CN113284106B - 距离检测方法及装置 - Google Patents

距离检测方法及装置 Download PDF

Info

Publication number
CN113284106B
CN113284106B CN202110572340.1A CN202110572340A CN113284106B CN 113284106 B CN113284106 B CN 113284106B CN 202110572340 A CN202110572340 A CN 202110572340A CN 113284106 B CN113284106 B CN 113284106B
Authority
CN
China
Prior art keywords
image
mapping relation
distance
processed
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110572340.1A
Other languages
English (en)
Other versions
CN113284106A (zh
Inventor
刘诗男
杨昆霖
韩志伟
侯军
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202110572340.1A priority Critical patent/CN113284106B/zh
Publication of CN113284106A publication Critical patent/CN113284106A/zh
Priority to PCT/CN2021/137687 priority patent/WO2022247230A1/zh
Application granted granted Critical
Publication of CN113284106B publication Critical patent/CN113284106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开涉及图像处理技术领域，具体提供了一种距离检测方法及装置。距离检测方法包括：从待处理图像中检测得到每个目标对象的头肩部信息；待处理图像中包括至少两个目标对象；根据至少两个头肩部信息，确定待处理图像的映射关系；映射关系表示待处理图像的像素距离与真实距离之间的对应关系；根据头肩部信息，确定任意两个目标对象之间的像素距离；根据两个目标对象之间的像素距离以及映射关系，确定两个目标对象之间的真实距离。本公开方法提高距离检测精度。

Description

距离检测方法及装置
技术领域
本公开涉及图像处理技术领域，具体涉及一种距离检测方法及装置。
背景技术
为了防止传染性病毒传播，各国政府都在公共场合设置例如“1米线”等的距离提示标志，使得民众保持安全的社交距离。相关技术中，对于例如商场、写字楼等公共场合，只能依靠民众自发保持社交距离，或者依靠现场工作人员监督疏导，检测精度和检测效率较低。
发明内容
为实现对目标对象的距离检测，本公开实施方式提供了一种距离检测方法、装置、系统及存储介质。
第一方面，本公开实施方式提供了一种距离检测方法，包括：
从待处理图像中检测得到每个目标对象的头肩部信息；所述待处理图像中包括至少两个目标对象；
根据至少两个所述头肩部信息，确定所述待处理图像的映射关系；所述映射关系表示所述待处理图像的像素距离与真实距离之间的对应关系；
根据所述头肩部信息，确定任意两个目标对象之间的像素距离；
根据所述两个目标对象之间的像素距离以及所述映射关系，确定所述两个目标对象之间的真实距离。
在一些实施方式中，所述从待处理图像中检测得到每个目标对象的头肩部信息，包括：
从所述待处理图像中检测得到每个所述目标对象的头肩检测框；
所述根据所述头肩部信息，确定任意两个目标对象之间的像素距离，包括：
根据每个头肩检测框的位置信息，确定所述两个目标对象的头肩检测框之间的像素距离；
将所述两个目标对象的头肩检测框之间的像素距离，确定为所述两个目标对象之间的像素距离。
在一些实施方式中，所述根据至少两个所述头肩部信息，确定所述待处理图像的映射关系，包括：
根据从所述待处理图像中检测得到的每个目标对象的头肩检测框的高度信息以及设定高度信息，确定每个目标对象所在图像位置的映射信息；
根据每个目标对象所在图像位置的映射信息，确定所述待处理图像的映射关系。
在一些实施方式中，所述待处理图像为视频流中的当前帧图像；所述根据至少两个所述头肩部信息，确定所述待处理图像的映射关系，包括：
根据由当前帧图像中检测得到的每个目标对象的第一头肩部信息，确定所述当前帧图像的第一映射关系；
基于上一帧图像的映射关系对所述第一映射关系拟合处理，得到更新映射关系；
将所述更新映射关系确定为所述待处理图像的映射关系。
在一些实施方式中，所述基于所述第一映射关系对上一帧图像的映射关系拟合处理，得到更新映射关系，包括：
获取所述第一映射关系及所述第一映射关系对应的第一权值系数；
获取所述上一帧图像的映射关系以及所述上一帧图像的映射关系对应的第二权值系数；
根据所述第一映射关系、所述上一帧图像的映射关系、所述第一权值系数以及所述第二权值系数，得到所述更新映射关系。
在一些实施方式中，根据所述两个目标对象之间的像素距离以及所述映射关系，确定所述两个目标对象之间的真实距离，包括：
从所述待处理图像中，获取所述两个目标对象之间连线中点的位置信息；
根据所述位置信息和所述映射关系，确定所述中点位置的目标映射关系；
根据所述像素距离和所述目标映射关系，确定所述两个目标对象之间的真实距离。
在一些实施方式中，在所述确定所述两个目标对象之间的真实距离之后，所述方法还包括：
响应于所述两个目标对象之间的真实距离小于预设距离阈值，生成警报提示信息；
和/或，
响应于所述至少两个目标对象中，任意两个目标对象之间的真实距离小于预设距离阈值的数量超过预设数量阈值，生成警报提示信息。
第二方面，本公开实施方式提供了一种距离检测装置，包括：
检测模块，被配置为从待处理图像中检测得到每个目标对象的头肩部信息；所述待处理图像中包括至少两个目标对象；
映射关系确定模块，被配置为根据至少两个所述头肩部信息，确定所述待处理图像的映射关系；所述映射关系表示所述待处理图像的像素距离与真实距离之间的对应关系；
像素距离确定模块，被配置为根据所述头肩部信息，确定任意两个目标对象之间的像素距离；
真实距离确定模块，被配置为根据所述两个目标对象之间的像素距离以及所述映射关系，确定所述两个目标对象之间的真实距离。
在一些实施方式中，所述检测模块具体被配置为：从所述待处理图像中检测得到每个所述目标对象的头肩检测框；
所述像素距离确定模块具体被配置为：
根据每个头肩检测框的位置信息，确定所述两个目标对象的头肩检测框之间的像素距离；
将所述两个目标对象的头肩检测框之间的像素距离，确定为所述两个目标对象之间的像素距离。
在一些实施方式中，所述映射关系确定模块具体被配置为：
根据从所述待处理图像中检测得到的每个目标对象的头肩检测框的高度信息以及设定高度信息，确定每个目标对象所在图像位置的映射信息；
根据每个目标对象所在图像位置的映射信息，确定所述待处理图像的映射关系。
在一些实施方式中，所述待处理图像为视频流中的当前帧图像；所述映射关系确定模块具体被配置为：
根据由当前帧图像中检测得到的每个目标对象的第一头肩部信息，确定所述当前帧图像的第一映射关系；
基于上一帧图像的映射关系对所述第一映射关系拟合处理，得到更新映射关系；
将所述更新映射关系确定为所述待处理图像的映射关系。
在一些实施方式中，所述映射关系确定模块被配置为：
获取所述第一映射关系及所述第一映射关系对应的第一权值系数；
获取所述上一帧图像的映射关系以及所述上一帧图像的映射关系对应的第二权值系数；
根据所述第一映射关系、所述上一帧图像的映射关系、所述第一权值系数以及所述第二权值系数，得到所述更新映射关系。
在一些实施方式中，所述真实距离确定模块具体被配置为：
从所述待处理图像中，获取所述两个目标对象之间连线中点的位置信息；
根据所述位置信息和所述映射关系，确定所述中点位置的目标映射关系；
根据所述像素距离和所述目标映射关系，确定所述两个目标对象之间的真实距离。
第三方面，本公开实施方式提供了一种距离检测系统，包括：
图像采集装置；
处理器；以及
存储器，存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据第一方面任一实施方式所述的方法。
第四方面，本公开实施方式提供了一种存储介质，用于存储计算机可读指令，所述计算机可读指令用于使计算机执行根据第一方面任一实施方式所述的方法。
本公开实施方式的距离检测方法，包括根据从待处理图像中检测得到的每个目标对象的头肩部信息确定待处理图像的映射关系，根据头肩部信息确定任意两个目标对象之间的像素距离，根据像素距离以及映射关系确定该两个目标对象之间的真实距离。本公开方法利用头肩部信息实现距离检测，相较身体信息头肩部信息不易遮挡或缺失，而且不同目标的头肩部信息实际差异较小，提高获取的映射关系准确性，进而提高距离检测的精度。另外，本公开方法基于头肩部信息确定映射关系，不依赖于实地场景中的标定物，系统在部署时无需实地测量标定，当图像采集设备外参(例如俯仰角、焦距等)发生变化或者新增加设备时，无需重新校正设备配置参数，提高部署效率。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开一些实施方式中距离检测系统的结构示意图。
图2是根据本公开一些实施方式中距离检测方法的流程图。
图3是根据本公开一些实施方式中距离检测方法的原理示意图。
图4是根据本公开一些实施方式中距离检测方法的流程图。
图5是根据本公开一些实施方式中距离检测方法的流程图。
图6是根据本公开一些实施方式中距离检测方法的原理示意图。
图7是根据本公开一些实施方式中距离检测方法的流程图。
图8是根据本公开一些实施方式中距离检测方法的流程图。
图9是根据本公开一些实施方式中距离检测方法的流程图。
图10是根据本公开一些实施方式中距离检测方法的原理示意图。
图11是根据本公开一些实施方式中距离检测装置的结构框图。
图12是适于用来实现本公开距离检测方法的计算机系统结构图。
具体实施方式
下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在防疫大环境下，“保持社交距离”成为阻止病毒传播的重要途径，因此各国政府均建议民众在公共场合保持社交距离在1米之外。例如商场、写字楼等公共场合设置有“1米线”，期望民众排队时保持一米以上的社交距离。
但是这种方式只能依靠民众自发保持社交距离，或者依靠现场工作人员观察监督，对社交距离的检测精度和效率较低。而且，人工的方式无法对当前人流量进行较为准确的观测统计，指导人群疏导。
正是基于上述相关技术中存在的缺陷，本公开实施方式提供了一种距离检测方法、装置、系统以及电子设备，旨在利用计算机视觉实现对目标对象之间的距离检测。
在一些实施方式中，本公开实施方式提供了一种距离检测方法，该方法可应用于距离检测系统，通过系统的图像采集设备来获取待处理图像，并基于待处理图像的处理，实现对图像中各个目标对象的距离检测。
图1示出了本公开实施方式距离检测系统的结构示意图。如图1所示，本公开距离检测系统包括至少一个图像采集设备100和服务器200。
图像采集设备100可以是设置在需要进行距离检测场景中的摄像头，可以理解，图像采集设备100的作用是获取当前场景下的待处理图像，本公开实施方式对于图像采集设备100的类型不进行限制，例如RGB摄像头、红外摄像头等。
服务器200与图像采集设备100可以通过无线或者有线的方式建立通信连接，从而根据图像采集设备100采集的待处理图像进行下述一个或者多个方法步骤的处理，以实现目标对象之间的距离检测。本公开实施方式中，服务器200可以是包含一个或多个处理器的单台服务器，也可以是服务器集群，本公开对此不作限制。
在一些实施方式中，本公开距离检测系统包括多个图像采集设备100，多个图像采集设备100通过无线通信模块与服务器200建立可通信连接。多个图像采集设备100分别部署于不同场景中，例如在写字楼场景下，可在例如楼宇大门出入口、楼道内、电梯间、楼梯间等场景下，分别部署图像采集设备100，从而可获取各个场景中的场景图像。
可以理解，上述系统结构仅作为本公开实施方式的一种示例，本领域技术人员可以基于具体场景需求实现其他系统结构的部署，并不局限于上述示例。例如，对于单个摄像头场景下，也可直接在图像采集设备100中集成计算能力，从而无需部署服务器200。本领域技术人员对此可以理解并充分实施，本公开不再赘述。
如图2所示，基于上述距离检测系统，本公开实施方式提供了一种距离检测方法，该方法可以由距离检测系统的处理器执行。在一些实施方式中，本公开距离检测装置包括：
S210、从待处理图像中检测得到每个目标对象的头肩部信息。
待处理图像指由图像采集设备100采集得到的场景图像，待处理图像中包括至少两个目标对象。目标对象指待处理图像中期望进行距离检测的对象，下述中为便于说明，目标对象以人体为例。但是本领域技术人员可以理解，本公开目标对象并不局限于人体，还可以是例如动物等，本公开对此不作限制。
待处理图像可以是图像采集设备100采集的单帧图像，也可以是图像采集设备100采集的视频流中的帧图像，本公开对此不作限制。
在本公开实施方式中，通过对待处理图像进行检测，提取得到图像中各个目标对象的头肩部信息。
在一些实施方式中，可将待处理图像输入检测网络得到网络输出的各个目标对象的头肩部信息。检测网络可以是例如CNN(Convolutional Neural Networks，卷积神经网络)、Faster R-CNN(Region Convolutional Neural Network，快速区域卷积神经网络)、FCOS(Fully Convolutional One-Stage Object Detection，目标检测网络)中的一种或多种的组合，本公开对此不作限制。
在一些实施方式中，可通过检测网络得到各个目标对象的头肩检测框，所述头肩检测框即可作为头肩部信息。
在一个示例中，如图3所示，待处理图像为某个街道在某个时刻由设置在街道上方的摄像头采集的场景图像，图像中包括多个人体，这些人体即为目标对象。在通过检测网络处理之后，获取得到每个人体的头肩检测框，例如图中白色矩形框所示，每个头肩检测框表示对应目标对象的头肩部信息。
S220、根据各个头肩部信息，确定待处理图像的映射关系。
映射关系表示的是待处理图像的像素距离与真实距离之间的对应关系。可以理解，图像由像素(Pixels)组成，像素之间的距离可以反映真实世界下距离。
对于本公开场景来说，由于真实世界的距离反应到图像上呈现“远小近大”的特点，因此待处理图像不同高度的像素距离与真实距离之间的对应关系并不是一致的。例如图3所示，靠近图像采集设备(也即图像上靠近下方)位置的像素距离对应到真实世界的距离，小于远离图像采集设备(也即图像上靠近上方)位置的像素距离对应到真实世界的距离。因此，在本公开实施方式中，需要根据各个头肩部信息确定待处理图像的映射关系。
在一些实施方式中，可以预先设置目标对象的设定高度信息，设定高度信息表示预设的目标对象头肩部的真实高度，然后根据设定高度信息以及各个头肩部信息，得到待处理图像的映射关系。本公开下述中进行具体说明，在此暂不详述。
在另一些实施方式中，也可以根据各个头肩部信息对待处理图像进行透视变换处理，得到待处理图像的透视图(PMap，Perspective Map)，透视图即表示待处理图像的像素距离与真实距离的对应关系。
可以理解，上述确定待处理图像映射关系的实施方式仅作为示例，在其他实施方式中，本领域技术人员还可以采用其他实现方式来得到映射关系，本公开对此不作限制。
值得说明的是，目标对象以人体为例，不同人体的真实高度往往存在较大的差异，例如儿童与成人之间、不同成人之间，真实身高存在比较大的差异，若设定不同人体为相同高度，计算得到的映射关系精度较差，不利于后续距离检测。并且参见图3右上角位置的人体10，图像中的人体10存在遮挡或者残缺，若将残缺或遮挡人体确定为人体信息，对于映射关系的计算又会引入较大的误差，导致精度变差。
本公开实施方式中，采用头肩部信息来确定待处理图像的映射关系。相对于身高差异，不同人体的头肩部高度差异要小很多，因此基于头肩部的设定高度相较于基于人体整体的设定高度误差要小很多，从而基于头肩部的设定高度信息得到的映射关系也更加精确。并且，相较于人体信息，头肩部信息更不容易被遮挡、或者由于残缺导致精度降低。例如图3右上角位置的人体10，由于头部信息缺失，若采用人体检测，则人体10很大可能被识别为完整人体，从而对映射关系计算带来误差。但是本公开实施方式中，人体10由于头部信息缺失，因此不会检测到头肩部信息，也就不会对映射关系计算产生干扰，提高映射关系的精度。
S230、根据头肩部信息，确定任意两个目标对象之间的像素距离。
本公开方法旨在确定目标对象之间的真实距离，因此需要根据头肩部信息首先确定得到目标对象之间的像素距离，像素距离指目标对象在图像坐标系中的图像距离。
在一个示例中，如图3所示，头肩部信息为待处理图像中各个目标对象的头肩检测框指代的信息，可将头肩检测框之间的像素距离确定为目标对象之间的像素距离。具体过程在下文中说明，在此暂不详述。
可以理解，待处理图像中往往会包括多个目标对象，对于多个目标对象，需要对任意两者之间的距离都进行检测。因此，在本步骤处理中，需要根据头肩部信息，确认所有目标对象任意两者之间的像素距离。
S240、根据两个目标对象之间的像素距离以及映射关系，确定两个目标对象之间的真实距离。
具体来说，在得到各个目标对象任意两者之间的像素距离之后，基于步骤S220中确定的映射关系，即可将像素距离映射到真实世界坐标系中，得到各个目标对象任意两者之间的真实距离，也即实现对目标对象之间的距离检测。
通过上述可知，本公开实施方式的距离检测方法，利用头肩部信息实现距离检测，相较身体信息，头肩部信息不易遮挡或缺失，而且不同目标的头肩部信息实际差异较小，提高获取的映射关系准确性，进而提高距离检测的精度。另外，本公开方法基于头肩部信息确定映射关系，不依赖于实地场景中的标定物，系统在部署时无需实地测量标定，当图像采集设备外参(例如俯仰角、焦距等)发生变化或者新增加设备时，无需重新校正设备配置参数，提高部署效率。
在一些实施方式中，上述方法中确定待处理图像的映射关系的过程可如图4实施方式所示。如图4所示，本公开示例的距离检测方法包括：
S410、从待处理图像中检测得到每个目标对象的头肩检测框。
S420、根据所述头肩检测框的高度信息以及设定高度信息，确定每个目标对象所在图像位置的映射信息。
S430、根据每个目标对象所在图像位置的映射信息，确定待处理图像的映射关系。
具体来说，在一些实施方式中，可通过如前所述的检测网络对待处理图像进行处理，从而检测得到待处理图像上的每个目标对象的头肩检测框。在一个示例中，检测网络输出的图像如图3所示。
在本公开实施方式中，可以预先设置目标对象的设定高度信息，设定高度信息表示预设的目标对象头肩部的真实高度。在一个示例中，可预先获取不同年龄、不同身高人体的头肩部真实高度的海量样本数据，根据样本数据求取平均值得到设定高度信息。
对于待处理图像上的每个目标对象，根据其头肩检测框的高度信息和设定高度信息，可以得到该目标对象所在图像位置处的映射信息。
例如图3中所示，定义y方向为图像的高度方向。预设人体头肩部的设定高度信息为h，也即图像中每个头肩检测框对应到真实世界的高度均为h，但是图像中不同高度位置的头肩检测框的像素高度是不同的(由于图像“远小近大”导致)。从而对于每一个目标对象，可以根据头肩检测框的像素高度信息与设定高度信息h，计算得到该目标对象所在图像位置处的映射信息。也即，每个目标对象均具有各自图像位置的映射信息。
在得到每个目标对象所在图像位置的映射信息之后，可通过例如对多个映射信息进行融合处理，得到对应整个待处理图像的映射关系。该映射关系即可表示图像像素距离与真实距离之间的对应关系，也即，在给定该图像的像素距离的情况下，可以通过映射关系得到该像素距离对应的真实距离。
在一些实施方式中，根据头肩部信息确定目标对象像素距离的过程可参见图5所示。如图5所示，本公开示例的距离检测方法包括：
S510、从所述待处理图像中检测得到每个所述目标对象的头肩检测框。
具体来说，在一些实施方式中，可通过如前所述的检测网络对待处理图像进行处理，从而检测得到待处理图像上的每个目标对象的头肩检测框。在一个示例中，检测网络输出的图像如图3所示。
S520、根据每个头肩检测框的位置信息，确定两个目标对象的头肩检测框之间的像素距离。
S530、将两个目标对象的头肩检测框之间的像素距离，确定为两个目标对象之间的像素距离。
如图3所示，在得到各个目标对象的头肩检测框之后，即可根据头肩检测框的位置信息确定任意两个头肩检测框之间的像素距离。为便于理解，下面以图3示例中的头肩检测框11和头肩检测框12为例进行说明。
如图6所示，在图像坐标系下，可分别获取头肩检测框11的矩形中心点坐标P(x1，y1)和头肩检测框12的矩形中心点坐标Q(x2，y2)，然后根据P点和Q点坐标值，即可计算得到两点之间的图像距离，也即线段PQ的长度。将线段PQ的长度确定为头肩检测框11和12之间的像素距离，也即目标对象之间的像素距离。
在一些实施方式中，根据目标对象之间的像素距离确定真实距离的过程可参见图7所示。如图7所示，本公开示例的距离检测方法包括：
S710、从待处理图像中，获取两个目标对象之间连线中点的位置信息。
S720、根据位置信息和映射关系，确定中点位置的目标映射关系。
S730、根据像素距离和目标映射关系，确定两个目标对象之间的真实距离。
在一些实施方式中，仍以图6示例中的头肩检测框11和头肩检测框12为例进行说明。获取两个目标对象的头肩检测框11和12连线中点的位置信息，也即图6中线段PQ的中点M的坐标M(x3，y3)。
基于中点M的位置信息和前述得到的待处理图像的映射关系，可以得到中点M位置的目标映射关系。通过前述可知，待处理图像上不同高度位置由于“远小近大”从而与真实世界的对应关系也不相同。本公开一些实施方式中，将中点M位置的映射关系作为两个目标对象对应的映射关系，也即所述的目标映射关系。
根据头肩检测框11和头肩检测框12之间的像素距离和目标映射关系，即可得到两个目标对象之间的真实距离。
通过上述可知，本公开实施方式的距离检测方法，利用头肩检测框确定目标对象之间的像素距离和目标映射关系，提高距离检测的精度和计算效率。
在一些实施方式中，为进一步提高距离检测精度，本公开方法还包括基于当前帧图像的映射关系对之前映射关系进行迭代拟合更新的过程，也即系统的映射关系始终动态迭代修正，不断提高映射关系的精度。下面结合图8进行详细说明。
如图8所示，在一些实施方式中，本公开示例的距离检测方法包括：
S810、由当前帧图像中检测得到每个目标对象的第一头肩部信息。
在本实施方式中，待处理图像为视频流中的当前帧图像。也即，图像采集设备持续获取视频流信息，视频流信息中包括多帧图像，其中最新时刻获取的图像定义为“当前帧图像”，当前帧图像之前处理的图像定义为“上一帧图像”。
值得说明的是，“上一帧图像”与“当前帧图像”可以是连续帧图像，也可以是间隔预设数量帧的两张图像。
例如在一个示例中，根据图像采集设备采集的视频流，每间隔n帧图像选择一帧图像作为待处理图像，在这种情况下，也即“上一帧图像”表示“当前帧图像”之前n帧的图像。
又例如在另一个示例中，根据图像采集设备采集的视频流，将视频流中每一帧图像均作为待处理图像进行处理，在这种情况下，也即“上一帧图像”表示“当前帧图像”之前一帧的图像，两者为连续帧图像。
本领域技术人员对此可以理解，并且可以根据具体的计算能力和精度要求选择不同的实施方式，本公开对此不再赘述。
对当前帧图像进行检测得到当前帧图像中的各个目标对象的第一头肩部信息，该具体过程可参见前述步骤S210即可，不再赘述。
S820、根据第一头肩部信息确定当前帧图像的第一映射关系。
具体来说，本步骤具体过程参见前述步骤S220即可，在此不再赘述。
S830、基于上一帧图像的映射关系对第一映射关系拟合处理，得到更新映射关系。
第一映射关系表示根据当前帧图像的第一头肩部信息得到的映射关系，同时，可以理解，本公开方法在处理上一帧图像时同样会得到映射关系。本公开实施方式中，可以基于当前帧图像的第一映射关系对上一帧图像的映射关系进行迭代更新，从而得到更新映射关系。
具体计算得到更新映射关系的过程在下文中进行说明，在此暂不详述。
S840、将更新映射关系确定为当前帧图像的映射关系。
将迭代更新后的映射关系确定为当前帧图像的映射关系，也即待处理图像的映射关系，从而当前帧图像即可根据迭代更新后的更新映射关系实现后续的距离检测，后续距离检测的具体过程与前述类似，在此不再赘述。
可以理解，本公开方法在处理每一帧图像时，根据当前帧图像的第一映射关系对处理前一帧图像时得到的映射关系进行迭代更新，从而可以动态地修正映射关系，使得系统动态学习当前图像特征，不断地提高映射关系的精度，进而提高后续距离检测的精度。
在一些实施方式中，基于当前帧图像的第一映射关系对上一帧图像的映射关系拟合处理的过程可如图9所示。如图9所示，在一些实施方式中，本公开示例的距离检测方法包括：
S910、获取第一映射关系及第一映射关系对应的第一权值系数。
S920、获取上一帧图像的映射关系以及上一帧图像的映射关系对应的第二权值系数。
S930、根据第一映射关系、上一帧图像的映射关系、第一权值系数以及第二权值系数，得到更新映射关系。
在一个示例中，结合图3和图10所示，假设视频流为Ti(i＝0,1,2……)，其中i表示帧数，在实际部署时可每500帧取一帧作为待处理图像。基于每一帧待处理图像检测得到的头肩部信息可表示为：
Bboxij(xij1,yij1,xij2,yij2) 式(1)
式(1)中，i表示帧数，j表示第i帧图像的第j个头肩检测框，(xij1,yij1)和(xij2,yij2)表示头肩检测框的两个对角点的坐标。从而，通过上述式(1)即可表示视频流中每一帧待处理图像的头肩部信息。
在本实施方式中，假设图3所示为当前帧图像(第i帧图像)，图10所示为上一帧图像(第i-1帧图像)。第i-1帧图像的映射关系可表示为：
Φi-1＝Φ(Bbox0…Bboxi-1) 式(2)
式(2)中Φ为拟合函数，其可以是一阶、二阶等多项式拟合函数。也即，第i-1帧图像的映射关系，Φi-1表示之前所有帧图像的拟合映射关系。
基于第i-1帧图像的映射关系对第i帧图像的映射关系进行拟合处理，得到更新后映射关系的过程可表示为：
Φi＝αΦi-1+βη(Bboxi) 式(3)
式(3)中，Φ为拟合函数，α表示上一帧图像的第二权值系数，β表示当前帧图像的第一权值系数。η表示当前帧图像的拟合函数，η(Bboxij)表示当前帧图像的映射关系。
在本示例中，基于当前帧图像的映射关系η(Bboxij)和上一帧图像的映射关系αΦi-1，同时结合各自的权值系数，加权求和得到更新映射关系Φi。
本领域技术人员可以理解，α和β表示权值系数，可以根据具体情况进行调节，例如在一个示例中，α和β可表示为：
Figure GDA0003162476880000151
Figure GDA0003162476880000152
通过上述可知，本实施方式的检测方法，在每次处理当前帧图像时，都会基于当前帧图像的头肩部信息得到的映射关系，对前一帧图像的映射关系进行迭代更新，这样映射关系就会随着系统的运行不断调整优化，从而更加适应当前摄像头和当前时间的目标对象的分布，从而提高了映射的精度，更利于后续计算目标对象之间的距离。
在一些场景下，可利用上述距离检测方法对人体社交距离进行检测，例如，检测两人之间的社交距离是否小于1米，若是，则执行相应的警报操作。
在一个示例中，在确定待处理图像上各个目标对象两两之间的真实距离之后，可判断真实距离是否小于预设距离阈值。预设距离阈值可根据具体需求进行预先设置，例如1米、1.5米等。当存在两个目标对象之间的距离小于预设距离阈值时，可生成警报提示信息。
可以理解，警报提示信息可以是多种类型的警报提示信息。例如，可以在图像采集设备上设置扬声器，从而通过扬声器发出声音警报信息；又例如，可以在图像采集设备上设置光源，从而通过光源发出光警报信息；再例如，警报提示信息可以为可视化的显示信息，通过在显示界面上标注出社交距离小于预设距离阈值的目标对象，以提醒工作人员；等。本公开对此不作限制。
在另一个示例中，在确定待处理图像上存在两个目标对象之间的社交距离小于预设距离阈值时，并非直接生成警报提示信息，而是记录社交距离小于预设距离阈值的数量，直到数量超过预设数量阈值之后，可以生成警报提示信息，提醒工作人员可能当前人流量偏多，从而可以指示对当前人流进行疏导限流。
本领域上述人员可以理解，上述两个示例可以进行结合，并且在其他场景下，还可以采用其他方式的响应操作，本公开对此不作限制。
通过上述可知，本公开实施方式的距离检测方法，利用头肩部信息实现距离检测，相较身体信息头肩部信息不易遮挡或缺失，而且不同目标的头肩部信息实际差异较小，提高获取的映射关系准确性，进而提高距离检测的精度。另外，本公开方法基于头肩部信息确定映射关系，不依赖于实地场景中的标定物，系统在部署时无需实地测量标定，当图像采集设备外参(例如俯仰角、焦距等)发生变化或者新增加设备时，无需重新校正设备配置参数，提高部署效率。在每次处理当前帧图像时，都会基于当前帧图像的头肩部信息得到的映射关系，对前一帧图像的映射关系进行迭代更新，这样映射关系就会随着系统的运行不断调整优化，从而更加适应当前摄像头和当前时间的目标对象的分布，从而提高了映射的精度，更利于后续计算目标对象之间的距离。
在一些实施方式中，本公开实施方式提供了一种距离检测装置，该装置可应用于上述的距离检测系统。
如图11所示，本公开实施方式的距离检测装置，包括：
检测模块111，被配置为从待处理图像中检测得到每个目标对象的头肩部信息；待处理图像中包括至少两个目标对象；
映射关系确定模块112，被配置为根据至少两个头肩部信息，确定待处理图像的映射关系；映射关系表示待处理图像的像素距离与真实距离之间的对应关系；
像素距离确定模块113，被配置为根据头肩部信息，确定任意两个目标对象之间的像素距离；
真实距离确定模块114，被配置为根据两个目标对象之间的像素距离以及映射关系，确定两个目标对象之间的真实距离。
通过上述可知，本公开实施方式的距离检测装置，利用头肩部信息实现距离检测，相较身体信息头肩部信息不易遮挡或缺失，而且不同目标的头肩部信息实际差异较小，提高获取的映射关系准确性，进而提高距离检测的精度。另外，本公开方法基于头肩部信息确定映射关系，不依赖于实地场景中的标定物，系统在部署时无需实地测量标定，当图像采集设备外参(例如俯仰角、焦距等)发生变化或者新增加设备时，无需重新校正设备配置参数，提高部署效率。
在一些实施方式中，检测模块111具体被配置为：从待处理图像中检测得到每个目标对象的头肩检测框；
像素距离确定模块113具体被配置为：
根据每个头肩检测框的位置信息，确定两个目标对象的头肩检测框之间的像素距离；
将两个目标对象的头肩检测框之间的像素距离，确定为两个目标对象之间的像素距离。
在一些实施方式中，映射关系确定模块112具体被配置为：
根据从待处理图像中检测得到的每个目标对象的头肩检测框的高度信息以及设定高度信息，确定每个目标对象所在图像位置的映射信息；
根据每个目标对象所在图像位置的映射信息，确定待处理图像的映射关系。
在一些实施方式中，待处理图像为视频流中的当前帧图像；映射关系确定模块112具体被配置为：
根据由当前帧图像中检测得到的每个目标对象的第一头肩部信息，确定当前帧图像的第一映射关系；
基于上一帧图像的映射关系对第一映射关系拟合处理，得到更新映射关系；
将更新映射关系确定为待处理图像的映射关系。
在一些实施方式中，映射关系确定模块112被配置为：
获取第一映射关系及第一映射关系对应的第一权值系数；
获取上一帧图像的映射关系以及上一帧图像的映射关系对应的第二权值系数；
根据第一映射关系、上一帧图像的映射关系、第一权值系数以及第二权值系数，得到更新映射关系。
在一些实施方式中，真实距离确定模块114具体被配置为：
从待处理图像中，获取两个目标对象之间连线中点的位置信息；
根据位置信息和映射关系，确定中点位置的目标映射关系；
根据像素距离和目标映射关系，确定两个目标对象之间的真实距离。
在一些实施方式中，本公开实施方式提供了一种距离检测系统。在一些实施方式中，距离检测系统架构可参照图1所示，其包括：
图像采集装置；
处理器；以及
存储器，存储有能够被处理器读取的计算机指令，当计算机指令被读取时，处理器执行上述任意实施方式的距离检测方法。
在一些实施方式中，本公开实施方式提供了一种存储介质，用于存储计算机可读指令，计算机可读指令用于使计算机执行上述任意实施方式的距离检测方法。
具体而言，图12示出了适于用来实现本公开方法的计算机系统600的结构示意图，通过图12所示系统，可实现上述处理器及存储介质相应功能。
如图12所示，计算机系统600包括处理器601，其可以根据存储在存储器602中的程序或者从存储部分608加载到存储器602中的程序而执行各种适当的动作和处理。在存储器602中，还存储有系统600操作所需的各种程序和数据。处理器601和存储器602通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施方式，上文方法过程可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

Claims (9)

1.一种距离检测方法，其特征在于，包括：
从待处理图像中检测得到每个目标对象的头肩部信息；所述待处理图像为视频流中的当前帧图像，所述待处理图像中包括至少两个目标对象；
根据所述待处理图像上包括的各个所述头肩部信息，确定所述待处理图像对应的映射关系；所述映射关系表示所述待处理图像的像素距离与真实距离之间的对应关系；
根据所述头肩部信息，确定任意两个目标对象之间的像素距离；
根据所述两个目标对象之间的像素距离以及所述映射关系，确定所述两个目标对象之间的真实距离；
所述根据所述待处理图像上包括的各个所述头肩部信息，确定所述待处理图像对应的映射关系，包括：
根据由当前帧图像中检测得到的每个目标对象的第一头肩部信息，确定所述当前帧图像的第一映射关系；
基于上一帧图像的映射关系对所述第一映射关系进行处理，得到更新映射关系；
将所述更新映射关系确定为所述待处理图像的映射关系。
2.根据权利要求1所述的方法，其特征在于，
所述从待处理图像中检测得到每个目标对象的头肩部信息，包括：
从所述待处理图像中检测得到每个所述目标对象的头肩检测框；
所述根据所述头肩部信息，确定任意两个目标对象之间的像素距离，包括：
根据每个头肩检测框的位置信息，确定所述两个目标对象的头肩检测框之间的像素距离；
将所述两个目标对象的头肩检测框之间的像素距离，确定为所述两个目标对象之间的像素距离。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待处理图像上包括的各个所述头肩部信息，确定所述待处理图像对应的映射关系，包括：
根据从所述待处理图像中检测得到的每个目标对象的头肩检测框的高度信息以及设定高度信息，确定每个目标对象所在图像位置的映射信息；
根据每个目标对象所在图像位置的映射信息，确定所述待处理图像的映射关系。
4.根据权利要求1所述的方法，其特征在于，所述基于上一帧图像的映射关系对所述第一映射关系进行处理，得到更新映射关系，包括：
获取所述第一映射关系及所述第一映射关系对应的第一权值系数；
获取所述上一帧图像的映射关系以及所述上一帧图像的映射关系对应的第二权值系数；
根据所述第一映射关系、所述上一帧图像的映射关系、所述第一权值系数以及所述第二权值系数，得到所述更新映射关系。
5.根据权利要求1所述的方法，其特征在于，根据所述两个目标对象之间的像素距离以及所述映射关系，确定所述两个目标对象之间的真实距离，包括：
从所述待处理图像中，获取所述两个目标对象之间连线中点的位置信息；
根据所述位置信息和所述映射关系，确定所述中点位置的目标映射关系；
根据所述像素距离和所述目标映射关系，确定所述两个目标对象之间的真实距离。
6.根据权利要求1所述的方法，其特征在于，在所述确定所述两个目标对象之间的真实距离之后，所述方法还包括：
响应于所述两个目标对象之间的真实距离小于预设距离阈值，生成警报提示信息；
和/或，
响应于所述至少两个目标对象中，任意两个目标对象之间的真实距离小于预设距离阈值的数量超过预设数量阈值，生成警报提示信息。
7.一种距离检测装置，其特征在于，包括：
检测模块，被配置为从待处理图像中检测得到每个目标对象的头肩部信息；所述待处理图像为视频流中的当前帧图像，所述待处理图像中包括至少两个目标对象；
映射关系确定模块，被配置为根据所述待处理图像上包括的各个所述头肩部信息，确定所述待处理图像对应的映射关系；所述映射关系表示所述待处理图像的像素距离与真实距离之间的对应关系；
像素距离确定模块，被配置为根据所述头肩部信息，确定任意两个目标对象之间的像素距离；
真实距离确定模块，被配置为根据所述两个目标对象之间的像素距离以及所述映射关系，确定所述两个目标对象之间的真实距离；
所述映射关系确定模块，被配置为：
根据由当前帧图像中检测得到的每个目标对象的第一头肩部信息，确定所述当前帧图像的第一映射关系；
基于上一帧图像的映射关系对所述第一映射关系进行处理，得到更新映射关系；
将所述更新映射关系确定为所述待处理图像的映射关系。
8.一种距离检测系统，其特征在于，包括：
图像采集装置；
处理器；以及
存储器，存储有能够被所述处理器读取的计算机指令，当所述计算机指令被读取时，所述处理器执行根据权利要求1至6任一项所述的方法。
9.一种存储介质，其特征在于，用于存储计算机可读指令，所述计算机可读指令用于使计算机执行根据权利要求1至6任一项所述的方法。
CN202110572340.1A 2021-05-25 2021-05-25 距离检测方法及装置 Active CN113284106B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110572340.1A CN113284106B (zh) 2021-05-25 2021-05-25 距离检测方法及装置
PCT/CN2021/137687 WO2022247230A1 (zh) 2021-05-25 2021-12-14 距离检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572340.1A CN113284106B (zh) 2021-05-25 2021-05-25 距离检测方法及装置

Publications (2)

Publication Number Publication Date
CN113284106A CN113284106A (zh) 2021-08-20
CN113284106B true CN113284106B (zh) 2023-06-06

Family

ID=77281480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572340.1A Active CN113284106B (zh) 2021-05-25 2021-05-25 距离检测方法及装置

Country Status (2)

Country Link
CN (1) CN113284106B (zh)
WO (1) WO2022247230A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284106B (zh) * 2021-05-25 2023-06-06 浙江商汤科技开发有限公司 距离检测方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
CN102214309B (zh) * 2011-06-15 2012-12-26 北京工业大学 一种基于头肩模型的特定人体识别方法
JP6556563B2 (ja) * 2015-08-31 2019-08-07 株式会社東芝 検出装置、検出方法、検出プログラムおよび情報処理システム
CN105450932B (zh) * 2015-12-31 2018-11-09 华为技术有限公司 逆光拍照方法和装置
EP3792815A1 (en) * 2019-09-14 2021-03-17 MyLaps B.V. Sports timing based on a camera system
CN112033351B (zh) * 2020-08-05 2023-03-24 青岛聚好联科技有限公司 基于单目摄像头的距离测定方法及电子设备
CN112307886A (zh) * 2020-08-25 2021-02-02 北京京东尚科信息技术有限公司 行人重识别方法和装置
CN112329671B (zh) * 2020-11-11 2022-06-17 润联软件系统(深圳)有限公司 一种基于深度学习的行人奔跑行为检测方法及相关组件
CN112633205A (zh) * 2020-12-28 2021-04-09 北京眼神智能科技有限公司 基于头肩检测的行人追踪方法及装置、电子设备、存储介质
CN113284106B (zh) * 2021-05-25 2023-06-06 浙江商汤科技开发有限公司 距离检测方法及装置

Also Published As

Publication number Publication date
CN113284106A (zh) 2021-08-20
WO2022247230A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
CN112272292B (zh) 投影校正方法、装置和存储介质
CN111144213B (zh) 一种对象检测方法和相关设备
WO2022156755A1 (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN112733820B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN112418251B (zh) 红外体温检测方法及系统
CN112232279A (zh) 一种人员间距检测方法和装置
JP5525495B2 (ja) 映像監視装置、映像監視方法およびプログラム
JP2020149641A (ja) 物体追跡装置および物体追跡方法
KR100939079B1 (ko) 적설량 관측 시스템 및 적설량 원격 측정 방법
CN112507848B (zh) 一种移动端实时人脸姿态估计方法
JP2014197243A (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
CN113284106B (zh) 距离检测方法及装置
CN108470131B (zh) 用于生成提示信息的方法和装置
CN117670939B (zh) 多相机的多目标跟踪方法、装置、存储介质及电子设备
CN113344906B (zh) 车路协同中相机评估方法、装置、路侧设备和云控平台
CN112597788B (zh) 目标测定方法、装置、电子设备和计算机可读介质
CN113888420A (zh) 一种基于修正模型的水下图像复原方法、设备及存储介质
Deshmukh et al. Moving object detection from images distorted by atmospheric turbulence
CN117334004A (zh) 一种火情检测方法、装置、电子设备及存储介质
JP2018063675A (ja) 画像処理装置および制御方法
JP7040511B2 (ja) 情報処理装置および方法
CN115880643A (zh) 一种基于目标检测算法的社交距离监测方法和装置
CN114494393A (zh) 基于单目相机的空间测量方法、装置、设备和存储介质
CN116229583B (zh) 驱动信息生成、驱动方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049962

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant