CN113554693B - 一种边缘部署图像的关联和评判方法、设备及存储介质 - Google Patents
一种边缘部署图像的关联和评判方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113554693B CN113554693B CN202111097987.XA CN202111097987A CN113554693B CN 113554693 B CN113554693 B CN 113554693B CN 202111097987 A CN202111097987 A CN 202111097987A CN 113554693 B CN113554693 B CN 113554693B
- Authority
- CN
- China
- Prior art keywords
- human
- face
- frame
- target
- shaped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims description 21
- 208000006440 Open Bite Diseases 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012886 linear function Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 8
- 239000000126 substance Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种边缘部署图像的关联和评判方法、设备及存储介质,所述方法包括如下步骤:获取视频流数据中的所有人脸框、所有人形框、人脸置信度及人形置信度,使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形;计算得到人脸面积分,计算得到人形面积分;计算得到人形高宽比例分;计算得到人脸未被遮挡比例,计算得到人形未被遮挡比例;对所述目标人脸框中的人脸图像进行评分;对所述目标人形框中的人形图像进行评分。本发明可以通过目标人脸框和人形框的坐标信息快速完成脸人绑定,无需提取图像特征信息,减少了脸人绑定使用的算力,还降低了对边缘设备中处理器的性能要求,使得边缘设备满足了实时性处理的需求。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种边缘部署图像的关联和评判方法、设备及存储介质。
背景技术
随着智慧城市安防系统的实用化迅速铺展,为了加强城市、社区轨道的交通安防工作的建设,从边缘监控设备获取的海量监控图像数据中高速、有效地提取高价值信息,对于公共安全、城市管理等部门的业务执行力提出了更高的考验。
对于边缘设备而言,计算能力较弱的缺点一直是其发展的瓶颈,虽然近年来硬件设备性能大幅提升,但仍难以实时图像处理这类计算密集型应用的需求,尤其针对特定领域应用,对设备的响应速度,稳定性和可靠性均有较高的要求,这给算法设计造成了更大的难题。
伴随人工智能技术的迅速发展,结合趋于成熟的计算机视觉设备,在安防领域将人作为重要的监控目标,通过边缘设备检测行人的人形和人脸,在实时计算中完成脸人绑定,并且在行人消失时快速选取最优的人形和人脸坐标框,以抓取人形人脸最优图像。
边缘部署图像关联和评判方法可以分为脸人绑定部分和图像质量评判方法两部分。其中,现有的脸人绑定部分需要提取图像特征信息,并通过较多的算力确认,而现有的图像质量评判方法也需要提取图像特征信息,并通过较大的数据处理进行评判,再由于边缘设备中的处理器性能较低,这导致了边缘设备无法满足实时性处理的要求。
发明内容
本发明实施例提供一种边缘部署图像的关联和评判方法,旨在解决传统的方法由于边缘设备中的处理器性能较低,而导致边缘设备无法满足实时性处理的要求的问题。
第一方面,本发明实施例提供一种边缘部署图像的关联和评判方法,所述方法包括如下步骤:
获取视频流数据中的所有人脸框、所有人形框、人脸置信度及人形置信度,使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系;
根据预设人脸最大面积和预设人脸最小面积计算所述目标人脸框的面积分,得到人脸面积分;根据预设人形最大面积和预设人形最小面积计算所述目标人形框的面积分,得到人形面积分;
根据预设人形的高度和宽度的比例计算所述目标人形框的高度和宽度的比例分,得到人形高宽比例分;
计算所述目标人脸框未被其余所述人脸框和所有所述人形框遮挡的比例,得到人脸未被遮挡比例;计算所述目标人形框未被其余所述人形框和所有所述人脸框遮挡的比例,得到人形未被遮挡比例;
根据所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度,对所述目标人脸框中的人脸图像进行评分;
根据所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度,对所述目标人形框中的人形图像进行评分。
更进一步地,所述根据所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度,对所述人脸框中的人脸图像进行评分的步骤中,对所述目标人脸框中的人脸图像的评分满足如下条件:
更进一步地,所述根据所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度,对所述目标人形框中的人形图像进行评分的步骤中,对所述目标人形框中的人形图像的评分满足如下条件:
其中,为所述目标人形框中的人形图像的分数,P为所述目标人脸框与所述目
标人形框之间的绑定关系,p为绑定权重,为所述人形面积分,s2为人形面积权重,V为人
形高宽比例分,v为高宽比例权重,为人形未被遮挡比例,为人形未被遮挡权重,为人形置信度,为人形置信度权重。
更进一步地,所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度由层次分析法进行分配权重,分配的权重次序依次为所述人脸未被遮挡比例、所述人脸面积分及所述人脸置信度;
所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度由所述层次分析法进行分配权重,分配的权重次序依次为所述人形面积分、所述目标人脸框与所述目标人形框之间的绑定关系、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度。
更进一步地,所述获取视频流数据中的所有人脸框、所有人形框、人脸置信度及人形置信度,使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系的步骤中,所述使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系的步骤具体包括如下子步骤:
使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框;
判断所述目标人脸框所在帧的所述人形框是否与所述目标人脸框绑定:
若是,则将其作为所述目标人形框,并进入下一次所述使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框的步骤;
若否,则继续遍历并将所述目标人脸框限定在遍历的所述人形框的左上边界或右上边界及横中轴线内;
计算所述目标人脸框的中心点与遍历的所述人形框的预设人脸位置的中心点之间的距离;
选取预设人脸位置的中心点距离所述目标人脸框的中心点最近的所述人形框作为所述目标人形框;
判断是否完成所有所述目标人脸框的遍历:
若是,则将所述目标人脸框的ID赋值在对应的所述目标人形框;
若否,则进入下一次所述使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框的步骤。
更进一步地,所述根据预设人脸最大面积和预设人脸最小面积计算所述目标人脸框的面积分,得到人脸面积分;根据预设人形最大面积和预设人形最小面积计算所述目标人形框的面积分,得到人形面积分的步骤中,具体包括如下子步骤:
判断需要计算面积分的图像框为所述目标人脸框还是所述目标人形框:
若所述需要计算面积分的图像框为所述目标人脸框:
通过计算获取所述目标人脸框的面积;
若所述需要计算面积分的图像框为目标人形框:
通过计算获取所述目标人形框的面积;
更进一步地,所述根据预设人形的高度和宽度的比例计算所述目标人形框的高度和宽度的比例分,得到人形高宽比例分的步骤中,具体包括如下子步骤:
设定预设人形的高度和宽度的比例及对应的线性函数;
更进一步地,所述计算所述目标人脸框未被其余所述人脸框和所有所述人形框遮挡的比例,得到人脸未被遮挡比例;计算所述目标人形框未被其余所述人形框和所有所述人脸框遮挡的比例,得到人形未被遮挡比例的步骤中,具体包括如下子步骤:
选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框;
判断所述需要计算未被遮挡比例的图像框是否为所述目标人脸框:
若所述需要计算未被遮挡比例的图像框是所述目标人脸框,则确认所述目标人脸框是否遍历到绑定的人形框:
若是,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤;
若否,则进入计算步骤;
若所述需要计算未被遮挡比例的图像框不是所述目标人脸框,则将其定义为所述目标人形框,并确认所述目标人形框是否遍历到与其绑定的人脸框:
若是,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤;
若否,则进入所述计算步骤;
所述计算步骤具体包括:
判断是否有所述人脸框或/和所述人形框与所述需要计算未被遮挡比例的图像框相交:
若是,则计算所述需要计算未被遮挡比例的图像框未被所述人脸框和所述人形框遮挡的比例,得到所述需要计算未被遮挡比例的图像框未被遮挡比例;
若否,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤;
判断所有所述需要计算未被遮挡比例的图像框的遍历是否结束:
若是,则结束所有所述需要计算未被遮挡比例的图像框的遍历;
若否,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤。
更进一步地,所述根据所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度,对所述目标人脸框中的人脸图像进行评分的步骤及所述根据所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度,对所述目标人形框中的人形图像进行评分的步骤中,具体包括如下子步骤:
判断需要进行评分的图像框是否为所述目标人脸框:
若所述需要进行评分的所述图像框是所述目标人脸框,则使用层次分析法分配所述目标人脸框的人脸面积权重、人脸未被遮挡权重及人脸置信度权重;
再根据所述目标人脸框的人脸面积分、人脸面积权重、人脸未被遮挡比例、人脸未被遮挡权重、人脸置信度及人脸置信度权重,对所述目标人脸框中的人脸图像进行评分;
若所述需要进行评分的所述图像框不是所述目标人脸框,则将其确认为所述目标人形框,并使用所述层次分析法分配所述目标人形框的绑定权重、人形面积权重、高宽比例权重、人形未被遮挡权重及人形置信度权重;再根据所述目标人脸框与所述人形框之间的绑定关系、绑定权重、人形面积分、人形面积权重、人形高宽比例分、高宽比例权重、人形未被遮挡比例、人形未被遮挡比例权重、人形置信度及人形置信度权重,对所述目标人形框中的人形图像进行评分。
第二方面,本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的边缘部署图像的关联和评判方法的步骤。
本发明所达到的有益效果,通过获取视频流数据中的所有人脸框、所有人形框、人脸置信度及人形置信度,再通过坐标信息依次计算得到人脸面积分、人形面积分、人形高宽比例分、人脸未被遮挡比例及人形未被遮挡比例,从而可以通过目标人脸框和人形框的坐标信息快速完成脸人绑定,无需提取图像特征信息,减少脸人绑定使用的算力,并且可以通过目标人脸框的人脸面积分、人脸未被遮挡比例及人脸置信度对人脸图像进行快速评分,可以通过目标人形框与目标人脸框的绑定关系、人形面积分、人形高宽比例分、人形未被遮挡比例及人形置信度对人形图像进行快速评分,使的人脸图像和人形图像在评判时无需提取图像特征信息,进而降低了对边缘设备中处理器的性能要求,节省了硬件资源的使用,也为边缘设备开发其他功能留出了硬件资源,使得边缘设备满足了实时性处理的需求。
附图说明
图1是本发明实施例提供的一种边缘部署图像的关联和评判方法的流程框图;
图2是本发明实施例提供的一种边缘部署图像的关联和评判方法中S101的子流程图;
图3是本发明实施例提供的一种边缘部署图像的关联和评判方法中S102的子流程图;
图4是本发明实施例提供的一种边缘部署图像的关联和评判方法中S103的子流程图;
图5是本发明实施例提供的一种边缘部署图像的关联和评判方法中S104的子流程图;
图6是本发明实施例提供的一种边缘部署图像的关联和评判方法中S105及S105的子流程图;
图7是本发明实施例提供的一种边缘部署图像的关联和评判系统的模块图;
图8是本发明实施例提供的一种计算机设备的结构示意图。
其中,200、边缘部署图像的关联和评判系统;201、获取总模块;202、获取子模块;203、人脸图像评分模块;2031、人脸面积分计算模块;2032、人脸未被遮挡比例计算模块;2033、人脸置信度获取模块;204、人形图像评分模块;2041脸人绑定确认模块;2042、人形面积分计算模块;2043、人形高宽比例分计算模块;2044、人形未被遮挡比例计算模块;2045、人形置信度获取模块;300、计算机设备;301、存储器;302、处理器。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明实施例提供的一种边缘部署图像的关联和评判方法,如附图1所示,该方法包括如下步骤:
S101、获取视频流数据中的所有人脸框、所有人形框、人脸置信度及人形置信度,使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系。
本实施方式中,视频流中的所有人脸框、所有人形框、人脸置信度及人形置信度通过深度学习模型推演得出。
所有人脸框中的任一人脸框均具备自身独有的坐标信息,所有人形框的任一人形框也均具备自身独有的坐标信息。
所述人脸置信度和所述人形置信度可以相同也可以不相同,以所述深度学习模型的推演为准。在此,将置信度分为人脸置信度和人形置信度只是为了便于后续进行区分,并非是用于指代两者置信度的不同。
具体的,结合附图2所示,本步骤S101中,所述使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系的步骤具体包括如下子步骤:
S11、使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框;
S12、判断所述目标人脸框所在帧的所述人形框是否与所述目标人脸框绑定:
S121、若是,则将其作为所述目标人形框,并进入下一次所述使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框的步骤;
S122、若否,则继续遍历并将所述目标人脸框限定在遍历的所述人形框的左上边界或右上边界及横中轴线内;
S1221、计算所述目标人脸框的中心点与遍历的所述人形框的预设人脸位置的中心点之间的距离;
S1222、选取预设人脸位置的中心点距离所述目标人脸框的中心点最近的所述人形框作为所述目标人形框;
S13、判断是否完成所有所述目标人脸框的遍历:
S131、若是,则将所述目标人脸框的ID赋值在对应的所述目标人形框;
S132、若否,则进入下一次所述使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框的步骤。
其中,进入下一次所述使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框的步骤时,再次使用的任意一个所述人脸框不再包含已经进行过遍历的所述人脸框。
当然,根据实际需求,还可以选用任意一个所述人形框去遍历所有人脸框,其遍历过程及方法与使用人脸框去遍历人形框的过程及方法相同或类似,在此不作赘述。
S102、根据预设人脸最大面积和预设人脸最小面积计算所述目标人脸框的面积分,得到人脸面积分;根据预设人形最大面积和预设人形最小面积计算所述目标人形框的面积分,得到人形面积分。
具体的,结合附图3所示,本步骤S102具体包括如下子步骤:
S21、判断需要计算面积分的图像框为所述目标人脸框还是所述目标人形框:
若所述需要计算面积分的图像框为所述目标人脸框:
S211、通过计算获取所述目标人脸框的面积;
若所述需要计算面积分的图像框为目标人形框:
S212、通过计算获取所述目标人形框的面积;
其中,预设人脸最大面积为预设分辨率中正常人脸框的最大面积或若干人脸框中的平均人脸框的最大面积;预设人脸最小面积为预设分辨率中正常人脸框的最小面积或若干人脸框中的平均人脸框的最小面积,在此不作具体限定。
在本实施例中,预设分辨率均为1080p,当然,根据实际需求,预设分辨率还可以进行调整,如720p、480p等。
S103、根据预设人形的高度和宽度的比例计算所述目标人形框的高度和宽度的比例分,得到人形高宽比例分。
具体地,结合附图4所示,本步骤S103具体包括如下子步骤:
S31、设定预设人形的高度和宽度的比例及对应的线性函数;
在本实施例中,所述预设人形的高度和宽度的比例在1080p的分辨率中设定,当然,根据实际需求,也可以在720p、480p等的分辨率中设定。
其中,所述预设人形的高度和宽度的比例为当前分辨率中正常人形框的高度和宽度的比例或若干人形框中高度和宽度的比例的平均值。线性函数根据所述预设人形的高度和宽度的比例设定。
S104、计算所述目标人脸框未被其余所述人脸框和所有所述人形框遮挡的比例,得到人脸未被遮挡比例;计算所述目标人形框未被其余所述人形框和所有所述人脸框遮挡的比例,得到人形未被遮挡比例。
具体地,结合附图5所示,本步骤S104具体包括如下子步骤:
S41、选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框;
S42、判断所述需要计算未被遮挡比例的图像框是否为所述目标人脸框:
S421、若所述需要计算未被遮挡比例的图像框是所述目标人脸框,则确认所述目标人脸框是否遍历到绑定的人形框:
S4211、若是,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤,即步骤S41;
S4212、若否,则进入计算步骤S43;
S422、若所述需要计算未被遮挡比例的图像框不是所述目标人脸框,则将其定义为所述目标人形框,并确认所述目标人形框是否遍历到与其绑定的人脸框:
S4221、若是,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤,即步骤S41;
S4222、若否,则进入所述计算步骤S43。
所述计算步骤S43具体包括:
S431、判断是否有所述人脸框或/和所述人形框与所述需要计算未被遮挡比例的图像框相交:
S4311、若是,则计算所述需要计算未被遮挡比例的图像框未被所述人脸框和所述人形框遮挡的比例,得到所述需要计算未被遮挡比例的图像框未被遮挡比例;
S4312、若否,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤,即步骤S41;
S44、判断所有所述需要计算未被遮挡比例的图像框的遍历是否结束:
S441、若是,则结束所有所述需要计算未被遮挡比例的图像框的遍历;
S442、若否,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤,即步骤S41。
其中,所述确认所述目标人脸框是否遍历到绑定的人形框及所述确认所述目标人形框是否遍历到与其绑定的人脸框在步骤S101中已经进行遍历并确认绑定关系,此处只是一个确认的过程,因此,不再对遍历过程进行赘述。
若所述计算步骤S43由所述目标人脸框进入,其计算时的所述需要计算未被遮挡比例的图像框则为所述目标人脸框,相应的,得到的则是所述目标人脸框的人脸未被遮挡比例;若所述计算步骤S43由所述目标人形框进入,其计算时的所述需要计算未被遮挡比例的图像框则为所述目标人形框,相应的,得到的则是所述目标人形框的人形未被遮挡比例。而步骤S44判断所有所述需要计算未被遮挡比例的图像框的遍历是否结束则是以需要计算未被遮挡比例的所有所述目标人脸框和所有所述目标人形框同时遍历结束为准。
所述步骤S431、判断是否有所述人脸框或/和所述人形框与所述需要计算未被遮挡比例的图像框相交中:结果“是”是指具有人脸框或/和人形框与所述需要计算未被遮挡比例的图像框相交;结果“否”是指没有人脸框和人形框与所述需要计算未被遮挡比例的图像框相交。
S105、根据所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度,对所述目标人脸框中的人脸图像进行评分。
具体地,本步骤S105中,对所述目标人脸框中的人脸图像的评分满足如下公式(1):
具体地,所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度由层次分析法进行分配权重,分配的权重次序依次为所述人脸未被遮挡比例、所述人脸面积分及所述人脸置信度。
S106、根据所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度,对所述目标人形框中的人形图像进行评分。
具体地,本步骤S106中,对所述目标人形框中的人形图像的评分满足如下公式(2):
其中,为所述目标人形框中的人形图像的分数,为所述目标人脸框与所述人
形框之间的绑定关系,为绑定权重,为所述人形面积分,为人形面积权重,为人
形高宽比例分,为高宽比例权重,为人形未被遮挡比例,为人形未被遮挡权重,为人形置信度,为人形置信度权重。
若所述目标人脸框在遍历过程中具有与所述目标人脸框绑定的人形框,P则为1;若所述目标人脸框在遍历过程中不具有与所述目标人脸框绑定的人形框,P则为0。
具体地,所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度由所述层次分析法进行分配权重,分配的权重次序依次为所述人形面积分、所述目标人脸框与所述目标人形框之间的绑定关系、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度。
具体地,结合附图6所示,所述步骤S105及所述步骤S106具体包括如下子步骤:
S51、判断需要进行评分的图像框是否为所述目标人脸框:
S511、若所述需要进行评分的所述图像框是所述目标人脸框,则使用层次分析法分配所述目标人脸框的人脸面积权重、人脸未被遮挡权重及人脸置信度权重;再根据所述目标人脸框的人脸面积分、人脸面积权重、人脸未被遮挡比例、人脸未被遮挡权重、人脸置信度及人脸置信度权重,对所述目标人脸框中的人脸图像进行评分;
S512、若所述需要进行评分的所述图像框不是所述目标人脸框,则将其确认为所述目标人形框,并使用所述层次分析法分配所述目标人形框的绑定权重、人形面积权重、高宽比例权重、人形未被遮挡权重及人形置信度权重;再根据所述目标人脸框与所述人形框之间的绑定关系、绑定权重、人形面积分、人形面积权重、人形高宽比例分、高宽比例权重、人形未被遮挡比例、人形未被遮挡比例权重、人形置信度及人形置信度权重,对所述目标人形框中的人形图像进行评分。
其中,对所述目标人脸框中的人脸图像进行评分需满足上述公式(1),对所述目标人形框中的人形图像进行评分需满足上述公式(2)。
本实施例的边缘部署图像的关联和评判方法中的步骤S102、步骤S103及步骤S104的顺序并非固定的,可以进行任意调节。比如步骤的顺序依次调节为步骤S103、步骤S102至步骤S104;或者是步骤S104、步骤S103至步骤S102均可。
本实施例的边缘部署图像的关联和评判方法中的步骤S105及步骤S106的顺序也并非固定的,步骤的顺序可以依次调节为步骤S106至步骤S105。
本实施例所达到的有益效果,通过获取视频流数据中的所有人脸框、所有人形框、人脸置信度及人形置信度,再通过坐标信息依次计算得到人脸面积分、人形面积分、人形高宽比例分、人脸未被遮挡比例及人形未被遮挡比例,从而可以通过目标人脸框和人形框的坐标信息快速完成脸人绑定,无需提取图像特征信息,减少脸人绑定使用的算力,并且可以通过目标人脸框的人脸面积分、人脸未被遮挡比例及人脸置信度对人脸图像进行快速评分,可以通过目标人形框与目标人脸框的绑定关系、人形面积分、人形高宽比例分、人形未被遮挡比例及人形置信度对人形图像进行快速评分,使的人脸图像和人形图像在评判时无需提取图像特征信息,进而降低了对边缘设备中处理器的性能要求,节省了硬件资源的使用,也为边缘设备开发其他功能留出了硬件资源,使得边缘设备满足了实时性处理的需求。
本发明实施例还提供了一种边缘部署图像的关联和评判系统200,如附图7所示,该系统包括如下模块:
获取总模块201,用于获取视频流数据中的所有人脸框及所有人形框;
获取子模块202,用于使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系;
人脸图像评分模块203,用于根据所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度,对所述目标人脸框中的人脸图像进行评分,
人形图像评分模块204,用于根据所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度,对所述目标人形框中的人形图像进行评分。
其中,所述人脸图像评分模块203包括如下子模块:
人脸面积分计算模块2031,用于根据预设人脸最大面积和预设人脸最小面积计算所述目标人脸框的面积分,得到人脸面积分;
人脸未被遮挡比例计算模块2032,用于计算所述目标人脸框未被其余所述人脸框和所有所述人形框遮挡的比例,得到人脸未被遮挡比例;
人脸置信度获取模块2033,用于获取视频流数据中的人脸置信度。
所述人形图像评分模块204包括如下子模块:
脸人绑定确认模块2041,用于在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系;
人形面积分计算模块2042,用于根据预设人形最大面积和预设人形最小面积计算所述目标人形框的面积分,得到人形面积分;
人形高度比例分计算模块2043,用于根据预设人形的高度和宽度的比例计算所述目标人形框的高度和宽度的比例分,得到人形高宽比例分;
人形未被遮挡比例计算模块2044,用于计算所述目标人形框未被其余所述人形框和所有所述人脸框遮挡的比例,得到人形未被遮挡比例;
人形置信度获取模块2045,用于获取视频流数据中的人形置信度。
本实施例中的边缘部署图像的关联和评判系统中的各个模块用于实现边缘部署图像的关联和评判方法中的各个步骤,解决的技术问题和达到的技术效果均相同,参照边缘部署图像的关联和评判方法的描述,在次不在赘述。
本发明实施例还提供了一种计算机设备300,如附图8所示,该设备300包括存储器301、处理器302及存储在所述存储器301上并可在所述处理器302上运行的计算机程序。
具体地,所述处理器302调用所述存储器301存储的计算机程序,执行本发明实施例提供的边缘部署图像的关联和评判方法中的步骤,结合附图1所示,具体包括步骤:
S101、获取视频流数据中的所有人脸框、所有人形框、人脸置信度及人形置信度,使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系;
S102、根据预设人脸最大面积和预设人脸最小面积计算所述目标人脸框的面积分,得到人脸面积分;根据预设人形最大面积和预设人形最小面积计算所述目标人形框的面积分,得到人形面积分;
S103、根据预设人形的高度和宽度的比例计算所述目标人形框的高度和宽度的比例分,得到人形高宽比例分;
S104、计算所述目标人脸框未被其余所述人脸框和所有所述人形框遮挡的比例,得到人脸未被遮挡比例;计算所述目标人形框未被其余所述人形框和所有所述人脸框遮挡的比例,得到人形未被遮挡比例;
S105、根据所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度,对所述目标人脸框中的人脸图像进行评分;
S106、根据所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度,对所述目标人形框中的人形图像进行评分。
本实施例中所述处理器302执行所述计算机程序时实现的是边缘部署图像的关联和评判方法的步骤,解决的技术问题和达到的技术效果均相同,参照边缘部署图像的关联和评判方法的描述,在次不在赘述。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现边缘部署图像的关联和评判方法的步骤,解决的技术问题和达到的技术效果均相同,参照边缘部署图像的关联和评判方法的描述,在次不在赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,简称RAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,所揭露的仅为本发明较佳实施例而已,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式用等同变化,均属于本发明的保护之内。
Claims (9)
1.一种边缘部署图像的关联和评判方法,其特征在于,包括如下步骤:
获取视频流数据中的所有人脸框、所有人形框、人脸置信度及人形置信度,使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系;
根据预设人脸最大面积和预设人脸最小面积计算所述目标人脸框的面积分,得到人脸面积分;根据预设人形最大面积和预设人形最小面积计算所述目标人形框的面积分,得到人形面积分;
根据预设人形的高度和宽度的比例计算所述目标人形框的高度和宽度的比例分,得到人形高宽比例分;
计算所述目标人脸框未被其余所述人脸框和所有所述人形框遮挡的比例,得到人脸未被遮挡比例;计算所述目标人形框未被其余所述人形框和所有所述人脸框遮挡的比例,得到人形未被遮挡比例;
根据所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度,对所述目标人脸框中的人脸图像进行评分;
根据所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度,对所述目标人形框中的人形图像进行评分;
所述计算所述目标人脸框未被其余所述人脸框和所有所述人形框遮挡的比例,得到人脸未被遮挡比例;计算所述目标人形框未被其余所述人形框和所有所述人脸框遮挡的比例,得到人形未被遮挡比例的步骤中,具体包括如下子步骤:
选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框;
判断所述需要计算未被遮挡比例的图像框是否为所述目标人脸框:
若所述需要计算未被遮挡比例的图像框是所述目标人脸框,则确认所述目标人脸框是否遍历到绑定的人形框:
若是,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤;
若否,则进入计算步骤;
若所述需要计算未被遮挡比例的图像框不是所述目标人脸框,则将其定义为所述目标人形框,并确认所述目标人形框是否遍历到与其绑定的人脸框:
若是,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤;
若否,则进入所述计算步骤;
所述计算步骤具体包括:
判断是否有所述人脸框或/和所述人形框与所述需要计算未被遮挡比例的图像框相交:
若是,则计算所述需要计算未被遮挡比例的图像框未被所述人脸框和所述人形框遮挡的比例,得到所述需要计算未被遮挡比例的图像框未被遮挡比例;
若否,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤;
判断所有所述需要计算未被遮挡比例的图像框的遍历是否结束:
若是,则结束所有所述需要计算未被遮挡比例的图像框的遍历;
若否,则进入下一次所述选用任意一个需要计算未被遮挡比例的图像框去遍历其余的图像框的步骤。
4.如权利要求2或3所述的边缘部署图像的关联和评判方法,其特征在于,所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度由层次分析法进行分配权重,分配的权重次序依次为所述人脸未被遮挡比例、所述人脸面积分及所述人脸置信度;
所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度由所述层次分析法进行分配权重,分配的权重次序依次为所述人形面积分、所述目标人脸框与所述目标人形框之间的绑定关系、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度。
5.如权利要求1所述的边缘部署图像的关联和评判方法,其特征在于,所述使用任意一个所述人脸框作为目标人脸框去遍历所述人形框以获取目标人形框,并在所述遍历的过程确认所述目标人脸框与所述目标人形框的绑定关系的步骤具体包括如下子步骤:
使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框;
判断所述目标人脸框所在帧的所述人形框是否与所述目标人脸框绑定:
若是,则将其作为所述目标人形框,并进入下一次所述使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框的步骤;
若否,则继续遍历并将所述目标人脸框限定在遍历的所述人形框的左上边界或右上边界及横中轴线内;
计算所述目标人脸框的中心点与遍历的所述人形框的预设人脸位置的中心点之间的距离;
选取预设人脸位置的中心点距离所述目标人脸框的中心点最近的所述人形框作为所述目标人形框;
判断是否完成所有所述目标人脸框的遍历:
若是,则将所述目标人脸框的ID赋值在对应的所述目标人形框;
若否,则进入下一次所述使用任意一个所述人脸框作为目标人脸框去遍历所述目标人脸框所在帧的所述人形框的步骤。
6.如权利要求1所述的边缘部署图像的关联和评判方法,其特征在于,所述根据预设人脸最大面积和预设人脸最小面积计算所述目标人脸框的面积分,得到人脸面积分;根据预设人形最大面积和预设人形最小面积计算所述目标人形框的面积分,得到人形面积分的步骤中,具体包括如下子步骤:
判断需要计算面积分的图像框为所述目标人脸框还是所述目标人形框:
若所述需要计算面积分的图像框为所述目标人脸框:
通过计算获取所述目标人脸框的面积;
根据所述预设人脸最大面积和所述预设人脸最小面积使用归一化方法将所述目标人脸框的面积映射到[-1,1]的区间;
使用sigmoid函数将映射到[-1,1]的区间的所述目标人脸框的面积映射到[0,1]的区间;
根据映射到[0,1]的区间的所述目标人脸框的面积计算得到人脸面积分;
若所述需要计算面积分的图像框为目标人形框:
通过计算所述目标人形框的面积;
根据所述预设人形最大面积和所述预设人形最小面积使用归一化方法将所述目标人形框的面积映射到[-1,1]的区间;
使用sigmoid函数将映射到[-1,1]的区间的所述目标人形框的面积映射到[0,1]的区间;
根据映射到[0,1]的区间的所述目标人形框的面积计算得到人形面积分。
7.如权利要求1所述的边缘部署图像的关联和评判方法,其特征在于,所述根据预设人形的高度和宽度的比例计算所述目标人形框的高度和宽度的比例分,得到人形高宽比例分的步骤中,具体包括如下子步骤:
设定预设人形的高度和宽度的比例及对应的线性函数;
根据所述预设人形的高度和宽度的比例及对应的线性函数将所述目标人形框的高度和宽度的比例映射到[0,1]的区间,以计算得到所述人形高宽比例分。
8.如权利要求1所述的边缘部署图像的关联和评判方法,其特征在于,所述根据所述人脸面积分、所述人脸未被遮挡比例及所述人脸置信度,对所述目标人脸框中的人脸图像进行评分的步骤及所述根据所述目标人脸框与所述目标人形框之间的绑定关系、所述人形面积分、所述人形高宽比例分、所述人形未被遮挡比例及所述人形置信度,对所述目标人形框中的人形图像进行评分的步骤中,具体包括如下子步骤:
判断需要进行评分的图像框是否为所述目标人脸框:
若所述需要进行评分的所述图像框是所述目标人脸框,则使用层次分析法分配所述目标人脸框的人脸面积权重、人脸未被遮挡权重及人脸置信度权重;再根据所述目标人脸框的人脸面积分、人脸面积权重、人脸未被遮挡比例、人脸未被遮挡权重、人脸置信度及人脸置信度权重,对所述目标人脸框中的人脸图像进行评分;
若所述需要进行评分的所述图像框不是所述目标人脸框,则将其确认为所述目标人形框,并使用所述层次分析法分配所述目标人形框的绑定权重、人形面积权重、高宽比例权重、人形未被遮挡权重及人形置信度权重;再根据所述目标人脸框与所述人形框之间的绑定关系、绑定权重、人形面积分、人形面积权重、人形高宽比例分、高宽比例权重、人形未被遮挡比例、人形未被遮挡比例权重、人形置信度及人形置信度权重,对所述目标人形框中的人形图像进行评分。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的边缘部署图像的关联和评判方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111097987.XA CN113554693B (zh) | 2021-09-18 | 2021-09-18 | 一种边缘部署图像的关联和评判方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111097987.XA CN113554693B (zh) | 2021-09-18 | 2021-09-18 | 一种边缘部署图像的关联和评判方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113554693A CN113554693A (zh) | 2021-10-26 |
CN113554693B true CN113554693B (zh) | 2021-12-31 |
Family
ID=78106401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111097987.XA Active CN113554693B (zh) | 2021-09-18 | 2021-09-18 | 一种边缘部署图像的关联和评判方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554693B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114253614A (zh) * | 2021-11-25 | 2022-03-29 | 上海齐感电子信息科技有限公司 | 控制方法及控制系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765913A (zh) * | 2019-10-15 | 2020-02-07 | 浙江大华技术股份有限公司 | 基于多评价指标的人体目标优选方法、装置及存储介质 |
CN111797652A (zh) * | 2019-04-09 | 2020-10-20 | 佳能株式会社 | 对象跟踪方法、设备及存储介质 |
CN112149447A (zh) * | 2019-06-26 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种人员识别方法、装置及电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010226558A (ja) * | 2009-03-25 | 2010-10-07 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
JP5978639B2 (ja) * | 2012-02-06 | 2016-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
US10719707B2 (en) * | 2018-11-13 | 2020-07-21 | Vivotek Inc. | Pedestrian detection method and related monitoring camera |
US10817739B2 (en) * | 2019-01-31 | 2020-10-27 | Adobe Inc. | Content-aware selection |
CN112464843A (zh) * | 2020-12-07 | 2021-03-09 | 上海悠络客电子科技股份有限公司 | 一种基于人脸人形的精准客流统计系统、方法、及其装置 |
-
2021
- 2021-09-18 CN CN202111097987.XA patent/CN113554693B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111797652A (zh) * | 2019-04-09 | 2020-10-20 | 佳能株式会社 | 对象跟踪方法、设备及存储介质 |
CN112149447A (zh) * | 2019-06-26 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种人员识别方法、装置及电子设备 |
CN110765913A (zh) * | 2019-10-15 | 2020-02-07 | 浙江大华技术股份有限公司 | 基于多评价指标的人体目标优选方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113554693A (zh) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200364443A1 (en) | Method for acquiring motion track and device thereof, storage medium, and terminal | |
CN109034013B (zh) | 一种人脸图像识别方法、装置及存储介质 | |
JP3426060B2 (ja) | 顔画像処理装置 | |
US20060056664A1 (en) | Security system | |
KR100752640B1 (ko) | 방향성 기울기 필터를 이용한 지문 영역 분할 장치 및 방법 | |
CN113554693B (zh) | 一种边缘部署图像的关联和评判方法、设备及存储介质 | |
US8599261B1 (en) | Vision-based car counting for multi-story carparks | |
CN112102409A (zh) | 目标检测方法、装置、设备及存储介质 | |
CN109389019B (zh) | 人脸图像选择方法、装置及计算机设备 | |
CN106446921A (zh) | 一种高压输电线障碍物识别方法及装置 | |
CN107330370A (zh) | 一种额头皱纹动作检测方法和装置及活体识别方法和系统 | |
CN107392089A (zh) | 一种眉毛运动检测方法和装置及活体识别方法和系统 | |
CN109086829A (zh) | 一种社会人口治理的方法及装置 | |
CN107358154A (zh) | 一种头部运动检测方法和装置及活体识别方法和系统 | |
CN107358155A (zh) | 一种鬼脸动作检测方法和装置及活体识别方法和系统 | |
JP2020013206A (ja) | 動画・カメラからの二輪車検知装置、プログラム及びシステム | |
CN107368777A (zh) | 一种微笑动作检测方法和装置及活体识别方法和系统 | |
CN104156689B (zh) | 一种对目标对象的特征信息进行定位的方法和设备 | |
CN111832464A (zh) | 一种基于近红外摄像头的活体检测方法及装置 | |
Guan | Robust eye detection from facial image based on multi-cue facial information | |
CN115294162A (zh) | 目标识别方法、装置、设备及存储介质 | |
CN115830513A (zh) | 一种图像场景变化确定的方法、装置、系统及存储介质 | |
CN109635762A (zh) | 一种城市管理方法、系统及装置 | |
CN107832728A (zh) | 一种基于视频的审判员打电话行为识别方法 | |
JP3065854B2 (ja) | 人物認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PP01 | Preservation of patent right | ||
PP01 | Preservation of patent right |
Effective date of registration: 20240109 Granted publication date: 20211231 |