CN117409397A - 一种基于位置概率的实时人像比选方法、装置及系统 - Google Patents
一种基于位置概率的实时人像比选方法、装置及系统 Download PDFInfo
- Publication number
- CN117409397A CN117409397A CN202311728052.6A CN202311728052A CN117409397A CN 117409397 A CN117409397 A CN 117409397A CN 202311728052 A CN202311728052 A CN 202311728052A CN 117409397 A CN117409397 A CN 117409397A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- cache
- portrait
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000007689 inspection Methods 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及一种基于位置概率的实时人像比选方法、装置及系统，涉及安检技术领域。方法包括在时间序列上顺序得到多个图像，对不符合质量要求的图像进行舍弃处理以及将符合质量要求的图像放入缓存队列。辅助判断条件有：得到符合质量要求的图像时，询问存在位置关联的其他缓存队列上是否存在相同图像，存在相同图像时将所述图像舍弃；当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理。本申请公开的基于位置概率的实时人像比选方法、装置及系统，通过对抓拍图像使用质量检查、图像包含内容快速比对和基于位置的舍弃策略，结合边缘计算来实现对连续拍摄图像的选择优化，实现以更少图像实现完整内容表达。
Description
技术领域
本发明涉及安检技术领域，尤其是涉及一种基于位置概率的实时人像比选方法、装置及系统。
背景技术
公安检查站智慧安检模式主要通过在车道两侧分别安装两个人像抓拍相机，对应受检车辆的左右两侧前后车窗，采集车内不同乘坐位置人像照片并进行人像核验。智慧安检提升了安检效率，一定程度上降低了基层工作人员的工作强度。
受检车辆在安检位置停稳以后，摄像机会针对车窗位置进行人像抓拍。实践中可通过人像抓拍摄像机设置项对抓拍模式进行配置，包括最优抓拍方式及最快抓拍方式。最优抓拍方式会计算图像的质量得分，当得分超过一定阈值时输出图像。此方式人像抓拍质量明显提升，但抓拍速度变慢，导致整体安检过程变慢。最快抓拍方式只要捕获到人像就输出图像。此方式可保证采集速度，但是可能抓拍到侧脸，无法满足身份识别要求。
通过上述描述可以发现，目前的人像抓拍方式存在以下几个问题：
多次抓拍比对，存在干扰核验结果和计算资源浪费问题。在一次安检过程中（8-10秒），单个人员抓拍图像会多达数十张，大多为司乘人员的重复人像，对民警查看车内人员采集及核验情况造成极大的干扰，同时人像比对平台大量的计算资源用于对同一人的多张照片进行比对，导致计算资源的浪费。
常规人像去重策略，存在去重慢，影响核查效率问题。在安检核查场景中，常规的人像去重策略为，将从摄像机获取的人像依次与之前核查成功的人像按保存顺序进行遍历，依次进行特征值提取并进行相似度比对，判断是否为重复人像。这样当车内人数较多，多路相机抓拍的人像频次过高，且重复人像较多时，总体去重时间较长，影响核查效率。
发明内容
本发明提供一种基于位置概率的实时人像比选方法、装置及系统，通过对抓拍图像使用质量检查、图像包含内容快速比对和基于位置的舍弃策略和结合边缘计算来实现对连续拍摄图像的选择优化，实现以更少图像实现完整内容表达。
本发明的上述目的是通过以下技术方案得以实现的：
第一方面，本发明提供了一种基于位置概率的实时人像比选方法，包括：
响应于触发信号或者主动检测得到的启动信号，连续对覆盖区域进行拍摄，在时间序列上顺序得到多个图像，覆盖区域的数量为多个，每一个覆盖区域配置一个缓存队列；
检测图像的质量，对不符合质量要求的图像进行舍弃处理；以及
将符合质量要求的图像放入缓存队列；
时间序列上，第一张图像符合质量要求的图像直接放入缓存队列；
当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
在第一方面的一种可能的实现方式中，检测图像的质量包括检测两眼间距、姿态、表情、灰度化、亮度、对比度、遮挡和脸部区域。
在第一方面的一种可能的实现方式中，每个图像仅包括一个对象；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与全部缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
在第一方面的一种可能的实现方式中，还包括：
确定覆盖区域内的对象数量；以及
在全部缓存队列中的图像的总数量等于对象数量时停止检测图像。
在第一方面的一种可能的实现方式中，当缓存队列为满或者存在大于等于设定数量的图像时，还包括：
统计图像中的人像特征值组数，每个图像包括至少一个对象；
根据人像特征值组数筛选缓存队列中的图像和确定包括关系；以及
当图像包括缓存队列中的至少两张图像时，使用所述图像替换所述缓存队列中的图像。
在第一方面的一种可能的实现方式中，还包括：
统计图像中的人像特征值组数以及人像特征值组数的位置，位置包括采集位与子采集位，一组人像特征值对应一个位置；
根据人像特征值组数筛选缓存队列中的图像和确定包括关系；
当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且存在一组人像特征值位于采集位时，使用所述图像替换缓存队列中的图像，此处的包括范围是图像上的对象。
当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且图像中的人像特征值位置中仅包括子采集位时，将所述图像放入与缓存队列匹配的二级缓存队列。
在第一方面的一种可能的实现方式中，还包括：
当缓存队列中的图像包括全部二级缓存队列中的至少两张图像时，将所述二级缓存队列中的至少两张图像进行删除处理，此处的包括范围是图像上的对象。
第二方面，本发明提供了一种基于位置概率的实时人像比选装置，包括：
图像采集单元，用于响应于触发信号或者主动检测得到的启动信号，连续对覆盖区域进行拍摄，在时间序列上顺序得到多个图像，覆盖区域的数量为多个，每一个覆盖区域配置一个缓存队列；
图像质量检查单元，用于检测图像的质量，对不符合质量要求的图像进行舍弃处理；以及
第一处理单元，用于将符合质量要求的图像放入缓存队列；
时间序列上，第一张图像符合质量要求的图像直接放入缓存队列；
得到符合质量要求的图像时，询问存在位置关联的其他缓存队列上是否存在相同图像，存在相同图像时将所述图像舍弃；
当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
第三方面，本发明提供了一种基于位置概率的实时人像比选系统，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如第一方面及第一方面任意可能的实现方式中所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质包括：
程序，当所述程序被处理器运行时，如第一方面及第一方面任意可能的实现方式中所述的方法被执行。
第五方面，本发明提供了一种计算机程序产品，包括程序指令，当所述程序指令被计算设备运行时，如第一方面及第一方面任意可能的实现方式中所述的方法被执行。
第六方面，本发明提供了一种芯片系统，该芯片系统包括处理器，用于实现上述各方面中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。
该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存必要的程序指令和数据。该处理器和该存储器可以解耦，分别设置在不同的设备上，通过有线或者无线的方式连接，或者处理器和该存储器也可以耦合在同一个设备上。
附图说明
图1是本发明提供的基于位置概率的实时人像比选方法的一种应用场景及相关硬件示意图。
图2是本发明提供的一种实时人像比选方法的步骤流程示意框图。
图3是本发明提供的一种启动信号的给出方式示意图。
图4是本发明提供的一种主图像获取单元和辅助图像获取单元开始工作的时序示意图。
图5是本发明提供的一种在缓存队列上放置图像的示意图。
图6是基于图1给出的位置编号示意图。
图7是本发明提供的一种处理图像的过程示意图。
图8是本发明提供的一种使用缓存队列和二级缓存队列存储图像的示意图。
具体实施方式
本发明公开的基于位置概率的实时人像比选方法，可以应用于安检在一个安检场景中，具体的硬件配置内容如下，两组图像获取单元（例如摄像机）、至少一个边缘计算服务器和一个安检服务器，两组图像获取单元分别部署在安检通道的两侧。
对于通过安检通道的车辆（四人座、五人座），四个图像获取单元分别对准车辆的四个窗户，车辆在安检通道中缓慢行驶，四个图像获取单元进行连续拍摄，如图1所示，图中的两条斜线内侧区域表示图像获取单元的去取景范围。拍摄得到的图像发送到边缘计算服务器中进行筛选处理，经过筛选处理的图像发送至安检服务器。
边缘计算服务器也可以集成在图像获取单元中。
对于通过安检通道的车辆，当车辆规格发生变化时，每组中图像获取单元的数量也需要进行调整，调整的具体方式需要根据安检要求和场地要求等进行。对于边缘计算服务器，可以集成在图像获取单元中，也可以单独设置。
以下结合附图，对本发明中的技术方案作进一步详细说明。
本发明公开了一种基于位置概率的实时人像比选方法，请参阅图2， 比选方法的具体步骤如下：
S101，响应于触发信号或者主动检测得到的启动信号，连续对覆盖区域进行拍摄，在时间序列上顺序得到多个图像，覆盖区域的数量为多个，每一个覆盖区域配置一个缓存队列；
S102，检测图像的质量，对不符合质量要求的图像进行舍弃处理；以及
S103，将符合质量要求的图像放入缓存队列；
其中，时间序列上，第一张图像符合质量要求的图像直接放入缓存队列；
得到符合质量要求的图像时，询问存在位置关联的其他缓存队列上是否存在相同图像，存在相同图像时将所述图像舍弃；
当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
本发明公开的基于位置概率的实时人像比选方法，应用于一套安检系统，安检系统的硬件组成在前述内容中已经进行了陈述，此处不再赘述。
在步骤S101中，安检系统中的图像获取单元开始拍摄图像，对于图像获取单元的触发条件，有两个，分别是响应于触发信号或者主动检测得到的启动信号。
响应于触发信号应用于朝向驾驶位的图像获取单元（以下统一称为主图像获取单元），此处的触发信号由检测设备（例如车牌识别系统、接近传感器等）发出，当然也可以将朝向驾驶位的图像获取单元在拍摄的图像中发现人像作为触发信号。
主动检测得到的启动信号应用于其他位置处的图像获取单元（以下统一称为辅助图像获取单元）。
应理解，通过安检通道的车辆由驾驶员驾驶，因此驾驶位上肯定存在人员，朝向驾驶位的图像获取单元在得到图像后，会将图像放置到缓存队列。
辅助图像获取单元会对主图像获取单元的缓存队列进行监测，当发现主图像获取单元的缓存队列上存在图像时，辅助图像获取单元开始采集图像；或者，主图像获取单元的缓存队列上出现一张图像时，主图像获取单元会通知辅助图像获取单元开始拍摄图像，如图3和图4所示。
主图像获取单元和辅助图像获取单元在采集图像的过程中均连续对覆盖区域进行拍摄，此时会在在时间序列上顺序得到多个图像，然后在对这些图像进行筛选。
每一个图像获取单元（主图像获取单元和辅助图像获取单元）均会配置一个覆盖区域，每一个覆盖区域均配置一个缓存队列，如图5所示，图5中的缓存队列上存在三张图像，两个空位。此处以主图像获取单元举例，主图像获取单元一般会获取驾驶位、副驾驶位和第二排左侧位置的图像。
一个图像获取单元负责一个固定区域的图像拍摄任务，经过筛选得到的图像会被放置到匹配的缓存队列中，当然，对于图像还需要进行对比去重，该部分内容在后续步骤中进一步介绍。
对于图像的质量，在步骤S102中进行检测，检测结果有符合质量要求与不符合质量要求两种，对不符合质量要求的图像进行舍弃处理。
此处的图像质量检测，在一些例子中，具体内容如下：检测图像的质量包括检测两眼间距、姿态、表情、灰度化、亮度、对比度、遮挡和脸部区域，这些检测项目在公共安全人像识别应用图像技术要求中均有解释，此处不再赘述。
当然，在进行上述检测内容之前，还会对图像的基本质量，例如整体亮度和整体清晰度等进行检测，目的是得到能够进行上述内容中记载的检测内容的图像。
对于图像获取单元，在一些例子中可以直接使用人像识别摄像机，人像识别摄像机能够直接得到符合质量要求的图像，因为人像识别摄像机在连续拍摄图像的过程中，对于不符合质量要求的图像会直接舍弃。
同时使用人像识别摄像机得到的图像中可以仅包括一个对象，也就是一张人像。
对于符合质量要求的图像，后续的处理方式是将符合质量要求的图像放入缓存队列，也就是步骤S103中的内容，但是需要使用以下条件进行限制：
得到符合质量要求的图像时，询问存在位置关联的其他缓存队列上是否存在相同图像，存在相同图像时将所述图像舍弃。具体解释如下：
请参阅图6，以主图像获取单元（驾驶位，图6中的1号位置）和一个辅助图像获取单元（副驾驶位，图6中的2号位置）为例，主图像获取单元（驾驶位）一般会获取驾驶位、副驾驶位和第二排左侧位置的图像，辅助图像获取单元（副驾驶位）一般会获取驾驶位、副驾驶位和第二排右侧位置的图像，这就导致主图像获取单元（驾驶位）和辅助图像获取单元（副驾驶位）在图像获取上存在重合概率。
因此当主图像获取单元（驾驶位）得到第二张图像时，就需要先与图6中的2号位置的缓存队列和3号位置的缓存队列上的图像进行对比；但是不会与4号位置的缓存队列上的图像进行对比，因为1号位置和4号位置的图像获取范围上不存在重合。
当主图像获取单元（驾驶位）启动时获取到的第一张符合质量要求的图像，此时存在位置关联的其他缓存队列上为空，也就是不存在与主图像获取单元（驾驶位）启动时获取到的第一张符合质量要求的图像相同的图像，此时将这张图像直接放置到主图像获取单元（驾驶位）的缓存队列上。
后续过程中使用如下条件进行限制：
当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
前文中提到的相同图像指的就是进行人像特征值相似度对比时，相似度对比结果大于阈值的两张图像。在实际场景中，这两张图像是基于同一个人员生成。
对于缓存队列存在设定数量，解释如下：
对于一个固定位置处（朝向驾驶位）的图像获取单元，一般能够得到驾驶位、副驾驶位和左侧后排的图像，安检过程中全部车窗均需要打开。因此对于一个图像获取单元而言，可以通过使用设定数量的方式来显示匹配的缓存队列中的图像数量，用以避免重复工作。
甚至，在一些场景中，当一个图像获取单元的缓存队列中的图像数量达到设定数量时，该图像获取单元会停止工作。
应理解，当前的车辆内部有单排、双排和三排等多种方式，因此对于缓存队列的数量，因此对于缓存队列中的图像数量，可以根据车辆的具体情况进行动态调整，例如在获取车辆牌照时就同步获取车辆内部的座位数量。
当然，对于设定数量，还需要预留出一定的富余量，用来应对可能出现的超载情况。
在一些可能的实现方式中，图像获取单元（包括主图像获取单元和辅助图像获取单元）在将图像放置到缓存队列的同时，还会将该张图像放置到其他图像获取单元的缓存队列中，用以完成上述内容中记载的相似度对比工作。同时在最后的汇总过程中，这些被额外放置的图像还会被打标，并在最后的汇总过程中直接进行舍弃。
或者，缓存队列配置有对比缓存队列，其他图像获取单元发送的图像放置到对比缓存队列中，对比缓存队列在每一次的安检过程结束时进行清空处理。
提取图像的人像特征值并与缓存队列中的图像的人像特征值进行相似度对比的目的是确定当前得到的图像中的人像与缓存队列中的人像是否存在重复，如果相似度大于阈值，则为重复图像，需要进行舍弃处理，反之则将该图像加入缓存队列。
在一些例子中，还增加了如下步骤：
S201，确定覆盖区域内的对象数量；以及
S202，在全部缓存队列中的图像的总数量等于对象数量时停止检测图像。
步骤S201和步骤S202的目的是确定停止拍摄图像的时间，应理解，关于停止拍摄图像的时间，有两种确定方式，第一种是步骤S201和步骤S202中描述的方式，第二种是使用固定拍摄时间。
很明显，第一种方式更具有优势，因为第一种方式中的时间是动态时间，第二种方式中的时间是固定时间。例如固定时间是10秒，使用第一种方式的时间就可能是6秒、7秒或者其他时间（≤10秒），第一种方式能够提高车辆通过安检通道的速度。
在一些可能的实现方式中，确定覆盖区域内的对象数量的方式如下：
对于拍摄得到的图像，每个图像获取单元负责一个到两个位置上的人员数量确定，例如主图像获取单元负责对前排座位上是否存在人员进行确定，具体的方式是获取图像后，分析图像上存在的人像数量。
当然在此处对于人像的处理，仅需要进行数量判断，例如通过特征聚集度的方式，当某个区域出现人像相关特征且数量超过允许数量时，就判定此处存在人像。并且为了保证判断的准确性，可以采取两个相机同时进行判断的方式，例如同时使用图1中左侧第一个图像获取单元和右侧第一个图像获取单元对对前排座位上是否存在人员进行确定。
在一些例子中，当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与全部缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
该种方式的限制是每个图像中仅包括一个对象，例如第二个缓存队列对应的图像获取单元得到一个图像，该图像会与全部缓存队列中的图像进行相似度对比，该种方式的优势是避免了不同缓存队列中出现相同人像的问题。
也就是在步骤S201中确定覆盖区域内的对象数量后，最后在全部的缓存队列中，保存的图像数量等于对象数量。例如车辆上有三个人，最后会得到三张图像，每张图像中包括一张人像。
当然，本发明还可以使用普通相机来拍摄图像，普通相机拍摄的图像中会包括一张人像或者多张人像，具体的处理方式如下：
将符合质量要求的图像放入缓存队列；
当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理；
当缓存队列为满或者存在大于等于设定数量的图像时，请参阅图7，处理步骤如下：
S301，统计图像中的人像特征值组数，每个图像包括至少一个对象；
S302，根据人像特征值组数筛选缓存队列中的图像和确定包括关系；以及
S303，当图像包括缓存队列中的至少两张图像时，使用所述图像替换所述缓存队列中的图像。
步骤S301至步骤S303中的内容，目的是减小缓存队列中的图像数量，具体的说，首先需要统计图像中的人像特征值组数，然后使用人像特征值组数来筛选缓存队列中的图像，因为只有人像特征值组数的关系为小于时，才可能构成包括关系。
最后在图像包括缓存队列中的至少两张图像时，使用所述图像替换所述缓存队列中的图像，替换的原因是这张图像上具有更多的信息。
在一些例子中，还增加了如下步骤：
S401，统计图像中的人像特征值组数以及人像特征值组数的位置，位置包括采集位与子采集位，一组人像特征值对应一个位置；
S402，根据人像特征值组数筛选缓存队列中的图像和确定包括关系；
S403，当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且存在一组人像特征值位于采集位时，使用所述图像替换缓存队列中的图像；
S404，当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且图像中的人像特征值位置中仅包括子采集位时，将所述图像放入与缓存队列匹配的二级缓存队列。
步骤S401至步骤S404中的内容引入了位置判定，也就是将一组人像特征值与位置进行了关联。
此处的位置分为两类，分别是采集位与子采集位，采集位指的是车辆上与图像采集单元距离最近的位置，例如主图像采集单元（图1中左上）的采集位为驾驶位置，图1中位于右上的图像采集单元的采集位为副驾驶位置，子采集位是车辆上除采集位以外的其他位置。
然后再通过人像特征值组数比对和确定包括关系的方式来对新得到的图像处理，此处的包括指的是两张图像上存在相同的人像，例如第一张图像上包括两个人像，第二张图像上存在第一张图像上的两个人像和另外的人像，此时第二张图像包括第一张图像。
但是当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且图像中的人像特征值位置中仅包括子采集位时，将所述图像放入与缓存队列匹配的二级缓存队列。
二级缓存队列中保存的图像中缺失采集位处的人像，如图8所示。
使用二级缓存队列的作用是确定与图像采集单元的采集位上是否存在人员，因为一个图像采集单元的采集位对于其他图像采集单元是子采集位，通过使用二级缓存队列，可以借助其他图像采集单元来确定采集位上是否存在人员。
进一步地，对于二级缓存队列上的图像，也需要进行合并处理，方式是当缓存队列中的图像包括全部二级缓存队列中的至少两张图像时，将所述二级缓存队列中的至少两张图像进行删除处理。
本发明还提供了一种基于位置概率的实时人像比选装置，包括：
图像采集单元，用于响应于触发信号或者主动检测得到的启动信号，连续对覆盖区域进行拍摄，在时间序列上顺序得到多个图像，覆盖区域的数量为多个，每一个覆盖区域配置一个缓存队列；
图像质量检查单元，用于检测图像的质量，对不符合质量要求的图像进行舍弃处理；以及
处理单元，用于将符合质量要求的图像放入缓存队列；
得到符合质量要求的图像时，询问存在位置关联的其他缓存队列上是否存在相同图像，存在相同图像时将所述图像舍弃；
当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
进一步地，检测图像的质量包括检测两眼间距、姿态、表情、灰度化、亮度、对比度、遮挡和脸部区域。
进一步地，每个图像仅包括一个对象；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与全部缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
进一步地，还包括：
数量确定单元，用于确定覆盖区域内的对象数量；以及
截止单元，用于在全部缓存队列中的图像的总数量等于对象数量时停止检测图像。
进一步地，还包括：
第一统计单元，用于统计图像中的人像特征值组数，每个图像包括至少一个对象；
第一对比单元，用于根据人像特征值组数筛选缓存队列中的图像和确定包括关系；以及
第一替换单元，用于当图像包括缓存队列中的至少两张图像时，使用所述图像替换所述缓存队列中的图像。
进一步地，还包括：
第二统计单元，用于统计图像中的人像特征值组数以及人像特征值组数的位置，位置包括采集位与子采集位，一组人像特征值对应一个位置；
第二对比单元，用于根据人像特征值组数筛选缓存队列中的图像和确定包括关系；
第二替换单元，用于当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且存在一组人像特征值位于采集位时，使用所述图像替换缓存队列中的图像；
图像放置单元，用于当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且图像中的人像特征值位置中仅包括子采集位时，将所述图像放入与缓存队列匹配的二级缓存队列。
进一步地，当缓存队列中的图像包括全部二级缓存队列中的至少两张图像时，将所述二级缓存队列中的至少两张图像进行删除处理。
在一个例子中，以上任一装置中的单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specificintegratedcircuit，ASIC)，或，一个或多个数字信号处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)，或这些集成电路形式中至少两种的组合。
再如，当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，CPU)或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
在本发明中可能出现的对各种消息/信息/设备/网元/系统/装置/动作/操作/流程/概念等各类客体进行了赋名，可以理解的是，这些具体的名称并不构成对相关客体的限定，所赋名称可随着场景，语境或者使用习惯等因素而变更，对本发明中技术术语的技术含义的理解，应主要从其在技术方案中所体现/执行的功能和技术效果来确定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
还应理解，在本发明的各个实施例中，第一、第二等只是为了表示多个对象是不同的。例如第一时间窗和第二时间窗只是为了表示出不同的时间窗。而不应该对时间窗的本身产生任何影响，上述的第一、第二等不应该对本发明的实施例造成任何限制。
还应理解，在本发明的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还提供了一种计算机程序产品，该计算机程序产品包括指令，当该指令被执行时，以使得该终端设备和该网络设备执行对应于上述方法的终端设备和网络设备的操作。
本发明还提供了一种基于位置概率的实时人像比选系统，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如上述内容中所述的方法。
本发明还提供了一种芯片系统，该芯片系统包括处理器，用于实现上述内容中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。
该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
上述任一处提到的处理器，可以是一个CPU，微处理器，ASIC，或一个或多个用于控制上述的反馈信息传输的方法的程序执行的集成电路。
在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存必要的程序指令和数据。该处理器和该存储器可以解耦，分别设置在不同的设备上，通过有线或者无线的方式连接，以支持该芯片系统实现上述实施例中的各种功能。或者，该处理器和该存储器也可以耦合在同一个设备上。
可选地，该计算机指令被存储在存储器中。
可选地，该存储器为该芯片内的存储单元，如寄存器、缓存等，该存储器还可以是该终端内的位于该芯片外部的存储单元，如ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM等。
可以理解，本发明中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
非易失性存储器可以是ROM、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。
易失性存储器可以是RAM，其用作外部高速缓存。RAM有多种不同的类型，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器。
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
Claims (10)
1.一种基于位置概率的实时人像比选方法，其特征在于，包括：
响应于触发信号或者主动检测得到的启动信号，连续对覆盖区域进行拍摄，在时间序列上顺序得到多个图像，覆盖区域的数量为多个，每一个覆盖区域配置一个缓存队列；
检测图像的质量，对不符合质量要求的图像进行舍弃处理；以及
将符合质量要求的图像放入缓存队列；
其中，时间序列上，第一张图像符合质量要求的图像直接放入缓存队列；
得到符合质量要求的图像时，询问存在位置关联的其他缓存队列上是否存在相同图像，存在相同图像时将所述图像舍弃；
当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
2.根据权利要求1所述的基于位置概率的实时人像比选方法，其特征在于，检测图像的质量包括检测两眼间距、姿态、表情、灰度化、亮度、对比度、遮挡和脸部区域。
3.根据权利要求1或2所述的基于位置概率的实时人像比选方法，其特征在于，每个图像仅包括一个对象；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与全部缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
4. 根据权利要求3所述的基于位置概率的实时人像比选方法，其特征在于，还包括：
确定覆盖区域内的对象数量；以及
在全部缓存队列中的图像的总数量等于对象数量时停止检测图像。
5.根据权利要求1或2述的基于位置概率的实时人像比选方法，其特征在于， 当缓存队列为满或者存在大于等于设定数量的图像时，还包括：
统计图像中的人像特征值组数，每个图像包括至少一个对象；
根据人像特征值组数筛选缓存队列中的图像和确定包括关系；以及
当图像包括缓存队列中的至少两张图像时，使用所述图像替换所述缓存队列中的图像。
6.根据权利要求5所述的基于位置概率的实时人像比选方法，其特征在于，还包括：
统计图像中的人像特征值组数以及人像特征值组数的位置，位置包括采集位与子采集位，一组人像特征值对应一个位置；
根据人像特征值组数筛选缓存队列中的图像和确定包括关系；
当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且存在一组人像特征值位于采集位时，使用所述图像替换缓存队列中的图像；
当图像中的人像特征值组数大于任意一个缓存队列中的图像人像特征值组数且图像中的人像特征值位置中仅包括子采集位时，将所述图像放入与缓存队列匹配的二级缓存队列。
7.根据权利要求6所述的基于位置概率的实时人像比选方法，其特征在于，还包括：
当缓存队列中的图像包括全部二级缓存队列中的至少两张图像时，将所述二级缓存队列中的至少两张图像进行删除处理。
8.一种基于位置概率的实时人像比选装置，其特征在于，包括：
图像采集单元，用于响应于触发信号或者主动检测得到的启动信号，连续对覆盖区域进行拍摄，在时间序列上顺序得到多个图像，覆盖区域的数量为多个，每一个覆盖区域配置一个缓存队列；
图像质量检查单元，用于检测图像的质量，对不符合质量要求的图像进行舍弃处理；以及
第一处理单元，用于将符合质量要求的图像放入缓存队列；
时间序列上，第一张图像符合质量要求的图像直接放入缓存队列；
得到符合质量要求的图像时，询问存在位置关联的其他缓存队列上是否存在相同图像，存在相同图像时将所述图像舍弃；
当缓存队列为满或者存在大于等于设定数量的图像时，将符合质量要求的图像进行舍弃处理；
当缓存队列中的数量小于设定数量时，提取图像的人像特征值并与缓存队列中的图像的人像特征值进行相似度对比，相似度对比结果小于阈值，将图像放入缓存队列，反之将所述图像进行舍弃处理。
9.一种基于位置概率的实时人像比选系统，其特征在于，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：
程序，当所述程序被处理器运行时，如权利要求1至7中任意一项所述的方法被执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311728052.6A CN117409397B (zh) | 2023-12-15 | 2023-12-15 | 一种基于位置概率的实时人像比选方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311728052.6A CN117409397B (zh) | 2023-12-15 | 2023-12-15 | 一种基于位置概率的实时人像比选方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117409397A true CN117409397A (zh) | 2024-01-16 |
| CN117409397B CN117409397B (zh) | 2024-04-09 |
Family
ID=89487486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311728052.6A Active CN117409397B (zh) | 2023-12-15 | 2023-12-15 | 一种基于位置概率的实时人像比选方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117409397B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060104487A1 (en) * | 2002-11-29 | 2006-05-18 | Porter Robert M S | Face detection and tracking |
| US20110228990A1 (en) * | 2008-09-17 | 2011-09-22 | Fujitsu Limited | Image processing apparatus and image processing method |
| CN107205137A (zh) * | 2017-07-07 | 2017-09-26 | 广东中星电子有限公司 | 一种监控识别方法和装置 |
| CN110851147A (zh) * | 2018-08-21 | 2020-02-28 | 阿里巴巴集团控股有限公司 | 图像替换方法、装置和设备 |
| CN111583668A (zh) * | 2020-05-27 | 2020-08-25 | 北京百度网讯科技有限公司 | 交通拥堵检测方法、装置、电子设备和存储介质 |
| CN111858811A (zh) * | 2020-07-20 | 2020-10-30 | 北京百度网讯科技有限公司 | 一种构建兴趣点图像的方法、装置、电子设备及存储介质 |
| CN112036209A (zh) * | 2019-06-03 | 2020-12-04 | Tcl集团股份有限公司 | 一种人像照片处理方法及终端 |
| CN115345771A (zh) * | 2022-07-27 | 2022-11-15 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试图像处理方法及装置 |
| CN116127337A (zh) * | 2022-09-08 | 2023-05-16 | 北京中关村科金技术有限公司 | 基于位置和图像的风险挖掘方法、装置、存储介质及设备 |
-
2023
- 2023-12-15 CN CN202311728052.6A patent/CN117409397B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060104487A1 (en) * | 2002-11-29 | 2006-05-18 | Porter Robert M S | Face detection and tracking |
| US20110228990A1 (en) * | 2008-09-17 | 2011-09-22 | Fujitsu Limited | Image processing apparatus and image processing method |
| CN107205137A (zh) * | 2017-07-07 | 2017-09-26 | 广东中星电子有限公司 | 一种监控识别方法和装置 |
| CN110851147A (zh) * | 2018-08-21 | 2020-02-28 | 阿里巴巴集团控股有限公司 | 图像替换方法、装置和设备 |
| CN112036209A (zh) * | 2019-06-03 | 2020-12-04 | Tcl集团股份有限公司 | 一种人像照片处理方法及终端 |
| CN111583668A (zh) * | 2020-05-27 | 2020-08-25 | 北京百度网讯科技有限公司 | 交通拥堵检测方法、装置、电子设备和存储介质 |
| CN111858811A (zh) * | 2020-07-20 | 2020-10-30 | 北京百度网讯科技有限公司 | 一种构建兴趣点图像的方法、装置、电子设备及存储介质 |
| CN115345771A (zh) * | 2022-07-27 | 2022-11-15 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试图像处理方法及装置 |
| CN116127337A (zh) * | 2022-09-08 | 2023-05-16 | 北京中关村科金技术有限公司 | 基于位置和图像的风险挖掘方法、装置、存储介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 胡延静 等: "基于彩色 LED 阵列的光学相机通信系统实验研究", 光通信技术, 31 January 2023 (2023-01-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117409397B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9846802B2 (en) | Passenger counting system, passenger counting method and passenger counting program | |
| US10776892B2 (en) | Device, system and method for screening of personally identifiable information | |
| CN110796052A (zh) | 车牌识别方法、装置、设备及可读介质 | |
| CN108091140B (zh) | 一种确定套牌车辆的方法和装置 | |
| CN110910550A (zh) | 闸机通行的方法、闸机、系统、计算机设备和存储介质 | |
| CN110738150B (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
| CN108629230B (zh) | 一种人数统计方法及装置和电梯调度方法及系统 | |
| CN103440485A (zh) | 一种车辆出入控制系统及控制方法 | |
| US11445150B2 (en) | Multi-camera collaboration-based image processing method and video surveillance system | |
| KR101974105B1 (ko) | 차량번호 인식률을 높인 차량 촬영시스템 및 방법 | |
| CN106920171A (zh) | 车辆事故在线理赔的方法及装置 | |
| CN110633642B (zh) | 身份信息验证方法、装置、终端设备及存储介质 | |
| CN110580459B (zh) | 一种安全检查的方法、以及控制设备 | |
| CN113487784A (zh) | 一种闸机通行系统及方法 | |
| CN111401315B (zh) | 基于视频的人脸识别方法、识别装置及存储装置 | |
| CN117409397B (zh) | 一种基于位置概率的实时人像比选方法、装置及系统 | |
| US11482012B2 (en) | Method for driving assistance and mobile device using the method | |
| KR20210006627A (ko) | 객체 확인 방법 및 이를 위한 시스템 | |
| EP3734568A1 (en) | Data extraction method and device | |
| CN108280402B (zh) | 一种基于双目视觉的客流量统计方法及系统 | |
| KR100936443B1 (ko) | 차량 촬영 장치 및 그 제어방법 | |
| CN112836557A (zh) | 一种人像识别方法及系统 | |
| CN112818725B (zh) | 一种救援车作业识别方法、装置、存储介质和计算机设备 | |
| CN110443177A (zh) | 一种基于人脸识别的机场室内定位系统 | |
| EP3817374A1 (en) | Method, apparatus and system for adjusting field of view of observation, and storage medium and mobile apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |