CN109460714B - 识别对象的方法、系统和装置 - Google Patents

识别对象的方法、系统和装置 Download PDF

Info

Publication number
CN109460714B
CN109460714B CN201811210188.7A CN201811210188A CN109460714B CN 109460714 B CN109460714 B CN 109460714B CN 201811210188 A CN201811210188 A CN 201811210188A CN 109460714 B CN109460714 B CN 109460714B
Authority
CN
China
Prior art keywords
recognized
identity
image information
identified
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811210188.7A
Other languages
English (en)
Other versions
CN109460714A (zh
Inventor
路伟成
赵海杰
秦林婵
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201811210188.7A priority Critical patent/CN109460714B/zh
Publication of CN109460714A publication Critical patent/CN109460714A/zh
Application granted granted Critical
Publication of CN109460714B publication Critical patent/CN109460714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种识别对象的方法、系统和装置。其中,该方法包括:获取预设区域内待识别对象的图像信息以及眼动信息,其中,预设区域包括多个子区域,每个子区域对应至少一个识别单元;根据待识别对象的图像信息确定待识别对象的身份标识;基于身份标识对眼动信息进行分析,得到分析结果;根据分析结果对待识别对象进行识别。本发明解决了现有技术中多场景对象识别的识别率低的技术问题。

Description

识别对象的方法、系统和装置
技术领域
本发明涉及眼球追踪领域,具体而言,涉及一种识别对象的方法、系统和装置。
背景技术
为了对重点区域进行监控以避免偷盗等事故的发生,现有的解决方案主要采用人为查看摄像视频的方式,从视频中的人群中,依据视频中对象出现的位置以及出现频率来确定对象是否为嫌疑人。但该方法费时费力,并且,存在由于监察人员监察失误,导致事故发生的问题。
随着计算机科技的快速发展,各种识别技术应用在了安防领域,例如,企事业单位中需要时刻进行监控的安保部门使用识别技术对企事业单位的公私财物进行实时监察,以减少公私财物的损失。例如,目前可采用人脸识别等身份认证方式对不同场景中的对象进行身份识别,进而统计对象在设定区域出现的频次或时段,并根据统计结果来对该对象进行重点分析或预警。
然而,在预设场景内,存在正常对象和嫌疑对象在某段时间高频次出现的情况,例如,在政府大楼附近,办公人员、巡查人员、游客以及恐怖袭击嫌疑犯都可能高频次出现。如果仅采用人工检查或人脸识别等身份识别方式可能出现误判,例如,将正常对象识别为嫌疑对象进行重点监测、跟踪,或者,将嫌疑对象识别为正常对象,使得嫌疑对象不能正常被识别,或者嫌疑对象被抓获后狡辩,拒不承认。
由此可见,现有的身份识别方式造成了不必要的误会和人力警力的浪费,可能会导致该投入人力的地方不能及时调用人力或警力而造成更大的损失。
此外,人脸识别、步态识别等身份识别的装置受条件影响较大,例如,如果嫌疑对象更换了衣服、鞋子,或故意更改了行为表现,或者将面部戴上口罩等,均会影响身份识别的准确性。
针对上述现有技术中多场景对象识别的识别率低的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种识别对象的方法、系统和装置,以至少解决现有技术中多场景对象识别的识别率低的技术问题。
根据本发明实施例的一个方面,提供了一种识别对象的方法,应用于包含多个识别单元的识别系统中,包括:获取预设区域内待识别对象的图像信息以及眼动信息,其中,预设区域包括多个子区域,每个子区域对应至少一个识别单元;根据待识别对象的图像信息确定待识别对象的身份标识;基于身份标识对眼动信息进行分析,得到分析结果;根据分析结果对待识别对象进行识别。
进一步地,待识别对象的图像信息包括如下至少之一:待识别对象的人脸图像、待识别对象的眼动图像、待识别对象的步态图。
进一步地,待识别对象的眼动信息包括如下至少之一:待识别对象的注视点位置、待识别对象注视目标区域的注视时长以及注视次数、待识别对象的瞳孔信息以及眼皮信息,其中,识别对象的方法还包括:接收待识别对象的眼动图像;使用眼球追踪模组对眼动图像进行分析,得到待识别对象的眼动信息,其中,眼球追踪模组为使用多组数据通过机器学习训练得到的模型,多组数据中的每组数据至少包括:眼动图像以及眼动信息的标签;在注视点位置在目标区域内的情况下,统计待识别对象注视目标区域的注视时长以及注视次数。
进一步地,识别对象的方法还包括:根据待识别对象的图像信息确定待识别对象首次进入预设区域;生成待识别对象的身份标识。
进一步地,在生成待识别对象的身份标识之后,识别对象的方法还包括:将待识别对象的图像信息以及身份标识发送至每个识别单元,以使每个识别单元采集与待识别对象的图像信息相匹配的对象的图像信息,并将匹配的对象的身份标识标记为待识别对象的身份标识。
进一步地,识别对象的方法还包括:根据待识别对象的图像信息确定待识别对象非首次进入预设区域;从预设存储区域内获取与待识别对象的图像信息匹配度最高的预设图像信息;根据预设图像信息对应的身份标识确定待识别对象的身份标识。
进一步地,识别对象的方法还包括:在注视点位置位于目标区域内,并且,注视时长大于预设时长,和/或,注视次数大于预设次数的情况下,识别出待识别对象为非法对象;在注视点位置位于目标区域,但注视时长小于等于预设时长,注视次数小于等于预设次数的情况下,识别待识别对象为合法对象。
进一步地,在根据分析结果对待识别对象进行识别之后,识别对象的方法还包括:在待识别对象为非法对象的情况下,生成预警提示信息。
根据本发明实施例的另一方面,还提供了一种识别对象的系统,包括多个识别单元,该系统还包括:图像采集单元,用于获取预设区域内待识别对象的图像信息以及眼动信息,其中,预设区域包括多个子区域,每个子区域对应至少一个识别单元;图像处理单元,用于根据待识别对象的图像信息确定待识别对象的身份标识;中央处理单元,用于基于身份标识对眼动信息进行分析,得到分析结果,并根据分析结果对待识别对象进行识别。
根据本发明实施例的另一方面,还提供了一种识别对象的装置,应用于包含多个识别单元的识别系统中,包括:采集模块,用于获取预设区域内待识别对象的图像信息以及眼动信息,其中,预设区域包括多个子区域,每个子区域对应至少一个识别单元;确定模块,用于根据待识别对象的图像信息确定待识别对象的身份标识;分析模块,用于基于身份标识对眼动信息进行分析,得到分析结果;识别模块,用于根据分析结果对待识别对象进行识别。
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,程序执行识别对象的方法。
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行识别对象的方法。
在本发明实施例中,采用多个识别单元相结合的识别方法,该方法应用于包含多个识别单元的识别系统中。在获取到预设区域内待识别对象的图像信息以及眼动信息之后,根据待识别对象的图像信息确定待识别对象的身份标识,并基于身份标识对眼动信息进行分析,得到分析结果,最后根据分析结果对待识别对象进行识别。其中,预设区域包括多个子区域,每个子区域对应至少一个识别单元。
在上述过程中,采用多个识别单元系统协同合作,避免了现有技术中使用单一的识别单元导致识别率低的问题。另外,采用图像识别的方式确定待识别对象的身份信息,根据待识别对象的眼动信息来确定待识别对象的行为信息,其中,待识别对象的眼动信息表明了待识别对象对预设区域的关注度,而非法对象通常对预设区域的关注度要高于常人,因此,在确定待识别对象的身份标识之后,对同一身份标识的待识别对象的眼动信息进行统计和分析,可较为精确的确定待识别对象是否为非法对象,从而达到了降低对象识别的误判率的目的,实现了提高对象识别的识别率。
由此可见,本申请所提供的方案可以解决现有技术中多场景对象识别的识别率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的识别系统的结构示意图;
图2是根据本发明实施例的一种可选的识别系统的结构示意图;
图3是根据本发明实施例的一种识别对象的方法流程图;以及
图4是根据本发明实施例的一种识别对象的装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种识别对象的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
此外,还需要说明的是,本申请所提供的识别对象的方法可以应用于包含多个识别单元的识别系统中,其中,每个识别单元可位于不同的区域,以达到对不同区域内的对象进行识别的目的。另外,图1示出了一种可选的识别系统的结构示意图,由图1可知,识别系统主要包括图像采集单元、图像处理单元、中央处理单元、预警提醒单元、通信单元以及存储单元六个单元,其中,图像采集单元用于采集对象的图像;图像处理单元用于对对象的注视点和身份认证信息进行处理;中央处理单元用于对对象的行为信息(例如,出现频次、出现时长等)进行数据统计和数据分析;预警提醒单元用于在确定对象为可疑对象时发出预警和提醒消息;存储单元用于存储图像采集单元采集到的图像以及图像处理单元、中央处理单元的处理结果;通信单元用于实现识别单元中各个单元之间的通信以及各个识别单元之间的通信。
可选的,图2示出了一种可选的识别系统的结构示意图,由图2可知,每个识别单元(图2中的虚线框所示)由图像采集单元、图像处理单元以及通信单元组成。可选的,每个识别单元可将图像采集单元采集到的图像以及图像处理单元确定的对象标识发送至中央处理单元,由中央处理单元进行处理,得到识别结果。预警提醒单元根据识别结果进行预警提醒,存储单元对用户输入的信息以及各个单元处理后的数据进行存储,其中,用户可通过输入单元输入预设区域、物理空间以及各个单元对应的设备的安装角度等信息。
需要说明的是,图2所示的识别系统还包括通信单元(图2未示出),用于实现各个单元之间的通信。
图3是根据本发明实施例的识别对象的方法流程图,如图3所示,该方法包括如下步骤:
步骤S302,获取预设区域内待识别对象的图像信息以及眼动信息。
需要说明的是,待识别对象的图像信息包括如下至少之一:待识别对象的人脸图像、待识别对象的眼动图像、待识别对象的步态图;待识别对象的眼动信息包括如下至少之一:待识别对象的注视点位置、待识别对象注视目标区域的注视时长以及注视次数、待识别对象的瞳孔信息、眼皮信息以及注视深度信息。
此外,还需要说明的是,用户可通过输入单元输入预设区域的区域范围,其中,预设区域可以包含多个子区域,每个子区域对应至少一个识别单元,由该识别单元采集该子区域内的对象的图像信息以及眼动信息。另外,识别单元中的图像采集单元为能够采集图像的设备,包括但不限于相机、电磁传感器、红外传感器等。
在一种可选的方案中,图像采集单元每隔预设采集时长便获取一次预设区域内的图像信息,图像处理单元对采集到的图像信息进行处理,获取预设区域内每个待识别对象的人脸图像、眼动图像、步态图等图像信息,并对眼动图像进行分析,确定待识别对象的注视点位置、注视时长、注视次数、瞳孔信息、眼皮信息以及注视深度信息等眼动信息。其中,预设采集时长可以根据实际情况进行设定,例如,将预设采集时长设置为1秒。
步骤S304,根据待识别对象的图像信息确定待识别对象的身份标识。
在一种可选的方案中,图像处理单元对待识别对象的人脸图像进行分析,根据分析结果来确定待识别对象的身份标识,例如,如果确定待识别对象首次进入预设区域,则图像处理单元为待识别对象分配身份标识,并将该待识别对象的人脸图像以及身份标识存储在存储单元中。当该待识别对象再次进入预设区域时,图像处理单元可根据该待识别对象的图像信息与存储单元存储的图像信息进行匹配,来确定待识别对象的身份标识。
在另一种可选的方案中,图像处理单元对待识别对象的人脸图像和步态图像进行分析,根据分析结果来确定待识别对象的身份标识,例如,如果确定待识别对象首次进入预设区域,则图像处理单元为待识别对象分配身份标识,并将该待识别对象的人脸图像、步态图像以及身份标识存储在存储单元中。当该待识别对象再次进入预设区域时,图像处理单元确定该待识别对象的人脸图像与存储单元存储的人脸图像匹配,但步态图像与存储单元存储的步态图像不匹配。为躲避警方的通缉,或者监测设备的识别,犯罪嫌疑人可能会通过改变步态来躲避警方的通缉,或者监测设备的识别,因此,只要根据任意一种图像信息确定待识别对象与存储单元中的对象相同,则确定该待识别对象与存储单元中的对象相同,即在确定待识别对象的人脸图像与存储单元存储的人脸图像匹配,但步态图像与存储单元存储的步态图像不匹配时,图像处理单元仍确定该待识别对象的身份标识为与存储单元中存储的与人脸图像匹配的标识信息。
步骤S306,基于身份标识对眼动信息进行分析,得到分析结果。
在确定了待识别对象的身份标识之后,中央处理单元可获取到各个识别单元所得到的具有同一身份标识的待识别对象的眼动信息,并对眼动信息进行统计分析,例如,获取待识别对象在每个识别单元对应的区域内注视某一区域(即目标区域)的注视次数、注视时长、注视时间等信息,并对得到的信息进行统计分析,以得到分析结果。
步骤S308,根据分析结果对待识别对象进行识别。
需要说明的是,由于非法对象和合法对象的心理动向不同,因此,非法对象和合法对象对同一区域的关注程度也不相同,其中,对区域的关注程度表现在对该区域的关注时长以及关注次数等信息。例如,犯罪分子对银行柜台的关注程度要高于常人对柜台的关注程度。因此,在对待识别对象的眼动信息进行分析之后,中央处理单元根据对待识别对象的注视次数、注视时长、注视时间等信息的统计分析可确定该待识别对象是否为非法对象。
基于上述步骤S302至步骤S308所限定的方案,可以获知,采用多个识别单元相结合的识别方法,该方法应用于包含多个识别单元的识别系统中。在获取到预设区域内待识别对象的图像信息以及眼动信息之后,根据待识别对象的图像信息确定待识别对象的身份标识,并基于身份标识对眼动信息进行分析,得到分析结果,最后根据分析结果对待识别对象进行识别。其中,预设区域包括多个子区域,每个子区域对应至少一个识别单元。
容易注意到的是,采用多个识别单元系统协同合作,避免了现有技术中使用单一的识别单元导致识别率低的问题。另外,采用图像识别的方式确定待识别对象的身份信息,根据待识别对象的眼动信息来确定待识别对象的行为信息,其中,待识别对象的眼动信息表明了待识别对象对预设区域的关注度,而非法对象通常对预设区域的关注度要高于常人,因此,在确定待识别对象的身份标识之后,对同一身份标识的待识别对象的眼动信息进行统计和分析,可较为精确的确定待识别对象是否为非法对象,从而达到了降低对象识别的误判率的目的,实现了提高对象识别的识别率。
由此可见,本申请所提供的方案可以解决现有技术中多场景对象识别的识别率低的技术问题。
需要说明的是,每个预设区域内放置有至少一个识别单元,例如,在银行的门口、大厅处、存取款处、柜台处等区域放置至少一个识别单元。其中,识别单元中的图像采集单元可采集位于对应区域内待识别对象的图像信息,并将待识别对象的图像信息通过通信单元发送至图像处理单元。图像处理单元中的眼球追踪模块对待识别对象的图像信息进行处理,以得到待识别对象的眼动信息,具体步骤可以包括:
步骤S3020,接收待识别对象的眼动图像。
步骤S3022,使用眼球追踪模组对眼动图像进行分析,得到待识别对象的眼动信息,其中,眼球追踪模组为使用多组数据通过机器学习训练得到的模型,多组数据中的每组数据至少包括:眼动图像以及标识眼动信息的标签。眼球追踪模组包括眼球处理单元,用于确定眼动信息。
步骤S3024,在注视点位置在目标区域内的情况下,统计待识别对象注视目标区域的注视时长以及注视次数。
具体的,本申请所提供的识别系统可采用神经网络等机器学习算法,对图像采集单元采集到的多张图像进行训练,得到眼球追踪模组,其中,该眼球追踪模组的输入为待识别对象的眼动图像,输出结果为待识别对象的眼动信息。然后,中央处理单元根据待识别对象的注视点位置以及目标区域所在的区域范围,来确定待识别对象是否在注视目标区域。如果确定待识别对象注视目标区域,则中央处理单元进一步获取待识别对象注视目标区域的注视时长以及注视次数。
基于上述步骤S3020至步骤S3024所限定的方案,可以获知,使用机器学习的方式确定眼动信息,避免了现有的眼球追踪设备在使用之前需要进行校准导致操作复杂的问题。
另外,基于上述步骤S3020至步骤S3026所限定的方案,还可以采用深度学习、数学建模等方式对预设图像进行训练,以建立眼动图像与注视点位置之间的关联关系,即眼球追踪模组的输入为待识别对象的图像眼动图像,输出为待识别对象的注视点位置。该方案可直接输出待识别对象的注视点位置,节省了图像处理的处理流程,加快了处理速度。
需要说明的是,在本申请所提供的实施例中,可采用如下任意一种或多种方式来确定待识别对象的身份标识,其中,确定待识别对象的身份标识的设备可以为图像处理单元,也可以为中央处理单元。方式一是在待识别对象首次进入预设区域时确定待识别对象的身份标识的方法,方式二是在待识别对象非首次进入预设区域时确定待识别对象的身份标识的方法。
此外,还需要说明的是,在采用方式一或方式二确定待识别对象的身份标识之前,需要确定待识别对象是否首次进入到预设区域内,其中,预设区域包括至少一个子区域,每个子区域中存在至少一个识别单元采集该子区域内的图像信息。
在一种可选的方案中,在图像采集单元采集到待识别对象的图像信息之后,图像处理单元比对该对象的图像信息与存储单元中存储的图像信息,以确定两者是否匹配,如果两者匹配,则确定该待识别对象并非首次进入预设区域;否则,确定该待识别对象首次进入预设区域。其中,在确定待识别对象首次进入预设区域的情况下,通过方式一确定待识别对象的身份标识;在确定待识别对象并非首次进入预设区域的情况下,通过方式二确定待识别对象的身份标识。
具体的,通过方式一确定待识别对象首次进入预设区域的方法可以包括如下步骤:
步骤S3040,根据待识别对象的图像信息确定待识别对象首次进入预设区域;
步骤S3042,生成待识别对象的身份标识。
在一种可选的方案中,在得到待识别对象的图像信息之后,图像处理单元将该待识别对象的图像信息与存储单元中存储的图像信息进行比对,如果待识别对象的图像信息与存储单元中存储的图像信息的匹配度小于预设阈值(例如,90%),则确定该待识别对象首次进入预设区域,同时,图像处理单元将采集待识别对象的图像信息的采集时间与随机校验数进行结合,生成待识别对象的身份标识,并将该待识别对象的图像信息以及身份标识发送至存储单元,由存储单元对其进行存储。其中,随机校验数的位数可以为1位,也可以为多位,具体位数可根据实际情况进行设定,在此不再限定具体数值。
另外,在生成待识别对象的身份标识之后,图像采集单元还将待识别对象的图像信息以及身份标识发送至中央处理单元,中央处理单元将待识别对象的图像信息以及身份标识发送至每个识别单元,以使每个识别单元采集与待识别对象的图像信息相匹配的对象的图像信息,并将匹配的对象的身份标识标记为待识别对象的身份标识。
具体的,在识别单元A的图像处理单元为待识别对象A分配身份标识A之后,识别单元A将待识别对象A以及身份标识A发送至中央处理单元。中央处理单元将待识别对象A以及身份标识A发送至其他的识别单元中,当待识别对象A出现在其他识别单元对应的子区域内时,例如,待识别对象A出现识别单元B对应的子区域内时,识别单元B无需再为待识别对象A生成身份标识,而是直接将身份标识A作为待识别对象A的身份标识。
可选的,每个识别单元均包含一个存储器,该存储器存储有每个识别单元所识别出的待识别对象的身份标识。在中央处理单元将待识别对象A的身份标识A发送至其他的识别单元之后,其他的识别单元将待识别对象的身份标识A与对应的存储器存储的身份标识进行比对,如果待识别对象的身份标识A已存储在对应的存储器中,则确定待识别对象A出现在其他识别单元对应的子区域内,例如,识别单元B在接收到待识别对象A的身份标识A之后,检测识别单元B的存储器B中是否存储有身份标识A,如果确定存储器B存储有身份标识A,则确定待识别对象A出现在识别单元B对应的子区域内。
另外,在每个识别单元均包含一个存储器的情况下,每个识别单元的存储器也可将该识别单元的图像处理单元为待识别对象分配的身份标识发送至其他识别单元中。
在另一种可选的方案中,在确定待识别对象首次进入预设区域之后,图像处理单元可将待识别对象的图像信息发送至中央处理单元,由中央处理单元为其分配身份标识。
另外,通过方式二确定待识别对象非首次进入预设区域的方法可以包括如下步骤:
步骤S4040,根据待识别对象的图像信息确定待识别对象非首次进入预设区域;
步骤S4042,从预设存储区域内获取与待识别对象的图像信息匹配度最高的预设图像信息;
步骤S4044,根据预设图像信息对应的身份标识确定待识别对象的身份标识。
需要说明的是,在上述过程中,预设存储区域可以为存储单元存储待识别对象的图像信息以及身份标识的区域。
此外,在确定待识别对象的身份标识之后,中央处理单元可基于身份标识对眼动信息进行分析,得到分析结果,然后再根据分析结果对待识别对象进行识别。具体的,在注视点位置位于目标区域内,并且,注视时长大于预设时长(例如,1s至1min中的任意一个时长),和/或,注视次数大于预设次数(例如,10次)的情况下,中央处理单元识别出待识别对象为非法对象;在注视点位置位于目标区域,但注视时长小于等于预设时长(例如,1s至1min中的任意一个时长),注视次数小于等于预设次数(例如,10次)的情况下,中央处理单元识别待识别对象为合法对象。
此外,在根据分析结果对待识别对象进行识别之后,中央处理器还将识别结果存储至存储单元中,当待识别对象再次进入到预设区域内时,中央处理器可根据存储单元中的识别结果来确定待识别对象是否为非法对象。其中,在待识别对象为非法对象的情况下,中央处理器还控制预警提示单元生成预警提示信息,以提醒工作人员。
可选的,在待识别对象为非法对象的情况下,中央处理器还对该待识别对象进行标记,并对与该待识别对象具有相同行为的对象进行标记,例如,待识别对象A与待识别对象B同时出现在预设区域的频次较高,并且对目标区域(例如,银行的存取款机)的关注程度都比较高,则中央处理器在将待识别对象A标记为非法对象的同时,也将待识别对象B标记为非法对象,以提前发现群体作案情况时,犯罪嫌疑人的团队关系人。
在一种可选的方案中,在团队合伙作案中,每个人可能在不同位置负责不同的事情,对于监察人员来说,侦查、采证和检举比较困难,可能会造成无法在犯案前发现犯罪嫌疑人的动向,而在事故发生后,可能存在部分犯罪嫌疑人逃走,或者即便抓捕到犯罪嫌疑人,由于缺少事前的监察,缺少对犯罪行为的证明,导致对犯罪嫌疑人惩罚力度大大降低,无形中增加了后续犯案的可能。以团伙抢劫银行为例,在某一段时间内,可能会有犯罪团伙中的不同人出现在银行周围的不同关键地点,以此来汇总整体银行的信息,例如,何时保安监管最弱,何时最容易潜入金库等,而在此情况下,很难使用传统摄像头采集的视频进行分析,进而导致不易发现嫌疑人并进行举报。
然而,每个犯罪嫌疑人必然要注视银行内关键区域,可能是金库管理员、银行保安、银行经理,并且每个犯罪嫌疑人出现的时刻和地点、频次高于普通人。基于上述信息,应用本本申请所提供的识别系统可以对上述犯罪嫌疑人进行标记、跟踪、行为统计,并进行关联。如果发现有部分犯罪嫌疑人聚集或联络等,识别系统中的预警提醒单元可及时报警,尽量在事故发生前进行防范。当犯罪嫌疑人犯案时,可以将其一举抓获,并以系统采集的数据为证进行每个人在团伙中的角色和作用进行定位和分析。长此以往,可以将类似的犯罪行为抹杀于萌芽。
由此可见,本申请所提供的方案可以提高企事业单位的安防效率,完成即便是大型公共场所及多场景的高准确率、高效益完成危险发生前的监测、预测,事故发生后的监测、追踪。并且,本申请所提供的方案可以降低人力成本,减少因误判造成不必要的警民误会和警力浪费。对于团伙配合作案的情况,可以通过识别不同场景中不同人物的相关注视信息,对团伙作案的情况可以较现有技术高效的发现,以避免事故发生。同时多场景多设备协同工作,减少监控盲区,可以避免犯罪嫌疑人利用监控盲区进行犯罪活动。另外,本申请所提供的方案结合眼球追踪和身份识别进行数据分析的装置不仅可以应用在安防领域,还可以用在用户研究、商业营销上,用于分析个体客户或群体客户的喜好和行为。而对于是否预警,可根据实际使用场景需求进行设定,例如向服务员进行预警,以使服务员可以针对顾客进行精准营销。最后,本申请所提供的方案中,用户无需主动校准,犯罪嫌疑人无法发现识别的存在,增加了安防监测、预测的效益。
实施例2
根据本发明实施例,还提供了一种识别对象的装置实施例,需要说明的是,该装置应用于包含多个识别单元的识别系统中,可执行实施例4中的识别对象的方法。其中,图4是根据本发明实施例的识别对象的装置结构示意图,如图4所示,该装置包括:采集模块401、确定模块403、分析模块405以及识别模块407。
其中,采集模块401,用于获取预设区域内待识别对象的图像信息以及眼动信息,其中,待识别对象的图像信息包括如下至少之一:待识别对象的人脸图像、待识别对象的眼动图像、待识别对象的步态图,预设区域包括多个子区域,每个子区域对应至少一个识别单元;确定模块403,用于根据待识别对象的图像信息确定待识别对象的身份标识;分析模块405,用于基于身份标识对眼动信息进行分析,得到分析结果;识别模块407,用于根据分析结果对待识别对象进行识别。
需要说明的是,上述采集模块401、确定模块403、分析模块405以及识别模块407对应于实施例1中的步骤S302至步骤S308,四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,待识别对象的眼动信息包括如下至少之一:待识别对象的注视点位置、待识别对象注视目标区域的注视时长以及注视次数、待识别对象的瞳孔信息以及眼皮信息,其中,采集模块包括:第一采集模块、第一分析模块以及统计模块。其中,第一采集模块,用于接收待识别对象的眼动图像;第一分析模块,用于使用眼球追踪模组对眼动图像进行分析,得到待识别对象的眼动信息,其中,眼球追踪模组为使用多组数据通过机器学习训练得到的模型,多组数据中的每组数据至少包括:眼动图像以及标识眼动信息的标签;统计模块,用于在注视点位置在目标区域内的情况下,统计待识别对象注视目标区域的注视时长以及注视次数。
需要说明的是,上述第一采集模块、第一分析模块以及统计模块对应于实施例1中的步骤S3020至步骤S3024,三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,确定模块包括:第二确定模块以及第一生成模块。其中,第二确定模块,用于根据待识别对象的图像信息确定待识别对象首次进入预设区域;第一生成模块,用于生成待识别对象的身份标识。
需要说明的是,上述第二确定模块以及第一生成模块对应于实施例1中的步骤S3040至步骤S3042,两个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,识别对象的装置还包括:发送模块。其中,发送模块,用于将待识别对象的图像信息以及身份标识发送至每个识别单元,以使每个识别单元采集与待识别对象的图像信息相匹配的对象的图像信息,并将匹配的对象的身份标识标记为待识别对象的身份标识。
在一种可选的方案中,确定模块包括:第三确定模块、获取模块以及第四确定模块。其中,第三确定模块,用于根据待识别对象的图像信息确定待识别对象非首次进入预设区域;获取模块,用于从预设存储区域内获取与待识别对象的图像信息匹配度最高的预设图像信息;第四确定模块,用于根据预设图像信息对应的身份标识确定待识别对象的身份标识。
需要说明的是,上述第三确定模块、获取模块以及第四确定模块对应于实施例1中的步骤S4040至步骤S4044,三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
在一种可选的方案中,识别模块包括:第一识别模块以及第二识别模块。其中,第一识别模块,用于在注视点位置位于目标区域内,并且,注视时长大于预设时长,和/或,注视次数大于预设次数的情况下,识别出待识别对象为非法对象;第二识别模块,用于在注视点位置位于目标区域,但注视时长小于等于预设时长,注视次数小于等于预设次数的情况下,识别待识别对象为合法对象。
在一种可选的方案中,识别对象的装置还包括:第二生成模块。其中,第二生成模块,用于在待识别对象为非法对象的情况下,生成预警提示信息。
实施例3
根据本发明实施例,还提供了一种识别对象的系统实施例,需要说明的是,该系统可执行实施例1中的识别对象的方法,其中,该系统包含多个识别单元,具体的,该系统包括:图像采集单元、图像处理单元以及中央处理单元。
其中,图像采集单元,用于获取预设区域内待识别对象的图像信息以及眼动信息,其中,待识别对象的图像信息包括如下至少之一:待识别对象的人脸图像、待识别对象的眼动图像、待识别对象的步态图,预设区域包括多个子区域,每个子区域对应至少一个识别单元;图像处理单元,用于根据待识别对象的图像信息确定待识别对象的身份标识;中央处理单元,用于基于身份标识对眼动信息进行分析,得到分析结果,并根据分析结果对待识别对象进行识别。
在一种可选的方案中,待识别对象的眼动信息包括如下至少之一:待识别对象的注视点位置、待识别对象注视目标区域的注视时长以及注视次数、待识别对象的瞳孔信息以及眼皮信息。可选的,图像采集单元采集待识别对象的眼动图像,并使用眼球追踪模组对眼动图像进行分析,得到待识别对象的眼动信息,然后在注视点位置在目标区域内的情况下,统计待识别对象注视目标区域的注视时长以及注视次数。其中,眼球追踪模组为使用多组数据通过机器学习训练得到的模型,多组数据中的每组数据至少包括:眼动图像以及标识眼动信息的标签。
在一种可选的方案中,图像处理单元根据待识别对象的图像信息确定待识别对象首次进入预设区域,并生成待识别对象的身份标识。在生成待识别对象的身份标识之后,图像处理单元将待识别对象的图像信息以及身份标识发送至每个识别单元,以使每个识别单元采集与待识别对象的图像信息相匹配的对象的图像信息,并将匹配的对象的身份标识标记为待识别对象的身份标识。
在一种可选的方案中,图像处理单元根据待识别对象的图像信息确定待识别对象非首次进入预设区域,并从预设存储区域内获取与待识别对象的图像信息匹配度最高的预设图像信息,然后根据预设图像信息对应的身份标识确定待识别对象的身份标识。
在一种可选的方案中,在注视点位置位于目标区域内,并且,注视时长大于预设时长,和/或,注视次数大于预设次数的情况下,中央处理单元识别出待识别对象为非法对象;在注视点位置位于目标区域,但注视时长小于等于预设时长,注视次数小于等于预设次数的情况下,中央处理单元识别待识别对象为合法对象。
在一种可选的方案中,识别对象的系统还包括预警提示单元,其中,在根据分析结果对待识别对象进行识别之后,在待识别对象为非法对象的情况下,预警提示单元生成预警提示信息。
另外,识别对象的系统还包括存储单元以及通信单元,其中,存储单元用于存储识别对象的系统中各个单元的数据,该存储单元可以为但不限于服务器、闪存器以及光盘等。
通信单元用于实现识别对象的系统中各个单元之间的数据通信,其中,各个单元之间的通信方式可以包括但不限于有线光缆、无线WIFI等通讯方式。
实施例4
根据本发明实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,其中,程序执行实施例1中的识别对象的方法。
实施例5
根据本发明实施例的另一方面,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行实施例1中的识别对象的方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种识别对象的方法,应用于包含多个识别单元的识别系统中,其特征在于,包括:
获取预设区域内待识别对象的图像信息以及眼动信息,其中,所述预设区域包括多个子区域,每个子区域对应至少一个识别单元;
根据所述待识别对象的图像信息确定所述待识别对象的身份标识;
基于所述身份标识对所述眼动信息进行分析,得到分析结果;
根据所述分析结果对所述待识别对象进行识别,以确定所述待识别对象是否为非法对象;
其中,根据所述待识别对象的图像信息确定所述待识别对象的身份标识,包括:根据所述待识别对象的图像信息确定所述待识别对象首次进入所述预设区域;生成所述待识别对象的身份标识;
其中,在生成所述待识别对象的身份标识之后,所述方法还包括:将所述待识别对象的图像信息以及所述身份标识发送至每个识别单元,以使所述每个识别单元采集与所述待识别对象的图像信息相匹配的对象的图像信息,并将所述匹配的对象的身份标识标记为所述待识别对象的身份标识;
其中,根据所述待识别对象的图像信息确定所述待识别对象的身份标识,包括:根据所述待识别对象的图像信息确定所述待识别对象非首次进入所述预设区域;从预设存储区域内获取与所述待识别对象的图像信息匹配度最高的预设图像信息;根据所述预设图像信息对应的身份标识确定所述待识别对象的身份标识。
2.根据权利要求1所述的方法,其特征在于,所述待识别对象的图像信息包括如下至少之一:所述待识别对象的人脸图像、所述待识别对象的眼动图像、所述待识别对象的步态图。
3.根据权利要求1所述的方法,其特征在于,所述待识别对象的眼动信息包括如下至少之一:所述待识别对象的注视点位置、所述待识别对象注视目标区域的注视时长以及注视次数、所述待识别对象的瞳孔信息以及眼皮信息,其中,获取预设区域内待识别对象的眼动信息,包括:
接收所述待识别对象的眼动图像;
使用眼球追踪模组对所述眼动图像进行分析,得到所述待识别对象的眼动信息,其中,所述眼球追踪模组为使用多组数据通过机器学习训练得到的模型,所述多组数据中的每组数据至少包括:所述眼动图像以及标识所述眼动信息的标签;
在所述注视点位置在所述目标区域内的情况下,统计所述待识别对象注视所述目标区域的注视时长以及注视次数。
4.根据权利要求3所述的方法,其特征在于,根据所述分析结果对所述待识别对象进行识别,包括:
在所述注视点位置位于所述目标区域内,并且,所述注视时长大于预设时长,和/或,所述注视次数大于预设次数的情况下,识别出所述待识别对象为非法对象;
在所述注视点位置位于所述目标区域,但所述注视时长小于等于所述预设时长,所述注视次数小于等于所述预设次数的情况下,识别所述待识别对象为合法对象。
5.根据权利要求1所述的方法,其特征在于,在根据所述分析结果对所述待识别对象进行识别之后,所述方法还包括:
在所述待识别对象为所述非法对象的情况下,生成预警提示信息。
6.一种识别对象的系统,其特征在于,包含多个识别单元,所述系统还包括:
图像采集单元,用于获取预设区域内待识别对象的图像信息以及眼动信息,其中,所述预设区域包括多个子区域,每个子区域对应至少一个识别单元;
图像处理单元,用于根据所述待识别对象的图像信息确定所述待识别对象的身份标识;
中央处理单元,用于基于所述身份标识对所述眼动信息进行分析,得到分析结果,并根据所述分析结果对所述待识别对象进行识别,以确定所述待识别对象是否为非法对象;
其中,图像处理单元根据待识别对象的图像信息确定待识别对象首次进入预设区域,并生成待识别对象的身份标识;以及,在生成待识别对象的身份标识之后,图像处理单元将待识别对象的图像信息以及身份标识发送至每个识别单元,以使每个识别单元采集与待识别对象的图像信息相匹配的对象的图像信息,并将匹配的对象的身份标识标记为待识别对象的身份标识;
其中,图像处理单元根据待识别对象的图像信息确定待识别对象非首次进入预设区域,并从预设存储区域内获取与待识别对象的图像信息匹配度最高的预设图像信息,然后根据预设图像信息对应的身份标识确定待识别对象的身份标识。
7.一种识别对象的装置,应用于包含多个识别单元的识别系统中,其特征在于,包括:
采集模块,用于获取预设区域内待识别对象的图像信息以及眼动信息,其中,所述预设区域包括多个子区域,每个子区域对应至少一个识别单元;
确定模块,用于根据所述待识别对象的图像信息确定所述待识别对象的身份标识;
分析模块,用于基于所述身份标识对所述眼动信息进行分析,得到分析结果;
识别模块,用于根据所述分析结果对所述待识别对象进行识别,以确定所述待识别对象是否为非法对象;
其中,确定模块包括:第二确定模块,用于根据待识别对象的图像信息确定待识别对象首次进入预设区域;第一生成模块,用于生成待识别对象的身份标识;
其中,识别对象的装置还包括:发送模块,用于将待识别对象的图像信息以及身份标识发送至每个识别单元,以使每个识别单元采集与待识别对象的图像信息相匹配的对象的图像信息,并将匹配的对象的身份标识标记为待识别对象的身份标识;
其中,确定模块包括:第三确定模块,用于根据待识别对象的图像信息确定待识别对象非首次进入预设区域;获取模块,用于从预设存储区域内获取与待识别对象的图像信息匹配度最高的预设图像信息;第四确定模块,用于根据预设图像信息对应的身份标识确定待识别对象的身份标识。
8.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至5中任意一项所述的识别对象的方法。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至5中任意一项所述的识别对象的方法。
CN201811210188.7A 2018-10-17 2018-10-17 识别对象的方法、系统和装置 Active CN109460714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811210188.7A CN109460714B (zh) 2018-10-17 2018-10-17 识别对象的方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811210188.7A CN109460714B (zh) 2018-10-17 2018-10-17 识别对象的方法、系统和装置

Publications (2)

Publication Number Publication Date
CN109460714A CN109460714A (zh) 2019-03-12
CN109460714B true CN109460714B (zh) 2021-05-04

Family

ID=65607820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811210188.7A Active CN109460714B (zh) 2018-10-17 2018-10-17 识别对象的方法、系统和装置

Country Status (1)

Country Link
CN (1) CN109460714B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472195A (zh) * 2018-09-26 2019-03-15 北京七鑫易维信息技术有限公司 识别对象的方法、装置和系统
CN111956387B (zh) * 2020-07-16 2022-07-08 未来穿戴技术有限公司 按摩设备的控制方法及按摩设备、计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6102870A (en) * 1997-10-16 2000-08-15 The Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
CN101714208A (zh) * 2008-09-29 2010-05-26 富士胶片株式会社 便携式可疑个体检测设备、方法、以及计算机可读介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
WO2009036103A1 (en) * 2007-09-10 2009-03-19 Retica Systems, Inc. Long distance multimodal biometric system and method
WO2014160448A1 (en) * 2013-03-13 2014-10-02 Soloinsight, Inc. Integrated workforce management and access control
CN106873778B (zh) * 2017-01-23 2020-04-28 深圳超多维科技有限公司 一种应用的运行控制方法、装置和虚拟现实设备
CN107992378B (zh) * 2017-10-30 2019-07-26 维沃移动通信有限公司 一种文件处理方法及移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6102870A (en) * 1997-10-16 2000-08-15 The Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
CN101714208A (zh) * 2008-09-29 2010-05-26 富士胶片株式会社 便携式可疑个体检测设备、方法、以及计算机可读介质

Also Published As

Publication number Publication date
CN109460714A (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
KR101610657B1 (ko) 출입통제 데이터를 기반으로 하는 3차원 공간정보 출입통제 및 방역 시스템 및 방법
CN109410401B (zh) 适用于智慧小区的人脸识别门禁管理系统
TWI776796B (zh) 金融終端安全防護系統以及金融終端安全防護方法
US20160224836A1 (en) Role-based tracking and surveillance
US10614689B2 (en) Methods and systems for using pattern recognition to identify potential security threats
CN103714631B (zh) 基于人脸识别的atm取款机智能监控系统
CN107992739A (zh) 用户验证方法、装置及系统
CN110795963A (zh) 一种基于人脸识别的监控方法、装置及设备
US20200125838A1 (en) Monitoring inmate movement with facial recognition
US20210364356A1 (en) System and method for using artificial intelligence to enable elevated temperature detection of persons using commodity-based thermal cameras
CN108540750A (zh) 基于监控视频与电子设备标识关联的方法、装置及系统
KR101957677B1 (ko) 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법
CN110096606B (zh) 一种外籍人员管理方法、装置和电子设备
CN108540756A (zh) 基于视频与电子设备标识的识别方法、装置及系统
CN109460714B (zh) 识别对象的方法、系统和装置
CN104715245A (zh) 用于机场工作人员的监测方法和装置
CN110674761A (zh) 一种区域行为预警方法及系统
KR102182660B1 (ko) 시공간 특징을 이용한 폭력 감지 시스템, 방법 및 상기 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체
CN101692281A (zh) 一种安全监控方法、安全监控装置及自动柜员机系统
CN204926116U (zh) 一种包含视频分析的安检判图系统
JP2009077064A (ja) 監視方法および監視装置
WO2020063020A1 (zh) 识别对象的方法、装置和系统
CN112330742A (zh) 公共区域重点人员活动路线记录方法及装置
EP3109837A1 (en) System and method of smart incident analysis in control system using floor maps
CN111126167A (zh) 一种快速识别多名特定人员串联活动的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant