CN110232134A - 数据更新方法、服务器及计算机存储介质 - Google Patents
数据更新方法、服务器及计算机存储介质 Download PDFInfo
- Publication number
- CN110232134A CN110232134A CN201910513043.2A CN201910513043A CN110232134A CN 110232134 A CN110232134 A CN 110232134A CN 201910513043 A CN201910513043 A CN 201910513043A CN 110232134 A CN110232134 A CN 110232134A
- Authority
- CN
- China
- Prior art keywords
- face characteristic
- comparison result
- similarity
- information
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本申请实施例公开了一种数据更新方法、服务器及计算机存储介质,该方法包括:获取第一对象的第一人脸特征,所述第一对象为采集到的人脸图像中所包含的对象中的任意一个;在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度,所述N为大于1的整数;将所述N个比对相似度分别与第一预设阈值比较得到比较结果;根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。采用本申请实施例更新目标数据库能够提高目标数据库中信息的准确性和有效性。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种数据更新方法、服务器及计算机存储介质。
背景技术
人脸识别技术在安防、监控、身份验证和人脸数据库检索等等领域的应用越来越广泛。在监控领域,通常在某个监控较严的区域(例如社区、学校、公司等等区域)内可以建立一个非陌生人数据库,这个数据库内存储的是可以在该区域内自由出入的人员或者说常驻人员的信息,但是,一个区域内的常驻人员是有限的,而且,如果想分析某一个区域内的人流量信息、人员来访信息同时记录来访人员的人脸特征等信息,仅有一个非陌生人数据库是不够的,还需要有一个保存除了上述常驻人员以外的陌生人的信息数据库。
发明内容
本申请实施例提供了一种数据更新方法、服务器及计算机存储介质,采用本申请实施例更新目标数据库,能够降低目标数据库中错误信息扩散的概率,提高该目标数据库中信息的准确性和有效性。
第一方面,本申请实施例提供了一种数据更新方法,该方法包括:
获取第一对象的第一人脸特征,所述第一对象为采集到的人脸图像中所包含的对象中的任意一个;
在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度,所述N个比对相似度为所述目标数据库中的人脸特征与所述第一人脸特征的相似度从大到小排序的前N个相似度,所述目标数据库存储有陌生人的人脸特征,所述N为大于1的整数;
将所述N个比对相似度分别与第一预设阈值比较得到比较结果;
根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
本申请实施例通过采用与目标人脸特征相似度从大到小排序的前N个相似度与预设的相似度阈值比较,来决定目标人脸特征对应的人员是否与目标数据库中的某一个陌生人为同一个人,然后根据比较结果的不同,采用对应匹配的更新策略来更新目标数据库,从而降低目标数据库中出现错误信息的概率,提高该目标数据库中信息的准确性和有效性。
在其中一种可能的实施方式中,所述根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度均小于所述第一预设阈值的情况下,在所述目标数据库中创建第一信息表;
将所述第一对象的信息写入所述第一信息表,其中,所述第一对象的信息包括所述第一人脸特征。
本申请实施例在与目标人脸特征相似度最大的N个比对相似度均小于第一预设阈值的情况下,即确认第一对象不属于目标数据库中已经包含的人员的情况下,在该目标数据库中新创建一个信息表存储该第一对象的信息,从而丰富了目标数据库的信息资源。
在其中一种可能的实施方式中,所述根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
在其中一种可能的实施方式中,所述在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度中有M个比对相似度大于所述第一预设阈值的情况下,将所述第一对象的信息增加至第二对象的信息表中;所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象;所述第一对象的信息包括所述第一人脸特征与所述第二对象的人脸特征的比对相似度,所述M为大于1并且小于或等于N的整数。
本申请实施例在与目标人脸特征相似度最大的N个比对相似度有M个大于第一预设阈值的情况下,先确认第一对象与目标数据库中人脸特征与该第一对象的人脸特征相似度最大的人员为同一个人,保留该目标数据库中的人员对应的信息表的信息,然后将第一对象的信息添加到该目标数据库中的人员对应的信息表中,从而降低了信息出错的概率,提高了目标数据库中信息的准确性。
在其中一种可能的实施方式中,所述在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,还包括:
在所述比较结果为所述N个比对相似度中最大的比对相似度大于所述第一预设阈值的情况下,根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象,所述第一对象的信息包括所述第一对象的人脸图像和所述第一人脸特征。
本申请实施例中,由于与目标人脸特征相似度最大的N个比对相似度中只有最大的比对相似度大于第一预设阈值,那么可以唯一确定目标数据库中哪一个人员与第一对象为同一个人,因此可以根据第一对象的信息更新该目标数据库中的人员对应的信息表。
在其中一种可能的实施方式中,所述根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:
在所述最大的比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的信息表中的人脸图像与所述第一对象的人脸图像比较,所述第二预设阈值大于所述第一预设阈值;
在所述第一对象的人脸图像的质量分数大于所述第二对象的人脸图像的情况下,将所述目标数据库中所述第二对象的人脸图像替换为所述第一对象的人脸图像。
在本申请实施例中,只有在上述一个比对相似度在大于第一预设阈值的同时还大于第二预设阈值的情况下,即可以进一步确定第一对象与上述目标数据库中的人员为同一个人,才可能对目标数据库中的人脸图像信息进行更改,从而保证了目标数据库中信息的准确性,提高了目标数据库中信息的准确性。
在其中一种可能的实施方式中,所述根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:
在所述最大比对相似度大于第二预设阈值的情况下,将所述第一人脸特征与所述目标数据库中所述第二对象的人脸特征融合;
将所述目标数据库中所述第二对象的人脸特征替换为所述融合后的人脸特征。
本申请实施例通过将目标数据库中第二对象的人脸特征替换为融合后的人脸特征,在保留了原有人脸特征的基础上添加更多的特征,完善了目标数据库中人脸特征,保证了目标数据库中人脸特征的准确性,降低目标数据库中的信息出错的概率。
在其中一种可能的实施方式中,所述根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:
在所述最大比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的人脸特征替换为所述第一人脸特征。
在本申请实施例中,只有在上述一个比对相似度在大于第一预设阈值的同时还大于第二预设阈值的情况下,即可以进一步确定第一对象与上述目标数据库中的人员为同一个人,才可能对目标数据库中的人脸特征信息进行更改,在保证了目标数据库中信息的准确性的同时,由于是直接将人脸特征替换,操作简单,提高了运算效率。
在其中一种可能的实施方式中,所述获取第一对象的第一人脸特征之后,所述在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度之前,还包括:
将所述第一人脸特征与非陌生人数据库中的人脸特征比对,得到比对结果;响应于所述比对结果小于第三预设阈值的情况,判定所述第一对象为陌生人。
第二方面,本申请提供了目标数据库的更新装置,该装置包括:
获取单元,用于获取第一对象的第一人脸特征,所述第一对象为采集到的人脸图像中所包含的对象中的任意一个;
比对单元,用于在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度,所述N个比对相似度为所述目标数据库中的人脸特征与所述第一人脸特征的相似度从大到小排序的前N个相似度,所述目标数据库存储有陌生人的人脸特征,所述N为大于1的整数;
第一比较单元,用于将所述N个比对相似度分别与第一预设阈值比较得到比较结果;
更新单元,用于根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
在其中一种可能的实施方式中,所述更新单元包括创建单元和写入单元,
所述创建单元,用于在所述比较结果为所述N个比对相似度均小于所述第一预设阈值的情况下,在所述目标数据库中创建第一信息表;
所述写入单元,用于将所述第一对象的信息写入所述第一信息表,其中,所述第一对象的信息包括所述第一人脸特征。
在其中一种可能的实施方式中,所述更新单元,用于根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,具体为:
在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
在其中一种可能的实施方式中,所述更新单元还包括增加单元,用于在所述比较结果为所述N个比对相似度中有M个比对相似度大于所述第一预设阈值的情况下,将所述第一对象的信息增加至第二对象的信息表中;所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象;所述第一对象的信息包括所述第一人脸特征与所述第二对象的人脸特征的比对相似度,所述M为大于1并且小于或等于N的整数。
在其中一种可能的实施方式中,所述更新单元,还用于在所述比较结果为所述N个比对相似度中最大的比对相似度大于所述第一预设阈值的情况下,根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象,所述第一对象的信息包括所述第一对象的人脸图像和所述第一人脸特征。
在其中一种可能的实施方式中,所述更新单元还包括第二比较单元和替换单元,
所述第二比较单元,用于在所述最大的比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的信息表中的人脸图像与所述第一对象的人脸图像比较,所述第二预设阈值大于所述第一预设阈值;
所述替换单元,用于在所述第一对象的人脸图像的质量分数大于所述第二对象的人脸图像的情况下,将所述目标数据库中所述第二对象的人脸图像替换为所述第一对象的人脸图像。
在其中一种可能的实施方式中,所述更新单元还包括融合单元,用于在所述最大比对相似度大于第二预设阈值的情况下,将所述第一人脸特征与所述目标数据库中所述第二对象的人脸特征融合;
所述替换单元,还用于将所述目标数据库中所述第二对象的人脸特征替换为所述融合后的人脸特征。
在其中一种可能的实施方式中,所述替换单元,还用于在所述最大比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的人脸特征替换为所述第一人脸特征。
在其中一种可能的实施方式中,所述服务器还包括判定单元,
所述比对单元,还用于在所述获取单元获取第一对象的第一人脸特征之后,在所述第一对象为陌生人的情况下,所述比对单元将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度之前,将所述第一人脸特征与非陌生人数据库中的人脸特征比对,得到比对结果;
所述判定单元,用于响应于所述比对结果小于第三预设阈值的情况,判定所述第一对象为陌生人。
第三方面,本申请实施例提供了一种服务器,包括处理器、通信接口和存储器,所述处理器、通信接口和存储器相互连接,其中,所述存储器存储有计算机程序,所述计算机程序被处理器执行时能够实现上述第一方面任一项所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面任一项所述的方法。
综上所述,本申请实施例通过采用与目标人脸特征相似度从大到小排序的前N个相似度与预设的相似度比较,来决定目标人脸特征对应的人员是否与目标数据库中的某一个陌生人为同一个人,然后根据比较结果的不同,采用对应匹配的更新策略来更新目标数据库,从而降低目标数据库中出现错误信息的概率,提高该目标数据库中信息的准确性和有效性。
附图说明
下面将对本申请实施例中所需要使用的附图作介绍。
图1为本申请实施例提供的一种数据更新方法的系统架构示意图;
图2为本申请实施例提供的一种数据更新方法的流程示意图;
图3为本申请实施例提供的一种数据更新装置的结构示意图;
图4为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
下面先对本方案的系统架构进行描述。图1示例性地给出了本方案实施例提供的数据更新方法的系统架构示意图。如图1所示,系统架构可以包括一个或多个服务器101(多个服务器可以构成一个服务器集群)、一个或多个网络摄像机102,其中:
服务器101包含多种形态,包括智能边缘节点服务器(一种部署在边缘的小型服务器),服务器101还可以包括但不限于后台服务器、数据处理服务器等,服务器101可以通过互联网与多个摄像机102进行数据传输。服务器上需要运行有相应的服务器端程序来提供相应的数据处理服务,如数据库处理服务,数据计算、决策执行等等。摄像机102通过互联网将拍摄到的图像或视频数据传输到服务器101以用于进行后期的处理分析。
需要说明的是本申请实施例提供的数据更新方法的系统架构不限于图1所示架构,此处不做进一步的限制。
下面结合图1所示架构详细说明本申请提供的一种数据更新方法,参阅图2所示一种数据更新方法的流程图,具体的方法步骤如下:
步骤201、获取第一对象的第一人脸特征,所述第一对象为采集到的人脸图像中所包含的对象中的任意一个。
在本实施例中,通过摄像头、抓拍机、数码相机等的图像采集设备拍摄到第一对象的人脸图像,然后将拍摄到的人脸图像通过网络发送到服务器,服务器接收到该人脸图像后通过人脸特征提取算法提取该人脸图像中的人脸特征(即上述的第一人脸特征),上述第一对象为拍摄到的人脸图像中所包含的对象(人脸)中的任意一个。
具体的,人脸特征提取算法可以是尺度不变特征变换(scale-invariant featuretransform,SIFT)特征描述算子、加速稳健特征(speeded up robust features,SURF)描述算子、快速特征点提取和描述(oriented FAST and rotated BRIEF,ORB)算子、方向梯度直方图(Histogram of Oriented Gradient,HOG)特征描述算子、局部二值模式(localbinary patterns,LBP)特征描述算子以及哈尔Harr特征描述算子等等。
步骤202、在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度。
其中,所述N个比对相似度为所述目标数据库中的人脸特征与所述第一人脸特征的相似度从大到小排序的前N个相似度,所述目标数据库存储有陌生人的人脸特征,所述N为大于1的整数
在其中一种可能的实施方式中,所述获取第一对象的第一人脸特征之后,所述在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度之前,还包括:将所述第一人脸特征与非陌生人数据库中的人脸特征比对,得到比对结果;响应于所述比对结果小于第三预设阈值的情况,判定所述第一对象为陌生人。
在具体实施例中,服务器提取到第一对象人脸图像的人脸特征之后,将该人脸特征与已经创建好的非陌生人数据库中各个人脸特征进行比对。如果该人脸特征与上述非陌生人数据库中各个人脸特征的相似度都小于预设的相似度阈值(即上述第三预设阈值),那么可以确定该人脸特征不属于非陌生人数据库中的人脸特征,即确定上述第一对象为陌生人。
具体的,预设的相似度阈值可以根据实际需要确定,相似度的取值范围一般情况下为0至1之间的任意一个数值,那么预设的相似度阈值可以是0.6或者0.5至1之间的任意一个值等等。
具体的,非陌生人数据库为在目标区域范围内且在一定时间内出现的频率或次数符合预设要求的人员的信息所组成的数据库。例如,该非陌生人数据库可以是某个社区中的常驻人员的信息数据库,那么这里的非陌生人即为该社区中的常驻人员,除此以外的人员则为陌生人;或者,上述非陌生人数据库可以是某个学校中学生、老师和学校工作人员的信息数据库,那么这里的非陌生人即为学校中的学生、老师和学校工作人员,除此以外的人员则为陌生人;或者,上述非陌生人数据库可以是某一个公司中管理者和员工的信息数据库,那么这里的非陌生人即为公司中管理者和员工,除此以外的人员则为陌生人。非陌生人数据库中的每一个人脸特征唯一对应一个非陌生人。此处关于非陌生人数据库的描述仅是示例性的描述,具体实施例中不限于上述场景中的描述。
具体的,非陌生人数据库中的信息可以是将上述符合预设要求的人员的信息录入到非陌生人数据库中,也可以是通过图像采集设备拍摄到上述符合预设要求的人员的人脸图像,然后通过计算等操作获取这些人员的信息录入到非陌生人数据库中。
具体的,非陌生人数据库中存储的每一个人的信息可以参见表1。在表1所示的信息中,一般情况下,包括人员的唯一标识码、该人员的人脸图像和该人员的人脸特征是需要包括在非陌生人数据库中的;而对于该人员人脸图像的质量分数、拍摄该人员人脸图像的设备信息(摄像机信息)、拍摄该人脸图像的拍摄时间以及拍摄到该人员的次数这几个信息是否包括在非陌生人数据库中是可以根据具体的需要来决定的。具体的,表1中拍摄该人脸图像的拍摄时间也可以是将该图像添加到数据库的时间,下面的描述中也一样。需要说明的是,非陌生人数据库中可以包括的信息不限于表1所示的这几个信息,还可以包括其它的类似于身高、胖瘦、衣服颜色等信息,此处不再进一步限制描述。
表1
字段 | 描述 |
身份标识(ID) | 人员的唯一标识码 |
图像(Image) | 人脸图像 |
质量分数(Quality) | 人脸图像质量分数 |
特征(Feature) | 人脸特征 |
设备(Device) | 拍摄设备信息 |
触发时间(Trigger) | 拍摄时间 |
次数(Count) | 该人员被拍摄的次数 |
在具体实施例中,上述的目标数据库可以为陌生人数据库,同样地,下面描述的目标数据库可以为该陌生人数据库,在确定上述第一对象为陌生人之后,服务器将提取到的上述第一对象的人脸特征与陌生人数据库中的人脸特征进行比对,确定出该陌生人数据库中的人脸特征与上述第一对象的人脸特征的相似度从大到小排序的前N个相似度,同时,也可以确定出该陌生人数据库中与上述第一对象的人脸特征的相似度最大的人脸特征所对应的人员。具体的,N为大于1的整数。
具体的,上述人脸特征比对采用的算法可以是K维树(k-dimensional tree,K-Dtree)算法、乘积量化(product quantization,PQ)算法等。
具体的,陌生人数据库为在目标区域范围内出现过并被摄像头拍摄到人脸图像的人员的信息所组成的数据库,且这些被拍摄到的人员不属于该目标区域范围内的非陌生人数据库中的人员。例如,对于某个社区来说,这里的陌生人数据库可以是由除了该社区中的常驻人员以外的被该社区中的网络摄像机捕捉到的人员的信息组成的数据库;或者,对于某个学校来说,这里的陌生人数据库可以是由除了该学校中的学生、老师和学校工作人员以外的被该学校中的网络摄像机捕捉到的人员的信息组成的数据库;或者,对于某个公司来说,这里的陌生人数据库可以是由除了该公司中的管理者和员工以外的被该公司中的网络摄像机捕捉到的人员的信息组成的数据库。陌生人数据库中的每一个人脸特征唯一对应一个陌生人。此处关于陌生人数据库的描述仅是示例性的描述,具体实施例中不限于上述场景中的描述。
具体的,与非陌生人数据库中包括的信息类似,一般情况下,人员的唯一标识码、该人员的人脸图像和该人员的人脸特征是需要包括在陌生人数据库中的;而对于该人员人脸图像的质量分数、拍摄该人员人脸图像的设备信息(摄像机信息)、拍摄该人脸图像的拍摄时间以及拍摄到该人员的次数这几个信息是否包括在陌生人数据库中是可以根据具体的需要来决定的。
如果某个陌生人不止一次被拍摄到,那么该某个陌生人在陌生人数据库中的信息还可以包括比对相似度的信息,例如,该某个陌生人第二次拍摄到的图像提取到的人脸特征与第一次拍摄到的人脸图像提取到的人脸特征的相似度为0.95,那么陌生人数据库中可以将该比对相似度0.95保存到该某个陌生人对应的信息中。
需要说明的是,陌生人数据库中可以包括的信息不限于表1所示的这几个信息,还可以包括其它的类似于身高、胖瘦、衣服颜色等信息,此处不再进一步限制描述。
步骤203、将所述N个比对相似度分别与第一预设阈值比较得到比较结果。
在具体实施例中,服务器将上述确定的N个比对相似度与预设的相似度(为了便于描述称为第一预设阈值)比较以确定该N个比对相似度与该第一预设阈值之间的大小关系。具体的,该第一预设阈值可以是0.6或者0.5至1之间的任意一个值等等,一般情况下,如果某个比对相似度大于该第一预设阈值,那么就确认比较得到该某个比对相似度的两个人脸特征所对应的两个人为同一个人。
为了便于理解,以N为3举例说明。3个比对相似度例如分别可以是0.65、0.78和0.91,假设第一预设阈值为0.75,那么0.65、0.78和0.91这3个比对相似度与第一预设阈值0.75比较得到的比较结果为:有一个比对相似度小于第一预设阈值,另外两个比对相似度大于第一预设阈值。
步骤204、根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
在具体的实施例中,N个比对相似度与上述第一预设阈值之间的比较结果可能会有多种,不同的比较结果可能会采用对应匹配的数据更新策略,因此,具体如何更新陌生人数据库由上述比较结果决定。
例如,可以参见表2,假设有三种不同的比较结果,每一种比较结果对应着一种更新策略,具体的,第一比较结果可以为所述N个比对相似度均小于所述第一预设阈值;第二比较结果可以为所述N个比对相似度中有M个比对相似度大于所述第一预设阈值,其中M为大于1小于或等于N的整数;第三比较结果可以为所述N个比对相似度中只有最大的比对相似度大于所述第一预设阈值,下面将分别对这三种比较结果所采用的数据更新进行介绍。
当然在具体的实施例中,如果两个比较结果不同也可以对应同一个更新策略,例如,上述比较结果为所述N个比对相似度中有M个比对相似度大于所述第一预设阈值的这种情况,假设N为4,在M为2和M为3这两个情况下,比较结果分别为所述4个比对相似度中有2个比对相似度大于所述第一预设阈值、所述4个比对相似度中有3个比对相似度大于所述第一预设阈值,虽然这两个比较结果不同,但都属于所述N个比对相似度中有M个比对相似度大于所述第一预设阈值的这种情况,所以可以对应同一个更新策略。
表2
比较结果 | 更新策略 |
第一比较结果 | 第一更新策略 |
第二比较结果 | 第二更新策略 |
第三比较结果 | 第三更新策略 |
本申请实施例通过采用与目标人脸特征相似度从大到小排序的前N个相似度与预设的相似度比较,来决定目标人脸特征对应的人员是否与陌生人数据库中的某一个陌生人为同一个人,然后根据比较结果的不同,采用对应匹配的更新策略来更新陌生人数据库,从而降低陌生人数据库中出现错误信息的概率,提高该陌生人数据库中信息的准确性和有效性。
在其中一种实施方式中,所述根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:在所述比较结果为所述N个比对相似度均小于所述第一预设阈值的情况下,在所述目标数据库中创建第一信息表;将所述第一对象的信息写入所述第一信息表,其中,所述第一对象的信息包括所述第一人脸特征。
在具体实施例中,如果上述比较结果为上述N个比对相似度均小于上述第一预设阈值,那么服务器可以确定上述第一对象的人脸特征与陌生人数据库中的人脸特征都不相似,即该第一对象为第一次拍摄到,是一个新的陌生人。那么服务器根据该比较结果在陌生人数据库中创建一个与该第一对象唯一对应的信息表,同时为该第一对象生成对应的唯一标识码,然后将该唯一标识码和该第一对象的信息写入到上述创建的第一信息表中。
具体的,该第一对象的信息可以参见上述陌生人数据库中包括的信息的具体描述,此处不再赘述。需要说明的是,虽然该第一对象是第一次拍摄到,但是由于该第一对象的人脸特征与陌生人数据库中的人脸特征比对过,因此也可以将上述N个比对相似度及其陌生人数据库中比对的人员标识信息写入到该第一对象的信息表中。如果由于存储容量的限制可以选择比对相似度最大的比对相似度及其比对的人员标识信息写入到该第一对象的信息表中,具体的如何选择可以根据具体情况决定,此处不再赘述。
本申请实施例在与目标人脸特征相似度最大的N个比对相似度均小于第一预设阈值的情况下,即确认第一对象不属于陌生人数据库中已经包含的人员的情况下,在该陌生人数据库中新创建一个信息表存储该第一对象的信息,从而丰富了陌生人数据库的信息资源。
在其中一种可能的实施方式中,所述根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
具体的,所述比较结果一般分为两种情况,一种就是所述N个比对相似度都小于所述第一阈值,另一种就是所述N个比对相似度中至少有一个大于所述第一阈值,那么在这种情况下,服务器会采用与所述比较结果匹配的更新策略更新所述目标数据库,下面对第二种情况的目标数据库更新进行详细介绍。
在其中一种可能的实施方式中,所述在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:在所述比较结果为所述N个比对相似度中有M个比对相似度大于所述第一预设阈值的情况下,将所述第一对象的信息增加至第二对象的信息表中;所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象;所述第一对象的信息包括所述第一人脸特征与所述第二对象的人脸特征的比对相似度,所述M为大于1并且小于或等于N的整数。
在具体实施例中,如果上述比较结果为上述N个比对相似度中有M(M为大于1小于或等于N的整数)个比对相似度大于上述第一预设阈值,那么,服务器可以确定上述第一对象与陌生人数据库中与该第一对象的人脸特征相似度最大的人脸特征对应的人员(为了便于描述称该人员为第二对象)为同一个人;然后,在保留该第二对象在陌生人数据库中的信息表中的信息的同时,将该第一对象的信息添加到该第二对象的信息表中。
具体的,由于确认第一对象和第二对象为同一个人,因此,陌生人数据库中第二对象的信息表中的人员唯一标识码保持不变,即不对这一项信息进行更新。
此外,由于有M个比对相似度都大于上述第一阈值,理论上,上述第一对象与该M个比对相似度所对应的陌生人数据库中的比对人脸特征所对应的M个陌生人为同一个人,但实际上,这是不可能的,因此,确定上述第一对象与该M个比对相似度中的最大的比对相似度所对应的比对人脸特征所对应的陌生人为同一个人。但是,为了保证陌生人数据库的信息的准确性,上述第二对象的信息表中的人脸图像和人脸特征保持不变,即不对这两项信息进行更新。
在此基础上,可以将第一对象的人脸图像的质量分数、拍摄的设备信息、拍摄时间、拍摄到该第一对象的次数添加到第二对象的信息表中。此外,还可以将第二对象与第一对象的人脸特征比对相似度添加到第二对象的信息表中,或者将上述M个比对相似度以及该M个比对相似度对应的陌生人数据库中的比对人脸特征所对应的陌生人的标识信息添加到第二对象的信息表中。
本申请实施例在与目标人脸特征相似度最大的N个比对相似度有M个大于第一预设阈值的情况下,先确认第一对象与陌生人数据库中人脸特征与该第一对象的人脸特征相似度最大的人员为同一个人,但是为了避免信息出错,先保留该陌生人数据库中的人员对应的信息表的信息,然后将第一对象的信息添加到该陌生人数据库中的人员对应的信息表中,从而降低了信息出错的概率,提高了陌生人数据库中信息的准确性。
在其中一种可能的实施方式中,所述在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,还包括:在所述比较结果为所述N个比对相似度中最大的比对相似度大于所述第一预设阈值的情况下,根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象,所述第一对象的信息包括所述第一对象的人脸图像和所述第一人脸特征。
如果上述比较结果为上述N个比对相似度中只有最大的比对相似度大于上述第一预设阈值,那么,服务器可以确定上述第一对象与陌生人数据库中与该第一对象的人脸特征相似度最大的人脸特征对应的人员即上述第二对象为同一个人。然后,服务器根据该第一对象的信息更新陌生人数据库中上述第二对象的信息表。
本申请实施例中,由于与目标人脸特征相似度最大的N个比对相似度中只有最大的比对相似度大于第一预设阈值,那么可以唯一确定陌生人数据库中哪一个人员与第一对象为同一个人,因此可以根据第一对象的信息更新该陌生人数据库中的人员对应的信息表。
在其中一种可能的实施方式中,所述根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:在所述最大的比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的信息表中的人脸图像与所述第一对象的人脸图像比较,所述第二预设阈值大于所述第一预设阈值;在所述第一对象的人脸图像的质量分数大于所述第二对象的人脸图像的情况下,将所述目标数据库中所述第二对象的人脸图像替换为所述第一对象的人脸图像。
在具体实施例中,如果上述最大的比对相似度大于第二预设阈值,那么,服务器可以将上述第二对象的信息表中的人脸图像和上述第一对象的人脸图像进行比较,在第一对象的人脸图像的质量分数大于上述第二对象的信息表中的人脸图像的情况下,服务器将上述第二对象的信息表中的人脸图像替换为第一对象的人脸图像;如果第一对象的人脸图像的质量分数小于上述第二对象的信息表中的人脸图像,那么保持上述第二对象的信息表中的人脸图像不变,即不更新上述第二对象的信息表中的人脸图像。
具体的,上述第二预设阈值为另一个预设相似度,且第二预设阈值的值大于第一预设阈值,例如,假设第一预设阈值的值为0.75,那么第二预设阈值的值可以是0.85等等,第二预设阈值的取值范围也可以是0.6或者0.5至1之间的任意一个值。
具体的,上述人脸图像质量分数比较采用的算法可以是均方误差(mean squarederror,MSE)算法和峰值信噪比(peak signal to noise rate,PSNR)算法等等。
在本申请实施例中,只有在上述一个比对相似度在大于第一预设阈值的同时还大于第二预设阈值的情况下,即可以进一步确定第一对象与上述陌生人数据库中的人员为同一个人,才可能对陌生人数据库中的人脸图像信息进行更改,从而保证了陌生人数据库中信息的准确性,降低陌生人数据库中的信息出错的概率。
在其中一种可能的实施方式中,所述根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:在所述最大比对相似度大于第二预设阈值的情况下,将所述第一人脸特征与所述目标数据库中所述第二对象的人脸特征融合;将所述目标数据库中所述第二对象的人脸特征替换为所述融合后的人脸特征。
在具体实施例中,如果上述最大的比对相似度大于第二预设阈值,那么,服务器还可以将上述第一对象的人脸特征和上述第二对象的信息表中的人脸特征进行特征融合得到融合后的人脸特征,然后,将上述第二对象的信息表中的人脸特征替换为该融合后的人脸特征。
具体的,上述人脸特征融合采用的算法可以是基于贝叶斯决策理论的算法、基于稀疏表示理论的算法或基于深度学习理论的算法等等。
本申请实施例通过将目标数据库中第二对象的人脸特征替换为融合后的人脸特征,在保留了原有人脸特征的基础上添加更多的特征,完善了陌生人数据库中人脸特征,保证了目标数据库中人脸特征的准确性,降低目标数据库中的信息出错的概率。
在其中一种可能的实施方式中,所述根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:在所述最大比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的人脸特征替换为所述第一人脸特征。
在具体实施例中,如果上述最大的比对相似度大于第二预设阈值,那么,服务器可以将上述第二对象的信息表中的人脸特征替换为上述第一对象的人脸特征,而不是将上述第二对象的信息表中的人脸特征替换为该融合后的人脸特征。
在具体的实施例中,如果上述最大的比对相似度大于第二预设阈值,不管是将上述第二对象的信息表中的人脸特征替换为上述第一对象的人脸特征,还是将上述第二对象的信息表中的人脸特征替换为该融合后的人脸特征,都是可以的,这两种操作的区别是前一种计算量较少,后一种的计算量较大,具体采用哪一种操作可以根据具体服务器的性能决定,此处不做限制说明。
在本申请实施例中,只有在上述一个比对相似度在大于第一预设阈值的同时还大于第二预设阈值的情况下,即可以进一步确定第一对象与上述陌生人数据库中的人员为同一个人,才可能对陌生人数据库中的人脸特征信息进行更改,在保证了陌生人数据库中信息的准确性的同时,由于是直接将人脸特征替换,操作简单,减轻了处理器的负担。
在其中一种可能的实施方式中,如果上述最大的比对相似度大于第一预设阈值但是小于第二预设阈值,那么,服务器可以将上述第二对象的信息表中的人脸图像和上述第一对象的人脸图像进行比较,在第一对象的人脸图像的质量分数大于上述第二对象的信息表中的人脸图像的情况下,服务器将上述第二对象的信息表中的人脸图像替换为第一对象的人脸图像;如果第一对象的人脸图像的质量分数小于上述第二对象的信息表中的人脸图像,那么保持上述第二对象的信息表中的人脸图像不变,即不更新上述第二对象的信息表中的人脸图像。此外,不对上述第二对象的信息表中的人脸特征做更改。
在其中一种可能的实施方式中,如果上述最大的比对相似度大于第一预设阈值但是小于第二预设阈值,那么,服务器可以不对上述第二对象的信息表中的人脸图像和人脸特征做更改。
需要说明的是,在上述最大的比对相似度大于第一预设阈值但是小于第二预设阈值的情况下,不管是否选择更新上述第二对象的信息表中的人脸图像都是可以的,如果选择更新,那么服务器需要付出较大的计算量比较图像的质量分数,而且是否真的需要更新还要根据计算结果来决定,如果选择不更新,那么就保持不变,不需要执行额外的计算操作。具体采用哪一种操作可以根据具体服务器的性能决定,此处不做限制说明。
在具体的实施例中,在上述比较结果为上述N个比对相似度中只有最大的比对相似度大于上述第一预设阈值的情况下,除了上述描述中对陌生人数据库中的第二对象的信息表进行的更新操作之外,服务器还可以对上述第二对象的信息表进行下面几项操作中的一项或多项操作:将上述第一对象的人脸图像的质量分数添加到上述第二对象的信息表、将上述第一对象的人脸特征与该第二对象的人脸特征的比对相似度添加到上述第二对象的信息表、将拍摄上述第一对象的人脸图像的拍摄设备信息添加到上述第二对象的信息表、将上述第一对象的人脸图像的拍摄时间添加到上述第二对象的信息表以及将上述第二对象的信息表中的上述第一对象或者说第二对象被拍摄到的次数增加一次。
综上所述,现有技术中仅采用比对相似度最大的一个值与预设的相似度进行比较,如果该相似度大于预设的相似度则确定比较得到该比对相似度的两个人脸特征对应的两个人为同一个人,如果该相似度小于预设的相似度则确定比较得到该比对相似度的两个人脸特征对应的两个人不是同一个人,这样的比较结果太绝对,比较出错后容易导致陌生人数据库中出现错误的信息;相比于现有技术,本申请实施例通过采用与目标人脸特征相似度从大到小排序的前N个相似度与预设的相似度比较,来决定目标人脸特征对应的人员是否与陌生人数据库中的某一个陌生人为同一个人,然后根据比较结果的不同,采用对应匹配的更新策略来更新陌生人数据库,从而降低陌生人数据库中出现错误信息的概率,提高该陌生人数据库中信息的准确性和有效性。
为了便于理解,将提供如下一种实施方式。以上述N为3进行举例说明。
在上述第一对象为陌生人的情况下,将上述第一人脸特征与陌生人数据库中的人脸特征比对得到3个比对相似度,然后,将该3个比对相似度分别与第一预设阈值比较得到比较结果,再根据该比较结果采用与该比较结果匹配的更新策略更新所述陌生人数据库。下面根据不同的比较结果对应的情况分别介绍说明。
第一种情况,如果上述3个比对相似度均小于上述第一预设阈值,则在陌生人数据库中添加新的陌生人的数据信息。
具体的,首先在陌生人数据库中创建一个陌生人信息表,然后将第一对象的信息写入到这个陌生人信息表中,第一对象的信息可以参见表3,在表3中可以看到,需要写入的新创建的陌生人信息表中的信息可以包括第一对象的人员ID、人脸图像、质量分数、人脸特征、比对相似度、抓拍设备信息、抓拍时间和被抓拍的次数。
表3
数据类型 | 更新方法 |
人员ID | 创建一个新的人员ID |
人脸图像 | 导入人脸图像 |
质量分数 | 填入质量分数 |
人脸特征 | 导入人脸特征 |
比对相似度 | 填入比对相似度 |
抓拍设备信息 | 填入信息 |
抓拍时间 | 填入信息 |
该人员被抓拍次数 | 填入信息 |
第二种情况,如果上述3个比对相似度中有两个或者三个大于上述第一预设阈值,则认为没有新的陌生人,且认为抓拍到的上述第一对象为与陌生人数据库中与该第一对象的比对相似度最大的陌生人为同一个人。这种情况下,只更新陌生人数据库中与该第一对象的比对相似度最大的陌生人的相关信息,具体的更新方案可以参见表4。
表4
数据类型 | 更新方法 |
人员ID | 不更新 |
人脸图像 | 不更新 |
质量分数 | 之前的记录保留,添加一条新的记录 |
人脸特征 | 不更新 |
比对相似度 | 之前的记录保留,添加一条新的记录 |
抓拍设备信息 | 之前的记录保留,添加一条新的记录 |
入库时间 | 之前的记录保留,添加一条新的记录 |
该人员被抓拍次数 | 更新 |
在表4中可以看到,陌生人数据库中与该第一对象的比对相似度最大的陌生人的相关信息中,不更新人员ID、人脸图像和人脸特征这三项,而质量分数、比对相似度、抓拍设备信息和入库时间都是保留之前的记录,并将第一对象的相关信息添加到对应项中即可,人员被抓拍的次数需要更新,例如增加一次抓拍次数。
第三种情况下,如果上述3个比对相似度中只有最大的比对相似度大于上述第一预设阈值,则认为没有新的陌生人,且认为抓拍到的上述第一对象为与陌生人数据库中与该第一对象的比对相似度最大的陌生人为同一个人。
但是,在这种情况下,有两种可以选择的模式对路人数据库中与该第一对象的比对相似度最大的陌生人的相关信息进行更新,下面分模式介绍。
第一种模式,融合模式,融合模式又分两种可能的实施方式:
在其中一种可能的实施方式中,在上述最大的比对相似度大于第二预设阈值的情况下,具体的更新方案可以参见表5。
在表5中可以看到,陌生人数据库中与该第一对象的比对相似度最大的陌生人的相关信息中,不更新人员ID,人脸图像则在第一对象的人脸图像和原来的人脸图像中选择质量分数较高的保存,而人脸特征则将原来的人脸特征替换为第一对象的人脸特征与上述陌生人的人脸特征融合后的人脸特征,质量分数、比对相似度、抓拍设备信息和入库时间都是保留之前的记录,并将第一对象的相关信息添加到对应项中即可,人员被抓拍的次数需要更新,例如增加一次抓拍次数。
表5
表6
在其中一种可能的实施方式中,在上述最大的比对相似度大于第一预设阈值但小于第二预设阈值的情况下,具体的更新方案可以参见表6。
在表6中可以看到,陌生人数据库中与该第一对象的比对相似度最大的陌生人的相关信息中,不更新人员ID,人脸图像则在第一对象的人脸图像和原来的人脸图像中选择质量分数较高的保存,而人脸特征则不更新,质量分数、比对相似度、抓拍设备信息和入库时间都是保留之前的记录,并将第一对象的相关信息添加到对应项中即可,人员被抓拍的次数需要更新,例如增加一次抓拍次数。
第二种模式,替换模式,替换模式也分两种可能的实施方式:
在其中一种可能的实施方式中,在上述最大的比对相似度大于第二预设阈值的情况下,具体的更新方案可以参见表7。
表7
在表7中可以看到,陌生人数据库中与该第一对象的比对相似度最大的陌生人的相关信息中,不更新人员ID,人脸图像则在第一对象的人脸图像和原来的人脸图像中选择质量分数较高的保存,而人脸特征则替换为第一对象的人脸特征,质量分数、比对相似度、抓拍设备信息和入库时间都是保留之前的记录,并将第一对象的相关信息添加到对应项中即可,人员被抓拍的次数需要更新,例如增加一次抓拍次数。
在其中一种可能的实施方式中,在上述最大的比对相似度大于第一预设阈值但小于第二预设阈值的情况下,具体的更新方案可以参见表8。
表8
数据类型 | 更新方法 |
人员ID | 不更新 |
人脸图像 | 不更新 |
质量分数 | 之前的记录保留,添加一条新的记录 |
人脸特征 | 不更新 |
比对相似度 | 之前的记录保留,添加一条新的记录 |
抓拍设备信息 | 之前的记录保留,添加一条新的记录 |
入库时间 | 之前的记录保留,添加一条新的记录 |
该人员被抓拍次数 | 更新 |
在表8中可以看到,陌生人数据库中与该第一对象的比对相似度最大的陌生人的相关信息中,不更新人员ID、人脸图像和人脸特征这三项,质量分数、比对相似度、抓拍设备信息和入库时间都是保留之前的记录,并将第一对象的相关信息添加到对应项中即可,人员被抓拍的次数需要更新,例如增加一次抓拍次数。
需要说明的是,上述表3至表8中对应描述的实施例的实现还可以对应参照
图2所示的方法实施例及其可能的实施例的相应描述,此处不再赘述。
为了便于更好地实施本申请的上述方案,本申请实施例还对应提供了数据更新装置,下面结合附图3来进行详细说明:
图3所示为一种数据更新装置300的结构示意图,所述数据更新装置300包括:获取单元301,比对单元302,第一比较单元303和更新单元304,其中:
获取单元301,用于获取第一对象的第一人脸特征,所述第一对象为采集到的人脸图像中所包含的对象中的任意一个;
比对单元302,用于在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度,所述N个比对相似度为所述目标数据库中的人脸特征与所述第一人脸特征的相似度从大到小排序的前N个相似度,所述目标数据库存储有陌生人的人脸特征,所述N为大于1的整数;
第一比较单元303,用于将所述N个比对相似度分别与第一预设阈值比较得到比较结果;
更新单元304,用于根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
在其中一种可能的实施方式中,所述更新单元304包括创建单元和写入单元,
所述创建单元,用于在所述比较结果为所述N个比对相似度均小于所述第一预设阈值的情况下,在所述目标数据库中创建第一信息表;
所述写入单元,用于将所述第一对象的信息写入所述第一信息表,其中,所述第一对象的信息包括所述第一人脸特征。
在其中一种可能的实施方式中,所述更新单元304,用于根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,具体为:
在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
在其中一种可能的实施方式中,所述更新单元304还包括增加单元,用于在所述比较结果为所述N个比对相似度中有M个比对相似度大于所述第一预设阈值的情况下,将所述第一对象的信息增加至第二对象的信息表中;所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象;所述第一对象的信息包括所述第一人脸特征与所述第二对象的人脸特征的比对相似度,所述M为大于1并且小于或等于N的整数。
在其中一种可能的实施方式中,所述更新单元304,还用于在所述比较结果为所述N个比对相似度中最大的比对相似度大于所述第一预设阈值的情况下,根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象,所述第一对象的信息包括所述第一对象的人脸图像和所述第一人脸特征。
在其中一种可能的实施方式中,所述更新单元304还包括第二比较单元和替换单元,
所述第二比较单元,用于在所述最大的比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的信息表中的人脸图像与所述第一对象的人脸图像比较,所述第二预设阈值大于所述第一预设阈值;
所述替换单元,用于在所述第一对象的人脸图像的质量分数大于所述第二对象的人脸图像的情况下,将所述目标数据库中所述第二对象的人脸图像替换为所述第一对象的人脸图像。
在其中一种可能的实施方式中,所述更新单元304还包括融合单元,用于在所述最大比对相似度大于第二预设阈值的情况下,将所述第一人脸特征与所述目标数据库中所述第二对象的人脸特征融合;
所述替换单元,还用于将所述目标数据库中所述第二对象的人脸特征替换为所述融合后的人脸特征。
在其中一种可能的实施方式中,所述替换单元,还用于在所述最大比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的人脸特征替换为所述第一人脸特征。
在其中一种可能的实施方式中,所述数据更新装置300还包括判定单元,
所述比对单元302,还用于在所述获取单元301获取第一对象的第一人脸特征之后,在所述第一对象为陌生人的情况下,所述比对单元302将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度之前,将所述第一人脸特征与非陌生人数据库中的人脸特征比对,得到比对结果;
所述判定单元,用于响应于所述比对结果小于第三预设阈值的情况,判定所述第一对象为陌生人。
图3所示的数据更新装置300中各个单元的具体实现及有益效果可以对应参照图2所示的方法实施例及其可能的实施例中的相应描述,此处不再赘述。
请参见图4,图4是本申请实施例提供的一种服务器400,该服务器400包括处理器401、存储器402和通信接口403,所述处理器401、存储器402和通信接口403通过总线404相互连接。
存储器402包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmableread only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器402用于相关指令及数据的存储。通信接口403用于接收和发送数据。
处理器401可以是一个或多个中央处理器(central processing unit,CPU),在处理器401是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
该服务器400中的处理器401用于读取所述存储器402中存储的程序代码,执行以下操作:
获取第一对象的第一人脸特征,所述第一对象为采集到的人脸图像中所包含的对象中的任意一个;
在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度,所述N个比对相似度为所述目标数据库中的人脸特征与所述第一人脸特征的相似度从大到小排序的前N个相似度,所述目标数据库存储有陌生人的人脸特征,所述N为大于1的整数;
将所述N个比对相似度分别与第一预设阈值比较得到比较结果;
根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
在其中一种可能的实施方式中,处理器401根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度均小于所述第一预设阈值的情况下,在所述目标数据库中创建第一信息表;
将所述第一对象的信息写入所述第一信息表,其中,所述第一对象的信息包括所述第一人脸特征。
在其中一种可能的实施方式中,处理器401根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
在其中一种可能的实施方式中,处理器401在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度中有M个比对相似度大于所述第一预设阈值的情况下,将所述第一对象的信息增加至第二对象的信息表中;所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象;所述第一对象的信息包括所述第一人脸特征与所述第二对象的人脸特征的比对相似度,所述M为大于1并且小于或等于N的整数。
在其中一种可能的实施方式中,处理器401在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度中最大的比对相似度大于所述第一预设阈值的情况下,根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象,所述第一对象的信息包括所述第一对象的人脸图像和所述第一人脸特征。
在其中一种可能的实施方式中,处理器401根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:
在所述最大的比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的信息表中的人脸图像与所述第一对象的人脸图像比较,所述第二预设阈值大于所述第一预设阈值;
在所述第一对象的人脸图像的质量分数大于所述第二对象的人脸图像的情况下,将所述目标数据库中所述第二对象的人脸图像替换为所述第一对象的人脸图像。
在其中一种可能的实施方式中,处理器401根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:
在所述最大比对相似度大于第二预设阈值的情况下,将所述第一人脸特征与所述目标数据库中所述第二对象的人脸特征融合;
将所述目标数据库中所述第二对象的人脸特征替换为所述融合后的人脸特征。
在其中一种可能的实施方式中,处理器401根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:在所述最大比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的人脸特征替换为所述第一人脸特征。
在其中一种可能的实施方式中,处理器401在获取第一对象的第一人脸特征之后,在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度之前,还包括:
将所述第一人脸特征与非陌生人数据库中的人脸特征比对,得到比对结果;
响应于所述比对结果小于第三预设阈值的情况,判定所述第一对象为陌生人。
需要说明的是,基于图4描述中所述的各个操作的实现还可以对应参照图2所示的方法实施例及其可能的实施例的相应描述,此处不再赘述。
综上所述,现有技术中仅采用比对相似度最大的一个值与预设的相似度进行比较,如果该相似度大于预设的相似度则确定比较得到该比对相似度的两个人脸特征对应的两个人为同一个人,如果该相似度小于预设的相似度则确定比较得到该比对相似度的两个人脸特征对应的两个人不是同一个人,这样的比较结果太绝对,比较出错后容易导致陌生人数据库中出现错误的信息;相比于现有技术,本申请实施例通过采用与目标人脸特征相似度从大到小排序的前N个相似度与预设的相似度比较,来决定目标人脸特征对应的人员是否与陌生人数据库中的某一个陌生人为同一个人,然后根据比较结果的不同,采用对应匹配的更新策略来更新陌生人数据库,从而降低陌生人数据库中出现错误信息的概率,提高该陌生人数据库中信息的准确性和有效性。
本发明实施例还提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,当所述程序被处理器执行时,图2所示的方法流程得以实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种数据更新方法,其特征在于,包括:
获取第一对象的第一人脸特征,所述第一对象为采集到的人脸图像中所包含的对象中的任意一个;
在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度,所述N个比对相似度为所述目标数据库中的人脸特征与所述第一人脸特征的相似度从大到小排序的前N个相似度,所述目标数据库存储有陌生人的人脸特征,所述N为大于1的整数;
将所述N个比对相似度分别与第一预设阈值比较得到比较结果;
根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
2.根据权利要求1所述方法,其特征在于,所述根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度均小于所述第一预设阈值的情况下,在所述目标数据库中创建第一信息表;
将所述第一对象的信息写入所述第一信息表,其中,所述第一对象的信息包括所述第一人脸特征。
3.根据权利要求1所述方法,其特征在于,所述根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
4.根据权利要求3所述方法,其特征在于,所述在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,包括:
在所述比较结果为所述N个比对相似度中有M个比对相似度大于所述第一预设阈值的情况下,将所述第一对象的信息增加至第二对象的信息表中,其中,所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象;所述第一对象的信息包括所述第一人脸特征与所述第二对象的人脸特征的比对相似度,所述M为大于1并且小于或等于N的整数。
5.根据权利要求3所述方法,其特征在于,所述在所述比较结果为所述N个比对相似度中至少有一个比对相似度大于所述第一预设阈值的情况下,根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库,还包括:
在所述比较结果为所述N个比对相似度中最大的比对相似度大于所述第一预设阈值的情况下,根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,所述第二对象为所述目标数据库中人脸特征与所述第一人脸特征相似度最大的对象,所述第一对象的信息包括所述第一对象的人脸图像和所述第一人脸特征。
6.根据权利要求5所述方法,其特征在于,所述根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:
在所述最大的比对相似度大于第二预设阈值的情况下,将所述目标数据库中所述第二对象的信息表中的人脸图像与所述第一对象的人脸图像比较,所述第二预设阈值大于所述第一预设阈值;
在所述第一对象的人脸图像的质量分数大于所述第二对象的人脸图像的情况下,将所述目标数据库中所述第二对象的人脸图像替换为所述第一对象的人脸图像。
7.根据权利要求5或6所述方法,其特征在于,所述根据所述第一对象的信息更新所述目标数据库中第二对象的信息表,包括:
在所述最大比对相似度大于第二预设阈值的情况下,将所述第一人脸特征与所述目标数据库中所述第二对象的人脸特征融合;
将所述目标数据库中所述第二对象的人脸特征替换为所述融合后的人脸特征。
8.一种数据更新装置,其特征在于,包括:
获取单元,用于获取第一对象的第一人脸特征,所述第一对象为采集到的人脸图像中所包含的对象中的任意一个;
比对单元,用于在所述第一对象为陌生人的情况下,将所述第一人脸特征与目标数据库中的人脸特征比对得到N个比对相似度,所述N个比对相似度为所述目标数据库中的人脸特征与所述第一人脸特征的相似度从大到小排序的前N个相似度,所述目标数据库存储有陌生人的人脸特征,所述N为大于1的整数;
第一比较单元,用于将所述N个比对相似度分别与第一预设阈值比较得到比较结果;
更新单元,用于根据所述比较结果采用与所述比较结果匹配的更新策略更新所述目标数据库。
9.一种服务器,其特征在于,包括处理器、通信设备和存储器,所述处理器、通信设备和存储器相互连接,其中,所述存储器存储有计算机程序,所述计算机程序被处理器执行时能够实现如权利要求1至9任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1至9任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910513043.2A CN110232134A (zh) | 2019-06-13 | 2019-06-13 | 数据更新方法、服务器及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910513043.2A CN110232134A (zh) | 2019-06-13 | 2019-06-13 | 数据更新方法、服务器及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110232134A true CN110232134A (zh) | 2019-09-13 |
Family
ID=67859851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910513043.2A Pending CN110232134A (zh) | 2019-06-13 | 2019-06-13 | 数据更新方法、服务器及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110232134A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144332A (zh) * | 2019-12-30 | 2020-05-12 | 深圳云天励飞技术有限公司 | 一种图片聚档方法、装置和电子设备 |
CN111160221A (zh) * | 2019-12-26 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种人脸采集方法及相关装置 |
CN111639216A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种人脸图像的展示方法、装置、计算机设备及存储介质 |
CN111695502A (zh) * | 2020-06-11 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 用于人脸识别的特征更新方法、装置和计算机设备 |
CN111814570A (zh) * | 2020-06-12 | 2020-10-23 | 深圳禾思众成科技有限公司 | 一种基于动态阈值的人脸识别方法、系统及存储介质 |
CN112052251A (zh) * | 2020-09-14 | 2020-12-08 | 深圳市商汤科技有限公司 | 目标数据更新方法和相关装置、设备及存储介质 |
CN112101215A (zh) * | 2020-09-15 | 2020-12-18 | Oppo广东移动通信有限公司 | 人脸录入的方法、终端设备及计算机可读存储介质 |
CN112148908A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 图像数据库的更新方法、装置、电子设备和介质 |
CN112183613A (zh) * | 2020-09-24 | 2021-01-05 | 杭州睿琪软件有限公司 | 对象识别方法和设备与非暂态计算机可读存储介质 |
CN112214477A (zh) * | 2020-09-25 | 2021-01-12 | 王存超 | 一种个人信息库的数据核查和更新方法 |
CN112418001A (zh) * | 2020-11-05 | 2021-02-26 | 联想(北京)有限公司 | 一种基于人脸特征的图像显示方法及装置 |
CN112487222A (zh) * | 2020-11-30 | 2021-03-12 | 江苏正赫通信息科技有限公司 | 相似人脸快速搜索及有效存储的方法 |
CN112699803A (zh) * | 2020-12-31 | 2021-04-23 | 竹间智能科技(上海)有限公司 | 人脸识别方法、系统、设备及可读存储介质 |
CN116935462A (zh) * | 2023-06-09 | 2023-10-24 | 海易科技(北京)有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN116935462B (zh) * | 2023-06-09 | 2024-05-17 | 海易科技(北京)有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529515A (zh) * | 2016-12-26 | 2017-03-22 | 浙江宇视科技有限公司 | 面部特征库管理方法及系统 |
CN108446387A (zh) * | 2018-03-22 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 用于更新人脸注册库的方法和装置 |
CN108573038A (zh) * | 2018-04-04 | 2018-09-25 | 北京市商汤科技开发有限公司 | 图像处理、身份验证方法、装置、电子设备和存储介质 |
CN108664920A (zh) * | 2018-05-10 | 2018-10-16 | 深圳市深网视界科技有限公司 | 一种实时的大规模级联人脸聚类方法和装置 |
CN109063558A (zh) * | 2018-06-27 | 2018-12-21 | 努比亚技术有限公司 | 一种图像分类处理方法、移动终端及计算机可读存储介质 |
-
2019
- 2019-06-13 CN CN201910513043.2A patent/CN110232134A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529515A (zh) * | 2016-12-26 | 2017-03-22 | 浙江宇视科技有限公司 | 面部特征库管理方法及系统 |
CN108446387A (zh) * | 2018-03-22 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 用于更新人脸注册库的方法和装置 |
CN108573038A (zh) * | 2018-04-04 | 2018-09-25 | 北京市商汤科技开发有限公司 | 图像处理、身份验证方法、装置、电子设备和存储介质 |
CN108664920A (zh) * | 2018-05-10 | 2018-10-16 | 深圳市深网视界科技有限公司 | 一种实时的大规模级联人脸聚类方法和装置 |
CN109063558A (zh) * | 2018-06-27 | 2018-12-21 | 努比亚技术有限公司 | 一种图像分类处理方法、移动终端及计算机可读存储介质 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160221B (zh) * | 2019-12-26 | 2023-09-01 | 深圳云天励飞技术有限公司 | 一种人脸采集方法及相关装置 |
CN111160221A (zh) * | 2019-12-26 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种人脸采集方法及相关装置 |
CN111144332A (zh) * | 2019-12-30 | 2020-05-12 | 深圳云天励飞技术有限公司 | 一种图片聚档方法、装置和电子设备 |
CN111639216A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种人脸图像的展示方法、装置、计算机设备及存储介质 |
CN111695502A (zh) * | 2020-06-11 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 用于人脸识别的特征更新方法、装置和计算机设备 |
CN111814570A (zh) * | 2020-06-12 | 2020-10-23 | 深圳禾思众成科技有限公司 | 一种基于动态阈值的人脸识别方法、系统及存储介质 |
CN111814570B (zh) * | 2020-06-12 | 2024-04-30 | 深圳禾思众成科技有限公司 | 一种基于动态阈值的人脸识别方法、系统及存储介质 |
CN112052251A (zh) * | 2020-09-14 | 2020-12-08 | 深圳市商汤科技有限公司 | 目标数据更新方法和相关装置、设备及存储介质 |
WO2022052372A1 (zh) * | 2020-09-14 | 2022-03-17 | 深圳市商汤科技有限公司 | 目标数据更新方法、装置、设备、存储介质及程序产品 |
CN112101215A (zh) * | 2020-09-15 | 2020-12-18 | Oppo广东移动通信有限公司 | 人脸录入的方法、终端设备及计算机可读存储介质 |
US11809526B2 (en) * | 2020-09-24 | 2023-11-07 | Hangzhou Glority Software Limited | Object identification method and device and non-transitory computer-readable storage medium |
US20220092364A1 (en) * | 2020-09-24 | 2022-03-24 | Hangzhou Glority Software Limited | Object identification method and device and non-transitory computer-readable storage medium |
CN112183613A (zh) * | 2020-09-24 | 2021-01-05 | 杭州睿琪软件有限公司 | 对象识别方法和设备与非暂态计算机可读存储介质 |
CN112183613B (zh) * | 2020-09-24 | 2024-03-22 | 杭州睿琪软件有限公司 | 对象识别方法和设备与非暂态计算机可读存储介质 |
CN112214477B (zh) * | 2020-09-25 | 2024-04-19 | 国网江苏省电力有限公司 | 一种个人信息库的数据核查和更新方法 |
CN112214477A (zh) * | 2020-09-25 | 2021-01-12 | 王存超 | 一种个人信息库的数据核查和更新方法 |
CN112148908A (zh) * | 2020-10-23 | 2020-12-29 | 北京百度网讯科技有限公司 | 图像数据库的更新方法、装置、电子设备和介质 |
CN112418001A (zh) * | 2020-11-05 | 2021-02-26 | 联想(北京)有限公司 | 一种基于人脸特征的图像显示方法及装置 |
CN112487222A (zh) * | 2020-11-30 | 2021-03-12 | 江苏正赫通信息科技有限公司 | 相似人脸快速搜索及有效存储的方法 |
CN112699803A (zh) * | 2020-12-31 | 2021-04-23 | 竹间智能科技(上海)有限公司 | 人脸识别方法、系统、设备及可读存储介质 |
CN112699803B (zh) * | 2020-12-31 | 2024-01-16 | 竹间智能科技(上海)有限公司 | 人脸识别方法、系统、设备及可读存储介质 |
CN116935462A (zh) * | 2023-06-09 | 2023-10-24 | 海易科技(北京)有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN116935462B (zh) * | 2023-06-09 | 2024-05-17 | 海易科技(北京)有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232134A (zh) | 数据更新方法、服务器及计算机存储介质 | |
Marra et al. | A full-image full-resolution end-to-end-trainable CNN framework for image forgery detection | |
Yang et al. | Face anti-spoofing: Model matters, so does data | |
Agarwal et al. | Swapped! digital face presentation attack detection via weighted local magnitude pattern | |
Ding et al. | Violence detection in video by using 3D convolutional neural networks | |
CN110210276A (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
Xing et al. | Towards robust and accurate multi-view and partially-occluded face alignment | |
CN104751108A (zh) | 人脸图像识别装置和人脸图像识别方法 | |
CN112052781A (zh) | 特征提取模型训练方法、人脸识别方法、装置、设备及介质 | |
Douze et al. | The 2021 image similarity dataset and challenge | |
CN108491794A (zh) | 面部识别的方法和装置 | |
JP2022518469A (ja) | 情報処理方法および装置、記憶媒体 | |
WO2023142551A1 (zh) | 模型训练及图像识别方法和装置、设备、存储介质和计算机程序产品 | |
Khan et al. | Group-Level Emotion Recognition using Deep Models with A Four-stream Hybrid Network. | |
CN111079816A (zh) | 图像的审核方法、装置和服务器 | |
CN113205002B (zh) | 非受限视频监控的低清人脸识别方法、装置、设备及介质 | |
Yen et al. | Facial feature extraction using genetic algorithm | |
WO2014201891A1 (zh) | 多目标跟踪方法、系统及计算机存储介质 | |
CN113537107A (zh) | 一种基于深度学习的人脸识别及追踪方法、装置及设备 | |
CN111666976A (zh) | 基于属性信息的特征融合方法、装置和存储介质 | |
Vonikakis et al. | Shaping datasets: Optimal data selection for specific target distributions across dimensions | |
CN108345847B (zh) | 一种人脸图像标签数据生成系统及其方法 | |
CN112883827B (zh) | 图像中指定目标的识别方法、装置、电子设备和存储介质 | |
CN112084812A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
Guo et al. | Implementation of a specified face recognition system based on video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190913 |
|
RJ01 | Rejection of invention patent application after publication |