CN115017359A - 一种搜索图片的方法、装置及电子设备 - Google Patents
一种搜索图片的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115017359A CN115017359A CN202210591291.0A CN202210591291A CN115017359A CN 115017359 A CN115017359 A CN 115017359A CN 202210591291 A CN202210591291 A CN 202210591291A CN 115017359 A CN115017359 A CN 115017359A
- Authority
- CN
- China
- Prior art keywords
- data set
- picture
- pictures
- similarity value
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000005192 partition Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 14
- 238000013461 design Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种搜索图片的方法、装置及电子设备。该方法包括对包含目标对象的待搜索图片进行特征提取,得到目标对象的个体特征,然后分别计算目标对象的个体特征与N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值,N、I为大于0的整数,单个档案数据集至少包括一张或多张同一对象的图片,参考个体特征基于所述档案数据集中图片包含对象的个体特征得到,最后选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,并将选取的档案数据集中的图片作为所述待搜索图片的目标图片。基于上述方法可以减小搜索过程中的搜索数据量,节约搜索所使用的计算资源,提高搜索的响应速度。
Description
技术领域
本申请涉及以图搜图技术领域,尤其涉及一种搜索图片的方法、装置及电子设备。
背景技术
随着视频监控设备的普及,每时每刻都会产生由视频监控设备拍摄的人像抓拍图片。基于此,在这些人像抓拍图像中,可以根据一张指定目标对象的待搜索图片,搜索出与指定目标对象匹配的人像抓拍图像,作为待搜索图片对应的目标图片。
当前,一般是将这张待搜索图片与每张人像抓拍图像逐一进行相似性比对,并选择相似性满足一定条件的人像抓拍图像作为目标图片。
然而,在面对海量的人像抓拍图像时,基于上述方法,每一次搜索目标图片,都需要遍历地计算待搜索图片与所有人像抓拍图像之间的相似性,这种遍历的计算不仅会浪费大量的计算时间,还将消耗大量的计算资源。
发明内容
本申请提供一种搜索图片的方法、装置及电子设备,用以搜索与待搜索图片中的目标对象相匹配的目标图片。
第一方面,本申请提供了一种搜索图片的方法,所述方法包括:
对包含目标对象的待搜索图片进行特征提取,得到所述目标对象的个体特征;
分别计算所述目标对象的个体特征与N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值;其中,N、I为大于0的整数,单个档案数据集至少包括一张或多张同一对象的图片,所述参考个体特征基于所述档案数据集中图片包含对象的个体特征得到;
选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,并将选取档案数据集中的图片作为所述待搜索图片的目标图片。
通过上述方法,不需要在搜索包含目标对象的目标图片时,遍历地搜索数据库中的每张图片,而只需要基于这N个档案数据集各自对应的I个参考个体特征,便可以进行目标对象的搜索,确定出与目标对象匹配的档案数据集,并将档案数据集中的图片作为目标图片。基于此,可以减小搜索过程中的搜索数据量,进而节约搜索过程所使用的计算资源,提高搜索目标图片的搜索速度。
在一种可能的设计中,所述方法,还包括:基于数据集中图片包含对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,得到由所述数据集划分的N个档案数据集;根据单个档案数据集中各张图片对应的个体特征,计算所述单个档案数据集对应的参考个体特征,得到所述N个档案数据集各自对应的参考个体特征。
通过上述方法,在划分同一对象的图片在同一档案数据集后,根据同一数据集中图片包含对象的个体特征来确定同一档案数据集对应的参考个体特征,通过这样计算出的参考个体特征能够较好的表征该同一档案数据集中图片包含的同一对象,因此,基于参考个体特征来确定的目标图像也能更加准确。另一方面,不需要基于档案数据集中每张图像的个体特征来确定目标图片,只需要为每个档案数据集计算出对应的参考个体特征,能够有效减少后面搜索目标图像所消耗的计算资源和所浪费的计算时间。
在一种可能的设计中,所述基于数据集中图片包含的对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,包括:计算数据集中两张图片之间的个体特征相似度值、时间标识相似度值以及空间标识相似度值;其中,所述时间标识相似度值表征所述两张图片拍摄时间的间隔,所述空间标识相似度值表征所述两张图片拍摄位置的距离;响应于所述个体特征相似度值大于第一阈值,将所述两张图片划分到同一档案数据集中;响应于所述个体特征相似度值小于等于所述第一阈值且大于第二阈值、所述时间标识相似度值大于第三阈值、所述空间标识相似度值大于第四阈值,将所述两张图片划分到所述同一档案数据集中;其中,所述第二阈值小于所述第一阈值。
通过上述方法,提出一种结合图片的空间维度和时间维度来划分图片得到档案数据集的方法,解决在一些场景下,对象A在一定时间内经过相邻的摄像头A和摄像头B,而摄像头A和摄像头B采集到对象A的图片的个体特征相似度值小于第一阈值,便认定摄像头A和摄像头B采集到对象A的图片为不同对象的图片的问题。为解决这个问题,进一步针对个体特征相似度值满足第二阈值的图片,将采集时间的间隔、以及采集位置的距离满足一定条件图片同样作为对应同一对象的图片,来提高生成档案数据集的准确性、以及图片归入档案数据集的归档率。另外,提高图片归入档案数据集的归档率,也有利于减少后面搜索目标图片所需要的计算资源以及计算时间。
在一种可能的设计中,所述基于数据集中图片包含的对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,得到由所述数据集划分的N个档案数据集,包括:在数据集的图片中,划分图片质量值大于预设质量阈值的图片作为第一数据集,划分所述图片质量值小于等于所述预设质量阈值的图片作为第二数据集;分别针对所述第一数据集以及所述第二数据集,将包含同一对象的图片划分到同一档案数据集中,得到由所述第一数据集划分的多个第一档案数据集,以及由所述第二数据集划分的多个第二档案数据集;将所述多个第一档案数据集和所述多个第二档案数据集,共同作为所述数据集划分的N个档案数据集。
通过上述方法,提出一种基于图片质量维度的划分来生成档案数据集的方法。基于图片的图片质量值,将图片质量值较高的图片作为第一数据集,图片质量值较低的图片作为第二数据集,然后分别针对第一数据集和第二数据集中的图片进行聚类,很明显这样聚类得到的聚类结果,相比于没有划分直接针对数据集的聚类结果更加准确。基于此,能够提高聚类生成的N个档案数据集的准确度,进而提升基于这N个档案数据集搜索到的目标图片的准确度。
在一种可能设计中,所述根据单个档案数据集中各张图片对应的个体特征,计算所述单个档案数据集对应的参考个体特征,包括:计算单个档案数据集中各张图片对应的个体特征的平均特征,并将所述平均特征作为所述单个档案数据集对应的参考个体特征;和/或确定所述单个档案数据集中指定图片对应的个体特征,并将确定的所述个体特征作为所述单个档案数据集对应的参考个体特征。
通过上述方法,提出一种参考个体特征的计算方法,无论是将档案数据集的平均特征和/或指定图片对应的个体特征,作为档案数据集的参考个体特征,这样计算得到的参考个体特征都能更加显著地反应出该档案数据集所对应的同一对象的个体特征,因此有助于提升基于参考个体特征搜索出的目标图片的准确性。
在一种可能的设计中,所述选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,包括:在所述N×I个相似度值中,将与所述第一数据集对应的相似度值作为第一相似度值,将与所述第二数据集对应的相似度值作为第二相似度值;响应于所述第一相似度值大于第一预设阈值,选取所述第一相似度值对应的档案数据集;响应于所述第一相似度值都小于等于所述第一预设阈值,且所述第二相似度值大于第二预设阈值,选取所述第二相似度值对应的档案数据集。
通过上述方法,优先基于图片质量好的第一档案数据集对应的参考个体特征来计算第一相似度值,若第一相似度值不满足第一预设阈值,则第一档案数据都不是包含目标对象的档案数据,进一步,根据图片质量差的第二档案数据集对应的参考个体特征来计算第二相似度值。基于此,首先可以提升搜索出目标图片的准确率,其次,还可以有效节约搜索目标图片所浪费的计算资源和计算时间。
在一种可能的设计中,在所述得到所述N个档案数据集各自对应的参考个体特征之后,还包括:分别计算所述N个档案数据集各自对应的参考个体特征,与历史档案数据集对应的参考个体特征之间的相似度值;响应于所述相似度值大于预设相似度阈值,将所述相似度值对应的档案数据集与历史档案数据集进行合并,得到合并后的档案数据集。
通过上述方法,提出一种存在历史档案数据集的情况,在此情况下,对将包含有相同对象的历史档案数据集和当前得到的档案数据集进行合并,这样不仅增加了搜索出目标图像的数量和准确性,还减少了最终参与档案数据集的数量,进而节约搜索目标图片所浪费的计算资源和计算时间。
第二方面,本申请提供了一种搜索图片的装置,所述装置包括:
提取特征模块,对包含目标对象的待搜索图片进行特征提取,得到所述目标对象的个体特征;
计算相似度值模块,分别计算所述目标对象的个体特征与N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值;其中,N、I为大于0的整数,单个档案数据集至少包括一张或多张同一对象的图片,所述参考个体特征基于所述档案数据集中图片包含对象的个体特征得到;
选取目标图片模块,选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,并将选取档案数据集中的图片作为所述待搜索图片的目标图片。
在一种可能的设计中,所述装置,还包括:划分档案数据集模块,基于数据集中图片包含对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,得到由所述数据集划分的N个档案数据集;计算参考个体特征模块,根据单个档案数据集中各张图片对应的个体特征,计算所述单个档案数据集对应的参考个体特征,得到所述N个档案数据集各自对应的参考个体特征。
在一种可能的设计中,所述划分档案数据集模块,具体用于计算数据集中两张图片之间的个体特征相似度值、时间标识相似度值以及空间标识相似度值;其中,所述时间标识相似度值表征所述两张图片拍摄时间的间隔,所述空间标识相似度值表征所述两张图片拍摄位置的距离;响应于所述个体特征相似度值大于第一阈值,将所述两张图片划分到同一档案数据集中;响应于所述个体特征相似度值小于等于所述第一阈值且大于第二阈值、所述时间标识相似度值大于第三阈值、所述空间标识相似度值大于第四阈值,将所述两张图片划分到所述同一档案数据集中;其中,所述第二阈值小于所述第一阈值。
在一种可能的设计中,所述划分档案数据集模块,具体用于在数据集的图片中,划分图片质量值大于预设质量阈值的图片作为第一数据集,划分所述图片质量值小于等于所述预设质量阈值的图片作为第二数据集;分别针对所述第一数据集以及所述第二数据集,将包含同一对象的图片划分到同一档案数据集中,得到由所述第一数据集划分的多个第一档案数据集,以及由所述第二数据集划分的多个第二档案数据集;将所述多个第一档案数据集和所述多个第二档案数据集,共同作为所述数据集划分的N个档案数据集。
在一种可能的设计中,所述计算参考个体特征模块,具体用于计算单个档案数据集中各张图片对应的个体特征的平均特征,并将所述平均特征作为所述单个档案数据集对应的参考个体特征;和/或确定所述单个档案数据集中指定图片对应的个体特征,并将确定的所述个体特征作为所述单个档案数据集对应的参考个体特征。
在一种可能的设计中,所述划分档案数据集模块,具体用于在所述N×I个相似度值中,将与所述第一数据集对应的相似度值作为第一相似度值,将与所述第二数据集对应的相似度值作为第二相似度值;响应于所述第一相似度值大于第一预设阈值,选取所述第一相似度值对应的档案数据集;响应于所述第一相似度值都小于等于所述第一预设阈值,且所述第二相似度值大于第二预设阈值,选取所述第二相似度值对应的档案数据集。
在一种可能的设计中,所述装置,还用于分别计算所述N×I个档案数据集各自对应的参考个体特征,与历史档案数据集对应的参考个体特征之间的相似度值;响应于所述相似度值大于预设相似度阈值,将所述相似度值对应的档案数据集与历史档案数据集进行合并,得到合并后的档案数据集。
第三方面,本申请提供了一种电子设备,所述电子设备包括:
存储器,用于存放计算机程序;
处理器,用于执行所述存储器上所存放的计算机程序时,实现上述的一种搜索图片的方法步骤。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述的一种搜索图片的方法步骤。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明,这里不再重复赘述。
附图说明
图1为本申请提供的一种可能的应用场景的示意图;
图2为本申请提供的一种确定参考个体特征的方法的流程图;
图3为本申请提供的一种搜索图片的方法的流程图;
图4为本申请提供的一种搜索图片的装置的示意图;
图5为本申请提供的一种电子设备的结构的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例中。
在本申请的描述中“多个”理解为“至少两个”。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。A与B连接,可以表示:A与B直接连接和A与B通过C连接这两种情况。另外,在本申请的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
值得说明的是,在本申请的描述中,采集/获取对象的隐私信息应当遵循相应的法律法规。一般情况下,采集/获取对象的隐私信息需要得到相应对象许可。其中,对象一般可以是人、动物、或具有共性特征的物体,隐私信息可以是对象的图片、基于该图片解析/获取到的该对象的个体信息等。
另外,在执行本申请的方法过程中,针对目标对象私密信息的使用应当遵循相应的法律法规,包括但不限于,应用在有助于推动公众利益的、正面宣扬社会公德的场景下。
参阅图1所示,为本申请实施例提供的一种可能的应用场景,具体包括服务端和客户端。
在图1中,客户端用于获取包含目标对象的待搜索图片,然后在客户端获取待搜索图片后,客户端还用于获取搜索指令,并将搜索指令发送给服务端。
服务端存储有档案数据集以及各个档案数据集对应的参考个体特征。例如,服务端可以存储有N个档案数据集以及各个档案数据集对应的I个参考个体特征,在服务端接收到客户端发送的搜索指令后,服务端基于待搜索图片中的目标对象,将目标对象的个体特征与各个档案数据集对应的I个参考个体特征进行相似度比较,搜索出与目标对象匹配的档案数据集,并将该档案数据集中的图片作为目标图片,然后将搜索出的档案数据集和/或目标图片发送给客户端。
客户端还用于接收服务端发送的档案数据集和/或目标图片,并将档案数据集和/或目标图片展示在可视化界面中。
基于上述应用场景,本申请实施例提供了一种搜索图片的方法、装置及电子设备,解决现有技术在搜索图片时存在耗时长、浪费计算资源的问题。
另外,本申请实施例包含的技术特征可以任意结合使用,本领域技术人员应当明白,从实际应用情况出发,经本申请实施例中技术特征进行合理结合得到的技术方案,同样可以解决相同的技术问题或达到相同的技术效果。
根据本申请实施例提供的方法,首先确定待搜索图片中目标对象的个体特征,然后计算该个体特征与N个档案数据集各自对应的I个参考个体特征之间的N×I个相似度值,最后选取最大相似度值对应的档案数据集中的图片作为待搜索图片的目标图片。
具体来说,上述的每个档案数据集都包含至少一张同一对象的图片,而每个档案数据集都对应有至少一个参考个体特征。也就是说通过本申请实施例提供的方法,不需要在搜索包含目标对象的目标图片时,遍历地搜索数据库中的每张图片,而只需要基于这N个档案数据集各自对应的I个参考个体特征,便可以进行目标对象的搜索,进而确定出与目标对象匹配的档案数据集,并将档案数据集中的图片作为目标图片。因此,通过本申请实施例提供的方法,可以减小搜索过程中的搜索数据量,进而节约搜索过程所使用的计算资源,提高搜索目标图片的搜索速度。
进一步,搜索目标图片是通过与参考个体特征的比较来完成的,即参考个体特征的准确性将影响到最终搜索出的目标图像的准确性,因此,为了提高搜索出目标图片的准确性,在执行本申请实施例所提供的搜索图片的方法之前,还可以执行如下步骤。
参阅图2所示,本申请提供一种确定参考个体特征的方法,具体流程如下:
步骤201:基于数据集中图片包含对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,得到由所述数据集划分的N个档案数据集;
步骤202:根据单个档案数据集中各张图片对应的个体特征,计算所述单个档案数据集对应的参考个体特征,得到所述N个档案数据集各自对应的参考个体特征。
在本申请实施例中,数据集中的每张图片都包含有相应的对象,这个对象可以指代人、动物或物品等。数据集的获取可以来源于服务器中的存储数据,也可以来源摄像头采集到的图片数据,如通过鱼眼摄像头、红外摄像头等拍摄的图片数据。可理解的,摄像头还可以实时采集图片数据,如路旁监控设备的摄像头等。
值得说明的是,为便于本领域技术人员更好理解本申请实施例所提供的技术方案,在本申请实施例中,将人作为图片中的对象,并且将指定时间段内由摄像头采集的人像图片,作为数据库中的图片,下文不再赘述。
针对数据集中的图片,还可以采用特征提取的方法来提取图片中人像的个体特征。在本申请实施例中,人像的个体特征可以包括人脸特征和/或人体特征,针对一张包含对象A的人像图片1,若人像图片1中只有A的人脸部分,则只能提取出A的人脸特征;若人像图片1中只有A的人体部分,则只能提取出A的人体特征;若人像图片1中有A的人脸部分和人体部分,则能够提取出A的人脸特征和人体特征。
在确定数据集中图片包含对象的人脸特征和/或人体特征后,便可以通过对人脸特征和/或人体特征对数据集中的图片执行聚类操作,得到N个档案数据集,即将人脸特征和/或人体特征满足一定相似条件的图片划分到同一档案数据集中。
进一步的,为了提高本申请实施例同一档案数据集中图片的聚类准确性,在执行具体聚类操作之前,还可以基于图片的图片质量值,将数据集中的图片划分为第一数据集和第二数据集。
其中,图片质量值可以与图片的分辨率、清晰度相关,例如,图片质量值越大可以表示图片的分辨率、清晰度越高;反之,图片质量值越小可以表示图片的分辨率、清晰度越小。可选的,图片质量值还可以与图片的尺寸相关。
具体来说,基于数据集中每张图片的图片质量值,将图片质量值大于预设质量阈值的图片划分到第一数据集中;将图片质量值小于或等于预设质量阈值的图片划分到第二数据集中。通过这种划分方式得到的第一数据集中图片包含的对象,相比于第二数据集中图片包含的对象,更加清晰。因此,相比于第二数据集,第一数据集中图片对应的人脸特征和/或人体特征也更加准确。
基于此,分别对第一数据集和第二数据集中的图片进行聚类操作,得到由第一数据集划分的多个第一档案数据集,以及由第二数据集划分的多个第二档案数据集。因为第一数据集中图片对应的人脸特征和/或人体特征更加准确,又因为聚类操作需要基于这些人脸特征和/或人体特征来进行,所以针对第一数据集合第二数据集分别聚类能够有效提高聚类的准确性,进而提高由多个第一档案数据集和多个第二档案数据集组成的N个档案数据集的聚类准确性。
可选的,在一些可能的实施方式中,可以只针对第一数据集中的图片进行聚类操作,然后将第一数据集图片聚类得到的多个第一档案数据集作为N个档案数据集。
进一步,在本申请实施例中,为了提高聚类生成的N个档案数据集的准确性,还可以结合时间维度和空间维度来对图片进行聚类的操作。下面以针对选定时间段内第一数据集中的图片进行聚类操作为例,作如下详细说明。
值得注意的是,第一数据集中图片可以对应有人脸特征、人体特征、人脸特征和人体特征这三种情况,每种情况都可以生成相应的特征档案,如,基于人脸特征可以生成人脸档案,基于人体特征可以生成人体档案,基于人脸特征和人体特征可以生成人脸人体档案。在此,这三种情况生成的人脸档案、人体档案和人脸人体档案都可以作为第一档案数据集。下面针对如上人脸档案、人体档案和人脸人体档案的生成,分为三种情况作详细阐述。
情况一:根据对应有人脸特征的图片,生成人脸档案;
首先可以确定出上述图片的时间标识和空间标识,在这里,时间标识为图片的拍摄时刻(采集时间),空间标识为图片的采集设备所处的空间位置,空间位置具体可以是采集设备的卡口标识、地理经纬度等,采集设备是至少包含有摄像头的设备。然后,计算上述两张图片之间的人脸特征之间的个体特征相似度值、这两张图片之间的时间标识相似度值、以及这两张图片之间的空间标识相似度。
然后,将计算出的个体特征相似度值与第一阈值进行比较:若计算出的个体特征相似度值大于第一阈值,则认为这两张图片包含同一对象并将这两张图片划分到同一类簇中,在这里,单个类簇是单个人脸档案的重要组成部分;若计算出的个体特征相似度值小于或等于第一阈值,则进一步判断个体特征相似度值与第二阈值之间的大小关系,在这里,第二阈值是小于第一阈值。
进一步,判断个体特征相似度值是否大于第二阈值:若个体特征相似度值小于等于第二阈值,则判定这两张图片包含不同对象并将这两张图片划分到不同类簇中;若个体特征相似度值大于第二阈值,则还需要判断时间标识相似度值是否大于第三阈值,以及判断空间相似度值是否大于第四阈值。在这里,若这两张图片的时间相似度值大于第三阈值,并且空间相似度值大于第四阈值,则判定这两张图片包含同一对象,并将这两张图片划分到同一类簇中;否则,则判定这两张图片包含不同对象,并将这两张图片划分到不同的类簇中。
通过上述聚类操作,不仅考虑两张图片的人脸特征的相似情况,还结合两张图片的时空维度的相似情况,因此基于上述方法得到的每个类簇中的图片都具有时空关联性。
举例来说,每个十字路口都有一个摄像头,两个路口之间步行时间为1分钟。假设对象1在马路上行走,处于A路口的摄像头A采集到了一张图片A,临近的下一个B路口的摄像头B也采集到了一张图片B。而图片A和图片B这两张图片的采集时间的间隔在1分钟,那么即便是在两张图片对应的人脸特征相识情况不高的情况下,仍然可以将图片A和图片B认为是同一个人。因此,结合时间维度和空间维度有助于提高图像聚类的准确性,进而有助于提高后续识别目标图片的准确性。
进一步,在通过聚类第一数据集中图片得到的多个类簇后,还可以为每个类簇计算出推荐质心和均值质心,推荐质心可以是类簇中指定图片或代表性图片的人脸特征,均值质心可以是类簇中所有图片的人脸特征的平均人脸特征。
可选的,本次聚类操作得到了多个类簇以及每个类簇的推荐质心、和/或均值质心,如果还存在上一次聚类操作的类簇,则还可以将本次聚类得到类簇的推荐质心与上一次聚类得到类簇的推荐质心进行逐一的相似度比较,得到推荐质心相似度值;和/或将本次聚类得到类簇的均值质心与上一次聚类得到类簇的均值质心进行逐一的相似度比较,得到均值质心相似度值。然后将计算出的推荐质心相似度值和/或均值质心相似度值与预设阈值比较,来确定两个类簇中对象是属于同一对象、疑似同一对象、不同对象的哪一种情况。
以均值质心相似度值为例来说,具体可以设置为:若均值质心相似度小于60,则确定两个类簇中对象为不同对象;若均值质心相似度大于等于60且小于等于90,则确定两个类簇中对象为疑似同一对象;若均值质心相似度大于90,则确定两个类簇中对象为同一对象。
进一步,为了提高聚类的准确性,还针对疑似同一对象的类簇进行逐一比对。详细来说,将疑似同一对象的所有类簇的人脸特征,通过逐一比对的操作,计算上述所有类簇之间的相似度值。若计算的相似度值满足设定阈值,则确定这些类簇中图片包含的是同一对象。
基于上述方式,在筛选疑似同一对象的类簇中作进一步逐一比对特征的操作,不仅可以减少比对特征的计算时间和计算资源,还可以有效提高聚类的准确性。
进一步,如果确定两个类簇中对象为同一对象,便可以对这两个类簇进行合并的操作,得到合并后的新类簇,然后重新计算这个新类簇的推荐质心和/或均值质心。
通过上述方式,不仅有利于提高聚类的准确性,进而提高后续搜索图片的准确性,还可以有效减少类簇的数量,进而减少后续搜索图片所消耗的计算资源和计算时间。
基于上述的聚类方法,由第一数据集中图片的人脸特征进行聚类操作,得到了多个类簇以及各个类簇对应的均值质心和推荐质心。因为每个类簇都表征同一对象,所以在本申请实施例中还可以为每个类簇生成相应的人脸档案,并将类簇中的图片,类簇的均值质心和/或推荐质心作为参考个体特征保存在人脸档案中。
可选的,人脸档案还可以分为人脸主档和人脸子档:人脸主档可以用于表征同一对象的人脸对应的个体信息,具体可以包括对象的姓名、身份证号、年龄段、性别、参考个体特征等;人脸子档可以用于表征图片中同一对象的人脸图片数据,人脸图片数据可以是基于人脸图片中解析得到的人脸信息以及人脸图片的采集设备的设备信息,人脸信息可以包括对象的年龄、性别、人脸特征等,设备信息可以包括采集设备的采集时间、采集设备所处的位置、采集设备的设备ID等。
进一步,如果基于类簇生成对象的人脸主档和人脸子档,那么还将建立同一对象的人脸主档和人脸子档之间的关联,形成关联数据保存在相应的人脸主档和人脸子档中。
情况二:根据对应有人体特征的图片,生成人体档案;
在本申请实施例中,基于人体特征对第一数据集中的图片进行聚类,针对图片聚类的聚类方法参见情况一的阐述,在此不做具体阐述。
情况二与情况一类似,基于聚类操作可以生成多个人体档案以及各个人体档案的参考个体特征,但值得注意的是,在情况二中的参考个体特征是基于人体特征得到的。
可选的,人体档案也可以分为人体主档和人体子档。其中,人体主档用于表征同一对象的人体对应的个体信息,具体可以包括对象的姓名、身份证号、年龄段、性别、参考个体特征等;人体子档可以用于表征图片中同一对象的人体图片数据,人脸图片数据可以是基于人体图片中解析得到的人体信息以及人体图片的采集设备的设备信息,人体信息可以包括对象的正侧背信息、眼镜信息、头发颜色信息等,设备信息可以包括采集设备的采集时间、采集设备所处的位置、采集设备的设备ID等。
情况三:根据对应有人脸特征和人体特征的图片,生成人脸人体档案。
在本申请实施例中,首先获取基于情况一的聚类操作得到多个类簇,并将包含人脸特征和人体特征的图片按照获取到类簇的分组方式,进行类簇划分,得到新划分的多个类簇。然后,计算新划分的每个类簇的推荐质心和/或均值质心,计算方法参见情况一的相关说明,在此不做具体阐述。为每个新划分的类簇生成相应的人体档案,并将与类簇对应的推荐质心和/或均值质心作为人体档案对应的参考个体特征。
进一步,由于情况三中的人体档案是基于情况一得到的人脸档案来生成的,因此还可以建立情况三中人体档案与情况一中人脸档案之间的关联关系。基于建立的关联关系,来生成人脸人体档案。其中,人脸人体档案包含同一对象的人脸档案、人体档案以及该人脸档案、人体档案之间的关联关系。
通过上述的三种情况,可以生成第一数据集中图片的人脸档案、人体档案和人脸人体档案。在这里,可以将每个生成的人脸档案、人体档案或人脸人体档案作为第一数据集的第一档案数据集。进而,也就得到了由第一数据集对应人脸档案、人体档案和人脸人体档案组成的第一档案数据集,以及每个第一档案数据集对应的参考个体特征。
在本申请实施例中,基于相同的处理方式,还可以得到第二数据集的第二档案数据集以及每个第二档案数据集对应的参考个体特征,在此不做具体阐述。
通过上述方法,基于数据集中图片包含对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,得到由数据集划分的N个档案数据集,然后根据单个档案数据集中各张图片对应的个体特征,计算单个档案数据集对应的参考个体特征,得到N个档案数据集各自对应的参考个体特征。
值得注意的是,上述确定参考个体特征的方法为本申请提供的一种优选的实施方式,本领域技术人员应当明白,从实际应用情况出发,经本申请步骤101、102中技术特征进行合理拆分和结合得到的技术方案,同样可以解决相同的技术问题或达到相同的技术效果。
基于上述确定N个档案数据集各自对应的参考个体特征的方法,下面结合附图对本申请实施例所提供的方法作出进一步详细说明。
参阅图3所示,本申请实施例提供了一种搜索图片的方法,具体流程如下:
步骤301:对包含目标对象的待搜索图片进行特征提取,得到所述目标对象的个体特征;
在本申请实施例中,首先获取包含目标对象的待搜索图片,然后针对待搜索图片进行目标对象的个体特征提取,提取出目标对象的个体特征。
其中,目标对象可以用于表征某指定个体,即目标对象可以是某人、某生物、某物品等。目标对象的个体特征可以用于识别该目标对象,即当目标对象是人A时,可以根据A的个体特征在多个包含A的不同人中确定出A。
进一步,当对象为人时,人的个体特征具体可以是人脸特征、人体特征以及人的其他生物特征。值的说明的是,在本申请实施例中,以待搜索图片包含某人,人的个体特征包含人脸特征和/或人体特征为例作如下具体说明,下面不再重复赘述。
以个体特征可以包含人脸特征和人体特征为例,这时候针对待搜索图片的特征提取将分为如下三种情况:当待搜索图片只包含目标对象的人脸时,特征提取得到的就只有目标对象的人脸特征;当待搜索图片只包含目标对象的人体时,特征提取得到的就只有目标对象的人体特征;当待搜索图片包含目标对象的人脸和人体时,特征提取得到的就是目标对象的人脸特征和人体特征,在这里,提取出的人脸特征和人体特征都是目标对象的个体特征。
步骤302:分别计算所述目标对象的个体特征与N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值;
在提取出待搜索图片对应的个体特征后,还需要获取N个档案数据集各自对应的I个参考个体特征,即获取到N×I个参考个体特征,然后分别计算上述个体特征与上述N个参考个体特征之间的相似度值,得到N×I个相似度值。在这里,相似度值可以用来表示待搜索图片对应的目标对象与档案数据集对应的对象之间的相似程度。
在本申请实施例中,N、I为大于0的整数,单个档案数据集至少包括一张或多张同一对象的图片,单个档案数据集对应至少一个参考个体特征,参考个体特征可以基于档案数据集中图片包含对象的个体特征得到。
具体来说,因为同一档案数据集包含的都是同一对象的图片,所以同一档案数据集对应的参考个体特征都可以基于同一对象的个体特征来得到。例如,在档案数据集A中有包含对象a的图片1和图片2,图片1提取出对象a的个体特征1,图片2提取出对象a的个体特征2,在这里,就可以将个体特征1和个体特征2的平均值作为档案数据集A对应的参考个体特征,也可以将指定的个体特征1或个体特征2作为档案数据集A对应的参考个体特征。
值得说明的是,上述个体特征和上述参考个体特征可以表示为特征向量,也可以表示为特征值。但不管是特征向量还是特征值,都应当保证个体特征和参考个体特征参与数学计算时的数据形式相同。在一些可能的实施方式中,若个体特征和参考个体特征都表示为特征向量,则计算个体特征与参考个体特征之间的相似度值,就是基于两个特征向量之间的相似度来计算得到。在一些可能的实施方式中,若个体特征和参考个体特征都表示为特征值,这里的特征值可以是特征向量对应的特征值,也可以是提取得到的特征值,则计算个体特征与参考个体特征之间的相似度值,就是基于两个特征值之间的相似度来计算得到。
进一步,若待搜索图片只提取出人脸特征,则可以选取所有的人脸档案来作为这N个档案数据集,然后计算目标对象的个体特征分别与这N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值。通过这种方式,可以进一步减少计算相似度值所需要的计算资源和计算时间。
若待搜索图片只提取出人脸特征,则可以选取所有的人脸档案来作为这N个档案数据集,然后计算目标对象的个体特征分别与这N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值。通过这种方式,可以进一步减少计算相似度值所需要的计算资源和计算时间。
若待搜索图片提取出人脸特征和人体特征,则可以选取所有的人脸人体档案来作为这N个档案数据集,然后计算目标对象的个体特征分别与这N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值。通过这种方式,可以进一步减少计算相似度值所需要的计算资源和计算时间。
可选的,上述人脸档案、人体档案、人脸人体档案可以是基于第一数据集聚类得到的档案。
步骤303:选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,并将选取档案数据集中的图片作为所述待搜索图片的目标图片。
在通过步骤302计算N×I个相似度值后,选取大于预设阈值的相似度值对应的档案数据集,作为当前的待搜索图片的目标图片。当然,也可以直接将最大相似度值对应的档案数据集中的图片作为目标图片。
另外,在本申请实施例中,还可以按照I个参考个体特征的类别,将这N×I个相似度值分为I个小组,即每个小组中包含N个相似度值,然后选取指定小组中大于预设阈值的相似度值/最大相似度值对应的档案数据集中的图片,作为目标图片。
在一些可能的实施方式中,上述N个档案数据集为第一数据集对应的第一档案数据集,第一档案数据集中图片包含的对象与目标对象不匹配。在此情况下,就可以将第二数据对应的第二档案数据集作为N个档案数据集,并基于更新的N个档案数据集再执行步骤202-步骤203的操作,来得到待搜索图片的目标图片。当然,如果本次也没有搜索出目标图片,便可以认为不存在目标图片,并生成不存在目标图片的响应信息。
进一步,在搜索出目标图片后,还可以将待搜索图片添加到相应的档案数据集中。
通过本申请实施例的方法,能够减少搜索目标图片过程中所消耗的计算资源,有效提高搜索目标图片的响应时间。
基于同一发明构思,本申请还提供了一种搜索图片的装置,用以实现用以搜索与待搜索图片中的目标对象相匹配的目标图片,解决现有搜索图片采用遍历的计算导致浪费计算时间和计算资源,基于待搜索图片中目标对象的个体特征与N个档案数据集各自对应的I个参考个体特征之间的相似性,来确定出目标图片,基于此减小搜索过程中的搜索数据量,达到节约搜索过程所使用的计算资源,提高搜索目标图片的搜索速度的技术效果,参见图4,该装置包括:
提取特征模块401,对包含目标对象的待搜索图片进行特征提取,得到所述目标对象的个体特征;
计算相似度值模块402,分别计算所述目标对象的个体特征与N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值;其中,N、I为大于0的整数,单个档案数据集至少包括一张或多张同一对象的图片,所述参考个体特征基于所述档案数据集中图片包含对象的个体特征得到;
选取目标图片模块403,选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,并将选取档案数据集中的图片作为所述待搜索图片的目标图片。
在一种可能的设计中,所述装置,还包括:划分档案数据集模块,基于数据集中图片包含对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,得到由所述数据集划分的N个档案数据集;计算参考个体特征模块,根据单个档案数据集中各张图片对应的个体特征,计算所述单个档案数据集对应的参考个体特征,得到所述N个档案数据集各自对应的参考个体特征。
在一种可能的设计中,所述划分档案数据集模块,具体用于计算数据集中两张图片之间的个体特征相似度值、时间标识相似度值以及空间标识相似度值;其中,所述时间标识相似度值表征所述两张图片拍摄时间的间隔,所述空间标识相似度值表征所述两张图片拍摄位置的距离;响应于所述个体特征相似度值大于第一阈值,将所述两张图片划分到同一档案数据集中;响应于所述个体特征相似度值小于等于所述第一阈值且大于第二阈值、所述时间标识相似度值大于第三阈值、所述空间标识相似度值大于第四阈值,将所述两张图片划分到所述同一档案数据集中;其中,所述第二阈值小于所述第一阈值。
在一种可能的设计中,所述划分档案数据集模块,具体用于在数据集的图片中,划分图片质量值大于预设质量阈值的图片作为第一数据集,划分所述图片质量值小于等于所述预设质量阈值的图片作为第二数据集;分别针对所述第一数据集以及所述第二数据集,将包含同一对象的图片划分到同一档案数据集中,得到由所述第一数据集划分的多个第一档案数据集,以及由所述第二数据集划分的多个第二档案数据集;将所述多个第一档案数据集和所述多个第二档案数据集,共同作为所述数据集划分的N个档案数据集。
在一种可能的设计中,所述计算参考个体特征模块,具体用于计算单个档案数据集中各张图片对应的个体特征的平均特征,并将所述平均特征作为所述单个档案数据集对应的参考个体特征;和/或确定所述单个档案数据集中指定图片对应的个体特征,并将确定的所述个体特征作为所述单个档案数据集对应的参考个体特征。
在一种可能的设计中,所述划分档案数据集模块,具体用于在所述N×I个相似度值中,将与所述第一数据集对应的相似度值作为第一相似度值,将与所述第二数据集对应的相似度值作为第二相似度值;响应于所述第一相似度值大于第一预设阈值,选取所述第一相似度值对应的档案数据集;响应于所述第一相似度值都小于等于所述第一预设阈值,且所述第二相似度值大于第二预设阈值,选取所述第二相似度值对应的档案数据集。
在一种可能的设计中,所述装置,还用于分别计算所述N×I个档案数据集各自对应的参考个体特征,与历史档案数据集对应的参考个体特征之间的相似度值;响应于所述相似度值大于预设相似度阈值,将所述相似度值对应的档案数据集与历史档案数据集进行合并,得到合并后的档案数据集。
基于上述装置,不需要在搜索包含目标对象的目标图片时,遍历地搜索数据库中的每张图片,而只需要基于这N个档案数据集各自对应的I个参考个体特征,便可以进行目标对象的搜索,进而确定出与目标对象匹配的档案数据集,并将档案数据集中的图片作为目标图片。基于此,可以减小搜索过程中的搜索数据量,进而节约搜索过程所使用的计算资源,提高搜索目标图片的搜索速度。
基于同一发明构思,本申请实施例中还提供了一种电子设备,所述电子设备可以实现前述一种搜索图片的装置的功能,参考图5,所述电子设备包括:
至少一个处理器501,以及与至少一个处理器501连接的存储器502,本申请实施例中不限定处理器501与存储器502之间的具体连接介质,图5中是以处理器501和存储器502之间通过总线500连接为例。总线500在图5中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线500可以分为地址总线、数据总线、控制总线等,为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。或者,处理器501也可以称为控制器,对于名称不做限制。
在本申请实施例中,存储器502存储有可被至少一个处理器501执行的指令,至少一个处理器501通过执行存储器502存储的指令,可以执行前文论述的搜索图片方法。处理器501可以实现图4所示的装置中各个模块的功能。
其中,处理器501是该装置的控制中心,可以利用各种接口和线路连接整个该控制设备的各个部分,通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据,该装置的各种功能和处理数据,从而对该装置进行整体监控。
在一种可能的设计中,处理器501可包括一个或多个处理单元,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。在一些实施例中,处理器501和存储器502可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器501可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的搜索图片方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器502作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置/系统,用于存储程序指令和/或数据。
通过对处理器501进行设计编程,可以将前述实施例中介绍的搜索图片方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行图3所示的实施例的搜索图片方法的步骤。如何对处理器501进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
基于同一发明构思,本申请实施例还提供一种存储介质,该存储介质存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行前文论述搜索图片方法。
在一些可能的实施方式中,本申请提供的搜索图片方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在装置上运行时,程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的搜索图片方法中的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置/系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种搜索图片的方法,其特征在于,所述方法包括:
对包含目标对象的待搜索图片进行特征提取,得到所述目标对象的个体特征;
分别计算所述目标对象的个体特征与N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值;其中,N、I为大于0的整数,单个档案数据集至少包括一张或多张同一对象的图片,所述参考个体特征基于所述档案数据集中图片包含对象的个体特征得到;
选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,并将选取档案数据集中的图片作为所述待搜索图片的目标图片。
2.如权利要求1所述的方法,其特征在于,所述方法,还包括:
基于数据集中图片包含对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,得到由所述数据集划分的N个档案数据集;
根据单个档案数据集中各张图片对应的个体特征,计算所述单个档案数据集对应的参考个体特征,得到所述N个档案数据集各自对应的参考个体特征。
3.如权利要求2所述的方法,其特征在于,所述基于数据集中图片包含的对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,包括:
计算数据集中两张图片之间的个体特征相似度值、时间标识相似度值以及空间标识相似度值;其中,所述时间标识相似度值表征所述两张图片拍摄时间的间隔,所述空间标识相似度值表征所述两张图片拍摄位置的距离;
响应于所述个体特征相似度值大于第一阈值,将所述两张图片划分到同一档案数据集中;
响应于所述个体特征相似度值小于等于所述第一阈值且大于第二阈值、所述时间标识相似度值大于第三阈值、所述空间标识相似度值大于第四阈值,将所述两张图片划分到所述同一档案数据集中;其中,所述第二阈值小于所述第一阈值。
4.如权利要求2所述的方法,其特征在于,所述基于数据集中图片包含的对象的个体特征,将包含同一对象的图片划分到同一档案数据集中,得到由所述数据集划分的N个档案数据集,包括:
在数据集的图片中,划分图片质量值大于预设质量阈值的图片作为第一数据集,划分所述图片质量值小于等于所述预设质量阈值的图片作为第二数据集;
分别针对所述第一数据集以及所述第二数据集,将包含同一对象的图片划分到同一档案数据集中,得到由所述第一数据集划分的多个第一档案数据集,以及由所述第二数据集划分的多个第二档案数据集;
将所述多个第一档案数据集和所述多个第二档案数据集,共同作为所述数据集划分的N个档案数据集。
5.如权利要求2所述的方法,其特征在于,所述根据单个档案数据集中各张图片对应的个体特征,计算所述单个档案数据集对应的参考个体特征,包括:
计算单个档案数据集中各张图片对应的个体特征的平均特征,并将所述平均特征作为所述单个档案数据集对应的参考个体特征;和/或
确定所述单个档案数据集中指定图片对应的个体特征,并将确定的所述个体特征作为所述单个档案数据集对应的参考个体特征。
6.如权利要求4所述的方法,其特征在于,所述选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,包括:
在所述N×I个相似度值中,将与所述第一数据集对应的相似度值作为第一相似度值,将与所述第二数据集对应的相似度值作为第二相似度值;
响应于所述第一相似度值大于第一预设阈值,选取所述第一相似度值对应的档案数据集;
响应于所述第一相似度值都小于等于所述第一预设阈值,且所述第二相似度值大于第二预设阈值,选取所述第二相似度值对应的档案数据集。
7.如权利要求2-6任一所述的方法,其特征在于,在所述得到所述N个档案数据集各自对应的参考个体特征之后,还包括:
分别计算所述N个档案数据集各自对应的参考个体特征,与历史档案数据集对应的参考个体特征之间的相似度值;
响应于所述相似度值大于预设相似度阈值,将所述相似度值对应的档案数据集与历史档案数据集进行合并,得到合并后的档案数据集。
8.一种搜索图片的装置,其特征在于,所述装置包括:
提取特征模块,对包含目标对象的待搜索图片进行特征提取,得到所述目标对象的个体特征;
计算相似度值模块,分别计算所述目标对象的个体特征与N个档案数据集各自对应的I个参考个体特征之间的相似度值,得到N×I个相似度值;其中,N、I为大于0的整数,单个档案数据集至少包括一张或多张同一对象的图片,所述参考个体特征基于所述档案数据集中图片包含对象的个体特征得到;
选取目标图片模块,选取所述N×I个相似度值中大于预设阈值的相似度值对应的档案数据集,并将选取档案数据集中的图片作为所述待搜索图片的目标图片。
9.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行所述存储器上所存放的计算机程序时,实现权利要求1-7中任一项所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210591291.0A CN115017359A (zh) | 2022-05-27 | 2022-05-27 | 一种搜索图片的方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210591291.0A CN115017359A (zh) | 2022-05-27 | 2022-05-27 | 一种搜索图片的方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115017359A true CN115017359A (zh) | 2022-09-06 |
Family
ID=83071652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210591291.0A Pending CN115017359A (zh) | 2022-05-27 | 2022-05-27 | 一种搜索图片的方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115017359A (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160044297A1 (en) * | 2014-08-11 | 2016-02-11 | Sony Corporation | Information processor, information processing method, and computer program |
CN109214273A (zh) * | 2018-07-18 | 2019-01-15 | 平安科技(深圳)有限公司 | 人脸图像比对方法、装置、计算机设备及存储介质 |
CN109740004A (zh) * | 2018-12-28 | 2019-05-10 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
US20190205620A1 (en) * | 2017-12-31 | 2019-07-04 | Altumview Systems Inc. | High-quality training data preparation for high-performance face recognition systems |
CN111476279A (zh) * | 2020-03-24 | 2020-07-31 | 平安银行股份有限公司 | 基于相似程度值的识别方法、装置和计算机设备 |
CN112883213A (zh) * | 2019-11-29 | 2021-06-01 | 深圳云天励飞技术有限公司 | 一种图片归档方法、装置及电子设备 |
CN113032610A (zh) * | 2019-12-25 | 2021-06-25 | 深圳云天励飞技术有限公司 | 档案管理方法、装置、设备及计算机可读存储介质 |
US20210357635A1 (en) * | 2019-03-25 | 2021-11-18 | Mitsubishi Electric Corporation | Feature identification device, feature identification method, and computer readable medium |
CN113918510A (zh) * | 2021-09-27 | 2022-01-11 | 深圳云天励飞技术股份有限公司 | 图片归档方法、装置、终端设备及计算机可读存储介质 |
CN113947800A (zh) * | 2021-11-24 | 2022-01-18 | 重庆紫光华山智安科技有限公司 | 一种基于时空碰撞的人脸置信方法、系统、设备和介质 |
CN114139013A (zh) * | 2021-11-29 | 2022-03-04 | 深圳集智数字科技有限公司 | 图像搜索方法、装置、电子设备及计算机可读存储介质 |
CN114357216A (zh) * | 2021-12-10 | 2022-04-15 | 浙江大华技术股份有限公司 | 一种人像聚档方法、装置、电子设备及存储介质 |
CN114373203A (zh) * | 2021-12-20 | 2022-04-19 | 深圳云天励飞技术股份有限公司 | 图片归档方法、装置、终端设备及计算机可读存储介质 |
CN114372166A (zh) * | 2021-12-03 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种图像管理的方法及装置 |
CN114491148A (zh) * | 2022-04-14 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 目标人员搜索方法、装置、计算机设备及存储介质 |
CN114519879A (zh) * | 2021-12-30 | 2022-05-20 | 深圳云天励飞技术股份有限公司 | 人体数据归档方法、装置、设备及存储介质 |
US20220164961A1 (en) * | 2020-11-26 | 2022-05-26 | Samsung Electronics Co., Ltd. | Method and apparatus with object tracking |
-
2022
- 2022-05-27 CN CN202210591291.0A patent/CN115017359A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160044297A1 (en) * | 2014-08-11 | 2016-02-11 | Sony Corporation | Information processor, information processing method, and computer program |
US20190205620A1 (en) * | 2017-12-31 | 2019-07-04 | Altumview Systems Inc. | High-quality training data preparation for high-performance face recognition systems |
CN109214273A (zh) * | 2018-07-18 | 2019-01-15 | 平安科技(深圳)有限公司 | 人脸图像比对方法、装置、计算机设备及存储介质 |
CN109740004A (zh) * | 2018-12-28 | 2019-05-10 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
US20210357635A1 (en) * | 2019-03-25 | 2021-11-18 | Mitsubishi Electric Corporation | Feature identification device, feature identification method, and computer readable medium |
CN112883213A (zh) * | 2019-11-29 | 2021-06-01 | 深圳云天励飞技术有限公司 | 一种图片归档方法、装置及电子设备 |
CN113032610A (zh) * | 2019-12-25 | 2021-06-25 | 深圳云天励飞技术有限公司 | 档案管理方法、装置、设备及计算机可读存储介质 |
CN111476279A (zh) * | 2020-03-24 | 2020-07-31 | 平安银行股份有限公司 | 基于相似程度值的识别方法、装置和计算机设备 |
US20220164961A1 (en) * | 2020-11-26 | 2022-05-26 | Samsung Electronics Co., Ltd. | Method and apparatus with object tracking |
CN113918510A (zh) * | 2021-09-27 | 2022-01-11 | 深圳云天励飞技术股份有限公司 | 图片归档方法、装置、终端设备及计算机可读存储介质 |
CN113947800A (zh) * | 2021-11-24 | 2022-01-18 | 重庆紫光华山智安科技有限公司 | 一种基于时空碰撞的人脸置信方法、系统、设备和介质 |
CN114139013A (zh) * | 2021-11-29 | 2022-03-04 | 深圳集智数字科技有限公司 | 图像搜索方法、装置、电子设备及计算机可读存储介质 |
CN114372166A (zh) * | 2021-12-03 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种图像管理的方法及装置 |
CN114357216A (zh) * | 2021-12-10 | 2022-04-15 | 浙江大华技术股份有限公司 | 一种人像聚档方法、装置、电子设备及存储介质 |
CN114373203A (zh) * | 2021-12-20 | 2022-04-19 | 深圳云天励飞技术股份有限公司 | 图片归档方法、装置、终端设备及计算机可读存储介质 |
CN114519879A (zh) * | 2021-12-30 | 2022-05-20 | 深圳云天励飞技术股份有限公司 | 人体数据归档方法、装置、设备及存储介质 |
CN114491148A (zh) * | 2022-04-14 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 目标人员搜索方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
刘稳君;罗健旭;: "基于改进的GHSOM聚类算法的图像检索", 华东理工大学学报(自然科学版), no. 02, 30 April 2015 (2015-04-30), pages 86 - 91 * |
马木生;: "档案信息检索技术探析", 科技风, no. 13, 15 July 2017 (2017-07-15), pages 278 - 279 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109783685B (zh) | 一种查询方法及装置 | |
CN109740004B (zh) | 一种归档方法及装置 | |
CN111062871A (zh) | 一种图像处理方法、装置、计算机设备及可读存储介质 | |
CN111581423B (zh) | 一种目标检索方法及装置 | |
CN109815829A (zh) | 一种确定路人轨迹的方法及装置 | |
CN110941978B (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
WO2021012482A1 (zh) | 群体兴趣标签的生成方法、装置、计算机设备和存储介质 | |
CN109815370A (zh) | 一种归档方法及装置 | |
CN109784220B (zh) | 一种确定路人轨迹的方法及装置 | |
CN112232203B (zh) | 行人识别方法、装置、电子设备及存储介质 | |
CN112668632B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN109857891A (zh) | 一种查询方法及装置 | |
CN109800664A (zh) | 一种确定路人轨迹的方法及装置 | |
CN111429476A (zh) | 确定目标人物行动轨迹的方法和装置 | |
CN112084939A (zh) | 图像特征数据管理方法、装置、计算机设备及存储介质 | |
CN110263830B (zh) | 图像处理方法、装置和系统及存储介质 | |
WO2021196551A1 (zh) | 图像检索方法、装置、计算机设备和存储介质 | |
CN109558861A (zh) | 一种确定路人轨迹的方法及装置 | |
CN115017359A (zh) | 一种搜索图片的方法、装置及电子设备 | |
CN115687249A (zh) | 一种图像聚档方法、装置、终端及计算机可读存储介质 | |
CN115880754A (zh) | 一种多档合并的方法、装置及电子设备 | |
CN114003753A (zh) | 一种图片检索方法及装置 | |
CN110751046B (zh) | 一种用户识别方法、装置、可读存储介质及终端设备 | |
JP6341843B2 (ja) | 画像検索装置、及び画像検索システム | |
CN111382628B (zh) | 同行判定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |