CN108197250B - 图片检索方法、电子设备及存储介质 - Google Patents
图片检索方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN108197250B CN108197250B CN201711484071.3A CN201711484071A CN108197250B CN 108197250 B CN108197250 B CN 108197250B CN 201711484071 A CN201711484071 A CN 201711484071A CN 108197250 B CN108197250 B CN 108197250B
- Authority
- CN
- China
- Prior art keywords
- picture
- classification
- face
- retrieved
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Abstract
本发明提供一种图片检索方法，所述方法包括：获取待检索人脸图片；获取至少一个类别中每个类别的图片；提取所述待检索人脸图片的特征；计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度；确定每个类别对应的相似度阈值；根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片；基于每个类别中符合条件的图片，输出检索结果。本发明还提供一种电子设备及存储介质。本发明能在海量数据中检索出与待检索人脸图片相似的多种类别的图片，提高了检索精度和准度。
Description
技术领域
本发明涉及图片处理领域，尤其涉及一种图片检索方法、电子设备及存储介质。
背景技术
人脸识别技术在许多领域有着非常广泛的应用，如视频监控、智慧商业、门禁系统等。这样，数据库就会有上亿级的大规模人脸库，在如此庞大的数据库中人脸的姿态、人脸所处的环境因素也是有很大不同的，尤其体现在光照、分辨率、遮挡等因素。因此，在对人脸图片进行检索时，很难检索到复杂环境下的人脸图片(光线不好的人脸图片，戴帽子的人脸图片)，检索精度不高，这样就无法满足用户的检索需求。
发明内容
鉴于以上内容，有必要提供一种图片检索方法、电子设备及存储介质，能在海量数据中检索出与待检索人脸图片相似的多种类别的图片，提高了检索精度和准度。
一种图片检索方法，所述方法包括：
获取待检索人脸图片；
获取至少一个类别中每个类别的图片；
提取所述待检索人脸图片的特征；
计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度；
确定每个类别对应的相似度阈值；
根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片；
基于每个类别中符合条件的图片，输出检索结果。
根据本发明优选实施例，所述至少一个类别中不同类别对应不同姿态类型的图片，每个类别对应一种姿态类型。
根据本发明优选实施例，所述确定每个类别对应的相似度阈值包括：
利用训练好的分类模型，确定所述待检索人脸图片的类别；
将所述待检索人脸图片的类别对应的相似度阈值配置为第一阈值；
将所述至少一个类别中其他类别对应的相似度阈值配置为第二阈值，所述第一阈值大于第二阈值。
根据本发明优选实施例，所述确定每个类别对应的相似度阈值包括：
接收终端设备发送的在用户界面上对每个类别配置的相似度阈值，所述用户界面上包括每个类别对应的相似度阈值选项。
根据本发明优选实施例，所述根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片包括：
从每个类别的图片中，筛选出相似度大于每个类别对应的相似度阈值的图片作为每个类别中符合条件的图片。
根据本发明优选实施例，在提取所述待检索人脸图片的特征之前，所述方法还包括：
对所述待检索人脸图片进行人脸对齐及人脸的归一化。
根据本发明优选实施例，所述提取所述待检索人脸图片的特征包括：
利用训练好的特征提取模型，提取所述待检索人脸图片的特征，其中在训练所述特征提取模型时，先对训练样本图片进行人脸对齐及人脸的归一化，得到处理后的训练样本图片，基于处理后的训练样本图片，训练特征提取模型。
根据本发明优选实施例，所述基于每个类别中符合条件的图片，输出检索结果包括以下一种或者多种：
将每个类别中符合条件的图片进行融合成一个图片集，并基于图片集中图片与待检索人脸图片间的相似度，按照相似度从大到小，对所述图片集进行排序，将排序后的图片集作为检索结果输出；
基于每个类别中符合条件的图片与与待检索人脸图片间的相似度，按照相似度从大到小，分别对每个类别中符合条件的图片进行排序，将每个类别中排序后的图片作为检索结果输出；
基于每个类别中符合条件的图片与待检索人脸图片间的相似度，按照相似度从大到小，将每个类别中排序后的图片作为检索结果输出，并从每个类别中筛选相似度排在前预设位数的图片进行突出显示。
一种电子设备，所述电子设备包括存储器及处理器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令以实现任意实施例中任一项所述图片检索方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现任意实施例中任一项所述图片检索方法。
由以上技术方案可以看出，本发明获取待检索人脸图片；获取至少一个类别中每个类别的图片；提取所述待检索人脸图片的特征；计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度；确定每个类别对应的相似度阈值；根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片；基于每个类别中符合条件的图片，输出检索结果。本发明能在海量数据中检索出与待检索人脸图片相似的多种类别的图片，提高了检索精度和准度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明图片检索方法的较佳实施例的流程图。
图2是本发明图片检索装置的较佳实施例的功能模块图。
图3是本发明至少一个实例中电子设备的较佳实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，是本发明图片检索方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S10，电子设备获取待检索人脸图片。
在本发明的优选实施例中，所述电子设备与终端设备相通信，本发明提供用户界面，并在终端设备上显示。在所述用户界面上，用户可以输入待检索人脸图片，并上传至所述电子设备。当然所述电子设备也可以通过其他方式获取待检索人脸图片，本发明不做任何限制。
S11，所述电子设备获取至少一个类别中每个类别的图片。
在本发明的优选实施例中，在将抓拍的图片进行存储时，利用图片识别技术，识别抓拍的图片，根据配置的分类规则将抓拍的图片分类到至少一个类别中，这样后续可以直接获取所述至少一个类别中每个类别的图片。所述至少一个类别中不同类别对应不同姿态类型的图片，每个类别对应一种姿态类型。这样便于后续检索的时候，能检索到不同类型的人脸，给用户提供各种姿态类型下的人脸分析等等。
进一步地，所述分类规则包括，但不限于：脸部姿态、光线类别、遮挡类别。所述脸部姿态包括，但不限于：仰视脸、侧视脸、正脸。所述光线类别包括，但不限于：暗光类别、亮光类别、正常光类别。所述遮挡类别包括，但不限于：口罩遮挡、墨镜遮挡、帽子遮挡等等。
S12，所述电子设备提取所述待检索人脸图片的特征。
在本发明的优选实施例中，利用训练好的特征提取模型，提取所述待检索人脸图片的特征。这样可以减少各种姿态类别对特征表达的影响，及提高特征提取的速度。
进一步地，训练所述特征提取模型的训练样本图片的类别包括所述至少一个类别中的每个类别。这样可以使不同类别的人脸特征都能有较好的表达，从而提高特征的鲁棒性。
进一步地，在训练所述特征提取模型时，先对训练样本图片进行人脸对齐及人脸的归一化，得到处理后的训练样本图片，基于处理后的训练样本图片，训练特征提取模型。从而减少人脸姿态、光线对特征表达的影响。
进一步地，人脸的对齐包括对输入的人脸图像进行对齐，使右边的脸和左边的脸形状大体一致，从而自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。例如，侧脸姿态的脸，左边脸与右边脸形状有区别，通过人脸的对齐处理，可以使侧脸姿态的脸的右边的脸和左边的脸形状大体一致。从而减少人脸姿态对特征表达的影响。
人脸的归一化包括，但不限于：几何归一化和灰度归一化。所述几何归一化分两步：人脸校正和人脸裁剪。从而减少人脸姿态对特征表达的影响。灰度归一化主要是增加图像的对比度，进行光照补偿。例如在暗光下的人脸，人脸特征表达比较弱，可以对暗光下的人脸进行灰度归一化，从而减少光线对特征表达的影响。
优选地，在利用训练好的特征提取模型，提取所述待检索人脸图片的特征之前，所述电子设备对所述待检索人脸图片进行人脸对齐及人脸的归一化。这样可以减少各种姿态类别对特征表达的影响，及提高特征提取的速度。
S13，所述电子设备计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度。
在本发明的优选实施例中，对每个类别而言，将每个类别的图片包括一张或者多张图片，将每个类别中每张图片的特征与所述待检索人脸图片的特征对比，计算每个类别中每张图片的特征与所述待检索人脸图片的特征相似度，便于后续筛选与所述待检索人脸图片的相似高的图片。
S14，所述电子设备确定每个类别对应的相似度阈值。
在本发明的优选实施例中，将所述待检索人脸图片的类别对应的相似度阈值大于所述至少一个类别中其他类别对应的相似度阈值。这样在所述至少一个类别中，可以在与所述待检索人脸图片的类别的相同类别中筛选出高度相似的人脸图片。在其他类别(除与所述待检索人脸图片的类别的相同类别)中，设置小一些的相似度阈值，以避免与所述待检索人脸图片相似的图片被过滤掉，从而提高检索精度。
进一步地，所述电子设备先确定所述待检索人脸图片的类别，利用训练好的分类模型，确定所述待检索人脸图片的类别；将所述待检索人脸图片的类别对应的相似度阈值配置为第一阈值；将所述至少一个类别中其他类别对应的相似度阈值配置为第二阈值，所述第一阈值大于第二阈值。
进一步地，所述电子设备预先配置预设阈值及差异系数，所述第一阈值等于预设阈值与差异系数之和，所述第二阈值等于预设阈值与差异系数之差。
本发明的优选实施例中，还可以在用户界面上提供每个类别对应的相似度阈值选项，由用户自定义设置所述每个类别对应的相似度阈值。所述电子设备接收终端设备发送的在用户界面上对每个类别配置的相似度阈值，并基于对每个类别配置的相似度阈值检索与所述待检索人脸图片相似的人脸图片。
例如，用户在用户界面输入一张人脸图片，需要从大量抓拍的图片中找出戴帽子的人脸图片，且与所述人脸图片高度相似，则可以将戴帽子类别的人脸图片对应的相似度阈值设置的比较高，这样能更准确，更有针对性地找出用户所需的相似图片。
S15，所述电子设备根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片。
优选地，所述电子设备从每个类别的图片中，筛选出相似度大于每个类别对应的相似度阈值的图片作为每个类别中符合条件的图片。
优选地，在筛选每个类别中符合条件的图片之后，所述电子设备对每个类别中符合条件的图片对应的相似度进行归一化操作，这样可以避免待检索人脸图片所在类别的图片对应的相似度很高，其他类别的图片对应的相似度很低，从而避免在排序时相似度高的都是待检索人脸图片所在类别的图片，其他类别的图片被忽略。
进一步地，将每个类别中符合条件的图片融合成一个图片集合后，图片集合中第i个图片对应的归一化后的相似度值：
其中Ri表示第i个图片对应的相似度值，表示第i个图片对应的归一化后的相似度值，表示图片集合中所有图片对应的相似度之和。
S16，所述电子设备基于每个类别中符合条件的图片，输出检索结果。
优选地，所述基于每个类别中符合条件的图片，输出检索结果包括以下一种或者多种：
(1)将每个类别中符合条件的图片进行融合成一个图片集，并基于图片集中图片与待检索人脸图片间的相似度，按照相似度从大到小，对所述图片集进行排序，将排序后的图片集作为检索结果输出。
(2)基于每个类别中符合条件的图片与与待检索人脸图片间的相似度，按照相似度从大到小，分别对每个类别中符合条件的图片进行排序，将每个类别中排序后的图片作为检索结果输出。这样可以分类别显示，便于用户筛选感兴趣的类别，从而查看所需的图片。
(3)基于每个类别中符合条件的图片与待检索人脸图片间的相似度，按照相似度从大到小，将每个类别中排序后的图片作为检索结果输出，并从每个类别中筛选相似度排在前预设位数的图片进行突出显示。
进一步地，每个类别中排在前预设位数的图片分别用不同的显示样式，这样可以便于用户直接直观地查看每个类别中高度相似的图片，例如，戴口罩的高度相似的人脸图片用黄色显示，戴眼镜的高度相似的人脸图片用绿色显示等等，这样便于直观所需图片。
例如，在用户界面上输入一张正脸图片，从海量抓拍的图片中检索到所述正脸图片对应的用户的戴帽子的人脸图片、戴墨镜的人脸图片、戴口罩的人脸图片等等。
本发明获取待检索人脸图片；获取至少一个类别中每个类别的图片；提取所述待检索人脸图片的特征；计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度；确定每个类别对应的相似度阈值；根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片；基于每个类别中符合条件的图片，输出检索结果。本发明能在海量数据中检索出与待检索人脸图片相似的多种类别的图片，提高了检索精度和准度。
如图2所示，本发明图片检索装置的较佳实施例的功能模块图。所述图片检索装置11包括获取模块100、提取模块101、训练模块102、计算模块103、确定模块104、筛选模块105及输出模块106。本发明所称的单元是指一种能够被图片检索装置11的处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各单元的功能将在后续的实施例中详述。
所述获取模块100获取待检索人脸图片。
在本发明的优选实施例中，所述电子设备与终端设备相通信，本发明提供用户界面，并在终端设备上显示。在所述用户界面上，用户可以输入待检索人脸图片，并上传至所述电子设备。当然所述电子设备也可以通过其他方式获取待检索人脸图片，本发明不做任何限制。
所述获取模块100获取至少一个类别中每个类别的图片。
在本发明的优选实施例中，在将抓拍的图片进行存储时，利用图片识别技术，识别抓拍的图片，根据配置的分类规则将抓拍的图片分类到至少一个类别中。所述至少一个类别中不同类别对应不同姿态类型的图片，每个类别对应一种姿态类型。这样便于后续检索的时候，能检索到不同类型的人脸，给用户提供各种姿态类型下的人脸分析等等。
进一步地，所述分类规则包括，但不限于：脸部姿态、光线类别、遮挡类别。所述脸部姿态包括，但不限于：仰视脸、侧视脸、正脸。所述光线类别包括，但不限于：暗光类别、亮光类别、正常光类别。所述遮挡类别包括，但不限于：口罩遮挡、墨镜遮挡、帽子遮挡等等。
所述提取模块101提取所述待检索人脸图片的特征。
在本发明的优选实施例中，所述提取模块101利用训练好的特征提取模型，提取所述待检索人脸图片的特征。这样可以减少各种姿态类别对特征表达的影响，及提高特征提取的速度。
进一步地，所述训练模块102训练所述特征提取模型的训练样本图片的类别包括所述至少一个类别中的每个类别。这样可以使不同类别的人脸特征都能有较好的表达，从而提高特征的鲁棒性。
进一步地，所述训练模块102在训练所述特征提取模型时，先对训练样本图片进行人脸对齐及人脸的归一化，得到处理后的训练样本图片，基于处理后的训练样本图片，训练特征提取模型。从而减少人脸姿态、光线对特征表达的影响。
进一步地，人脸的对齐包括对输入的人脸图像进行对齐，使右边的脸和左边的脸形状大体一致，从而自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。例如，侧脸姿态的脸，左边脸与右边脸形状有区别，通过人脸的对齐处理，可以使侧脸姿态的脸的右边的脸和左边的脸形状大体一致。从而减少人脸姿态对特征表达的影响。
人脸的归一化包括，但不限于：几何归一化和灰度归一化。所述几何归一化分两步：人脸校正和人脸裁剪。从而减少人脸姿态对特征表达的影响。灰度归一化主要是增加图像的对比度，进行光照补偿。例如在暗光下的人脸，人脸特征表达比较弱，可以对暗光下的人脸进行灰度归一化，从而减少光线对特征表达的影响。
优选地，所述提取模块101在利用训练好的特征提取模型，提取所述待检索人脸图片的特征之前，所述电子设备对所述待检索人脸图片进行人脸对齐及人脸的归一化。这样可以减少各种姿态类别对特征表达的影响，及提高特征提取的速度。
所述计算模块103计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度。
在本发明的优选实施例中，对每个类别而言，所述计算模块103将每个类别的图片包括一张或者多张图片，将每个类别中每张图片的特征与所述待检索人脸图片的特征对比，计算每个类别中每张图片的特征与所述待检索人脸图片的特征相似度，便于后续筛选与所述待检索人脸图片的相似高的图片。
所述确定模块104确定每个类别对应的相似度阈值。
在本发明的优选实施例中，将所述待检索人脸图片的类别对应的相似度阈值大于所述至少一个类别中其他类别对应的相似度阈值。这样在所述至少一个类别中，可以在与所述待检索人脸图片的类别的相同类别中筛选出高度相似的人脸图片。在其他类别(除与所述待检索人脸图片的类别的相同类别)中，设置小一些的相似度阈值，以避免与所述待检索人脸图片相似的图片被过滤掉，从而提高检索精度。
进一步地，所述确定模块104具体用于：先确定所述待检索人脸图片的类别，利用训练好的分类模型，确定所述待检索人脸图片的类别；将所述待检索人脸图片的类别对应的相似度阈值配置为第一阈值；将所述至少一个类别中其他类别对应的相似度阈值配置为第二阈值，所述第一阈值大于第二阈值。
进一步地，所述确定模块104预先配置预设阈值及差异系数，所述第一阈值等于预设阈值与差异系数之和，所述第二阈值等于预设阈值与差异系数之差。
本发明的优选实施例中，还可以在用户界面上提供每个类别对应的相似度阈值选项，由用户根据自定义设置所述每个类别对应的相似度阈值。所述确定模块104接收终端设备发送的在用户界面上对每个类别配置的相似度阈值，并基于对每个类别配置的相似度阈值检索与所述待检索人脸图片相似的人脸图片。
例如，用户在用户界面输入一张人脸图片，需要从大量抓拍的图片中找出戴帽子的人脸图片，且与所述人脸图片高度相似，则可以将戴帽子类别的人脸图片对应的相似度阈值设置的比较高，这样能更准确，更有针对性地找出用户所需的相似图片。
所述筛选模块105根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片。
优选地，所述筛选模块105从每个类别的图片中，筛选出相似度大于每个类别对应的相似度阈值的图片作为每个类别中符合条件的图片。
优选地，在筛选每个类别中符合条件的图片之后，所述计算模块103对每个类别中符合条件的图片对应的相似度进行归一化操作，这样可以避免待检索人脸图片所在类别的图片对应的相似度很高，其他类别的图片对应的相似度很低，从而避免在排序时相似度高的都是待检索人脸图片所在类别的图片，其他类别的图片被忽略。
进一步地，将每个类别中符合条件的图片融合成一个图片集合后，图片集合中第i个图片对应的归一化后的相似度值：
其中Ri表示第i个图片对应的相似度值，表示第i个图片对应的归一化后的相似度值，表示图片集合中所有图片对应的相似度之和。
所述输出模块106基于每个类别中符合条件的图片，输出检索结果。
优选地，所述输出模块106基于每个类别中符合条件的图片，输出检索结果包括以下一种或者多种：
(1)将每个类别中符合条件的图片进行融合成一个图片集，并基于图片集中图片与待检索人脸图片间的相似度，按照相似度从大到小，对所述图片集进行排序，将排序后的图片集作为检索结果输出。
(2)基于每个类别中符合条件的图片与与待检索人脸图片间的相似度，按照相似度从大到小，分别对每个类别中符合条件的图片进行排序，将每个类别中排序后的图片作为检索结果输出。这样可以分类别显示，便于用户筛选感兴趣的类别，从而查看所需的图片。
(3)基于每个类别中符合条件的图片与待检索人脸图片间的相似度，按照相似度从大到小，将每个类别中排序后的图片作为检索结果输出，并从每个类别中筛选相似度排在前预设位数的图片进行突出显示。
进一步地，每个类别中排在前预设位数的图片分别用不同的显示样式，这样可以便于用户直接直观地查看每个类别中高度相似的图片，例如，戴口罩的高度相似的人脸图片用黄色显示，戴眼镜的高度相似的人脸图片用绿色显示等等，这样便于直观所需图片。
例如，在用户界面上输入一张正脸图片，从海量抓拍的图片中检索到所述正脸图片对应的用户的戴帽子的人脸图片、戴墨镜的人脸图片、戴口罩的人脸图片等等。
本发明获取待检索人脸图片；获取至少一个类别中每个类别的图片；提取所述待检索人脸图片的特征；计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度；确定每个类别对应的相似度阈值；根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片；基于每个类别中符合条件的图片，输出检索结果。本发明能在海量数据中检索出与待检索人脸图片相似的多种类别的图片，提高了检索精度和准度。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明每个实施例所述方法的部分步骤。
如图3所示，所述电子设备3包括至少一个发送装置31、至少一个存储器32、至少一个处理器33、至少一个接收装置34以及至少一个通信总线。其中，所述通信总线用于实现这些组件之间的连接通信。
所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述电子设备3还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
所述电子设备3可以是，但不限于任何一种可与用户通过键盘、触摸板或声控设备等方式进行人机交互的电子产品，例如，平板电脑、智能手机、个人数字助理(PersonalDigital Assistant，PDA)、智能式穿戴式设备、摄像设备、监控设备等终端。
所述电子设备3所处的网络包括，但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
其中，所述接收装置34和所述发送装置31可以是有线发送端口，也可以为无线设备，例如包括天线装置，用于与其他设备进行数据通信。
所述存储器32用于存储程序代码。所述存储器32可以是集成电路中没有实物形式的具有存储功能的电路，如RAM(Random-Access Memory，随机存取存储器)、FIFO(First InFirst Out，)等。或者，所述存储器32也可以是具有实物形式的存储器，如内存条、TF卡(Trans-flash Card)、智能媒体卡(smart media card)、安全数字卡(secure digitalcard)、快闪存储器卡(flash card)等储存设备等等。
所述处理器33可以包括一个或者多个微处理器、数字处理器。所述处理器33可调用存储器32中存储的程序代码以执行相关的功能。例如，图2中所述的各个单元是存储在所述存储器32中的程序代码，并由所述处理器33所执行，以实现一种图片检索方法。所述处理器33又称中央处理器(CPU，Central Processing Unit)，是一块超大规模的集成电路，是运算核心(Core)和控制核心(Control Unit)。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令当被包括一个或多个处理器的电子设备执行时，使电子设备执行如上文方法实施例所述的图片检索方法。
结合图1所示，所述电子设备1中的所述存储器32存储多个指令以实现一种图片检索方法，所述处理器33可执行所述多个指令从而实现：
获取待检索人脸图片；获取至少一个类别中每个类别的图片；提取所述待检索人脸图片的特征；计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度；确定每个类别对应的相似度阈值；根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片；基于每个类别中符合条件的图片，输出检索结果。
在任意实施例中所述图片检索方法对应的多个指令存储在所述存储器32，并通过所述处理器33来执行，在此不再详述。
以上说明的本发明的特征性的手段可以通过集成电路来实现，并控制实现上述任意实施例中所述图片检索方法的功能。即，本发明的集成电路安装于所述电子设备中，使所述电子设备发挥如下功能：获取待检索人脸图片；获取至少一个类别中每个类别的图片；提取所述待检索人脸图片的特征；计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度；确定每个类别对应的相似度阈值；根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选每个类别中符合条件的图片；基于每个类别中符合条件的图片，输出检索结果。
在任意实施例中所述图片检索方法所能实现的功能都能通过本发明的集成电路安装于所述电子设备中，使所述电子设备发挥任意实施例中所述图片检索方法所能实现的功能，在此不再详述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明的各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种图片检索方法，其特征在于，所述方法包括：
获取待检索人脸图片；
获取至少一个类别中每个类别的图片；
提取所述待检索人脸图片的特征；
计算所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度；
确定每个类别对应的相似度阈值；
根据每个类别对应的相似度阈值及所述待检索人脸图片的特征与至少一个类别中每个类别的图片的特征的相似度，从每个类别的图片中，筛选出相似度大于每个类别对应的相似度阈值的图片作为每个类别中符合条件的图片；
基于每个类别中符合条件的图片，输出检索结果。
2.如权利要求1所述的图片检索方法，其特征在于，所述至少一个类别中不同类别对应不同姿态类型的图片，每个类别对应一种姿态类型。
3.如权利要求1所述的图片检索方法，其特征在于，所述确定每个类别对应的相似度阈值包括：
利用训练好的分类模型，确定所述待检索人脸图片的类别；
将所述待检索人脸图片的类别对应的相似度阈值配置为第一阈值；
将所述至少一个类别中其他类别对应的相似度阈值配置为第二阈值，所述第一阈值大于第二阈值。
4.如权利要求1所述的图片检索方法，其特征在于，所述确定每个类别对应的相似度阈值包括：
接收终端设备发送的在用户界面上对每个类别配置的相似度阈值，所述用户界面上包括每个类别对应的相似度阈值选项。
5.如权利要求1所述的图片检索方法，其特征在于，在提取所述待检索人脸图片的特征之前，所述方法还包括：
对所述待检索人脸图片进行人脸对齐及人脸的归一化。
6.如权利要求1所述的图片检索方法，其特征在于，所述提取所述待检索人脸图片的特征包括：
利用训练好的特征提取模型，提取所述待检索人脸图片的特征，其中在训练所述特征提取模型时，先对训练样本图片进行人脸对齐及人脸的归一化，得到处理后的训练样本图片，基于处理后的训练样本图片，训练特征提取模型。
7.如权利要求1所述的图片检索方法，其特征在于，所述基于每个类别中符合条件的图片，输出检索结果包括以下一种或者多种：
将每个类别中符合条件的图片进行融合成一个图片集，并基于图片集中图片与待检索人脸图片间的相似度，按照相似度从大到小，对所述图片集进行排序，将排序后的图片集作为检索结果输出；
基于每个类别中符合条件的图片与待检索人脸图片间的相似度，按照相似度从大到小，分别对每个类别中符合条件的图片进行排序，将每个类别中排序后的图片作为检索结果输出；
基于每个类别中符合条件的图片与待检索人脸图片间的相似度，按照相似度从大到小，将每个类别中排序后的图片作为检索结果输出，并从每个类别中筛选相似度排在前预设位数的图片进行突出显示。
8.一种电子设备，所述电子设备包括存储器及处理器，其特征在于，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令以实现如权利要求1至7中任一项所述图片检索方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任一项所述图片检索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711484071.3A CN108197250B (zh) | 2017-12-29 | 2017-12-29 | 图片检索方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711484071.3A CN108197250B (zh) | 2017-12-29 | 2017-12-29 | 图片检索方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108197250A CN108197250A (zh) | 2018-06-22 |
| CN108197250B true CN108197250B (zh) | 2019-10-25 |
Family
ID=62587122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711484071.3A Active CN108197250B (zh) | 2017-12-29 | 2017-12-29 | 图片检索方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108197250B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110727815B (zh) * | 2018-07-16 | 2024-01-30 | 浙江大华技术股份有限公司 | 一种更新以图搜图的图库的方法、设备及可读存储介质 |
| CN109063656B (zh) * | 2018-08-08 | 2021-08-24 | 厦门市美亚柏科信息股份有限公司 | 一种利用多个人脸引擎进行人脸查询的方法及装置 |
| CN109711357A (zh) * | 2018-12-28 | 2019-05-03 | 北京旷视科技有限公司 | 一种人脸识别方法及装置 |
| CN110083732B (zh) * | 2019-03-12 | 2021-08-31 | 浙江大华技术股份有限公司 | 图片检索方法、装置及计算机存储介质 |
| CN112241666A (zh) * | 2019-07-18 | 2021-01-19 | 佳能株式会社 | 目标识别方法、装置及存储介质 |
| CN110992283A (zh) * | 2019-11-29 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
| CN111241928B (zh) * | 2019-12-30 | 2024-02-06 | 新大陆数字技术股份有限公司 | 人脸识别底库优化方法、系统、设备、可读存储介质 |
| CN112084902A (zh) * | 2020-08-26 | 2020-12-15 | 武汉普利商用机器有限公司 | 人脸图像获取方法、装置、电子设备及存储介质 |
| CN112836661A (zh) * | 2021-02-07 | 2021-05-25 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN113407746B (zh) * | 2021-07-16 | 2023-08-29 | 厦门熵基科技有限公司 | 一种以图搜图的方法及系统 |
| CN113762106A (zh) * | 2021-08-23 | 2021-12-07 | 深圳云天励飞技术股份有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101211341A (zh) * | 2006-12-29 | 2008-07-02 | 上海芯盛电子科技有限公司 | 图像智能模式识别搜索方法 |
| CN101236599A (zh) * | 2007-12-29 | 2008-08-06 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
| CN101324923A (zh) * | 2008-08-05 | 2008-12-17 | 北京中星微电子有限公司 | 用于人脸识别的特征提取方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101593269B (zh) * | 2008-05-29 | 2012-05-02 | 汉王科技股份有限公司 | 人脸识别装置及方法 |
| CN101980242B (zh) * | 2010-09-30 | 2014-04-09 | 徐勇 | 人脸面相判别方法、系统及公共安全系统 |
| CN103778409A (zh) * | 2014-01-02 | 2014-05-07 | 深圳市元轩科技发展有限公司 | 基于人脸特征数据挖掘的人脸识别方法与装置 |
| CN105354527A (zh) * | 2014-08-20 | 2016-02-24 | 南京普爱射线影像设备有限公司 | 一种消极表情识别鼓励系统 |
| CN105426462A (zh) * | 2015-11-13 | 2016-03-23 | 深圳码隆科技有限公司 | 一种基于图像元素的图像搜索方法和装置 |
-
2017
- 2017-12-29 CN CN201711484071.3A patent/CN108197250B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101211341A (zh) * | 2006-12-29 | 2008-07-02 | 上海芯盛电子科技有限公司 | 图像智能模式识别搜索方法 |
| CN101236599A (zh) * | 2007-12-29 | 2008-08-06 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
| CN101324923A (zh) * | 2008-08-05 | 2008-12-17 | 北京中星微电子有限公司 | 用于人脸识别的特征提取方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108197250A (zh) | 2018-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197250B (zh) | 图片检索方法、电子设备及存储介质 | |
| CN108595585B (zh) | 样本数据分类方法、模型训练方法、电子设备及存储介质 | |
| CN108197532B (zh) | 人脸识别的方法、装置及计算机装置 | |
| CN105118048B (zh) | 翻拍证件图片的识别方法及装置 | |
| CN109284729B (zh) | 基于视频获取人脸识别模型训练数据的方法、装置和介质 | |
| CN108875522A (zh) | 人脸聚类方法、装置和系统及存储介质 | |
| CN110399890A (zh) | 图像识别方法、装置、电子设备及可读存储介质 | |
| CN110378235A (zh) | 一种模糊人脸图像识别方法、装置及终端设备 | |
| CN112052186B (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN111914812B (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
| CN108549870A (zh) | 一种对物品陈列进行鉴别的方法及装置 | |
| CN109978918A (zh) | 一种轨迹追踪方法、装置和存储介质 | |
| CN108228792A (zh) | 图片检索方法、电子设备及存储介质 | |
| CN108520226A (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
| CN110442742A (zh) | 检索图像的方法及装置、处理器、电子设备及存储介质 | |
| CN110019876A (zh) | 数据查询方法、电子设备及存储介质 | |
| CN108960288B (zh) | 基于卷积神经网络的三维模型分类方法及系统 | |
| CN107918767B (zh) | 目标检测方法、装置、电子设备及计算机可读介质 | |
| CN110163111A (zh) | 基于人脸识别的叫号方法、装置、电子设备及存储介质 | |
| CN105740808B (zh) | 人脸识别方法和装置 | |
| CN110443120A (zh) | 一种人脸识别方法及设备 | |
| CN108108711A (zh) | 人脸布控方法、电子设备及存储介质 | |
| CN110674875A (zh) | 一种基于深度混合模型的行人运动模式识别方法 | |
| CN110457481A (zh) | 一种分类模型训练的方法、装置、设备以及存储介质 | |
| CN110489659A (zh) | 数据匹配方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |