CN108124478A - 图片查找方法和装置 - Google Patents

Abstract

本申请公开了一种图片查找方法和装置，涉及图像识别领域，用于实现快速查找具有相同主体的图片。该方法包括：接收用户输入的查找信息，所述查找信息中包括待查找的主体的图片和属性；对所述主体的图片进行特征识别得到所述待查找的主体的特征值；将所述待查找的主体的特征值与数据库中各主体的特征值匹配，得到具有相同主体的第一图片集合，其中，所述数据库中主体的特征值与具有相同主体的图片集合相对应；根据所述待查找的主体的属性从数据库中匹配得到第二图片集合；取所述第一图片集合和所述第二图片集合的交集得到待查找的图片。本申请实施例应用于图片查找。

Description

图片查找方法和装置

技术领域

本申请涉及图像识别领域，尤其涉及一种图片查找方法和装置。

背景技术

随着智能终端越来越普及，拍照已经成为当前人们日常生活的一部分，使得用户相册中经常存储成千上万张图片。但是如何从如此大量的图片中快速短时间搜寻图片则成为了一大难题。当前智能终端提供的时间排序，需要用户根据时间来查找图片。然而通常情况下用户对时间记忆并不准确，而是对人物、地点等记忆比较清楚，因此根据时间来查找图片有可能找不到或耗时较长，结果并不理想。

发明内容

本申请实施例提供一种图片查找方法和装置，用于实现快速查找具有相同主体的图片。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种图片查找方法，包括：

接收用户输入的查找信息，所述查找信息中包括待查找的主体的图片和属性；

对所述主体的图片进行特征识别得到所述待查找的主体的特征值；

将所述待查找的主体的特征值与数据库中各主体的特征值匹配，得到具有相同主体的第一图片集合，其中，所述数据库中主体的特征值与具有相同主体的图片集合相对应；

根据所述待查找的主体的属性从数据库中匹配得到第二图片集合；

取所述第一图片集合和所述第二图片集合的交集得到待查找的图片。

第二方面，提供了一种图片查找装置，包括：

接收单元，用于接收用户输入的查找信息，所述查找信息中包括待查找的主体的图片和属性；

识别单元，用于对所述主体的图片进行特征识别得到所述待查找的主体的特征值；

匹配单元，用于将所述待查找的主体的特征值与数据库中各主体的特征值匹配，得到具有相同主体的第一图片集合，其中，所述数据库中主体的特征值与具有相同主体的图片集合相对应；

所述匹配单元，还用于根据所述待查找的主体的属性从数据库中匹配得到第二图片集合；

所述匹配单元，还用于取所述第一图片集合和所述第二图片集合的交集得到待查找的图片。

第三方面，提供了图片查找装置，包括：存储器、通信接口和处理器，所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行第一方面所述的方法，所述通信接口用于与外部设备的数据传输。

第四方面，提供了一种存储一个或多个程序的计算机存储介质，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如第一方面所述的方法。

第五方面，提供了一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现第一方面所述的方法。

本申请提供的图片查找方法和装置，通过将具有相同主体特征值的图片作为一个图片集合，对用户输入的包含主体的图片进行主体的特征识别以得到特征值，根据相同特征值匹配原则从数据库中查找对应图片集合。并且还可以根据用户输入的主体的属性信息，来查找对应的图片集合，最终将这两个图片集合取交集，从而实现了快速查找具有相同主体的图片。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种图片查找方法的流程示意图一；

图2为本申请实施例提供的一种图片查找方法的流程示意图二；

图3为本申请实施例提供的一种图片查找装置的结构示意图一；

图4为本申请实施例提供的一种图片查找装置的结构示意图二；

图5为本申请实施例提供的一种图片查找装置的结构示意图三。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

本申请实施例提供了一种图片查找方法，参照图1中所示，包括：

S101、对图片进行主体识别得到主体。

具体的，可以在图片库中图片数量达到一定门限时，或者在距离上次分析后新增图片数量达到一定门限时，或者在一定时间间隔时，执行本方法。需要说明的是，此处不限于上述条件。

可以按照从后到前的顺序或者其他顺序，取出相册中的每一张图片进行分析。可以选择预设拍摄时间内的图片，例如半小时以内；也可以按组选择，例如将时间相近且地理位置相近的图片作为一组，可以认为是同一次拍摄的图片，有极大可能性存在相同的背景或相同的人物。

可以提取出每一张图片的主体元素，例如人脸、物品(例如茶杯、牛排、建筑物等等)等等。另外，可以同时提取每一张图片的背景元素，例如背景建筑、风景等等。

S102、对主体进行特征识别得到主体的特征值。

可以通过物体识别、人脸识别等特征识别方法，对主体元素进行识别，得到特征值。另外根据特征识别方法或识别库的不同，还可以识别出主体的名称、关键词等。另外，可以提取背景的特征值。

S103、将主体的特征值与数据库中所有主体的特征值进行匹配。

数据库中存储的主体可以存储包括人脸、物体、背景等的特征值和属性。为便于快速查找，可以按照上述分类进行存储，例如，如果识别出主体为人脸，则可以将识别出的人脸的特征值与数据库中所有人脸的特征值进行匹配；如果识别出主体为物体，则可以将识别出的物体的特征值与数据库中所有物体的特征值进行匹配。另外如果识别出背景，则可以将识别出的背景的特征值与数据库中所有背景的特征值进行匹配。

S104、如果匹配成功，则将该图片加入具有相同特征值的图片集合，如果匹配失败，则将主体的特征值加入数据库，并将该图片加入对应的图片集合。

数据库中主体的特征值与具有相同主体的图片集合相对应，背景的特征值与具有相同背景的图片集合相对应。

如果相同人物、物体或背景的特征值已经在数据库中存储过，则可以复用其在数据库中的编号，例如包含周杰伦的图片集合都可以对应到特征值“周杰伦”。如果匹配失败，则可以采用一个新的编号，例如未识别物品003。示例性的，如表1中所示为特征值的一种存储形式。

表1

另外，对于时间在阈值范围内的一组图片，有些图片可能存在可以直接进行特征识别人脸，有些可能是侧脸或者背面，无法正常进行特征识别。此时可以根据非面部特征进行相似度分析，例如衣着、发型、发色等等其他人物特征；如果仍无法判定为同一个人，则该图片的人物做丢弃处理，不添加此人物的标号信息。

在相册的分析过程中，实际会存在一些图片无法得到主体，或者主体未识别，如拍的模糊的图片，过暗的图片等等。但是多数图片都具备了特征值的编号。

另外，还可以将该人物、物体、背景的属性信息(例如名称、关键词等)，也加入上述记录表。

具体的，可以将如上记录表中的特征值与云端进行匹配，如果能够匹配得到各特征值对应的名称、关键词等属性信息，则将属性信息加入上述记录表，其中，物体的识别颗粒度取决于终端或云端对物体识别的能力。特别地，如果能够识别出名称，则将名称取代编号值用于唯一标记特征值，方便用户后续根据名称进行检索。例如假设人脸特征值002匹配名称为“周杰伦”，则将“周杰伦”作为该特征值的唯一标记。另外，如果茶杯001匹配关键词为骨瓷和白色，则将该关键词加入上述记录表中。如果建筑物002匹配名称为“卢浮宫”，则将“卢浮宫”加入上述记录表中。不管匹配出的是名称还是关键词，都能够方便日后用户进行检索；经过云端匹配，更新后的记录表如表2中所示：

表2

随着图像识别算法能力的增强和云端数据库的更新，上述记录表可以在设定时间间隔重新将所有项或未识别项在云端进行匹配，表格中也可能被替换更多确定的名称，添加更多关键词。对应图片的属性值也将同步更新，也就能更好的方便日后检索。

经过如上步骤，每张图片都被打上了便于人们描述和搜索的标记，且还会随着云端能力的增强而添加更多的名称和关键词。

本申请实施例提供了一种图片查找方法，参照图2中所示，包括：

S201、接收用户输入的查找信息。

查找信息中可以包括待查找的主体的图片和待查找的主体的属性。

用户可采用图像或文字的方式输入待查找的主体的图片和待查找的主体的属性信息。待查找的主体的图片可以包括用户拍摄的图片或从现有图片中圈定的主体图片。例如用户自拍一个脸部图像，然后再文字输入卢浮宫，表示希望查找自己在卢浮宫的照片。或者，在一张照片中圈一张人脸，再在另一张照片中圈一座桥，表示希望得到此人在此桥处的照片。

S202、对主体的图片进行特征识别得到待查找的主体的特征值。

S203、将待查找的主体的特征值与数据库中所有主体的特征值匹配，得到具有相同主体的第一图片集合。

由于数据库中主体的特征值与具有相同主体的图片集合相对应，所以如果特征值能够匹配，则可以找到对应的图片集合。查找包含周杰伦的头像的图片，则可以根据特征值“周杰伦”查找对应的图片集合。如果无匹配的特征值，则告知用户相册中无此主体的图片。如果步骤1中采用的是在现有图片中圈主体的形式，则可以直接获取所在图片集合。

S204、根据待查找的主体的属性从数据库中匹配得到第二图片集合。

例如根据卢浮宫查找表2中所示的记录表，可以得到包含“卢浮宫”的第二图片集合。

S205、取第一图片集合和第二图片集合的交集得到待查找的图片。

例如第一图片集合为包括周杰伦的图片，第二图片集合为包括卢浮宫的图片，取这两个图片集合中共同的图片即是满足上述条件的图片，可以将检索到的图片呈现给用户。如果交集为空，则告知用户无匹配项。

可选的，也可以将与检索到的照片拍摄时间在一定阈值范围(如半小时内)内的照片也以低优先级呈现给用户，因为大概率是在相同地点拍摄。

本申请实施例提供的图片查找方法，通过将具有相同主体特征值的图片作为一个图片集合，对用户输入的包含主体的图片进行主体的特征识别以得到特征值，根据相同特征值匹配原则从数据库中查找对应图片集合。并且还可以根据用户输入的主体的属性信息，来查找对应的图片集合，最终将这两个图片集合取交集，从而实现了快速查找具有相同主体的图片。

在采用对应各个功能划分各个功能模块的情况下，图3示出了一种图片查找装置的一种可能的结构示意图，用于执行上述方法，图片查找装置可以是终端设备。图片查找装置3包括：接收单元301、识别单元302、匹配单元303。接收单元301用于支持图片查找装置执行图2中的过程S201；识别单元302用于支持图片查找装置执行图1中的过程S101、S102，图2中的过程S202；匹配单元303用于支持图片查找装置执行图1中的过程S103、S104，图2中的过程S203、S204、S205。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在采用集成的单元的情况下，图4示出了上述实施例中所涉及的图片查找装置的一种可能的结构示意图。图片查找装置3包括：处理模块312和通信模块313。处理模块312用于对图片查找装置的动作进行控制管理，例如，处理模块312用于支持图片查找装置执行接收单元301、识别单元302、匹配单元303的功能。通信模块313用于支持图片查找装置与其他网络实体的通信。图片查找装置3还可以包括存储模块311，用于存储图片查找装置的程序代码和数据。

其中，处理模块312可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块313可以是收发器、收发电路或通信接口等。存储模块311可以是存储器。

当处理模块312为处理器，通信模块313为收发器，存储模块311为存储器时，本发明实施例所涉及的图片查找装置可以为图5所示的终端。

参阅图5所示，该图片查找装置3包括：处理器322、收发器323、存储器321以及总线324。其中，收发器323、处理器322以及存储器321通过总线324相互连接；总线324可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。本发明实施例还提供一种存储介质，该存储介质可以包括存储器321，用于储存为图片查找装置所用的计算机软件指令，其包含执行上述方法所设计的程序代码。具体的，软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read OnlyMemory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于图片查找装置中。当然，处理器和存储介质也可以作为分立组件存在于图片查找装置中。

本申请实施例还提供一种计算机程序，该计算机程序可直接加载到存储器321中，并含有软件代码，该计算机程序经由计算机载入并执行后能够实现图1和图2中的相关方法。

本申请实施例还提供一种存储一个或多个程序的计算机存储介质，一个或多个程序包括指令，该指令当被计算机执行时，使计算机执行图1和图2中的相关方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图片查找方法，其特征在于，包括：

接收用户输入的查找信息，所述查找信息中包括待查找的主体的图片和待查找的主体的属性；

对所述待查找的主体的图片进行特征识别得到所述待查找的主体的特征值；

将所述待查找的主体的特征值与数据库中各主体的特征值匹配，得到具有相同主体的第一图片集合，其中，所述数据库中主体的特征值与具有相同主体的图片集合相对应；

根据所述待查找的主体的属性从数据库中匹配得到第二图片集合；

取所述第一图片集合和所述第二图片集合的交集得到待查找的图片。

2.根据权利要求1所述的方法，其特征在于，所述待查找的主体的图片包括用户拍摄的图片或从现有图片中圈定的主体图片。

3.根据权利要求1所述的方法，其特征在于，在所述接收用户输入的查找信息之前，所述方法还包括：

对图片进行主体识别得到主体；

对所述主体进行特征识别得到主体的特征值；

将所述主体的特征值与所述数据库中所有主体的特征值进行匹配；

如果匹配成功，则将所述图片加入具有相同特征值的图片集合，如果匹配失败，则将所述主体的特征值加入所述数据库，并将所述图片加入对应的图片集合。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述数据库中主体的特征值与云端进行匹配，以得到特征值对应的属性。

5.一种图片查找装置，其特征在于，包括：

接收单元，用于接收用户输入的查找信息，所述查找信息中包括待查找的主体的图片和属性；

识别单元，用于对所述主体的图片进行特征识别得到所述待查找的主体的特征值；

匹配单元，用于将所述待查找的主体的特征值与数据库中各主体的特征值匹配，得到具有相同主体的第一图片集合，其中，所述数据库中主体的特征值与具有相同主体的图片集合相对应；

所述匹配单元，还用于根据所述待查找的主体的属性从数据库中匹配得到第二图片集合；

所述匹配单元，还用于取所述第一图片集合和所述第二图片集合的交集得到待查找的图片。

6.根据权利要求5所述的装置，其特征在于，所述待查找的主体的图片包括用户拍摄的图片或从现有图片中圈定的主体图片。

7.根据权利要求5所述的装置，其特征在于，在所述接收单元接收用户输入的查找信息之前，

所述识别单元，还用于对图片进行主体识别得到主体；

所述识别单元，还用于对所述主体进行特征识别得到主体的特征值；

所述匹配单元，还用于将所述主体的特征值与所述数据库中所有主体的特征值进行匹配；

所述匹配单元，还用于如果匹配成功，则将所述图片加入具有相同特征值的图片集合，如果匹配失败，则将所述主体的特征值加入所述数据库，并将所述图片加入对应的图片集合。

8.根据权利要求5所述的装置，其特征在于，所述匹配单元还用于：

将所述数据库中主体的特征值与云端进行匹配，以得到特征值对应的属性。

9.一种图片查找装置，其特征在于，包括：存储器、通信接口和处理器，所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行权利要求1-4任一项所述的方法，所述通信接口用于与外部设备的数据传输。

10.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被计算机执行时使所述计算机执行如权利要求1-4任一项所述的方法。

11.一种计算机程序产品，其特征在于，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够执行如权利要求1-4任一项所述的方法。