CN104182458B - 图片的关联存储方法和查询方法以及装置 - Google Patents

Abstract

本发明的实施例提供了一种图片的关联存储方法和查询方法以及装置，其中，图片的关联存储方法包括：获取包含多个人物的图片的标识信息以及图片中的多个人脸特征信息；根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息；将所述标识信息分别存储到对应的多个人物节点和连接该多个人物节点的边中。通过本发明实施例的图片的关联存储方法查询方法以及相应的装置，能够方便地获取到与人物关系相关的图片，从而有助于实现对大量图片中的人物关系进行挖掘。

Description

图片的关联存储方法和查询方法以及装置

技术领域

本发明涉及一种存储方法和查询方法以及相应的装置，尤其涉及一种针对图片的关联存储方法、查询方法以及相应的装置。

背景技术

互联网的搜索引擎发展至今，其搜索内容从原始的简单文本搜索逐渐扩展到了针对图片的搜索。在众多图片中，存在大量的包含人物的图片，例如，单人照或者多人合影等。对于包含多个人物的图片，其实际上包含了一种人物关系，当众多图片结合在一起时，其背后蕴含着众多条人物关系，而这些人物关系是有价值的，因此，希望能过通过计算机技术基于海量的图片信息来挖掘出这些人物之间的关联关系。

发明内容

本发明实施例的目的在于，提供一种图片的关联存储方法查询方法以及相应的装置，能够方便地获取到与人物关系相关的图片，从而有助于实现对大量图片中的人物关系进行挖掘。

为了实现上述发明目的，本发明的实施例提供了一种图片的关联存储方法，包括：获取包含多个人物的图片的标识信息以及图片中的多个人脸特征信息；根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息；将所述标识信息分别存储到对应的多个人物节点和连接该多个人物节点的边中。

本发明的实施例还提供了一种图片的关联存储方法，包括：获取包含单个人物的图片的标识信息以及图片中的单个人脸特征信息；根据图片中的单个人脸特征信息获取与其对应的人物节点的地址信息；将所述标识信息存储到对应的人物节点。

本发明的实施例还提供了一种图片的查询方法，包括：获取第一人脸特征信息和第二人脸特征信息；根据所述第一人脸特征信息和第二人脸特征信息，获取与该第一人脸特征信息和第二人脸特征信息对应的第一人物节点和第二人物节点的地址信息；获取所述第一人物节点和所述第二人物节点之间的最短路径上的所有边中存储的图片的标识信息；根据所述图片的标识信息，获取图片。

本发明的实施例还提供了一种图片的关联存储装置，包括：第一特征信息获取模块，用于获取包含多个人物的图片的标识信息以及图片中的多个人脸特征信息；第一节点信息获取模块，用于根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息；第一关联存储模块，用于将所述标识信息分别存储到对应的多个人物节点和连接该多个人物节点的边中。

本发明的实施例又提供了一种图片的关联存储装置，包括：第二特征信息获取模块，用于获取包含单个人物的图片的标识信息以及图片中的单个人脸特征信息；第二节点信息获取模块，用于根据图片中的单个人脸特征信息获取与其对应的人物节点的地址信息；第二关联存储模块，用于将所述标识信息存储到对应的人物节点。

本发明的实施例又提供了一种图片的查询装置，包括：第三特征信息获取模块，用于获取第一人脸特征信息和第二人脸特征信息；第三节点信息获取模块，用于根据所述第一人脸特征信息和第二人脸特征信息，获取与该第一人脸特征信息和第二人脸特征信息对应的第一人物节点和第二人物节点的地址信息；标识信息获取模块，用于获取所述第一人物节点和所述第二人物节点之间的最短路径上的所有边中存储的图片的标识信息；图片获取模块，用于根据所述图片的标识信息，获取图片。

通过本发明实施例的图片的关联存储方法查询方法以及相应的装置，能够方便地获取到与人物关系相关的图片，从而有助于实现对大量图片中的人物关系进行挖掘。

附图说明

图1为本发明实施例的图片的标识信息的存储结构示意图之一；

图2为本发明实施例的图片的标识信息的存储结构示意图之二；

图3为本发明实施例一的图片的关联存储方法的流程图之一；

图4为本发明实施例一的图片的关联存储方法的流程图之二；

图5为本发明实施例二的图片的查询方法的流程图；

图6为本发明实施例二的图片的查询方法的应用场景示意图之一；

图7为本发明实施例二的图片的查询方法的应用场景示意图之二；

图8为本发明实施例三的图片的关联存储装置的结构示意图之一；

图9为本发明实施例三的图片的关联存储装置的结构示意图之二；

图10为本发明实施例四的图片的查询装置的结构示意图。

具体实施方式

本发明实施例的基本原理在于构件如图1所示的存储结构，基于该存储结构进行存储或查询等。在本发明的实施例中，图片数据库中的每张图片都赋予了唯一的标识信息(在实际的应用中，将其定义为costsign)，通过该标识信息能够唯一确定图片数据库中的这张图片。而图1所示的存储结构中，仅存储相关图片的标识信息即可。图1所示的存储结构主要包括人物节点和边两个部分。其中，人物节点每个人对应的，确切地说是与人脸特征信息对应的，理论上，同一个人只有一个人物节点，人物节点用来存储图片数据中包含该人物的所有图片的标识信息。而边则体现出相邻两个人物节点之间的关系，边中存储着图片数据库中包含相邻两个节点的人物的所有图片的标识信息。举例来说，图1中的人物节点A、B、C分别与人物甲、乙、丙对应，人物节点A中存储着包含甲的全部图片(例如，甲与乙的合影、甲与丙的合影、甲乙丙三人的合影、甲的单人照片等)的标识信息，人物节点B中存储着包含乙的全部图片(例如，乙与甲的合影、乙与丙的合影、甲乙丙三人的合影、乙的单人照片等)的标识信息，人物节点C中存储着包含丙的全部图片(例如，丙与乙的合影、丙与甲的合影、甲乙丙三人的合影、丙的单人照片等)的标识信息，而边AB只存储包含甲和乙的图片(例如，甲与乙的合影、甲乙丙三人的合影)的标识信息，边BC只存储包含乙和丙的图片(例如，乙与丙的合影、甲乙丙三人的合影)的标识信息，边AC只存储包含甲和丙的图片(例如，甲与丙的合影、甲乙丙三人的合影)的标识信息。存储结构中的每个节点和边体现出了该人物的发散关系，每个节点可以赋予唯一的编号或地址，便于进行数据检索等。在各个节点中除了存储关联图片的标识信息外，还可以存储有该人物节点对应的人脸特征信息，由于人脸特征的复杂性，人物节点可以存储与该人物相关联的多组人脸特征信息，从而更好地确定一个人物。

基于上述存储结构，将数据库中的海量图片按照人物以及图片中体现出的人物关联关系进行分类关联存储，为后续基于图片的人物关联关系的挖掘提供了数据基础。

实施例一

如图3所示，其为本发明实施例一的图片的关联存储方法的流程图，该流程主要来描述将一张新的包含多个人物的图片关联存储到图1所示的存储结构中的过程，其包括如下步骤：

步骤11：获取包含多个人物的图片的标识信息以及图片中的多个人脸特征信息。在实际应用中，对于搜索引擎而言，其会存有自己的图片数据库，对于存储在图片数据库中的图片，都会赋予唯一的标识信息，对于没有存储在图片数据库中的图片，则赋予一个标识信息后，存储到图片数据库中即可。对于人脸特征信息的提取可以通过现有的人脸识别技术来完成。

步骤12：根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息。如前面所述，在每个人物节点中可以存储有与该人物节点对应的人脸特征信息，因此，在该步骤中，根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息可以具体为：将图片中的多个人脸特征信息分别与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的人物节点的地址信息。

步骤13：将标识信息分别存储到对应的多个人物节点和连接该多个人物节点的边中。在步骤12中获取到人物节点的地址信息后，就可以将通过图片的唯一的标识信息将其关联存储到人物节点和相应的边中了。

通过本实施例的关联存储方法，能够将包含多个人物的图片关联存储到对应的点和边中，通过这种关联存储方法，能够对海量的图片数据进行整理，建立起如前面所提及的存储结构，从而为后续的图片查询以及基于图片的人物关系挖掘提供数据基础。

进一步地，在对一幅包含多个人物的图片进行关联存储处理时，可能会存在如下情况：在多个人脸特征信息中，存在没有对应人物节点的新的人脸特征信息。在这种情况下，可以为该新的人脸特征信息建立新的人物节点，并建立该新的人物节点与多个人脸特征信息中的其他人脸特征信息对应的人物节点之间的新的边，将标识信息存储到新的人物节点和新的边中。例如，图2所示的存储结构就是在图1的基础上，增加了人物节点E(对应于人物戊)以及相应的边DE和CE。

通过增加人物节点和边的方式，使图1和图2所示的存储结构能够逐步扩大，从而建立完善的体现人物关系的图片数据库。

以上主要是针对包含多个人物的图片(主要是针对多人合影)进行关联存储的情形，而对于包含单个人物的图片(例如单人照片)，也可以存储到图1和图2所示的存储结构中。如图4所示，具体的包括：

步骤14：获取包含单个人物的图片的标识信息以及图片中的单个人脸特征信息。

步骤15：根据图片中的单个人脸特征信息获取与其对应的人物节点的地址信息。和前面一样，具体的获取方式可以为：将图片中的单个人脸特征信息与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的人物节点的地址信息。

步骤16：将标识信息存储到对应的人物节点。此处与上面的步骤13的不同之处在于，包含单个人物的图片不需要存储到边中。

对于本发明的实施例而言，在节点中存储包含单个人物的图片并非必须的，因为人物关系主要体现于包含的多个人物的图片中，存储结构中只存储包含的多个人物的图片的标识信息即可。不过，在人物节点中存储包含单个人物的图片，能够使图片关联存储的数据量更加完善，并且也有助于提取人物节点对应的多组人脸特征信息。

进一步地，也可能存在图片中的单个人脸特征没有对应的人物节点的情形，即图片中的单个人脸特征信息为没有对应人物节点的新的人脸特征信息，在这种情况下，可以为该新的人脸特征信息建立新的人物节点，并将该图片的标识信息存储到新的人物节点中。此时，该节点为单独的节点，不存在对应的边，不过，等以后有包含该人物的多人的图片关联存储到该存储结构时，就会生成对应的边。

实施例二

本实施例涉及图片的查询方法，如图5所示，其包括：

步骤21：获取第一人脸特征信息和第二人脸特征信息。在实际应用中，第一人脸特征信息和第二人脸特征信息可以是从两张单人照片中提取获得。例如，第一人脸特征信息对应于人物丙(对应于图1中的人物节点C)，第二人脸特征信息对应于人物丁(对应于图1中的人物节点D)。

步骤22：根据第一人脸特征信息和第二人脸特征信息，获取与该第一人脸特征信息和第二人脸特征信息对应的第一人物节点和第二人物节点的地址信息。和前面一样，具体的获取方式可以为：将第一人脸特征信息和第二人脸特征信息分别与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的多个人物节点的地址信息。

步骤23：获取第一人物节点和第二人物节点之间的最短路径上的所有边中存储的图片的标识信息。人物节点之间会存在多条路径，例如，图1中的人物节点C和人物节点D之间存在两条路径，而最短路径为包含边CD的路径。

步骤24：根据图片的标识信息，获取图片。在步骤中，可以对获取的图片进行筛选，例如，可以只获取最短路径上的每个边中存储的最新的标识信息对应的图片，对于最新存入的图片能够体现出人物关系的最新状况，也最能准确地反映出最新的人物之间的关系，这样在后续的分析人物关系以及向用户呈现图片时，能够减少分析及显示的图片数量。

通过上述的查询方法，能够方便地获取到体现两个人物(或者说是两张人物照片)的关联关系的多张图片，基于这些图片可以进行更加深入的人物关系的数据挖掘等工作。

基于上述的查询操作所获得数据可以用来计算人物之间的亲密度，例如，可以根据最短路径包含的边的数量和/或获取到的图片的数量计算亲密度。如图2所示，人物节点B和人物节点C之间存在一条边BC，人物甲和人物乙应该是直接认识，亲密度较高，而人物节点B和人物节点D之间的最短路径上存在两条边(边AB和边AD)，因此，人物乙和人物丁之间并非直接认识，亲密度相对较低。此外，获取到的图片数量也能够影响亲密度，例如，两人之间仅有少量的几张合影，则很可能是在一些商务场合的合影，接触机会较少，相反，如果两人之间有很多张合影，则说明两人接触频繁，亲密度较高。

此外，在获取到图片后，可以将获取到的图片以某种方式呈现给用户，即进行显示。例如按照路径中各个边的顺序，显示获取的图片，从而体现出两个人物之间的关联关系的顺序。此外，也可以按照照片的存储时间或者拍摄时间等去显示。

下面结合两个具体应用场景，来进一步说明一下本发明实施例的具体应用。如图6所示，图中标识61的部分为应用场景示意，人物甲(男)看到一幅人物乙(女)的图片，很想知道自己怎样才能联系到乙，则通过使用本发明实施例的查询方法，获得如图6所示的结果，即可以通过中间人丙建立联系。再如图7所示，图中标识71的部分为该应用场景的示意，通过人物丁(女)和人物戊(男)的人脸特征进行查询，获得了能够建立关联关系的两个合影，发现人物丁(女)和人物戊(男)通过人物己(女)具有关联关系。

实施例三

本实施例主要涉及图片的关联存储装置，如图8所示，其包括：

第一特征信息获取模块31，用于获取包含多个人物的图片的标识信息以及图片中的多个人脸特征信息。

第一节点信息获取模块32，用于根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息。其中，具体的获取方式可以为：将图片中的多个人脸特征信息分别与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的人物节点的地址信息。

第一关联存储模块33，用于将标识信息分别存储到对应的多个人物节点和连接该多个人物节点的边中。

通过该存储装置，能够将包含多个人物的图片关联存储到对应的点和边中，通过这种关联存储方法，能够对海量的图片数据进行整理，建立起如前面所提及的存储结构，从而为后续的图片查询以及基于图片的人物关系挖掘提供数据基础。

此外，该关联存储装置还可以包括：第一节点创建模块，用于在多个人脸特征信息中，存在没有对应人物节点的新的人脸特征信息的情况下，为该新的人脸特征信息建立新的人物节点，并建立该新的人物节点与多个人脸特征信息中的其他人脸特征信息对应的人物节点之间的新的边，将标识信息存储到新的人物节点和新的边中。通过增加人物节点和边的方式，使图1和图2所示的存储结构能够逐步扩大，从而建立完善的体现人物关系的图片数据库。

以上主要是针对包含多个人物的图片进行关联存储的情形，而对于包含单个人物的图片，其关联存储装置的结构可以如图9所示，具体包括：

第二特征信息获取模块34，用于获取包含单个人物的图片的标识信息以及图片中的单个人脸特征信息。

第二节点信息获取模块35，用于根据图片中的单个人脸特征信息获取与其对应的人物节点的地址信息。其中，获取方式可以具体为：将图片中的单个人脸特征信息与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的人物节点的地址信息。

第二关联存储模块36，用于将标识信息存储到对应的人物节点。需要说明的是，图9所示的装置也可以与图8所示的装置合并于同一个关联存储装置中。

进一步地，在针对包含单个人物的图片的情形下，该关联存储装置还可以包括：第二节点创建模块，用于在图片中的单个人脸特征信息为没有对应人物节点的新的人脸特征信息的情况下，为该新的人脸特征信息建立新的人物节点，并将该图片的标识信息存储到新的人物节点中。

实施例四

本实施例主要涉及图片的查询装置，如图10所示，其包括：

第三特征信息获取模块41，用于获取第一人脸特征信息和第二人脸特征信息.

第三节点信息获取模块42，用于根据第一人脸特征信息和第二人脸特征信息，获取与该第一人脸特征信息和第二人脸特征信息对应的第一人物节点和第二人物节点的地址信息。其中，具体的获取方式可以为：将第一人脸特征信息和第二人脸特征信息分别与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的多个人物节点的地址信息。

标识信息获取模块43，用于获取第一人物节点和第二人物节点之间的最短路径上的所有边中存储的图片的标识信息。

图片获取模块44，用于根据图片的标识信息，获取图片。具体的获取方式可以为获取最短路径上的每个边中存储的最新的标识信息对应的图片。

通过该查询装置，能够方便地获取到体现两个人物(或者说是两张人物照片)的关联关系的多张图片，基于这些图片可以进行更加深入的人物关系的数据挖掘等工作。

进一步地，该查询装置还可以包括：亲密度计算模块，用于根据最短路径包含的边的数量和/或获取到的图片的数量计算亲密度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图片的关联存储方法，其特征在于，包括：

获取包含多个人物的图片的标识信息以及图片中的多个人脸特征信息；

根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息；

将所述标识信息分别存储到对应的多个人物节点和连接该多个人物节点的边中；

其中，如果在多个人脸特征信息中，存在没有对应人物节点的新的人脸特征信息，则为该新的人脸特征信息建立新的人物节点，并建立该新的人物节点与所述多个人脸特征信息中的其他人脸特征信息对应的人物节点之间的新的边，将所述标识信息存储到所述新的人物节点和新的边中。

2.根据权利要求1所述的关联存储方法，其特征在于，根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息包括：

将图片中的多个人脸特征信息分别与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的人物节点的地址信息。

3.一种图片的查询方法，其特征在于，包括：

获取第一人脸特征信息和第二人脸特征信息；

根据所述第一人脸特征信息和第二人脸特征信息，获取与该第一人脸特征信息和第二人脸特征信息对应的第一人物节点和第二人物节点的地址信息；

获取所述第一人物节点和所述第二人物节点之间的最短路径上的所有边中存储的图片的标识信息；

根据所述图片的标识信息，获取图片。

4.根据权利要求3所述的查询方法，其特征在于，所述根据第一人脸特征信息和第二人脸特征信息，获取与该第一人脸特征信息和第二人脸特征信息对应的第一人物节点和第二人物节点的地址信息包括：

将所述第一人脸特征信息和第二人脸特征信息分别与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的多个人物节点的地址信息。

5.根据权利要求3所述的查询方法，其特征在于，还包括：根据所述最短路径包含的边的数量和/或获取到的图片的数量计算亲密度。

6.根据权利要求3所述的查询方法，其特征在于，所述根据图片的标识信息获取图片包括：获取所述最短路径上的每个边中存储的最新的标识信息对应的图片。

7.根据权利要求3所述的查询方法，其特征在于，还包括：显示获取的图片。

8.一种图片的关联存储装置，其特征在于，包括：

第一特征信息获取模块，用于获取包含多个人物的图片的标识信息以及图片中的多个人脸特征信息；

第一节点信息获取模块，用于根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息；

第一关联存储模块，用于将所述标识信息分别存储到对应的多个人物节点和连接该多个人物节点的边中；

第一节点创建模块，用于在多个人脸特征信息中，存在没有对应人物节点的新的人脸特征信息的情况下，为该新的人脸特征信息建立新的人物节点，并建立该新的人物节点与所述多个人脸特征信息中的其他人脸特征信息对应的人物节点之间的新的边，将所述标识信息存储到所述新的人物节点和新的边中。

9.根据权利要求8所述的关联存储装置，其特征在于，根据图片中的多个人脸特征信息获取与其对应的多个人物节点的地址信息包括：

将图片中的多个人脸特征信息分别与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的人物节点的地址信息。

10.一种图片的查询装置，其特征在于，包括：

第三特征信息获取模块，用于获取第一人脸特征信息和第二人脸特征信息；

第三节点信息获取模块，用于根据所述第一人脸特征信息和第二人脸特征信息，获取与该第一人脸特征信息和第二人脸特征信息对应的第一人物节点和第二人物节点的地址信息；

标识信息获取模块，用于获取所述第一人物节点和所述第二人物节点之间的最短路径上的所有边中存储的图片的标识信息；

图片获取模块，用于根据所述图片的标识信息，获取图片。

11.根据权利要求10所述的查询装置，其特征在于，所述根据第一人脸特征信息和第二人脸特征信息，获取与该第一人脸特征信息和第二人脸特征信息对应的第一人物节点和第二人物节点的地址信息包括：

将所述第一人脸特征信息和第二人脸特征信息分别与人物节点中存储的人脸特征信息进行匹配，根据匹配结果获取与其对应的多个人物节点的地址信息。

12.根据权利要求10所述的查询装置，其特征在于，还包括：

亲密度计算模块，用于根据所述最短路径包含的边的数量和/或获取到的图片的数量计算亲密度。

13.根据权利要求10所述的查询装置，其特征在于，所述根据图片的标识信息获取图片包括：获取所述最短路径上的每个边中存储的最新的标识信息对应的图片。