CN110457998A - 影像数据关联方法和设备、数据处理设备及介质 - Google Patents

Abstract

本发明公开了一种影像数据关联方法和设备、数据处理设备及介质。该影像数据关联方法包括：从第i影像系统中取出包含影像质量至少满足第一预定条件的第一对象、和影像质量不满足第二预定条件的第二对象的第一影像；基于第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第二影像；将检索得到的第二影像与第二对象关联，完成第一影像与第二影像的关联关系，由此完成影像质量至少满足第一预定条件的第一对象、影像质量不满足第二预定条件的第二对象、影像质量至少满足第二预定条件的第二对象之间的关联关系。通过将质量不高的影像数据在高质量的影像系统中搜索得到高质量的影像数据，解决了多维数据有效关联的问题。

Description

影像数据关联方法和设备、数据处理设备及介质

技术领域

本发明涉及影像数据处理技术，尤其涉及影像数据关联方法和设备、数据处理设备及介质。

背景技术

随着我国智慧城市、平安城市、雪亮工程战略的深入发展，逐步构建起覆盖公共区域、要害部位的人脸识别系统、视频结构化系统，能够对经过的路人、机动车辆、非机动车辆进行抓拍识别。人脸识别系统支持结合各种人像库，实现布控预警，并对海量的历史抓拍数据进行多属性搜索、以图搜图等操作。视频结构化系统同样能够实现人体、机动车辆、非机动车辆的多属性搜索及以图搜图等功能。

对于已有的人脸识别系统、视频结构化系统，每个系统每日产生约百万张甚至千万张图片数据及文本数据，所有数据仅能够在各自的系统中封闭应用，成为信息孤岛及烟囱式应用，无法实现多维数据关联及融合应用，导致大量数据仅做单一维度分析后即被丢弃，缺乏有效的数据关联方法及应用系统。

对于目前比较先进的数据关联方法，要求一张图片中存在清晰的两个或多个识别对象(如人脸、人体、机动车辆、非机动车辆)，再通过图片中清晰的多个识别对象进行两两关联(如一张图片中具备同一个人的清晰人脸、清晰人体，另一张图片中具备清晰人体、清晰非机动车辆，则这两张图片可以通过清晰人体关联，从而将清晰人脸、清晰人体、清晰非机动车辆这三者关联)，从而实现多维数据的关联及应用。但是，该方法要求每个图片中至少具备两个识别对象，并且这至少两个识别对象需要足够清晰，即需要具备足够多的特征点来实现两两关联。

然而，现实中的绝大多数场景中，比如人脸识别系统中，人脸捕获相机架设的位置和角度都是为了采集人脸信息，因此采集的人脸信息是清晰的，而人体数据却是模糊或者不完整的，使得难以实现两张图片的数据关联。类似地，视频结构化系统中架设的摄像机是为了采集大范围的视频信息，因此采集的人体信息是清晰的，而人脸数据是模糊或者不完整的；另外，也有可能车辆信息是清晰的，而人脸数据是模糊的；导致两张图片难以实现数据关联。因此现有技术的方法无法解决绝大多数场景中的数据关联问题。

因此，亟需一种能够有效解决人脸识别系统和视频结构化系统等的各种影像系统中的多维数据关联问题的解决方案。

发明内容

为了解决以上问题之一，本发明提供了一种影像数据关联方法和设备、数据处理设备及介质，以能够有效解决人脸识别系统和视频结构化系统等的各种影像系统中的多维数据关联问题。

根据本发明的一个实施例，提供一种影像数据关联方法，用于关联多个不同的影像系统中的影像数据，其中，第i影像系统中存储有影像质量至少满足第一预定条件的第一对象，第j影像系统中存储有影像质量至少满足第二预定条件的第二对象，其中i、j均大于等于1但是i不等于j，该方法包括：从第i影像系统中取出其中包含影像质量至少满足第一预定条件的第一对象、和影像质量不满足第二预定条件的第二对象的第一影像；基于所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第二影像；在所述第一影像中的影像质量至少满足第一预定条件的第一对象和所述影像质量不满足第二预定条件的第二对象、所述第二影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

根据本发明的另一个实施例，提供一种影像数据关联设备，用于关联多个不同的影像系统中的影像数据，其中，第i影像系统中存储有影像质量至少满足第一预定条件的第一对象，第j影像系统中存储有影像质量至少满足第二预定条件的第二对象，其中i、j均大于等于1但是i不等于j，该设备包括：获取模块，用于从第i影像系统中取出其中包含影像质量至少满足第一预定条件的第一对象、和影像质量不满足第二预定条件的第二对象的第一影像；检索模块，用于基于所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第二影像；关联模块，用于将在第j影像系统中检索得到的第二影像与所述影像质量不满足第二预定条件的第二对象进行关联，从而完成第一影像与第二影像的关联关系，由此完成影像质量至少满足第一预定条件的第一对象、影像质量不满足第二预定条件的第二对象、影像质量至少满足第二预定条件的第二对象之间的关联关系。

根据本发明的再一个实施例，提供一种数据处理设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上面描述的方法之一。

根据本发明的又一个实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上面描述的方法之一。

本发明通过将包含质量不高的对象的影像数据在包含高质量对象的影像数据的影像系统中搜索得到高质量对象的影像数据，实现包含质量不高的对象的影像数据中对象和高质量对象的关联，进而通过高质量的对象进行多个对象的关联，解决了多维数据有效关联的问题。大大丰富了各影像系统能够应用的数据源，真正将传统的影像系统进行融合贯通，去除数据孤岛，提升数据应用价值。最终服务于多维检索及数据融合应用，帮助用户快速精准检索。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。

图1给出了根据本发明的一个示例性实施例的影像数据关联方法的示意性流程图。

图2给出了一个具体的影像数据关联方法的流程实例。

图3给出了一个进一步进行影像数据关联的流程实例。

图4给出了根据本发明的一个示例性实施例的影像数据关联设备的示意性框图。

图5给出了根据本发明的一个示例性实施例的数据处理设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。

为解决人脸识别系统和视频结构化系统等类似的影像系统中无法实现绝大多数场景中的例如人脸、人体、机动车辆、非机动车辆等的多维数据关联的问题，本发明通过利用例如人脸识别系统能够分析模糊人脸、视频结构化系统能够分析模糊人体、机动车辆、非机动车辆的能力，将模糊的人脸、人体、机动车辆、非机动车辆先在各自系统中关联到同一个对象的清晰数据(图片)，实现模糊信息清晰化，再利用清晰化的人脸、人体、机动车辆、非机动车辆数据来进行数据关联，最终服务于多维数据检索及数据融合应用，实现快速精准检索，提高识别效率。

概而言之，对于多个不同的影像系统，可称为第一影像系统、第二影像系统......第N影像系统(N>＝2)，其中，第i影像系统中存储有影像质量高的第一对象，第j影像系统中存储有影像质量高的第二对象，其中i、j均大于等于1但是两者不相等。

影像系统可以为影像存储系统，也可以为能够存储影像、并对影像进行分析/检索/比对的系统。不同影像系统中存储的影像具有不同的特点。例如，常用的影像系统包括人脸识别系统、视频结构化系统、交通卡口系统等，对于人脸识别系统，其存储的影像大多来自于人脸抓拍机，人脸抓拍机主要用于抓拍人脸，抓拍到的人脸像素高、清晰度高，少量影像在抓拍人脸的同时拍到了部分人体或机动车辆、非机动车辆。对于视频结构化系统，其存储的影像大多来自于结构化相机，结构化相机相对于人脸抓拍机架设得更高，具有更大的视野，主要用于抓拍人体及机动车辆、非机动车辆，抓拍到的人脸像素往往较低，而且由于聚焦于人体及机动车辆、非机动车辆，抓拍到的人脸清晰度难以保证。对于交通卡口系统，其卡口相机通常架设于交通卡口，抓拍到的是人脸加机动车辆，或人脸加非机动车辆。因此，人脸识别系统存储有包含像素高、清晰度高的人脸的影像；视频结构化系统存储有包含像素高、清晰度高的人体、机动车辆或非机动车辆和像素低、清晰度低的人脸的影像；交通卡口系统存储有包含人脸和像素高、清晰度高的机动车辆、非机动车辆的影像。

这里，影像质量高的含义可以是影像质量至少满足预定条件。比如，影像质量高可以指影像特征信息至少满足预定条件，比如，影像特征点至少有96个或者128个等等。另外，影像的清晰度高也是影像质量高的一种表现。再另外，影像的对比度高也是影像质量高的一种表现。由于表征影像质量的参数不一，而且，这些参数可以互相组合来表征影像质量，因此，本发明中无需对于表征影像质量的参数加以限制。在实践中，可以根据实际需求来确定对于高质量的影像，其影像质量要满足的预定条件。

以下将参照图1来具体介绍根据本发明的一个示例性实施例的多维数据关联方法。

具体地，根据本发明的一个示例性实施例的数据关联方法可以包括如下步骤。

首先，在步骤S110，从第i影像系统中取出其中包含第一对象和第二对象的第一影像，其中，第一对象的影像质量至少满足预定条件，第二对象的影像质量不满足预定条件。

然后，在步骤S120，基于所述影像质量不满足预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足预定条件的第二对象的第二影像。

接着，在步骤S130，在所述第一影像中的影像质量至少满足第一预定条件的第一对象和所述影像质量不满足第二预定条件的第二对象、所述第二影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

本实施例中，通过将包含质量不高的对象的影像数据在包含高质量对象的影像数据的影像系统中搜索得到高质量对象的影像数据，实现包含质量不高的对象的影像数据中对象和高质量对象的关联，为后续通过高质量的对象进行多个对象的关联做好了准备，从而解决了多维数据有效关联的问题。

下面，将举出一个具体的例子来详细说明根据本发明的实施例的数据关联方法。

例如，对于已有的人脸识别系统和视频结构化系统，可以调用这两个系统的数据检索接口及相应数据库查询接口，获取这两个系统中的图片数据。

另外，还可以从上述接口获取图片特征值数据(例如可以用来对比各影像中对象之间的相似度)、以及结构化属性数据(例如性别、年龄、职业等相关数据，可以用于对象数据的统计和分析、大数据应用等)等。

以下将结合图2，更具体地针对图1中的各步骤来举例说明。

例如，在步骤S110，如图2右侧上部所示，在视频结构化系统中获取到对象捕获装置(例如监控相机或摄像头等)采集的包含同一个对象的清晰人体及模糊人脸图片。此时该模糊人脸图片所含特征信息较少，无法和视频结构化系统采集的另一张模糊人脸图片做比对关联。

因此，在步骤S120，可以将视频结构化系统采集的模糊人脸图片中的模糊人脸在人脸识别系统中进行图片分析检索。

其中，如图2左侧上部所示，在人脸识别系统中可以获取到前端人脸捕获装置(例如摄像头或相机)采集的图片，并经人脸识别系统进行人脸识别处理，使得人脸识别系统中具备包含清晰人脸的图片。

假设清晰人脸具备128个特征点，模糊人脸具备48或64个特征点。那么可以通过模糊人脸具有的特征点与人脸识别系统中清晰人脸的特征点作比对(例如通过特征相似度等)，检索得到人脸识别系统中的包含与模糊人脸对应的清晰人脸的图片。需要说明的是，用模糊人脸A检索得到其对应的清晰人脸A，用模糊人脸B检索得到其对应的清晰人脸B，再用清晰人脸A、清晰人脸B之一检索到对方，比用模糊人脸A直接检索得到模糊人脸B的准确率大幅提高。

在步骤S130，将人脸识别系统中检索得到的包含清晰人脸的图片与模糊人脸图片的特征点拟合程度(例如特征相似度)大于预设阈值(为了确保是同一个人脸)且图片质量至少满足预设条件(比如为了确保清晰)的清晰人脸图片与视频结构化系统中的模糊人脸图片做关联。

同样，也可以支持手动进行图片检索，人工确认模糊人脸图片与清晰人脸图片的关联。

由此，得到视频结构化系统中的模糊人脸图片与人脸识别系统中的清晰人脸图片的关联关系。

通过步骤S110～S130，完成同一个人的清晰人体+模糊人脸(因为二者同处于同一影像中，具有天然的关联，这里，二者同处于第一影像)、清晰人脸的关联(如图2下部所示)，并记录在数据库中。

上面以人脸、人体、机动车辆、非机动车辆等数据为例说明了如何进行多维数据关联。请注意，本发明同样可以对其他类型的数据进行多维数据关联，要关联的数据的样式和类型并不影响本发明的实质。

本发明通过将质量不高的影像数据在高质量的影像系统中搜索得到高质量的影像数据，解决了多维数据有效关联的问题。

在本发明中，充分利用已有的人脸识别系统、视频结构化系统等影像系统中产生的海量数据，实现多个影像系统的多维数据关联，大大丰富了各自系统能够应用的数据源，实现1+1>2的应用效果。并能够支持多个系统产生的数据的多维融合及混合检索、大数据综合分析应用。真正将传统的人脸识别系统、视频结构化系统等各种影响系统进行融合贯通，去除数据孤岛，提升数据应用价值，提高数据综合应用能力。

类似地，可完成清晰机动车辆信息+模糊人脸、清晰人脸的关联。

还可以完成清晰非机动车辆信息+模糊人脸、清晰人脸的关联。

在上面的例子中，人脸和人体是同一个人的不同部位进行关联，请注意，在本发明中，其实也可以将人脸和人体分别当成是两个完全独立的对象来进行关联。也就是说，两个要关联的对象之间是不是互相独立还是都属于同一个对象，并不影响本发明的实质。本发明与现有技术的数据关联方法的区别在于，现有技术需要一张图片中具有至少两个清晰的或者说图片质量高的对象，而本发明中仅需要一张图片中具有一个清晰的或者说图片质量高的对象，便可实现多维数据的关联。

可选地，在步骤S130建立对象之间的关联之后，还可以基于影像质量至少满足第二预定条件的第二对象来得到第三影像，该第三影像中包含影像质量至少满足第二预定条件的第二对象。

然后，可以将影像质量至少满足第一预定条件的第一对象、影像质量不满足第二预定条件的第二对象、影像质量满足第二预定条件的第二对象、与第三影像中包含的除第二对象之外的其他对象之间进行关联。

例如，第一对象是人体，第二对象是人脸，通过之前描述的方法，将清晰的人体、清晰的人脸进行关联之后，这里是通过第三影像中的清晰的人脸，来关联第三影像中的除清晰的人脸之外的其他对象(例如机动车辆、非机动车辆、人体等等)。请注意，本发明不限于本例中例举的方式。

需要说明的是，某些情况下，存在同时包含影像质量满足第二预定条件的第二对象和影像质量满足预定条件的除第二对象之外的其他对象的第三影像。例如，人脸识别系统中可能存在同时拍摄到了清晰人脸和清晰人体的图像，交通卡口系统中可能存在同时拍摄到了清晰人脸和清晰机动车、非机动车的图像。如此，在建立了影像质量满足第一预定条件的第一对象和影像质量满足第二预定条件的第二对象之间的关联后，基于第二对象和除第二对象之外的其他对象的天然关联(因其同处于第三影像中)，可通过影像质量满足第二预定条件的第二对象建立第一对象、第二对象、除第二对象之外的其他对象的关联。另外，可选地，上面描述的方法中的第i影像系统可以为视频结构化系统，第j影像系统可以为人脸识别系统，第一对象可以选自人体、机动车辆或非机动车辆，第二对象为人脸。即，可以通过清晰的人脸，来关联其他对象。

由此可知，在视频结构化系统中存储有影像质量至少满足第一预定条件的人体，在人脸识别系统中存储有影像质量至少满足第二预定条件的人脸。

其中，包含影像质量至少满足第一预定条件的人体、以及影像质量不满足第二预定条件的人脸的第一影像是从视频结构化系统中取出的。

其中，包含影像质量至少满足第二预定条件的人脸的第二影像是从人脸识别系统中检索得到的。

其中，在实现影像质量至少满足第一预定条件的人体、影像质量不满足第二预定条件的人脸、影像质量至少满足第二预定条件的人脸的关联之后，可以基于影像质量至少满足第二预定条件的人脸，得到第三影像，并且第三影像中包含影像质量至少满足预定条件的人脸。

其中，通过第二影像中的影像质量至少满足第二预定条件的人脸和第三影像中的影像质量至少满足第二预定条件的人脸，将第一影像中的影像质量至少满足第一预定条件的人体和影像质量不满足第二预定条件的人脸、第二影像中的影像质量至少满足第二预定条件的人脸、第三影像中的影像质量至少满足第二预定条件的人脸和除人脸之外的其他对象之间进行关联。

其中，上述的除人脸之外的其他对象包括人体、机动车辆、非机动车辆。

可选地，上述的基于影像质量至少满足第二预定条件的第二对象来得到第三影像包括：基于第二影像中的影像质量至少满足第二预定条件的第二对象，通过检索来得到包含影像质量至少满足第二预定条件的第二对象的第三影像。

例如，基于第二影像中的影像质量至少满足第二预定条件的第二对象进行检索，当检索到某个影像中包含的对象与第二对象相似度大于阈值且质量满足预定条件时，则认为该对象为第二对象，该影像为包含影像质量至少满足第二预定条件的第二对象的第三影像。

在该实施例中，第三影像中存在同时包含影像质量满足第二预定条件的第二对象和影像质量满足预定条件的除第二对象之外的其他对象。在另一些实施例中，第三影像中包含的第二对象的影像质量不满足第二预定条件，此时，可以通过下述实施例实现第三影像中对象的关联。

另外，可选地，上述的多个影像系统还包括第k影像系统，其中，第k影像系统中存储有影像质量至少满足第三预定条件的第三对象，其中k大于等于1。

根据本实施例的关联方法还可以包括如下步骤：

1)从第k影像系统中取出其中包含影像质量至少满足第三预定条件的第三对象、和影像质量不满足第二预定条件的第二对象的第三影像；

2)基于第三影像中的影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第四影像；

3)在第三影像中的影像质量至少满足第三预定条件的第三对象、第三影像中的影像质量不满足第二预定条件的第二对象、第四影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

请注意，在本发明中，序号“第一”、“第二”、“第三”、“第四”等等仅是为了方便描述而给出的，其具体表达的含义应当结合每个实施例的具体实施方式来理解，而不应当将其当作一种固定的对应关系。尤其这里的第三影像与前面出现的第三影像具有不同的意思表示。

这里，本步骤可以实现包含第二对象的另一组对象之间的关联，比如第二对象是人脸，第三对象是机动车辆，但是在本实施例中，已知的第三影像(请注意，这里的第三影像与上面描述的、基于清晰的第二对象得到的第三影像不同)中包含清晰的机动车辆和不清晰的人脸，此时，可以类似地按照前面描述的方式，先查找与不清晰的人脸对应的清晰人脸，然后，通过清晰的人脸，将清晰的机动车辆和清晰的人脸关联起来。

根据本实施例的关联方法还可以包括如下步骤：

4)基于第二影像中的影像质量至少满足第二预定条件的第二对象、以及第四影像中的影像质量至少满足第二预定条件的第二对象，在第一影像中的影像质量至少满足第一预定条件的第一对象、第二影像中的影像质量至少满足第二预定条件的第二对象、第三影像中的影像质量至少满足第三预定条件的第三对象、以及第四影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

续举前例，本步骤将前面关联的清晰的人体和清晰的人脸与步骤3)关联的清晰的机动车辆和清晰的人脸，通过清晰的人脸，来进一步关联上清晰的人体、清晰的人脸、清晰的机动车辆，如图3所示。

在前面的步骤中，已建立了第一影像中的第一对象、第一影像中的第二对象、第二影像中的第二对象的关联，在步骤3)中，建立了第三影像中的第三对象、第三影像中的第二对象、第四影像中的第二对象的关联。在步骤4)中，通过建立第二影像中的第二对象和第四影像中的第二对象的关联，将第一影像中的第一对象、第一影像中的第二对象、第二影像中的第二对象，第三影像中的第三对象、第三影像中的第二对象、第四影像中的第二对象的关联起来。

第二影像中的第二对象和第四影像中的第二对象之间的关联，可以通过以第二影像中的第二对象和第四影像中的第二对象之一检索得到对方实现。例如，以第二影像中的第二对象进行检索，当检索到某个影像中的对象与第二对象的相似度大于相似度阈值且对象的质量满足预定条件时，则认为该对象是第二对象，该影像是第四影像。可以理解的是，由于第二影像中的第二对象和第四影像中的第二对象的影像质量均满足第二预定条件，由第二影像中的第二对象和第四影像中的第二对象之一检索得到对方的检索结果是准确的。

本实施例在将包含质量不高的对象的影像数据在包含高质量对象的影像数据的影像系统中搜索得到高质量对象的影像数据，实现包含质量不高的对象的影像数据中对象和高质量对象的关联之后，进一步通过高质量的对象进行多个对象的关联，解决了多维数据有效关联的问题。大大丰富了各影像系统能够应用的数据源，真正将传统的影像系统进行融合贯通，去除数据孤岛，提升数据应用价值。最终服务于多维检索及数据融合应用，帮助用户快速精准检索。

同理，可以进行其他对象组之间的关联，由此可以实现更多对象之间的关联。

另外，可选地，上述的多个影像系统可以是人脸识别系统、视频结构化系统、交通卡口系统(其中包括车辆信息)等。

其中，人体、人脸、机动车辆、非机动车辆之中的任意两种可以分别作为第一对象和第二对象，来实现清晰对象之间的两两关联。

另外，可选地，上述的第j影像系统可以是人脸识别系统，第i影像系统可以是视频结构化系统，第二对象可以为人脸，第一对象可以选自人体、机动车辆、非机动车辆之一。由此实现通过清晰的人脸，来实现不同对象之间的关联。

另外，可选地，上述的第i影像系统和第k影像系统可以是视频结构化系统，上述的第j影像系统可以是人脸识别系统。

在本实施例中，第一影像是在视频结构化系统中获取到治安监控相机采集的包含同一个对象的清晰人体及模糊人脸图片，第三影像是另一张视频结构化系统中获取到治安监控相机采集的包含同一个对象的清晰机动车辆和模糊人脸图片，此时第一影像和第三影像中模糊人脸图片所含特征信息较少，难以通过第一影像和第三影像中的模糊人脸将二者关联。本实施例先将第一影像中的模糊人脸在人脸识别系统中与该对象的清晰人脸图片A(第二影像)关联、将第三影像中的模糊人脸在人脸识别系统中与该对象的清晰人脸图片B(第四影像)关联，再将第二影像、第四影像关联，从而实现清晰人体、清晰人脸、清晰机动车辆的关联。

第二对象可以是人脸，第一对象、所述第三对象可以选自人体、机动车辆或非机动车辆。由此实现通过清晰的人脸，来实现超过三个的不同对象之间的关联。

可选地，上述的基于第一影像中的所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第二影像可以包括：在检索得到多个第二影像的情况下，选择多个第二影像中影像质量最高的第二影像来与第一影像进行关联。由此可以获得最清晰的图像，获得更好更准确的关联效果。

可选地，上述的基于第二影像中的影像质量至少满足第二预定条件的第二对象，通过检索来得到包含影像质量至少满足第二预定条件的第二对象的第三影像可以包括：在检索得到多个第三影像的情况下，选择多个第三影像中的、第二对象与所述第二影像中的第二对象的相似度最高的第三影像来与所述第二影像进行关联。由此可以获得更好更准确的关联效果。

图4给出了根据本发明的一个示例性实施例的影像数据关联设备的示意性框图。

如图4所示，根据本发明的一个示例性实施例的影像数据关联设备100用于关联多个不同的影像系统中的影像数据，其中，第i影像系统中存储有影像质量至少满足第一预定条件的第一对象，第j影像系统中存储有影像质量至少满足第二预定条件的第二对象，其中i、j均大于等于1但是i不等于j。

其中，上述的影像数据关联设备100可以包括：获取模块110、检索模块120、第一关联模块130。

具体地，获取模块110可以用于从第i影像系统中取出其中包含影像质量至少满足第一预定条件的第一对象、和影像质量不满足第二预定条件的第二对象的第一影像。

检索模块120可以用于基于所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第二影像。

关联模块130可以用于在所述第一影像中的影像质量至少满足第一预定条件的第一对象和所述影像质量不满足第二预定条件的第二对象、所述第二影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

另外，可选地，检索模块120还可以在关联模块130建立上述的关联之后，基于影像质量至少满足第二预定条件的第二对象来得到第三影像，所述第三影像中包含影像质量至少满足第二预定条件的第二对象。

并且，检索模块120可以将影像质量至少满足第一预定条件的第一对象、影像质量不满足第二预定条件的第二对象、影像质量满足第二预定条件的第二对象、与第三影像中包含的除第二对象之外的其他对象之间进行关联。

另外，可选地，所述第i影像系统为视频结构化系统，所述第j影像系统为人脸识别系统，所述第一对象选自人体、机动车辆或非机动车辆，所述第二对象为人脸，所述视频结构化系统中存储有影像质量至少满足第一预定条件的人体，人脸识别系统中存储有影像质量至少满足第二预定条件的人脸。

其中，包含影像质量至少满足第一预定条件的第一对象、以及影像质量不满足第二预定条件的人脸的第一影像可以由获取模块110从视频结构化系统中取出。

其中，包含影像质量至少满足第二预定条件的人脸的第二影像可以由获取模块110从人脸识别系统中检索得到。

其中，在关联模块130实现影像质量至少满足第一预定条件的第一对象、影像质量不满足第二预定条件的人脸、影像质量至少满足第二预定条件的人脸的关联之后，检索模块120还可以基于影像质量至少满足第二预定条件的人脸，得到第三影像，所述第三影像中包含影像质量至少满足预定条件的人脸。

其中，关联模块130可以通过第二影像中的影像质量至少满足第二预定条件的人脸和第三影像中的影像质量至少满足第二预定条件的人脸，将第一影像中的影像质量至少满足第一预定条件的第一对象和影像质量不满足第二预定条件的人脸、第二影像中的影像质量至少满足第二预定条件的人脸、第三影像中的影像质量至少满足第二预定条件的人脸和除人脸之外的其他对象之间进行关联。

其中，上述的除人脸之外的其他对象包括人体、机动车辆、非机动车辆。

另外，可选地，检索模块120可以基于第二影像中的影像质量至少满足第二预定条件的第二对象，通过检索来得到包含影像质量至少满足第二预定条件的第二对象的第三影像。

另外，可选地，所述多个影像系统还可以包括第k影像系统，其中，第k影像系统中存储有影像质量至少满足第三预定条件的第三对象，其中k大于等于1。

另外，可选地，获取模块110还可以从第k影像系统中取出其中包含影像质量至少满足第三预定条件的第三对象、和影像质量不满足第二预定条件的第二对象的第三影像。并且，检索模块120可以基于第三影像中的所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第四影像。由此，关联模块130可以在第三影像中的所述影像质量至少满足第三预定条件的第三对象、第三影像中的所述影像质量不满足第二预定条件的第二对象、第四影像中的所述影像质量至少满足第二预定条件的第二对象之间建立关联。

另外，关联模块130还可以进一步基于第二影像中的影像质量至少满足第二预定条件的第二对象、以及第四影像中的影像质量至少满足第二预定条件的第二对象，在第一影像中的影像质量至少满足第一预定条件的第一对象、第二影像中的影像质量至少满足第二预定条件的第二对象、第三影像中的影像质量至少满足第三预定条件的第三对象、以及第四影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

另外，可选地，所述多个影像系统包括人脸识别系统、视频结构化系统、交通卡口系统。其中，人体、人脸、机动车辆、非机动车辆之中的任意两种分别作为第一对象和第二对象。

另外，可选地，所述第j影像系统包括人脸识别系统，第i影像系统包括视频结构化系统，第二对象为人脸，第一对象选自人体、机动车辆、非机动车辆之一。

另外，可选地，所述第i影像系统和第k影像系统包括视频结构化系统，所述第j影像系统包括人脸识别系统，所述第二对象为人脸，所述第一对象、所述第三对象选自人体、机动车辆或非机动车辆。

另外，可选地，在检索模块120通过检索而得到多个第二影像的情况下，可以选择所述多个第二影像中影像质量最高的第二影像来使得通过关联模块130，将其与所述第一影像进行关联。

另外，可选地，在检索模块120通过检索而得到多个第三影像的情况下，可以选择所述多个第三影像中的、第二对象与所述第二影像中的第二对象的相似度最高的第三影像，通过关联模块130来使其与所述第二影像进行关联。

这里，根据本发明的示例性实施例的影像数据关联设备的各模块110-130的操作与上述的影像数据关联方法的各步骤的操作类似，在此不再详细描述。

本发明通过将包含质量不高的对象的影像数据在包含高质量对象的影像数据的影像系统中搜索得到高质量对象的影像数据，实现包含质量不高的对象的影像数据中对象和高质量对象的关联，进而通过高质量的对象进行多个对象的关联，解决了多维数据有效关联的问题。大大丰富了各影像系统能够应用的数据源，真正将传统的影像系统进行融合贯通，去除数据孤岛，提升数据应用价值。最终服务于多维检索及数据融合应用，帮助用户快速精准检索。

图5给出了根据本发明的一个示例性实施例的数据处理设备的示意性框图。

参见图5，该数据处理设备1包括存储器10和处理器20。

处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器10上存储有可执行代码，当所述可执行代码被所述处理器20执行时，使所述处理器20执行上面描述的方法之一。其中，存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器20或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器10可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种影像数据关联方法，用于关联多个影像系统中的影像数据，其中，第i影像系统中存储有影像质量至少满足第一预定条件的第一对象，第j影像系统中存储有影像质量至少满足第二预定条件的第二对象，其中i、j均大于等于1但是i不等于j，其特征在于，该方法包括：

从第i影像系统中取出其中包含影像质量至少满足第一预定条件的第一对象、和影像质量不满足第二预定条件的第二对象的第一影像；

基于第一影像中的所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第二影像；

在所述第一影像中的影像质量至少满足第一预定条件的第一对象和所述影像质量不满足第二预定条件的第二对象、所述第二影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

2.如权利要求1所述的影像数据关联方法，其特征在于，该方法还包括：

在建立所述关联之后，基于影像质量至少满足第二预定条件的第二对象来得到第三影像，所述第三影像中包含影像质量至少满足第二预定条件的第二对象；

将影像质量至少满足第一预定条件的第一对象、影像质量不满足第二预定条件的第二对象、影像质量满足第二预定条件的第二对象、与第三影像中包含的除第二对象之外的其他对象之间进行关联。

3.如权利要求2所述的影像数据关联方法，其特征在于，

所述第i影像系统为视频结构化系统，所述第j影像系统为人脸识别系统，所述第一对象选自人体、机动车辆或非机动车辆，所述第二对象为人脸，所述视频结构化系统中存储有影像质量至少满足第一预定条件的人体，人脸识别系统中存储有影像质量至少满足第二预定条件的人脸，

其中，包含影像质量至少满足第一预定条件的第一对象、以及影像质量不满足第二预定条件的人脸的第一影像是从视频结构化系统中取出的；

其中，包含影像质量至少满足第二预定条件的人脸的第二影像是从人脸识别系统中检索得到的；并且

其中，在实现影像质量至少满足第一预定条件的第一对象、影像质量不满足第二预定条件的人脸、影像质量至少满足第二预定条件的人脸的关联之后，基于影像质量至少满足第二预定条件的人脸，得到第三影像，所述第三影像中包含影像质量至少满足预定条件的人脸；并且

其中，通过第二影像中的影像质量至少满足第二预定条件的人脸和第三影像中的影像质量至少满足第二预定条件的人脸，将第一影像中的影像质量至少满足第一预定条件的第一对象和影像质量不满足第二预定条件的人脸、第二影像中的影像质量至少满足第二预定条件的人脸、第三影像中的影像质量至少满足第二预定条件的人脸和除人脸之外的其他对象之间进行关联，

其中，所述除人脸之外的其他对象包括人体、机动车辆、非机动车辆。

4.如权利要求2所述的影像数据关联方法，其特征在于，

所述基于影像质量至少满足第二预定条件的第二对象来得到第三影像包括：

基于第二影像中的影像质量至少满足第二预定条件的第二对象，通过检索来得到包含影像质量至少满足第二预定条件的第二对象的第三影像。

5.如权利要求1所述的影像数据关联方法，其特征在于，

所述多个影像系统还包括第k影像系统，其中，第k影像系统中存储有影像质量至少满足第三预定条件的第三对象，其中k大于等于1，

该方法还包括：

从第k影像系统中取出其中包含影像质量至少满足第三预定条件的第三对象、和影像质量不满足第二预定条件的第二对象的第三影像；

基于第三影像中的所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第四影像；

在第三影像中的所述影像质量至少满足第三预定条件的第三对象、第三影像中的所述影像质量不满足第二预定条件的第二对象、第四影像中的所述影像质量至少满足第二预定条件的第二对象之间建立关联。

6.如权利要求5所述的影像数据关联方法，其特征在于，所述方法还包括：

基于第二影像中的影像质量至少满足第二预定条件的第二对象、以及第四影像中的影像质量至少满足第二预定条件的第二对象，在第一影像中的影像质量至少满足第一预定条件的第一对象、第二影像中的影像质量至少满足第二预定条件的第二对象、第三影像中的影像质量至少满足第三预定条件的第三对象、以及第四影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

7.如权利要求1～6中的任意一项所述的影像数据关联方法，其特征在于，

所述多个影像系统包括人脸识别系统、视频结构化系统、交通卡口系统，

其中，人体、人脸、机动车辆、非机动车辆之中的任意两种分别作为第一对象和第二对象。

8.如权利要求7所述的影像数据关联方法，其特征在于，

所述第j影像系统包括人脸识别系统，第i影像系统包括视频结构化系统，第二对象为人脸，第一对象选自人体、机动车辆、非机动车辆之一。

9.如权利要求5或6所述的影像数据关联方法，其特征在于，

所述第i影像系统和第k影像系统包括视频结构化系统，所述第j影像系统包括人脸识别系统，

所述第二对象为人脸，所述第一对象、所述第三对象选自人体、机动车辆或非机动车辆。

10.如权利要求1～6中的任意一项所述的影像数据关联方法，其特征在于，所述基于第一影像中的所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第二影像，包括：

在检索得到多个第二影像的情况下，选择所述多个第二影像中影像质量最高的第二影像来与所述第一影像进行关联。

11.如权利要求4所述的影像数据关联方法，其特征在于，所述基于第二影像中的影像质量至少满足第二预定条件的第二对象，通过检索来得到包含影像质量至少满足第二预定条件的第二对象的第三影像，包括：

在检索得到多个第三影像的情况下，选择所述多个第三影像中的、第二对象与所述第二影像中的第二对象的相似度最高的第三影像来与所述第二影像进行关联。

12.一种影像数据关联设备，用于关联多个不同的影像系统中的影像数据，其中，第i影像系统中存储有影像质量至少满足第一预定条件的第一对象，第j影像系统中存储有影像质量至少满足第二预定条件的第二对象，其中i、j均大于等于1但是i不等于j，其特征在于，该设备包括：

获取模块，用于从第i影像系统中取出其中包含影像质量至少满足第一预定条件的第一对象、和影像质量不满足第二预定条件的第二对象的第一影像；

检索模块，用于基于所述影像质量不满足第二预定条件的第二对象，在第j影像系统中检索包含影像质量至少满足第二预定条件的第二对象的第二影像；

关联模块，用于在所述第一影像中的影像质量至少满足第一预定条件的第一对象和所述影像质量不满足第二预定条件的第二对象、所述第二影像中的影像质量至少满足第二预定条件的第二对象之间建立关联。

13.一种数据处理设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～11中任何一项所述的方法。

14.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行如权利要求1～11中任何一项所述的方法。