CN117558056B - 一种基于人脸图像的伴随关系识别方法及系统 - Google Patents

Abstract

本申请提供了一种基于人脸图像的伴随关系识别方法及系统，方法包括以下步骤：构建数据库结构；从原始视频中获取快照图像；基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系；基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。本申请提供的一种基于人脸图像的伴随关系识别方法，易于在各类场景中快速、高效地集成，具有实施成本低、便捷高效的优势。

Description

一种基于人脸图像的伴随关系识别方法及系统

技术领域

本申请涉及人脸图像识别技术领域，具体涉及一种基于人脸图像的伴随关系识别方法及系统。

背景技术

人脸图像识别与检索技术目前已在多种行业得到广泛应用，典型应用场景包括智慧城市、园区安防、单位门禁等。人脸图像识别主要涉及神经网络和计算机视觉等人工智能技术，人脸图像检索则主要涉及向量数据库等数据存储与处理技术。人脸图像识别与检索技术亦可细分为多种原子能力，其中，伴随关系的识别是一类重要的原子能力，它是指在大量视频或图像中，检索出一组在同一幅画面中共同出现过的两张或更多人脸，从而确定一组人员活动的时空交集。业务方面，伴随关系识别可应用于群体发现、聚集预警等场景，帮助用户解决实际应用问题。技术方面，伴随关系识别则可大幅缩小下游算法的输入数据范围，帮助用户提升软件处理效率。因此，伴随关系技术得到了计算机视觉相关业者的普遍重视。

目前，业界主流的伴随关系识别方法与系统往往需要综合应用定位服务、向量数据库、时空数据库等软件，并有可能依赖带有人工智能或地理定位能力的终端设备，因此实施成本较高，亦不利于复用既有的非智能设备。事实上，很多基于人脸图像的伴随关系识别应用对于时间和空间精度并无特别高的要求，因此有必要针对这些更为普遍的场景提出成本更优、实施更加便捷高效的解决方案。

发明内容

本申请提供一种基于人脸图像的伴随关系识别方法及系统，可以解决现有技术中伴随关系识别方法存在的需依赖带有人工智能或地理定位能力的技术问题。

第一方面，本申请提供了一种基于人脸图像的伴随关系识别方法，包括以下步骤：

构建数据库结构；

从原始视频中获取快照图像；

基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系；

基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。

结合第一方面，在一种实施方式中，所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系步骤中，具体执行以下记录保存操作：

在时序数据库中新增记录；

在向量数据库中新增记录；

在图数据库中新增记录。

结合第一方面，在一种实施方式中，所述在时序数据库中新增记录步骤，具体包括以下步骤：

为所述快照图像生成一个快照标识符；

在时序数据库的快照表中新增一条包含快照标识符和快照图像的记录。

结合第一方面，在一种实施方式中，所述在向量数据库中新增记录步骤，具体包括以下步骤：

对快照图像进行人脸图像提取，获取快照图像中的所有人脸图像集合；

对获取的所有人脸图像集合中的每张人脸图像执行图像向量化操作，获取所述人脸图像的目标人脸向量；

在向量数据库的人员表基准人脸向量列中，对目标人脸向量做向量搜索操作，获取相似度最高的基准人脸向量，取得所述基准人脸向量对应的人员标识符，加入当前快照图像对应的人员标识符集合；

对于当前快照图像对应的人员标识符集合中的每个人员标识符，生成一个快照-人员对照标识符；

在向量数据库的快照-人员对照表中新增一条记录，该记录包括快照-人员对照标识符，目标快照标识符字段设置为所述快照标识符，目标人员标识符字段设置为快照图像经人脸图像提取、图像向量化以及向量搜索获取的相似度最高的基准人脸向量对应的人员标识符，目标人脸向量字段设置为快照图像经人脸图像提取以及图像向量化后生成的目标人脸向量。

结合第一方面，在一种实施方式中，所述在图数据库中新增记录步骤，具体包括以下步骤：

对于当前快照图像对应的人员标识符集合中的每个元组，在图数据库的伴随关系图中分别检测元组前项和后项的人员标识符在图中的节点集合中的节点存在工况；

根据获取的节点存在工况，控制执行伴随关系图的节点或边新增操作策略。

结合第一方面，在一种实施方式中，所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系步骤之后，还包括以下步骤：

获取伴随关系更新请求，所述伴随关系更新请求包括目标快照标识符、旧目标人员标识符和新目标人员标识符；

以目标快照标识符和旧目标人员标识符为依据，在向量数据库的快照-人员对照表的目标快照标识符列和目标人员标识符列中搜索两个字段同时匹配的待更新记录；

使用新目标人员标识符更新快照-人员对照表中所述待更新记录的目标人员标识符字段；

以伴随关系更新请求中的目标快照标识符为依据，在图数据库的伴随关系图中找到所有以该标识符为目标快照标识符的边的集合，获取候选更新边集合；

对于候选更新边集合中的每一条边，在伴随关系图中读取该边连接到的两个节点的目标人员标识符字段，并根据目标人员标识符和旧目标人员标识符的比对工况，控制执行伴随关系图的节点更新策略。

结合第一方面，在一种实施方式中，所述基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系步骤，具体包括以下步骤：

获取被识别的人脸图像，对人脸图像进行图像向量化处理，获取待检索人脸向量；

在向量数据库的人员表基准人脸向量列中执行向量搜索操作，获取与待检索人脸向量的相似度最高的基准人脸向量，获取所述基准人脸向量对应的人员标识符，作为目标人员标识符；

以目标人员标识符为依据，在伴随关系图中找到以目标人员标识符为标识符的目标人员节点；

以目标人员节点为依据，在伴随关系图中获取所述目标人员节点的所有邻接边，加入每条邻接边中的目标快照标识符字段至本次检索对应的目标快照标识符集合；

对目标快照标识符集合中的每个目标快照标识符根据快照表以及快照-人员对照表进行信息处理，获取待检索人脸向量的伴随关系涉及的快照图像和人员信息。

结合第一方面，在一种实施方式中，所述构建人员伴随关系的数据库结构步骤中，所述数据库结构包括时序数据库、向量数据库和图数据库。

第二方面，本申请提供了一种基于人脸图像的伴随关系识别系统，包括：

数据库结构构建模块，用于构建人员伴随关系的数据库结构；

快照图像获取模块，用于从原始视频中获取快照图像；

伴随关系获取模块，与所述快照图像获取模块通信连接，用于基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系；

关系检索结果获取模块，与所述数据库结构构建模块和所述伴随关系获取模块通信连接，用于基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请提供的一种基于人脸图像的伴随关系识别方法，通过获取人员伴随关系以及构建数据库结构，实现对被识别的人脸图像的伴随关系的检索获取，不依赖带有人工智能或地理定位能力的终端设备，可以复用已安装的非智能终端设备，有助于用户充分利用既有投资，在时间和空间精度并无特别高的要求的场景下低成本上线伴随关系识别能力；

仅需依赖常见类型的数据库组件以及经典的图像分析处理算法模型，技术选型开放性高，无专有技术壁垒，能够在多类不同的硬件上实施，易于在各类场景中快速、高效地集成，具有实施成本低、便捷高效的优势。

附图说明

图1为本申请实施例提供的一种基于人脸图像的伴随关系识别方法的方法流程图；

图2为本申请实施例提供的一种基于人脸图像的伴随关系识别系统的功能组件连接示意图；

图3为本申请实施例提供的一种基于人脸图像的伴随关系识别系统的功能组件之间的信息交互示意图；

图4为本申请实施例提供的一种基于人脸图像的伴随关系识别系统中的伴随关系示例图；

图5为本申请实施例提供的一种基于人脸图像的伴随关系识别系统的功能模块框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。术语“第一”、“第二”和“第三”等描述，是用于区分不同的对象等，其不代表先后顺序，也不限定“第一”、“第二”和“第三”是不同的类型。

在本申请实施例的描述中，“示例性的”、“例如”或者“举例来说”等用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

在本申请实施例描述的一些流程中，包含了按照特定顺序出现的多个操作或步骤，但是应该理解，这些操作或步骤可以不按照其在本申请实施例中出现的顺序来执行或并行执行，操作的序号仅用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作或步骤可以按顺序执行或并行执行，并且这些操作或步骤可以进行组合。

第一方面，如图1所示，本申请提供了一种基于人脸图像的伴随关系识别方法，包括以下步骤：

步骤S1、构建数据库结构；

步骤S2、从原始视频中获取快照图像；

步骤S3、基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系；

步骤S5、基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。

本申请提供的一种基于人脸图像的伴随关系识别方法，通过获取人员伴随关系以及构建数据库结构，实现对被识别的人脸图像的伴随关系的检索获取，无需依赖带有人工智能或地理定位能力的终端设备，可以复用已安装的非智能终端设备，有助于用户充分利用既有投资，在时间和空间精度并无特别高的要求的场景下低成本上线伴随关系识别能力；

本申请提供的一种基于人脸图像的伴随关系识别方法，仅需依赖常见类型的数据库组件以及经典的图像分析处理算法模型，技术选型开放性高，无专有技术壁垒，能够在多类不同的硬件上实施，易于在各类场景中快速、高效地集成，具有实施成本低、便捷高效的优势。

在一实施例中，如图2所示，所述步骤S1、构建数据库结构步骤，主要为人脸图像的伴随关系检索提供检索数据库结构，具体包括：

时序数据库、向量数据库和图数据库，具体如下：

A、时序数据库包含快照表。

快照表包含快照标识符和快照图像字段。其中，快照图像字段可以存储图像本身，也可以存储指向图像的标识符，例如图像的URL。本发明的具体实现可以在此基础上补充其他必要的表或字段。时序数据库的最小必要结构说明如表1所示：

表1 时序数据库的最小必要结构

B、向量数据库包含人员表和快照-人员对照表。

人员表包含人员标识符和基准人脸向量字段。快照-人员对照表包含快照-人员对照标识符、目标快照标识符和目标人脸向量字段。本发明的具体实现可以在此基础上补充其他必要的表或字段。向量数据库的最小必要结构说明如表2所示：

表2 向量数据库的最小必要结构

C、图数据库包含伴随关系图。

伴随关系图的节点代表人员，节点包含人员标识符字段。伴随关系图的边代表伴随关系，边包含快照标识符字段。本发明的具体实现可以在此基础上补充其他必要的图或字段。图数据库的最小必要结构说明如表3所示：

表3 图数据库的最小必要结构

其中，时序数据库采用Apache IoTDB，向量数据库采用Milvus，图数据库采用Neo4j。这些数据库均运行在服务器上，每个数据库中分别存储表1、表2和表3的结构。

本申请中，对于直接操作单个数据库即可实现的方法，例如人员和快照元信息的新增、删除、修改和查询，属于数据库的固有能力，在本申请中不再赘述。

本申请提供的一种基于人脸图像的伴随关系识别方法，通过构建伴随人员关系的数据库结构，结合获取的人员伴随关系，为人脸图像识别提供了一种多维可复用的检索识别系统，有效提升了人脸图像的识别精度。

在一实施例中，如图2-图4所示，基于构建的数据库结构，构建人员伴随关系系统，所述人员伴随关系系统包括上述的数据库结构以及视觉采集组件、信息处理组件和计算机视觉组件，所述信息处理组件与所述时序数据库、向量数据库和图数据库进行信息交互，所述视觉采集组件与所述信息处理组件进行信息交互，所述计算机视觉组件和信息处理组件进行信息交互，所述视觉采集组件用于将原始视频生成快照图像，所述计算机视觉组件包括人脸图像提取模块和图像向量化模块，所述人脸图像提取模块用于从所述快照图像中提取人脸图像，所述图像向量化模块用于将目标人脸图像进行图像向量化，获取所述人脸图像的目标人脸向量。

在一实施例中，所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系步骤中具体执行以下记录保存操作：

步骤S31、在时序数据库中新增记录；

步骤S32、在向量数据库中新增记录；

步骤S33、在图数据库中新增记录。

在一实施例中，所述步骤S31、在时序数据库中新增记录步骤，具体包括以下步骤：

步骤S311、为所述快照图像生成一个快照标识符；

步骤S312、在时序数据库的快照表中新增一条包含快照标识符和快照图像的记录。

在一实施例中，所述步骤S32、在向量数据库中新增记录步骤，具体包括以下步骤：

步骤S321、对快照图像进行人脸图像提取，获取快照图像中的所有人脸图像集合；

步骤S322、对获取的所有人脸图像集合中的每张人脸图像执行图像向量化操作，获取所述人脸图像的目标人脸向量；

步骤S323、在向量数据库的人员表基准人脸向量列中，对目标人脸向量做向量搜索操作，获取相似度最高的基准人脸向量，取得所述基准人脸向量对应的人员标识符，加入当前快照图像对应的人员标识符集合；

步骤S324、对于当前快照图像对应的人员标识符集合中的每个人员标识符，生成一个快照-人员对照标识符；

步骤S325、在向量数据库的快照-人员对照表中新增一条记录，该记录包括快照-人员对照标识符，目标快照标识符字段设置为所述快照标识符，目标人员标识符字段设置为快照图像经人脸图像提取、图像向量化以及向量搜索获取的相似度最高的基准人脸向量对应的人员标识符，目标人脸向量字段设置为快照图像经人脸图像提取以及图像向量化后生成的目标人脸向量。

在一实施例中，所述步骤S33、在图数据库中新增记录步骤，具体包括以下步骤：

步骤S331、对于当前快照图像对应的人员标识符集合中的每个元组，在图数据库的伴随关系图中分别检测元组前项和后项的人员标识符在图中的节点集合中的节点存在工况；

步骤S332、根据获取的节点存在工况，控制执行伴随关系图的节点或边新增操作策略。

在一实施例中，所述步骤S332、根据获取的节点存在工况，控制执行伴随关系图的节点或边新增操作策略，具体包括以下步骤：

在伴随关系图中分别检索伴随人员标识符元组集合中的每个元组的前项和后项的人员标识符在图的节点集合中是否存在；

若存在，则忽略，无需执行伴随关系图的节点的新增操作；

若不存在，则在图中新增节点，其目标人员标识符字段设置为图中原先不存在的该元组的前项或后项的人员标识符；

在伴随关系图中新增一条边，边连接到的两个节点分别设置为目标人员标识符等于所述元组的前项和后项的人员标识符的节点

在一较具体实施例中，基于以上的人员伴随关系系统，所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系，具体包括以下步骤：

S301. 视频采集组件生成快照图像。

S302. 视频采集组件将快照图像传输至信息处理组件。

S303. 信息处理组件为所述快照图像生成一个快照标识符，本发明不限制标识符的具体格式。

S304. 信息处理组件调用时序数据库，使其在快照表中新增一条记录，记录中包含所述快照标识符和快照图像。

S305. 信息处理组件调用计算机视觉组件的人脸图像提取模块，取得所述快照图像中的所有人脸图像集合。

S306. 对于所述人脸图像集合中的每张人脸图像，信息处理组件执行以下操作：

调用计算机视觉组件的图像向量化模块，得到所述人脸图像的目标人脸向量；

调用向量数据库，在时序数据库中的人员表的基准人脸向量列中，对目标人脸向量做向量搜索操作，找到相似度最高的基准人脸向量，取得该基准人脸向量对应的人员标识符，加入到当前快照图像对应的人员标识符集合。

S307. 对于当前快照图像对应的人员标识符集合中的每个人员标识符，信息处理组件执行以下操作：

生成一个快照-人员对照标识符，本发明不限制标识符的具体格式；

调用向量数据库，使其在向量数据库中的快照-人员对照表中新增一条记录，该记录的快照-人员对照标识符字段设置为本步骤所述的快照-人员对照标识符，目标快照标识符字段设置为S303步骤生成的快照标识符，目标人员标识符字段设置为本步骤所述的人员标识符，目标人脸向量字段设置为S306步骤生成的、用于检索出本步骤所述人员标识符的目标人脸向量。

S308. 信息处理组件判断当前快照图像对应的人员标识符集合的元素数量，如果元素数量大于或等于2，那么将该集合与其自身做笛卡尔积，并删除笛卡尔积中的冗余元组，取得所述快照图像对应的伴随人员标识符元组集合。所述笛卡尔积中的冗余元组，是指前项与后项相同的元组（例如〈A，A〉），或者前项与后项分别与笛卡尔积中已存在的另一元组的后项与前项相同的元组（例如已存在〈A，B〉时，〈B，A〉为冗余）。

S309. 对于伴随人员标识符元组集合中的每个元组，信息处理组件执行以下操作：

调用图数据库，在图数据库的伴随关系图中分别检测元组前项和后项的人员标识符在图的节点集合中是否存在，如果存在则忽略，如果不存在则在图中新增节点，其目标人员标识符字段设置为图中原先不存在的该元组的前项或后项的人员标识符；

调用图数据库，在伴随关系图中新增一条边，边的目标快照标识符字段设置为S203步骤生成的快照标识符，边连接到的两个节点分别设置为目标人员标识符等于所述元组的前项和后项的人员标识符的节点。

在一实施例中，所述步骤S3基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系之后，还包括以下步骤：

步骤S4、对获取的人脸图像的人员伴随关系系统进行更新，获取更新后的人员伴随关系系统。

上述步骤S4和步骤S5之间并不存在实施先后之分，较优地，当需要更新时，实施步骤S4的更新操作之后，再基于更新后的人员伴随关系系统实施步骤S5的被识别的人脸图像的伴随关系的检索操作，无需执行更新操作时，跳过步骤S4，执行步骤S5的被识别的人脸图像的伴随关系的检索操作。

在一实施例中，所述步骤S4、对获取的人脸图像的人员伴随关系系统进行更新，获取更新后的人员伴随关系系统，具体包括以下步骤：

步骤S41、获取伴随关系更新请求，所述伴随关系更新请求包括目标快照标识符、旧目标人员标识符和新目标人员标识符；

步骤S42、以目标快照标识符和旧目标人员标识符为依据，在快照-人员对照表的目标快照标识符列和目标人员标识符列中搜索两个字段同时匹配的记录，该记录即为待更新记录；

步骤S43、使用新目标人员标识符更新快照-人员对照表中所述待更新记录的目标人员标识符字段；

步骤S44、以伴随关系更新请求中的目标快照标识符为依据，在伴随关系图中找到所有以该标识符为目标快照标识符的边的集合，获取候选更新边集合；

步骤S45、对于候选更新边集合中的每一条边，在伴随关系图中读取该边连接到的两个节点的目标人员标识符字段，并根据目标人员标识符和旧目标人员标识符的比对工况，控制执行伴随关系图的节点更新策略。

在一实施例中，所述步骤S45、对于候选更新边集合中的每一条边，在伴随关系图中读取该边连接到的两个节点的目标人员标识符字段，并根据目标人员标识符和旧目标人员标识符的比对工况，控制执行伴随关系图的节点更新策略步骤，具体包括以下步骤：

步骤S45A、若在伴随关系图中读取候选更新边集合中的每一条边连接到的两个节点的其中一个节点的目标人员标识符字段，等于伴随关系更新请求中的旧目标人员标识符，则断开该边与该节点之间的连接，并将该边重新连接到目标标识符字段等于伴随关系更新请求中的新目标人员标识符的节点；

步骤S45B、若在伴随关系图中读取候选更新边集合中的每一条边连接到的两个节点的目标人员标识符字段，均不等于伴随关系更新请求中的旧目标人员标识符，则不执行断开该边与该两个节点之间的连接操作，保持原连接状态。

基于以上构建的人员伴随关系系统，所述步骤S4、对获取的人脸图像的人员伴随关系系统进行更新，获取更新后的人员伴随关系系统，具体包括以下步骤：

“伴随关系更新”方法用于纠正伴随关系入库过程中人工智能算法模型可能造成的人脸识别错误，将数据库中的记录调整到正确的状态，该方法的具体步骤如下所述：

S401. 信息处理组件接收来自外部的伴随关系更新请求，该请求包含目标快照标识符、旧目标人员标识符和新目标人员标识符字段。

S402. 信息处理组件调用向量数据库，以伴随关系更新请求中的目标快照标识符和旧目标人员标识符为依据，在快照-人员对照表的目标快照标识符列和目标人员标识符列中搜索两个字段同时匹配的记录，该记录即为待更新记录。

S403. 信息处理组件调用向量数据库，使用伴随关系更新请求中的新目标人员标识符更新快照-人员对照表中所述待更新记录的目标人员标识符字段。

S404. 信息处理组件调用图数据库，以伴随关系更新请求中的目标快照标识符为依据，在伴随关系图中找到所有以该标识符为目标快照标识符的边的集合，该集合即为候选更新边集合。

S405. 对于候选更新边集合中的每一条边，信息处理组件执行以下操作：

调用图数据库，在伴随关系图中读取该边连接到的两个节点的目标人员标识符字段，如果其中一个节点的目标人员标识符字段等于伴随关系更新请求中的旧目标人员标识符，那么则断开该边与该节点的连接，并将该边重新连接到目标人员标识符字段等于伴随关系更新请求中新目标人员标识符的节点。

在一实施例中，所述步骤S5、基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系步骤，具体包括以下步骤：

步骤S51、获取被识别的人脸图像，对人脸图像进行图像向量化处理，获取待检索人脸向量；

步骤S52、在人员表中的基准人脸向量列中执行向量搜索操作，获取与待检索人脸向量的相似度最高的基准人脸向量，获取所述基准人脸向量对应的人员标识符，作为目标人员标识符；

步骤S53、以目标人员标识符为依据，在伴随关系图中找到以目标人员标识符为标识符的目标人员节点；

步骤S54、以目标人员节点为依据，在伴随关系图中获取所述目标人员节点的所有邻接边，加入每条邻接边中的目标快照标识符字段至本次检索对应的目标快照标识符集合；

步骤S55、对目标快照标识符集合中的每个目标快照标识符根据快照表以及快照-人员对照表进行信息处理，获取待检索人脸向量的伴随关系涉及的快照图像和人员信息。

本申请提供的一种基于人脸图像的伴随关系识别方法，基于构建的人员伴随关系系统，获取目标人员节点，在伴随关系图中获取所述目标人员节点的所有邻接边，从而获取包含每条邻接边中的目标快照标识符集合，基于目标快照标识符集合以及快照表以及快照-人员对照表，检索获取待检索人脸图像伴随关系涉及的快照图像和人员信息，从而实现基于构建的人员伴随关系系统实现对人脸图像的有效识别。

在一实施例中，所述步骤S51、获取被识别的人脸图像，对人脸图像进行图像向量化处理，获取待检索人脸向量，具体包括以下步骤：

步骤S511、获取待检索图像，具体地通过视频采集组建获取待检索图像；

步骤S512、对获取的待检索图像进行信息处理，获取待检索图像中的待检索人脸图像；

步骤S513、对获取的待检索人脸图像进行向量化处理，获取待检索人脸图像的待检索人脸向量。

在一实施例中，所述步骤S55、对目标快照标识符集合中的每个目标快照标识符根据快照表以及快照-人员对照表进行信息处理，获取待检索人脸向量的伴随关系涉及的快照图像和人员信息步骤，具体包括以下步骤：

对于本次检索对应的目标快照标识符中的每个目标快照标识符，在快照表中查询快照标识符等于所述目标快照标识符的记录，该记录即为待检索人脸图像对应的伴随关系涉及的快照图像；

对于本次检索对应的目标快照标识符中的每个目标快照符，在快照-人员对照表中查询目标快照标识符字段等于所述目标快照标识符的记录，该记录即为待检索人脸图像的伴随关系涉及的人员信息。

在一实施例中，基于以上构建的人员伴随关系系统，所述步骤S5、基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系步骤，具体包括以下步骤：

“伴随关系检索”方法用于以人脸图像为依据，检索该人员与其他人员曾经出现过的伴随关系。该方法的具体步骤如下所述。

S501. 视频采集组件接收待检索图像。

S502. 视频采集组件将待检索图像传输至信息处理组件。

S503. 信息处理组件调用计算机视觉组件的人脸图像提取模块，取得所述待检索图像中的待检索人脸图像。

S504. 信息处理组件调用计算机视觉组件的图像向量化模块，得到所述待检索人脸图像的待检索人脸向量。

S505. 信息处理组件调用向量数据库，在向量数据库的人员表基准人脸向量列中，对目标人脸向量做向量搜索操作，找到相似度最高的基准人脸向量，取得该基准人脸向量对应的人员标识符，作为目标人员标识符。

S506. 信息处理组件调用图数据库，以目标人员标识符为依据，在伴随关系图中找到以该标识符为目标人员标识符的节点，即目标人员节点。

S507. 信息处理组件调用图数据库，以目标人员节点为依据，在伴随关系图中找到该节点的所有邻接边，将每条边中的目标快照标识符字段加入本次检索对应的目标快照标识符集合。

S508. 对于本次检索对应的目标快照标识符集合中的每个目标快照标识符，信息处理组件执行以下操作：

调用时序数据库，在快照表中查询快照标识符字段等于所述目标快照标识符的记录，将该记录返回给调用方，以便调用方访问伴随关系涉及的快照图像；

调用向量数据库，在快照-人员对照表中查询目标快照标识符字段等于所述目标快照标识符的记录，将该记录返回给调用方，以便调用方访问伴随关系涉及的人员信息。

第二方面，如图5所示，本申请提供了一种基于人脸图像的伴随关系识别系统，包括数据库结构构建模块100、快照图像获取模块200、伴随关系获取模块300和关系检索结果获取模块400，所述数据库结构构建模块100用于构建人员伴随关系的数据库结构，所述快照图像获取模块200用于从原始视频中获取快照图像；所述伴随关系获取模块300与所述快照图像获取模块200通信连接，用于获取人员伴随关系；所述关系检索结果获取模块400与所述数据库结构构建模块100以及伴随关系获取模块300通信连接，用于基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。

第三方面，本申请实施例还提供一种可读存储介质。

本申请可读存储介质上存储有基于人脸图像的伴随关系识别程序，其中所述基于人脸图像的伴随关系识别程序被处理器执行时，实现如上述的基于人脸图像的伴随关系识别方法的步骤。

其中，基于人脸图像的伴随关系识别程序被执行时所实现的方法可参照本申请基于人脸图像的伴随关系识别方法的各个实施例，此处不再赘述。

需要说明的是，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (4)

1.一种基于人脸图像的伴随关系识别方法，其特征在于，包括以下步骤：

构建人员伴随关系的数据库结构，所述数据库结构包括时序数据库、向量数据库和图数据库，时序数据库包含快照表， 向量数据库包含人员表和快照-人员对照表，图数据库包含伴随关系图，所述快照表包括快照标识符和快照图像字段，所述向量数据库包含人员表和快照-人员对照表，所述图数据库包含伴随关系图；

从原始视频中获取快照图像；

基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系；

所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系步骤中，具体执行以下记录保存操作：

在时序数据库中新增记录；

所述在时序数据库中新增记录步骤，具体包括以下步骤：

为所述快照图像生成一个快照标识符；

在时序数据库的快照表中新增一条包含快照标识符和快照图像的记录；

在向量数据库中新增记录；

所述在向量数据库中新增记录步骤，具体包括以下步骤：

对快照图像进行人脸图像提取，获取快照图像中的所有人脸图像集合；

对获取的所有人脸图像集合中的每张人脸图像执行图像向量化操作，获取所述人脸图像的目标人脸向量；

在向量数据库的人员表基准人脸向量列中，对目标人脸向量做向量搜索操作，获取相似度最高的基准人脸向量，取得所述基准人脸向量对应的人员标识符，加入当前快照图像对应的人员标识符集合；

对于当前快照图像对应的人员标识符集合中的每个人员标识符，生成一个快照-人员对照标识符；

在向量数据库的快照-人员对照表中新增一条记录，该记录包括快照-人员对照标识符，目标快照标识符字段设置为所述快照标识符，目标人员标识符字段设置为快照图像经人脸图像提取、图像向量化以及向量搜索获取的相似度最高的基准人脸向量对应的人员标识符，目标人脸向量字段设置为快照图像经人脸图像提取以及图像向量化后生成的目标人脸向量；

在图数据库中新增记录；

所述在图数据库中新增记录步骤，具体包括以下步骤：

对于当前快照图像对应的人员标识符集合中的每个元组，在图数据库的伴随关系图中分别检测元组前项和后项的人员标识符在图中的节点集合中的节点存在工况；

根据获取的节点存在工况，控制执行伴随关系图的节点或边新增操作策略；

基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。

2.如权利要求1所述的基于人脸图像的伴随关系识别方法，其特征在于，所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系步骤之后，还包括以下步骤：

获取伴随关系更新请求，所述伴随关系更新请求包括目标快照标识符、旧目标人员标识符和新目标人员标识符；

以目标快照标识符和旧目标人员标识符为依据，在向量数据库的快照-人员对照表的目标快照标识符列和目标人员标识符列中搜索两个字段同时匹配的待更新记录；

使用新目标人员标识符更新快照-人员对照表中所述待更新记录的目标人员标识符字段；

以伴随关系更新请求中的目标快照标识符为依据，在图数据库的伴随关系图中找到所有以该标识符为目标快照标识符的边的集合，获取候选更新边集合；

对于候选更新边集合中的每一条边，在伴随关系图中读取该边连接到的两个节点的目标人员标识符字段，并根据目标人员标识符和旧目标人员标识符的比对工况，控制执行伴随关系图的节点更新策略。

3.如权利要求1所述的基于人脸图像的伴随关系识别方法，其特征在于，所述基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系步骤，具体包括以下步骤：

获取被识别的人脸图像，对人脸图像进行图像向量化处理，获取待检索人脸向量；

在向量数据库的人员表基准人脸向量列中执行向量搜索操作，获取与待检索人脸向量的相似度最高的基准人脸向量，获取所述基准人脸向量对应的人员标识符，作为目标人员标识符；

以目标人员标识符为依据，在伴随关系图中找到以目标人员标识符为标识符的目标人员节点；

以目标人员节点为依据，在伴随关系图中获取所述目标人员节点的所有邻接边，加入每条邻接边中的目标快照标识符字段至本次检索对应的目标快照标识符集合；

对目标快照标识符集合中的每个目标快照标识符根据快照表以及快照-人员对照表进行信息处理，获取待检索人脸向量的伴随关系涉及的快照图像和人员信息。

4.一种基于人脸图像的伴随关系识别系统，其特征在于，包括：

数据库结构构建模块，用于构建人员伴随关系的数据库结构，所述数据库结构包括时序数据库、向量数据库和图数据库，时序数据库包含快照表， 向量数据库包含人员表和快照-人员对照表，图数据库包含伴随关系图，所述快照表包括快照标识符和快照图像字段，所述向量数据库包含人员表和快照-人员对照表，所述图数据库包含伴随关系图；

快照图像获取模块，用于从原始视频中获取快照图像；

伴随关系获取模块，与所述快照图像获取模块通信连接，用于基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系；

所述基于快照图像，提取人脸图像，获取人脸图像涉及的人员伴随关系中具体执行以下记录保存操作：

在时序数据库中新增记录；

所述在时序数据库中新增记录包括：

为所述快照图像生成一个快照标识符；

在时序数据库的快照表中新增一条包含快照标识符和快照图像的记录；

在向量数据库中新增记录；

所述在向量数据库中新增记录包括：

对快照图像进行人脸图像提取，获取快照图像中的所有人脸图像集合；

对获取的所有人脸图像集合中的每张人脸图像执行图像向量化操作，获取所述人脸图像的目标人脸向量；

在向量数据库的人员表基准人脸向量列中，对目标人脸向量做向量搜索操作，获取相似度最高的基准人脸向量，取得所述基准人脸向量对应的人员标识符，加入当前快照图像对应的人员标识符集合；

对于当前快照图像对应的人员标识符集合中的每个人员标识符，生成一个快照-人员对照标识符；

在向量数据库的快照-人员对照表中新增一条记录，该记录包括快照-人员对照标识符，目标快照标识符字段设置为所述快照标识符，目标人员标识符字段设置为快照图像经人脸图像提取、图像向量化以及向量搜索获取的相似度最高的基准人脸向量对应的人员标识符，目标人脸向量字段设置为快照图像经人脸图像提取以及图像向量化后生成的目标人脸向量；

在图数据库中新增记录；

所述在图数据库中新增记录包括：

对于当前快照图像对应的人员标识符集合中的每个元组，在图数据库的伴随关系图中分别检测元组前项和后项的人员标识符在图中的节点集合中的节点存在工况；

根据获取的节点存在工况，控制执行伴随关系图的节点或边新增操作策略；

关系检索结果获取模块，与所述数据库结构构建模块和所述伴随关系获取模块通信连接，用于基于待检索图像中待识别的人脸图像，通过访问数据库结构从人脸图像涉及的人员伴随关系中检索获取被识别人员和其他人员曾经出现过的伴随关系。