CN109948447A - 基于视频图像识别的人物网络关系发现及演化呈现方法 - Google Patents

Abstract

本发明公开了一种基于视频图像识别的人物网络关系发现及演化呈现方法，属于图像识别与社交网络分析交叉领域，包括步骤：视频数据预处理；基于视频帧的图像提取；人脸识别及识别模型更新；人物关系网络构建及动态可视化。本发明将视频图像的人物识别与社交网络相结合，实现了跨领域的技术融合应用；采用视频帧的处理技术，提取具有时间戳的视频图像数据集合；采用SVM分类预测模型进行人脸识别，并以视频图像数据集合为输入，进行人脸识别；采用相邻图像之间的人脸信息进行具有时间标签的网络构建；并利用视频信息中的时间序列和具有时间戳的网络关系，进行时间对齐操作，从而实现视频与人物关系网络的同步动态呈现。

Description

基于视频图像识别的人物网络关系发现及演化呈现方法

技术领域

本发明属于图像识别与社交网络分析交叉领域，具体涉及一种基于视频图像识别的人物网络关系发现及演化呈现方法。

背景技术

随着移动互联网时代的到来，人与人之间的交流大部分都是通过网络来完成，因此人物社交都带有网络属性，社交的范围和受众早已超越过去的线下交流。对人物社交网络的研究已经不能局限于传统的人与人之间的研究，需要将现代的生物识别技术与传统的人物网络研究相结合。

随着深度学习技术的快速发展，人脸识别作为一个多领域课题集合，被众多研究人员分成了多个小课题来进行独立深入研究，大致可分为：

第一，人脸检测：即在包含大量冗余信息的图像中找出人脸区域，是样本采集以及人物跟踪的第一步，一个高效准确的人脸检测算法对于人脸识别整体系统来说是获取输入信息源头；

第二，人脸预处理：即将检测到的人脸进行进一步的细致分析和变形，使其达到最优化的待识别状态。其中预处理又包含多个方面，如：灰度处理，光照处理面部特征点标记，几何形态处理等；

第三：人脸跟踪，即在视频识别时，为了更快的确定人物身份，对已认识的人物进行位置跟踪，或者是对同一个待测目标在不同视频画面中进行多次识别并综合结果确认人物身份以降低误识别率；

第四：人脸识别，即通过特征匹配方式将当前不认识的人物与训练样本库中认识的人物样本完成对比，满足一定匹配度范围的未知样本与已知样本进行关联，即该人物与匹配成功的已知人物是同一人；

第五，面部属性分析，即通过面部特征点定位后，对特征点几何分布位置进行合理的数学分析并综合人物的肤色情况，得出人物的年龄，性别，种族以及表情神态等，从而进一步分析人物的情绪状态和生理状态等。

从以上五个方面来看，人脸识别更加侧重研究上的准确性和技术上的应用性。

现有视频图像识别技术的重点是提高识别准确度，应用在情感识别、交通识别、视频跟踪和视频图像识别装置等方面，在视频图像识别与社交网络领域相结合的研究，实现跨领域创新方面还有待进一步提高。

第四类研究是本发明的一个基础，而本发明更加侧重识别后的领域应用上，将识别技术与视频分析、社交网络分析相融合，实现技术上的创新和应用上的创新。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种基于视频图像识别的人物网络关系发现及演化呈现方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

基于视频图像识别的人物网络关系发现及演化呈现方法，包括如下步骤：

步骤1：视频数据预处理；具体包括如下步骤：

步骤1.1：视频输入；

步骤1.2：对输入的视频进行按帧截取；

步骤1.3：人脸检测，判断是否检测到人脸；

若：判断结果是没有检测到人脸，则不保存图像；

或判断结果是检测到人脸，则保存图像；

步骤1.4：将保存的图像做成数据集，对数据集进行分割，添加标签；

步骤1.5：特征向量提取，提取出数据集分割的训练集和测试集；

步骤1.6：使用训练集对模型进行训练，使用测试集对模型进行测试；

步骤1.7：模型判断，判断模型是否满足精度的要求；

若：判断结果是模型满足精度的要求，则保存模型；

或判断结果是模型不满足精度的要求，则执行步骤1.5-步骤1.7，直至模型满足精度的要求；

步骤2：人脸识别及更新；具体包括如下步骤：

步骤2.1：判断模型是否存在；

若：判断结果是模型不存在，则返回数据预处理重新进行训练；

或判断结果是模型存在，则将图片输入；

步骤2.2：特征向量提取，进行人脸识别；

步骤2.3：根据人脸识别情况进行SVM分类，得到分类预测结果；

步骤2.4：判断分类预测结果的大小；

若：判断结果是分类预测结果小于判断未知人脸的阈值，则将人脸判断为未知的，并将此未知人脸保存下来，然后执行步骤2.5；

或判断结果是分类预测结果大于人脸的阈值，则将该分类预测结果作为输入，然后执行步骤2.6；

步骤2.5：对保存下来的未知人脸图片进行人工统计，当相同类图像数据达到标注的阈值，进行手动标注，构建新的人脸类，然后执行步骤2.6；当人工统计相同类图像数据没有达到标注的阈值，则停止模型的更新，保存现有模型；

步骤2.6：进行模型自适应更新，然后执行步骤2.3，；

步骤3：人物关系网络构建及动态可视化；具体包括如下步骤：

步骤3.1：对人脸识别结果进行预处理；

步骤3.2：基于识别人脸进行网络构建；

对图像采用多帧合成的方式，将多张连续的图片识别出来的结果融合叠加成一张网络，将识别出来的人名作为网络图的节点，人名出现的次数作为权重，输入网络图；并基于帧的时间，标注构建网络的时间戳；

步骤3.3：视频播放与构建的人物关系网络同步动态可视化；

根据标注的时间戳与视频中的时间轴进行映射，而后根据视频播放的时间轴，进行视频播放与人物关系网络同步动态可视化呈现。

本发明所带来的有益技术效果：

1、本发明将视频图像的人物识别与社交网络相结合，实现跨领域的技术应用；

2、采用视频帧的处理技术，提取具有时间戳的视频图像数据集合；

3、半监督的人脸识别技术：传统的人脸识别，对未知图像，或者未登录的图像无法处理，本发明采用SVM分类预测模型进行人脸识别，并以视频图像数据集合为输入，进行人脸识别，当出现未知人脸和未登录人脸时，通过人工干预的方式，进行训练集合的更新和人脸识别模型的更新；

4、用动态变化的社交网络描述视频图像中人物之间的关系变化，本发明创新性的提出了用动态变化的社交网络技术，采用相邻图像之间的人脸信息进行具有时间标签的网络构建，并利用视频信息中的时间序列和具有时间戳的网络关系，进行时间对齐操作，从而实现视频与人物关系网络的同步动态呈现。该方法有效的、直观的反映了视频中人物关系变化情况，有助于理解视频的含义；

5、该方法具有一定的应用价值，可以应用到视频网站的影视剧的播放过程中，能够有助于观看者直观的了解当前剧情演员的关系变化情况，有助于观看者更加容易理解剧情。

附图说明

图1为本发明方法的流程图。

图2为人脸识别模型训练流程图。

图3为半监督的模型更新示意图。

图4为人物关系网络及可视化流程图。

图5为人物关系网络呈现示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

本发明要解决的技术问题

本文以识别人物关系网络过程中，人物关系发现为核心目标，需要解决的关键技术问题包括：第一：人脸特征向量表示。第二：模型的自适应更新以及未知人脸的判定。第三：人物关系网络的构建；第四：基于时序的人物关系网络演化呈现。解决这四个方面的问题能够完成对视频人物识别的半监督学习，并根据识别结果进行人物关系网络的构建、时间戳标注和演化分析，根据时间戳和视频时间轴的映射以及对齐，实现网络变换与视频播放同步。因此，本发明要解决的具体关键问题是：

关键技术问题1：人脸特征向量表示

使用HOG算法给图片编码，以创建图片的简化版本。使用这个简化的图像，找到其中看起来最像通用HOG面部编码的部分。通过找到脸上的主要特征点，找出脸部的姿势进行人脸对齐，而后将处理过的图像放入神经网络中，通过神经网络模型找到128维嵌入。

关键技术问题2：模型的自适应更新以及未知人脸的判定

使用SVM支持向量机进行分类，在传统的SVM分类器的基础上加入了评估函数，对每一个结果的可能性进行判断，若大于更新阈值就进行模式的更新，若全部小于一个阈值就判断为未知人脸，从而完成对视频人物识别的半监督学习。

关键技术问题3：人物关系网络的构建问题

采用多帧合成的方式处理识别出来的结果，识别出来的人名作为网络图的节点，人名出现的次数作为权重输入网络图，之后通过nx.draw()函数将网络图画出。将每次识别的结果都进行绘制，并且逐次累加。其中，将权重作为边的宽度，并且如果权重大于设定的阈值就将边的颜色变为红色。

关键技术问题4：基于时序的人物关系网络演化的可视化呈现技术

基于视频的时序特点，将构建的人物关系网络映射到视频时间轴上，而后，基于JUNG开源程序，对网络进行实时的可视化，并根据网络的变化情况，基于网络结构分析方法，给出网络中的核心节点、边缘节点以及社区结构等等。该方法能够有效的将视频中人物关系网络中人与人之间的关系以权重(线条粗细)和社区结构的形式呈现出来。该技术能够为观看视频的用户提供直观的人物之间的关系变化情况，以及视频中人物的重要程度的变化趋势等。

2、发明的目的

本发明的目的主要有以下几点：

1.实现视频图像中人物的精准提取。

2.利用视频图像中人物同时出现的情况，构建视频人物关系网络。

3.利用视频的时序特征，实现人物关系网络的动态变化。

4.分析并能够度量人物关系网络中人物网络行为。

3、本发明技术方案的基本内容。

本发明以“数据预处理-人脸识别-人物关系网络构建-视频与网络关系同步播放”为主线。首先使用OpenCV对视频人物图像进行截取构建人脸数据集，将获得的训练集训练SVM分类器，用测试集来评估SVM模型；其次，利用HOG算法给图片编码，通过神经网络模型找到人脸的128维嵌入，通过训练好的SVM模型进行分类，挑出未知的人脸，并将识别准确率高的图片更新模型；最后，以识别出来的人名为节点，人名出现的次数为边的权重，构建人物关系网络。整体的技术方案如图1所示。

4、本发明技术方案的详细阐述

本发明将生物识别与人物关系网络进行结合，基于视频对人物关系网络进行构建，主要以美剧《生活大爆炸》(The Big Bang Theory)为例，对该视频中的主要人物进行人脸识别，并将其结果构建人物关系网络并可视化。

主要通过OpenCV的Haar+AdaBoost来进行人脸检测，并使用OpenCV对视频图像进行截取，以HOG+SVM作为人脸识别，将识别之后的结果运用NetWorkX进行网络构建并可视化。

对人脸识别模型来说需要将训练集以文件夹形式进行分类，文件名就是该标签名也就是之后识别的结果，即使是一张人脸也可以进行识别，因为该系统可以在识别任务中不断添加人脸数据，不断更新模型。

数据预处理：首先读入视频流使用函数cv2.VideoCapture对视频流进行操作，其次循环频率间隔的时间段同时检测人脸，如果检测到人脸就将其图片进行保存，最后使用键盘按键‘q’用于跳出该循环。将所产生的图片做成数据集，在第一次时需要将得到的数据集进行分割，分割出训练集和测试集，并且使用训练集训练模型，使用测试集对模型进行测试如果不满足该模型精度的要求将调整模型训练的参数，重新训练。具体流程如图2所示。

人脸识别：首先需要对模型是否存在进行判断，如果模型不存在，则需要返回数据预处理模块进行重新训练，如果存在模型就开始进行识别人脸，根据识别人脸的情况进行分类即通过一个评估函数，如果识别结果全都小于一个阈值(unknown_threshold，判断未知人脸的阈值)则将其判断为未知的，并保存下来；如果识别的结果大于一个阈值(adapt_threshold，判断人脸更新的阈值)则将这个识别的特征向量作为输入，更新模型。最后，也可以将保存下来的未知人脸图片手工进行分类，然后再更新模型。具体流程如图3所示。

人物关系网络构建：将人脸识别模块识别出来的结果进行网络的构建及可视化，首先需要将结果进行预处理，因为网络的构建需要两个人及以上的情况才有效。需要对图像采用多帧合成的方式，将多张连续的图片识别出来的结果看成是一张。识别出来的人名作为网络图的节点，人名出现的次数作为权重输入网络图，并根据权重进行不同的可视化展示。具体流程如图4所示。

5、本发明关键点和欲保护点

本发明关键点和欲保护点主要有以下几个方面：

基于视频图像人物识别的视频人物关系实时构建与分析技术：融合视频图像人脸识别和社交网络分析技术，创新性的提出了视频图像人物关系的动态构建方法。该方法能够随视频的播放，实时构建和呈现视频中人物关系的变化情况，并能够给出人物在网络中的重要程度度量。

人脸识别的半监督学习：本发明在传统的SVM分类器的基础上加入了评估函数，对每一个结果的可能性进行判断，若大于更新阈值就进行模式的更新，若全部小于一个阈值就判断为未知人脸，从而完成对视频人物识别的半监督学习。

对识别结果的多帧处理技术：本发明通过将前后一段时间的几张图片的识别结果综合起来看，即使存在一张图片无法识别出的人脸也可以从之后的图片中进行识别，从而解决无法识别背影这个问题。

基于视频人物共现的网络构建技术：在通过视频图像人物识别的基础上，本发明提出了，人物关系网络构建方法，以相同或相邻图像中，人物共现为规则，构建人物关系网络，当识别的人物同时出现在相同或相邻图像(视频中的帧)中时，人物之间构建边关系。权重则表示共现的次数。

基于视频时序的网络演化呈现以分析技术：本发明将构建的网络映射到视频的时序关系中，形成动态的网络呈现，并在此基础上，调用开源JUNG，对网络结构进行度量，呈现相关网络节点的结构参数，用于对网络结构的理解。实现视频与网络关系同步呈现，从而为观看者提供辅助的视频理解功能。

6、本发明是否经过实验、模拟、使用而证明可行，结果如何

本发明的方案通过实验的方式，对美剧《生活大爆炸》(The Big Bang Theory)中的Amy、Howard、Leonard、Penny、Rajesh以及Sheldon六个人物进行人物网络构建。实验结果如图5所示。

其中以识别出来的人名作为网络图的节点，人名出现的次数作为权重输入网络图，如果权重大于某一阈值就将线变成红色。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (1)

1.基于视频图像识别的人物网络关系发现及演化呈现方法，其特征在于：包括如下步骤：

步骤1：视频数据预处理；具体包括如下步骤：

步骤1.1：视频输入；

步骤1.2：对输入的视频进行按帧截取；

步骤1.3：人脸检测，判断是否检测到人脸；

若：判断结果是没有检测到人脸，则不保存图像；

或判断结果是检测到人脸，则保存图像；

步骤1.4：将保存的图像做成数据集，对数据集进行分割，添加标签；

步骤1.5：特征向量提取，提取出数据集分割的训练集和测试集；

步骤1.6：使用训练集对模型进行训练，使用测试集对模型进行测试；

步骤1.7：模型判断，判断模型是否满足精度的要求；

若：判断结果是模型满足精度的要求，则保存模型；

或判断结果是模型不满足精度的要求，则执行步骤1.5-步骤1.7，直至模型满足精度的要求；

步骤2：人脸识别及更新；具体包括如下步骤：

步骤2.1：判断模型是否存在；

若：判断结果是模型不存在，则返回数据预处理重新进行训练；

或判断结果是模型存在，则将图片输入；

步骤2.2：特征向量提取，进行人脸识别；

步骤2.3：根据人脸识别情况进行SVM分类，得到分类预测结果；

步骤2.4：判断分类预测结果的大小；

若：判断结果是分类预测结果小于判断未知人脸的阈值，则将人脸判断为未知的，并将此未知人脸保存下来，然后执行步骤2.5；

或判断结果是分类预测结果大于人脸的阈值，则将该分类预测结果作为输入，然后执行步骤2.6；

步骤2.5：对保存下来的未知人脸图片进行人工统计，当相同类图像数据达到标注的阈值，进行手动标注，构建新的人脸类，然后执行步骤2.6；当人工统计相同类图像数据没有达到标注的阈值，则停止模型的更新，保存现有模型；

步骤2.6：进行模型自适应更新，然后执行步骤2.3，；

步骤3：人物关系网络构建及动态可视化；具体包括如下步骤：

步骤3.1：对人脸识别结果进行预处理；

步骤3.2：基于识别人脸进行网络构建；

对图像采用多帧合成的方式，将多张连续的图片识别出来的结果融合叠加成一张网络，将识别出来的人名作为网络图的节点，人名出现的次数作为权重，输入网络图；并基于帧的时间，标注构建网络的时间戳；

步骤3.3：视频播放与构建的人物关系网络同步动态可视化；

根据标注的时间戳与视频中的时间轴进行映射，而后根据视频播放的时间轴，进行视频播放与人物关系网络同步动态可视化呈现。