CN103049459A - 一种基于特征识别的快速录像检索方法 - Google Patents

Abstract

本发明公开了一种基于特征识别的快速录像检索方法，为了减少在视频监控系统录像检索过程中消耗的时间，提出将人脸检测、人脸识别、后台检索三种技术相结合，首先利用人脸检测算法将每帧检测到的人脸图像提供给人脸识别部分，然后针对人脸图像运用人脸识别算法进行模式分类，最后将人脸识别后的模式分类信息、帧信息、位置信息等相关信息建立索引加入视频监控系统录像存储的索引信息中。本发明方法可以在事后提供被索引目标模板的情况下，实现快速而又准确的被索引目标的录像回放，大大的节省检索时间。

Description

一种基于特征识别的快速录像检索方法

技术领域

本发明涉及一种基于特征识别的快速录像检索方法，属于安全防范视频监控领域。

背景技术

视频监控平台是安防系统的重要组成部分，它可以把监控场景的视频数据传输到监控中心，使被监控场景的情况一目了然，同时可以存储被监控场景的视频数据和声音数据，这样可以为事后某件事件的调查取证提供查询依据。

当前视频监控平台的应用，一般是视频采集设备将采集的视频数据输送到后端监控中心，存储在存储服务器中，如NVR等，以往的存储主要依靠时间，报警类别，定时，手动等，实现多种情况的录像存储。事后通过调阅录像来回放事发现场，这种全程回放需要消耗大量的时间，不利于监控人员迅速采取有效措施。一种方法是应用智能视频分析技术抓取监控场景中的特征图片比如车牌特征及其相关信息，并且将特征图片独立存储。事后通过首先查找特征图片及其相关信息，以其作为索引来检索存储录像。虽然该方法可以大大提高检索录像的效率，但是对于提供已知目标的情况下，依次来查找存储特征图片的方法仍显不足。

比如，对于公安机关通缉的犯罪分子，要获得其最后现身的时间和地点。依据上述方法就会浪费大量的人力资源和时间。这是因为当前视频监控平台前端视频采集设备一般有成百上千个，各个视频采集设备抓拍并且存储在后端的特征图片也是大量的，那么依次来查找未知监控地点的特征图片依然具有较大的盲目性，不利于监控人员迅速采取有效措施。若能将监控场景中的人脸特征信息以参数的形式存储到存储设备索引信息中，那么通过提供目标特征信息可以快速准确的将关注的人或事件发生时段回放而不将时间浪费在无用的时段，将会极大的提高办事效率。

当前人脸检测与识别技术在监控领域的应用已经非常成熟，它广泛采用区域特征分析算法，融合了计算机图像处理技术与生物统计学原理于一体，利用计算机图像处理技术从视频中提取人像特征点，利用生物统计学的原理进行分析建立数学模型。人脸识别的优势在于其自然性和不易被个体察觉的特点，它符合人类自身的习惯，也能被使用者广泛接受，不同于指纹识别或者虹膜识别，需要利用电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特殊的采集方式很容易被人察觉，从而更有可能被伪装欺骗。所以在视频监控中应用人脸识别技术具有广阔的发展前景。

发明内容

本发明提供了一种基于特征识别的快速录像检索方法，目的是为了克服传统视频监控应用中，仅仅只是依据时间、报警类别、定时、或者手动来存储监控场景数据，从而导致事后调阅录像回放现场时需要全程观看录像消耗大量的时间，不利于迅速采取有效措施。

一种基于特征识别的快速录像检索方法，其特征在于，包括如下步骤：

(1)获取监控场景的视频数据，应用人脸检测算法提取该视频数据中的人脸图像；

此处得到的人脸图像不仅是图像本身，而且还包括相关信息(即人脸检测结果的一些相关输出)，例如人脸在图像中的位置，人脸的大小，检测准确率等。

(2)应用人脸识别算法处理提取到的人脸图像，得到该人脸图像的人脸特征模板；

(3)将所述的人脸特征模板以及对应人脸图像的帧信息、时间信息作为索引，加入视频监控平台录像存储的索引信息中；

(4)在所述的索引信息中按照相似度最大原则获得与目标人脸的模板相匹配的人脸特征模板，根据该人脸特征模板获取对应的视频数据。

步骤(1)中，可以与运动检测、区域入侵等算法相结合，在监控场景的视频数据中出现或获得运动目标时开始执行所述的人脸检测算法。

步骤(2)中，通过人脸识别算法计算接收的人脸图像过程中，将对所有人脸图像生成的人脸特征模板按照相似度进行分类存储，将相似度很大的人脸特征模板合并，不同的人脸特征模具有相应的模式分类信息。

步骤(2)中，对相似度很高的人脸特征模板进行合并的过程中，将相应的帧数信息做整合处理，即提取出该人脸特征模板的初始帧和结束帧。

步骤(3)中，新加入的视频监控平台录像索引信息既可以单独使用，也可以与传统以时间、报警类别、定时等为索引的信息结合使用。

本发明的有益效果在于：

1、在传统的视频监控系统录像检索中加入一种新的检索方法，即应用智能视频分析算法将监控场景特征信息人脸特征以参数形式作为录像存储的索引，事后通过提供目标特征可以快速检索存储录像，大大的提高了检索录像的效率。

2、由于本发明将监控场景特征以参数形式作为录像存储的索引，因此在提供目标特征的情况下，其检索录像的效率不受具体监控地点的影响，即对于整个视频监控系统各视频采集设备所对应的录像存储检索效率是一样的。

3、本发明方法的延伸性好，可以与车牌识别、行为分析等其他智能方向相结合。

附图说明

图1是本发明一种基于特征识别的快速录像检索方法的主流程图；

图2是图1中步骤(4)的流程图。

具体实施方式

下面结合附图对本发明的实施例做详细说明：本实施例在以本发明技术方案为前提下实现，给出了详细过程，但本发明的保护范围不限于下述的实施例。

本发明一种基于特征识别的快速录像检索方法，包括：

步骤(1)，如图1，人脸检测部分。本实施例基于网络视频监控平台实现，前端视频采集设备采用网络高清摄像机，将采集的监控场景视频数据实时输入监控中心存储服务器上，比如NVR，本发明方法中对数据的处理可以在NVR中实现。人脸检测是指在输入图像中确定所有人脸(如果存在)的位置、大小和位姿的过程。假设一幅图像中只存在一张脸，则面部特征检测的目的是检测特征的存在和位置，如眼睛、鼻子(鼻孔)、眉毛、嘴(嘴唇)、耳朵等。人脸检测一般有以下四种方法，1)基于知识的方法，它将典型的人脸形成规则库对人脸进行编码，通常，通过面部特征之间的关系进行人脸定位。基于知识的方法是基于规则的人脸检测方法，规则来源于研究者关于人脸的先验知识。一般比较容易提出简单的规则来描述人脸特征和它们的相互关系，如在一幅图像中出现的人脸，通常具有互相对称的两只眼睛、一个鼻子和一张嘴。特征之间的相互关系可以通过它们的相对距离和位置来描述。在输入图像中首先提取面部特征，确定基于编码规则的人脸候选区域。2)基于特征的方法，它不仅可以从已有的面部特征而且可以从它们的几何关系进行人脸检测。与基于知识的方法相反，它是寻找人脸的不变特征用于人脸检测。人们已经提出了许多先检测人脸面部特征，后推断人脸是否存在的方法。面部特征，如眉毛、眼睛等，一般利用边缘检测提取，根据提取的特征，建立统计模型描述特征之间的关系并确定存在的人脸。3)模板匹配方法。存储几种标准的人脸模式，用来分别描述整个人脸和面部特征，计算输入图像和存储的模式间的相互关系并用于检测。这些存储的标准人脸模式是预先定义的。4)基于外观的方法，与模板匹配中的方法不同，它的模板是从图像中的样本学习的。通常，基于外观的方法依靠统计分析和机器学习技术找到相应的人脸和非人脸图像的特征。学习的特征由分布模型或判别函数形成，用于人脸检测，同时，由于计算效率和检测有效性的原因通常需要降维。

人脸检测是人脸识别的第一步，人脸检测算法的鲁棒性直接影响了后续算法的有效性。当前人脸检测算法应用已经很成熟，不过这是针对正面端正的人脸检测，而对于多姿态的人脸检测比如侧面人脸检测还存在较大的困难，目前有效的方法不多。因此，在算法执行时这些因素需要充分考虑。本实施例中，采用模版匹配的方法来进行人脸检测，通过人脸的标准模式种类，也能够对检测到的人脸做第一级的分类，为后续检索过程中的特征匹配，做最初的筛选依据。

步骤(2)，如图1，人脸识别及模式分类存储部分。应用人脸识别算法处理所有输入的人脸图像，与标准人脸模板进行匹配，提取人脸特征模板，然后对它们进行分类处理，整合相似度高的人脸特征模板为同一人的人脸模板，将人脸特征模板加入人脸数据库，训练人脸数据库人脸模板，以得到更为精确的标准人脸模板。

人脸识别的本质是一个三维塑性物体二维投影图像的匹配问题，它的困难体现在：1)人脸塑性变形(如表情等)的不确定性；2)人脸模式的多样性(如胡须、发型、眼睛等)；3)图像获取过程中的不确定性(如光照的强度、光源方向等)。识别人脸主要依据人脸上的特征，也就是说依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的度量。在对人脸图像进行特征提取和分类之前一般要做预处理，主要包括几何归一化和灰度归一化。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小。灰度归一化是指对图像进行光照补偿等处理，光照补偿能够在一定的程度上克服光照变化的影响而提高识别率。

人脸特征提取和识别方法大概可以分为以下几类：1)基于几何特征的识别方法，这类识别方法将人脸用几何特征矢量表示，用模式识别中层次聚类的思想设计分类器达到识别目的。这就要求选取的几何特征矢量具有一定的独特性，能够反映不同人脸之间的差别，同时又具有一定的弹性，以消除时间跨度、光照等的影响。2)基于代数特征的识别方法，这类识别方法仍然是将人脸用特征矢量表示，只不过用的是代数特征矢量。3)基于连接机制的识别方法，也就是通常所说的神经网络方法。目前神经网络方法在人脸识别中的研究方兴未艾。这类识别方法将人脸直接用灰度图表征，利用了神经网络的学习能力及分类能力，这种方法的优势在于保存了人脸图像中的材质信息及细微的形状信息，同时避免了较为复杂的特征提取工作。本实施例中采用基于连接机制的识别方法，能够保留更多细节信息，为后续检索提供更多筛选依据。

步骤(3)，如图1，建立以人脸特征模板及其相关信息为索引的信息，加入视频监控录像存储索引信息中。新加入的索引可以单独使用，也可以与传统视频监控以时间、报警类别、定时等作为录像存储的索引结合使用。

步骤(4)，通过以上各步骤，实现了加入视频监控平台录像检索新的方法，事后回放录像时，在提供目标人脸的情况下，如图2，首先获得匹配目标的人脸图像，提取输入图像的模板，然后将该模板依次与存储区中模板计算相似性，按照相似度最大原则，提取匹配模板的相关索引参数，最后按照索引可以快速检索到相关的录像。

比如，对于公安机关通缉的犯罪分子，要获知其在某段时间某地现身的信息。可以首先通过人脸识别算法提取其人脸特征信息，然后以其作为索引信息，可以在视频监控平台中心针对成百上千个前端视频采集设备所采集并存储的视频录像，实现快速准确的录像检索，从而第一时间获得犯罪分子的踪迹，有利于迅速采取有效措施。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (3)

1.一种基于特征识别的快速录像检索方法，其特征在于，包括如下步骤：

(1)获取监控场景的视频数据，应用人脸检测算法提取该视频数据中的人脸图像；

(2)应用人脸识别算法处理提取到的人脸图像，得到该人脸图像的人脸特征模板；

(3)将所述的人脸特征模板以及对应人脸图像的帧信息、时间信息作为索引，加入视频监控平台录像存储的索引信息中；

(4)在所述的索引信息中按照相似度最大原则获得与目标人脸的模板相匹配的人脸特征模板，根据该人脸特征模板获取对应的视频数据。

2.如权利要求1所述的基于特征识别的快速录像检索方法，其特征在于，步骤(1)中，在监控场景的视频数据中出现或获得运动目标时开始执行所述的人脸检测算法。

3.如权利要求2所述的基于特征识别的快速录像检索方法，其特征在于，步骤(2)中，将对所有人脸图像生成的人脸特征模板按照相似度进行分类存储。

Images