CN104850607A - 一种多节点视频重组方法和系统 - Google Patents

Abstract

本发明提供了一种多节点视频重组方法，能够获取被观察目标正面信息的连续视频。除此以外，本发明还提供一种多节点视频重组系统，该系统包含视频采集模块、视频重组模块和视频重现模块。该系统能够充分采集被观察目标视频信息，并对其重组以获取被观察目标正面信息的连续视频，视频信息被保存后可以应用户的要求以被观察目标为对象来查阅视频信息资料。用于观察记录的多节点视频重组方法和系统通过采集多个观察源下的视频数据并对其进行重组处理，获得被观察目标正面信息的连续视频，方便用户快速、全面浏览到观察目标的全部正面信息，与现有技术相比，具有获取观察目标正面信息的全面性、连续性的优点。

Description

一种多节点视频重组方法和系统

技术领域

本发明涉及视频数据处理领域，尤其涉及一种多节点视频重组方法和系统。

背景技术

所谓观察记录系统，由两个部分组成：观察部分和记录部分。观察为细察事物的现象、动向，它的中心工作在于获取感兴趣目标尽可能多的信息。记录是将观察到的事实、证据、实践操作的过程，以及产生的想法和问题，用文字、图画等形式记下来。视频观察记录系统是把视频作为一种观察方式来采集信息，在保证充分的视频采集和结构化的视频处理和存储后，为研究人员对观察对象进行详细准确的分析和认知提供数据。

在社会日益发展的今天，人类自身发展是社会发展的终极目标，观察记录就是为了更好理解个人心理意念和行为活动的关联，从而通过调节及时排除身心问题促进人更好地发展。在一个对目标行为的观察记录系统中，观察者希望在观测时间内始终能看到目标的正面行为表情。由于被观察目标处在运动的状态，单个观察源(摄像机)的结构布局不能保证始终获得目标正面的行为表情。可以通过增加观察源来保证观察对象的正面始终处在一定角度范围内，即通过布置多个观察源来充分采集观察者的表情或行为信息，提高观察记录的全面性。由于多个观察源拍摄的时段是一致的，因此每个视频文件中都可能包含部分目标的正面信息，当用户需要观察拍摄时段内目标所有的正面信息时，需要查看每段视频数据，非常不便，因此有必要对多观察源下得到的视频做有效处理。

目前国内外没有对观察记录系统做相应的研究，视频数据处理的主要目的集中在对人员监控和异常分析报警方面，通常采用图像增强、检索压缩、智能分析、摘要统计等方法对监控对象进行行为分析、快速识别；在人脸检测识别方面虽然出现了一些多角度人脸识别方法，或者通过人脸识别进行视频检测，检测视频中人物的出现等方法，但均是仅仅为了获取人脸正面信息，而没有实现对多方数据进行重组、获得以目标正面信息为拍摄对象的连续视频记录的功能。此外，单个视频观察数据可能在数据采集上不全面、不完整，而多个视频数据之间又没有必然的融合，不能给使用者时空上的整体感。

发明内容

针对现有技术中的上述不足之处，本发明提供了一种多节点视频重组方法，能够获取被观察目标正面信息的连续视频。

除此以外，本发明还提供一种多节点视频重组系统，该系统能够充分采集被观察目标视频信息，并对其重组以获取被观察目标正面信息的连续视频，视频信息被保存后可以应用户的要求以被观察目标为对象来查阅视频信息资料。

本发明的目的：以某空间中的N个人作为研究对象，采用多个摄像头拍摄其在该空间内的某个时段的多个视频，通过人脸识别，找到每个视频当中包含第I个(I＝1，……，N)目标正面信息的视频帧图，再进行视频重组，即将这些帧图按照时间排序，获得第I个(I＝1，……，N)目标在该空间该时段内正面信 息的连续视频。

为达到上述目的，本发明采用了下列技术方案：

第一步：对于观察记录中拥有的m个观察源、n个被观察目标，m和n均为正整数，建立n+1个结果集合，即n个被观察目标检测结果R₁,R₂…,R_n和一个未识别人员集合R_n+1；把从m个观察源获得的m个视频段用V_i表示，其中i＝1,2,…,m，并保证每个视频段开始和结束的时刻是相同的；将m个视频段V_i,i＝1,2,…,m分别分解为帧图，并保存到对应的帧图集合A_i,i＝1,2,…,m中，其中A_i＝{f_i,1,f_i,2,…,f_i,max}，f_i,k是帧图，i是第一下标，k是第二下标，k＝1,2,…,max，max是正整数；

第二步：从V_i,i＝1,2,…,m，中任选一个视频段V_kk作为参考数据，其中kk∈{1,2,…,m}，其对应的帧图集合为A_kk，A_kk＝{f_kk,1,f_kk,2,…,f_kk,max}；

第三步：对帧图集合A_kk中的帧图做背景减除和帧差，去除冗余信息得到关键帧集合M_kk，其中 f_kk,j是关键帧，其中j＝key1,key2,…,keym，key1,key2,…,keym是正整数，key1≤key2≤…≤keym，且keym≤max，然后在其它帧图集合A_i,i＝1,2,…,m,i≠kk中分别挑选出第一下标为i、第二下标为j的帧图，其中j＝key1,key2,…,keym，放到对应的关键帧集合M_i中，i＝1,2,…,m,i≠kk；

第四步：对M_kk中的帧图f_kk,j，j＝key1,key2,…,keym，按时间顺序进行人脸检测和人脸的角度估计，如果帧图包含被观察目标正面人脸信息，则在这幅帧图上生成人脸框图，然后执行第六步，如果帧图不包含被观察目标正面人脸信息，则执行第五步；

第五步：根据人脸角度估计的结果和摄像机布置的拓扑结构，对第四步中不包含被观察目标正面人脸信息的帧图进行分析，分析出与该帧图具有相同第二下标的、包含被观察目标正面人脸信息的帧图在某关键帧集合M_i中，i∈{1,2,…,m},i≠kk，然后对M_i中这幅帧图再做人脸检测，如果该帧图包含被观察目标正面人脸信息，在该帧图上生成人脸框图，然后执行第六步，如果该帧图不包含被观察目标正面人脸信息，则按照i从小到大的顺序依次对其它关键帧集合M_i中的、与第四步中不包含被观察目标正面人脸信息的帧图具有相同第二下标的帧图进行人脸检测，如果检测到某帧图包含被观察目标正面人脸信息，在该帧图上生成人脸框图，然后执行第六步，如果检测完所有的关键帧集合M_i，仍找不到包含被观察目标正面人脸信息的帧图，则舍弃掉第四步中不包含被观察目标正面人脸信息的帧图，然后执行第八步；

第六步：对人脸框图归一化处理，提取人脸特征；

第七步：将人脸框图和观察对象人脸库进行人脸特征匹配，把包含人脸框图的该帧分到对应的结果集合R_s中，其中s＝1,2,…,n+1；

第八步：循环第四至第七步骤，直到帧图片处理结束。

优选的，所述的视频段V_kk选用正对观察对象时间最长的摄像机记录的视频。

上述步骤中，人脸检测和人脸的角度估计的方法可以分别参考现有技术：“一种基于人脸识别的视频检测方法及检测装置”(申请号：201410336715.4)和“一种多角度人脸识别方法及系统”(申请号：2012210032837.5)。

一种多节点视频重组系统，其特征在于，所述多节点视频重组系统包括视频采集模块、视频重组模块和视频再现模块；

所述视频采集模块利用图像传感器自动采集信息，图像传感器之间采用有线或者无线方式和视频数据处理中心相连接，视频各个节点之间有着共同的系统时间；

所述视频重组模块对视频采集模块获得的视频进行处理，获取被观察目标正面信息的连续视频，并将该视频保存到数据库中；

所述视频再现模块从数据库中查询出已经保存的数据记录，并将结果显示在查询界面，查询请求由客户端发起并由数据库的服务器接收、处理，之后将执行的结果返回给客户端。

用于观察记录的多节点视频重组方法和系统通过采集多个观察源下的视频数据并对其进行重组处理，获得被观察目标正面信息的连续视频，方便用户快速、全面浏览到观察目标的全部正面信息，与现有技术相比，具有获取观察目标正面信息的全面性、连续性的优点。本发明可以用来在幼儿教育中，及时发现儿童身心需要的额外帮助，达到因材施教；提供对老人、病人的监护过程中的数据分析，在军事训练中分析单兵战术动作等。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

附图1本发明系统结构示意图；

附图2本发明视频节点布置结构示意图；

附图3本发明人脸检测算法流程图；

附图4本发明实施例中视频重组原理图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

一种多节点视频重组系统，包括视频采集模块1，视频重组模块2，视频再现模块3，模块之间的联结方式如图1所示。

本发明的视频采集模块主要由多个数字摄像机组成，视频节点布置的位置如附图2所示，也可以采用 其他方式的布置结构，无论采用何种布置，必须获得各个观察节点的空间几何关系(距离，角度等)，为下一步处理提供依据。数据处理中心由PC机搭建，数据存储在相应的数据库，数据库有相应的服务平台，用户通过向数据库服务平台请求，获得浏览的权限。视频数据的处理主要在PC机搭建的视频数据处理中心，通过对多观察源下视频数据处理得到观察对象的全面信息的摘要，把原始数据和处理结果即对观察对象全面记录的信息存储在数据库供用户浏览使用。

假设4个观察源摄像机布置在室内四个墙角，观察源摄像机分别命名为A、B、C、D，四台摄像机同时进行了时长为1小时的视频观察。假设只有一个观察目标甲，对于处身室内的甲而言，每个时刻四个摄像机中只有一台摄像机拍摄到的视频是最接近正面的。图4(T1)-图4(T4)分别为A、B、C、D四个摄像机拍摄甲在08:10——09:10这一小时的活动情况的视频记录。其中摄像机A在时间段08:25——08:34和09:03——09:10拍到甲的正面，即图4(T1)中的Ab1和Ab2片段；Aa段表示摄像机A拍摄到了甲，但没有拍摄到甲的正面信息；Ac段表示的是摄像机A没有拍摄到甲。摄像机B在时间段08:11——08:20拍到甲的正面，即图4(T2)中的Bb片段；Ba段表示摄像机B拍摄到了甲，但没有拍摄到甲的正面信息；Bc段表示的是摄像机B没有拍摄到甲。摄像机C在时间段08:47——08:59拍到甲的正面，即图4(T3)中的Cb片段；Ca段表示摄像机C拍摄到了甲，但没有拍摄到甲的正面信息；Cc段表示的是摄像机C没有拍摄到甲；摄像机D在时间段08:38——08:47拍到甲的正面，即图4(T4)中的Db片段；Da段表示摄像机D拍摄到了甲，但没有拍摄到甲的正面信息；Dc段表示的是摄像机D没有拍摄到甲。

视频重组模块对视频采集模块获得的视频进行处理，获取被观察目标正面信息的连续视频，并将该视频保存到数据库中。

下面对4个观察源的视频进行重组，重组方法的流程如附图3所示，具体步骤说明如下：

(1)观察记录系统拥有4个观察源，1个被观察目标，建立2个结果集合：R₁和一个未识别人员集合R₂；首先把4个视频段V₁,V₂,V₃,V₄分解为帧图片到对应的集合A₁,A₂,A₃,A₄中；其中V₁,V₂,V₃,V₄四段视频开始和结束的时间相同，视频分解后集合A_i中包含728张帧图，A_i＝{f_i,1,f_i,2,…,f_i,728}；

(2)从V₁,V₂,V₃,V₄任选一段视频V₁作为参考数据，其对应的帧图集合为A₁，A₁＝{f_1,1,f_1,2,…,f_1,728}；

(3)对A₁中的帧图做背景减除和帧差，去除冗余信息得到关键帧集合M₁，其中 f_j(j＝1,26,…,726)是关键帧，M₁一共包含30张关键帧图；然后在其它帧图集合A₂,A₃,A₄中分别挑选出第二下标为j(j＝1,26,…,726)的帧图放到对应的关键帧集合M₂,M₃,M₄中，其中 $M_i=\{f_{i,1},f_{i,26},...,f_{i,726}\}\⊆A_i(i=\mathrm{2,3,4});$

(4)对M₁中的帧图f_1,j(j＝1,26,…,726)按时间顺序进行人脸检测和人脸的角度估计，如果帧图包含被观察目标正面人脸信息，则在这幅帧图上生成人脸框图，然后执行第六步，如果帧图不包含被观察目标正面人脸信息，则执行第五步；

(5)根据人脸角度估计的结果和摄像机布置的拓扑结构，对第四步中不包含被观察目标正面人脸信息的帧图进行分析，分析出与该帧图具有相同第二下标的、包含被观察目标正面人脸信息的帧图在某关键帧集合M_i(i∈{2,3,4})中，然后对M_i中这幅帧图再做人脸检测，如果该帧图包含被观察目标正面人脸信息，在该帧图上生成人脸框图，然后执行第六步，如果该帧图不包含被观察目标正面人脸信息，则按照i从小到大的顺序依次对其它关键帧集合M_i中的、与第四步中不包含被观察目标正面人脸信息的帧图具有相同第二下标的帧图进行人脸检测，如果检测到某帧图包含被观察目标正面人脸信息，在该帧图上生成人脸框图，然后执行第六步，如果检测完所有的关键帧集合M_i，仍找不到包含被观察目标正面人脸信息的帧图，则舍弃掉第四步中不包含被观察目标正面人脸信息的帧图，然后执行第八步；

例如在检测第一张帧图f_1,1的时候，检测到摄像机A没有拍摄到甲的正面信息，通过角度估计的结果和摄像机布置的拓扑结构，可以分析出摄像头B拍摄到了正面信息，那么接下来对M₂中第二下标为1的帧图f_2,1进行处理；如果该帧图f_2,1包含被观察目标正面人脸信息，在该帧图f_2,1上生成人脸框图，然后执行第六步，如果该帧图f_2,1不包含被观察目标正面人脸信息，则按照i从小到大的顺序依次对其它关键帧集合M_i中的、与第四步中不包含被观察目标正面人脸信息的帧图具有相同第二下标的帧图进行人脸检测，也即对f_3,1,f_4,1进行人脸检测，如果检测到帧图f_3,1或者f_4,1包含被观察目标正面人脸信息，在该帧图上生成人脸框图，然后执行第六步，如果检测完所有的关键帧集合M₂,M₃,M₄，仍找不到包含被观察目标正面人脸信息的帧图，则舍弃掉第四步中不包含被观察目标正面人脸信息的帧图f_1,1，然后执行第八步；

(6)对人脸框图归一化处理，提取人脸特征；

(7)将人脸框图和观察对象人脸库进行人脸特征匹配，把包含人脸框图的该帧分到对应的结果集合R₁或R₂中；

(8)循环上述步骤(4)到(7)，直到帧图片处理结束。

最后得到结果集合R₁中有20张包含正面人脸信息的帧图，根据时间轴上先后顺序，得到四个视频源的最优视频片段排序为Bb-Ab1-Db-Cb-Ab2，如图4(T5)所示。

原始视频数据和重组后的视频存储在数据库中。

视频再现模块从数据库中查询出已经保存的数据记录，并将结果显示在查询界面，查询请求由客户端发起并由数据库的服务器接收、处理，之后将执行的结果返回给客户端。当用户需要浏览时，就可以访问数据库查看甲在该空间该时段内正面信息的连续视频，或者单独查看某个摄像头的视频记录。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种多节点视频重组方法，其特征在于，包括如下步骤：

第一步：对于观察记录中拥有的m个观察源、n个被观察目标，m和n均为正整数，建立n+1个结果集合，即n个被观察目标检测结果R₁,R₂…,R_n和一个未识别人员集合R_n+1；把从m个观察源获得的m个视频段用V_i表示，其中i＝1,2,…,m，并保证每个视频段开始和结束的时刻是相同的；将m个视频段V_i,i＝1,2,…,m分别分解为帧图，并保存到对应的帧图集合A_i,i＝1,2,…,m中，其中A_i＝{f_i,1,f_i,2,…,f_i,max}，f_i,k是帧图，i是第一下标，k是第二下标，k＝1,2,…,max，max是正整数；

第二步：从V_i,i＝1,2,…,m，中任选一个视频段V_kk作为参考数据，其中kk∈{1,2,…,m}，其对应的帧图集合为A_kk，A_kk＝{f_kk,1,f_kk,2,…,f_kk,max}；

第三步：对帧图集合A_kk中的帧图做背景减除和帧差，去除冗余信息得到关键帧集合M_kk，其中 f_kk,j是关键帧，其中j＝key1,key2,…,keym，key1,key2,…,keym是正整数，key1≤key2≤…≤keym，且keym≤max，然后在其它帧图集合A_i,i＝1,2,…,m,i≠kk中分别挑选出第一下标为i、第二下标为j的帧图，其中j＝key1,key2,…,keym，放到对应的关键帧集合M_i中，i＝1,2,…,m,i≠kk；

第四步：对M_kk中的帧图f_kk,j，j＝key1,key2,…,keym，按时间顺序进行人脸检测和人脸的角度估计，如果帧图包含被观察目标正面人脸信息，则在这幅帧图上生成人脸框图，然后执行第六步，如果帧图不包含被观察目标正面人脸信息，则执行第五步；

第五步：根据人脸角度估计的结果和摄像机布置的拓扑结构，对第四步中不包含被观察目标正面人脸信息的帧图进行分析，分析出与该帧图具有相同第二下标的、包含被观察目标正面人脸信息的帧图在某关键帧集合M_i中，i∈{1,2,…,m},i≠kk，然后对M_i中这幅帧图再做人脸检测，如果该帧图包含被观察目标正面人脸信息，在该帧图上生成人脸框图，然后执行第六步，如果该帧图不包含被观察目标正面人脸信息，则按照i从小到大的顺序依次对其它关键帧集合M_i中的、与第四步中不包含被观察目标正面人脸信息的帧图具有相同第二下标的帧图进行人脸检测，如果检测到某帧图包含被观察目标正面人脸信息，在该帧图上生成人脸框图，然后执行第六步，如果检测完所有的关键帧集合M_i，仍找不到包含被观察目标正面人脸信息的帧图，则舍弃掉第四步中不包含被观察目标正面人脸信息的帧图，然后执行第八步；

第六步：对人脸框图归一化处理，提取人脸特征；

第七步：将人脸框图和观察对象人脸库进行人脸特征匹配，把包含人脸框图的该帧分到对应的结果集合R_s中，其中s＝1,2,…,n+1；

第八步：循环第四至第七步骤，直到帧图片处理结束。

2.根据权利要求1所述的一种多节点视频重组方法，其特征在于，所述的视频段V_kk选用正对观察对 象时间最长的摄像机记录的视频。

3.一种多节点视频重组系统，其特征在于，所述多节点视频重组系统包括视频采集模块、视频重组模块和视频再现模块；

所述视频采集模块利用图像传感器自动采集信息，图像传感器之间采用有线或者无线方式和视频数据处理中心相连接，视频各个节点之间有着共同的系统时间；

所述视频重组模块对视频采集模块获得的视频进行处理，获取被观察目标正面信息的连续视频，并将该视频保存到数据库中；

所述视频再现模块从数据库中查询出已经保存的数据记录，并将结果显示在查询界面，查询请求由客户端发起并由数据库的服务器接收、处理，之后将执行的结果返回给客户端。