CN102855307A - 保留时序性的数据重组方法及视频结构化系统 - Google Patents

Abstract

本发明公开了一种保留时序性的数据重组方法及视频结构化系统，数据重组方法包括数据提取过程：从原始数据中分别提取涉及同一群组中各个对象的数据；数据合并过程：按照时序性将涉及同一群组中各个对象的数据进行排序合并，形成保留原始时序性的重组数据。本发明的算法复杂度低，耗费的计算资源少，处理时间与输入数据个数呈线性正相关，因此非常容易在软件或硬件上实现。由于本发明中群组数据的输入与输出结果具有FIFO的特性，因此重组后的数据一定程度上维持了输入的时序性，适合应用在实时系统上。

Description

保留时序性的数据重组方法及视频结构化系统

【技术领域】

本发明涉及数据处理，特别涉及一种数据重组的方法。

【背景技术】

在传统视频监控领域，如果要查找某一事件、对象或人物，一般需要手动对录像进行回溯并观看海量的视频内容，从中找查目标事件、对象或人物。查找的时间往往跟录像的时间长度相等，例如要从3小时的视频中找出某一对象，那么监控人员必然需要花同样3小时的时间观看这段录像来找出目标对象，即使通过快转来观看录像，能够压缩的时间也有限(通常4倍已经是极限)，而且这样容易造成漏看的情况，特别是运动速度较快或较小的对象。

在数据处理领域，很多时候先对原始数据进行重组可以更好地储存和表达数据内容，也能够节省后续处理的计算量和时间。其中最常用的方法就是排序算法(sorting algorithm)，通过以某一指标当作基准，按递增或递减方式对数据进行重组。排序算法众多，其中包括气泡法、插入法、合并法等，但是排序算法主要产生单一输出序列，并不适用于多输出序列的情况。

如果需要产生多输出序列，则需要采用另外的方法，其中一种比较常用的方法是能量最小化(energy minimization):根据期望的排序目标设定限制条件以及定义成本函数(cost function)，通过最小化成本函数获得问题的最佳解。以视频摘要应用为例，需要将原始视频中的对象抽取出来，经过重新排序并紧密地合成到新的摘要视频。在这个过程中，可以将能量最小化问题中的成本函数转化为马尔可夫网络(Markov Random Field)，通过迭代图切(Iterative Graph Cuts)或半定规划法(Semi-DefiniteProgramming)等方法获得最佳的排序结果。然而，这样的方法存在三个主要的缺点:首先是运算量或运算时间会随着对象数目的增加呈指数上升，导致不同内容的视频在处理时间上可能出现很大的差异，这种特性并不适合实际环境的应用。其次是能量最小化是一个全域最佳化(globaloptimization)的方法，必须在重组前得知所有对象的信息，无法一边输入对象信息一边进行排序；所谓全域，需要事先对所有的内容进行计算，然后才能进行排序，在这种方法中，如果要将A、B两段时间上有先后关系的视频重新排序，归档到同一摘要视频中，就需要先对A和B进行计算，把计算结果综合到一起，再进行排序。因此若要应用在实时系统，则必须强制将视频流切割成一个个独立的时间段，再对每个时间段内的对象独立进行排序。然而这样的处理方式会导致不同时间段的对象无法合成到同一视频摘要，因此并不适用于实时系统。第三是采用能量最小化所得到的重组结果跟原始数据之间并没有时间上的相关性，换言之重组后的结果并不保有原始数据的时序性,而是随机的，亦即输入与输出之间没有时序关联性，这增加了应用在实时系统上的困难度；例如在视频摘要的应用上，采用能量最小化的方法会导致白天的对象合成到黑夜背景中，而黑夜的对象则合成到白天背景的情况出现。

【发明内容】

本发明的主要目的是：首先，提供能保留时序性的数据重组方法；其次，提供一种应用该数据重组方法的视频结构化系统。

为此，本发明提出了一种保留时序性的数据重组方法，包括如下过程：

数据提取步骤：从原始数据中分别提取涉及各个对象的数据；

第一群组数据合并步骤：按照原始的时序性将涉及第一群组中各个对象的数据进行排序合并，形成保留原数据时序性的第一群组重组数据。

上述的数据重组方法，其中的实施例中，还包括第二群组数据合并步骤：将第二群组的各个对象的被提取数据，按照该群组内对象的时序性合并到所述第一群组重组数据中，形成多群组重组数据。

上述的数据重组方法，其中的实施例中，还包括背景合成过程:将所述重组数据合成到背景数据中，或将所述重组数据和背景数据合并。

上述的数据重组方法，其中的实施例中，还包括实现对象连接的步骤：通过对对象进行群组划分，实现包括第一群组和第二群组的划分、各群组内各个对象之间的关联。

上述的数据重组方法，其中的实施例中，还包括预设密度参数的过程：预设一密度参数，用于限定数据合并过程中同一时刻容许的最少对象个数；当判断到所述第一群组重组数据集中涉及的对象个数小于所述密度参数时，执行所述第二群组数据合并步骤。

上述的数据重组方法，其中的实施例中，于所述数据提取过程中，被提取的同一群组各个对象的数据之间保留于原始数据中的相对时序性，或对被提取的同一群组各个对象的数据标注于原始数据中的相对时序性。

上述的数据重组方法，其中的实施例中，于所述实现对象连接的过程中，按照具有时间和空间相连性和相关性的原则把各对象归纳为不同的群组。

上述的数据重组方法，其中的实施例中，所述数据合并过程中，如果当前时刻的对象个数大于或等于密度参数，则表示当前时刻已重组完毕，停止当前时刻的数据合并，或跳到下一个时刻进行数据合并；

如果当前时刻的对象个数小于密度参数，则将最接近当前时刻的另一群组的被提取数据移动到当前时刻，直至当前时刻的对象个数大于或等于密度参数为止。

上述的数据重组方法，其中的实施例中，在对象个数满足密度参数的要求时，不同群组对象的数据排序由同一时刻开始。

同时，本发明提出了一种视频结构化系统，采用上述的数据重组方法，形成视频摘要或视频压缩文件。

本发明相对于现有技术，具有以下的优点:

本发明的算法复杂度低，耗费的计算资源少，处理时间与输入数据个数呈线性正相关，因此非常容易在软件或硬件上实现。由于本发明中各个群组数据的输入与输出结果具有FIFO(先入先出,First In First Out)的特性，因此重组后的数据一定程度上维持了输入的时序性，适合应用在实时系统上。

本发明应用于视频监控系统中形成的视频摘要或视频压缩文件，由于内容只涉及关注的对象，视频时间长度短，因此大幅降低了存储空间，同时大幅缩减了监控人员在进行视频回溯时花费的时间，从而提高了工作效率。

进一步的实施例中，本发明通过密度参数控制重组密度，就可以控制算法的重组过程；而且该参数实际代表了重组后同一时刻可容许的最小对象个数，密度参数越大，时间压缩效果越好；通过控制重组的密度参数，可以达到将数据分散或压缩的目的；在实际操作上非常直观明了，避免了类似其它算法因为要进行多参数调节而出现复杂的参数调整问题。

【附图说明】

图1是本发明实施例一的数据重组方法的基本框架图；

图2是本发明实施例一的数据重组的排序示意图；

图3是本发明实施例二的数据重组方法的基本流程示意图；

图4是本发明实施例二的数据重组的合并排序示意图；

图5是本发明实施例三的数据重组的合并排序示意图，

【具体实施方式】

下面通过具体的实施例并结合附图对本发明作进一步详细的描述。

实施例一：

请结合图1、图2所示，本例以视频流的重组为例，说明重组方法。

实现对象连接：对于某段视频流中出现的各个对象，按照具有时间和空间相连性和相关性的原则把各对象归纳为不同的群组。群组的具体归纳方法，可以根据不同的重点、不同的关注对象或对数据重组的不同需要而有所不同。由于群组的具体归纳方法只是针对时间和空间的关联性进行计算，所以可以保证同时出现在甲视频和乙视频中的两个关联对象被分类到相同的群组。

例如某段视频中的第一对象A人物和第二对象B车辆同时出现在了视频场景相邻的位置，则判定第一对象A人物和第二对象B事物属于同一群组对象；而C人物是从D车辆出来的，则可以将C人物和D车辆归属于同一群组；或者E人物从一车辆出来，而F人物从另一车辆出来后，将一物品交给了E人物，则可以将E人物和F人物归属于同一群组。如图3所示，假设该段视频共有17个时刻，6个对象被分为三个群组，AB属于第一群组，CD属于第二群组，EF属于第三群组。6个对象出现的时刻分别用不同网格表示出来。其中A对象在视频中出现时间段为第1-8时刻，B对象的出现时间段为第3-8时刻；C对象和D对象在视频中出现时间段为第6-10时刻；E对象在视频中出现时间段为第12-17时刻，F对象在视频中出现时间段为第13-17时刻。

数据提取：对视频流中有关A人物的数据进行提取，数据的时序性在提取的过程中获取；对视频流中有关B车辆的数据进行提取，数据的时序性也是在提取的过程中获取；即在被提取的每个数据中都具有时间标志，该时间标志保证该数据在原始数据或重组数据中的时序性。

第一群组数据合并：排序方式，对有关群组中的第一对象A人物的数据根据其时序性进行排序，再对有关群组中的第二对象B车辆的数据进行排序，再把对有关B车辆的数据的排序结果合并归档到有关A人物的数据中。这样，在同一时间轴上，有关A人物和B车辆的视频被重新组合，形成保留原数据时序性的第一群组重组数据。

背景合成：重新组合形成的有关A人物和B车辆的重组数据（视频），再按时序合成到背景数据（背景画面）上，形成一个视频摘要。背景数据的生成同样按照时序性进行抽取，当背景发生变换，例如从白天进入黑夜，一个群组中各相关对象的数据排序合并完成，一个视频摘要生成。新的群组匹配相应的新的背景，或者针对新的背景重新生成一个新的群组来适应。

视频摘要不但保留了原始视频中的A和B二个对象的信息、时序性，而且由于二者在时间和空间上具有关联性，摘要视频上不会出现背景的错乱等现象；而且视频仅涉及需要关注的A和B二个对象，时间长度有限，因此大大缩减了监控人员在进行视频回溯时花费的时间，从而提高了工作效率。

由于有关A人物的数据和有关B车辆的数据的时序性是由对象的时间这一固有的特性决定的，在对对象的提取过程中已经获取；同样的，数据合并的有效性是由对象的关联性决定，这个关系在对象提取的过程中也已经得到，所以不需要额外的参数来控制。

实施例二

本例中，在实施例一的基础上，如果用户希望能在同一时刻接收更多的事物，关注更多的群组或对象，则可以预设重组的密度参数，用于限定重组时同一时刻容许的最小对象个数。设置密度参数的目的是提供给用户一个灵活的选择，如果用户能在同一时刻接收更多的事物，则可以将密度参数设置大一些，如果用户在同一时刻能接收比较少的事物，则应该将密度参数设置得小一些。

请参考图3和图4所示，设密度参数为2，

第一时刻：选择本时刻的第一群组，由于B晚于A两个时刻出现，所以A出现，B不出现；由于密度参数为2，则选择出现时刻最近的第二群组的对象，由于对象C和D的原始时序是同时出现的，为了保证C和D的关联性，C和D都合并到第一群组重组数据中，形成多群组重组数据。多群组重组数据中，第一时刻出现三个对象，分别是ACD。

第三时刻：由于第一群组的A持续出现，因此与A同一群组的B在这个时刻出现，所以第三时刻出现四个对象，分别是ABCD。

第六时刻：CD同时完成，因此只剩下AB，并且满足密度参数为2，所以EF对象不合并进来。

第九时刻：AB播放完成，选择群组丙，所以只有F对象，第十时刻EF一起出现。

可见，对第一群组数据进行合并的过程中，按照密度参数，如果当前时刻的对象个数大于或等于密度参数，则表示当前单位时间已重组完毕，可跳到下一个单位时间进行重组。如果当前单位时间的数据个数少于密度参数，则将被提取的数据中未进行重排且最接近当前单位时间内时序的一组群组数据（包含有群组内对象的视频）移动到当前单位时间，直至当前单位时间的数据个数大于或等于密度参数为止，才进行下一个单位时间的重组。

实施例三

请参考图5所示，假设密度参数为3，

第一时刻：选择本时刻的第一群组，由于B晚于A两个时刻出现，所以A出现，B不出现；由于密度参数为3，则选择最近的第二群组，C和D的原始时序是同时出现，为了保证C和D的关联性，C和D都出现，且对象个数满足大于或等于密度参数3，所以EF不在此时刻排序。

第六时刻：由于CD完成，只剩下AB在排序，对象数为2，小于密度参数3，所以选择丙群组，所以第六时刻排序结果是ABF。

本例中的重组方法，可广泛应用于视频结构化（摘要）系统、视频监控系统、数据压缩系统(包括音频、视频、图片和文字等)，从实施例二和实施例三的重组结果可以看出，第一，群组内部的各个对象保持了相关性、时序性；其相对时序性（即同一群组对象之间的时间顺序）在重新排列后不会被破坏;第二，密度参数越大，时间压缩效果越好；通过控制重组的密度参数，可以达到将数据分散或压缩的目的。

实施例四

上述实施例中数据重组方法的全部或部分步骤可以通过程序来指令相关硬件完成，通过与硬件的匹配，本例形成视频监控系统中的一种视频结构化系统，该视频结构化系统通过上述数据重组方法重组视频摘要或进行视频压缩，这些经重组或压缩的视频数据，针对用户所关注的对象建立，时间长度往往只有原来的百分之几甚至更短，因此大大缩减了存储空间，同时监控人员进行视频回溯的时间也大幅缩减，从而提高了工作效率。

实施例五

本例是一计算机可读存储介质，该存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。该计算机可读存储介质中，存储有程序，该程序通过被相关硬件加载运行，可实现上述实施例中数据重组方法的全部或部分步骤。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种保留时序性的数据重组方法，包括如下过程：

数据提取步骤：从原始数据中分别提取涉及各个对象的数据；

第一群组数据合并步骤：按照原始的时序性将涉及第一群组中各个对象的数据进行排序合并，形成保留原始时序性的第一群组重组数据。

2.如权利要求1所述的数据重组方法，其特征是：还包括第二群组数据合并步骤：将第二群组的各个对象的被提取数据，按照该群组内对象的时序性合并到所述第一群组重组数据中，形成多群组重组数据。

3.如权利要求2所述的数据重组方法，其特征是：还包括背景合成过程:将所述重组数据合成到背景数据中，或将所述重组数据和背景数据合并。

4.如权利要求1-3中任一项所述的数据重组方法，其特征是：还包括实现对象连接的步骤：通过对对象进行群组划分，实现包括第一群组和第二群组的划分、各群组内各个对象之间的关联。

5.如权利要求1-3中任一项所述的数据重组方法，其特征是：还包括预设密度参数的过程：预设一密度参数，用于限定数据合并过程中同一时刻容许的最少对象个数；当判断到所述第一群组重组数据集中涉及的对象个数小于所述密度参数时，执行所述第二群组数据合并步骤。

6.如权利要求1-3中任一项所述的数据重组方法，其特征是：于所述数据提取过程中，被提取的同一群组各个对象的数据之间保留于原始数据中的相对时序性，或对被提取的同一群组各个对象的数据标注于原始数据中的相对时序性。

7.如权利要求4所述的数据重组方法，其特征是：于所述实现对象连接的过程中，按照具有时间和空间相连性和相关性的原则把各对象归纳为不同的群组。

8.如权利要求5所述的数据重组方法，其特征是：所述数据合并过程中，如果当前时刻的对象个数大于或等于密度参数，则表示当前时刻已重组完毕，停止当前时刻的数据合并，或跳到下一个时刻进行数据合并；

如果当前时刻的对象个数小于密度参数，则将最接近当前时刻的另一群组的被提取数据移动到当前时刻，直至当前时刻的对象个数大于或等于密度参数为止。

9.如权利要求8所述的数据重组方法，其特征是：在对象个数满足密度参数的要求时，不同群组对象的数据排序由同一时刻开始。

10.一种视频结构化系统，采用如权利要求1-9中任意项所述的数据重组方法，形成视频摘要或视频压缩文件。

Images