CN102314916A - 一种视频处理方法和系统 - Google Patents

Abstract

本发明提供了一种视频处理方法和系统；方法包括：在视频流中提取出各运动目标及其运动轨迹；对于各运动目标，分别根据其运动轨迹确定该运动目标出现和消失时的视频帧；在视频流中找到位于所述运动目标出现和消失时的视频帧之间的视频帧，将找到的视频帧与所述运动目标出现和消失时的视频帧一起标记为对应于该运动目标的视频序列。本发明能够使得视频资料定位更快速准确，查看甄别更容易，资料检索管理更方便。

Description

一种视频处理方法和系统

技术领域

本发明涉及视频分析处理技术，尤其涉及一种视频处理方法和系统。

背景技术

随着公安和社会视频监控系统的逐渐普及，形成了大量的监控视频资料积累，这些视频资料可以在应用中起到重要作用，比如为大量案件的侦破提供了有力支撑，为刑侦应用提供了丰富的线索和证据资料；在监控视频资料给应用带来巨大帮助的同时，也呈现出应用的障碍和技术瓶颈：

1.视频内容信息巨大，审看不便。比如通常一个简单案件需要审看总计时常达到几小时到十几小时的视频资料，而一些重点案件由于可能关联到多个区域内的十几甚至几十路摄像头采集的视频资料，往往总时长达到两百小时以上。而刑侦案件侦查中，一小时的视频，往往需要一个人花费四小时以上才能审看完毕，因此，这样的案件，往往需要十几个人连续加班一周以上的时间进行审看。同时，由于监控视频内容往往不具有连续的逻辑性，审看过程极易引起疲劳，造成单次审看过程漏掉一些重要细节，而需要花费更多的时间进行重复审看，更是大大增加了工作量。

2.资料来源复杂，播放不便。案件视频既有公安平安城市等系统采集的自有视频资料，还有从社会监控设备中获取的视频资料。而社会来源视频由于DVR厂商、型号各异，造成采集的视频格式各异，各种视频资料没有一个统一的播放器，需要采用DVR厂商自有的播放器才能播放，没有统一的解码播放器其中最突出的问题。并且，DVR文件播放器功能较弱，仅具有单路视频回放的功能及相关基本控制，无法达到多路视频同步回放，很难进行对比审看，甚至绝大多数比例的DVR文件播放器无法准确定位到帧。

3.视频文件数量巨大，管理不便。随着平安城市，天网等公安城域监控系统的实施，很大程度上解决了视频取证的问题。但在实际刑侦应用中，却凸现了一个新的问题，案件中可能有很多来源的视频，一些重点案件的侦破可能需要多个区域内多路视频的取证，视频数量巨大。随着案件视频数量逐渐增多，对案件相关的单个或多个视频检索不便，对案件相关视频中的重要片段和重要片段的描述信息检索更加困难。

4.相关文件较多，无法与视频内容建立准确的对应关系。与视频文件相关的其他类型记录文件(如记事本，WORD，EXCEL等)数量较多，它们记录视频内重点内容时(如人物，时间，地点，做了什么事)与视频资料及视频资料内的重点片段没有建立一个很好的对应关系。造成即使知道某个视频文件内有重要的证据信息，依然需要在繁杂的资料库中检索到该视频并通过DVR播放器定位到对应时间点查看。

5.后期处理复杂，资料利用不便。在侦查员审看视频找出嫌疑人后，通常需要将相关的视频或视频片断及相关信息描述文件分发到各处进行辨认，在辨认确定后需要导出作为证据文件，而目前的这种对视频管理方式需要通过DVR原厂的软件从大段的视频中进行截取、编码转换、非线性编辑软件拼接等一系列过程，非常耗时；而对视频相关信息描述文件的管理，则是通过拷贝的简单方式，很容易误操作造成视频的相关信息描述文件对应不一致或者遗失。这样对操作人员的计算机软件使用水平要求较高，对操作员的人为失误没有因对措施，一定程度上也影响了办案效率。

上述问题，严重影响了监控资料在公安刑侦等领域应用的效率，同时造成了大量人力的消耗。因此，针对目前的这种使用状况，迫切需求一些技术手段减轻繁重的查找视频的工作。

发明内容

本发明要解决的技术问题是提供一种视频处理方法和系统，能够使得视频资料定位更快速准确，查看甄别更容易，资料检索管理更方便。

为了解决上述问题，本发明提供了一种视频处理方法，包括：

在视频流中提取出各运动目标及其运动轨迹；

对于各运动目标，分别根据其运动轨迹确定该运动目标出现和消失时的视频帧；

在视频流中找到位于所述运动目标出现和消失时的视频帧之间的视频帧，将找到的视频帧与所述运动目标出现和消失时的视频帧一起标记为对应于该运动目标的视频序列。

进一步地，所述的方法还包括：

列出所述视频流中所有出现过的运动目标的列表；

标记各运动目标具有代表性的视频帧，包括以下任一种或其任意组合：进入画面时的视频帧、最为清晰的视频帧、占据图像比例最大的视频帧、目标运动轨迹中出现拐点的视频帧、离开画面前的视频帧。

进一步地，所述的方法还包括：

设定过滤检索规则，包括区域和针对区域的动作；

在各运动目标对应的视频序列中，根据各运动目标的运动轨迹检索出满足所述过滤检索规则的运动目标的视频帧。

进一步地，所述的方法还包括：

记录视频流的采集时间、采集地点；

提取运动目标的运动轨迹时还提取目标的特征信息并保存；

根据检索条件在所述视频流中检索视频；所述检索条件包括以下任一种或其任意组合：采集时间、采集地点、运动目标的特征信息、运动目标的视频帧。

进一步地，所述的方法还包括：

播放所述视频流，对于标记为对应于运动目标的视频帧或检索出的视频帧进行实时或低于实时的速度播放；对于其它视频帧进行超实时速度播放。

本发明还提供了一种视频处理装置，包括：

存储模块，用于保存输入的视频流；

提取模块，用于在所述视频流中提取出各运动目标及其运动轨迹，并保存在所述存储模块中；

处理模块，用于对于各运动目标，分别根据其运动轨迹确定该运动目标出现和消失时的视频帧；在所述视频流中找到位于所述运动目标出现和消失时的视频帧之间的视频帧，将找到的视频帧与所述运动目标出现和消失时的视频帧一起标记为对应于该运动目标的视频序列。

进一步地，所述处理模块还用于列出所述视频流中所有出现过的运动目标的列表；标记各运动目标具有代表性的视频帧，包括以下任一种或其任意组合：进入画面时的视频帧、最为清晰的视频帧、占据图像比例最大的视频帧、目标运动轨迹中出现拐点的视频帧、离开画面前的视频帧。

进一步地，所述的装置还包括：

设置模块，用于设置过滤检索规则并保存；所述过滤检索规则包括区域和针对区域的动作；

检索模块，用于在各运动目标对应的视频序列中，根据各运动目标的运动轨迹检索出满足所述过滤检索规则的运动目标的视频帧。

进一步地，所述存储模块还用于记录视频流的采集时间、采集地点；

所述提取模块提取运动目标的运动轨迹时还用于提取目标的特征信息并保存；

所述设置模块还用于设置检索条件；所述检索条件包括以下任一种或其任意组合：采集时间、采集地点、运动目标的特征信息、运动目标的视频序列；

所述检索模块还用于根据检索条件在所述视频流中检索视频帧。

进一步地，所述的装置还包括：

播放模块，用于播放所述视频流，对于标记为对应于运动目标的视频序列或检索出的视频帧进行实时或低于实时的速度播放，对于其它视频帧进行超实时速度播放。

本发明的技术方案能够从大量的视频资料中自动筛选出和各运动目标相关的视频，能提高视频的查看速度，减轻查看的工作量，定位所需的视频资料会更加快速准确；其优化方案可以根据预定的规则智能检索，以自动检索视频资料，可以进一步提高查看视频的效率，应用在刑侦领域时可提高办案效率；其另一优化方案可以更好地进行定位和查看，检索更加方便；其另一优化方案可以实现各种视频源的统一解码和管理。

附图说明

图1是实施例二的视频处理装置的示意框图；

图2是实施例二中视频导入模块和存储模块之间交互的示意图；

图3是利用实施例二中的视频处理装置审看视频时的示意图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一，一种视频处理方法，包括：

在视频流中提取出各运动目标及其运动轨迹；

对于各运动目标，分别根据其运动轨迹确定该运动目标出现和消失时的视频帧；

在视频流中找到位于所述运动目标出现和消失时的视频帧之间的视频帧，将找到的视频帧与所述运动目标出现和消失时的视频帧一起标记为对应于该运动目标的视频序列。

所述视频流可以来自网络或本地，可以是从采集设备传输而来的，或是导入后保存在存储设备中的。这样就可以在导入的大量视频中，快速找到与各运动目标相关的视频帧；本实施例中，将对应于一运动目标的视频序列称为该运动目标的事件。将所采集的视频中所有运动目标的事件称为故事板，可以认为，故事板是由所采集的视频中一系列事件组成；通过查看的故事板，能够快速查看运动目标从进入画面到离开画面的全过程，并可通过这些视频帧快速定位到对应时间点，从而能够快速的了解整个视频的大概内容。

本实施例中，所述找到位于所述运动目标出现和消失时的视频帧之间的视频帧的步骤中，可以是找出全部位于两者之间的视频帧，也可以只找出部分视频帧，比如但不限于是对该运动目标最具代表性的部分视频帧；本实施例中，所述部分视频帧包括但不限于以下任一种或其任意组合：清晰度高于一预设阈值的视频帧、运动目标在图像中所占比例最大的视频帧、运动目标的运动轨迹中出现拐点的视频帧、每几个视频帧中抽取一个视频帧等。

本实施例中，标记所述视频序列时还记录该视频序列中各视频帧在所述视频流中的起始时间，通过该起始时间索引，能够快速定位到和相应运动目标相关的事件或视频帧在原始视频流中的位置。

在实际应用中，标记所述视频序列时也可以是记录该视频序列中各视频帧的序号，还可以是标记该视频帧属于对应于哪个或哪几个运动目标的视频序列。

本实施例中，所述方法还可以包括：

列出所述视频流中所有出现过的运动目标的列表；可以将各运动目标所对应的一个或多个视频帧列成一个运动目标列表，用户可以通过查看该列表，迅速找到关注的运动目标；

标记各运动目标具有代表性的视频帧，包括以下任一种或其任意组合：进入画面时的视频帧、最为清晰的视频帧、占据图像比例最大的视频帧、目标运动轨迹中出现拐点的视频帧、离开画面前的视频帧等。

本实施例中，所述在采集的视频中提取出各运动目标及其运动轨迹的步骤前还可以包括：

将采集的非标准的视频流解码成标准视频流，再将其重新编码为标准开放的视频文件格式的视频流并保存。

本实施例中，所述方法还可以包括：

保存视频流的采集时间、采集地点等信息。

另外，在提取运动目标的运动轨迹时，还可以提取目标其它的特征信息，包括：坐标位置、运动方向、运动速度、目标类型(人，车，人群)等，还可以为每个运动目标设置一个标识。本实施例中，可以将运动目标的特征信息以MPEG-7的标准封装，称为智能元数据信息，并存储。

根据检索条件在所述视频流中检索视频；所述检索条件包括以下任一种或其任意组合：采集时间、采集地点、运动目标的特征信息、运动目标的视频序列。

这样处理后，在检索视频时，不仅可以支持基于采集时间、采集地点等视频基本信息检索，同时支持根据运动目标的特征信息、事件(即对应于该运动目标的视频序列)对于视频内容进行检索。检索结果不再是文件，而是以时间、地点、目标、事件为4个纬度展现，更贴近人的逻辑思维习惯。

本实施例中，所述方法还可以进一步包括：

设定过滤检索规则，包括区域和针对区域的动作；

在各运动目标对应的视频序列中，根据各运动目标的运动轨迹检索出满足所述过滤检索规则的运动目标的视频帧。

本实施例中，所述区域可以包括点、由点确定的线、由点或线确定的范围等；所述针对区域的动作可以包括(未)进入、(未)离开、(未)触及、(未)通过等。可以用坐标和参数等来设置，也可以通过鼠标在界面上标出，通过图形化的交互方式实现所述过滤检索规则的设置。

所述过滤检索规则可以是单独的一个“区域和针对该区域的动作”，比如：进入某条线以左的范围，或未离开线划出的一个范围；也可以是多个“区域和针对该区域的动作”的逻辑组合，比如通过线A划出的范围，且(或)未进入线B划出的另一范围。

这样一来，就可以在找到与各运动目标相关的视频帧(故事板)的基础上，进一步找到符合所述过滤检索规则的关键运动目标或事件。

可以设置多个过滤检索规则，然后分别根据不同的过滤检索规则找到对应的事件；可以为各过滤检索规则设置唯一标识，比如起名，这样就可以将根据一个过滤检索规则所找到的各视频序列对应于该过滤检索规则的标识，并保存该对应关系，从而区分根据不同过滤检索规则检索出的视频序列。

本实施例中，所述方法还可以包括：

将各运动目标对应的或检索得出的关键运动目标或事件关联的运动目标进行图像化的展现；展现内容包含运动目标或所有满足所述过滤检索规则的运动目标的视频帧，还可以进一步包含运动目标对应的视频序列。

以上图片可以是前期提取的目标最具代表性的视频帧的全部或部分，也可以是根据需要临时提取的视频帧。这样就可以基于所述的故事板，对采集的视频进行快速的图片浏览，便于快速寻找具有特征的运动目标。

本实施例中，所述方法还可以包括：

播放所述视频流，对于标记为对应于运动目标的视频序列进行实时或低于实时的速度播放；对于其它视频帧进行超实时速度播放；

还可以在播放所述视频流时是对检索得出的运动目标对应的或事件包括的视频帧等使用人员可能关注的片断进行实时或低于实时的速度播放。

以上两种播放方式的速度可以自由设定(0.1倍实时～32倍实时之间)。

这样就可以基于所述故事板，对采集的视频进行浓缩播放，从而大量节约视频内容的审看时间。

通过本实施例的方法进行视频资料的审看后，用户对认为特别重要的视频序列可直接导出，或是提供编目标注信息并将编目标注信息和视频序列一起保存；所述编目标注信息可以是任意相关信息，比如刑侦人员关心的受害人性别等目标信息，也可以是对于视频描述的文本信息。在检索中，可以根据该编目标注信息检索视频。

用户可以根据运动目标、运动目标的特征信息、所述编目标注信息、过滤检索规则等检索或点播视频序列；还可以获取认为有用的视频片段，进一步还可以对其进行剪切、连接，形成视频序列，并导出或保存，可以保存为标准视频文件，也可以刻录成光盘。

实施例二，一种视频处理装置，如图1所示，包括：

存储模块，用于保存输入的视频流，可以但不限于保存在数据库中；

提取模块，用于在所述视频流中提取出各运动目标及其运动轨迹，并保存在所述存储模块中；在提取运动目标的运动轨迹时，还可以提取目标其它的特征信息，包括：坐标位置、运动方向、运动速度、目标类型(人，车，人群)等，还可以为每个运动目标设置一个标识。本实施例中，可以将运动目标的特征信息以MPEG-7的标准封装，称为智能元数据信息，并存储在所述存储模块中；

处理模块，用于对于各运动目标，分别根据其运动轨迹确定该运动目标出现和消失时的视频帧；在所述视频流中找到位于所述运动目标出现和消失时的视频帧之间的视频帧，将找到的视频帧与所述运动目标出现和消失时的视频帧一起标记为对应于该运动目标的视频序列。

本实施例中，所述处理模块标记所述视频序列时还可以在所述存储模块中记录该视频序列中各视频帧在所述视频流中的起始时间，通过该起始时间索引，能够在所述存储模块保存的视频流中快速定位到和相应运动目标相关的事件。

本实施例中，所述处理模块标记还可以用于：

列出所述视频流中所有出现过的运动目标的列表；可以将各运动目标所对应的一个或多个视频帧列成一个运动目标列表，用户可以通过查看该列表，迅速找到关注的运动目标；

标标记各运动目标具有代表性的视频帧，包括以下任一种或其任意组合：进入画面时的视频帧、最为清晰的视频帧、占据图像比例最大的视频帧、目标运动轨迹中出现拐点的视频帧、离开画面前的视频帧等。

通过这些视频帧，可以快速定位到对应视频片断，用于快速查找定位关注的目标。

本实施例中，所述装置还可以包括一视频导入模块，用于将采集的非标准的视频流解码成标准视频流，再将其重新编码为标准开放的视频文件格式的视频流并保存在所述存储模块中。

如图2所示，所述视频导入模块对于标准视频流，可将原始视频流发送给存储模块，对于非标准视频流，则将重编码视频文件发给存储模块。

所属视频导入模块还可以在保存视频流时在所述存储模块中记录其采集时间、采集地点等信息；所述存储模块还用于记录视频流的采集时间、采集地点。

所述处理模块、提取模块、视频导入模块可以但不限于集成在一台服务器中。

本实施例中，所述装置还可以进一步包括：

编辑模块，用于供用户导出指定的视频序列，或是为该视频序列提供编目标注信息并将编目标注信息也存储到所述存储模块中；所述编目标注信息可以是任意相关信息，比如刑侦人员关心的受害人性别等目标信息，也可以是对于视频描述的文本信息；进一步还可以对指定的视频序列进行剪切、连接，形成视频序列，并导出或保存，可以保存为标准视频文件，也可以刻录成光盘。

本实施例中，所述装置还可以进一步包括：

设置模块，用于设置过滤检索规则并保存；所述过滤检索规则包括区域和针对区域的动作；还可以用于设置检索条件，所述检索条件包括以下任一种或其任意组合：采集时间、采集地点、运动目标的特征信息、运动目标的视频序列等；

检索模块，用于在各运动目标对应的视频序列中，根据各运动目标的运动轨迹检索出满足所述过滤检索规则的运动目标的视频帧；还可以用于根据所述检索条件在所述存储模块中检索出视频帧；可以将检索出的视频帧(多个视频帧有可能构成视频序列)发送给所述编辑模块；

所述设置模块可以但不限于是图形化用户界面的形式，这样可以通过图形化的交互方式实现所述过滤检索规则的设置。

所述设置模块可以设置多个过滤检索规则，然后分别根据不同的过滤检索规则找到对应的事件；可以为各过滤检索规则设置唯一标识，比如起名，这样就可以将根据一个过滤检索规则所找到的各视频序列对应于该过滤检索规则的标识，并保存该对应关系，从而区分根据不同过滤检索规则检索出的视频序列。

本实施例中，所述装置还可以进一步包括：

播放模块，用于播放所述视频流，对于标记为对应于运动目标的视频序列进行实时或低于实时的速度播放，对于其它视频帧进行超实时速度播放；还可以用于对检索模块得出的运动目标对应的或事件包括的视频帧进行实时或低于实时的速度播放。

以上两种播放方式的速度可以自由设定(比如但不限于在0.1倍实时～32倍实时之间)。

所述播放模块和设置模块可以共同构成一个审看客户端，当用户审看视频时，如图3所示，用户在审看客户端输入点播请求(也就是设置检索条件或过滤检索规则)，然后所述检索模块发送相应的检索请求在所述存储模块中进行检索，得到检索结果(即哪些视频帧或视频序列满足检索条件或过滤检索规则)，根据该检索结果再在所述存储模块中读取相应的视频帧(或视频序列)，返回给所述审看客户端，供用户观看。

用户可以在观看后可通过审看客户端挑选部分或全部视频帧保存在所述存储模块中，或先通过所述编辑模块进行剪切，甄选等加工，加工后再保存进所述存储模块。

其它实现细节可以同实施例一。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (10)

1.一种视频处理方法，包括：

在视频流中提取出各运动目标及其运动轨迹；

对于各运动目标，分别根据其运动轨迹确定该运动目标出现和消失时的视频帧；

在视频流中找到位于所述运动目标出现和消失时的视频帧之间的视频帧，将找到的视频帧与所述运动目标出现和消失时的视频帧一起标记为对应于该运动目标的视频序列。

2.如权利要求1所述的方法，其特征在于，还包括：

列出所述视频流中所有出现过的运动目标的列表；

标记各运动目标具有代表性的视频帧，包括以下任一种或其任意组合：进入画面时的视频帧、最为清晰的视频帧、占据图像比例最大的视频帧、目标运动轨迹中出现拐点的视频帧、离开画面前的视频帧。

3.如权利要求1所述的方法，其特征在于，还包括：

设定过滤检索规则，包括区域和针对区域的动作；

在各运动目标对应的视频序列中，根据各运动目标的运动轨迹检索出满足所述过滤检索规则的运动目标的视频帧。

4.如权利要求1所述的方法，其特征在于，还包括：

记录视频流的采集时间、采集地点；

提取运动目标的运动轨迹时还提取目标的特征信息并保存；

根据检索条件在所述视频流中检索视频；所述检索条件包括以下任一种或其任意组合：采集时间、采集地点、运动目标的特征信息、运动目标的视频帧。

5.如权利要求4所述的方法，其特征在于，还包括：

播放所述视频流，对于标记为对应于运动目标的视频帧或检索出的视频帧进行实时或低于实时的速度播放；对于其它视频帧进行超实时速度播放。

6.一种视频处理装置，其特征在于，包括：

存储模块，用于保存输入的视频流；

提取模块，用于在所述视频流中提取出各运动目标及其运动轨迹，并保存在所述存储模块中；

处理模块，用于对于各运动目标，分别根据其运动轨迹确定该运动目标出现和消失时的视频帧；在所述视频流中找到位于所述运动目标出现和消失时的视频帧之间的视频帧，将找到的视频帧与所述运动目标出现和消失时的视频帧一起标记为对应于该运动目标的视频序列。

7.如权利要求6所述的装置，其特征在于：

所述处理模块还用于列出所述视频流中所有出现过的运动目标的列表；标记各运动目标具有代表性的视频帧，包括以下任一种或其任意组合：进入画面时的视频帧、最为清晰的视频帧、占据图像比例最大的视频帧、目标运动轨迹中出现拐点的视频帧、离开画面前的视频帧。

8.如权利要求6所述的装置，其特征在于，还包括：

设置模块，用于设置过滤检索规则并保存；所述过滤检索规则包括区域和针对区域的动作；

检索模块，用于在各运动目标对应的视频序列中，根据各运动目标的运动轨迹检索出满足所述过滤检索规则的运动目标的视频帧。

9.如权利要求6所述的装置，其特征在于：

所述存储模块还用于记录视频流的采集时间、采集地点；

所述提取模块提取运动目标的运动轨迹时还用于提取目标的特征信息并保存；

所述设置模块还用于设置检索条件；所述检索条件包括以下任一种或其任意组合：采集时间、采集地点、运动目标的特征信息、运动目标的视频序列；

所述检索模块还用于根据检索条件在所述视频流中检索视频帧。

10.如权利要求9所述的装置，其特征在于，还包括：

播放模块，用于播放所述视频流，对于标记为对应于运动目标的视频序列或检索出的视频帧进行实时或低于实时的速度播放，对于其它视频帧进行超实时速度播放。

Images