CN105608209B

CN105608209B - 一种视频标注方法和视频标注装置

Info

Publication number: CN105608209B
Application number: CN201511005264.7A
Authority: CN
Inventors: 林嵩; 黄智珍
Original assignee: Linewell Software Co Ltd
Current assignee: Linewell Software Co Ltd
Priority date: 2015-12-29
Filing date: 2015-12-29
Publication date: 2020-03-20
Anticipated expiration: 2035-12-29
Also published as: CN105608209A

Abstract

本发明公开了一种视频标注方法和视频标注装置，用于提高视频标注的准确性和有效性。本发明提供一种视频标注方法，包括：获取需要分析的原始视频图像资源和参照视频图像资源，所述原始视频图像资源包括：至少一个原始视频图像，所述参照视频图像资源包括：与所述至少一个原始视频图像分别对应的参照视频图像；从所述原始视频图像中确定出需要标注的视频目标；在所述原始视频图像中对所述视频目标进行视频标注得到标注有视频目标的原始视频图像，并计算标注出的视频目标在所述原始视频图像中的坐标信息；根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像。

Description

一种视频标注方法和视频标注装置

技术领域

本发明涉及视频处理技术领域，具体涉及一种视频标注方法和视频标注装置。

背景技术

视频标注是在视频预览或录像回放过程中，直接在视频上进行突出标记，使视频更具有针对性的视频处理方式，在诸多领域应用广泛。例如，视频标注是公安侦查民警在视频案件研判中最常用的一种分析手段，使公安干警可定位和重点关注嫌疑目标，锁定重要视频线索信息。又如，视频标注还可以用于医学领域的影像图像分析，医师可通过视频标注重点标出发生病变或产生异常的身体部位。

现有技术中，视频标注装置是在视频图像清晰可见的视频上，通过叠加鼠标轨迹的方式进行标注。对于视频图像质量比较模糊，已经无法看清视频中任何目标的情况下，传统的视频标注装置无法在视频图像上完成标注，无法根据视频标注提取到任何有价值的信息，因此按照现有技术进行的视频标注是无效的。

发明内容

本发明的目的在于提供一种视频标注方法和视频标注装置，用于提高视频标注的准确性和有效性。

为了达到上述目的，本发明采用这样的如下技术方案：

一方面，本发明提供一种视频标注方法，包括：

获取需要分析的原始视频图像资源和参照视频图像资源，所述原始视频图像资源包括：至少一个原始视频图像，所述参照视频图像资源包括：与所述至少一个原始视频图像分别对应的参照视频图像；

从所述原始视频图像中确定出需要标注的视频目标；

在所述原始视频图像中对所述视频目标进行视频标注得到标注有视频目标的原始视频图像，并计算标注出的视频目标在所述原始视频图像中的坐标信息；

根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像。

另一方面，本发明提供一种视频标注装置，包括：

资源获取模块，用于获取需要分析的原始视频图像资源和参照视频图像资源，所述原始视频图像资源包括：至少一个原始视频图像，所述参照视频图像资源包括：与所述至少一个原始视频图像分别对应的参照视频图像；

视频目标确定模块，用于从所述原始视频图像中确定出需要标注的视频目标；

视频标注模块，用于在所述原始视频图像中对所述视频目标进行视频标注得到标注有视频目标的原始视频图像，并计算标注出的视频目标在所述原始视频图像中的坐标信息；根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像。

采用上述技术方案后，本发明提供的技术方案将有如下优点：

首先获取需要分析的原始视频图像资源和参照视频图像资源，原始视频图像资源包括：至少一个原始视频图像，参照视频图像资源包括：与至少一个原始视频图像分别对应的参照视频图像，然后从原始视频图像中确定出需要标注的视频目标，接下来在原始视频图像中对视频目标进行视频标注得到标注有视频目标的原始视频图像，并计算标注出的视频目标在原始视频图像中的坐标信息，最后根据该坐标信息在参照视频图像中对视频目标进行视频标注得到标注有视频目标的参照视频图像。由于本发明实施例中可以在原始视频图像上对视频目标进行视频标注后计算出标注出的视频目标在原始视频图像中的坐标信息，该坐标信息可以用于在与原始视频图像对应的参照视频图像中再次进行视频标注，因此本发明实施例中可以实现基于图像对比的视频标注，相对于现有技术中只在原始视频图像中进行视频标注，能够提高视频标注的准确性和有效性，尤其适用于原始视频图像模糊时的视频标注。

附图说明

图1为本发明实施例提供一种视频标注方法的流程方框示意图；

图2为本发明实施例提供一种视频标注方法的应用场景示意图；

图3-a为本发明实施例提供的一种视频标注装置的组成结构示意图；

图3-b为本发明实施例提供的另一种视频标注装置的组成结构示意图；

图3-c为本发明实施例提供的另一种视频标注装置的组成结构示意图。

具体实施方式

本发明实施例提供了一种视频标注方法和视频标注装置，用于提高视频标注的准确性和有效性。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

以下分别进行详细说明。

本发明视频标注方法的一个实施例，可应用于原始视频图像比较模糊、难以清晰辨认时的视频标注，请参阅图1所示，本发明提供的视频标注方法，可以包括如下步骤：

101、获取需要分析的原始视频图像资源和参照视频图像资源。

其中，原始视频图像资源包括：至少一个原始视频图像，参照视频图像资源包括：与至少一个原始视频图像分别对应的参照视频图像。

在本发明实施例中，视频标注装置首先获取原始视频图像资源，该原始视频图像资源是需要进行视频分析的图像资源，获取到的原始视频图像资源包括：至少一个原始视频图像。其中，一个原始视频图像可以看作是一张单独的照片。另外本发明实施例中视频标注装置可以根据获取到的原始视频图像资源获取以该原始视频图像资源对应的参照视频图像资源。该参照视频图像资源和原始视频图像资源之间存在一一对应关系，一个原始视频图像对应有一个相应的参照视频图像，该参照视频图像需要根据原始视频图像来生成，以保证参照视频图像能够起到对原始视频图像的参照分析作用，获取到的至少一个参照视频图像组成参照视频图像资源。

需要说明的是，在本发明实施例中，原始视频图像资源包括了需要进行分析的原始视频图像，当该原始视频图像的图像质量比较模糊时，已经无法看清视频图像中任何目标，此时的现有技术中视频标注装置无法在视频图像上完成标注。本发明实施例与现有技术不同的是，本发明实施例中不仅需要获取到需要分析的原始视频图像资源，还需要根据该原始视频图像资源获取到与之对应的参照视频图像资源，该参照视频图像资源可以包括需要进行分析的图像质量清晰的参照视频图像，这就使得该参照视频图像资源也可以用于后续实施例中描述的视频标注。例如，在本发明的一些实施例中，原始视频图像和与原始视频图像对应的参照视频图像是通过对相同的拍摄场景进行视频采集后得到的视频图像。其中，可以先对原始视频图像中记录的视频内容信息进行分析，确定出该原始视频图像在拍摄时记录下来的拍摄场景，该拍摄场景指的是生成该原始视频图像的摄像机的拍摄对象。根据原始视频图像的拍摄场景来选择与该原始视频图像对应的参照视频图像。举例说明如下，可以设置两个摄像机对同一个拍摄场景进行视频采集，其中一个摄像机拍摄到的场景作为原始视频图像，可能该摄像机因为拍摄参数（例如焦距、补光条件）设置或者拍摄条件的问题导致原始视频图像出现图像模糊的情况，这时由另一个摄像机拍摄到的场景可以作为参照视频图像，该摄像机拍摄到的视频图像比较清晰，可以作为原始视频图像的参照视频图像。

进一步的，在本发明的一些实施例中，前述相同的拍摄场景可以由同一个摄像机在不同的拍摄时段进行视频采集。例如，原始视频图像可以由摄像机在漆黑的夜间进行视频采集时生成，该摄像机在白天时段进行视频采集生成的图像作为原始视频图像对应的参照视频图像。该参照视频图像和原始视频图像均由同一个摄像机在不同的拍摄时段进行视频采集，可以得到对相同拍摄场景在不同的拍摄时段时拍摄出的多个视频图像。

102、从原始视频图像中确定出需要标注的视频目标。

在本发明实施例中，视频标注装置获取到原始视频图像资源之后，可以从该原始视频图像资源中获取到需要进行分析的原始视频图像，从原始视频图像中确定出需要标注的视频目标。其中视频目标是在原始视频图像中存在的一些像素点的集合，例如，在原始视频图像中一辆汽车可以是视频目标，或者在原始视频图像中一个小动物可以是视频目标。该视频目标可以由用户来通过操作鼠标点击确定下来，也可以通过图像中物体检测算法确定下来，例如可以通过人脸图像检测自动确定下来视频目标，该视频目标可以通过后续实施例描述的方法进行视频标注。

103、在原始视频图像中对视频目标进行视频标注得到标注有视频目标的原始视频图像，并计算标注出的视频目标在原始视频图像中的坐标信息。

在本发明实施例中，视频标注装置获取到视频目标之后，可以在原始视频图像中对视频目标进行视频标注，可以生成标注有视频目标的原始视频图像，并计算标注出的视频目标在原始视频图像中的坐标信息。该坐标信息可以是视频目标在原始视频图像中的位置坐标，通过原始视频图像中的坐标信息可以确定下来视频目标的具体位置。本发明实施例中在原始视频图像中的视频标注可以是直接在原始视频图像上进行的突出标记，使得标注出的视频目标在原始视频图像中更具有突出显示的特点。

104、根据坐标信息在参照视频图像中对视频目标进行视频标注得到标注有视频目标的参照视频图像。

在本发明实施例中，通过对视频目标在原始视频图像上的视频标注，可以计算出需要进行视频标注的视频目标在原始视频图像上的坐标信息。该坐标信息可以同样的在参照视频图像中进行视频标注，生成标注有视频目标的参照视频图像。举例说明如下，若通过步骤103可以计算出标注出的视频目标在原始视频图像中的坐标信息（x₁，y₁），则在参照视频图像中获取到坐标信息（x₁，y₁）对应的视频位置，对该视频位置进行视频标注，从而可以得到标注有视频目标的参照视频图像。又如，视频目标为原始视频图像中的一辆汽车，若原始视频图像的图像质量较差，无法准确判断出该车辆是否出现交通违法行为，则可以获取到该原始视频图像对应的参照视频图像，该参照视频图像与原始视频图像拍摄的是相同的十字路口场景，则按照该车辆在原始视频图像中的坐标信息在参照视频图像中进行视频标注，那么参照视频图像的图像质量较高，就可以准确的确定出该车辆是否出现交通违法行为。

在本发明的一些实施例中，步骤104根据坐标信息在参照视频图像中对视频目标进行视频标注得到标注有视频目标的参照视频图像之后，本发明实施例提供的视频标注方法还可以包括如下步骤：

A1、将标注有视频目标的原始视频图像和标注有视频目标的参照视频图像输出到同一个显示屏幕上。

其中，为了对视频目标进行视频标注后的分析，可以将步骤103中生成的标注有视频目标的原始视频图像和步骤104中生成的标注有视频目标的参照视频图像输出到同一个显示屏幕上，这样用户就可以通过原始视频图像和参照视频图像中对同一个视频目标的比对，准确完成对视频目标的比对分析。例如，可以将标注有视频目标的原始视频图像输出到显示屏幕的左半部分，将标注有视频目标的参照视频图像输出到同一个显示屏幕的右半部分。

B1、在标注有视频目标的参照视频图像上绘制出视频目标的移动轨迹。

在本发明实施例中，通过前述步骤101至步骤104记载的技术方案可知，视频标注装置可以对视频目标在参照视频图像上进行视频标注，若原始视频图像资源中包括有多个原始视频图像，则视频标注装置可以对多个原始视频图像以及多个参照视频图像进行视频标注，并且还可以在标注有视频目标的参照视频图像上绘制出视频目标的移动轨迹，从而边缘用户分析视频目标的活动规律，发现异常特征。绘制出视频目标的移动轨迹能够在参照视频图像上更便捷的描述出视频目标的移动方向。

通过前述实施例对本发明的描述可知，首先获取需要分析的原始视频图像资源和参照视频图像资源，原始视频图像资源包括：至少一个原始视频图像，参照视频图像资源包括：与至少一个原始视频图像分别对应的参照视频图像，然后从原始视频图像中确定出需要标注的视频目标，接下来在原始视频图像中对视频目标进行视频标注得到标注有视频目标的原始视频图像，并计算标注出的视频目标在原始视频图像中的坐标信息，最后根据该坐标信息在参照视频图像中对视频目标进行视频标注得到标注有视频目标的参照视频图像。由于本发明实施例中可以在原始视频图像上对视频目标进行视频标注后计算出标注出的视频目标在原始视频图像中的坐标信息，该坐标信息可以用于在与原始视频图像对应的参照视频图像中再次进行视频标注，因此本发明实施例中可以实现基于图像对比的视频标注，相对于现有技术中只在原始视频图像中进行视频标注，能够提高视频标注的准确性和有效性，尤其适用于原始视频图像模糊时的视频标注。

为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。接下来以本发明实施例提供的视频标注方法应用于目标侦查为例进行详细说明。本发明实施例可以提供一种简单、有效的图像对比参照的方式，实现从视频图像质量比较极端的视频图像中找出嫌疑目标的活动轨迹，为侦查民警提供正确的侦查方向。

在导入需要分析的原始监控视频的同时，导入同一监控摄像机下其它时段的清晰图像作为参照视频图像。用户在浏览视频过程中需要进行视频标注时，同时把标注信息叠加至导入的参照视频图像中，通过对比分析原始视频图像和参照视频图像的标注位置，可以准确判断出嫌疑人、嫌疑车辆、嫌疑物品在视频监控中出现的准确位置，进而绘制出嫌疑目标的在视频监控中的活动轨迹。如图2所示，本发明实施例中基于图像对比的视频标注方法主要包括五个步骤：

1)、导入需要分析的原始视频图像资源和清晰度较好的对应参照视频图像。

2) 、播放原始视频，查找在原始视频中出现的可疑的视频目标。

3) 、对原始视频图像进行视频标注，例如，可以在原始视频图像中画点、直线、曲线、圆形、矩形等方式进行视频标注。

4) 、根据导入原始视频图像的分辨率计算视频标注的坐标信息。

5) 、根据坐标信息把视频标注叠加至参照视频图像中，通过查看标注信息在参照视频图像的位置，找出嫌疑视频目标在视频监控中的具体位置。

本发明实施例是借助基于图像比对的视频标注方法，实现对已经无法确定视频监控中嫌疑目标位置时，快速确定嫌疑目标的具体位置以及活动轨迹，为侦查民警提供准确的侦查方向。本发明实施例不仅适合于公安视频研判系统，还适用于智能交通、应急指挥等其它需要视频标注的视频监控系统中。

本发明实施例提供的一种基于图像对比的视频标注方法与现有技术中的无图像对比的视频标注方法的不同点在于：对于聚焦不准、光学系统的成像差、大气湍流效应、低光照、雨雪环境等引起的视频图像质量比较极端，无法看清标注的嫌疑目标在视频中出现的准确位置及周边环境时，本发明实施例提供的视频标注方法实现自动把视频标注的坐标信息叠加至导入相同场景的参照视频图像上，然后通过参照视频图像上的标注信息，可以确定嫌疑目标在视频中出现的准确位置以及周边环境，解决无图像对比的视频标注在视频图像质量极差条件下，无法确定嫌疑目标在视频中出现的准确位置以及周边环境的弊端。本发明实施例具体适用场景可以是需要确定在极差图像质量的视频中的标注信息的精确位置以及周边环境，也可以是需要确定广角视频中的视频标注信息的精确位置。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。

请参阅图3-a所示，本发明实施例提供的一种视频标注装置300，可以包括：资源获取模块301、视频目标确定模块302和视频标注模块303，其中，

资源获取模块301，用于获取需要分析的原始视频图像资源和参照视频图像资源，所述原始视频图像资源包括：至少一个原始视频图像，所述参照视频图像资源包括：与所述至少一个原始视频图像分别对应的参照视频图像；

视频目标确定模块302，用于从所述原始视频图像中确定出需要标注的视频目标；

视频标注模块303，用于在所述原始视频图像中对所述视频目标进行视频标注得到标注有视频目标的原始视频图像，并计算标注出的视频目标在所述原始视频图像中的坐标信息；根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像。

在本发明的一些实施例中，如图3-b所示，所述视频标注装置300，还包括: 显示模块304，用于所述视频标注模块303根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像之后，将所述标注有视频目标的原始视频图像和所述标注有视频目标的参照视频图像输出到同一个显示屏幕上。

在本发明的一些实施例中，如图3-c所示，相对于如图3-a所示，所述视频标注装置300，还包括: 目标分析模块305，用于所述视频标注模块304根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像之后，在所述标注有视频目标的参照视频图像上绘制出所述视频目标的移动轨迹。

在本发明的一些实施例中，所述原始视频图像和与所述原始视频图像对应的参照视频图像是通过对相同的拍摄场景进行视频采集后得到的视频图像。

在本发明的一些实施例中，所述相同的拍摄场景由同一个摄像机在不同的拍摄时段进行视频采集。

过前述实施例对本发明的描述可知，首先获取需要分析的原始视频图像资源和参照视频图像资源，原始视频图像资源包括：至少一个原始视频图像，参照视频图像资源包括：与至少一个原始视频图像分别对应的参照视频图像，然后从原始视频图像中确定出需要标注的视频目标，接下来在原始视频图像中对视频目标进行视频标注得到标注有视频目标的原始视频图像，并计算标注出的视频目标在原始视频图像中的坐标信息，最后根据该坐标信息在参照视频图像中对视频目标进行视频标注得到标注有视频目标的参照视频图像。由于本发明实施例中可以在原始视频图像上对视频目标进行视频标注后计算出标注出的视频目标在原始视频图像中的坐标信息，该坐标信息可以用于在与原始视频图像对应的参照视频图像中再次进行视频标注，因此本发明实施例中可以实现基于图像对比的视频标注，相对于现有技术中只在原始视频图像中进行视频标注，能够提高视频标注的准确性和有效性，尤其适用于原始视频图像模糊时的视频标注。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种视频标注方法，其特征在于，包括：

获取需要分析的原始视频图像资源和参照视频图像资源，所述原始视频图像资源包括：至少一个原始视频图像，所述参照视频图像资源包括：与所述至少一个原始视频图像分别对应的参照视频图像，其中，所述原始视频图像和与所述原始视频图像对应的参照视频图像是通过对相同的拍摄场景进行视频采集后得到的视频图像，拍摄场景指的是生成该原始视频图像的摄像机的拍摄对象；

从所述原始视频图像中确定出需要标注的视频目标；

2.根据权利要求1所述的方法，其特征在于，所述根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像之后，所述方法还包括：

将所述标注有视频目标的原始视频图像和所述标注有视频目标的参照视频图像输出到同一个显示屏幕上。

3.根据权利要求1所述的方法，其特征在于，所述根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像之后，所述方法还包括：

在所述标注有视频目标的参照视频图像上绘制出所述视频目标的移动轨迹。

4.根据权利要求1所述的方法，其特征在于，所述相同的拍摄场景由同一个摄像机在不同的拍摄时段进行视频采集。

5.一种视频标注装置，其特征在于，包括：

资源获取模块，用于获取需要分析的原始视频图像资源和参照视频图像资源，所述原始视频图像资源包括：至少一个原始视频图像，所述参照视频图像资源包括：与所述至少一个原始视频图像分别对应的参照视频图像，其中，所述原始视频图像和与所述原始视频图像对应的参照视频图像是通过对相同的拍摄场景进行视频采集后得到的视频图像，拍摄场景指的是生成该原始视频图像的摄像机的拍摄对象；

6.根据权利要求5所述的装置，其特征在于，所述视频标注装置，还包括:显示模块，用于所述视频标注模块根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像之后，将所述标注有视频目标的原始视频图像和所述标注有视频目标的参照视频图像输出到同一个显示屏幕上。

7.根据权利要求5所述的装置，其特征在于，所述视频标注装置，还包括:目标分析模块，用于所述视频标注模块根据所述坐标信息在所述参照视频图像中对所述视频目标进行视频标注得到标注有视频目标的参照视频图像之后，在所述标注有视频目标的参照视频图像上绘制出所述视频目标的移动轨迹。

8.根据权利要求5所述的装置，其特征在于，所述相同的拍摄场景由同一个摄像机在不同的拍摄时段进行视频采集。