CN107564004B - 一种基于计算机辅助跟踪的篡改视频标注方法 - Google Patents

Abstract

本发明公开了一种基于计算机辅助跟踪的篡改视频标注方法。本发明依次读入被篡改的视频序列的每一帧，通过计算机辅助跟踪来更新篡改区域的标记框位置，然后通过人工判定标记框的位置。如果计算机辅助识别的标记框偏离了篡改区域所在的位置，则通过鼠标修正标记框的位置。计算机辅助跟踪依据前一帧的标记框和当前帧被篡改区域的目标特征，通过运行在计算机上的目标跟踪算法，预测当前帧的标记框位置。本发明方法可以实现对篡改视频序列中视频篡改区域的标注，用输出的标记框表示视频篡改区域所在的位置。本发明将计算机识别视频篡改区域和人工标记相结合，解决了计算机自动识别跟踪不精确、人工标记效率低的问题，能够显著提升标注效率和准确率。

Description

一种基于计算机辅助跟踪的篡改视频标注方法

技术领域

本发明属于多媒体信息安全领域，涉及视频标注技术，具体涉及一种基于计算机辅助跟踪的篡改视频标注方法。

背景技术

深度学习理论已经被广泛应用于视频图像处理、视频智能分析等领域，并且取得了较好的效果。当前，已经有不少学者开始在多媒体安全领域，利用基于深度学习的方法解决隐写分析、图像和视频的篡改检测等多媒体安全问题。然而，基于深度学习的视频篡改检测方法，需要大量的被标注过的视频样本进行训练。现有的可以公开获取的视频篡改取证数据库，由于包含的视频序列较少，还无法满足深度学习训练的数据需求。同时，视频标注过程是一项非常耗费时间和精力，并且枯燥无趣的工作。目前还没有公开的文献用于提升篡改视频的标注效率。本发明将计算机识别视频篡改区域和人工标记相结合，解决了计算机自动识别跟踪不精确、人工标记效率低的问题，可以满足视频被动取证研究中海量篡改视频标注的需求，是视频标注的一种解决方法，能够显著提升标注效率和准确率。

发明内容

本发明的目的是提供一种基于计算机辅助跟踪的篡改视频标注方法。

本发明方法依次读入被篡改的视频序列的每一帧，通过计算机辅助跟踪来更新篡改区域的标记框位置，然后通过人工判定和修正标记框的位置，输出最终的篡改视频标注的标记框。具体步骤包括：

步骤1.依次读入视频序列的每一帧：视频序列由若干幅在时间上连续且前后关联的图像构成，每幅图像为该视频序列的一帧；本方法依次对视频序列的每一帧进行篡改视频标注；

步骤2.判断读入的每一幅视频图像帧是否被篡改：

对于要标注的被篡改视频序列，都存在一个未被篡改的原始视频序列；对比原始视频序列和被篡改视频序列在当前时刻的视频图像帧，即可通过肉眼判定要标注的被篡改视频序列的当前帧是否被篡改；

步骤3.如果当前视频图像帧为被篡改视频帧，则调用计算机辅助跟踪算法获取篡改区域的标记框；如果当前视频图像帧没有被篡改，则进入步骤6，输出标记框(0,0,0,0)；

步骤4.判定计算机辅助跟踪输出的标记框是否需要人工修正：对比原始视频序列和被篡改视频序列在当前时刻的视频图像帧，即可通过视频帧差异确定标记框是否需要人工修正；如果需要人工修正，则进入步骤5；如果不需要人工修正，则进入步骤6，输出标记框(x,y,w,h)；

步骤5.用鼠标人工修正标记框：计算机辅助跟踪输出的标记框有可能没有完全包含被篡改区域；用鼠标在视频图像上划出一个矩形区域，使之包含被篡改区域；用该矩形区域替换计算机辅助跟踪输出的标记框，完成标记框的人工修正；

步骤6.输出标记框：矩形的标记框表示被篡改区域；标记框(x,y,w,h)表示左上角坐标为(x,y)、宽度为w、高度为h的矩形区域；特别的，用标记框(0,0,0,0)表示不存在篡改区域，即当前视频图像帧没有被篡改；

步骤7.判定所有视频图像帧是否完成标注：如果没有，则回到步骤1继续进行标注；如果完成，则保存输出结果、退出程序。

其中，步骤3中所述的计算机辅助跟踪算法，包括跟踪器初始化和更新标记框两部分。

其中跟踪器初始化过程包括：创建跟踪器句柄、设定初始的标记框和初始化跟踪器；

更新标记框过程包括：读入被篡改帧、调用跟踪器和更新标记框。跟踪器初始化过程在篡改视频标注算法启动时调用一次；更新标记框过程在每次读入被篡改帧时都执行一次。

步骤3中所述的计算机辅助跟踪算法，算法接口以面向对象的编程思想进行封装，能够灵活选择不同的跟踪算法。算法接口被封装之后，创建跟踪器句柄通过调用OpenCV开源计算机视觉库中的函数实现：

tracker＝Tracker_create("MIL")；

其中，tracker为返回的跟踪器句柄，MIL为一种跟踪算法。可选用的其他跟踪算法包括：BOOSTING、MEDIANFLOW、TLD等。这些跟踪算法都可以通过调用OpenCV开源计算机视觉库实现。

初始化过程通过调用如下函数实现：

tracker.init(frame,bbox)；

其中，frame为读入的视频帧数据，bbox为设定的初始标记框。

更新标记框过程通过调用如下函数实现：

bbox＝tracker.update(frame)；

其中，frame为读入的视频帧数据，bbox为计算机辅助跟踪获取的标记框。

本发明有益效果如下：

本发明方法能够实现对篡改视频序列中视频篡改区域的标注，用输出的标记框表示视频篡改区域所在的位置。本发明将计算机识别视频篡改区域和人工标记相结合，解决了计算机自动识别跟踪不精确、人工标记效率低的问题，可以满足视频被动取证研究中海量篡改视频标注的需求，是视频标注的一种解决方法，能够显著提升标注效率和准确率。

附图说明

图1为本发明实施例所提供的篡改视频计算机辅助标注方法流程图。

图2为本发明实施例所提供的计算机辅助标注算法流程图。

图3为本发明实施例所提供的视频标注运行界面示意图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。应当明确，所描述的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例给出一种基于计算机辅助跟踪的篡改视频标注方法。图1为本发明实施例所提供的标注方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤101.依次读入视频序列的每一帧。视频序列由若干幅在时间上连续且前后关联的图像构成，每幅图像为该视频序列的一帧。本方法依次对视频序列的每一帧进行篡改视频标注。因此，需要将视频序列的每一帧依次读入到计算机中进行处理。

步骤102.判断读入的每一幅视频图像帧是否被篡改。针对视频序列的篡改，可能只发生在该视频序列的某一时间段之内。因此，在篡改视频的标注过程中，需要先判断读入的视频图像帧是否存在篡改。

对于要标注的被篡改视频序列，都存在一个未被篡改的原始视频序列；对比原始视频序列和被篡改视频序列在当前时刻的视频图像帧，即可通过肉眼判定要标注的被篡改视频序列的当前帧是否被篡改。

步骤103.如果当前视频图像帧为被篡改视频帧，则调用本发明的计算机辅助跟踪算法获取篡改区域的标记框；如果当前视频图像帧没有被篡改，则进入步骤106，输出标记框(0,0,0,0)。

步骤104.判定计算机辅助跟踪输出的标记框是否需要人工修正。对比原始视频序列和被篡改视频序列在当前时刻的视频图像帧，即可通过视频图像上的目标对象的不同，确定被篡改的区域。该区域即为需要用标记框标注出来的篡改区域。根据计算机辅助跟踪输出的标记框是否完整覆盖被篡改区域，即可确定标记框是否需要人工修正。如果需要人工修正，则进入步骤105；如果不需要人工修正，则进入步骤106，输出标记框(x,y,w,h)。

步骤105.用鼠标在视频图像上修正标记框。如果计算机辅助跟踪输出的标记框没有完全包含被篡改区域，则用鼠标在视频图像上划出一个矩形区域，使之包含被篡改区域。用划出矩形区域替换计算机辅助跟踪输出的标记框，完成标记框的人工修正。

步骤106.输出标记框。本发明方法用矩形的标记框表示被篡改区域。标记框(x,y,w,h)表示左上角坐标为(x,y)、宽度为w、高度为h的矩形区域。为了表示篡改视频序列中的未被篡改图像帧，本发明方法用标记框(0,0,0,0)表示该图像帧不存在篡改区域，即当前视频图像帧没有被篡改。

步骤107.判定所有视频图像帧是否完成标注。在步骤101中，依次读入视频序列的每一帧。通过判定视频序列是否全部读入完毕，即可得出剩余的视频图像帧数量。如果还有视频图像帧未完成标注，则回到步骤101继续进行标注；如果全部处理完成，则保存输出结果、退出程序。

本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。

参考图2，其为本发明实施例步骤103所提供的计算机辅助标注算法流程图。如图所示，按照读入视频图像帧，输出标注结果的流程顺序，该算法包括：

1)创建跟踪器句柄。

为了实现快速开发，在本发明实施例中，通过调用开源算法库来实现本发明方法的计算机辅助跟踪算法。不同的开源跟踪算法，被以面向对象的编程思想进行封装，提供统一的接口，可以灵活选择不同的跟踪算法。创建跟踪器句柄通过调用OpenCV开源计算机视觉库中的如下函数实现：

tracker＝Tracker_create("MIL")；

其中，tracker为返回的跟踪器句柄，MIL为一种跟踪算法。可选用的其他跟踪算法包括：BOOSTING、MEDIANFLOW、TLD等。这些跟踪算法都可以通过调用OpenCV开源计算机视觉库实现。

2)设定初始的标记框和初始化跟踪器。跟踪器初始化过程在篡改视频标注算法启动时调用一次。初始化之后，跟踪器即可用根据输入视频图像帧的内容来实现辅助跟踪。初始化过程通过调用如下函数实现：

tracker.init(frame,bbox)；

其中，frame为读入的视频图像帧数据，bbox为人工设定的初始标记框。

3)读入被篡改视频序列的图像帧。

通过调用OpenCV开源计算机视觉库的读接口函数，可以实现篡改视频序列的读入。

4)调用跟踪器和更新标记框。

通过跟踪器的句柄，可以调用跟踪器。更新标记框过程通过调用如下函数实现：

bbox＝tracker.update(frame)；

其中，frame为读入的视频帧数据，bbox为计算机辅助跟踪获取的标记框。

5)判定篡改视频是否处理完毕。

如果还有篡改视频没有处理完，则返回步骤3)继续读入后续的视频图像帧。如果处理完成，则退出。

参考图3，其为本发明实施例的视频标注运行界面示意图。

由于计算机自动识别和跟踪视频篡改区域，输出的标记框可能不精确。而全部采用人工标记，需要花费大量时间、标注效率很低。本发明方法的步骤104和步骤105(参考图1)采用计算机跟踪视频篡改区域和人工标记修正相结合，可以满足视频被动取证研究中海量篡改视频标注的需求，是视频标注的一种解决方法，能够显著提升标注效率和准确率。

如图3所示，视频标注的运行界面包括四个子窗口。其中，左上角为原始视频帧显示窗口，即播放显示未篡改视频序列的窗口；右上角为篡改视频帧显示窗口，即播放显示被篡改视频序列的窗口；左下角为视频帧差值显示窗口，即被篡改视频序列的相邻两帧的差值显示窗口；右下角为程序运行结果显示窗口，即标记框输出窗口。

对比左上角窗口和右上角窗口，可以很明显的发现视频图像的差异：左边电梯旁边背包的同学被从画面中移除。该同学所在区域属于被篡改区域，需要用标记框将其标注出来，以便于视频取证研究者生成正负样本。另外，如图3所示，为了便于观察标注框的大小是否合适，本程序将标注框显示到左上角窗口，即原始的未篡改视频上；为了显示当前的标注进度，本程序将视频帧编号显示到右上角窗口。

根据左下角视频帧差值窗口显示的差值图像，可以初步确定篡改区域所在位置。如图3的左下角窗口所示，黑色区域表示差值较小，接近于零；白色区域表示差值较大，接近于255；特别的，标注框对应的被篡改区域，大部分都是黑色的。视频帧差值窗口呈现出不同深度的颜色，是因为视频篡改的操作原理导致的。目前的视频篡改操作，都是基于复制-粘贴的原理实现。画面中的人或物被移除之后，通过复制其他视频帧的相同区域来填补被移除的空白。复制来的区域在像素值上存在很大相似性，相邻帧做帧差时，得到的差值较小，因此，显示在被篡改区域显示为连续的黑色。基于此原理，本程序运行时，操作人员可以根据视频帧差值窗口的显示结果，调整标注框的大小，进一步提升标注的精确度。

如图3所示，视频标注的过程中，为了操作便捷，本程序规定：若计算机辅助跟踪输出的标注框满足精度要求，则按键盘上的“空格键”，接受该标注结果，并读入下一视频图像帧；若计算机辅助跟踪输出的标注框没有完全包含篡改区域，则用鼠标框选出正确的篡改区域之后，再按键盘上的“空格键”，继续读入下一帧视频图像帧；循环执行，直至完成所有视频帧的标注。

基于本发明实施例实现的计算机辅助跟踪视频标注方法，将枯燥且高度重复的标注操作转化为人工观察判定计算机输出的结果、修正部分输出结果的过程。因此，可以大大提升标注的效率和准确度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (4)

1.一种基于计算机辅助跟踪的篡改视频标注方法，该方法依次读入被篡改的视频序列的每一帧，通过计算机辅助跟踪来更新篡改区域的标记框位置，然后通过人工判定和修正标记框的位置，输出最终的篡改视频标注的标记框，其特征在于该方法的具体步骤是：

步骤1.依次读入视频序列的每一帧：视频序列由若干幅在时间上连续且前后关联的图像构成，每幅图像为该视频序列的一帧；本方法依次对视频序列的每一帧进行篡改视频标注；

步骤2.判断读入的每一幅视频图像帧是否被篡改：对于要标注的被篡改视频序列，都存在一个未被篡改的原始视频序列；对比原始视频序列和被篡改视频序列在当前时刻的视频图像帧，即可通过肉眼判定要标注的被篡改视频序列的当前帧是否被篡改；

步骤3.如果当前视频图像帧为被篡改视频帧，则调用计算机辅助跟踪算法获取篡改区域的标记框；如果当前视频图像帧没有被篡改，则进入步骤6，输出标记框(0,0,0,0)；

步骤4.判定计算机辅助跟踪输出的标记框是否需要人工修正：对比原始视频序列和被篡改视频序列在当前时刻的视频图像帧，即可通过视频帧差异确定标记框是否需要人工修正；如果需要人工修正，则进入步骤5；如果不需要人工修正，则进入步骤6，输出标记框(x,y,w,h)；

步骤5.用鼠标人工修正标记框：计算机辅助跟踪输出的标记框有可能没有完全包含被篡改区域；用鼠标在视频图像上划出一个矩形区域，使之包含被篡改区域；用该矩形区域替换计算机辅助跟踪输出的标记框，完成标记框的人工修正；

步骤6.输出标记框：用矩形的标记框表示被篡改区域；标记框(x,y,w,h)表示左上角坐标为(x,y)、宽度为w、高度为h的矩形区域；特别的，用标记框(0,0,0,0)表示不存在篡改区域，即当前视频图像帧没有被篡改；

步骤7.判定所有视频图像帧是否完成标注：如果没有，则回到步骤1继续进行标注；如果完成，则保存输出结果，然后退出；

步骤3中所述的计算机辅助跟踪算法，包括跟踪器初始化和更新标记框两部分；其中跟踪器初始化过程包括：创建跟踪器句柄、设定初始的标记框和初始化跟踪器；更新标记框过程包括：读入被篡改帧、调用跟踪器和更新标记框；跟踪器初始化过程在篡改视频标注算法启动时调用一次；更新标记框过程在每次读入被篡改帧时都执行一次。

2.如权利要求1所述的一种基于计算机辅助跟踪的篡改视频标注方法，其特征在于：步骤3中所述的计算机辅助跟踪算法，算法接口以面向对象的编程思想进行封装，从而能够灵活选择不同的跟踪算法；算法接口被封装之后，创建跟踪器句柄通过调用OpenCV开源计算机视觉库中的函数实现：

tracker＝Tracker_create("MIL")；

其中，tracker为返回的跟踪器句柄，MIL为一种跟踪算法，其他跟踪算法都能够通过调用OpenCV开源计算机视觉库实现。

3.如权利要求2所述的一种基于计算机辅助跟踪的篡改视频标注方法，其特征在于：步骤3中所述的计算机辅助跟踪算法，算法接口被封装之后，初始化过程通过调用如下函数实现：

tracker.init(frame,bbox′)；

其中，frame为读入的视频帧数据，bbox′为设定的初始标记框。

4.如权利要求3所述的一种基于计算机辅助跟踪的篡改视频标注方法，其特征在于：步骤3中所述的计算机辅助跟踪算法，算法接口被封装之后，更新标记框过程通过调用如下函数实现：

bbox＝tracker.update(frame)；

其中，frame为读入的视频帧数据，bbox为计算机辅助跟踪获取的标记框。

Images