CN114697751A - 一种视频倒放防重切的方法及系统 - Google Patents

Abstract

本发明公开了一种视频倒放防重切的方法及系统，具体包括以下步骤：S1、接收视频倒放请求；S2、根据所述视频倒放请求，停止对接收到的X光机视频流进行切图处理，并获取停止时间戳对应的视频帧图片，确定为基准图片；S3、依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片与基准图片的相似性判定；S4、当判定为不相似时，循环步骤S3；S5、当判定为相似时，恢复对接收到的X光机视频流的切图处理。本发明中如何正确定位倒放结束的时刻，是关键点，且这一整个倒放过程中无需对接收到的X光视频流进行识别与切图操作，无需进行重复识别，减少了重复识别切图浪费的时间，从而提高了系统运算效率，节约了系统算力资源。

Description

一种视频倒放防重切的方法及系统

技术领域

本发明涉及智慧安检技术领域，具体涉及一种视频倒放防重切的方法及系统。

背景技术

在现有技术中，包裹等随身物品在安检场景下，通常使用含有包裹的X光成像视频承载包裹信息，视频占用存储空间巨大，不便于保存，而且在网络上传输时占用带宽，同时，相邻多帧之间会有大量的冗余信息，因此在安检场景中，有把X光机视频信号转换成图片的需求。在这个需求场景下，就涉及到需要对视频进行连续的切图，使得进入安检机的物品的X光机成像图片能够不重复，无遗漏的切割下来。但是当一个视频包括一个或多个包裹信息对于一张或多张图片，安检员无法快速直观地建立人-包裹的映射关系，当需要回溯历史信息时，触发倒放请求，X光机接收到倒放请求时，将传送带按照与顺序播放传送时相反的方向进行传送，已达到在显示器中进行回溯的效果。然而，现有的智能识图盒子接收到X光机发送的回溯视频流时，会出现重复切图的情况，从而造成智能识图盒子处理器资源的浪费，且对智能识图盒子算力资源的消耗量大。

发明内容

本发明的目的在于提供一种视频倒放防重切的方法及系统，当接收到视频倒放请求，停止对对接收到的X光机视频流进行切图处理，避免算力资源的浪费，并通过对实时接收到的X光机视频流进行相似性判定，从而准确定位切图结束时刻，恢复包裹切图，用以解决现有视频倒放会出现重复切图的情况的问题。

一种视频倒放防重切的方法，应用于X光安检机，当显示器中显示包裹出现漏判时，触发视频倒放请求，同时X光安检机中的传送带开始反向传输，执行以下步骤：

S1、接收视频倒放请求；

S2、根据所述视频倒放请求，停止对接收到的X光机视频流的切图处理，并获取停止时间戳对应的视频帧图片，确定为基准图片；

S3、依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片与基准图片进行相似性判定；

S4、当判定为不相似时，循环步骤S3；

S5、当判定为相似时，恢复对接收到的X光机视频流的切图处理。

进一步地，所述相似性判定具体包括以下步骤：

以基准图片为第0帧图片，依次提取所述X光机视频流中的视频帧图片，以第i次提取的视频帧图片为第i帧图片(i∈[1,N])；

计算第j(j＝1，2，…，N)帧图片与第0帧图片的相似值Fj；

判断所述第j帧图片对应的相似值Fj与第j-1帧图片对应的相似值Fj-1的大小；

若Fj＞Fj-1，则计算第j+1帧图片与第0帧图片的相似值Fj+1；

判断所述第j帧图片对应的相似值Fj与第j+1帧图片对应的相似值Fj+1的大小；

若Fj＞Fj+1，则将所述第j帧图片判定为与基准图片的关系相似的图片。

进一步地，所述相似值通过以下步骤得到：

根据预设的第一预设区域对所述第0帧图片进行剪切，获得像素矩阵S；

根据预设的第一预设区域对所述第i帧图片进行剪切，获得像素矩阵E；

计算所述像素矩阵S与像素矩阵E的相似值。

进一步地，所述第一预设区域根据X光机传送带的方向进行设置，当X光机传送带传送的方向为从右至左进行时，设置视频图片Fm中最左上角的坐标为(0,0)，所述第一预设区域为左上角坐标为(w,h)，宽为c像素，高为r像素的矩形区域，所述w、h、c、r满足：w+c＝当前帧视频图片Fm的横向像素，c+r＝当前帧视频图片Fm的纵向像素。

进一步地，进行剪切前，还包括帧补偿处理，具体包括以下步骤：

提取所述第i帧图片的每个像素点的RGB颜色信息,其中(i∈[1,N])，并对所述每个像素点的RGB颜色信息进行降阶处理，获得降阶后的第i帧图片，所述降阶处理：

将所述第i帧图片每个像素点的RGB颜色信息除以预设数值，获得对应的每个像素点的RGB商值；

根据所述每个像素点的RGB商值刷新对应的RGB颜色信息，获得降阶后的第i帧图片。

进一步地，所述相似值为所述计算像素矩阵S与像素矩阵E的感知哈希值中不同的比特数目数。

进一步地，所述感知哈希值具体计算步骤如下：

将宽度为c高度为r的像素矩阵转换为灰度图片；

将灰度图像转换为二值图片；

将二值图片的像素按顺序排列，得到比特序列,所述比特序列为图片的感知哈希值。

进一步地，所述切图处理具体包括以下步骤：

依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片输入到目标识别模型中，以通过所述目标识别模型对从所述视频帧图片中的包裹进行识别；

获取所述目标识别模型输出的识别结果，其中，所述识别结果中携带对应于包裹的识别框及位置信息；

根据所述识别结果对所述视频帧图片中进行剪切处理，获得至少一张包裹图片。

一种视频倒放防重切的系统，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种视频倒放防重切的方法，所述一个或多个程序包括：

接收模块，用于接收视频倒放请求；

确定基准图片模块，用于根据所述视频倒放请求，停止对接收到的X光机视频流的切图处理，并获取停止时间戳对应的视频帧图片，确定为基准图片；

相似性判定模块，用于依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片与基准图片进行相似性判定；

跳转模块，用于当判定为不相似时，转到相似性判定模块；

恢复模块，用于当判定为相似时，恢复对接收到的X光机视频流的切图处理。

本发明具有的有益效果：

1、针对需要倒序播放的X光机视频流，从起始帧图片开始进行逐帧进行相似性判定，并从判定为的相似的视频帧图片之后开始恢复包裹切图，当找到与起始帧图片相似度最高的一帧视频帧图片时，按照接收的X光机视频流的第一帧的开始，从所述X光机视频流中依次获取视频帧图片并进行识别处理，X光机中的包裹进行回溯倒放过程为：将X光机中对应的传送带向相反方向的运动一段距离之后，再进行正向传输相同的距离，从而在显示器上对应于倒放显示，从传送带开始逆向传输L的距离至正向传输L的距离，这一个过程对应的显示器中倒放的开始与结束的过程，在这一整个过程中，如何正确定位倒放结束的时刻，是本申请的发明点，且这一整个过程中无需对接收到的X光视频流进行识别与切图操作，无需进行重复识别，减少了重复识别切图浪费的时间，从而提高了系统运算效率，节约了系统算力资源。

2、处于倒放状态时，此时接收到的X光机视频流中的包裹数据已经进行过一次识别切图处理，因此此时仅对X光机视频流仅进行相似度判定，当获得相似度值最大的一帧视频帧图片时，将此时准确定位为切图结束时刻，从而恢复对接收到的X光机视频流进行识别与切图处理。

附图说明

图1为本发明的视频倒放防重切方法示意图；

图2为本发明的视频倒放防重切系统示意图；

图3为本发明的倒放过程示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

实施例1

一种视频倒放防重切的方法，其应用于X光安检机，当显示器中显示包裹出现漏判时，触发视频倒放请求，同时X光安检机中的传送带开始反向传输，执行以下步骤：

S1、接收视频倒放请求；

S2、根据所述视频倒放请求，停止对接收到的X光机视频流进行切图处理，并获取停止时间戳对应的视频帧图片，确定为基准图片；

S3、依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片与基准图片的相似性判定；

S4、当判定为不相似时，循环步骤S3；

S5、当判定为相似时，恢复对接收到的X光机视频流的切图处理。

所述相似性判定具体包括以下步骤：

以基准图片为第0帧图片，依次提取所述X光机视频流中的视频帧图片，以第i次提取的视频帧图片为第i帧图片(i∈[1,N])；

计算第j(j＝1，2，…，N)帧图片与第0帧图片的相似值Fj；

判断所述第j帧图片对应的相似值Fj与第j-1帧图片对应的相似值Fj-1的大小；

若Fj＞Fj-1，则计算第j+1帧图片与第0帧图片的相似值Fj+1；

判断所述第j帧图片对应的相似值Fj与第j+1帧图片对应的相似值Fj+1的大小；

若Fj＞Fj+1，则将所述第j帧图片判定为与基准图片的关系相似的图片。

本领域技术人员可以理解的是，基准图片的作用是为了获得准确定位切图结束时刻，当视频开始倒放时，依次提取X光机视频流中的视频帧图片，对计算提取到的X个光机视频帧图片与基准图片之间的相似度。

具体的，可以设置一个视频倒放的标识flag,flag＝0表示视频在正常运行。flag＝1表示视频出现倒放。当视频开始倒放时，令flag＝1，同时取视频当前帧的最右侧为参考数据S，尺寸为w*h。

当传送带逆向传送完成后开始正向传送，对应与X光机视频又正常播放。隔n帧，取视频帧图像中最右侧与参考数据S同样尺寸的检测区域S’，用Familiar(S,S’)表示检测区域数据S’与参考数据S之间的相似性F。记第i次检测区域数据S’与参考数据S之间的相似性记为Fi。相似性Fi的阈值为AF。当Fi>＝AF时，说明检测区域数据S’与参考数据S。逐渐匹配上。MAXF用于存放最大的相似性Fi。

当Fi>MAXF,刷新MAXF＝Fi。

因为检测区域S’是逐渐与参考数据S进行匹配的，然后完全匹配后又逐渐不匹配。所以当Fi>＝MAXF,Fi+1<MAXF时，说明视频已经回到了开始倒放时的那一帧视频帧图片，此时令flag＝0。清空参考数据S。视频开始正常切图。

所述相似值通过以下步骤得到：

根据预设的第一预设区域对所述第0帧图片进行剪切，获得像素矩阵S；

根据预设的第一预设区域对所述第i帧图片进行剪切，获得像素矩阵E；

计算所述像素矩阵S与像素矩阵E的相似值。

所述第一预设区域根据X光机传送带的方向进行设置，当X光机传送带传送的方向为从右至左进行时，设置视频图片Fm中最左上角的坐标为(0,0)，所述第一预设区域为左上角坐标为(w,h)，宽为c像素，高为r像素的矩形区域，所述w、h、c、r满足：w+c＝当前帧视频图片Fm的横向像素，c+r＝当前帧视频图片Fm的纵向像素。

进行剪切前，还包括帧补偿处理，具体包括以下步骤：

提取所述第i帧图片的每个像素点的RGB颜色信息,其中(i∈[1,N])，并对所述每个像素点的RGB颜色信息进行降阶处理，获得降阶后的第i帧图片，所述降阶处理：

将所述第i帧图片每个像素点的RGB颜色信息除以预设数值，获得对应的每个像素点的RGB商值；

根据所述每个像素点的RGB商值刷新对应的RGB颜色信息，获得降阶后的第i帧图片。

具体的，由于色彩是二进制表示，在降低像素色彩信息阶数的时候，可以使用现有像素色彩信息除以2的倍数的方式设像素色彩信息为L，降低后的像素色彩信息为O，降低前的亮度阶数为n，降低后的亮度阶数为m，那么：

O＝L/2^(n-m)

O是商，余数被舍弃，比如，我们将B为60和61的两个8bit数据，即256阶色彩的像素变成2bit共4阶色彩的像素，那么56和57对应的降低阶数的计算式分别为：

60/2^(8-2)

61/2^(8-2)

两个计算式算出的商都是0，两个像素的R色彩信息在降低阶数后变得一样了。同样，在RGB中，像素G和B也可以通过此种方法各降低到4个阶数，这样的话，整个像素的色彩就从1678万种，变成了4*4*4＝64种。

根据实际情况，我们可以选择合理的降低阶数，使得原本由于像素色彩信息的变化导致的色彩误差被消除掉，使得特征值由原本像素组成的不相等的像素矩阵S和E，变成了像素色彩信息阶数降低后的相等的特征矩阵S和E。

所述相似值为所述计算像素矩阵S与像素矩阵E的感知哈希值中不同的比特数目数。

所述感知哈希值具体计算步骤如下：

将宽度为c高度为r的像素矩阵转换为灰度图片；

将灰度图像转换为二值图片；

将二值图片的像素按顺序排列，得到比特序列,所述比特序列为图片的感知哈希值。

本领域技术人员可以理解的是，感知哈希算法(perceptual hash algorithm)，它的作用是对每张图像生成一个“指纹”(fingerprint)字符串，然后比较不同图像的指纹。结果越接近，就说明图像越相似。

具体包括以下步骤：

缩小尺寸：将宽度为c高度为r的像素矩阵缩小到8*8的尺寸，总共64个像素。

这一步的作用是去除图像的细节，只保留结构/明暗等基本信息，摒弃不同尺寸/比例带来的图像差异；这一步的作用是去除图像的细节，只保留结构/明暗等基本信息，摒弃不同尺寸/比例带来的图像差异；

简化色彩：将缩小后的图像，转为64级灰度，即所有像素点总共只有64种颜色；

计算平均值：计算所有64个像素的灰度平均值；

比较像素的灰度：将每个像素的灰度，与平均值进行比较，大于或等于平均值记为1，小于平均值记为0；

计算哈希值：将上一步的比较结果，组合在一起，就构成了一个64位的整数，这就是这张图像的指纹。组合的次序并不重要，只要保证所有图像都采用同样次序就行了；

得到指纹以后，就可以对比不同的图像，看看64位中有多少位是不一样的。在理论上，这等同于”汉明距离”(Hamming distance,在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数)。

不相同的数据位数为两张图片的相似值。

如果不相同的数据位数不超过5，就说明两张图片很相似；

如果大于10，就说明这是两张不同的图片。

所述切图处理具体包括以下步骤：

依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片输入到目标识别模型中，以通过所述目标识别模型对从所述视频帧图片中的包裹进行识别；

获取所述目标识别模型输出的识别结果，其中，所述识别结果中携带对应于包裹的识别框及位置信息；

根据所述识别结果对所述视频帧图片中进行剪切处理，获得至少一张包裹图片。

本领域技术人员可以理解的是，所述目标识别模型可以采用但不限于卷积神经网络、DBN或堆栈自编码网络模型等。

如图3所示，当安检人员需要对X光机中的视频进行回溯时，触发倒放请求，X光机接收到倒放请求，停止X光机传送带的正向传送，开始发现传送，携带传送带上的包裹1、2、3反向运动，当反向运动一段距离L后，传送带的反向运动结束，开始正向运动，携带传送带上的包裹1、2、3正向运动，当运动至开始倒放的位置处时，倒放过程结束，因此，整个倒放过程包裹开始倒放、反向运动、反向运动停止、正向运动至结束这五个阶段。

实施例2

一种视频倒放防重切的系统，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据所述的一种视频倒放防重切的方法，所述一个或多个程序包括：

接收模块，用于接收视频倒放请求；

确定基准图片模块，用于根据所述视频倒放请求，停止对接收到的X光机视频流的切图处理，并获取停止时间戳对应的视频帧图片，确定为基准图片；

相似性判定模块，用于依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片与基准图片进行相似性判定；

跳转模块，用于当判定为不相似时，转到相似性判定模块；

恢复模块，用于当判定为相似时，恢复对接收到的X光机视频流的切图处理。

实施例3，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的一种视频倒放防重切的方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (9)

1.一种视频倒放防重切的方法，其特征在于，应用于X光安检机，当显示器中显示包裹出现漏判时，触发视频倒放请求，同时X光安检机中的传送带开始反向传输，执行以下步骤：

S1、接收视频倒放请求；

S2、根据所述视频倒放请求，停止对接收到的X光机视频流的切图处理，并获取停止时间戳对应的视频帧图片，确定为基准图片；

S3、依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片与基准图片进行相似性判定；

S4、当判定为不相似时，循环步骤S3；

S5、当判定为相似时，恢复对接收到的X光机视频流的切图处理。

2.根据权利要求1所述的一种视频倒放防重切的方法，其特征在于，所述相似性判定具体包括以下步骤：

以基准图片为第0帧图片，依次提取所述X光机视频流中的视频帧图片，以第i次提取的视频帧图片为第i帧图片(i∈[1,N])；

计算第j(j＝1，2，…，N)帧图片与第0帧图片的相似值Fj；

判断所述第j帧图片对应的相似值Fj与第j-1帧图片对应的相似值Fj-1的大小；

若Fj＞Fj-1，则计算第j+1帧图片与第0帧图片的相似值Fj+1；

判断所述第j帧图片对应的相似值Fj与第j+1帧图片对应的相似值Fj+1的大小；

若Fj＞Fj+1，则将所述第j帧图片判定为与基准图片的关系相似的图片。

3.根据权利要求2所述的一种视频倒放防重切的方法，其特征在于，所述相似值通过以下步骤得到：

根据预设的第一预设区域对所述第0帧图片进行剪切，获得像素矩阵S；

根据预设的第一预设区域对所述第i帧图片进行剪切，获得像素矩阵E；

计算所述像素矩阵S与像素矩阵E的相似值。

4.根据权利要求3所述的一种视频倒放防重切的方法，其特征在于，所述第一预设区域根据X光机传送带的方向进行设置，当X光机传送带传送的方向为从右至左进行时，设置视频图片Fm中最左上角的坐标为(0,0)，所述第一预设区域为左上角坐标为(w,h)，宽为c像素，高为r像素的矩形区域，所述w、h、c、r满足：w+c＝当前帧视频图片Fm的横向像素，c+r＝当前帧视频图片Fm的纵向像素。

5.根据权利要求2所述的一种视频倒放防重切的方法，其特征在于，进行剪切前，还包括帧补偿处理，具体包括以下步骤：

提取所述第i帧图片的每个像素点的RGB颜色信息,其中(i∈[1,N])，并对所述每个像素点的RGB颜色信息进行降阶处理，获得降阶后的第i帧图片，所述降阶处理：

将所述第i帧图片每个像素点的RGB颜色信息除以预设数值，获得对应的每个像素点的RGB商值；

根据所述每个像素点的RGB商值刷新对应的RGB颜色信息，获得降阶后的第i帧图片。

6.根据权利要求4所述的一种视频倒放防重切的方法，其特征在于，所述相似值为所述计算像素矩阵S与像素矩阵E的感知哈希值中不同的比特数目数。

7.根据权利要求6所述的一种视频倒放防重切的方法，其特征在于，所述感知哈希值具体计算步骤如下：

将宽度为c高度为r的像素矩阵转换为灰度图片；

将灰度图像转换为二值图片；

将二值图片的像素按顺序排列，得到比特序列,所述比特序列为图片的感知哈希值。

8.根据权利要求1所述的一种视频倒放防重切的方法，其特征在于，所述切图处理具体包括以下步骤：

依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片输入到目标识别模型中，以通过所述目标识别模型对从所述视频帧图片中的包裹进行识别；

获取所述目标识别模型输出的识别结果，其中，所述识别结果中携带对应于包裹的识别框及位置信息；

根据所述识别结果对所述视频帧图片中进行剪切处理，获得至少一张包裹图片。

9.一种视频倒放防重切的系统，其特征在于，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至8中任意一项所述的一种视频倒放防重切的方法，所述一个或多个程序包括：

接收模块，用于接收视频倒放请求；

确定基准图片模块，用于根据所述视频倒放请求，停止对接收到的X光机视频流的切图处理，并获取停止时间戳对应的视频帧图片，确定为基准图片；

相似性判定模块，用于依次提取所述X光机视频流中的视频帧图片，将所述视频帧图片与基准图片进行相似性判定；

跳转模块，用于当判定为不相似时，转到相似性判定模块；

恢复模块，用于当判定为相似时，恢复对接收到的X光机视频流的切图处理。

Images