CN112188212A - 一种高清监控视频智能转码的方法及装置 - Google Patents

Abstract

本发明公开了一种高清监控视频智能转码的方法及装置，方法包括：S1，解码；S2，缩放；S3，目标检测，通过卷积神经网络学得的特征，将图像分割成单元格，单元格用于预测边界框，从而检测中心落在单元格中的目标对象；S4，跟踪，对比前后两帧中预测的边界框，实现对目标对象的跟踪；S5，丢帧，采用自适应丢帧操作，根据目标对象的位移矢量大小，判断关键帧的间隔长短，丢弃关键帧之间的非关键帧；S6，编码；装置包括：用于解码的GV9531芯片和用于编码VC8000E芯片，还包括分别与GV9531芯片和VC8000E芯片连接的CSKY860芯片，CSKY860芯片决定需要编码的图像帧。

Description

一种高清监控视频智能转码的方法及装置

技术领域

本发明涉及视频转码压缩技术领域，尤其是涉及了一种高清监控视频智能转码的方法及装置。

背景技术

2003年两大国际组织联合推出的H.264编码协议相比以前的编码协议，视频压缩比得到了质的飞跃，所以一被提出，就饱受欢迎。然而，由于人们对视频质量的需求日益提高，越来越高清的视频开始被越来越多地应用到工程领域。在这样的背景下，相关机构和组织在2013年推行了一种相对更高效、压缩比更高的视频编码标准，即H.265视频编码标准。与H.264编码协议相比，H.265编码协议标准创新性的使用了四叉树的编码块划分结构等一系列技术，使用的这种技术让H.265视频编码标准对于视频数据的存储有了质的提升，例如，H.264视频编码标准和H.265视频编码标准同时编码等质量的视频，在完成对该视频的编码后，H.265视频编码标准比H.264视频编码标准节约将近一半的码流。

然而至今，H.264视频编码协议仍然是使用最广泛的视频编码协议，是占据市场份额最大的视频编码标准协议，并且目前大多数视频监控，仍只支持旧的H.264视频压缩标准，其存储量较大。从H.264编码标准到H.265编码标准的视频转码技术作为一种具有广阔前景的转码技术，也因其转码后的H.265码流的各项优势，在视频传输、存储等领域受到广泛使用。转码后的H.265码流不仅在码率上得到了降低，在无线通信环境中也有着极强的抗误码性，更重要的是视频数据量小，在无线通信信道传输也极为方便。鉴于H.265视频编码标准的种种优势，迫切需要我们将H.264码流更高效的转码成H.265码流。

发明内容

为解决现有技术的不足，实现H.264码流向H.265码流高效转码的目的，本发明采用如下的技术方案：

一种高清监控视频智能转码的方法，包括如下步骤：

S1，解码；

S2，缩放，对图像去噪；

S3，目标检测，采用目标检测算法对图像中目标对象进行检测识别，通过卷积神经网络学得的特征，将图像分割成单元格，单元格用于预测边界框，并从中选取最合适的边界框来预测目标对象，从而检测中心落在单元格中的目标对象；

S4，跟踪，对比前后两帧中预测的边界框，实现对目标对象的跟踪；

S5，丢帧，采用自适应丢帧操作，根据目标对象的位移矢量大小，判断关键帧的间隔长短，丢弃关键帧之间的非关键帧；从而减少视频的数据量，让视频数据更容易存储以及在无线信道中传输；

S6，编码。

所述步骤S3，采用Yolo V3目标检测算法，使用53层卷积层的Darknet-53结构，层之间设置快速链路，卷积层用于预测，预测的尺寸是Kernel大小为：1×1×（B×（5+C）），使用1×1的卷积，使得预测图的大小恰好是之前特征图的大小，（B×（5+C））表示特征图中的条目数，B表示每个由网络步幅切分后的单元格能够预测的边界框的数量，5+C表示边界框属性，包括每个边界框的中心坐标、宽高、目标分数、类别分数，利用网络步幅对输入图像进行切分操作，切分后的单元格用于预测边界框，在预测到的边界框中，选取与真实边界框IoU最大的边界框，用于预测该目标对象。

所述的Yolo V3在网络步幅分别为32、16、8的三个尺度上执行预测，每个尺度的特征图负责预测不同大小的目标。

预测对象类别时采用logistic的输出进行预测，能够支持多标签对象。

设定目标置信度阈值，移除目标分数低于目标置信度阈值的边界框，解决对同一个目标对象的多次检测的问题。

所述的目标对象的跟踪，包括如下公式：

pre[][]、current[][]是两个存储坐标值的数组，分别存储前一帧和当前帧的边界框的对角坐标，x1、x2、y1、y2分别表示前一帧和当前帧边界框在X、Y轴上形成的对角坐标的差值，当pre[0]==current[0]时，表示前后两帧检测的边界框的目标对象为同一个，计算前后两帧对角坐标的差值x1、y1、x2、y2，如果差值小于等于设定的阈值，则认为前后两帧相同，将视频中的第一帧设为关键帧，对其后的相同帧进行丢帧，对不同帧进行保留。

所述步骤S2，采用双边滤波缩放算法，对图像进行平滑操作。基于双边滤波的既考虑像素值相似度，又考虑像素值的空间距离，达到对图像保留边缘去除噪声的目的。

一种高清监控视频智能转码的装置，包括：GV9531芯片和VC8000E芯片，还包括分别与GV9531芯片和VC8000E芯片连接的CSKY860芯片，GV9531芯片用于对H.264视频码流解码，VC8000E芯片用于编码成H.265视频码流，CSKY860芯片用于控制，决定需要编码的图像帧。

GV9531芯片与CSKY860芯片之间设有P6/C5芯片用于存储。

本发明的优势和有益效果在于：

通过本发明的转码方法，在保证关键信息不丢失的情况下，完成H.264码流到H.265码流的视频转换，转码后的视频相比转码前的视频在数据量上得到了极大的减小，将视频压缩存储量减少10倍，实现高效的转码，且转码过程简单、明了，为现有的海量H.264视频码流的高效存储提供解决方案。相较传统的视频转码，通过使用计算机及相关设备面向文件方式进行视频转码，为视频转码提供了更好的性价比的平台，且使用计算机设备配合转码软件，硬件设施相对简单，转码范围广，灵活性更好。

附图说明

图1是本发明的转换方法流程图。

图2是本发明的硬件实施流程图。

图3是本发明中自适应丢帧流程。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，一种高清监控视频智能转码的方法，依次通过解码、缩放、目标检测、跟踪、丢帧以及编码操作，达到H.264视频码流到H.265视频码流转码的目的，进而减少了视频数据量。

1、解码：通过调用函数库，将采集到的视频图像数据转换为YUV格式的图像帧，即对H.264视频码流解码。

2、缩放：通过调用函数库，采用双边滤波缩放算法，对图像进行平滑操作，基于双边滤波的既考虑像素值相似度，又考虑像素值的空间距离，达到对图像保留边缘去除噪声的目的。

3、目标检测：即目标提取，基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。

采用Yolo（You Only Look Once） V3目标检测算法，实现对图像中目标对象的检测识别。这种算法的思路就是利用卷积神经网络学得的特征把图像分成许多单元格，每个单元格负责检测中心落在其中的目标对象。Yolo V3使用了53层卷积层Darknet-53结构，它借鉴了残差网络的做法，在一些层之间设置了快速链路。卷积层的责任是负责预测，而且，对目标进行预测的尺寸一般情况下是其Kernel 大小为：1×1×（B×（5+C））。由于使用了1×1的卷积，所以预测图的大小恰好是之前特征图的大小，特征图中有（B×（5+C））个条目，“B”代表每个由网络步幅切分后的单元格能够预测的边界框的数量，“5+C”表示的是边界框属性，具体说来就是每个边界框的中心坐标、宽高、目标分数加上类别分数。

利用网络步幅对输入图像进行切分操作，切分后的单元格负责预测边界框，将预测的边界框中与真实边界框IoU（Intersection over Union，交并比）最大的边界框用来预测该目标对象。

Yolo V3在网络步幅分别为32、16、8的三个尺度上执行预测，每个尺度的特征图负责预测不同大小的目标。

预测对象类别时不使用softmax，改成使用logistic的输出进行预测，能够支持多标签对象。

利用目标置信度阈值，移除目标分数低于设定阈值的边界框；利用非极大值抑制（NMS），解决对同一个目标对象的多次检测的问题。

4、跟踪：基于先前的目标检测操作，通过对比前后两帧中预测的边界框，实现对目标对象的跟踪，公式如下：

pre[][]、current[][]是两个存储坐标值的数组，分别存储前一帧和当前帧的边界框的对角坐标，x1、x2、y1、y2分别表示前一帧和当前帧边界框在X、Y轴上形成的对角坐标的差值。

5、丢帧：采用自适应丢帧操作，即人为丢弃一部分与主题相比不是非常关键的数据，而非由于某些原因导致的非人为的丢帧，从而减少视频的数据量，让视频数据更容易存储以及在无线信道中传输。

基于关键帧丢弃的自适应丢帧操作，是将视频中的第一帧设为关键帧，如果一段视频中目标对象的位移矢量较大，则关键帧的间隔一定变小，反之，如果一段视频中的目标对象长时间静止不动，则关键帧的间隔一定变大。对于关键帧之间间隔的非关键帧，进行丢弃，从而达到丢帧目的。如图3所示，pre[0]==current[0]时，表示前后两帧检测的某个边界框的目标对象为同一个，根据上述公式中计算得到的x1、y1、x2、y2来判断丢帧与否，如果它们小于或等于设定的阈值，认为前后两帧相同，对帧相同的图片进行丢帧，对帧不同的图片进行保留。

6、编码：通过调用函数库的操作，将其编码成H.265视频码流出。

如图2所示，一种高清监控视频智能转码的装置，采用GV9531芯片，它是由中国工程院院士高文领衔的杭州博雅鸿图视频技术有限公司，向外发布的完全国产自主的数字视网膜芯片“鸿芯图腾GV9531”，GV9531芯片架构，包括主控子系统、图像子系统、视频编码子系统以及智能子系统。该芯片是一款人工智能芯片，可以根据需求提取拍摄视频画面内的特定信息并上传至云端，减轻计算成本，是国内首颗符合我国自主第二代音视频编码标准的编解码芯片，可作为智能摄像机、智能物联网关、AI服务器等设备的计算芯片。本装置中，GV9531芯片负责对H.264视频码流解码，VC8000E芯片负责编码成H.265视频码流，CSKY860芯片用于控制，即决定需要编码的图像帧，P6/C5芯片用于存储。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (9)

1.一种高清监控视频智能转码的方法，其特征在于包括如下步骤：

S1，解码；

S2，缩放，对图像去噪；

S3，目标检测，采用目标检测算法对图像中目标对象进行检测识别，通过卷积神经网络学得的特征，将图像分割成单元格，单元格用于预测边界框，并从中选取最合适的边界框来预测目标对象，从而检测中心落在单元格中的目标对象；

S4，跟踪，对比前后两帧中预测的边界框，实现对目标对象的跟踪；

S5，丢帧，采用自适应丢帧操作，根据目标对象的位移矢量大小，判断关键帧的间隔长短，丢弃关键帧之间的非关键帧；

S6，编码。

2.如权利要求1所述的一种高清监控视频智能转码的方法，其特征在于所述步骤S3，采用Yolo V3目标检测算法，使用53层卷积层的Darknet-53结构，层之间设置快速链路，卷积层用于预测，预测的尺寸是Kernel大小为：1×1×（B×（5+C）），使用1×1的卷积，使得预测图的大小恰好是之前特征图的大小，（B×（5+C））表示特征图中的条目数，B表示每个由网络步幅切分后的单元格能够预测的边界框的数量，5+C表示边界框属性，包括每个边界框的中心坐标、宽高、目标分数、类别分数，利用网络步幅对输入图像进行切分操作，切分后的单元格用于预测边界框，在预测到的边界框中，选取与真实边界框IoU最大的边界框，用于预测该目标对象。

3.如权利要求2所述的一种高清监控视频智能转码的方法，其特征在于所述的Yolo V3在网络步幅分别为32、16、8的三个尺度上执行预测，每个尺度的特征图负责预测不同大小的目标。

4.如权利要求2所述的一种高清监控视频智能转码的方法，其特征在于预测对象类别时采用logistic的输出进行预测。

5.如权利要求2所述的一种高清监控视频智能转码的方法，其特征在于设定目标置信度阈值，移除目标分数低于目标置信度阈值的边界框。

6.如权利要求1所述的一种高清监控视频智能转码的方法，其特征在于所述的目标对象的跟踪，包括如下公式：

pre[][]、current[][]是两个存储坐标值的数组，分别存储前一帧和当前帧的边界框的对角坐标，x1、x2、y1、y2分别表示前一帧和当前帧边界框在X、Y轴上形成的对角坐标的差值，当pre[0]==current[0]时，表示前后两帧检测的边界框的目标对象为同一个，计算前后两帧对角坐标的差值x1、y1、x2、y2，如果差值小于等于设定的阈值，则认为前后两帧相同，将视频中的第一帧设为关键帧，对其后的相同帧进行丢帧，对不同帧进行保留。

7.如权利要求1所述的一种高清监控视频智能转码的方法，其特征在于所述步骤S2，采用双边滤波缩放算法，对图像进行平滑操作。

8.一种高清监控视频智能转码的装置，包括：GV9531芯片和VC8000E芯片，其特征在于还包括分别与GV9531芯片和VC8000E芯片连接的CSKY860芯片，GV9531芯片用于对H.264视频码流解码，VC8000E芯片用于编码成H.265视频码流，CSKY860芯片用于控制，决定需要编码的图像帧。

9.如权利要求8所述的一种高清监控视频智能转码的装置，其特征在于GV9531芯片与CSKY860芯片之间设有P6/C5芯片用于存储。

Images