CN110602525B - 一种视频分析结果与图像帧绑定传输的方法 - Google Patents

Abstract

本发明公开了一种视频分析结果与图像帧绑定传输的方法，该传输方法旨在解决现今视频分析的终端呈现存在准确性低、稳定性差，或者需额外消耗较高的计算性能，并且给视频采集设备的内部系统设计带来极大地复杂性的技术问题；具体步骤为：先对其采集的视频帧进行ImageCount，再将其添加至H264和H265的图像编码方案中，并通过终端向视频采集设备获取视频流，再利用视频分析服务器进行视频同步分析，之后再将分析结果与图像帧的ImageCount作为一个集合传至终端，最后再对其进行提取，得出视频分析结果。该传输方法能实现视频分析结果高准确性、强稳定性的终端呈现，并且避免了额外的计算性能消耗，降低了视频采集设备内部系统设计的复杂性。

Description

一种视频分析结果与图像帧绑定传输的方法

技术领域

本发明属于视频采集、传输及分析领域，具体属于一种视频分析结果与图像帧绑定传输的方法。

背景技术

目前，在视频采集、传输及分析领域，其中针对视频分析的处理方案有两种，一种是使用视频分析服务器读取视频流，对其进行分析，之后再将结果上报至系统平台或终端；另一种是在视频采集设备中集成视频分析模块及功能，从而在视频采集设备中完成视频分析与编码。在现今的视频分析技术下，当需要使视频中的检测目标呈现特殊的效果，即需要在终端上对目标进行识别，并标识在画面中时，若使用上述第一种处理方案，视频分析服务器向视频采集设备提取视频流进行分析，并在分析结果中保存视频帧的时间戳，再将结果直接发送给终端，而终端则按照视频流中的时间戳和延迟时间进行同步，最终将其呈现；若使用上述第二种处理方案，视频采集设备中的视频分析模块将直接完成分析，同时将分析结果按照预先的设置渲染在视频帧中，再对其进行视频编码，最后传给终端。

现今对于视频分析的两种处理方案均能在一定程度实现视频分析及特殊呈现，但又都分别存在一定的问题，针对上述第一种处理方案，因为其存在一定的延迟时间，因此只能依靠某种算法进行估算抹平，而一旦发生网络不稳定的情况，则将无法保证同步，使其最终呈现上无法做到稳定、准确的同步；并且服务器或终端也不一定就是直接从视频采集设备进行取流，也有可能是各自经过第三方转发，这种情况下，依靠时间戳和延时估算的方法就更加无法保证数据的同步效果。针对上述第二种处理方案，因为集成于视频采集设备中的视频分析模块本身计算性能及处理方式有限，它并不支持对计算性能有一定要求的算法，而且对于不同的终端需求及呈现效果的样式也各有不同，这样就会额外地消耗更多计算性能，而且也给视频采集设备的内部系统设计带来极大地复杂性。因此，如何低性能消耗、低复杂性地将视频采集设备发出的视频流中的图像帧，与视频分析服务器经过对该图像帧分析得出的信息进行强稳定、高准确性地一一对应，是目前亟待解决的问题。

发明内容

(1)要解决的技术问题

针对现有技术的不足，本发明的目的在于提供一种视频分析结果与图像帧绑定传输的方法，该传输方法旨在解决现今视频分析的终端呈现存在准确性低、稳定性差，或者需额外消耗较高的计算性能，并且给视频采集设备的内部系统设计带来极大地复杂性的技术问题；该传输方法能实现视频分析结果高准确性、强稳定性的终端呈现，并且避免了额外的计算性能消耗，降低了视频采集设备内部系统设计的复杂性。

(2)技术方案

为了解决上述技术问题，本发明提供了这样一种视频分析结果与图像帧绑定传输的方法，该传输方法的具体步骤为：

步骤一、从视频采集设备开始工作进行视频采集起，对其采集的视频帧进行ImageCount，并采用64位无符号整型的方式进行保存；

步骤二、根据ISO_IEC_14496-10_2014H264国际标准，通过视频采集设备将每一帧对应的ImageCount添加至H264图像编码方案和H265图像编码方案中；

步骤三、当终端向视频采集设备获取视频流时，使缓存视频流的时间大于视频分析服务器分析时间、视频采集设备与视频分析服务器之间的延迟时间、视频分析服务器与客户端之间延迟时间的总和，并使终端向视频分析服务器请求分析此视频流；

步骤四、当视频分析服务器收到请求后，按要求向目标视频采集设备获取视频流，并进行同步分析，

步骤五、当视频分析服务器从视频流中每获取一个图像帧后，都按照步骤二中相反的方式提取该图像帧的ImageCount；

步骤六、当视频分析服务器分析一个图像帧得出了结果后，将该分析结果与该图像帧的ImageCount作为一个集合传至终端；

步骤七、终端收到视频流后，按照步骤五中的方式提取每一图像帧的ImageCount；

步骤八、当终端收到视频分析结果后，按照ImageCount与相应图像帧进行对应，即得出视频分析结果。

优选地，在步骤二种，所述将每一帧对应的图像计数添加至H264图像编码方案和H265图像编码方案中的具体步骤为：构建rtsp_sei类型的NALU，设置其Type字段值为6，其中内容为图像计数的当前值，其放入视频流中的bit的排列顺序按照从高位到低位排列，并避免与rtsp_sei结束符冲突，且使图像计数的高位永远为0，溢出则视为置零，从而将此NALU在视频流的关键帧NALU的前方插入。

目前绝大部分视频采集设备，都是使用H264、H265方案作为图像编码，即分别为上述背景技术中提及两种处理方式的方案；此外，在本技术方案的上下各步骤中，ImageCount即为行业中常用的图像计数。

(3)有益效果

与现有技术相比，本发明的有益效果在于：

本发明的技术方案突破性地将视频分析结果与图像帧进行绑定传输，首先，这样不会对不关心视频分析结果的终端产生影响，即在视频编码中加入的标准数据不会影响到普通的终端，并且这种方式可直接应用于现有技术下的两种视频分析处理方式，而且可以极大地提升视频结果与图像帧的准确对应关系，从而提供准确的同步功能；其次，利用该传输方法应用于现有技术中视频分析服务器外置传输的方式，使视频采集设备通过将检测结果和视频帧分开发送至终端，并由终端进行同步，这样可以最大限度地提升视频分析结果传输的高准确性，同时提高了传输的稳定性，并且在一定程度上降低了性能消耗；最后，利用该传输方法应用于现有技术中集成视频分析模块的方式，这样则可以最大限度地应对各种各样的呈现需求，避免了额外的计算性能消耗，同时降低了视频采集设备内部系统设计的复杂性。

总体而言，本发明的传输方法能实现视频分析结果高准确性、强稳定性的终端呈现，并且避免了额外的计算性能消耗，降低了视频采集设备内部系统设计的复杂性。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明具体实施方式中的技术方案进行清楚、完整的描述，以进一步阐述本发明，显然，所描述的具体实施方式仅仅是本发明的一部分实施方式，而不是全部的样式。

实施例1

本实施例为将视频分析结果与图像帧进行绑定传输，使视频分析结果在终端最终呈现的方法，具体步骤为：

步骤一、本实施方式为使用H264的图像编码方案，开始工作时，从视频采集设备开始工作进行视频采集起，对其采集的视频帧进行ImageCount，并采用64位无符号整型的方式进行保存；

步骤二、根据ISO_IEC_14496-10_2014H264国际标准，通过视频采集设备将每一帧对应的ImageCount添加至H264图像编码方案中，具体操作为：构建rtsp_sei类型的NALU，设置其Type字段值为6，其中内容为图像计数的当前值，其放入视频流中的bit的排列顺序按照从高位到低位排列，并避免与rtsp_sei结束符冲突，且使图像计数的高位永远为0，溢出则视为置零，从而将此NALU在视频流的关键帧NALU的前方插入。

步骤三、当终端向视频采集设备获取视频流时，使缓存视频流的时间大于视频分析服务器分析时间、视频采集设备与视频分析服务器之间的延迟时间、视频分析服务器与客户端之间延迟时间的总和，并使终端向视频分析服务器请求分析此视频流；

步骤四、当视频分析服务器收到请求后，按要求向目标视频采集设备获取视频流，并进行同步分析；

步骤五、当视频分析服务器从视频流中每获取一个图像帧后，都按照步骤二中相反的方式提取该图像帧的ImageCount；

步骤六、当视频分析服务器分析一个图像帧得出了结果后，将该分析结果与该图像帧的ImageCount作为一个集合传至终端；

步骤七、终端收到视频流后，按照步骤五中的方式提取每一图像帧的ImageCount；

步骤八、当终端收到视频分析结果后，按照ImageCount与相应图像帧进行对应，即得出视频分析结果。

实施例2

本实施例为将视频分析结果与图像帧进行绑定传输，使视频分析结果在终端最终呈现的方法，具体步骤为：

步骤一、本实施方式为使用H265的图像编码方案，开始工作时，从视频采集设备开始工作进行视频采集起，对其采集的视频帧进行ImageCount，并采用64位无符号整型的方式进行保存；

步骤二、根据ISO_IEC_14496-10_2014H264国际标准，通过视频采集设备将每一帧对应的ImageCount添加至H265图像编码方案中，具体操作为：构建rtsp_sei类型的NALU，设置其Type字段值为6，其中内容为图像计数的当前值，其放入视频流中的bit的排列顺序按照从高位到低位排列，并避免与rtsp_sei结束符冲突，且使图像计数的高位永远为0，溢出则视为置零，从而将此NALU在视频流的关键帧NALU的前方插入。

步骤三、当终端向视频采集设备获取视频流时，使缓存视频流的时间大于视频分析服务器分析时间、视频采集设备与视频分析服务器之间的延迟时间、视频分析服务器与客户端之间延迟时间的总和，并使终端向视频分析服务器请求分析此视频流；

步骤四、当视频分析服务器收到请求后，按要求向目标视频采集设备获取视频流，并进行同步分析；

步骤五、当视频分析服务器从视频流中每获取一个图像帧后，都按照步骤二中相反的方式提取该图像帧的ImageCount；

步骤六、当视频分析服务器分析一个图像帧得出了结果后，将该分析结果与该图像帧的ImageCount作为一个集合传至终端；

步骤七、终端收到视频流后，按照步骤五中的方式提取每一图像帧的ImageCount；

步骤八、当终端收到视频分析结果后，按照ImageCount与相应图像帧进行对应，即得出视频分析结果。

优选地，在步骤一中，所述将每一帧对应的图像计数添加至H264图像编码方案和H265图像编码方案中的具体步骤为：构建rtsp_sei类型的NALU，设置其Type字段值为6，其中内容为图像计数的当前值，其放入视频流中的bit的排列顺序按照从高位到低位排列，并避免与rtsp_sei结束符冲突，且使图像计数的高位永远为0，溢出则视为置零，从而将此NALU在视频流的关键帧NALU的前方插入。

以上描述了本发明的主要技术特征和基本原理及相关优点,对于本领域技术人员而言，显然本发明不限于上述示范性具体实施方式的细节，而且在不背离本发明的构思或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将上述具体实施方式看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照各实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种视频分析结果与图像帧绑定传输的方法，其特征在于，该传输方法的具体步骤为：

步骤一、从视频采集设备开始工作进行视频采集起，对其采集的视频帧进行ImageCount，并采用64位无符号整型的方式进行保存；

步骤二、根据ISO_IEC_14496-10_2014 H264国际标准，通过视频采集设备将每一帧对应的ImageCount添加至H264图像编码方案和H265图像编码方案中；

在步骤二中，所述将每一帧对应的图像计数添加至H264图像编码方案和H265图像编码方案中的具体步骤为：构建rtsp_sei类型的NALU，设置其Type字段值为6，其中内容为图像计数的当前值，其放入视频流中的bit的排列顺序按照从高位到低位排列，并避免与rtsp_sei结束符冲突，且使图像计数的高位永远为0，溢出则视为置零，从而将此NALU在视频流的关键帧NALU的前方插入；

步骤三、当终端向视频采集设备获取视频流时，使缓存视频流的时间大于视频分析服务器分析时间、视频采集设备与视频分析服务器之间的延迟时间、视频分析服务器与客户端之间延迟时间的总和，并使终端向视频分析服务器请求分析此视频流；

步骤四、当视频分析服务器收到请求后，按要求向目标视频采集设备获取视频流，并进行同步分析；

步骤五、当视频分析服务器从视频流中每获取一个图像帧后，都按照步骤二中相反的方式提取该图像帧的ImageCount；

步骤六、当视频分析服务器分析一个图像帧得出了结果后，将该分析结果与该图像帧的ImageCount作为一个集合传至终端；

步骤七、终端收到视频流后，按照步骤五中的方式提取每一图像帧的ImageCount；

步骤八、当终端收到视频分析结果后，按照ImageCount与相应图像帧进行对应，即得出视频分析结果。