CN112887679A - 无损视频远程采集方法和系统 - Google Patents

Abstract

本发明提出一种无损视频远程采集方法及系统，其中所述方法利用视频信息采集设备获取视频信息，并将视频信息传输至视频采集模块；视频采集模块接收来自视频信息采集设备的视频信息，并传输至硬件编码模块进行视频数据信息的压缩；数据缓存模块接收来自硬件编码模块和触发模块的数据后，利用环形和临时缓存区的方式进行视频信息的存储；视频数据发送模块读取数据缓存模块中的信息，并通过以太网将数据传输至中央网关后，继续利用以太网将数据发送至车载T‑box；将数据发送至云服务器中。有效缓存实时视频流数据的同时，减少系统的内存消耗，利用固定大小的数据槽存储数据，极大的提高了内存的使用率。

Description

无损视频远程采集方法和系统

技术领域

本发明涉及一种无损视频远程采集方法及系统，尤其涉及一种数据处理领域。

背景技术

随着科技的发展，各大车企已开始将深度学习以及人工智能技术应用于自家的高级驾驶员辅助系统和自动驾驶产品中。如利用摄像头采集汽车前方和周边的环境信息，训练自动紧急制动功能的算法模型。

而实际上，由于复杂的路面情况，已训练的自动紧急制动功能算法模型也有可能由于不可预知的情况导致AEB功能的误触发，这同样可能给驾驶员带来安全隐患；同时，现有技术中，人工智能和深度学习的算法模型依赖于海量的训练数据，特别是对于汽车环境的视频数据，经过有损压缩和传输的视频，会损失图像的高频信息，而图像高频信息的损失则会直接影响到深度学习或者人工智能模型训练算法的效果；另一方面面对海量的数据，存储这些视频数据需要消耗巨大的存储空间和成本。

发明内容

发明目的：一个目的是提出一种无损视频远程采集方法，通过数据的处理方式，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。

技术方案：第一方面，提出一种无损视频远程采集方法，该方法包括：

获取车辆周围的环境视频数据；

当接收到缓存触发信号时，对触发信号时刻前后预定大小的环境视频数据进行缓存处理；

读取所述缓存的环境视频数据，并传输至云端服务器存储。

在第一方面的一些可实现方式中，通过车载设备获取车辆周围的环境视频数据，并传输至自动驾驶域控制器中；所述车载设备为车载摄像头，用于在车辆行驶过程中，对车辆周围环境进行拍摄记录。

在第一方面的一些可实现方式中，环境视频数据进行缓存时，先对所述环境视频数据采用硬件编码模块进行编码压缩。

在第一方面的一些可实现方式中，缓存处理包括如下步骤：

步骤1、判定是否存在触发信号；

步骤2、当存在触发信号时，将当前数据索引指针之前的K个数据槽数据拷贝至预定义大小的临时缓存区的前K个区域；

数据索引指针从当前时刻继续记录K个数据，并将这K个数据拷贝至临时缓存区的后K个区域；

将临时缓存区的2K帧视频流数据发送至视频数据发送模块，将数据槽索引指针指向下一个位置，并跳转至步骤1；其中，K为自然数；

当不存在触发信号时，将数据槽索引指针指向下一个位置，并跳转至步骤1。

在第一方面的一些可实现方式中，采用环形缓存数据的方法进行环境视频数据的缓存处理：

选择N个用于存放视频数据信息的数据槽构成缓冲区，该缓冲区中的每一个数据槽均用于存储一帧的视频流数据；

其次，在缓冲区中置入一个数据槽索引指针，用于在当前数据槽具有存储的数据后，指向下一个数据槽；

数据槽索引指针的位置判定方法为：

式中，

表示数据槽索引针的下一个指向位置，

表示数据槽索引针的当前指向位置，

表示取余操作，

表示数据槽的总长度。

在第一方面的一些可实现方式中，缓存的环境视频数据，传输至云端服务器存储的过程进一步为：

通过计算机局域网技术以太网，将数据发送至中央网关；

所述中央网关进一步通过计算机局域网技术以太网，将接收到的视频流数据发送至载T-box通信模块中；

所述T-box通信模块利用通信技术，将视频数据信息传输至云端服务器。

第二方面提供了一种无损视频远程采集系统，该系统包括：

用于采集行驶环境信息的第一模块；

用于处理视频信息的第二模块；

用于远程传输存储的第三模块。

在第二方面的一些可实现方式中，第一模块进一步通过视频信息采集设备对汽车在行驶过程中周围环境的记录，并通过构建通信链路将采集到的视频数据信息传输至第二模块中。

在第二方面的一些可实现方式中，第二模块进一步用于在自动驾驶过程中，利用自动驾驶域控制器对采集到的视频数据信息进行处理；所述自动驾驶域控制器进一步包括视频采集模块、编码模块、数据缓存模块、信号触发模块、数据发送模块。

其中，视频采集模块通过第一模块中构建的通信链路，与视频采集设备进行数据通信。

编码模块用于在视频采集模块接收到视频信息采集设备的视频数据信息后，对采集到的视频数据信息进行接收，并对视频数据信息进行编码。

硬件编码模块对视频数据信息进行视频流的硬件编码，该模块对数据的处理在数据缓存模块之前，通过先压缩编码，后缓存数据的方式进行视频数据信息的处理。

信号触发模块用于在触发自动紧急制动或高级驾驶员辅助系统功能时，产生触发信号，并将产生的触发信号传输至数据缓存模块。

数据缓存模块在接收到来自信号触发模块的触发信号后，接收经过编码模块压缩后的视频数据信息，并采用环形缓存区和临时缓存区的方式，对视频数据信息进行存储。

在第二方面的一些可实现方式中，视频数据发送模块读取数据缓存模块中缓存的数据后，通过计算机局域网技术以太网，将数据发送至第三模块中。

在第二方面的一些可实现方式中，第三模块包括中央网关模块、车载T-box模块和云服务器模块；模块之间通过网络通信技术实现互通。

第三模块中的中央网关模块通过计算机局域网技术以太网接收来自第二模块输出的视频数据信息，并通过计算机局域网技术将视频数据信息发送至车载T-box模块中。

车载T-box模块利用网络通信技术，将车载T-box通信模块中的视频数据信息传输至云端服务器。

第三方面，提供了一种基于车辆行驶环境的无损视频采集设备，该设备包括：处理器，以及存储有计算机程序指令的存储器；其中，处理器读取并执行计算机程序指令时实现第一方面或第一方面的一些可实现方式中的车辆行驶环境的无损视频采集方法。

第四方面，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或第一方面的一些可实现方式中的车辆行驶环境的无损视频采集方法。

有益效果：针对现有技术在自动紧急制动功能的算法模型中，对汽车行驶路况训练时，出现的由不可预知的情况导致自动紧急制动功能的误触发，给驾驶员带来安全隐患，本发明提出一种无损视频远程采集方法及系统，将采集到的路面环境数据导入功能算法模型进行训练，从而实现改进算法模型，减少误触发情况的发生。

其中，针对汽车环境的视频数据，在经过有损压缩和传输的视频，会损失图像的高频信息，从而影响到深度学习或者人工智能模型训练算法效果的问题，本发明进一步提出采用H264/H265硬件编码进行高级画质无损配置，对视频数据信息进行视频流的硬件编码。

在硬件编码与数据缓存顺序上，采用先编码后缓存的方案，达到节省缓存视频数据所需的内存空间以及提高系统实时性的目的。

同时，针对采集到的大量原始数据，在存储方面利用环形数据缓存和临时数据缓存的方式进行数据存储，实现有效缓存实时视频流数据的同时减少系统的内存消耗，利用固定大小的数据槽存储数据，极大的提高了内存的使用率。

附图说明

图1为本发明无损视频远程采集体系架构图。

图2为本发明数据缓存时的存储结构示意图。

图3为本发明数据缓存流程图。

图4为本发明数据拷贝示意图。

图5为本发明无损失视频远程采集的流程框图。

具体实施方式

本发明通过一种无损视频远程采集方法及系统，实现远程视频数据无损采集目的。下面通过实施例，并结合附图对本方案做进一步具体说明。

申请人认为由于复杂的路面情况，已训练的自动紧急制动功能算法模型也有可能由于不可预知的情况导致AEB功能的误触发，这同样可能给驾驶员带来安全隐患。因此，为了改进模型算法本身，需要将AEB功能误触发前后时刻的路面环境数据采集，以方便测试和开发人员定位问题，进而将路面环境数据导入功能算法模型进行训练，改进算法模型，减少误触发情况的发生。

现有技术中，一方面，人工智能和深度学习的算法模型依赖于海量的训练数据，特别是对于汽车环境的视频数据，经过有损压缩和传输的视频，会损失图像的高频信息，而图像高频信息的损失则会直接影响到深度学习或者人工智能模型训练算法的效果；另一方面，车载高清摄像头采集的原始数据量极为庞大，如一颗帧率为30帧每秒，分辨率为1920*1080的高清摄像头，原始图像采用RGB888的颜色格式，每秒就能产生约187MB的数据，而往往一个ADAS或自动驾驶系统配有多颗摄像头，因此，在汽车上存储这些视频数据需要巨大的存储空间和成本。

在本申请中，我们提出了一种无损视频远程采集方法及系统、设备及计算机存储介质，如图1所示，是本发明实施例提供的无损视频远程采集实例架构图。

在一个实施例中，提供一种无损视频远程采集方法，其数据走向如图5所示，方法的实现流程具体划分为以下步骤：

步骤一、利用视频格式记录车辆行驶周围环境；该步骤利用车辆中的前视摄像头以及环视摄像头，对车辆行驶过程中的周围环境，并以视频数据信息的格式进行拍摄记录。

步骤二、接收步骤一中的视频数据，并传输至编码模块；该步骤通过多媒体串行链路GMAL2与步骤一中的摄像头进行通信连接，并通过该连接方式将数字视频和音频数据进行串行转换，其中，传输方式为利用一对双绞线串行传输。在接收到步骤一中视频数据信息后，将视频数据信息传动至编码模块。

步骤三、利用编码模块对视频数据进行压缩；该模块为硬件编码模块，在接收到步骤二传输过来的视频数据信息后，利用H264/H265硬件编码模块，对视频数据信息进行编码。其中，H264/H265硬件编码模块采用高级画质无损配置，对视频数据信息进行视频流的硬件编码，使得远程服务器在进行解码的时候可以得到无损的视频数据信息，从而进一步提高深度学习训练数据集的高频信息，提升模型训练算法的效果。该步骤通过先压缩编码的方式，节省了后续步骤在存储视频数据信息时所占用的内存空间，并且极大的提高了视频信息采集过程的实时性。

步骤四、针对步骤三压缩后的视频数据，在接收到触发信号后进行视频数据信息缓存；

步骤五、读取缓存的视频数据，并发送至中央网关；该步骤读取数据缓存模块环形缓存区与临时缓存区中缓存的视频流数据，通过计算机局域网技术以太网，将数据发送至中央网关。

步骤六、将中央网关中的视频数据传输至车载T-box通信模块；该步骤通过计算机局域网技术以太网，接收中央网关中的视频流数据至载T-box通信模块中。

步骤七、将最终视频数据传输至云端服务器存储；该步骤利用如4G或5G等无线通信技术，将车载T-box通信模块中的视频数据信息传输至云端服务器，从而构建出车辆行驶时周围环境的记录与远程信息读取使用的架构。通过云端服务器的数据存储，达到了针对远程视频数据信息的读取与使用，方面了后续深度学习数据集的有效组建，从而达到可以更好减少高级驾驶员辅助系统以及自动紧急制动功能误触发情况发生的目的。

具体的，本实施例对视频数据信息缓存进行了进一步的改进。

针对接收到的自动紧急制动或其他高级驾驶员辅助系统功能的触发信号，调动数据缓存模块对视频数据信息进行缓存。其中，数据缓存模块记录的视频数据信息进一步为自动紧急制动或其他高级驾驶员辅助系统触发时刻，车辆行驶周围的环境预定义帧数的视频数据信息。如图3所示，数据进行缓存的流程步骤如下：

步骤4.1、判定触发信号；该步骤在一切正常的前提下对自动紧急制动或其他高级驾驶员辅助系统是否触发进行判定。

步骤4.2、当存在触发信号时，将当前数据索引指针之前的K个数据槽数据拷贝至预定大小的临时缓存区的前K个区域，并跳转至步骤4.3；当没有接收到触发信号的时候，将数据槽索引指针指向下一个位置，并跳转至步骤4.1。

步骤4.3、数据索引指针从当前时刻继续记录K个数据，并将这K个数据拷贝至临时缓存区的后K个区域。

步骤4.4、将临时缓存区的2K帧视频流数据发送至视频数据发送模块。

步骤4.5、数据槽索引指针指向下一个位置并跳转至步骤4.1。其中，如图4所示，为数据拷贝示意图，T时刻表示自动紧急制动或其他高级驾驶员辅助系统功能触发的时刻。

如图2的结构示意图所示，本发明利用环形缓存数据时采用环形存储结构，可以在有效缓存实时视频数据信息的同时，减少系统的内存消耗。具体为首先，选择N个用于存放视频数据信息的数据槽构成缓冲区，该缓冲区中的每一个数据槽均用于存储一帧的视频流数据；其次，在缓冲区中置入一个数据槽索引指针，用于在当前数据槽具有存储的数据后，指向下一个数据槽。

数据槽索引指针的位置判定方法为：

式中，

表示数据槽索引针的下一个指向位置，

表示数据槽索引针的当前指向位置，

表示取余操作，

表示数据槽的总长度。

数据槽索引指针当前位置为N-1，那么数据槽索引指针下一位置应为

式中，

表示取余操作，

表示数据槽的总长度。因此，数据槽索引指针的下一位置指向0，这样便实现了数据槽数据的环形存储。环形存储利用固定大小的数据槽存储数据，节省了内存空间的使用同时，提高了内存的使用率。

该步骤读取数据缓存模块环形缓存区与临时缓存区中缓存的视频流数据，通过计算机局域网技术以太网，将数据发送至中央网关。

基于上述所述方法，提出一种无损视频远程采集系统，用于实现上述方法，其整体的数据框架体系如图1所示，具体包括以下模块：

用于采集行驶环境信息的第一模块；该模块通过视频信息采集设备对汽车在行驶过程中周围环境的记录，并通过构建通信链路将采集到的视频数据信息传输至第二模块中。其中，视频数据信息包括数字视频和音频数据；视频信息采集设备为车载摄像头，进一步包括前视摄像头和环视摄像头。

用于处理视频信息的第二模块；该模块作为自动驾驶中的控制处理中心，用于自动驾驶中，对采集到的视频数据信息进行处理，进一步包括视频采集模块、编码模块、数据缓存模块、信号触发模块、数据发送模块。

其中，视频采集模块通过第一模块中构建的通信链路，与视频采集设备进行数据通信。通信方式为利用一对双绞线，通过多媒体串行链路GMAL2将数字视频和音频数据进行串行转换传输。

当视频采集模块接收到视频信息采集设备的视频数据信息后，将采集到的视频数据信息传输至编码模块。编码模块具体为独立的H264/H265硬件编码模块，对视频数据进行编码，实现对视频数据进行压缩，本发明采用的独立硬件编码器与软件编码相比，在编码方面具有较高的效率；其中，H264/H265硬件编码模块采用高级画质无损配置，对视频数据进行视频流的硬件编码，使得远程服务器在进行解码的时候可以得到无损的视频数据，从而进一步提高深度学习训练数据集的高频信息，提升模型训练算法的效果。

编码模块在一种无损视频远程采集系统中，对数据的处理在数据缓存模块之前，通过先压缩编码的方式，节省了后续步骤在存储视频数据时所占用的内存空间，极大的提高了视频信息采集过程的实时性。

信号触发模块用于产生自动紧急制动或其他高级驾驶员辅助系统功能触发时的信号，并将产生的触发信号传输至数据缓存模块，用于作为调动数据缓存模块进行运作的触发机制。

数据缓存模块在接收到来自信号触发模块的触发信号后，接收经过编码模块压缩后的视频数据信息，并采用环形缓存区和临时缓存区的方式，对视频数据信息进行存储。

视频数据发送模块读取数据缓存模块中缓存的数据后，通过计算机局域网技术以太网，将数据发送至第三模块中。

用于远程传输存储的第三模块；该模块包括中央网关模块、车载T-box模块、云服务器模块。模块之间通过网络通信技术实现互通。该模块中的中央网关模块通过计算机局域网技术以太网接收来自第二模块输出的视频数据信息；随后，继续以计算机局域网技术以太网将视频数据信息发送至车载T-box模块中；最后，车载T-box模块利用如4G或5G等通信技术，将车载T-box通信模块中的视频数据信息传输至云端服务器，进而构建出车辆行驶时周围环境的记录与远程信息读取使用的架构系统。通过云端服务器的数据存储，达到了针对远程视频数据信息的读取与使用，方面了后续深度学习数据集的有效组建，从而达到可以更好减少高级驾驶员辅助系统以及自动紧急制动功能误触发情况发生的目的。

本发明针对车辆行驶过程中周围环境的视频信息采集，通过数据流的传输以及存储方式的处理，在减少存储空间和成本的同时，实现车辆行驶时，远程采集车辆周围环境信息的目的。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (10)

1.一种无损视频远程采集方法，其特征在于，包括：

获取车辆周围的环境视频数据；

当接收到缓存触发信号时，对触发信号时刻前后预定大小的环境视频数据进行缓存处理；

读取所述缓存的环境视频数据，并传输至云端服务器存储。

2.根据权利要求1所述的一种无损视频远程采集方法，其特征在于，通过车载设备获取车辆周围的环境视频数据，并传输至自动驾驶域控制器中；

所述车载设备为车载摄像头，用于在车辆行驶过程中，对车辆周围环境进行拍摄记录。

3.根据权利要求1所述的一种无损视频远程采集方法，其特征在于，环境视频数据进行缓存时，先对所述环境视频数据采用硬件编码模块进行编码压缩。

4.根据权利要求1所述的一种无损视频远程采集方法，其特征在于，缓存处理包括如下步骤：

步骤1、判定是否存在触发信号；

步骤2、当存在触发信号时，将当前数据索引指针之前的K个数据槽数据拷贝至预定义大小的临时缓存区的前K个区域；

数据索引指针从当前时刻继续记录K个数据，并将这K个数据拷贝至临时缓存区的后K个区域；

将临时缓存区的2K帧视频流数据发送至视频数据发送模块，将数据槽索引指针指向下一个位置，并跳转至步骤1；其中，K为自然数；

当不存在触发信号时，将数据槽索引指针指向下一个位置，并跳转至步骤1。

5.根据权利要求1所述的一种无损视频远程采集方法，其特征在于，采用环形缓存数据的方法进行环境视频数据的缓存处理：

选择N个用于存放视频数据信息的数据槽构成缓冲区，该缓冲区中的每一个数据槽均用于存储一帧的视频流数据；

其次，在缓冲区中置入一个数据槽索引指针，用于在当前数据槽具有存储的数据后，指向下一个数据槽；

数据槽索引指针的位置判定方法为：

式中，

表示数据槽索引针的下一个指向位置，

表示数据槽索引针的当前指向位置，

表示取余操作，

表示数据槽的总长度。

6.根据权利要求1所述的一种无损视频远程采集方法，其特征在于，缓存的环境视频数据，传输至云端服务器存储的过程进一步为：

通过计算机局域网技术以太网，将数据发送至中央网关；

所述中央网关进一步通过计算机局域网技术以太网，将接收到的视频流数据发送至载T-box通信模块中；

所述T-box通信模块利用通信技术，将视频数据信息传输至云端服务器。

7.一种无损视频远程采集系统，用于实现权利要求1-6任意一项方法，其特征在于，包括：

用于采集行驶环境信息的第一模块；

用于处理视频信息的第二模块；

用于远程传输存储的第三模块。

8.根据权利要求7所述的一种无损视频远程采集系统，其特征在于，所述第一模块进一步通过视频信息采集设备对汽车在行驶过程中周围环境的记录，并通过构建通信链路将采集到的视频数据信息传输至第二模块中；

所述第二模块进一步用于在自动驾驶过程中，利用自动驾驶域控制器对采集到的视频数据信息进行处理；所述自动驾驶域控制器进一步包括视频采集模块、编码模块、数据缓存模块、信号触发模块、数据发送模块；

其中，所述视频采集模块通过第一模块中构建的通信链路，与视频采集设备进行数据通信；

所述编码模块用于在视频采集模块接收到视频信息采集设备的视频数据信息后，对采集到的视频数据信息进行接收，并对视频数据信息进行编码；

所述硬件编码模块对视频数据信息进行视频流的硬件编码，该模块对数据的处理在数据缓存模块之前，通过先压缩编码，后缓存数据的方式进行视频数据信息的处理；

所述信号触发模块用于在触发自动紧急制动或高级驾驶员辅助系统功能时，产生触发信号，并将产生的触发信号传输至数据缓存模块；

所述数据缓存模块在接收到来自信号触发模块的触发信号后，接收经过编码模块压缩后的视频数据信息，并采用环形缓存区和临时缓存区的方式，对视频数据信息进行存储；

所述视频数据发送模块读取数据缓存模块中缓存的数据后，通过计算机局域网技术以太网，将数据发送至第三模块中；

所述第三模块包括中央网关模块、车载T-box模块和云服务器模块；模块之间通过网络通信技术实现互通；

第三模块中的中央网关模块通过计算机局域网技术以太网接收来自第二模块输出的视频数据信息，并通过计算机局域网技术将视频数据信息发送至车载T-box模块中；

车载T-box模块利用网络通信技术，将车载T-box通信模块中的视频数据信息传输至云端服务器。

9.一种基于车辆行驶环境的无损视频远程采集设备，其特征在于，所述设备包括：

处理器以及存储有计算机程序指令的存储器；

所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-6任意一项所述的一种无损视频远程采集方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的一种无损视频远程采集方法。

Images