CN114866733A - 一种低延迟视频处理方法、系统及装置 - Google Patents

Abstract

本发明提出了一种低延迟视频处理方法、系统及装置，涉及视频处理的技术领域。包括通过LVDS摄像头采集的视频帧数据，并将视频帧数据通过解串器解串为MIPI‑CSI2接口协议数据，而后送入MIPI子系统处理；将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码；将编码完成的视频帧数据通过5G网络发送至远程平台端。其能够解决现有视频处理系统数据延迟较高的问题。

Description

一种低延迟视频处理方法、系统及装置

技术领域

本发明涉及视频处理的技术领域，具体而言，涉及一种低延迟视频处理方法、系统及装置。

背景技术

随着社会的不断发展，视频处理技术在许多行业领域中扮演着非常重要的角色，如军事、安全监控、工业视觉等领域。目前，相关的集成硬件，如DSP、ARM、FPGA等，对视频进行采集处理具有实时性好、体积小、方便使用的优点。但是处于对实时性要求比较高的场合时，需要实时针对运动情况做出处理，此时需要将视频数据以最快的传输速度传输给远程平台端，而远程平台端根据不同的情况做出响应。这就需要视频采集处理具有极低的延迟特性，并且视频数据在采集系统中保持实时。由此需要一种低延迟视频处理方法、系统及装置。

发明内容

本发明的目的在于提供一种低延迟视频处理方法，其能够解决现有视频处理系统数据延迟较高的问题。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种低延迟视频处理方法，包括通过LVDS摄像头采集的视频帧数据，并将视频帧数据通过解串器解串为MIPI-CSI2接口协议数据，而后送入MIPI子系统处理；将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码；将编码完成的视频帧数据通过5G网络发送至远程平台端。

在本发明的一些实施例中，切片编码的步骤包括：将采集的视频帧数据进行切片处理，得到多个分片，然后将任一分片进行编码；将完成编码后的数据以片段的模式进行输出，在片段的每一端生成一个片段完成中断，并为片段输出流缓存，流缓存用于下一个元素处理，从而将视频编码时延，将多个片段逐帧减少。

在本发明的一些实施例中，然后将任一分片进行编码的步骤包括：对接收到任一分片进行实时编码，实时编码无需等待完整的一帧的分片到来再进行编码。

在本发明的一些实施例中，将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码的步骤包括：将MIPI子系统进行接口数据处理完成后的视频帧数据，送入编码操作的传输链路中采用DMA传输，并进行零拷贝处理。

第二方面，本申请实施例提供一种低延迟视频处理系统，其包括数据接收模块，用于通过LVDS摄像头采集的视频帧数据，并将视频帧数据通过解串器解串为MIPI-CSI2接口协议数据，而后送入MIPI子系统处理；数据处理模块，用于将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码；数据发送模块，用于将编码完成的视频帧数据通过5G网络发送至远程平台端。

在本发明的一些实施例中，数据接收模块将采集的视频帧数据进行切片处理，得到多个分片，然后将任一分片送入数据处理模块中的编码模块进行编码；将完成编码后的数据以片段的模式进行输出，在片段的每一端生成一个片段完成中断，并为片段输出流缓存，流缓存用于下一个元素处理，从而将视频编码时延，将多个片段逐帧减少。

在本发明的一些实施例中，数据接收模块采用解串器与SOC(ARM+FPGA)芯片中的FPGAMIPI子系统的IP核进行对接；数据处理模块采用SOC(ARM+FPGA)芯片中的FPGA视频子系统VPSS以及编解码单元VCU的IP核进行处理。

第三方面，本申请实施例提供一种低延迟视频处理装置，其包括：LVDS摄像头、5G模块、远程平台以及用于运行如权利要求5至7任一项的低延迟视频处理系统的处理设备；处理设备通过输入端接口与LVDS摄像头进行通信，接收LVDS摄像头发送过来的视频帧数据，处理设备通过USB3.0控制器对接5G模块，将视频帧数据传输到5G网路，5G模块通过5G网络与远程平台端进行通信，将视频帧数据传送到远程平台端，远程平台端负责视频显示处理以及人机交互。

在本发明的一些实施例中，处理设备通过解串器以及SOC(ARM+FPGA)芯片进行数据接收、处理以及发送。

在本发明的一些实施例中，处理设备通过USB3.0控制器对接5G模块，并对数据包设置为MTU所适配的大小，实现视频帧数据的远程传输。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

为解决延迟问题，本设计主要利用对视频帧数据进行分片，并实时编码同时采用DMA传输参数，从而获得高速传输的性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明中一种低延迟视频处理方法的流程示意图；

图2为本发明中一种低延迟视频处理系统的结构示意图；

图3a为本发明中数据接收模块的部分原理示意图；

图3b为本发明中数据接收模块另一部分的原理示意图；

图4为本发明中数据处理模块的原理示意图；

图5为本发明中延迟测试的结果示意图。

图标：1、数据接收模块；2、数据处理模块；3、数据发送模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

请参阅图1、图2、图3a、图3b和图4，为本申请实施例提供的一种低延迟视频处理方法，为解决延迟问题，本设计主要利用对视频帧数据进行分片，并实时编码同时采用DMA传输参数，从而获得高速传输的性能。

S1：通过LVDS摄像头采集的视频帧数据，并将视频帧数据通过解串器解串为MIPI-CSI2接口协议数据，而后送入MIPI子系统处理；

LVDS，全称：Low voltage differential signal，低电压差分信号。；低电压指的是并非平常的3.3V/5V,可能是零点几伏，这个取决于芯片手册。电压越低功耗越小，但是电压低的话容易被干扰，因此接口由1组差分CLOCK和若干组差分信号线组成。LVDS利用差分抗干扰能力，提升CLOCK频率从而提升带宽，传输距离也更远。；LVDS类的摄像头就没有I2C数据线作为控制线了，控制信号也由LVDS传输。；LVDS主要用于视频传输的2个领域：CAMERA和主控、LCD和主控；LVDS的数据线组数越多带宽越大、CLOCK频率越高带宽越大；并口和LVDS之间可以互转，但是需要专门的电平转换芯片925/928(类似于232和485)。故而采用LVDS摄像头可以有效的提高数据在初始阶段的传输速度。在通过解串器解串为MIPI-CSI2接口协议数据后，送入MIPI子系统处理，其优势在于MIPI接口具有更低功耗、更高数据传输率和更小的PCB占位空间等优点。

其中本发明所描述的LVDS摄像头采集数据，经过SOC(ARM+FPGA)芯片视频处理并通过5G网络模块发送到远程平台端显示的端到端延迟，参见图5，前端对接720P@30FPS摄像头,中端采用H265编码处理，后端对接240HZ的显示器，延迟为786-741＝45MS，基本稳定在50MS左右。

S2：将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码；

其中，格式转换时为了方便归一化的进行数据处理，提高后续操作的便捷性以及读取效率；另外采用切片编码进行实时编码，采集端与编码端之间增加一个同步机制，实现缓存数据的读写同步，减少了图像采集与编码模块的缓冲处理时间。

S3：将编码完成的视频帧数据通过5G网络发送至远程平台端。

而5G网络作为现在最快的网络技术，其本身也已经大规模使用，故而采用5G网络既能提高传输效率，也能降低成本。

在本发明的一些实施例中，切片编码的步骤包括：

S21：将采集的视频帧数据进行切片处理，得到多个分片，然后将任一分片进行编码；

S23：将完成编码后的数据以片段的模式进行输出，在片段的每一端生成一个片段完成中断，并为片段输出流缓存，流缓存用于下一个元素处理，从而将视频编码时延，将多个片段逐帧减少。

视频编码的编码输出以片段模式处理，在片段的每一端生成一个片段完成中断，并为片段输出流缓存，而且该缓存随即可用于下一个元素处理，因此，对于多个片段，可以将视频编码时延从多个片段一帧一帧地较少。

在本发明的一些实施例中，然后将任一分片进行编码的步骤包括：对接收到任一分片进行实时编码，实时编码无需等待完整的一帧的分片到来再进行编码。

采用不需要等待完整的一帧完全到来再进行编码，达到采集过来的视频帧数据分片送入编码模块进行实时编码，实现缓存数据的读写同步，减少了图像采集与编码模块的缓冲时间处理；

在本发明的一些实施例中，将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码的步骤包括：将MIPI子系统进行接口数据处理完成后的视频帧数据，送入编码操作的传输链路中采用DMA传输，并进行零拷贝处理。

将采集过来的视频数据转换数据格式，并按照相应的摄像头属性：视频帧率、分辨率、格式来设定DMA传输参数，这些参数在视频处理过程中是不会变化的。DMA传输减少缓存，释放CPU拷贝传输压力，提高视频实时处理效率，从而最大限度降低视频延迟。

实施例2

请参阅图1、图2、图3a、图3b和图4，为本发明提供的一种低延迟视频处理系统，包括数据接收模块1，如图3所示用于通过LVDS摄像头采集的视频帧数据，并将视频帧数据通过解串器解串为MIPI-CSI2接口协议数据，而后送入MIPI子系统处理；数据处理模块2，如图4所示，用于将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码；数据发送模块3，用于将编码完成的视频帧数据通过5G网络发送至远程平台端。

在本实施例中，低延迟视频处理系统的数据接收模块1将采集的视频帧数据进行切片处理，得到多个分片，然后将任一分片送入数据处理模块2中的编码模块进行编码；将完成编码后的数据以片段的模式进行输出，在片段的每一端生成一个片段完成中断，并为片段输出流缓存，流缓存用于下一个元素处理，从而将视频编码时延，将多个片段逐帧减少。

在本发明的一些实施例中，数据接收模块1采用解串器与SOC(ARM+FPGA)芯片中的FPGA MIPI子系统的IP核进行对接；数据处理模块2采用SOC(ARM+FPGA)芯片中的FPGA视频子系统VPSS以及编解码单元VCU的IP核进行处理。

针对VCU IP核处理完成的编码数据，会存放在给定内存地址中，之间通过零拷贝对接，直接将地址映射给定到数据发送模块3，数据发送模块3按照MTU设定的发送包大小，将编码数据通过USB3.0对接的5G模块发送到远程平台端，借助于5G高速传输带宽，针对编码数据无需进行第三方协议如RTP、PS封装，而只需在帧末尾添加小量的私有填充信息，目的是协调远程平台实时处理，以减少远程平台端视频处理延迟。

数据接收模块1采用解串器以及SOC(ARM+FPGA)芯片，解串器是一款多功能摄像头集线器，通过FPD-LINK III接口收集4个独立视频数据流接收到的串行摄像头数据，支持100万像素传感器，在30HZ或60HZ帧速率下支持高清720P/800P/960P分辨率；视频采集采用SOC(ARM+FPGA)芯片中的FPGA MIPI IP核处理，每个IP核可对接2路MIPI信号，下图2所示4个IP核共对接8路MIPI信号，即8个摄像头。

实施例3

请参阅图1、图2、图3a、图3b和图4，为本发明提供的一种低延迟视频处理装置，包括LVDS摄像头、5G模块、远程平台以及用于运行如权利要求5至7任一项的低延迟视频处理系统的处理设备；处理设备通过输入端接口与LVDS摄像头进行通信，接收LVDS摄像头发送过来的视频帧数据，处理设备通过USB3.0控制器对接5G模块，将视频帧数据传输到5G网路，5G模块通过5G网络与远程平台端进行通信，将视频帧数据传送到远程平台端，远程平台端负责视频显示处理以及人机交互。其显示结果如图5所示。

数据接收模块1用于负责接收LVDS摄像头采集过来的图像数据，摄像头接口为LVDS接口。LVDS摄像头采用同轴视频信号线，连接到以SOC(ARM+FPGA)主控处理器的视频采集板。LVDS接口为低电压差分信号，属于平衡传输信号，采用极低的电压摆幅高速差动传输数据，具有低功耗、低误码率、低串扰、低抖动、低辐射，良好的信号完整性，最高数据传输速率可达1.923GBPS，可用于多种复杂场景，例如，在车端远程驾驶系统上使用，具有强抗干扰性，高速传输速率，满足低延时传输使用场景。

在本发明的一些实施例中，处理设备通过解串器以及SOC(ARM+FPGA)芯片进行数据接收、处理以及发送。

在本发明的一些实施例中，处理设备通过USB3.0控制器对接5G模块，并对数据包设置为MTU所适配的大小，实现视频帧数据的远程传输。

USB3.0引入全双工数据传输，共5根线，其中2根用来发送数据，另外2根用来接收数据，还有1根地线，可以同步全速地进行读写操作，极大提高了带宽，最高传输速率可达5GBPS；5G作为一种新型移动通信网络，具有高速率、低时延和大连接特点的新一代宽带移动通信技术，速率可达到10-20GBIT/S，空中接口时延低至1MS，频谱效率相比LTE提升3倍以上，满足高清视频、虚拟现实等大数据量传输，采用USB3.0接口的5G模块接入5G网络，实现高速传输视频数据流。

处理器可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(CENTRAL PROCESSING UNIT，CPU)、网络处理器(NETWORK PROCESSOR，NP)等；还可以是数字信号处理器(DIGITAL SIGNAL PROCESSING，DSP)、专用集成电路(APPLICATION SPECIFIC INTEGRATED CIRCUIT，ASIC)、现场可编程门阵列(FIELD－PROGRAMMABLE GATE ARRAY，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，READ-ONLY MEMORY)、随机存取存储器(RAM，RANDOM ACCESS MEMORY)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种低延迟视频处理方法，其特征在于，包括：

通过LVDS摄像头采集的视频帧数据，并将所述视频帧数据通过解串器解串为MIPI-CSI2接口协议数据，而后送入MIPI子系统处理；

将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码；

将编码完成的视频帧数据通过5G网络发送至远程平台端。

2.如权利要求1所述的一种低延迟视频处理方法，其特征在于，所述切片编码的步骤包括：

将采集的视频帧数据进行切片处理，得到多个分片，然后将任一所述分片进行编码；

将完成编码后的数据以片段的模式进行输出，在所述片段的每一端生成一个片段完成中断，并为片段输出流缓存，所述流缓存用于下一个元素处理，从而将视频编码时延，将多个片段逐帧减少。

3.如权利要求2所述的一种低延迟视频处理方法，其特征在于，然后将任一所述分片进行编码的步骤包括：

对接收到任一所述分片进行实时编码，所述实时编码无需等待完整的一帧的分片到来再进行编码。

4.如权利要求1所述的一种低延迟视频处理方法，其特征在于，将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码的步骤包括：

将MIPI子系统进行接口数据处理完成后的视频帧数据，送入编码操作的传输链路中采用DMA传输，并进行零拷贝处理。

5.一种低延迟视频处理系统，其特征在于，包括：

数据接收模块，用于通过LVDS摄像头采集的视频帧数据，并将所述视频帧数据通过解串器解串为MIPI-CSI2接口协议数据，而后送入MIPI子系统处理；

数据处理模块，用于将MIPI子系统进行接口数据处理完成后的视频帧数据，再进行格式转换、同步以及切片编码；

数据发送模块，用于将编码完成的视频帧数据通过5G网络发送至远程平台端。

6.如权利要求5所述的一种低延迟视频处理系统，其特征在于，

所述数据接收模块将采集的视频帧数据进行切片处理，得到多个分片，然后将任一所述分片送入所述数据处理模块中的编码模块进行编码；将完成编码后的数据以片段的模式进行输出，在所述片段的每一端生成一个片段完成中断，并为片段输出流缓存，所述流缓存用于下一个元素处理，从而将视频编码时延，将多个片段逐帧减少。

7.如权利要求5所述的一种低延迟视频处理系统，其特征在于，所述数据接收模块采用解串器与SOC(ARM+FPGA)芯片中的FPGAMIPI子系统的IP核进行对接；所述数据处理模块采用SOC(ARM+FPGA)芯片中的FPGA视频子系统VPSS以及编解码单元VCU的IP核进行处理。

8.一种低延迟视频处理装置，其特征在于，包括：LVDS摄像头、5G模块、远程平台以及用于运行如权利要求5至7任一项所述的低延迟视频处理系统的处理设备；所述处理设备通过输入端接口与LVDS摄像头进行通信，接收LVDS摄像头发送过来的视频帧数据，所述处理设备通过USB3.0控制器对接5G模块，将视频帧数据传输到5G网路，所述5G模块通过5G网络与远程平台端进行通信，将视频帧数据传送到远程平台端，所述远程平台端负责视频显示处理以及人机交互。

9.如权利要求8所述的一种低延迟视频处理装置，其特征在于，所述处理设备通过解串器以及SOC(ARM+FPGA)芯片进行数据接收、处理以及发送。

10.如权利要求8所述的一种低延迟视频处理装置，其特征在于，所述处理设备通过USB3.0控制器对接5G模块，并对数据包设置为MTU所适配的大小，实现视频帧数据的远程传输。

Images