CN116634270A - 一种车载可调度摄像头视频传输系统、方法及自动驾驶汽车 - Google Patents

Abstract

本发明提供一种车载可调度摄像头视频传输系统、方法及自动驾驶汽车，系统包括摄像头模块、微控制模块及以太网模块，摄像头模块包括车规级摄像头传感器及CIF摄像头接口，微控制模块包括图像处理单元、时间同步单元及以太网传输单元，摄像头模块通过CIF摄像头接口连接图像处理单元，时间同步单元用于为视频流数据添加时间戳数据，并将其封装为以太网视频流报文，以太网视频流报文通过以太网传输单元传输至以太网模块。时间同步单元为不同的视频信息分别添加时间戳数据，于系统内实现TSN功能，保障了不同的车规级摄像头传感器的采集内容的时间同步，减小了相互之间的时间差，为更好的判断周边环境提供了依据。

Description

一种车载可调度摄像头视频传输系统、方法及自动驾驶汽车

技术领域

本发明涉及汽车智能化技术领域，特别涉及一种车载可调度摄像头视频传输系统、方法及自动驾驶汽车。

背景技术

随着汽车智能化发展，各类传感器的加入对于汽车网络的负载压力越来越大，而汽车电子电气架构也逐渐向域集中式架构发展，也有向中央集中式架构发展的趋势。在这一背景下，车载以太网逐渐被公认为是作为未来车载主干网络的主要组成。

随着汽车传感器数量的增加和自动驾驶算法的发展，保障环境感知准确性的多传感器融合技术越来越受重视，其主要分为前融合和后融合两种技术，两者区别在于融合数据是传感器的原始数据，还是经过感知算法处理后的目标数据。目前较为普遍的是后融合方案，相应地传感器厂商也可以将多传感器集成于同一硬件模块，并加以相应的识别算法，直接输出目标数据。得益于后融合方案，弱化了传感器本身的时间同步需求。而前融合方案相比较而言，得益于更完整的信息源，在提升感知系统准确度方面有更好的优势，但多区域分布的传感器也强化了在传感器终端实现时间同步的需求。

目前，针对车载摄像头端节点，其接入域集中式网络的方式主要有基于LVDS和Ethernet两种，前者需要将CSI-2转为LVDS，再从LVDS转换为CSI-2，最后再转化为车载以太网接入网络，在这个过程中需要用到LVDS Mux芯片和LVDS De-Mux芯片，并且相应的以太网交换机也需要具备CSI-2接口，在这个过程中，摄像头端只是作为传感器存在，不具备TSN能力；后者只需接入将CSI-2转为车载以太网的网桥，然后直接接入车载以太网网络即可，这一方案网桥往往只是物理层转换芯片，同样不具备TSN能力。但在未来后融合的传感器融合发展趋势下，摄像头系统也需要支持TSN功能，以协助更好的完成自动化驾驶。

发明内容

针对现有技术的不足，本发明的目的在于提供一种车载可调度摄像头视频传输系统、方法及自动驾驶汽车，旨在解决现有技术中车载摄像头系统不具备TSN功能，难以适配自动化驾驶发展趋势的技术问题。

为了实现上述目的，本发明是通过如下技术方案来实现的：

一种车载可调度摄像头视频传输系统，包括摄像头模块、微控制模块及以太网模块，所述摄像头模块包括若干个车规级摄像头传感器及CIF摄像头接口，所述车规级摄像头传感器用于获取视频信息，所述视频信息用于识别外部环境，若干个所述车规级摄像头传感器电性连接所述CIF摄像头接口，所述微控制模块包括依次电性连接的图像处理单元、时间同步单元及以太网传输单元，所述摄像头模块通过所述CIF摄像头接口连接所述图像处理单元，以将所述视频信息优化处理为视频流数据，所述时间同步单元用于为所述视频流数据添加时间戳数据，并将添加所述时间戳数据的所述视频流数据封装为以太网视频流报文，所述以太网视频流报文通过所述以太网传输单元传输至所述以太网模块。

与现有技术相比，本发明的有益效果在于：当不同的所述车规级摄像头传感器分别获取所述视频信息后，将其传输至所述时间同步单元内，所述时间同步单元为不同的所述视频信息分别添加时间戳数据，所述以太网传输单元根据所述时间戳数据分辨同一时间下的所述视频信息，并将其传输至所述以太网模块，完成视频传输，于所述车载可调度摄像头视频传输系统内实现TSN功能，保障了不同的所述车规级摄像头传感器的采集内容的时间同步，减小了相互之间的时间差，为更好的判断周边环境提供了依据。

进一步地，所述微控制模块还包括分时调度单元，所述时间同步单元与所述以太网传输单元之间设置所述分时调度单元，所述分时调度单元用于区隔报文的优先级，以确保所述以太网视频流报文按所述优先级传输。

进一步地，所述分时调度单元包括识别区、若干个不同优先级的传输队列及调度求解器，所述识别区通过所述传输队列连接所述调度求解器，所述调度求解器用于根据不同的所述传输队列内的报文生成与所述传输队列对应的门控列表，所述门控列表用于规划所述传输队列内的报文的发送时间。

本发明实施例还提供了一种车载可调度摄像头视频传输方法，应用于上述技术方案中所述的车载可调度摄像头视频传输系统，包括如下步骤：

通过若干个所述车规级摄像头传感器获取用于识别外部环境的视频信息；

将所述视频信息通过所述CIF摄像头接口传输至所述图像处理单元，所述图像处理单元将所述视频信息优化处理为视频流数据，并将所述视频流数据传输至所述时间同步单元；

所述时间同步单元基于本地时间信息获取时间戳数据，将所述时间戳数据添加至所述视频流数据，将添加所述时间戳数据的所述视频流数据封装为以太网视频流报文；

将所述以太网视频流报文通过所述以太网传输单元传输至所述以太网模块，以完成视频传输。

进一步地，所述优化处理包括图像压缩及图像去畸变。

更进一步地，所述时间同步单元基于本地时间获取时间戳数据的步骤包括：

当所述时间同步单元接收到所述视频流数据时，所述时间同步单元获取基准网络时间信息；

所述时间同步单元触发所述微控制模块的本地中断，并读取本地时间信息；

将所述本地时间信息与所述基准网络时间信息进行比对，以判断所述本地时间信息与所述基准网络时间信息之间的时间差是否大于预设阀值；

若所述时间差大于所述预设阀值，所述时间同步单元获取当前网络时间信息，以校准所述本地时间信息，并根据校准后的所述本地时间信息生成时间戳数据。

更进一步地，在所述将所述以太网视频流报文通过所述以太网传输单元传输至所述以太网模块，以完成视频传输的步骤之前，还包括：

所述时间同步单元将所述以太网视频流报文传输至所述分时调度单元，所述分时调度单元根据所述以太网视频流报文的优先级，将其优先传输至所述以太网传输单元。

更进一步地，所述时间同步单元将所述以太网视频流报文传输至所述分时调度单元，所述分时调度单元根据所述以太网视频流报文的优先级，将其优先传输至所述以太网传输单元的步骤具体包括：

所述时间同步单元将所述以太网视频流报文传输至所述识别区；

所述识别区根据所述以太网视频流报文的优先级，将其分配至对应的所述传输队列；

所述传输队列提取所述以太网视频流报文的周期信息、带宽信息、首部信息、地址信息及标签信息，并传输至所述调度求解器；

所述调度求解器根据所述以太网视频流报文的周期信息、带宽信息、首部信息、地址信息及标签信息生成包含发送时间的所述门控列表；

所述门控列表根据所述发送时间将所述以太网视频流报文发送至所述以太网传输单元。

本发明实施例还提供了一种自动驾驶汽车，包括上述技术方案中所述的车载可调度摄像头视频传输系统。

附图说明

图1为本发明第一实施例中车载可调度摄像头视频传输系统的结构框图；

图2为本发明第二实施例中车载可调度摄像头视频传输方法的流程图；

图3为本发明第二实施例中车载可调度摄像头视频传输方法中以太网视频流报文的帧格式；

图4为本发明第二实施例中车载可调度摄像头视频传输方法中分时调度单元的处理结构图；

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，本发明第一实施例中的车载可调度摄像头视频传输系统，其设置于自动驾驶汽车内，用于为所述自动驾驶汽车识别外部环境，以协助其更好的完成自动驾驶。所述车载可调度摄像头视频传输系统包括摄像头模块10、微控制模块20及以太网模块30，所述摄像头模块10包括若干个车规级摄像头传感器110及CIF摄像头接口40，所述车规级摄像头传感器110用于获取视频信息，所述视频信息用于识别外部环境，所述车规级摄像头传感器110可集成ISP芯片，若干个所述车规级摄像头传感器110电性连接所述CIF摄像头接口40，所述微控制模块20包括依次电性连接的图像处理单元210、时间同步单元220及以太网传输单元240，所述摄像头模块10通过所述CIF摄像头接口40连接所述图像处理单元210，可以理解地，所述微控制模块20同样包括所述CIF摄像头接口40，以实现两者之间的连接。若干个所述车规级摄像头传感器110采集到的所述视频信息，将同步传输至所述图像处理单元210，所述图像处理单元210将所述视频信息优化处理为视频流数据，所述时间同步单元220用于为所述视频流数据添加时间戳数据，并将添加所述时间戳数据的所述视频流数据封装为以太网视频流报文，所述以太网视频流报文通过所述以太网传输单元240传输至所述以太网模块30。所述时间同步单元220支持TSN协议簇下的802.1AS时间同步能力。所述微控制模块20及所述以太网模块30均还包括RGMII接口50，以实现连着之间的连接，优选地，所述以太网模块30还包括1000BASE-T1非屏蔽双绞线链路物理层接口60。

当不同的所述车规级摄像头传感器110分别获取所述视频信息后，将其传输至所述时间同步单元220内，所述时间同步单元220为不同的所述视频信息分别添加时间戳数据，所述以太网传输单元240根据所述时间戳数据分辨同一时间下的所述视频信息，并将其传输至所述以太网模块30，完成视频传输，于所述车载可调度摄像头视频传输系统内实现TSN功能，保障了不同的所述车规级摄像头传感器110的采集内容的时间同步，减小了相互之间的时间差，为更好的判断周边环境提供了依据。

所述微控制模块20还包括分时调度单元230，所述分时调度单元230具备802.1Qbv下的部分分时调度功能。所述时间同步单元220与所述以太网传输单元240之间设置所述分时调度单元230，所述分时调度单元230用于区隔报文的优先级，以确保所述以太网视频流报文按所述优先级传输。可以理解地，所述分时调度单元230将同步接收多种报文，在本实施例中，所述报文包括诊断类流量报文、时间同步流量服务报文及所述以太网视频流报文，若直接将所述时间同步单元220内的报文传输至所述以太网传输单元240，将影响所述以太网传输单元240的传送速度，进而影响对周边环境获取的及时性。

具体地，所述分时调度单元230包括识别区、若干个不同优先级的传输队列及调度求解器，所述识别区通过所述传输队列连接所述调度求解器，所述调度求解器用于根据不同的所述传输队列内的报文生成与所述传输队列对应的门控列表，所述门控列表用于规划所述传输队列内的报文的发送时间。在本实施例中，所述传输队列包括诊断类流量队列、时间同步流量服务队列及以太网视频流队列，其与所述诊断类流量报文、所述时间同步流量服务报文及所述以太网视频流报文对应。即通过所述识别区，可将所述以太网视频流报文传输至所述以太网视频流队列内，进而完成后续的发送工作。

请参阅图2，本发明第二实施例中的一种车载可调度摄像头视频传输方法，该方法应用于上述实施例中所述的车载可调度摄像头视频传输系统，所述方法包括如下步骤：

步骤S100：通过若干个所述车规级摄像头传感器获取用于识别外部环境的视频信息；

在自动驾驶汽车的行驶过程中，若干个所述车规级摄像头传感器实时捕捉外部影响，以形成用于识别外部环境的所述视频信息，通过综合全部的所述车规级摄像头传感器获取的所述视频信息，以协助自动驾驶汽车完成外部环境的获取，进而实现其自动驾驶功能。

步骤S200：将所述视频信息通过所述CIF摄像头接口传输至所述图像处理单元，所述图像处理单元将所述视频信息优化处理为视频流数据，并将所述视频流数据传输至所述时间同步单元；

为确保所述视频信息传输的及时性，通过所述图像处理单元对所述视频信息进行优化处理，优选地，所述优化处理包括图像压缩及图像去畸变。

步骤S300：所述时间同步单元基于本地时间信息获取时间戳数据，将所述时间戳数据添加至所述视频流数据，将添加所述时间戳数据的所述视频流数据封装为以太网视频流报文；

具体地，包括S301：当所述时间同步单元接收到所述视频流数据时，所述时间同步单元获取基准网络时间信息；

可以理解地，所述时间同步单元通过网络时间同步协议请求网络上的时间信息，通过读取当前小时、当前分钟、当前秒钟，以形成所述基准网络时间信息。

S302：所述时间同步单元触发所述微控制模块的本地中断，并读取本地时间信息；

中断是一种能够及时响应外部事件的机制，当外部事件发生时，中断会打断所述微控制模块的当前工作，进入中断服务程序执行相应的处理操作。在本实施例中，当所述时间同步单元接到到所述视频流数据时，触发中断，并在中断服务程序中获取所述本地时间信息。

S303：将所述本地时间信息与所述基准网络时间信息进行比对，以判断所述本地时间信息与所述基准网络时间信息之间的时间差是否大于预设阀值；

S304：若所述时间差大于所述预设阀值，所述时间同步单元获取当前网络时间信息，以校准所述本地时间信息，并根据校准后的所述本地时间信息生成时间戳数据。

可以理解地，若所述本地时间信息与所述基准网络时间信息之间的时间差小于所述预设阀值，则判断所述本地时间信息与所述基准网络时间信息已趋于同步，可以直接根据所述本地时间信息作为生成所述时间戳数据。若大于，则说明所述本地时间信息与网络时间存在偏差，需要进一步校正，此时，所述时间同步单元通过时间同步协议向外部时间服务器请求所述当前网络时间信息，通过所述当前网络时间信息校正所述本地时间信息，以保证所述时间戳数据的准确性，进而满足若干个所述车规级摄像头传感器之间数据融合的统一时间基准要求。优选地，所述时间戳数据的长度为10Bytes。所述以太网视频流报文的帧格式如图3所示。

步骤S400：将所述以太网视频流报文通过所述以太网传输单元传输至所述以太网模块，以完成视频传输。

在完成所述视频流数据的时间同步后，即可将同一时间下的所述视频流数据通过所述以太网传输单元传输至所述以太网模块，完成视频的传输，进而为自动驾驶汽车提供同一时间下的外部环境要素，为其正常行驶提供判断依据。

请参阅图4，在所述时间同步单元将所述以太网视频流报文传输至所述分时调度单元，所述分时调度单元根据所述以太网视频流报文的优先级，将其优先传输至所述以太网传输单元的步骤之前，还包括步骤S500：所述时间同步单元将所述以太网视频流报文传输至所述分时调度单元，所述分时调度单元根据所述以太网视频流报文的优先级，将其优先传输至所述以太网传输单元。

具体地，所述步骤S500包括：

S501：所述时间同步单元将所述以太网视频流报文传输至所述识别区；

S502：所述识别区根据所述以太网视频流报文的优先级，将其分配至对应的所述传输队列；

可以理解地，在所述时间同步单元进行传输的过程中，其传输的报文不仅限于所述以太网视频流报文，所述以太网视频流报文的优先级为最高级，其他报文根据其重要程度依次排序，而不同的所述传输队列所对应的优先级也不相同，即相同优先级的报文将进入同一个所述传输队列内。

S503：所述传输队列提取所述以太网视频流报文的周期信息、带宽信息、首部信息、地址信息及标签信息，并传输至所述调度求解器；

具体地，所述传输队列内设置流量监测器及流量信息采集器，所述流量监测器提取所述以太网视频流报文的字节数、发送时间信息，以获取所述以太网视频流报文的周期信息及带宽信息。

所述流量信息采集器解析所述以太网视频流报文，以获取所述以太网视频流报文的首部信息、地址信息及标签信息。

可以理解地，不同的所述传输队列对其内的报文实行同样的操作，以为后续门控列表的发送时间提供设置一句。

S504：所述调度求解器根据所述以太网视频流报文的周期信息、带宽信息、首部信息、地址信息及标签信息生成包含发送时间的所述门控列表；

S505：所述门控列表根据所述发送时间将所述以太网视频流报文发送至所述以太网传输单元。

所述调度求解器收集全部的所述传输队列的相关信息，并分别为所述传输队列设置所述门控列表，不同的所述传输队列对应的所述门控列表的发送时间不同，以实现不同的报文的先后发送。通过所述时间同步单元及所述分时调度单元的协同，确保了关键流量传输的时延有界性，为实时性提供了保障。满足了所述车载可调度摄像头视频传输系统中各个节点的实时要求，优化了CPU时间和系统资源的分配。

本发明第三实施例提供了一种自动驾驶汽车，包括上述实施例中所述的车载可调度摄像头视频传输系统。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种车载可调度摄像头视频传输系统，包括摄像头模块、微控制模块及以太网模块，其特征在于，所述摄像头模块包括若干个车规级摄像头传感器及CIF摄像头接口，所述车规级摄像头传感器用于获取视频信息，所述视频信息用于识别外部环境，若干个所述车规级摄像头传感器电性连接所述CIF摄像头接口，所述微控制模块包括依次电性连接的图像处理单元、时间同步单元及以太网传输单元，所述摄像头模块通过所述CIF摄像头接口连接所述图像处理单元，以将所述视频信息优化处理为视频流数据，所述时间同步单元用于为所述视频流数据添加时间戳数据，并将添加所述时间戳数据的所述视频流数据封装为以太网视频流报文，所述以太网视频流报文通过所述以太网传输单元传输至所述以太网模块。

2.根据权利要求1所述的车载可调度摄像头视频传输系统，其特征在于，所述微控制模块还包括分时调度单元，所述时间同步单元与所述以太网传输单元之间设置所述分时调度单元，所述分时调度单元用于区隔报文的优先级，以确保所述以太网视频流报文按所述优先级传输。

3.根据权利要求2所述的车载可调度摄像头视频传输系统，其特征在于，所述分时调度单元包括识别区、若干个不同优先级的传输队列及调度求解器，所述识别区通过所述传输队列连接所述调度求解器，所述调度求解器用于根据不同的所述传输队列内的报文生成与所述传输队列对应的门控列表，所述门控列表用于规划所述传输队列内的报文的发送时间。

4.一种车载可调度摄像头视频传输方法，应用于如权利要求1～3任一项所述的车载可调度摄像头视频传输系统，其特征在于，所述车载可调度摄像头视频传输系统方法包括以下步骤：

通过若干个所述车规级摄像头传感器获取用于识别外部环境的视频信息；

将所述视频信息通过所述CIF摄像头接口传输至所述图像处理单元，所述图像处理单元将所述视频信息优化处理为视频流数据，并将所述视频流数据传输至所述时间同步单元；

所述时间同步单元基于本地时间信息获取时间戳数据，将所述时间戳数据添加至所述视频流数据，将添加所述时间戳数据的所述视频流数据封装为以太网视频流报文；

将所述以太网视频流报文通过所述以太网传输单元传输至所述以太网模块，以完成视频传输。

5.根据权利要求4所述的车载可调度摄像头视频传输方法，其特征在于，所述优化处理包括图像压缩及图像去畸变。

6.根据权利要求4所述的车载可调度摄像头视频传输方法，其特征在于，所述时间同步单元基于本地时间获取时间戳数据的步骤包括：

当所述时间同步单元接收到所述视频流数据时，所述时间同步单元获取基准网络时间信息；

所述时间同步单元触发所述微控制模块的本地中断，并读取本地时间信息；

将所述本地时间信息与所述基准网络时间信息进行比对，以判断所述本地时间信息与所述基准网络时间信息之间的时间差是否大于预设阀值；

若所述时间差大于所述预设阀值，所述时间同步单元获取当前网络时间信息，以校准所述本地时间信息，并根据校准后的所述本地时间信息生成时间戳数据。

7.根据权利要求4所述的车载可调度摄像头视频传输方法，其特征在于，在所述将所述以太网视频流报文通过所述以太网传输单元传输至所述以太网模块，以完成视频传输的步骤之前，还包括：

所述时间同步单元将所述以太网视频流报文传输至所述分时调度单元，所述分时调度单元根据所述以太网视频流报文的优先级，将其优先传输至所述以太网传输单元。

8.根据权利要求7所述的车载可调度摄像头视频传输方法，其特征在于，所述时间同步单元将所述以太网视频流报文传输至所述分时调度单元，所述分时调度单元根据所述以太网视频流报文的优先级，将其优先传输至所述以太网传输单元的步骤具体包括：

所述时间同步单元将所述以太网视频流报文传输至所述识别区；

所述识别区根据所述以太网视频流报文的优先级，将其分配至对应的所述传输队列；

所述传输队列提取所述以太网视频流报文的周期信息、带宽信息、首部信息、地址信息及标签信息，并传输至所述调度求解器；

所述调度求解器根据所述以太网视频流报文的周期信息、带宽信息、首部信息、地址信息及标签信息生成包含发送时间的所述门控列表；

所述门控列表根据所述发送时间将所述以太网视频流报文发送至所述以太网传输单元。

9.一种自动驾驶汽车，其特征在于，包括如权利要求1～3任一项所述的车载可调度摄像头视频传输系统。