CN210781101U - 数据采集装置及数据采集系统 - Google Patents

Abstract

本申请公开一种数据采集装置及数据采集系统。该数据采集装置包括第一数据采集芯片和与第一数据采集芯片相连的视频同步采集芯片；第一数据采集芯片包括用于生成时钟信号的时钟源；视频同步采集芯片包括用于采集视频数据的视频采集模块和与视频采集模块相连的视频同步处理模块，视频同步处理模块与时钟源相连，用于基于时钟源生成的时钟信号对视频采集模块采集到的视频数据进行视频帧时钟同步处理，将时钟同步处理后的视频数据发送给第一数据采集芯片。该数据采集装置可使采集到的视频数据基于同一时钟源进行时钟同步，可使视频数据上的所有视频帧均携带同一时钟源对应的时间戳信息，以达到采集高精度时钟同步的视频数据的目的。

Description

数据采集装置及数据采集系统

技术领域

本申请涉及数据采集技术领域，尤其涉及一种数据采集装置及数据采集系统。

背景技术

自动驾驶汽车(Autonomous vehicles；Self-driving automobile)又称无人驾驶汽车，是一种采用自动驾驶技术实现无人驾驶的智能汽车。该自动驾驶技术可通过电脑系统操作车辆，以实现无人驾驶目的的技术，具体是依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑系统可以在没有人类主动的操作下，自动安全地操作车辆的技术。自动驾驶技术可通过采集汽车驾驶过程中形成的汽车驾驶数据训练自动驾驶模型，以便根据训练好的自动驾驶模型操作车辆。

当前汽车驾驶数据的方法主要是在车辆上安装各种传感器及与传感器相连的数据采集装置，然后安排驾驶人员驾驶该车辆，将数据采集装置实时获取传感器采集到的汽车驾驶数据。例如，该汽车驾驶数据包括但不限于摄像头模组实时采集的视频数据、雷达设备实时采集的雷达数据和GPS定位设备实时采集的定位数据。当前数据采集装置中，不同传感器采集到的汽车驾驶数据时间不同步，基于时间不同步的汽车驾驶数据训练的自动驾驶模型进行自动驾驶控制的精确率较低。

实用新型内容

本申请实施例提供一种数据采集装置及数据采集系统，以解决当前数据采集装置采集到的汽车驾驶数据时间不同步的问题。

一种数据采集装置，包括：第一数据采集芯片和与所述第一数据采集芯片相连的视频同步采集芯片；所述第一数据采集芯片包括用于生成时钟信号的时钟源；所述视频同步采集芯片包括用于采集视频数据的视频采集模块和与所述视频采集模块相连的视频同步处理模块，所述视频同步处理模块与所述时钟源相连，用于基于所述时钟源生成的时钟信号对所述视频采集模块采集到的视频数据进行视频帧时钟同步处理，将时钟同步处理后的视频数据发送给所述第一数据采集芯片。

可选地，所述数据采集装置还包括第二数据采集芯片，所述第二数据采集芯片包括与所述视频同步处理模块和所述第一数据采集芯片相连的第二视频处理模块，所述第二视频处理模块用于对所述视频同步处理模块发送的视频数据进行视频编码处理，将视频编码处理后的视频数据发送给所述第一数据采集芯片。

可选地，所述第一数据采集芯片上还设有第一视频处理模块和视频数据打包模块，所述第一视频处理模块与所述视频同步处理模块相连，用于对所述视频同步处理模块发送的视频数据进行视频编码处理；所述视频数据打包模块与所述第一视频处理模块和所述第二视频处理模块相连，用于对视频编码处理后的视频数据进行打包处理。

可选地，所述第一视频处理模块包括用于接收视频数据的第一视频接收单元和与所述第一视频接收单元相连的用于进行视频编码的第一视频编码处理单元，所述第一视频接收单元与所述视频同步处理模块相连，所述第一视频编码处理单元与所述视频数据打包模块相连；

所述第二视频处理模块包括用于接收视频数据的第二视频接收单元和与所述第二视频接收单元相连的用于进行视频编码的第二视频编码处理单元，所述第二视频接收单元与所述视频同步处理模块相连，所述第二视频编码处理单元与所述视频数据打包模块相连。

可选地，所述第一视频处理模块还包括设置在所述第一视频接收单元与所述第一视频编码处理单元之间的第一格式转换单元，用于对所述第一视频接收单元输出的视频数据进行格式转换；

所述第二视频处理模块还包括设置在所述第二视频接收单元与所述第二视频编码处理单元之间的第二格式转换单元，用于对所述第二视频接收单元输出的视频数据进行格式转换。

可选地，所述视频数据打包模块包括用于对视频数据进行编码转换的视频编码转换单元和与所述视频编码转换单元相连的用于对视频数据进行打包封装处理的视频封装处理单元，所述视频编码转换单元与所述第一视频处理模块和所述第二视频处理模块相连。

可选地，所述第一数据采集芯片上还设有与时钟源相连的传感器数据同步模块和与所述传感器数据同步模块相连的传感器数据打包模块，所述传感器数据同步模块用于基于所述时钟源生成的时钟信号对接收到的传感器数据进行时钟同步处理，所述传感器数据打包模块用于对传感器数据进行打包封装处理。

可选地，所述数据采集装置还包括与所述传感器数据同步模块相连的CAN数据采集器，用于通过CAN总线采集传感器数据，并将所述传感器数据发送给所述传感器数据同步模块。

一种数据采集系统，包括上述数据采集装置、与所述数据采集装置相连的用于采集视频数据的摄像头模组和与所述数据采集装置相连的用于采集传感器数据的传感器模组。

可选地，所述数据采集系统还包括与所述数据采集装置相连的用于采集传感器数据的传感器模组，所述传感器模组与传感器数据同步模块相连，或者通过CAN数据采集器与传感器数据同步模块相连。

上述数据采集装置及数据采集系统中，视频同步采集芯片基于第一数据采集芯片上的时钟源生成的时钟信号，对所采集到的视频数据进行视频帧时钟同步处理，并将时钟同步处理后的视频数据发送给第一数据采集芯片，使得第一数据采集芯片采集到的视频数据与视频同步采集芯片输出的视频数据基于同一时钟源进行时钟同步，可使视频数据上的所有视频帧均携带同一时钟源对应的时间戳信息，以达到采集高精度时钟同步的视频数据的目的。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中数据采集系统的一示意图；

图2是本申请实施例中数据采集系统的另一示意图；

图3是本申请实施例中数据采集系统的另一示意图；

图4是本申请实施例中数据采集系统的另一示意图。

图中：100、第一数据采集芯片；110、时钟源；120、第一视频处理模块；121、第一视频接收单元；122、第一视频编码处理单元；123、第一格式转换单元；1231、第一VIC缓存器；1232、第一VIC处理器；130、视频数据打包模块；131、视频编码转换单元；132、视频封装处理单元；140、传感器数据同步模块；150、传感器数据打包模块；160、数据传输控制模块；200、视频同步采集芯片；210、视频采集模块；211、第一串行解串器；212、第一串行解串器；213、第一串行解串器；214、第一串行解串器；220、视频同步处理模块；221、CrossLink器件；300、第二数据采集芯片；310、第二视频处理模块；311、第二视频接收单元；312、第二视频编码处理单元；313、第二格式转换单元；3131、第二VIC缓存器；3132、第二VIC处理器；400、CAN数据采集器；500、摄像头模组；501、摄像头模组；502、摄像头模组；503、摄像头模组；510、图像传感器；511、图像传感器；512、图像传感器；513、图像传感器；520、图像信号处理器；521、图像信号处理器；522、图像信号处理器；523、图像信号处理器；530、第二串行解串器；531、第二串行解串器；532、第二串行解串器；533、第二串行解串器；600、传感器模组；610、激光雷达设备；620、毫米波雷达设备；630、超声波雷达设备；640、GPS定位设备；650、惯性测量单元；660、车身状态采集器；700、数据存储设备；800、上位机。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本专利申请提供一种数据采集装置，该数据采集装置可设置在运动物体上，包括设置在运动物体上的多个摄像头模组和多个传感器模组，用于采集运动物体中运动过程中形成的数据。

作为一示例，该数据采集装置可安装在无人机上，用于实现采集无人机上飞机过程中形成的数据。

作为一示例，该数据采集装置可设置在车辆上，在驾驶人员驾驶车辆时，实时采集车辆驾驶过程中形成的汽车驾驶数据。该汽车驾驶数据可以用来作为自动驾驶模型的训练数据。该数据采集装置可与设置在车辆上的多个外部传感器相连，以接收多个外部传感器采集到的汽车驾驶数据。

以下实施例以数据采集装置应用在车辆为例进行说明：

请参阅图1，本专利申请提供一种数据采集系统，数据采集系统包括数据采集装置和与数据采集装置相连的用于采集视频数据的摄像头模组500/501/502/503，还包括与数据采集装置相连的上位机800和数据存储设备700。

其中，视频数据是车辆驾驶过程中通过摄像头模组500/501/502/503实时采集到的数据，是汽车驾驶数据中的一种。可利用视频数据训练可感知驾驶环境以进行驾驶控制的自动驾驶模型，或者将视频数据实时输入已训练好的自动驾驶模型，实现感知驾驶环境，以实现自动驾驶操作。

其中，摄像头模组500/501/502/503是设置在车辆上的可进行拍摄操作以形成视频数据的设备。数据采集装置是设置在车辆上的与摄像头模组500/501/502/503相连的用于获取摄像头模组500/501/502/503生成的视频数据并进行数据同步及其他数据处理的装置。在图1所示的数据采集系统中，摄像头模组500/501/502/503实时拍摄车辆驾驶环境对应的视频数据，并将拍摄的视频数据发送给数据采集装置；数据采集装置接收摄像头模组500/501/502/503发送的视频数据，并对视频数据进行视频帧时钟同步处理，形成携带时钟信号的视频数据，从而采集到高精度时钟同步的视频数据，以便利用该视频数据进行自动驾驶模型训练，或者将该视频数据输入已训练好的自动驾驶模型，以实现自动驾驶控制。

其中，上位机800是与数据采集装置相连的可实现人机交互的计算机设备，如电脑。用户可通过电脑自主配置采集视频数据的视频时长或者用于封装数据的封装时长等控制参数，并将该控制参数发送给第一数据采集芯片100的CPU，以使CPU依据上位机800配置的控制参数进行数据采集。

其中，数据存储设备700是数据采集系统预先配置的用于存储汽车驾驶数据的设备，该数据存储设备700可以为SSD(Solid State Disk或Solid State Drive，简称SSD)硬盘，俗称固态硬盘，固态硬盘是用固态电子存储芯片阵列而制成的硬盘。

如图1所示，该数据采集装置可与至少一个摄像头模组500/501/502/503相连，用于接收至少一个摄像头模组500/501/502/503实时采集的视频数据，对至少一个摄像头模组500/501/502/503采集到的视频数据进行视频帧时钟同步处理，从而获取高精度时钟同步的视频数据。可以理解地，采用高精度时钟同步的视频数据进行自动驾驶模型训练，可使训练所得的自动驾驶模型感知驾驶环境更准确；将高精度时钟同步的视频数据输入已训练好的自动驾驶模型进行自动驾驶控制时，可有效提高自动驾驶的控制精确性。

如图1所示的数据采集装置包括第一数据采集芯片100和与第一数据采集芯片100相连的视频同步采集芯片200；第一数据采集芯片100包括用于生成时钟信号的时钟源110；视频同步采集芯片200包括用于采集视频数据的视频采集模块210和与视频采集模块210相连的视频同步处理模块220，视频同步处理模块220与时钟源110相连，用于基于时钟源110生成的时钟信号对视频采集模块210采集到的视频数据进行视频帧时钟同步处理，将时钟同步处理后的视频数据发送给第一数据采集芯片100。

其中，第一数据采集芯片100是数据采集装置中用于进行数据采集和处理的处理核心。即第一数据采集芯片100是用于对汽车驾驶数据进行采集和处理的处理核心，如图1所示，第一数据采集芯片100具体是用于对摄像头模组500/501/502/503形成的视频数据进行采集和处理的处理核心。

其中，时钟源110是第一数据采集芯片100上的时钟源110，也是整个数据采集装置中采用的用于实现时钟同步的时钟源110。可以理解地，数据采集装置采用同一时钟源110，利用同一时钟源110生成的时钟信号进行时钟同步处理，可为采集高精度时钟同步的汽车驾驶数据提供技术保障。

作为一个示例，第一数据采集芯片100可以采用可编程片上系统，该可编程片上系统是一个片上系统(System-on-a-chip，以下简称为SoC)，即可由单个芯片完成整个系统的主要逻辑功能。SoC是在单个芯片上集成一个完整的系统，对所有或部分必要的电子电路进行包分组的芯片系统，具有开发难度低且价格低廉的优点。所谓完整的系统一般包括中央处理器(Central Processing Unit，以下简称为CPU)、存储器以及外围电路等，CPU是第一数据采集芯片100上的运算和控制核心，是进行数据处理和程序运行的最终执行单元。SoC上设有时钟源110，时钟源110可与CPU相连，用于生成时钟信号并发送给CPU。而且，可编程片上系统是可编程系统，具有灵活的设计方式，可裁减、可扩充、可升级，并具备软硬件在系统可编程的功能。本实施例中，采用可编程片上系统进行数据采集和处理，可在满足车辆驾驶过程中采集的汽车驾驶数据的数据传输和处理带宽的前提下，可有效降低数据采集装置的硬件成本。

其中，视频同步采集芯片200是数据采集装置中用于实现视频数据采集和视频数据时钟同步处理的处理核心。如图1所示，视频同步采集芯片200连接摄像头模组500/501/502/503和第一数据采集芯片100，具体用于接收摄像头模组500/501/502/503形成的视频数据，对接收到的视频数据进行视频帧时钟同步处理，并将时钟同步处理后的视频数据发送给第一数据采集芯片100，以使第一数据采集芯片100可采集到高精度时钟同步的视频数据，以便利用该高精度时钟同步的视频数据训练自动驾驶模型，提高自动驾驶模型感知驾驶环境的准确性；或者利用该高精度时钟同步的视频数据进行驾驶控制，可有效提高自动驾驶的控制精确率。

其中，视频采集模块210是设置在视频同步采集芯片200上的与摄像头模组500/501/502/503相连的用于采集视频数据的功能模块。本实施例中，在视频同步采集芯片200上设有用于传输视频数据的视频传输接口，视频采集模块210与用于传输视频数据的视频传输接口相连，以使视频采集模块210可接收摄像头模组500/501/502/503通过视频传输接口输入的视频数据。作为一个示例，视频同步采集芯片200上设有至少一个视频传输接口，以使视频同步采集芯片200可同时接收设置在车辆不同位置的至少一个摄像头模组500/501/502/503通过相应的视频传输接口传输的视频数据。作为一个示例，视频传输接口可以为GMSL物理接口。

其中，视频同步处理模块220是设置在视频同步采集芯片200上的可对视频数据进行视频帧时钟同步处理的功能模块。视频同步处理模块220与第一数据采集芯片100上的时钟源110相连，使得视频同步处理模块220可接收第一数据采集芯片100上的时钟源110生成的时钟信号，利用接收到的时钟信号对视频采集模块210采集到的视频数据进行视频帧时钟同步处理，以获取时钟同步处理后的携带同一时钟信号对应的时间戳信息的视频数据，并将携带同一时钟信号对应的时间戳信息的的视频数据发送给第一数据采集芯片100，使得第一数据采集芯片100可获取高精度时钟同步的视频数据。作为一个示例，视频同步处理模块220可通过视频同步采集芯片200的I/O接口或者其他接口，接收第一数据采集芯片100发送的时钟信号，如通过I/O接口接收第一数据采集芯片100上的CPU发送的时钟信号，此时，时钟源110通过CPU与视频同步处理模块220相连。

作为一个示例，视频同步采集芯片200可以采用FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)芯片。FPGA芯片属于专用集成电路中的一种半定制电路，是可编程的逻辑列阵，能够有效的解决原有的器件门电路数较少的问题。FPGA的基本结构包括可编程输入输出单元、可配置逻辑块、数字时钟管理模块、嵌入式块RAM、布线资源、内嵌专用硬核和底层内嵌功能单元。FPGA芯片具有布线资源丰富、可重复编程、集成度高和成本较低的优点，使得采用FPGA芯片可配置多个视频传输接口，以同时采集多个摄像头模组500/501/502/503的视频数据，可利用FPGA芯片实现视频数据采集的扩展性。

作为一个示例，图1所示的数据采集系统中，设置4个摄像头模组500/501/502/503，这4个摄像头模组500/501/502/503装配在车辆的不同位置，以采集相应拍摄范围内的视频数据；这4个摄像头模组500/501/502/503与视频采集模块210相连，分别将各自拍摄形成的视频数据发送给视频采集模块210，以使视频采集模块210将采集到的4路视频数据发送给视频同步处理模块220。视频同步处理模块220接收到4路视频数据，基于第一数据采集芯片100上的时钟源110所形成的时钟信号，对4路视频数据进行视频帧时钟同步处理，具体是对视频数据上的每一帧视频帧进行时间标注，以使每一帧视频帧均携带同一时钟信号对应的时间戳信息，以使携带同一时钟源110的时间戳信息的视频帧时钟同步。其中，视频帧是用于形成视频数据的图像，每一视频数据包括依据时间顺序排序的多帧视频帧。

作为一个示例，图1所示的数据采集系统采集视频数据的过程包括如下步骤：第一数据采集芯片100上的时钟源110在T0时刻生成时钟信号，并将时钟信号发送给CPU。CPU基于接收到的时钟信号，生成用于控制摄像头模组500/501/502/503拍摄视频数据的视频采集指令，并将该视频采集指令发送给视频同步采集芯片200上的视频同步处理模块220，该视频采集指令携带时钟信号，这一时钟信号对应T0时刻的时间戳信息。视频同步处理模块220将接收到的携带时钟信号的视频采集指令发送给视频采集模块210。视频采集模块210将接收到的视频采集指令发送给摄像头模组500/501/502/503，以控制摄像头模组500/501/502/503拍摄视频数据。视频采集模块210通过视频传输接口接收摄像头模组500/501/502/503传输的视频数据，并将该视频数据发送给视频同步处理模块220。视频同步处理模块220接收视频数据后，对该视频数据进行视频帧时钟同步处理，以使视频数据中的每一帧视频帧均携带T0时刻的时间戳信息，从而使得时钟同步处理后的视频数据中的每一视频帧携带同一时钟源110的时间戳信息，而且可达到视频帧同步的效果，使得采集到的视频数据高精度时钟同步。例如，视频同步处理模块220接收到的视频数据包括100帧视频帧，在进行视频帧时钟同步处理时，可使每一帧视频帧对应的帧数据头部携带T0时刻对应的时间戳信息。视频同步处理模块220将时钟同步处理后的视频数据发送给第一数据采集芯片100，以使第一数据采集芯片100可获取携带同一时钟源110对应的时间戳信息的视频数据，以达到采集高精度时钟同步的视频数据的目的。

本实施例中，视频同步采集芯片200基于第一数据采集芯片100上的时钟源110生成的时钟信号，对所采集到的视频数据进行视频帧时钟同步处理，并将时钟同步处理后的视频数据发送给第一数据采集芯片100，使得第一数据采集芯片100采集到的视频数据与视频同步采集芯片200输出的视频数据基于同一时钟源110进行时钟同步，可使视频数据上的所有视频帧均携带同一时钟源110对应的时间戳信息，以达到采集高精度时钟同步的视频数据的目的。

作为一个示例，图1和图4所示的数据采集系统中，设置4个摄像头模组500/501/502/503，相应地，其视频采集模块210上相应设有4个第一串行解串器211/212/213/214。其中，摄像头模组500包括图像传感器510、与图像传感器510相连的图像信号处理器520和与图像信号处理器520相连的第二串行解串器530，第二串行解串器530与第一串行解串器211相连。摄像头模组501包括图像传感器511、与图像传感器511相连的图像信号处理器521和与图像信号处理器521相连的第二串行解串器531，第二串行解串器531与第一串行解串器212相连。摄像头模组502包括图像传感器512、与图像传感器512相连的图像信号处理器522和与图像信号处理器522相连的第二串行解串器532，第二串行解串器532与第一串行解串器213相连。摄像头模组503包括图像传感器513、与图像传感器513相连的图像信号处理器523和与图像信号处理器523相连的第二串行解串器533，第二串行解串器533与第一串行解串器214相连。

第一串行解串器211/212/213/214是设置在视频同步采集芯片200上的串行解串器(Serializer/Deserializer)，是可实现高速数据通信的接口电路，具体是设置在视频同步采集芯片200上的用于实现并行通信和串行通信相互转换的收发集成电路(IC)。第一串行解串器211/212/213/214是视频采集模块210的一部分，其与视频同步采集芯片200上的视频传输接口相连，可进行数据串化处理和解串处理。作为一个示例，视频同步采集芯片200与至少一个摄像头模组500/501/502/503相连，则视频同步采集芯片200上的视频采集模块210设有与摄像头模组500/501/502/503的数量相匹配的第一串行解串器211/212/213/214，每一第一串行解串器211/212/213/214分别通过一视频传输接口与一摄像头模组500/501/502/503上的第二串行解串器530/531/532/533相连。

图像传感器510/511/512/513(Image Sensor)是利用光电器件的光电转换功能的传感器，用于将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器510/511/512/513是组成数据摄像头的重要组成部分，包括但不限于CCD和CMOS等。

图像信号处理器520/521/522/523(Image Signal Processing，简称为ISP)是用于对前端图像传感器510/511/512/513输出的图像信号进行处理的处理器，可实现通过硬件对图像传感器510/511/512/513输出的图像信号进行高速处理。

第二串行解串器530/531/532/533设置在摄像头模组500/501/502/503上的串行解串器(Serializer/Deserializer)，是可实现高速数据通信的接口电路，具体是设置在摄像头模组500/501/502/503上的用于实现并行通信和串行通信相互转换的收发集成电路(IC)。可以理解地，每一摄像头模组500/501/502/503上设有一个第二串行解串器530/531/532/533，可进行数据串化处理和解串处理。

作为一个示例，视频同步采集芯片200上的视频同步处理模块220为视频桥接器，该视频桥接器可以为CrossLink器件221。CrossLink器件221将现场可编程门阵列(FPGA)的灵活性与ASSP优化的功耗和功能优势相结合，可支持高达4K UHD的分辨率和12Gbps带宽，提供适用于移动应用的6mm2封装，实现低功耗工作。本实施例中，CrossLink器件221可通过MIPI(Mobile Industry Processor Interface的缩写，移动行业处理器接口)实现与第一串行解串器211/212/213/214和第一数据采集芯片100相连，以通过MIPI实现视频数据传输。

请参阅图1和图4，4个摄像头模组500/501/502/503与第一数据采集芯片100通过视频同步采集芯片200相连；相应地，视频同步采集芯片200上设有与CrossLink器件221相连的4个第一串行解串器211/212/213/214，每个第一串行解串器211/212/213/214与一个摄像头模组500/501/502/503上的第二串行解串器530/531/532/533通过MIPI相连；CrossLink器件221通过4个MIPI接口与第一数据采集芯片100相连，以通过4个视频传输通道向第一数据采集芯片100传输采集到的视频数据。

请参阅图4，数据采集系统采集视频数据的过程包括如下步骤：第一数据采集芯片100上的时钟源110在T0时刻生成时钟信号，将该时钟信号发送给CrossLink器件221。CrossLink器件221根据接收到的时钟信号触发形成与该时钟信号相对应的视频采集指令，将视频采集指令传递给与CrossLink器件221相连的4个第一串行解串器211/212/213/214，每个第一串行解串器211/212/213/214将该视频采集指令依次传递给与其相连的第二串行解串器530/531/532/533和图像信号处理器520/521/522/523；图像信号处理器520/521/522/523将接收到的视频采集指令发送给各自的图像传感器510/511/512/513的触发引脚，触发相机曝光，以使图像传感器510/511/512/513拍摄相应的视频数据；图像传感器510/511/512/513将采集到的视频数据依次通过图像信号处理器520/521/522/523、第二串行解串器530/531/532/533和第一串行解串器211/212/213/214发送给CrossLink器件221；CrossLink器件221接收4个第一串行解串器211/212/213/214通过MIPI传输的视频数据，对接收到的4路视频数据进行视频帧时钟同步处理，以使每一视频数据中所有视频帧均携带T0时刻的时间戳信息，以达到采集高精度时钟同步的视频数据的目的。

上述示例中，CrossLink器件221接收到4个视频数据，每一视频数据包括多帧视频帧，例如，每一视频数据包括N帧视频帧。CrossLink器件221在对每一视频数据进行视频帧时钟同步处理时，采用第一数据采集芯片100上的时钟源110生产的时钟信号对应的时间戳信息，对每一帧视频帧对应的帧数据进行数据重写，以使每一视频帧对应的帧数据携带同一时钟源110对应的时间戳信息，从而保障4个摄像头模组500/501/502/503输出的所有视频数据达到视频帧级同步，以达到采集高精度时钟同步的视频数据的目的。

请参阅图2和图3，数据采集装置还包括第二数据采集芯片300，第二数据采集芯片300包括与视频同步处理模块220和第一数据采集芯片100相连的第二视频处理模块310，第二视频处理模块310用于对视频同步处理模块220发送的视频数据进行视频编码处理，将视频编码处理后的视频数据发送给第一数据采集芯片100。

如图2和图3所示，第一数据采集芯片100上设有若干个视频传输接口，可同时接收相应数量的视频数据；视频同步采集芯片200可与多个摄像头模组500/……/507相连，用于对多个摄像头模组500/……/507拍摄的视频数据进行视频帧时钟同步处理，以使所有视频数据实现视频帧级同步，可满足自动驾驶绝大多数对环境感知的应用场景。一般来说，第一数据采集芯片100上的视频传输接口数量有限，采用与视频同步采集芯片200和第一数据采集芯片100相连的第二数据采集芯片300，可实现对第一数据采集芯片100的视频传输接口接收扩展的功能。

其中，第二数据采集芯片300是数据采集装置中用于采集视频数据并传输视频数据的处理核心。第二数据采集芯片300上设有与视频同步处理模块220相连的若干个视频传输接口，用于接收若干个视频传输数据，并对所接收到的若干个视频数据进行视频编码处理，以使视频编码处理后的视频数据可通过除视频传输接口以外的接口或者网口传输给第一数据采集芯片100，从而使得第一数据采集芯片100可接收视频传输接口以外的接口或网口传输的视频数据，以达到对第一数据采集芯片100上的视频传输接口进行扩展的目的。例如，第二数据采集芯片300可采用千兆网口将视频编码处理后的视频数据发送给第一数据采集芯片100，其数据传输过程基于Socket协议。

作为一个示例，第二数据采集芯片300也可以采用可编程片上系统，具有SoC开发难度低且价格低廉的优点。

其中，第二视频处理模块310是设置在第二数据采集芯片300上的用于对采集到的视频数据进行视频编码处理的功能模块。作为一个示例，在第二数据采集芯片300为可编程片上系统时，该第二视频处理模块310可以理解为与可编程片上系统的CPU相连用于实现视频编码处理的外围电路。在视频同步处理模块220为CrossLink器件221时，第二视频处理模块310与CrossLink器件221通过MIPI相连，以接收CrossLink器件221传输的经过视频帧时钟同步处理后的视频数据，并对接收到的视频数据进行视频编码处理，从而有效降低视频数据的数据量，以便后续进行数据传输和存储，降低数据传输过程所需的处理带宽和数据存储所需的存储空间。可以理解地，第二视频处理模块310在对视频数据进行视频编码处理之后，可将视频编码处理后的视频数据发送给第一数据采集芯片100，以达到对第一数据采集芯片100上的视频传输接口进行扩展的目的。

请参阅图2-图4，在第一数据采集芯片100和第二数据采集芯片300均为可编程片上系统时，芯片上设有6个视频传输接口，在综合考虑冗余和使用场景的情况下，只采用4个视频传输接口与视频同步采集芯片200相连。作为一示例，若需同时采集8路视频数据，则视频同步采集芯片200需与8个摄像头模组500/……/507相连，其进行视频数据采集过程包括如下步骤：第一数据采集芯片100上的时钟源110在T0时钟形成的时钟信号，并发送给视频同步采集芯片200上的视频同步处理模块220；视频同步处理模块220基于该时钟信号对所采集到的8个视频数据进行视频帧时钟同步处理，使得8个视频数据中所有视频帧对应的帧数据上均携带T0时刻对应的时间戳信息；然后，视频同步处理模块220可将摄像头模组500/501/502/503采集形成的4个携带时间戳信息的视频数据通过视频传输接口发送给第一数据采集芯片100，并将摄像头模组504/505/506/507采集形成的4个携带时间戳信息的视频数据通过视频传输接口发送给第二数据采集芯片300。第二数据采集芯片300对接收到的4个视频数据进行视频编码处理，并将视频编码处理后的4个视频数据通过除视频传输接口以外的千兆网口或者其他网口发送给第一数据采集芯片100，以使第一数据采集芯片100可接收到视频同步采集芯片200通过视频传输接口传输的4个视频数据和第二数据采集芯片300通过除视频传输接口以外传输的4个视频数据，以达到对第一数据采集芯片100进行物理接口和处理能力的扩展，解决单一嵌入式系统特别是量产板卡或量产主机在物理接口数量不足和处理能力不足的并行工作的问题。

作为一个示例，数据采集装置可设有一个用于连接视频同步采集芯片200和第一数据采集芯片100的第二数据采集芯片300，也可以设置至少两个用于连接视频同步采集芯片200和第一数据采集芯片100的第二数据采集芯片300，实现一个第一数据采集芯片100与至少一个第二数据采集芯片300对多个视频数据进行并行处理，实现视频数据的分散接收和集中处理，方便后续数据运用。可以理解地，由于视频同步采集芯片200基于第一数据采集芯片100上的时钟源110对所有视频数据进行视频帧时钟同步处理，以使得其输出至第一数据采集芯片100和第二数据采集芯片300上的视频数据携带同一时钟源110的时间戳信息且可达到视频帧级时钟同步，可满足自动驾驶绝大多数情况下对环境感知的应用场景。

请参阅图1-图3，第一数据采集芯片100上还设有第一视频处理模块120和视频数据打包模块130，第一视频处理模块120与视频同步处理模块220相连，用于对视频同步处理模块220发送的视频数据进行视频编码处理；视频数据打包模块130与第一视频处理模块120和第二视频处理模块310相连，用于对视频编码处理后的视频数据进行打包处理。

其中，第一视频处理模块120是设置在第一数据采集芯片100上的用于对采集到的视频数据进行视频编码处理的功能模块。作为一个示例，在第一数据采集芯片100为可编程片上系统时，该第一视频处理模块120可以理解为与可编程片上系统的CPU相连用于实现视频编码处理的外围电路。在视频同步处理模块220为CrossLink器件221时，第一视频处理模块120与CrossLink器件221通过MIPI相连，以接收CrossLink器件221传输的经过视频帧时钟同步处理后的视频数据，并对接收到的视频数据进行视频编码处理，从而有效降低视频数据的数据量，以便后续进行数据传输和存储，降低数据传输过程所需的处理带宽和数据存储所需的存储空间。

其中，视频数据打包模块130是设置在第一数据采集芯片100上的用于对视频编码处理后的视频数据进行打包封装处理，以形成可便于传输和存储的数据包的功能模块。如图1所示，在数据采集装置只设有第一数据采集芯片100时，视频数据打包模块130与第一视频处理模块120相连，用于对第一视频处理模块120进行视频编码处理后输出的视频数据进行打包封装处理，以形成相应的数据包，以便基于数据包进行数据传输。如图2和图3所示，在数据采集装置包括第一数据采集芯片100和至少一个第二数据采集芯片300时，视频数据打包模块130与第一视频处理模块120和至少一个第二视频处理模块310相连，用于对第一视频处理模块120和至少一个第二视频处理模块310进行视频编码处理后输出的视频数据进行打包封装处理，以形成相应的数据包，以便基于数据包进行数据传输。

请参阅图1-图3，第一视频处理模块120包括用于接收视频数据的第一视频接收单元121和与第一视频接收单元121相连的用于进行视频编码的第一视频编码处理单元122，第一视频接收单元121与视频同步处理模块220相连，第一视频编码处理单元122与视频数据打包模块130相连。

相应地，如图2和图3所示，第二视频处理模块310包括用于接收视频数据的第二视频接收单元311和与第二视频接收单元311相连的用于进行视频编码的第二视频编码处理单元312，第二视频接收单元311与视频同步处理模块220相连，第二视频编码处理单元312与视频数据打包模块130相连。

其中，第一视频接收单元121是设置在第一数据采集芯片100上的与视频同步处理模块220相连的用于接收视频数据的处理单元。第二视频接收单元311是设置在第二数据采集芯片300上的与视频同步处理模块220相连的用于接收视频数据的处理单元。作为一示例，第一视频接收单元121和第二视频接收单元311均可以为CSI接收器，该CSI接收器上设有与视频同步采集芯片200通信的相机串行接口(CMOS Sensor Interface，简称为CSI接口)，通过CSI接口接收视频同步采集芯片200发送的视频数据，并对视频数据进行解析，以获取视频数据中的视频帧，从而方便后续对视频帧进行编码处理。如图1-图3对应的示例中，在第一数据采集芯片100和第二数据采集芯片300为可编程片上系统时，可编程片上系统上设有6个用于接收视频数据的CSI接口，以接收视频数据。

其中，第一视频编码处理单元122是设置在第一数据采集芯片100上的采用特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的处理单元。第二视频编码处理单元312是设置在第二数据采集芯片300上的采用特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的处理单元。本实施例中，第一视频编码处理单元122和第二视频编码处理单元312均可以采用X264编码方式进行视频数据压缩，可有效降低视频数据的数据量，以便于后续进行视频数据传输和存储。

作为一个示例，以下以第一视频处理模块120为例进行说明：若数据采集装置基于Linux V4L2框架进行视频数据采集，则第一视频接收单元121接收到的视频数据中的视频帧的格式为YUV422，分辨率为1920*1080；而第一视频编码处理单元122是用于对输出的视频数据进行X264编码，以获取视频编码后的视频数据，一般来说，X264编码的输入数据的格式为I420，因此，为保障第一视频编码处理单元122的功能实现，需在第一视频接收单元121与第一视频编码处理单元122之间配置第一格式转换单元123，以将第一视频接收单元121接收到的视频数据转换成进行可进行X264编码处理对应的格式的视频数据。同理，第二视频处理模块310的处理过程与第一视频处理模块120的处理过程相同，为避免重复，此处不一一赘述。

请参阅图1-图3，第一视频处理模块120还包括设置在第一视频接收单元121与第一视频编码处理单元122之间的第一格式转换单元123，用于对第一视频接收单元121输出的视频数据进行格式转换。

相应地，第二视频处理模块310还包括设置在第二视频接收单元311与第二视频编码处理单元312之间的第二格式转换单元313，用于对第二视频接收单元311输出的视频数据进行格式转换。

其中，第一格式转换单元123是设置在第一数据采集芯片100上的用于实现视频数据格式转换的处理单元。第二格式转换单元313是设置在第二数据采集芯片300上的用于实现视频数据格式转换的处理单元。作为一个示例，在第一视频接收单元121输出的视频数据的格式为YUV422格式，而第一视频编码处理单元122所需输入的视频数据的格式为I420时，第一格式转换单元123是用于实现YUV422格式与I420格式转换的处理单元。

作为一个示例，该第一格式转换单元123可以是第一数据采集芯片100上的CPU，即CPU上设有可实现格式转换的转换程序，第一视频接收单元121将接收到的视频数据发送给CPU，以使CPU执行转换程序对接收到的视频数据进行格式转换，以获取可进行X264编码的I420格式的视频数据，再将I420格式的视频数据发送给第一视频编码处理单元122，以使第一视频编码处理单元122进行视频编码处理，保障视频编码处理的可行性。

作为一个示例，该第一格式转换单元123还可以是第一数据采集芯片100上独立设置的外围电路，具体可以为VIC转换电路。在进行YUV422格式与I420格式转换对应的示例中，VIC转换电路与第一视频接收单元121和第一视频编码处理单元122相连，可将第一视频接收单元121采集的视频数据进行YUV422格式与I420格式转换处理，以将转换后的I420格式的视频数据发送给第一视频编码处理单元122，以使第一视频编码处理单元122进行视频编码处理，保障视频编码处理的可行性。可以理解地，相比于采用CPU进行格式转换处理过程存在的占用大量CPU时间片且转换过程耗时长的问题，采用VIC转换电路进行格式转换可以有效降低处理时延，提高格式转换效率。

可以理解地，第二格式转换单元313进行格式转换的过程与第一格式转换单元123进行格式转换的过程相同，为避免重复，此处不一一赘述。

请参阅图1-图3，第一格式转换单元123包括用于缓存视频数据的第一VIC缓存器1231和与第一VIC缓存器1231相连的用于进行格式转换的第一VIC处理器1232。

相应地，如图2和图3所示，第二格式转换单元313包括用于缓存视频数据的第二VIC缓存器3131和与第二VIC缓存器3131相连的用于进行格式转换的第二VIC处理器3132。

其中，第一VIC缓存器1231是第一数据采集芯片100上的VIC转换电路中用于缓存数据的器件，该第一VIC缓存器1231是与第一视频接收单元121相连的用于缓存视频数据的缓存。第一VIC处理器1232是第一数据采集芯片100上设置的用于实现格式转换的处理器。相应地，第二VIC缓存器3131是第二数据采集芯片300上的VIC转换电路中用于缓存数据的器件，该第二VIC缓存器3131是与第二视频接收单元311相连的用于缓存视频数据的缓存。第二VIC处理器3132是第二数据采集芯片300上设置的用于实现格式转换的处理器。

作为一示例，以第一格式转换单元123的功能实现为例进行说明：第一视频接收单元121将接收到的视频数据解析存储到第一VIC缓存器1231中，并将视频数据中DMA描述符传递给第一VIC处理器1232，以使第一VIC处理器1232直接进行格式转换处理。其中，DMA描述符数组(DMA Descriptor Array/Ring/Chain)是一个形如unsigned long*hw_desc[DESC_NUM]的指针数组，每个指针(hw_desc[i])指向一个描述符，这个描述符是由硬件定义的，其数据结构一般由datasheet或sdk定义。可以理解地，采用DMA描述符指示第一VIC处理器1232进行格式转换，可实现零拷贝处理，即直接存储第一视频接收单元121解析出的视频数据的缓存作为第一VIC处理器1232的第一VIC缓存器1231，基于DMA描述符进行后续的格式转换处理，无需将第一视频接收单元121采集到的视频数据拷贝到第一VIC处理器1232对应的第一VIC缓存器1231中，有助于提高格式转换的转换效率。

可以理解地，第二格式转换单元313的处理过程与第一格式转换单元123的处理过程相同，为避免重复，此处不一一赘述。

请参阅图1-图3，视频数据打包模块130包括用于对视频数据进行编码转换的视频编码转换单元131和与视频编码转换单元131相连的用于对视频数据进行打包封装处理的视频封装处理单元132，视频编码转换单元131与第一视频处理模块120和第二视频处理模块310相连。

其中，视频编码转换单元131是设置在第一数据采集芯片100上的用于对视频数据进行编码转换的处理单元。作为一个示例，由于视频数据打包模块130与第一视频处理模块120和第二视频处理模块310相连，可接收第一视频处理模块120和第二视频处理模块310进行视频编码后的视频数据，若第一视频处理模块120和第二视频处理模块310是对I420格式的视频数据进行X264编码，则其输入到视频数据打包模块130的视频数据中的视频帧为I420格式，而在后续视频数据存储和显示过程中所需的视频帧的格式为H264格式或者JPG格式，因此，需将I420格式转换成H264格式或者JPG格式，而视频编码转换单元131是用于实现这一格式转换的处理单元，则视频编码转换单元131可与第一视频处理模块120和第二视频处理模块310相连，以实现对第一视频处理模块120和第二视频处理模块310输出的视频数据进行格式转换。视频编码转换单元131具体与第一视频处理模块120上的第一视频编码处理单元122相连，以及与第二视频处理模块310上的第二视频编码处理单元312相连，以接收第一视频编码处理单元122和第二视频编码处理单元312输入的视频编码后的视频数据。

其中，视频封装处理单元132是设置在第一数据采集芯片100上的用于对视频编码转换单元131输出的视频数据进行打包封装处理的处理单元。具体地，视频封装处理单元132可实现接收视频编码转换单元131输出的视频数据，并按预设的封装时长对相应的视频帧进行打包封装，以形成相应的数据包。该封装时长是系统预先设置的用于进行打包封装的时长，可由用户通过上位机800自主设置。例如，若封装时长为5ms，某一视频数据包括100帧视频流，每5ms对应10帧视频流，则采用视频封装处理单元132可依次形成10个数据包。

作为一个示例，视频封装处理单元132可对视频编码转换单元131输出的视频数据进行PS封装，以形成PS数据包，以便基于该PS数据包进行视频数据存储。例如，将视频数据以PS数据包的形式发送给数据存储设备700，以使数据存储设备700进行视频数据存储。

作为一个示例，视频封装处理单元132可对视频编码转换单元131输出的视频数据进行RTP封装，以形成RTP数据包，以便基于该RTP数据包进行视频数据网络实时预览。例如，将视频数据以RTP数据包形式通过网络发送给上位机800，以使上位机800可实时预览RTP数据包对应的视频数据。

作为另一个示例，视频封装处理单元132可对视频编码转换单元131输出的视频数据同时进行PS封装和RTP封装，以形成PS数据包和RTP数据包，从而实现对视频数据进行存储和实时预览。

请参阅图2和图3，本专利申请提供一种数据采集系统，数据采集系统不仅包括与数据采集装置相连的用于采集视频数据的摄像头模组500/……/507，还包括与数据采集装置相连的用于采集传感器数据的传感器模组600、与数据采集装置相连的上位机800和数据存储设备700。

其中，传感器数据是车辆驾驶过程中通过传感器模组600实时采集到的数据，是用于汽车驾驶数据中的一种。可利用传感器数据训练可感知驾驶环境以进行驾驶控制的自动驾驶模型，或者将传感器数据实时输入已训练好的自动驾驶模型，实现感知驾驶环境，以实现自动驾驶操作。

其中，传感器模组600包括但不限于用于采集激光雷达数据的激光雷达设备610、用于采集毫米波雷达数据的毫米波雷达设备620、用于采用超声波雷达数据的超声波雷达设备630、用于采集GPS定位数据的GPS定位设备640、用于采集车辆姿态数据的惯性测量单元650(Inertial Measurement Unit，简称为IMU)和用于采集车身状态数据的车身状态采集器660。其中，车辆姿态数据是采用陀螺仪、加速剂和算法处理单元组成IMU，对车辆驾驶过程中的加速度和旋转角度的测量所得的数据。相应地，数据采集系统所采集到的传感器数据包括但不限于激光雷达数据、毫米波雷达数据、超声波雷达数据、GPS定位数据、车辆姿态数据和车身状态数据。

请参阅图2和图3，第一数据采集芯片100上还设有与时钟源110相连的传感器数据同步模块140和与传感器数据同步模块140相连的传感器数据打包模块150，传感器数据同步模块140用于基于时钟源110生成的时钟信号对接收到的传感器数据进行时钟同步处理，传感器数据打包模块150用于对传感器数据进行打包封装处理。

其中，传感器数据同步模块140是与至少一个传感器模组600相连的用于接收至少一个传感器模组600发送的传感器数据并进行时钟同步处理的功能模块。本实施例中，传感器数据同步模块140可对接收到的激光雷达数据、毫米波雷达数据、超声波雷达数据、GPS定位数据、车辆姿态数据和车身状态数据等传感器数据进行时钟同步处理，以使所有传感器数据携带同一时钟源110对应的时间戳信息，以实现采集高精度时钟同步的视频数据的目的。

作为一个示例，传感器数据同步模块140在接收到传感器模组600传输的传感器数据之后，利用第一数据采集芯片100上的时钟源110形成的时钟信号，对接收到的每一传感器数据进行时间标注，如在传感器数据的数据头部写入与该时钟信号对应的时间戳信息，以使不同传感器模组600携带同一时钟源110对应的时间戳信息，以实现采集高精度时钟同步的传感器数据的目的。

其中，传感器数据打包模块150是设置在第一数据采集芯片100的用于对经过时钟同步处理的传感器数据进行打包封装处理，以形成便于传输和存储的数据包的功能模块。具体地，传感器数据打包模块150可按预设的封装时长对经过时钟同步处理的传感器数据进行打包封装处理，例如，若封装时长为5ms，则传感器数据打包模块150可将时间戳信息在5ms内的所有传感器数据打包封装，以形成相应的数据包。参阅图1-图3，数据采集系统包括与数据采集装置相连的数据存储设备700和上位机800，传感器数据打包模块150在对采集到的传感器数据打包封装，形成相应的数据包之后，可将这些数据包存储到数据存储设备700或者将这些数据包发送给上位机800。

作为一个示例，如图2和图3所示，在数据采集装置既与摄像头模组500/……/507相连，又与传感器模组600相连时，使得数据采集装置可同时接收视频数据和传感器数据。由于数据采集装置的第一数据采集芯片100上设有可生成时钟信号的时钟源110，通过视频同步采集芯片200基于时钟源110形成的时钟信号，对视频数据进行视频帧时钟同步处理，以使视频数据基于第一数据采集芯片100上的时钟源110实现高精度时钟同步；相应地，传感器数据同步模块140可基于第一数据采集芯片100上的时钟源110形成的时钟信号对传感器数据进行时钟同步，以使传感器数据基于第一数据采集芯片100上的时钟源110实现高精度时钟同步；因此，可基于同一时钟源110实现视频数据和传感器数据的时钟同步，以达到采集高精度时钟同步的汽车驾驶数据的目的。

请参阅图2和图3，传感器模组600可直接与数据采集装置中的传感器数据同步模块140相连，用于将所形成的传感器数据发送给传感器数据同步模块140，以使传感器数据同步模块140对所接收到的传感器数据进行时钟同步处理。作为一个示例，该数据采集系统包括与传感器数据同步模块140直接相连的2个激光雷达设备610、1个GPS定位设备640和1个惯性测量单元650，即激光雷达设备610通过以太网口将激光雷达数据传输给传感器数据同步模块140，GPS定位设备640将GPS定位数据通过112500bps波特率的UART接口传输给传感器数据同步模块140，惯性测量单元650将车辆姿态数据通过112500bps波特率的UART接口传输给传感器数据同步模块140。

请参阅图2和图3，数据采集装置还包括与传感器数据同步模块140相连的CAN数据采集器400，用于通过CAN总线采集传感器数据，并将传感器数据发送给传感器数据同步模块140。

请参阅图2和图3，CAN数据采集器400与传感器模组600和传感器数据同步模块140相连，用于采集传感器模组600形成的传感器数据，并将采集到的传感器数据发送给传感器数据同步模块140，以使传感器数据同步模块140对所接收到的传感器数据进行时钟同步处理。作为一个示例，CAN数据采集器400具体可以为一MCU(Micro Controller Unit，微控制单元)或者其他可实现数据整合的处理器；数据采集系统包括但不限于6个毫米波雷达设备620、12个超声波雷达设备630、2个车身状态采集器660。此时，毫米波雷达设备620、超声波雷达设备630、车身状态采集器660等传感器模组600可通过500Kbps波特率的独立CAN总线与MCU连接，用于向MCU传输发送所形成的传感器数据，MCU对接收到的所有传感器数据整合，并将整合后的所有传感器数据通过2路SPI接口或者其他物理接口传输到传感器数据同步模块140，以使传感器数据同步模块140对所接收到的传感器数据进行时钟同步处理。

可以理解地，采用CAN数据采集器400连接多个传感器模组600，以实现对多个传感器模组600形成的传感器数据进行整合，并将整合后传感器数据一并发送给传感器数据同步模块140，以使CAN数据采集器400与第一数据采集芯片100并行采集传感器数据，提高传感器数据采集效率。进一步地，CAN数据采集器400在对接收到的所有传感器数据进行整合过程中，可采用预设时间窗口对所有传感器数据进行封装对应。该预设时间窗口是预先通过上位机800设置的用于进行时间对齐的时长，如5ms，即CAN数据采集器400对接收到的5ms内的传感器数据进行打包封装，并通过SPI接口或者其他物理接口传输到传感器数据同步模块140，以保障所采集到的传感器数据的时钟同步性。

请参阅图1-图3，数据采集装置上还设有用于实现数据传输控制的数据传输控制模块160，该数据传输控制模块160设置在第一数据采集芯片100上，即第一数据采集芯片100上还设有与传感器数据打包模块150相连的数据传输控制模块160。

数据传输控制模块160是设置在第一数据采集芯片100上的用于实现数据传输控制的功能模块。数据传输控制模块160与视频数据打包模块130相连，用于接收视频数据打包模块130发送的经过打包封装的视频数据。数据传输控制模块160与传感器数据打包模块150相连，用于接收传感器数据打包模块150发送的经过打包封装的传感器数据。数据传输控制模块160与上位机800相连，用于将接收到的视频数据和传感器数据发送给上位机800。数据传输控制模块160与数据存储设备700相连，用于将接收到的视频数据和传感器数据发送给数据存储设备700。

作为一个示例，在自动驾驶控制过程中，上位机800上可设有已经训练好的自动驾驶模型，则数据传输控制模块160将采集到的视频数据和传感器数据实时传输给自动驾驶模型，以使自动驾驶模型基于实时导入的视频数据和传感器数据实现环境感知，从而实现自动驾驶操作。此时，数据传输控制模块160可基于SCTP协议将采集到的视频数据和传感器数据传输给上位机800。

作为一个示例，在自动驾驶模型训练过程中，数据传输控制模块160可将采集到的视频数据和传感器数据存储到数据存储设备700上，以便后续进行自动驾驶模型离线训练或者仿真测试。

进一步地，数据传输控制模块160可依据预设的数据存储周期，将采集到的视频数据和传感器数据存储到数据存储设备700。即数据传输控制模块160进行数据存储过程中，基于数据存储周期进行数据存储，将数据存储周期内的所有视频数据和传感器数据存储到数据存储设备700中。可以理解地，数据传输控制模块160可将接收到视频数据和传感器数据存储在DSP的内部缓存中，每次将数据存储周期内的视频数据和传感器数据对应的数据包传输给数据存储设备700后，相应删除这一数据存储周期内的视频数据和传感器数据对应的数据包，以节省内部缓存的存储空间。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据采集装置，其特征在于，包括：第一数据采集芯片和与所述第一数据采集芯片相连的视频同步采集芯片；所述第一数据采集芯片包括用于生成时钟信号的时钟源；所述视频同步采集芯片包括用于采集视频数据的视频采集模块和与所述视频采集模块相连的视频同步处理模块，所述视频同步处理模块与所述时钟源相连，用于基于所述时钟源生成的时钟信号对所述视频采集模块采集到的视频数据进行视频帧时钟同步处理，将时钟同步处理后的视频数据发送给所述第一数据采集芯片。

2.如权利要求1所述的数据采集装置，其特征在于，所述数据采集装置还包括第二数据采集芯片，所述第二数据采集芯片包括与所述视频同步处理模块和所述第一数据采集芯片相连的第二视频处理模块，所述第二视频处理模块用于对所述视频同步处理模块发送的视频数据进行视频编码处理，将视频编码处理后的视频数据发送给所述第一数据采集芯片。

3.如权利要求2所述的数据采集装置，其特征在于，所述第一数据采集芯片上还设有第一视频处理模块和视频数据打包模块，所述第一视频处理模块与所述视频同步处理模块相连，用于对所述视频同步处理模块发送的视频数据进行视频编码处理；所述视频数据打包模块与所述第一视频处理模块和所述第二视频处理模块相连，用于对视频编码处理后的视频数据进行打包处理。

4.如权利要求3所述的数据采集装置，其特征在于，所述第一视频处理模块包括用于接收视频数据的第一视频接收单元和与所述第一视频接收单元相连的用于进行视频编码的第一视频编码处理单元，所述第一视频接收单元与所述视频同步处理模块相连，所述第一视频编码处理单元与所述视频数据打包模块相连；

所述第二视频处理模块包括用于接收视频数据的第二视频接收单元和与所述第二视频接收单元相连的用于进行视频编码的第二视频编码处理单元，所述第二视频接收单元与所述视频同步处理模块相连，所述第二视频编码处理单元与所述视频数据打包模块相连。

5.如权利要求4所述的数据采集装置，其特征在于，所述第一视频处理模块还包括设置在所述第一视频接收单元与所述第一视频编码处理单元之间的第一格式转换单元，用于对所述第一视频接收单元输出的视频数据进行格式转换；

所述第二视频处理模块还包括设置在所述第二视频接收单元与所述第二视频编码处理单元之间的第二格式转换单元，用于对所述第二视频接收单元输出的视频数据进行格式转换。

6.如权利要求3所述的数据采集装置，其特征在于，所述视频数据打包模块包括用于对视频数据进行编码转换的视频编码转换单元和与所述视频编码转换单元相连的用于对视频数据进行打包封装处理的视频封装处理单元，所述视频编码转换单元与所述第一视频处理模块和所述第二视频处理模块相连。

7.如权利要求1所述的数据采集装置，其特征在于，所述第一数据采集芯片上还设有与时钟源相连的传感器数据同步模块和与所述传感器数据同步模块相连的传感器数据打包模块，所述传感器数据同步模块用于基于所述时钟源生成的时钟信号对接收到的传感器数据进行时钟同步处理，所述传感器数据打包模块用于对传感器数据进行打包封装处理。

8.如权利要求7所述的数据采集装置，其特征在于，所述数据采集装置还包括与所述传感器数据同步模块相连的CAN数据采集器，用于通过CAN总线采集传感器数据，并将所述传感器数据发送给所述传感器数据同步模块。

9.一种数据采集系统，其特征在于，包括权利要求1-8任一项所述数据采集装置、与所述数据采集装置相连的用于采集视频数据的摄像头模组和与所述数据采集装置相连的用于采集传感器数据的传感器模组。

10.如权利要求9所述的数据采集系统，其特征在于，所述数据采集系统还包括与所述数据采集装置相连的用于采集传感器数据的传感器模组，所述传感器模组与传感器数据同步模块相连，或者通过CAN数据采集器与传感器数据同步模块相连。

Images