CN117676264B

CN117676264B - 数据发送装置、数据接收装置及电子设备

Info

Publication number: CN117676264B
Application number: CN202410101541.7A
Authority: CN
Inventors: 金栎
Original assignee: Nanjing Renxin Technology Co ltd
Current assignee: Nanjing Renxin Technology Co ltd
Priority date: 2024-01-24
Filing date: 2024-01-24
Publication date: 2024-04-30
Anticipated expiration: 2044-01-24
Also published as: CN117676264A

Abstract

本发明提供一种数据发送装置、数据接收装置和电子设备。数据发送装置包括：分解单元，对接收到的符合第一接口协议的并行图像数据进行分解，得到第一视频流数据；打包单元，接收第一视频流数据，并将第一视频流数据打包成符合自定义接口协议的第二视频流数据；加串单元，接收第二视频流数据，并将第二视频流数据串行化后进行发送，其中，加串单元支持自定义接口协议。本发明可以节约车载设备的制造成本，同时降低数据传输过程中的延迟。

Description

数据发送装置、数据接收装置及电子设备

技术领域

本发明涉及图像处理技术领域，由其涉及数据发送装置、数据接收装置及电子设备。

背景技术

随着汽车上面的摄像头越来越多，汽车上需要使用加串器、解串器实现摄像头到控制器的长距离、实时数据传输。

如图1所示，示出了现有的车载摄像头的图像数据的一种传输方案，其中，例如汽车上包括摄像头100、控制器101、显示器15，摄像头100包括CIS 10、ISP （Image SignalProcessing, 图像信号处理器）11、加串器12，控制器101包括解串器13、和SOC(System onChip，系统级芯片)/FPGA(Field-Programmable Gate Array，现场可编程门阵列)14。

CIS是CMOS图像传感器（CMOS Image Sensor)的简称， CIS 10将捕捉到的光信号转化为机器能够识别的数字信号，即原始图像数据（RAW格式的数据），通过MIPI CSI接口把原始图像数据发送到与其连接的ISP 11。ISP 11对原始图像数据进行处理和优化，将其转换为RGB格式的数据，并通过MIPI CSI接口把RGB格式的数据发送到加串器12。加串器12把RGB格式的数据转为串行数据，并通过同轴线发送到解串器13。

CIS 10、ISP 11、加串器12之间的数据传输使用的是MIPI CSI (Camera SerialInterface，摄像头串行接口) 协议，即，MIPI CSI接口协议，它是MIPI定义的规范，用于传输摄像头的视频信号，MIPI是指移动产业处理器接口(Mobile Industry ProcessorInterface,简称MIPI)联盟。因此，加串器12输出的RGB格式的数据是符合MIPI CSI接口协议的，也称为串行MIPI CSI数据。

解串器13用于将串行MIPI CSI数据恢复为并行MIPI CSI数据。由于解串器13使用的是MIPI CSI接口协议，而显示器15使用的是OLDI（Open LVDS（Low VoltageDifferential Signaling，低电压差分信号） Display Interface，开放式LVDS显示接口）协议，即OLDI接口协议，两者使用的接口协议不同，导致解串器13和显示器15之间无法直接传输并行MIPI CSI数据。因此需要利用SOC/FPGA 14进行转换，也就是说，SOC/FPGA 14把符合MIPI CSI接口协议的并行MIPI CSI数据转换为符合OLDI接口协议的OLDI数据。然后将符合OLDI接口协议的OLDI数据发送到显示器15，进行显示。

如图2所示，示出了现有的车载摄像头的图像数据的另一种传输方案。摄像头200包括CIS 10和加串器12，与图1相比，图2的传输方案将ISP 11集成到了控制器201中的SOC14中，可以解决一些成本。

但是，图1、图2中的两种方案中都必须使用SOC或FPGA将并行MIPI CSI数据转换为OLDI数据，才能将OLDI数据传输给显示器15进行显示。SOC的单价较高，并且有较大的延迟，而FPGA虽然延迟较低，但是单价比SOC更高。

发明内容

为了解决上述问题，第一方面，本发明提供了一种数据发送装置，包括：

分解单元，对接收到的符合第一接口协议的并行图像数据进行分解，得到第一视频流数据；

打包单元，接收所述第一视频流数据，并将所述第一视频流数据打包成符合自定义接口协议的第二视频流数据；

加串单元，接收所述第二视频流数据，并将所述第二视频流数据串行化后进行发送，

其中，所述加串单元支持所述自定义接口协议。

在第一方面中，所述第一接口协议是MIPI CSI接口协议，所述并行图像数据是根据所述MIPI CSI接口协议得到的并行MIPI CSI数据，其中，所述并行MIPI CSI数据由多个CSI数据包组成，

其中，在所述分解单元，对所述多个CSI数据包进行分解，得到所述第一视频流数据，所述第一视频流数据是不具有任何接口协议的有效载荷数据。

在第一方面中，在所述打包单元中，根据所述自定义接口协议，对所述有效载荷数据进行打包，得到所述第二视频流数据，所述第二视频流数据由多个自定义数据包组成，

其中，每个CSI数据包大于每个自定义数据包。

在第一方面中，所述数据发送装置是加串器。

第二方面，本发明提供了一种数据接收装置，包括：

一种数据接收装置，其特征在于，包括：

解串单元，接收符合自定义接口协议的、串行的第二视频流数据，并进行解串，得到符合自定义接口协议的、并行的第二视频流数据；

解包单元，对所述并行的第二视频流数据进行解包，得到并行的第一视频流数据；

转换单元，将所述并行的第一视频流数据转换为符合第二接口协议的、并行的第三视频流数据，并将所述第三视频流数据发送到显示器用于显示，

其中，所述解串单元支持所述自定义接口协议，所述显示器支持所述第二接口协议。

在第二方面中，所述并行的第二视频流数据由多个自定义数据包组成，

其中，在所述解包单元中，对所述多个自定义数据包进行解包，得到所述第一视频流数据，所述第一视频流数据是不具有任何接口协议的有效载荷数据。

在第二方面中，所述第二接口协议是OLDI接口协议，

其中，在所述转换单元中，根据所述OLDI接口协议，对所述有效载荷数据进行打包，得到所述第三视频流数据。

在第二方面中，所述显示器位于所述数据接收装置的外部，并通过所述第二接口协议与所述转换单元进行数据传输。

在第二方面中，所述数据接收装置是解串器。

第三方面，本发明提供了一种电子设备，包括：根据第一方面所述的数据发送装置和/或第二方面所述的数据接收装置。

在第三方面中，电子设备是车载设备。

本发明中，数据发送装置（加串器）对MIPI CSI数据进行如上所述的处理后，发送给数据接收装置（解串器），经过如上所述的处理后，可以将视频流数据直接传输到显示器，进行显示。即，数据接收装置可以直接驱动显示器进行显示，而无需额外增加SOC或FPGA，因此可以节约车载设备的制造成本，同时降低数据传输过程中的延迟。

另外，本发明中，加串器可以将MIPI CSI数据打包成符合自定义接口协议的数据，MIPI CSI数据中的每个CSI数据包大于符合自定义接口协议的数据中的每个自定义数据包，而小的数据包可以提高数据传输的效率。加串器中的加串单元和解串器中的解串单元都支持自定义接口协议，因此可以在加串器和解串器之间传输更小的数据包，从而提高数据传输的效率。

附图说明

图1示出了现有的车载摄像头的图像数据的一种传输方案；

图2示出了现有的车载摄像头的图像数据的另一种传输方案；

图3示出了根据本发明的实施例的车载摄像头的图像数据的传输方案；

图4示出了根据本发明的实施例的数据发送装置的示意图；

图5示出了根据本发明的实施例的数据接收装置的示意图；

图6示出了多个CSI数据包的示意图；

图7示出了RGB999数据的格式；

图8示出了OLDI数据包的格式。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式。应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“第一”、“第二”等仅用于区分描述，不表示任何顺序，不能理解为指示或暗示相对重要性。

图3示出了根据本发明的实施例的车载摄像头的图像数据的传输方案。如图3所示，摄像头300包括传感器（CIS） 10、ISP 11以及数据发送装置，控制器400包括数据接收装置。数据发送装置例如是加串器33，数据接收装置例如是解串器41。解串器41与显示器15连接。

CIS 10采集到原始图像数据（例如RAW、YUV格式的数据），通过MIPI CSI接口协议，将原始图像数据传输到ISP 11。ISP 11对原始图像数据进行数据格式的转换，得到并行图像数据，该并行图像数据的数据格式是RGB，并且符合MIPI CSI接口协议。本实施例中，符合某种接口协议的数据是指根据某种接口协议对数据进行打包，得到多个数据包，每个数据包包含包头、包尾等用于数据传输的信息。

图4示出了根据本发明的实施例的加串器33的示意图。如图4所示，加串器33包括分解单元331、打包单元332以及加串单元333。

分解单元331对接收到的符合第一接口协议的并行图像数据进行分解，得到第一视频流数据。

具体地，第一接口协议是MIPI CSI接口协议，分解单元331支持MIPI CSI接口协议，并从ISP 11接收符合MIPI CSI接口协议的并行图像数据。并行图像数据是根据MIPICSI接口协议得到的并行MIPI CSI数据，其中，并行MIPI CSI数据由多个CSI数据包组成，每个CSI数据包包含包头、包尾等用于数据传输的信息。具体形成CSI数据包的过程详情见《mipi_CSI-2_specification_v1-3》协议文档9 Low Level Protocol和11.3.1 RGB888。

在MIPI CSI-2的数据传输中，以数据包为单位。图6示出了多个CSI数据包的示意图。

数据包中最小的传输是字节，每个字节是低位优先 LSB（最低有效位）。如图6所示，每个数据包的开头都是ST（传输开始），结尾都是ET（传输结束）。这些数据包包含多个短包（short packet）和多个长包（long packet）。短包中的SP是MIPI CSI接口协议中使用的控制信息，长包中的DATA是有效载荷数据，例如RGB888数据。每个包之间包括LPS（lowpower state，低功率状态），每个长包包含PH（packet header，包头）和PF（packet footer，包尾）。

RGB888数据的格式如图7所示，每个字节（byte）包含8 比特（bit）。

分解单元331对每个CSI数据包进行分解，得到第一视频流数据V。第一视频流数据V是不具有任何接口协议的有效载荷数据，例如RGB888帧数据。

具体地，分解单元331从CSI数据包中的长包中取出DATA部分，即有效载荷数据，作为第一视频流数据V。

分解单元331将第一格式视频流数据V发送给打包单元332。

打包单元332接收到第一视频流数据V后，将第一视频流数据V打包成符合自定义接口协议的第二视频流数据。

具体地，打包单元332根据自定义接口协议，对作为有效载荷数据的第一视频流数据V进行打包，得到第二视频流数据R，第二视频流数据R由多个自定义数据包组成。

自定义接口协议是用户自定义的，根据自定义接口协议，可以将第一视频流数据V打包成自定义大小的多个自定义数据包，每个自定义数据包包含包头、包尾等用于数据传输的信息。

自定义接口协议例如是R-linC接口协议。R-linC接口协议的数据包如下表1所示：

表1

如表1所示，包头（Header）包含通道编号（channel-id）、包编号（pkt_id_video）、数据计数（word counter）、循环冗余校验码（CRC）。

有效载荷数据（payload）为第一视频流数据V，如RGB888数据。具体包含第一字节的有效载荷数据（Payload Data/First byte）、中间字节的有效载荷数据（Payload Data/Middle byte）、最后字节的有效载荷数据（Payload Data/Last byte）、以及循环冗余校验码（CRC）。这里，RGB888数据被分解为N个字节（byte），每个字节是8比特（bit），N是包头中的数据计数。

包尾（FC）包含FC9部分，该部分可以根据实际情况补充空数据。按照表1所述的格式，对第一视频流数据V（例如RGB888数据）进行打包，得到多个自定义数据包。可以理解的是，第二视频流数据R包括多个自定义数据包。

较佳的，每个CSI数据包大于每个自定义数据包。例如，每个CSI数据包包含的字节数大于每个自定义数据包的字节数。

加串单元333接收第二视频流数据R，并将第二视频流数据R串行化后进行发送。加串单元333支持自定义接口协议，如此可以对符合自定义接口协议的第二视频流数据R进行发送。

如上所述，加串器33可以将并行MIPI CSI数据最终转换成符合用户自定义接口协议的、串行的第二视频流数据R，并将第二视频流数据R发送给解串器41。

图5示出了根据本发明的实施例的数据接收装置的示意图。数据接收装置例如是解串器41，如图5所示，解串器41包括解串单元411、解包单元412、转换单元413。

解串单元411接收符合自定义接口协议的、串行的第二视频流数据R，并进行解串，得到符合自定义接口协议的、并行的第二视频流数据R。

具体地，解串单元411从图4中的加串单元333接收符合自定义接口协议的、串行的第二视频流数据R，解串单元411支持自定义接口协议，因此，解串单元411可以从加串单元333接收到串行的第二视频流数据R，然后进行解串，得到并行的第二视频流数据R。并行的第二视频流数据R由多个自定义数据包组成。

解包单元412对并行的第二视频流数据R进行解包，得到并行的第一视频流数据V。具体地，解包单元412对多个自定义数据包进行解包，得到第一视频流数据V，第一视频流数据V是不具有任何接口协议的有效载荷数据。例如，第一视频流数据V是有效载荷数据，例如RGB888数据。可以理解的是，不具有任何接口协议的有效载荷数据是指没有任何用于数据传输的信息的数据。

可以理解的是，解包单元412进行解包的过程包括，从表1所示的R-linC接口协议包中取出有效载荷数据（payload），例如RGB888数据，然后将RGB888数据按照其格式重新进行排列，得到第一视频流数据V。

转换单元413将并行的第一视频流数据V转换为符合第二接口协议的、并行的第三视频流数据，并将第三视频流数据发送到显示器15用于显示。

第二接口协议例如是OLDI接口协议，转换单元413根据OLDI接口协议，对作为有效载荷数据的第一视频流数据V进行打包，得到第三视频流数据，也可以称为OLDI数据。可以理解的是，OLDI数据包括多个OLDI数据包。

具体地OLDI接口协议可以参见《Open LVDS Display Interface(OpenLDI)Specification v0.95》5.4 Serialization。

OpenLDI（OLDI）是一种高带宽的数字视频接口，它使用低压差分信令（LVDS）来传输数字视频，而不需要数模转换或复杂的解码协议。图7示出了OLDI输出的LVDS数据的示意图。

可以理解的是，将RGB888数据中的每个字节中的每个bit按照图8所示的格式进行排列，从而形成OLDI数据。例如，字节R包含8bit，即，RO、R1、R2、R3、R4、R5、R6、R7。分别将这个8 bit插入图8所示的位置。类似的，其他字节中的每个bit也分别插入图7所示的位置。如此，可以形成OLDI数据包。

显示器15如图3所示，位于解串器41的外部，显示器15支持OLDI接口协议，可以通过OLDI与转换单元413进行数据传输。因此，显示器15可以直接从转换单元413接收OLDI数据，即，直接从解串器41接收OLDI数据，而无需像现有技术那样设置昂贵的SOC/FPGA。

可以理解的是，两个不同的器件在支持同一接口协议的情况下，才能在两者之间直接传输符合该同一接口协议的数据。例如，解串器11中的转换单元413与显示器15都支持OLDI接口协议，因此可以在解串器11和显示器15之间直接传输符合OLDI接口协议的数据。

另外，当加串器33和解串器41的接口相同时，会使用字节流数据B。例如，加串器33和解串器41的接口都是CSI或DSI（display serial interface,显示器串行接口）时，会使用字节流数据B。字节流数据B是接口格式数据，例如CSI接口格式数据，DP（display port显示端口）接口格式数据，DSI接口格式数据等等。

当使用字节流数据B时，分解单元331对并行MIPI CSI数据进行分解，从而得到字节流数据B，如图4所示，并将字节流数据B发送给加串单元333进行加串后发送。

可以理解的是，在摄像头300一侧，字节流数据是CSI接口格式数据B，在显示器15一侧，字节流数据是DSI接口格式数据C。

可以理解的是，解串单元411接收到加串单元333发送来的DSI接口格式数据C后进行解串，并发送给转换单元413，如图5所示。

本发明还提供一种电子设备，包括如上所述的加串器33和/或解串器41。电子设备可以是车载设备。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

Claims

1.一种数据发送装置，其特征在于，包括：

其中，所述加串单元支持所述自定义接口协议，

所述第一接口协议是MIPI CSI接口协议，所述并行图像数据是根据所述MIPI CSI接口协议得到的并行MIPI CSI数据，其中，所述并行MIPI CSI数据由多个CSI数据包组成，

2.根据权利要求1所述的数据发送装置，其特征在于，在所述打包单元中，根据所述自定义接口协议，对所述有效载荷数据进行打包，得到所述第二视频流数据，所述第二视频流数据由多个自定义数据包组成，

其中，每个CSI数据包大于每个自定义数据包。

3.根据权利要求1-2中任一项所述的数据发送装置，其特征在于，所述数据发送装置是加串器。

4.一种数据接收装置，其特征在于，包括：

其中，所述解串单元支持所述自定义接口协议，所述显示器支持所述第二接口协议，

所述并行的第二视频流数据由多个自定义数据包组成，

5.根据权利要求4所述的数据接收装置，其特征在于，所述第二接口协议是OLDI接口协议，

6.根据权利要求5所述的数据接收装置，其特征在于，所述显示器位于所述数据接收装置的外部，并通过所述第二接口协议与所述转换单元进行数据传输。

7.根据权利要求4-6中任一项所述的数据接收装置，所述数据接收装置是解串器。

8.一种电子设备，其特征在于，所述电子设备包括：根据权利要求1所述的数据发送装置和/或根据权利要求4所述的数据接收装置。

9.根据权利要求8所述的电子设备，其特征在于，所述电子设备是车载设备。