CN112954272A - 相机模组、数据传输方法及装置、存储介质和车辆 - Google Patents

相机模组、数据传输方法及装置、存储介质和车辆 Download PDF

Info

Publication number
CN112954272A
CN112954272A CN202110130159.5A CN202110130159A CN112954272A CN 112954272 A CN112954272 A CN 112954272A CN 202110130159 A CN202110130159 A CN 202110130159A CN 112954272 A CN112954272 A CN 112954272A
Authority
CN
China
Prior art keywords
cameras
data
serializer
groups
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110130159.5A
Other languages
English (en)
Other versions
CN112954272B (zh
Inventor
孙牵宇
吴佳杰
许亮
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202110130159.5A priority Critical patent/CN112954272B/zh
Publication of CN112954272A publication Critical patent/CN112954272A/zh
Application granted granted Critical
Publication of CN112954272B publication Critical patent/CN112954272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种相机模组、数据传输方法及装置、存储介质和车辆,其中,相机模组包括:两组摄像头,用于进行视频流采集;与所述两组摄像头连接的串化器,用于将所述两组摄像头采集的两路视频流所包括的视频数据,转换为一路目标数据,并将所述目标数据发送到第一预设接口;与所述串化器连接的所述第一预设接口,用于将所述目标数据发送给控制器。

Description

相机模组、数据传输方法及装置、存储介质和车辆
技术领域
本公开涉及数据传输领域,尤其涉及一种相机模组、数据传输方法及装置、存储介质和车辆。
背景技术
目前,视觉处理技术被应用在多种安全检测和控制场景中,例如门禁系统、支付应用等。视觉处理任务可以用相机来进行图像采集的工作,采用的相机包括但不限于二维的红外(InfraRed,IR)相机,色彩模式(Red Green Blue,RGB)相机,和/或三维的深度成像(Time-Of-Flight,TOF)相机。
如果仅采用二维相机,在使用过程中容易被非法用户攻破。而采用普通的色彩模式(Red Green Blue,RGB)相机结合TOF相机进行多维度信息的校验,虽然可以提高安全性,但在空间有限的情况下,多个相机的布局面临较大的挑战。
发明内容
本公开提供了一种相机模组、数据传输方法及装置、存储介质和车辆。
根据本公开实施例的第一方面,提供一种相机模组,包括:两组摄像头,用于进行视频流采集;与所述两组摄像头连接的串化器,用于将所述两组摄像头采集的两路视频流所包括的视频数据,转换为一路目标数据,并将所述目标数据发送到第一预设接口;与所述串化器连接的所述第一预设接口,用于将所述目标数据发送给控制器。
在一些可选实施例中,所述两组摄像头包括:普通色彩模式的摄像头和深度成像摄像头;和/或所述第一预设接口包括高端驱动芯片HSD接口。
在一些可选实施例中,所述普通色彩模式的摄像头包括普通色彩镜头和红外滤光片;和/或所述深度成像摄像头包括飞行时间TOF摄像头。
在一些可选实施例中,所述串化器用于将所述两组摄像头采集的两路视频流所包括的视频数据,按照预设数据包格式进行转换,得到一路包括多个数据包的所述目标数据。
在一些可选实施例中,所述预设数据包格式包括移动产业处理器接口MIPI数据包格式。
在一些可选实施例中,所述预设数据包格式包括以下至少一项:用于指示虚拟通道标识的第一信息域、用于传输数据的第二信息域、用于指示数据类型的第三信息域;所述串化器用于执行以下至少一项:根据预先设置的摄像头与虚拟通道标识之间的对应关系,确定所述多个数据包中每个数据包的所述第一信息域的值;根据所述两路视频流所分别包括的视频数据,确定所述多个数据包中每个数据包的所述第二信息域的内容;根据所述两路视频流所分别包括的视频数据的数据类型,确定所述多个数据包中每个数据包的所述第三信息域的内容。
在一些可选实施例中,所述第一预设接口还用于接收所述控制器发送的同步曝光指令,并将所述同步曝光指令发送给所述串化器;所述串化器还用于将所述同步曝光指令同步发送给所述两组摄像头;所述两组摄像头还用于在进行视频流采集时,基于所述同步曝光指令,进行同步曝光。
在一些可选实施例中,所述串化器设置有与所述两组摄像头一一对应的两个第二预设接口;所述串化器用于通过所述两个第二预设接口将所述同步曝光指令同步发送给所述两组摄像头。
在一些可选实施例中,所述串化器用于从所述控制器接收初始化配置信息,以及根据所述初始化配置信息,通过集成电路总线对所述两组摄像头进行初始化配置。
根据本公开实施例的第二方面,提供一种数据传输方法,包括:响应于接收到由两组摄像头采集的两路视频流,将所述两路视频流所包括的视频数据,转换为一路目标数据;通过第一预设接口,将所述目标数据发送给控制器。
在一些可选实施例中,所述响应于接收到由两组摄像头采集的两路视频流,将所述两路视频流所包括的视频数据,转换为一路目标数据,包括:响应于接收到由两组摄像头采集的两路视频流,按照预设数据包格式进行转换,得到一路包括多个数据包的所述目标数据。
在一些可选实施例中,所述预设数据包格式包括移动产业处理器接口MIPI数据包格式。
在一些可选实施例中,所述预设数据包格式包括以下至少一项:用于指示虚拟通道标识的第一信息域、用于传输数据的第二信息域、用于指示数据类型的第三信息域;所述按照预设数据包格式进行转换,得到一路包括多个数据包的所述目标数据,包括以下至少一项:根据预先设置的摄像头与虚拟通道标识之间的对应关系,确定所述多个数据包中每个数据包的所述第一信息域的值;根据所述两路视频流所分别包括的视频数据,确定所述多个数据包中每个数据包的所述第二信息域的内容;根据所述两路视频流所分别包括的视频数据的数据类型,确定所述多个数据包中每个数据包的所述第三信息域的内容。
在一些可选实施例中,还包括:接收所述控制器通过所述第一预设接口发送的同步曝光指令;将所述同步曝光指令同步发送给所述两组摄像头,以使所述两组摄像头在进行视频流采集时,基于所述同步曝光指令,进行同步曝光。
在一些可选实施例中,还包括:从所述控制器接收初始化配置信息;根据所述初始化配置信息,通过集成电路总线对所述两组摄像头进行初始化配置。
根据本公开实施例的第三方面,提供一种数据传输方法,包括:接收串化器通过第一预设接口发送的一路目标数据,所述目标数据由串化器对两组摄像头采集的两路视频流中的视频数据进行转换生成;对所述目标数据进行解析,得到两组摄像头中的每一组摄像头采集的视频流所包括的视频数据。
在一些可选实施例中,还包括:通过所述第一预设接口,将同步曝光指令发送给所述串化器,以使所述串化器将所述同步曝光指令同步发送给所述两组摄像头。
根据本公开实施例的第四方面,提供一种数据传输装置,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现第二方面或第三方面中任一项所述的数据传输方法。
根据本公开实施例的第五方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述第二方面或第三方面任一所述的数据传输方法。
根据本公开实施例的第六方面,提供一种车辆,所述车辆包括第一方面任一项所述的相机模组。
在一些可选实施例中,所述相机模组安装于所述车辆的B柱位置。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,相机模组可以由两组摄像头、串化器和第一预设接口组成,其中,两组摄像头用于进行视频流采集,串化器与两组摄像头连接,用于将两组摄像头采集的两路视频流所包括的视频数据,转换为一路目标数据,并发送到第一预设接口,第一预设接口与串化器连接,用于将接收到的目标数据发送给控制器。本公开的相机模组尺寸较小,可以在有限空间内进行视频流采集,可用性高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种相机模组的结构示意图;
图2是本公开根据一示例性实施例示出的一种第一预设接口的管脚示意图;
图3是本公开根据一示例性实施例示出的一种预设数据包格式的结构示意图;
图4是本公开根据一示例性实施例示出的一种摄像头与串化器之间连接方式示意图;
图5是本公开根据一示例性实施例示出的另一种相机模组结构流程图;
图6是本公开根据一示例性实施例示出的一种数据传输方法流程图;
图7是本公开根据一示例性实施例示出的另一种数据传输方法流程图;
图8是本公开根据一示例性实施例示出的另一种数据传输方法流程图;
图9是本公开根据一示例性实施例示出的另一种数据传输方法流程图;
图10是本公开根据一示例性实施例示出的一种数据传输装置结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开实施例提供了一种相机模组100,例如图1所示,包括:两组摄像头101-1、101-2,与两组摄像头101-1、101-2连接的串化器102,与串化器102连接的第一预设接口103。
其中,两组摄像头101-1、101-2可以用于视频流采集。在本公开实施例中,两组摄像头101-1、101-2可以是相同类型的摄像头或不同类型的摄像头,本公开对此不作限定。
串化器102用于将两组摄像头101-1、101-2采集的两路视频流所包括的视频数据,转换为一路目标数据,并将该目标数据发送到第一预设接口103。在一个可能地实现方式中,目标数据可以为串行数据。
第一预设接口103用于将串化器102发送的目标数据发送给控制器(图1中未示出)。控制器接收后可以对目标数据进行解析,从而得到每一组摄像头采集的视频流所包括的视频数据,后续可以基于每一组摄像头采集的视频流所包括的视频数据进行视觉处理。
上述实施例中,通过串化器将两路视频流通过同一个第一预设接口传输至控制器,可以有效减少接口数量,实现了减小摄像模组体积的目的,且包含两组摄像头的相机模组相较于分离式的两组相机模组而言尺寸较小,可以在有限空间内进行视频流采集,可用性高。
在一些可选实施例中,两组摄像头101-1、101-2可以是不同类型的摄像头,例如,一组摄像头101-1可以采用普通色彩模式的摄像头,一组摄像头101-2可以采用深度成像摄像头。
在一个可能的示例中,普通色彩模式的摄像头101-1可以包括普通色彩镜头和红外滤光片,深度成像摄像头101-2可以包括TOF摄像头。其中,红外滤光片的截止波长可以采用但不限于650纳米,从而将TOF摄像头101-2发射的红外光阻断掉,防止红外光线进入普通色彩模式的摄像头101-1的传感器,造成普通色彩模式的摄像头101-1采集的视频流中的图像偏红。
上述实施例中,相机模组所包括的两组摄像头可以采用不同类型的摄像头,以分别通过不同维度的信息进行更全面的信息采集,提高了后续视觉处理的准确性,可用性高。
在一些可选实施例中,第一预设接口103可以采用但不限于高端驱动芯片(High-side Driver,HSD)接口。其中,HSD的输出可以包括4个管脚,,例如图2所示,一对用于传输串行数据的差分信号管脚11、12,一对电源管脚13、14。其中,差分信号管脚可以通过屏蔽双绞线(Shield Twisted Pair,STP)15进行输出,其中,电源管脚13可以常电线(B+),电源管脚14可以为地线(GND)。
上述实施例中,可以采用HSD接口作为第一预设接口,从而将目标数据发送给控制器,缩小了相机模组的尺寸,可用性高。
在一些可选实施例中,串化器102可以用于将所述两组摄像头101-1、101-2采集的两路视频流所包括的视频数据,按照预设数据包格式进行转换,得到一路包括多个数据包的所述目标数据。
上述实施例中,通过串化器将两组摄像头采集的两路视频流,按照预设数据包格式,转换为一路包括多个数据包的目标数据,从而可以通过同一个第一预设接口,将一路目标数据传输给控制器,减小了接口数量,达到了减小相机模组体积的目的,且按照预设数据包格式进行转换,控制器后续可以同样基于该预设数据包格式,解析得到每组摄像头所采集的视频流包括的视频数据,可用性高。
在一个可能的实现方式中,预设数据包格式可以包括但不限于移动产业处理器接口(Mobile Industry Processor Interface,MIPI)数据包格式。
在一个可能的实现方式中,预设数据包格式包括以下至少一项:用于指示虚拟通道标识的第一信息域、用于传输数据的第二信息域、用于指示数据类型的第三信息域,例如图3所示。
相应地,串化器102可以用于根据预先设置的摄像头与虚拟通道标识之间的对应关系,确定所述多个数据包中每个数据包的所述第一信息域的值。
在一个可能的实现方式中,每组摄像头与串化器103之间设置有一组线缆,该组线缆可以采用但不限于10根或更多的MIPI线缆,该组线缆可以用于在每组摄像头与串化器102之间传输视频流。
进一步地,串化器102可以先确定多个数据包中每个数据包所包括的视频数据对应的摄像头,根据上述对应关系,确定每个数据包中的虚拟通道标识,从而确定每个数据包的第一信息域的值。
例如,一组摄像头101-1对应虚拟通道0,一组摄像头101-2对应虚拟通道1,多个数据包中数据包1所包括的视频数据是由摄像头101-1采集的,即数据包1所包括的视频数据对应摄像头101-1,数据包1的第一信息域的值可以指示虚拟通道0,可选地,第一信息域的值用两个比特标识,可以表示为00。
相应地,串化器102可以根据所述两路视频流所分别包括的视频数据,确定所述多个数据包中每个数据包的所述第二信息域的内容。
在一个可能的实现方式中,每个数据包的第二信息域的内容包括该数据包所包括的视频数据的内容。
另外,串化器102可以根据所述两路视频流所分别包括的视频数据的数据类型,确定所述多个数据包中每个数据包的所述第三信息域的内容。
在本公开实施例中,为了尽可能缩小产品尺寸,在串化器102上可以不对视频流所包括的视频数据进行图像处理,将图像处理的过程放在控制器上进行。其中,图像处理包括但不限于图像尺寸调整、提取特征点信息等。
在一个可能的实现方式中,可以将每个数据包的第三信息域的比特值设置为预设值,例如0x2C,从而指示该数据包所包括的视频数据的数据类型为原始数据。
上述实施例中,串化器可以根据预设数据包格式来确定多个数据包中每个数据包的不同信息域的比特值,从而可以将两组摄像头分别采集的视频流所包括的视频数据发送给控制器,实现了缩小相机模组尺寸的目的,后续控制器同样可以基于该预设数据包格式对多个数据包中的每个数据包进行解析,得到每组摄像头采集的视频流所包括的视频数据,在缩小相机模组尺寸的同时,确保视频数据传输的准确性。
在一些可选实施例中,第一预设接口103还可以用于接收控制器发送的同步曝光指令,并将所述同步曝光指令发送给所述串化器102。
串化器102还可以用于将所述同步曝光指令同步发送给所述两组摄像头101-1、101-2。
两组摄像头101-1、101-2可以在进行视频流采集时,基于所述同步曝光指令,进行同步曝光。
上述实施例中,可以通过串化器将控制器的同步曝光指令发送给两组摄像头,实现了控制相机模组中的两组摄像头同步曝光的目的,另外,可以通过第一预设接口、串化器实现控制器与两组摄像头之间双向的数据指令传输,既可以将两组摄像头采集的视频流所包括的视频数据通过串化器、第一预设接口传输给控制器,又可以将控制器的同步曝光指令通过第一预设接口、串化器发送给两组摄像头,可用性高。
在一些可选实施例中,在相机模组100中,串化器102设置有与所述两组摄像头101-1、101-2一一对应的两个第二预设接口104-1、104-2,例如图4所示。在一种可能地实现方式中,第二预设接口可以采用但不限于通用输入输出(General-purpose input/output,GPIO)接口。第二预设接口与摄像头之间可以通过硬线16连接。
所述串化器102用于通过所述两个第二预设接口104-1、104-2将所述同步曝光指令同步发送给所述两组摄像头101-1、101-2。
上述实施例中,串化器可以通过与不同摄像头对应的第二预设接口,将同步曝光指令发送给对应的摄像头,实现了控制相机模组中的两组摄像头同步曝光的目的,且串化器的第二预设接口通过硬线与摄像头连接,硬线的数据传输速度比网线的传输速度更快,从而可以更快地发送同步曝光指令给相应的一组摄像头,减少了不同摄像头在进行视频流采集时同步曝光的误差,可用性高。
在一些可选实施例中,串化器102用于从所述控制器接收初始化配置信息,以及根据所述初始化配置信息,通过集成电路(Inter Integrated-Circuit,IIC)总线对所述两组摄像头101-1、101-2进行初始化配置,在本公开实施例中,初始化配置信息用于指示两组摄像头101-1、101-2进行初始化配置,包括但不限于对摄像头的标识信息的配置、进行视频流采集的时间段的配置、进行视频流采集时的相机相关参数的配置等。
上述实施例中,可以通过控制器对相机模组的两组摄像头进行初始化配置,实现了通过控制器的外部触发指令对摄像头进行初始化的目的,使得两组摄像头的初始化参数符合不同场景的需求。
在一些可选实施例中,对上述相机模组进一步举例说明如下。
例如图5所示,该相机模组100包括摄像头101-1、摄像头101-2、串化器102、第一预设接口103。
在本公开实施例中,摄像头101-1包括普通色彩镜头和红外滤光片,摄像头101-2包括深度成像摄像头。第一预设接口103包括HSD接口。第一预设接口包括4个管脚,其中差分信号管脚11、12通过屏蔽双绞线15进行输出,电源管脚13、14与电源(图5中未示出)连接。
摄像头101-1和摄像头101-2分别采集视频流,将视频流通过各自与串化器102之间的一组MIPI线缆17(该组线缆可以包括10根MIPI线缆)发送给串化器102。其中,串化器102还包括一个振荡器(图5中未示出),从而为串化器102提供时钟信号。
串化器102接收到两路视频流后,将两路视频流所包括的视频数据,按照预设数据包格式进行转换,得到一路包括多个数据包的所述目标数据。预设数据包格式可以包括MIPI数据包格式。预设数据包格式包括以下至少一项:用于指示虚拟通道标识的第一信息域、用于传输数据的第二信息域、用于指示数据类型的第三信息域。其中,串化器102转换得到一路目标数据的方式与上述实施例中将两路视频流所包括的视频数据转换为一路目标数据的方式相同,在此不再赘述。
进一步地,串化器102通过与控制器201之间的第一预设接口103,将目标数据发送给控制器201。控制器201接收到多个数据包之后,对所述目标数据进行解析,得到两组摄像头中的每一组摄像头采集的视频流所包括的视频数据,进而可以进行视觉处理。
另外,控制器201可以通过第一预设接口103将同步曝光信号发送给串化器102,串化器102通过两个第二预设接口,可选地,第二预设接口为GPIO接口,将所述同步曝光指令同步发送给摄像头101-1、摄像头101-2,触发两组摄像头在进行视频流采集时,基于所述同步曝光指令,进行同步曝光。其中,第二预设接口与摄像头之间均通过硬线15连接。
此外,在两组摄像头进行视频流采集之前,串化器102可以从所述控制器201接收初始化配置信息,并通过IIC总线18对所述两组摄像头进行初始化配置。
其中,串化器102与第一预设接口103之间可以通过千兆多媒体串行链路2(Gigabit Multimedia Serial Link,GMSL2)线缆19进行连接。可选地,GMSL2线缆的数目可以为2根。在本公开实施例中,串化器102与两组摄像头之间设置有至少20根MIPI线缆,而串化器102与第一预设接口103之间设置的线缆数目为2根,同样达到了缩小相机模组尺寸的目的。
上述实施例中,相机模组的尺寸更小,更适用于在有限的空间内进行视频流采集和数据传输,可用性更高。
本公开实施例还提供了一种数据传输方法,例如图6所示,图6是根据一示例性实施例示出的一种数据传输方法,该方法可以用于串化器,该方法包括以下步骤:
在步骤301中,响应于接收到由两组摄像头采集的两路视频流,将所述两路视频流所包括的视频数据,转换为一路目标数据。
在本公开实施例中,两组摄像头可以包括但不限于普通色彩模式的摄像头和深度成像摄像头。。其中,普通色彩模式的摄像头包括普通色彩镜头和红外滤光片,深度成像摄像头包括飞行时间TOF摄像头。
在步骤302中,通过第一预设接口,将所述目标数据发送给控制器。
在本公开实施例中,串化器与第一预设接口连接,或者,上述第一预设接口可以是串化器的一个预定输出接口。控制器包括但不限于图像处理器(Graphics ProcessingUnit,GPU)。串化器可以将目标数据通过第一预设接口发送给控制器,后续由控制器对所述目标数据进行解析,得到两组摄像头中的每一组摄像头采集的视频流所包括的视频数据。第一预设接口可以采用但不限于HSD接口。
上述实施例中,可以通过串化器将两组摄像头采集的两路视频流所包括的视频数据,转换为一路目标数据,进而通过第一预设接口发送给控制器,通过一路串行数据将两路视频流包括的视频数据传输给控制器,可用性高。
在一些可选实施例中,串化器可以按照预设数据包格式进行转换,得到一路包括多个数据包的所述目标数据。
在一种可能地实现方式中,所述预设数据包格式包括MIPI数据包格式。
在一个可能地实现方式中,预设数据包格式包括以下至少一项:用于指示虚拟通道标识的第一信息域、用于传输数据的第二信息域、用于指示数据类型的第三信息域。
串化器可以先确定多个数据包中每个数据包所包括的视频数据对应的摄像头,根据上述对应关系,确定每个数据包中的虚拟通道标识,从而确定每个数据包的第一信息域的值。
另外,串化器还可以根据所述两路视频流所分别包括的视频数据,确定所述多个数据包中每个数据包的所述第二信息域的内容。
串化器可以根据所述两路视频流所分别包括的视频数据的数据类型,确定所述多个数据包中每个数据包的所述第三信息域的内容。
在一些可选实施例中,例如图7所示,上述方法还可以包括:
在步骤303中,接收所述控制器通过所述第一预设接口发送的同步曝光指令
在本公开实施例中,串化器可以通过第一预设接口接收控制器发送的同步曝光指令。在步骤304中,将所述同步曝光指令同步发送给所述两组摄像头,以使所述两组摄像头在进行视频流采集时,基于所述同步曝光指令,进行同步曝光。
上述实施例中,可以控制两组摄像头在进行视频流采集时,基于控制器发送的同步曝光指令进行同步曝光,可用性高。
本公开实施例还提供了另一种数据传输方法,例如图8所示,图8是根据一示例性实施例示出的另一种数据传输方法,该方法可以用于控制器,该控制器可以采用但不限于GPU,该方法包括以下步骤:
在步骤401中,接收串化器通过第一预设接口发送的一路目标数据,所述目标数据由串化器对两组摄像头采集的两路视频流中的视频数据进行转换生成。
在本公开实施例中,第一预设接口可以包括但不限于HSD接口。
在步骤402中,对所述目标数据进行解析,得到两组摄像头中的每一组摄像头采集的视频流所包括的视频数据。
上述实施例中,控制器在接收到串化器发送的上述目标数据后,通过对目标数据进行解析,可以得到两组摄像头中的每一组摄像头采集的视频流所包括的视频数据,以便后续进行视觉处理。可以在缩小相机模组尺寸的同时,确保视频数据传输的准确性。
在一些可选实施例中,目标数据由串化器对两组摄像头采集的两路视频流中的视频数据,按照预设数据包格式,进行转换生成的。
在一个可能的实现方式中,预设数据包格式包括移动产业处理器接口MIPI数据包格式。
在一个可能的实现方式中,预设报文格式包括以下至少一项:用于指示虚拟通道标识的第一信息域、用于传输数据的第二信息域。在本公开实施例中,目标数据包括多个数据包,控制器可以先确定多个数据包中每个数据包的所述第一信息域所指示的目标虚拟通道标识。
控制器可以通过读取第一信息域的比特值,从而确定目标通道标识。
进一步地,控制器可以根据预先设置的摄像头与虚拟通道标识之间的对应关系,确定与目标虚拟通道标识相对应的目标摄像头。在本公开实施例中,确定了目标摄像头后,可以根据同一数据包中第二信息域的内容,得到目标摄像头采集的视频流所包括的视频数据。在本公开实施例中,控制器可以根据多个数据包中每个数据包第三信息域对应的内容,确定该数据包中的视频数据的数据类型。例如,第三信息域的比特值为0x2C,可以确定对应的数据类型为原始数据。
在本公开实施例中,可以由控制器进行后续的视觉处理。其中,视觉处理包括但不限于提取特征信息、针对特征信息进行分类和/或回归等处理,得到视觉处理任务结果。
上述实施例中,可以由控制器对一路目标数据进行解析,从而得到两组摄像头中的每一组摄像头采集的视频流所包括的视频数据,,为缩小相机模组尺寸提供了条件。
在一些可选实施例中,例如图9所示,上述方法还可以包括:
在步骤403中,通过所述第一预设接口,将同步曝光指令发送给所述串化器,以使所述串化器将所述同步曝光指令同步发送给所述两组摄像头。
在上述实施例中,控制器可以通过第一预设接口,将同步信号发送给串化器,串化器会将同步曝光指令发送给两组摄像头,以便两组摄像头在进行视频流采集时,进行同步曝光。
在一些可选实施例中,控制器还可以将初始化配置信息通过第一预设接口发送给串化器,串化器发送初始化配置信息给两组摄像头中的至少一组,以使接收到初始化配置信息的摄像头进行初始化配置。
上述实施例中,实现了控制器对两组摄像头进行初始化配置的目的,可用性高。
本公开实施例还提供了一种数据传输方法装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为调用所述存储器中存储的可执行指令,实现上述任一项所述的数据传输方法。
图10为本公开实施例提供的一种数据传输方法装置的硬件结构示意图。该数据传输方法装置510包括处理器511,还可以包括输入装置512、输出装置513和存储器514。该输入装置512、输出装置513、存储器514和处理器511之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable readonly memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号,以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件,也可以是一个整体的器件。
处理器可以包括是一个或多个处理器,例如包括一个或多个中央处理器(centralprocessing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据,执行上述方法实施例中的步骤。具体可参见方法实施例中的描述,在此不再赘述。
可以理解的是,图10仅仅示出了一种数据传输装置的简化设计。在实际应用中,数据传输装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等,而所有可以实现本公开实施例的数据传输方法都在本公开的保护范围之内。
本公开实施例还提供了一种计算机可读存储介质,存储介质存储有计算机程序,计算机程序用于执行上述任一所述的数据传输方法。
在一些可选实施例中,本公开实施例提供了一种计算机程序产品,包括计算机可读代码,当计算机可读代码在设备上运行时,设备中的处理器执行用于实现如上任一实施例提供的数据传输方法的指令。
在一些可选实施例中,本公开实施例还提供了另一种计算机程序产品,用于存储计算机可读指令,指令被执行时使得计算机执行上述任一实施例提供的数据传输方法的操作。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
本公开实施例中,还提供了一种车辆,该车辆可以包括上述任一项所述的相机模组。
在一些可选实施例中,该相机模组可以按照在车辆的B柱位置。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已,并不用以限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开保护的范围之内。

Claims (17)

1.一种相机模组,其特征在于,包括:
两组摄像头,用于进行视频流采集;
与所述两组摄像头连接的串化器,用于将所述两组摄像头采集的两路视频流所包括的视频数据,转换为一路目标数据,并将所述目标数据发送到第一预设接口;
与所述串化器连接的所述第一预设接口,用于将所述目标数据发送给控制器。
2.根据权利要求1所述的相机模组,其特征在于,所述两组摄像头包括:普通色彩模式的摄像头和深度成像摄像头;和/或
所述第一预设接口包括高端驱动芯片HSD接口。
3.根据权利要求2所述的相机模组,其特征在于,所述普通色彩模式的摄像头包括普通色彩镜头和红外滤光片;和/或
所述深度成像摄像头包括飞行时间TOF摄像头。
4.根据权利要求1-3任一项所述的相机模组,其特征在于,所述串化器用于将所述两组摄像头采集的两路视频流所包括的视频数据,按照预设数据包格式进行转换,得到一路包括多个数据包的所述目标数据。
5.根据权利要求4所述的相机模组,其特征在于,所述预设数据包格式包括移动产业处理器接口MIPI数据包格式。
6.根据权利要求4或5所述的相机模组,其特征在于,所述预设数据包格式包括以下至少一项:用于指示虚拟通道标识的第一信息域、用于传输数据的第二信息域、用于指示数据类型的第三信息域;
所述串化器用于执行以下至少一项:
根据预先设置的摄像头与虚拟通道标识之间的对应关系,确定所述多个数据包中每个数据包的所述第一信息域的值;
根据所述两路视频流所分别包括的视频数据,确定所述多个数据包中每个数据包的所述第二信息域的内容;
根据所述两路视频流所分别包括的视频数据的数据类型,确定所述多个数据包中每个数据包的所述第三信息域的内容。
7.根据权利要求1-6任一项所述的相机模组,其特征在于,所述第一预设接口还用于接收所述控制器发送的同步曝光指令,并将所述同步曝光指令发送给所述串化器;
所述串化器还用于将所述同步曝光指令同步发送给所述两组摄像头;
所述两组摄像头还用于在进行视频流采集时,基于所述同步曝光指令,进行同步曝光。
8.根据权利要求7所述的相机模组,其特征在于,所述串化器设置有与所述两组摄像头一一对应的两个第二预设接口;
所述串化器用于通过所述两个第二预设接口将所述同步曝光指令同步发送给所述两组摄像头。
9.根据权利要求1-8任一项所述的相机模组,其特征在于,所述串化器用于从所述控制器接收初始化配置信息,以及根据所述初始化配置信息,通过集成电路总线对所述两组摄像头进行初始化配置。
10.一种数据传输方法,其特征在于,包括:
响应于接收到由两组摄像头采集的两路视频流,将所述两路视频流所包括的视频数据,转换为一路目标数据;
通过第一预设接口,将所述目标数据发送给控制器。
11.根据权利要求10所述的方法,其特征在于,还包括:
接收所述控制器通过所述第一预设接口发送的同步曝光指令;
将所述同步曝光指令同步发送给所述两组摄像头,以使所述两组摄像头在进行视频流采集时,基于所述同步曝光指令,进行同步曝光。
12.一种数据传输方法,其特征在于,包括:
接收串化器通过第一预设接口发送的一路目标数据,所述目标数据由串化器对两组摄像头采集的两路视频流中的视频数据进行转换生成;
对所述目标数据进行解析,得到两组摄像头中的每一组摄像头采集的视频流所包括的视频数据。
13.根据权利要求12所述的方法,其特征在于,还包括:
通过所述第一预设接口,将同步曝光指令发送给所述串化器,以使所述串化器将所述同步曝光指令同步发送给所述两组摄像头。
14.一种数据传输装置,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现权利要求10-11或12-13中任一项所述的数据传输方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求10-11或12-13任一所述的数据传输方法。
16.一种车辆,其特征在于,所述车辆包括权利要求1-9任一项所述的相机模组。
17.根据权利要求16所述的车辆,其特征在于,所述相机模组安装于所述车辆的B柱位置。
CN202110130159.5A 2021-01-29 2021-01-29 相机模组、数据传输方法及装置、存储介质和车辆 Active CN112954272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110130159.5A CN112954272B (zh) 2021-01-29 2021-01-29 相机模组、数据传输方法及装置、存储介质和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110130159.5A CN112954272B (zh) 2021-01-29 2021-01-29 相机模组、数据传输方法及装置、存储介质和车辆

Publications (2)

Publication Number Publication Date
CN112954272A true CN112954272A (zh) 2021-06-11
CN112954272B CN112954272B (zh) 2023-10-24

Family

ID=76240243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110130159.5A Active CN112954272B (zh) 2021-01-29 2021-01-29 相机模组、数据传输方法及装置、存储介质和车辆

Country Status (1)

Country Link
CN (1) CN112954272B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205530A (zh) * 2021-12-23 2022-03-18 深圳金语科技有限公司 一种面向车载摄像头模组的自适应控制方法及系统
CN114500834A (zh) * 2022-01-19 2022-05-13 上汽通用五菱汽车股份有限公司 车载全景影像系统的复位方法、装置、设备和存储介质
WO2023000903A1 (zh) * 2021-07-23 2023-01-26 Oppo广东移动通信有限公司 数据传输、接收方法及装置、芯片、设备、存储介质
CN117011787A (zh) * 2023-07-12 2023-11-07 中关村科学城城市大脑股份有限公司 应用于加油站的信息处理方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1324593A2 (en) * 2001-12-28 2003-07-02 Karl Storz Imaging Inc. Intelligent camera head
KR20120079255A (ko) * 2011-01-04 2012-07-12 (주)이노엑시스 비디오데이터를 전송하는 대용량 비디오 매트릭스 장치 및 방법
WO2017049923A1 (zh) * 2015-06-17 2017-03-30 广州市巽腾信息科技有限公司 一种多功能移动图像处理装置、处理方法及用途
WO2018082284A1 (zh) * 2016-11-01 2018-05-11 深圳市圆周率软件科技有限责任公司 3d全景音视频直播系统及音视频采集方法
CN208971624U (zh) * 2018-10-31 2019-06-11 深圳市易成自动驾驶技术有限公司 车载摄像系统
CN112153306A (zh) * 2020-09-30 2020-12-29 深圳市商汤科技有限公司 图像采集系统、方法、装置、电子设备及可穿戴设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1324593A2 (en) * 2001-12-28 2003-07-02 Karl Storz Imaging Inc. Intelligent camera head
KR20120079255A (ko) * 2011-01-04 2012-07-12 (주)이노엑시스 비디오데이터를 전송하는 대용량 비디오 매트릭스 장치 및 방법
WO2017049923A1 (zh) * 2015-06-17 2017-03-30 广州市巽腾信息科技有限公司 一种多功能移动图像处理装置、处理方法及用途
WO2018082284A1 (zh) * 2016-11-01 2018-05-11 深圳市圆周率软件科技有限责任公司 3d全景音视频直播系统及音视频采集方法
CN208971624U (zh) * 2018-10-31 2019-06-11 深圳市易成自动驾驶技术有限公司 车载摄像系统
CN112153306A (zh) * 2020-09-30 2020-12-29 深圳市商汤科技有限公司 图像采集系统、方法、装置、电子设备及可穿戴设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023000903A1 (zh) * 2021-07-23 2023-01-26 Oppo广东移动通信有限公司 数据传输、接收方法及装置、芯片、设备、存储介质
CN114205530A (zh) * 2021-12-23 2022-03-18 深圳金语科技有限公司 一种面向车载摄像头模组的自适应控制方法及系统
CN114205530B (zh) * 2021-12-23 2024-05-03 深圳金语科技有限公司 一种面向车载摄像头模组的自适应控制方法及系统
CN114500834A (zh) * 2022-01-19 2022-05-13 上汽通用五菱汽车股份有限公司 车载全景影像系统的复位方法、装置、设备和存储介质
CN114500834B (zh) * 2022-01-19 2023-11-21 上汽通用五菱汽车股份有限公司 车载全景影像系统的复位方法、装置、设备和存储介质
CN117011787A (zh) * 2023-07-12 2023-11-07 中关村科学城城市大脑股份有限公司 应用于加油站的信息处理方法、装置和电子设备
CN117011787B (zh) * 2023-07-12 2024-02-02 中关村科学城城市大脑股份有限公司 应用于加油站的信息处理方法、装置和电子设备

Also Published As

Publication number Publication date
CN112954272B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN112954272B (zh) 相机模组、数据传输方法及装置、存储介质和车辆
US20210117705A1 (en) Traffic image recognition method and apparatus, and computer device and medium
EP3848853A2 (en) Image detection method, apparatus, electronic device and storage medium
KR20200087134A (ko) 관심 영역 모드 선택을 갖는 송신 장치 및 방법
KR20200087751A (ko) 송신 장치
CN113329219A (zh) 多输出参数可动态配置深度相机
CN105721789A (zh) 一种低延时全向导航视频多模式显示控制方法
US20230336861A1 (en) Configuration method and apparatus
CN113989598A (zh) 基于图像的识别方法、装置及车辆
US20180167550A1 (en) Camera system and operating methods therefor
CN110875852B (zh) 一种自动识别设备间网络拓扑结构的系统
CN107623834A (zh) 一种基于fpga的运动目标检测系统
KR100955577B1 (ko) 이미지 평가 정보를 제공하는 이미지 처리 장치 및 방법
WO2023176754A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム
CN218825618U (zh) 一种视频数据处理装置和车辆
CN220653423U (zh) 信号转换装置
TWI717021B (zh) 影像處理系統及其人工智慧晶片
TWI827725B (zh) 圖像處理裝置及圖像處理方法
CN108307099A (zh) 一种基于无线网络通讯的工业相机系统
CN115297241B (zh) 一种图像采集系统
CN116996749B (zh) 多监控画面下的远程目标对象跟踪系统和方法
Chakravarthi et al. Zigbee Image Transmission for Detecting and Tracking Multi Color Moving Object
CN209299387U (zh) 一种三目摄像机
US20200311902A1 (en) Data processing apparatus, data analysis system, data analysis method and storage medium
KR101981523B1 (ko) 다자간 적외선 입력장치 위치 인식을 위한 사용자 식별 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant