CN110312056B - 一种同步曝光方法和图像采集设备 - Google Patents

Abstract

本发明公开一种同步曝光方法和图像采集设备。本发明的图像采集设备包括深度摄像头和RGB摄像头；本发明的方法包括：在深度摄像头曝光后开始传输深度图像时，利用预先建立在所述深度摄像头和RGB摄像头之间的信号通道向所述RGB摄像头发送同步信号，所述同步信号用于控制所述RGB摄像头与所述深度摄像头同步曝光；所述RGB摄像头利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，使得所述深度摄像头和所述RGB摄像头同步曝光，实现所述RGB图像与所述深度图像同步传输。本发明的技术方案可以完成深度摄像头和RGB摄像头的同步曝光功能，实现深度图像和RGB图像的时间对齐，避免随着时间积累引起的图像帧间错位。

Description

一种同步曝光方法和图像采集设备

技术领域

本发明涉及一种同步曝光方法和图像采集设备。

背景技术

随着当前技术的不断发展，人们也在不断地探索全新的人机交互方式，特别是在机器的生物识别和自动识别方面更是如此。骨骼识别、人脸识别等识别方法仅依赖普通的RGB图像在识别精度，识别效率等方面存在诸多的限制，因此基于深度相机和RGB相机融合是目前完成机器识别的一种较好的解决方案。

深度相机和RGB相机在图像融合过程中需要完成两颗摄像机图像的空间对齐和时间对齐，空间对齐可以通过图像标定完成两颗摄像机的空间对应关系。对于普通的两颗RGB摄像机时间对齐可以通过一个同步信号触发两颗摄像机启动开始曝光来完成摄像机之间的同步操作。但是对于一颗深度摄像机和一颗普通的RGB摄像机而言，由于摄像机的成像原理的不同，曝光时间无法做到统一，使用同一信号来完成两个摄像机的同步虽然可以实现触发同步曝光，但是无法确保后续的传输同步，由于曝光和图像传输差异引起的时间差异需要根据实际特异地设置每一帧图像的判断条件，大大增加了设计的复杂性，并且由于时间差异的拉大，丢帧现象出现的概率也会大大增加。目前商用深度摄像机和RGB摄像机并没有成熟的同步解决方案，针对TOF深度摄像机和RGB摄像机同步的方法更是一片空白。

发明内容

本发明提供了一种同步曝光方法和图像采集设备，以至少部分解决上述问题。

第一方面，本发明提供了一种同步曝光方法，用于包括深度摄像头和RGB摄像头的图像采集设备，所述方法包括：在所述深度摄像头曝光后开始传输深度图像时，利用预先建立在所述深度摄像头和所述RGB摄像头之间的信号通道向所述RGB摄像头发送同步信号，所述同步信号用于控制所述RGB摄像头与所述深度摄像头同步曝光；所述RGB摄像头利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，使得所述深度摄像头和所述RGB摄像头同步曝光，实现所述RGB图像与所述深度图像同步传输。

第二方面，本发明提供了一种图像采集设备，包括：包括：深度摄像头和RGB摄像头，所述深度摄像头和所述RGB摄像头之间建立有信号通道；所述深度摄像头，在曝光后开始传输深度图像时，利用所述信号通道向所述RGB摄像头发送同步信号，所述同步信号用于控制所述RGB摄像头与所述深度摄像头同步曝光；所述RGB摄像头，利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，使得所述深度摄像头和所述RGB摄像头同步曝光，实现所述RGB图像与所述深度图像同步传输。

本发明基于深度摄像头和RGB摄像头在曝光完成后即立刻开始传输的特性，将曝光结束时刻也即开始传输这一特殊时刻作为两个摄像头同步的时间节点，将深度摄像头作为主设备主动触发RGB摄像头完成同步，RGB摄像头在接收到同步信号时开始传输，并且同步自身的时序，从而完成深度摄像头和RGB摄像头的同步曝光功能，实现深度图像和RGB图像的时间对齐，避免随着时间积累引起的图像帧间错位，从而大大提高用户使用过程中的识别效率和识别准确度。

附图说明

图1为本发明实施例示出的同步曝光方法流程图；

图2为本发明实施例示出的硬件同步曝光输出的主要处理流程示意图；

图3为本发明实施例示出的信号通道示意图；

图4为本发明实施例示出的深度摄像头和RGB摄像头的同步时序示意图；

图5为本发明实施例示出的帧同步匹配流程图；

图6为本发明实施例示出的图像采集设备结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

深度摄像机是一种基于飞行时间(Time of fly)来完成物体深度识别的图像解决方案。飞行时间是以计算激光发射并返回接收器之间的时间来推算物体距离的方法，为了能够高效的采集整个空间的深度信息，因此在接收器设计上使用了全局曝光的形式，即多行同时曝光，并且会在一个周期内循环多次曝光以达到准确测量的目的。

与之相对的RGB摄像机，由于成本方面的限制，商用的摄像机一般采取卷帘式曝光，即一行一行的曝光来达到降低成本的目的，当然现在市面上也存在部分RGB摄像机为了提高性能采用了全局曝光的方式，但无论何种曝光方式，RGB摄像机在一个拍摄周期内也仅仅曝光一次。这些成像原理方面的差异造成了深度摄像机和RGB摄像机无法像普通的摄像机那样直接做到曝光同步。

基于这个背景本发明主要完成了基于深度摄像机和RGB摄像机图像帧的时间同步，确保了深度摄像机和RGB摄像机可以在同一时间捕获并且输出图像，且同步的图像不会随着时间的推移而产生图像错位或者丢帧问题，从而提高了图像识别的精度和效率。

本发明提供一种同步曝光方法，用于包括深度摄像头和RGB摄像头的图像采集设备，所述图像采集设备包括但不限于智能相机。

图1为本发明实施例示出的同步曝光方法流程图，如图1所示，本实施例的方法包括：

S110，在所述深度摄像头曝光后开始传输深度图像时，利用预先建立在所述深度摄像头和所述RGB摄像头之间的信号通道向所述RGB摄像头发送同步信号，所述同步信号用于控制所述RGB摄像头与所述深度摄像头同步曝光。

S120，所述RGB摄像头利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，使得所述深度摄像头和所述RGB摄像头同步曝光，实现所述RGB图像与所述深度图像同步传输。

本实施例基于深度摄像头和RGB摄像头在曝光完成后即立刻开始传输的特性，将曝光结束时刻也即开始传输这一特殊时刻作为两个摄像头同步的时间节点，将深度摄像头作为主设备主动触发RGB摄像头完成同步，RGB摄像头在接收到同步信号时开始传输，并且同步自身的时序，从而完成深度摄像头和RGB摄像头的同步曝光功能，实现深度图像和RGB图像的时间对齐，避免随着时间积累引起的图像帧间错位，从而大大提高用户使用过程中的识别效率和识别准确度。

下面结合图1-5对上述步骤S110-S120进行详细说明。

首先，执行步骤S110，即在所述深度摄像头曝光后开始传输深度图像时，利用预先建立在所述深度摄像头和所述RGB摄像头之间的信号通道向所述RGB摄像头发送同步信号，所述同步信号用于控制所述RGB摄像头与所述深度摄像头同步曝光。

由于普通的两颗RGB摄像头的同步一般使用曝光同步信号来完成两个RGB摄像头之间的同步工作，因为摄像头的特性一致，因此可以很好地解决同步问题。但该方案无法用于TOF和RGB的同步，主要原因是深度摄像头的曝光原理不同于RGB摄像头的曝光原理，虽然深度摄像头也会输出曝光起始的信号，但是该信号一般是以短脉冲的方式输出，其脉冲宽度一般只能维持深度摄像头一次曝光的时间周期，该时间一般在几个ns，对于普通的RGB摄像头很难捕获这么短时间的脉冲信号，并且即使可以捕获，由于深度摄像头和RGB摄像头之间曝光原理的差异，也无法控制在不同场景下的两颗摄像头的曝光耗时，这样就造成了虽然可以同步，但是通过MIPI传输到QCS605主控芯片时的图像无法区分是否为同一帧的图像，进而造成用户可以获得图像但是无法正确使用的状况。

针对上述情况，如图2所示，本实施例在预先在硬件层面上增加一路同步信号，连接深度摄像头(即图2中的TOF camera)和RGB摄像头(即图2中的RGB camera)，利用该路同步信号实现将同步信号从TOF camera传递到RGB camera上。

在一些实施例中，将所述深度摄像头的场同步数字信号管脚(即VS管脚)连接至所述RGB摄像头的GPIO接口，并将所述GPIO接口配置为输入模式。

如图3所示，TOF camera和RGB camera分别通过连接控制(Connection ControlInterface，CCI)接口和移动产业处理器接口(Mobile Industry Processor Interface，MIPI)接口连接到底层驱动时间系统上，其中MIPI接口用于将TOF camera和RGB camera的数据从摄像头侧传递到底层驱动时间系统上，一个示例中，底层驱动时间系统可以为高通QCS605芯片，QCS605芯片通过CCI接口实现对TOF camera和RGB camera的配置和控制。

参考图3，本实施例将TOF camera的VS管脚连接至RGB camera的GPIO接口，QCS605芯片通过CCI1接口配置GPIO接口为输入模式，并且将GPIO接口接收到的信号作为同步信号源，之后打开RGB camera的同步功能，完成对RGB camera的配置，使RGB camera能够根据同步信号控制MIPI1通道中信号的输出时序，同时据此来调整下一帧RGB的曝光时序，循环往复，从而达到和TOF camera的同步曝光。

本实施例充分利用传感器的基本特性，利用深度摄像机的VS信号作为深度摄像头和RGB摄像头的硬件触发信号，并且将该信号连接到RGB摄像头中，配置连接的GPIO管脚，使该管脚可以接收该同步信号，完成硬件同步触发传输的工作。通过将VS信号作为深度摄像头默认输出的帧同步信号，不需要额外的配置，直接复用该信号，降低了系统设计的复杂性。

其中，本实施例中的同步信号为由高电平与低电平组成的周期信号，所述深度摄像头在每帧深度图像开始传输时通过所述信号通道输出高电平，在每帧深度图像传输完成后通过所述信号通道输出低电平。

如图4所示，深度摄像头启动后则会按照默认配置输出深度图像(即图4中的TOF图像)，并且在每一帧深度图像开始传输时在VS管脚上输出高电平，传输完成后则将电平拉低，RGB摄像头在收到同步信号后也会同时输出RGB图像，从而达到深度图像和RGB图像同时传输的目的，并且由于该同步信号的触发传入，可以让RGB摄像头根据该同步信号调整下一帧RGB图像的曝光时序，做到同时曝光的目的。

其中，本实施例所述的深度摄像头和RGB摄像头的同步曝光是指曝光结束时刻的同步性，而非曝光起始时刻的同步性，即深度摄像头和RGB摄像头的同步曝光可以理解为深度摄像头和RGB摄像头的曝光结束时刻的差值在预设范围内，该预设范围可以根据同步精度进行设定。

在通过所述信号通道向所述RGB摄像头发送同步信号时，继续执行步骤S120，即所述RGB摄像头利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，使得所述深度摄像头和所述RGB摄像头同步曝光，实现所述RGB图像与所述深度图像同步传输。

在一些实施例中，RGB摄像头在收到同步信号后会同时输出RGB图像，从而达到深度图像和RGB图像同时传输的目的。即所述RGB摄像头在接收到第一个高电平时，不输出RGB图像，而是计算第一帧RGB图像的曝光起始时刻，在所述曝光起始时刻到来时所述RGB摄像头开始曝光采集第一帧RGB图像，所述RGB摄像头在所述第一帧RGB图像的曝光结束时刻接收到第二个高电平。

其中，所述第一个高电平为所述深度摄像头开始传输第零帧深度图像时，通过所述信号通道向所述RGB摄像传输的首个高电平，所述第二个高电平为所述深度摄像头开始传输第一帧深度图像时，通过所述信号通道向所述RGB摄像传输的第二个高电平。

如图4所示，在深度摄像头刚开始传输时，此时通过VS管脚向RGB摄像头传输同步信号，RGB摄像头在首次收到该同步信号时由于并没有工作，因此此时不输出第0帧RGB图像，但是会根据该同步信号计算内部时序，并且做出相应的预判，给出第一帧RGB图像的曝光起始时间点，并且控制内部电路进入准备状态，一旦第一帧RGB图像的曝光起始时间点到达则立即开始曝光并采集RGB图像，等待第一帧深度图像完成曝光开始传输时，这时第一帧RGB图像也同时完成了曝光和采集，在同步信号的第二个高电平到达时立即输出，如果在该过程中存在时间的前后差异，则依赖于同步信号来修正RGB摄像头的内部时序来实现曝光时间和图像传输时间点的提前或延后，从而保证深度图像和RGB图像的同步传输。

通过图4可以看出，本实施例中第0帧深度图像不存在同步的RGB图像。

在实际应用中，可以在设备的驱动层增加一个硬件同步控制单元，利用该硬件同步控制单元完成对深度摄像头和RGB摄像头实现同步功能的必要逻辑控制，例如实现对同步过程中帧率、时序调整、同步功能开关的控制，并且在该硬件同步控制单元中基于高通平台实现了对每帧图像增加时间戳、曝光时间等信息的绑定，便于图像帧匹配模块的使用。

如图3所示，在深度摄像头曝光后通过MIPI0通道开始传输深度图像，QCS605芯片对深度图像进行处理，使所述深度图像携带时间戳和曝光时间；同样的，在RGB摄像头曝光后开始通过MIPI1通道开始传输RGB图像时，QCS605芯片对RGB图像进行处理，使所述RGB图像携带时间戳和曝光时间；其中，所述时间戳标识图像对应的曝光起始时间，所述曝光时间标识图像对应的曝光耗时，所述深度图像的时间戳与所述RGB图像的时间戳不同。

如图2所示，在一些实施例中，驱动层完成硬件同步后会利用不同信号传输通道传输由所述RGB图像组成的RGB图像数据流和由所述深度图像组成的深度图像数据流，将携带有时间戳和曝光时间的数据流上传到framwork层，framwork层中的图像帧匹配模块根据所述时间戳和曝光时间，分别获取RGB图像的SOF时间和深度图像的SOF时间并根据所述SOF时间从所述RGB图像数据流和深度图像数据流中获取同步帧图像。

在一些实施例中，构建帧缓存队列，将获取到的深度图像数据流中的深度图像依次缓存到所述帧缓存队列中，例如缓存三帧深度图像，获取所述RGB图像数据流的RGB图像，并从缓存在所述述帧缓存队列中的深度图像中确定所述RGB图像对应的同步深度图像。

如图5所示，当图像帧匹配模块接收到图像时，判断该图像的类型，当该图像为TOF图像时，则将该图像缓存到帧缓存队列中，例如缓存到一个大小为3的buf数组队列中去，如果队列不满，则按照顺序依次将接受的TOF图像加入到队列中缓存起来，如果队列已经为满队列状态，此时则将队列的头帧buf移出队列，其余队列中的元素依次向队头移动，将新接收的TOF图像放置到队尾，以此循环进行。

当接收的图像是RGB图像时，则计算该RGB图像的SOF时间，由于本实施例采取了同步传输的方式，因此需要将两幅图像的SOF时间作为图像同步的重要依据，由于本实施例在图像上添加了时间戳和曝光时间等信息，利用这些信息可以计算得到图像的SOF时间。

对于RGB图像来说，可以通过公式T_rgb＝rgbBuf[i].timestatmp+rgbBuf[i].exposure计算RGB图像的SOF时间，其中T_rgb表示第i帧RGB图像的SOF时间，rgbBuf[i].timestatmp表示第i帧RGB图像的时间戳，rgbBuf[i].exposure表示第i帧RGB图像的曝光时间。

对于TOF图像来说，由于曝光原理的差异，TOF摄像头的曝光是由摄像头本身自动控制调节的，不受高通处理模块的控制，因此高通默认的驱动层中无法获得准确的曝光起始时间和曝光时间。由此，在一些实施例中，对于TOF图像携带的时间戳其本质上就是图像传输的开始时间，可直接使用，即TOF图像的SOF时间表示为T_tof[j]＝tofBuf[j].timestatmp+0；(j＝0,1,2)，其中T_tof[j]表示第j帧TOF图像的SOF时间，tofBuf[j].timestatmp表示第j帧TOF图像的时间戳，第j帧TOF图像的曝光时间记为零。

通过上述步骤分别获得了RGB图像的SOF时间和在缓存在队列中的3帧TOF图像的SOF时间，将RGB图像的SOF时间依次与3帧TOF图像的SOF做差，如果差值在10ms范围内，则认为该帧TOF图像和RGB图像为匹配的同步帧图像，将这两帧图像信息绑定，传给用户使用，如果比较完队列中三帧TOF图像没有差值符合10ms限制的TOF图像，则认为该帧RGB图像匹配失败，放弃该帧RGB图像，等待下一帧RGB图像的同步帧匹配。

本发明通过硬件同步方案使用同步信号从硬件层面完成了深度摄像头和RGB摄像头的曝光同步，可以很好地完成深度图像和RGB图像的时间对齐，避免了随着时间积累引起的图像帧间错位，从而大大提高用户使用过程中的识别效率和识别准确度，基于本发明的同步曝光方法可以有效完成骨骼识别、人脸识别等算法。

本发明还提供一种图像采集设备，该图像采集设备包括但不限于智能相机。

图6为本发明实施例示出的图像采集设备结构框图，如图6所示，本实施例的图像采集设备包括：深度摄像头和RGB摄像头，所述深度摄像头和所述RGB摄像头之间建立有信号通道；

所述深度摄像头，在曝光后开始传输深度图像时，利用所述信号通道向所述RGB摄像头发送同步信号，所述同步信号用于控制所述RGB摄像头与所述深度摄像头同步曝光；

所述RGB摄像头，利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，使得所述深度摄像头和所述RGB摄像头同步曝光，实现所述RGB图像与所述深度图像同步传输。

在一些实施例中，所述深度摄像头的场同步数字信号管脚连接至所述RGB摄像头的GPIO接口。

在一些实施例中，图6所示的图像采集设备还包括驱动控制芯片；所述深度摄像头通过第一MIPI接口和第一CCI接口连接所述驱动控制芯片，所述RGB摄像头通过第二MIPI接口和第二CCI接口连接所述驱动控制芯片；所述深度摄像头，通过所述第一MIPI接口将深度图像数据传输给所述驱动控制芯片；所述RGB摄像头，通过所述第二MIPI接口将RGB图像数据传输给所述驱动控制芯片；所述驱动控制芯片，通过所述第一CCI接口对所述深度摄像头进行控制和配置，以及通过所述第二CCI接口对所述RGB摄像头进行控制和配置，包括将GPIO接口配置为输入模式。实际应用中，所述驱动控制芯片可以由高通QCS605芯片实现。

在一些实施例中，图6所示的图像采集设备还包括图形处理器，用于接收利用不同信号传输通道传输的由所述RGB图像组成的RGB图像数据流和由所述深度图像组成的深度图像数据流；根据所述时间戳和曝光时间，分别获取所述RGB图像的SOF时间和所述深度图像的SOF时间；根据所述SOF时间从所述RGB图像数据流和深度图像数据流中获取同步帧图像。

对于图像采集设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的图像采集设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种同步曝光方法，其特征在于，用于包括深度摄像头和RGB摄像头的图像采集设备，所述方法包括：

在所述深度摄像头曝光后开始传输深度图像时，利用预先建立在所述深度摄像头和所述RGB摄像头之间的信号通道向所述RGB摄像头发送同步信号，所述同步信号为由高电平与低电平组成的周期信号，所述深度摄像头在每帧深度图像开始传输时通过所述信号通道输出高电平，在每帧深度图像传输完成后通过所述信号通道输出低电平，所述同步信号用于控制所述RGB摄像头与所述深度摄像头同步曝光；

所述RGB摄像头利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，使得所述深度摄像头和所述RGB摄像头同步曝光，实现所述RGB图像与所述深度图像同步传输，其中所述RGB摄像头与所述深度摄像头同步曝光是指曝光结束时刻的同步性；其中，所述RGB摄像头利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，包括：

所述RGB摄像头在接收到第一个高电平时，不输出RGB图像，而是计算第一帧RGB图像的曝光起始时刻，在所述曝光起始时刻到来时所述RGB摄像头开始曝光采集第一帧RGB图像，所述RGB摄像头在所述第一帧RGB图像的曝光结束时刻接收到第二个高电平；所述第一个高电平为所述深度摄像头开始传输第零帧深度图像时，通过所述信号通道向所述RGB摄像传输的首个高电平，所述第二个高电平为所述深度摄像头开始传输第一帧深度图像时，通过所述信号通道向所述RGB摄像传输的第二个高电平。

2.根据权利要求1所述的方法，其特征在于，通过下述方法建立所述信号通道：

将所述深度摄像头的场同步数字信号管脚连接至所述RGB摄像头的GPIO接口，并将所述GPIO接口配置为输入模式。

3.根据权利要求1所述的方法，其特征在于，所述在所述深度摄像头曝光后开始传输深度图像时，包括：在开始传输所述深度图像时，对所述深度图像进行处理，使所述深度图像携带时间戳和曝光时间；

所述在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，包括：在开始传输所述RGB图像时，对所述RGB图像进行处理，使所述RGB图像携带时间戳和曝光时间；

其中，所述时间戳标识图像对应的曝光起始时间，所述曝光时间标识图像对应的曝光耗时，所述深度图像的时间戳与所述RGB图像的时间戳不同。

4.根据权利要求3所述的方法，其特征在于，所述实现所述RGB图像与所述深度图像同步传输，包括：

利用不同信号传输通道传输由所述RGB图像组成的RGB图像数据流和由所述深度图像组成的深度图像数据流；

根据RGB图像携带的时间戳和曝光时间的和值，获取所述RGB图像的SOF时间，以及根据深度图像携带的时间戳和曝光时间的和值，获取所述深度图像的SOF时间；

根据所述SOF时间从所述RGB图像数据流和深度图像数据流中获取同步帧图像。

5.一种图像采集设备，其特征在于，包括：深度摄像头和RGB摄像头，所述深度摄像头和所述RGB摄像头之间建立有信号通道；

所述深度摄像头，在曝光后开始传输深度图像时，利用所述信号通道向所述RGB摄像头发送同步信号，所述同步信号为由高电平与低电平组成的周期信号，所述深度摄像头在每帧深度图像开始传输时通过所述信号通道输出高电平，在每帧深度图像传输完成后通过所述信号通道输出低电平，所述同步信号用于控制所述RGB摄像头与所述深度摄像头同步曝光；

所述RGB摄像头，利用所述同步信号计算曝光起始时刻，在所述曝光起始时刻到来时开始曝光并在曝光后开始传输RGB图像，使得所述深度摄像头和所述RGB摄像头同步曝光，实现所述RGB图像与所述深度图像同步传输，其中所述RGB摄像头在接收到第一个高电平时，不输出RGB图像，而是计算第一帧RGB图像的曝光起始时刻，在所述曝光起始时刻到来时所述RGB摄像头开始曝光采集第一帧RGB图像，所述RGB摄像头在所述第一帧RGB图像的曝光结束时刻接收到第二个高电平；

所述第一个高电平为所述深度摄像头开始传输第零帧深度图像时，通过所述信号通道向所述RGB摄像传输的首个高电平，所述第二个高电平为所述深度摄像头开始传输第一帧深度图像时，通过所述信号通道向所述RGB摄像传输的第二个高电平；所述RGB摄像头与所述深度摄像头同步曝光是指曝光结束时刻的同步性。

6.根据权利要求5所述的图像采集设备，其特征在于，所述深度摄像头的场同步数字信号管脚连接至所述RGB摄像头的GPIO接口。

7.根据权利要求6所述的图像采集设备，其特征在于，还包括：驱动控制芯片；

所述深度摄像头通过第一MIPI接口和第一CCI接口连接所述驱动控制芯片，所述RGB摄像头通过第二MIPI接口和第二CCI接口连接所述驱动控制芯片；

所述深度摄像头，通过所述第一MIPI接口将深度图像数据传输给所述驱动控制芯片；

所述RGB摄像头，通过所述第二MIPI接口将RGB图像数据传输给所述驱动控制芯片；

所述驱动控制芯片，通过所述第一CCI接口对所述深度摄像头进行控制和配置，以及通过所述第二CCI接口对所述RGB摄像头进行控制和配置，包括将GPIO接口配置为输入模式。

Images