CN114598786B - 多摄像头的帧同步控制方法及自行走设备 - Google Patents

Abstract

本申请提供了一种多摄像头的帧同步控制方法，用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，所述方法包括：在所述第一摄像头进行第一图像帧拍摄时，发出同步指令；响应于接收到所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；在所述发送时间向所述第二摄像头发送所述帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。该多摄像头的帧同步控制方法，可以保证对多个摄像头进行同一个时钟周期内进行错峰拍摄，从而达到分时复用的目的。

Description

多摄像头的帧同步控制方法及自行走设备

技术领域

本申请涉及智能设备技术领域，尤其是涉及到一种多摄像头的帧同步控制方法、自行走设备、存储介质及电子设备。

背景技术

随着人工智能的发展，各种场景下的智能设备越来越普遍。例如，智能家居设备、自动驾驶送货车等，这些智能设备可以自行走，以便完成清洁、运输等任务。自行走的智能设备，都配备有摄像头，为了获取到多方位多角度的周围图像，往往有两个摄像头(双目摄像头)或者更多的摄像头(多目摄像头)，如何对两个以上摄像头的图像帧进行时钟同步控制，是需要解决的一个技术问题。

发明内容

有鉴于此，本申请提供了一种多摄像头的帧同步控制方法、自行走设备、存储介质及电子设备，主要目的在于解决如何对多摄像头拍摄的图像帧进行同步控制的技术问题。

依据本申请的一个方面，提供了一种多摄像头的帧同步控制方法，用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，所述方法包括：在所述第一摄像头进行第一图像帧拍摄时，发出同步指令；响应于接收到所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；在所述发送时间向所述第二摄像头发送所述帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。

依据本申请的一个方面，提供了一种自行走设备，所述自行走设备包括第一摄像头、第二摄像头和控制器，其中，所述第一摄像头，在进行第一图像帧拍摄时，发出同步指令；所述控制器，响应于接收到的所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间，并在所述发送时间向所述第二摄像头发送帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。

依据本申请的一个方面，提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的多摄像头的帧同步控制方法。

依据本申请的一个方面，提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述的多摄像头的帧同步控制方法。

借由上述技术方案，本申请提供的一种多摄像头的帧同步控制方法、自行走设备、存储介质及电子设备，基于第一摄像头拍摄时间，根据时间偏移量确定帧同步信号发送时间，并在该发送时间发送帧同步信号以控制第二摄像头拍摄图像的时间，可以保证在同一个信号周期内各个摄像头进行错峰拍摄，从而达到对不同摄像头所拍摄图像进行分时复用的目的。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种多摄像头的帧同步控制方法的实施场景示意图；

图2示出了本申请实施例提供的一种多摄像头的帧同步控制方法示例一流程图；

图3示出了本申请实施例提供的同一个拍摄信号周期内错峰拍摄的示意图；

图4示出了本申请实施例提供的一种多摄像头的帧同步控制方法示例二流程图；

图5示出了本申请实施例提供的自行走设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

参见图1，为本申请实施例提供的一种多摄像头的帧同步控制方法的实施场景示意图，该场景示出了自行走设备10，该自行走设备10上配置有至少两个摄像头，图1中示例性的示出了第一摄像头100和第二摄像头200，第一摄像头100和第二摄像头200配合拍摄，从而保证获取到多方位、多角度的图像，以便更完整、清晰的得到自行走设备10的周围环境，为自行走设备10在行走过程中进行障碍物避让提供依据。该自行走设备10可以是清洁机器人、自动驾驶送货车、陪伴机器人等智能设备，本申请实施例对此不做限定，可以理解，本申请实施例所提及的自行走设备可以是现有以及未来出现的所有可自行走的智能设备。

参见图2，为本申请实施例提供的一种多摄像头的帧同步控制方法示例一流程图，该方法用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，包括如下步骤S201-S203。

S201：在第一摄像头进行第一图像帧拍摄时，发出同步指令。

可以理解，对于使用双目摄像头(或者多目摄像头)的自行走设备而言，需要获取到同一个拍摄信号周期内的两个(或更多个)摄像头拍摄的图像，从而为图像合成、校准和分析提供依据，因此，需要对两个或多个摄像头进行时钟同步，这里的时钟同步，是指将每个摄像头错峰拍摄的至少两个图像(第一摄像头拍摄第一图像帧，第二摄像头拍摄第二图像帧)，控制在拍摄时钟的同一个拍摄信号周期内。

可以理解，本申请实施例提供的多摄像头的帧同步控制方法，可以对至少两个摄像头的图像帧进行同步控制，为了简便，以下以两个摄像头(第一摄像头和第二摄像头)为例进行说明，对于两个以上摄像头的场景，同样可以采用本申请实施例提供的方案进行处理。

在一种实现方式中，为了对两个摄像头进行时钟同步，本申请实施例所采取的方式是，在一个摄像头(例如主摄像头)进行拍摄时，另一个摄像头(例如从摄像头)不进行拍摄或者对拍摄的图像丢弃不用，反之，在从摄像头进行拍摄时，主摄像头不进行拍摄或对拍摄的图像丢弃不用。同时，在第一摄像头进行拍摄时，记录下这个拍摄时间，以此时刻发出同步指令，从而控制后续对第二摄像头进行时钟同步。

S202：响应于接收到同步指令时，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间。

假设第一摄像头的开始拍摄第一图像帧是从t0时刻开始的，则在t0时刻发出同步指令，该同步指令的目的是记录下第一摄像头开始拍摄的时间。然后，根据与第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间。

S203：在上述发送时间向第二摄像头发送帧同步信号，以控制第二摄像头进行第二图像帧的拍摄。

假设，第一摄像头在t0时刻进行了第一图像帧的拍摄，基于两个摄像头拍摄图像帧的时间偏移量为Δt，那么，控制第二摄像头在“t0+Δt”时刻进行第二图像帧的拍摄。

可见，为了实现不同摄像头的时钟同步，第一摄像头拍摄第一图像帧及第二摄像头拍摄第二图像帧，是在同一个拍摄信号周期内完成的，其中，通过时间偏移量，控制第二图像帧的拍摄时刻与第一图像帧的拍摄时刻不同。

参见图3，为两个摄像头在同一个拍摄信号周期内错峰拍摄的示意图。图3例子中，第一摄像头和第二摄像头使用相同频率的拍摄时钟CLK，在CLK每一个拍摄信号周期内，控制第一摄像头和第二摄像头至少错峰拍摄一次，即，至少拍摄至少一个第一图像帧和第二图像帧，图3中，示意出了在每一个拍摄信号周期内，每个摄像头拍摄两次，具体的，第一摄像头在t1和t2时刻进行拍摄，第二摄像头在“t1+Δt”及“t2+Δt”时刻进行拍摄。从图中可知，这四个时刻都落在同一个拍摄信号周期内。

在另一种实现方式中，为了对两个摄像头进行时钟同步，在一个摄像头(例如主摄像头)进行拍摄时，另一个摄像头(例如从摄像头)不进行拍摄或者对拍摄的图像丢弃不用，反之，在从摄像头进行拍摄时，主摄像头不进行拍摄或对拍摄的图像丢弃不用。同时，在第一摄像头进行拍摄时，记录下这个拍摄时间，以此时刻发出同步指令，从而控制后续对第二摄像头进行时钟同步。

可见，通过本申请实施例提供的多摄像头的帧同步控制方法，基于第一摄像头拍摄时间，根据时间偏移量控制第二摄像头拍摄图像的时间，可以保证在同一个信号周期内各个摄像头进行错峰拍摄，从而达到对不同摄像头所拍摄的图像进行分时复用的目的。

图4示出了本申请实施例提供的一种多摄像头的帧同步控制方法示例二流程图，该方法用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，包括如下步骤S401-S405。

与图2所示的示例一相比，本示例中引入了控制器，对第一摄像头和第二摄像头的时钟同步进行控制，具体的，描述了两个摄像头初始时钟对齐的前提下，两个摄像头使用相同或倍频的时钟的情况下，对两个摄像头的图像帧进行同步的方案。

S401：控制第一摄像头和第二摄像头进行初始时钟对齐。

例如，通过控制第一摄像头和第二摄像头同时打开，或者，控制第一摄像头和第二摄像头在预设最小时间间隔之内都打开，从而保证第一摄像头和第二摄像头达到初始时钟对齐。

S402：控制第一摄像头和第二摄像头使用相同频率的时钟，或者，控制第一摄像头和第二摄像头使用成倍关系的时钟频率。

在一种实现方式中，控制第一摄像头和第二摄像头使用相同频率的时钟，例如，控制第一摄像头和第二摄像头使用同一个时钟信号，从而确保第一摄像头和第二摄像头具有相同频率的时钟。在每个时钟脉冲到来时，进行图像拍摄，例如，假设第一摄像头和第二摄像头的帧率都是30帧每秒(fps)，即从启动摄像头开始，控制每秒拍摄30帧图像。

在另一种实现方式中，控制第一摄像头和第二摄像头使用倍数关系的时钟频率，例如，第一摄像头的帧率是15帧每秒，第二摄像头的帧率都是30帧每秒(fps)，即第二摄像头帧率是第一摄像头帧率的二倍关系。

S403：在第一摄像头进行第一图像帧拍摄时，发出同步指令。

本申请实施例所采取的方式是，在一个摄像头(例如主摄像头)进行拍摄时，另一个摄像头(例如从摄像头)不进行拍摄或者对拍摄的图像丢弃不用，反之，在从摄像头进行拍摄时，主摄像头不进行拍摄或对拍摄的图像丢弃不用。同时，在第一摄像头进行拍摄时，记录下这个拍摄开始的时间，以此时刻发出同步指令，从而控制后续对第二摄像头进行时钟同步。

S404：控制器接收同步指令，并根据与第一摄像头拍摄时刻的时间偏移量确定帧同步信号的发送时间。

假设第一摄像头的开始拍摄第一图像帧是从t0时刻开始的，则在t0时刻发出同步指令，该同步指令的目的是记录下第一摄像头真正开始拍摄的时间。然后，根据两个摄像头的时间偏移Δt确定帧同步信号的发送时间。具体的，如果第一摄像头和第二摄像头使用相同频率的时钟，则确保t0以及“t0+Δt”这两个时刻均在同一个时钟信号周期内；如果第一摄像头和第二摄像头使用倍数关系的频率时钟，假设第一摄像头时钟为CLK1，第二摄像头时钟为CLK2，且二者具有倍数关系，则首先将t0转换到CLK2下的时刻，然后，再基于CLK2的时钟信号周期，确定出帧同步信号的发送时间。

S405：在上述发送时间向第二摄像头发送帧同步信号，以控制第二摄像头进行第二图像帧的拍摄。

与上述多摄像头的帧同步控制方法相对应，本申请实施例还提供一种自行走设备。参见图5，示出了本申请实施例提供的自行走设备的结构示意图。

该自行走设备至少包括第一摄像头501、第二摄像头502和控制器503，其中，所述第一摄像头501，在进行第一图像帧拍摄时，发出同步指令；所述控制器503，响应于接收到所述第一摄像头501发出所述同步指令，基于与第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；并在上述发送时间向所述第二摄像头502发送帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。

在一种实现方式中，所述控制器503还用于，根据预设的所述第一摄像头和所述第二摄像头之间的工作时钟差值，确定所述帧同步信号的发送时间。

在一种实现方式中，所述控制器503还用于，控制所述第一摄像头501和所述第二摄像头502进行初始时钟对齐。

在一种实现方式中，所述控制器503还用于，控制所述第一摄像头501和所述第二摄像头502同时打开，或者，控制所述第一摄像头501和所述第二摄像头502在预设最小时间间隔之内都打开，以保证所述第一摄像头501和所述第二摄像头502满足初始时钟对齐。

在一种实现方式中，所述控制器503还用于，控制所述第一摄像头501和所述第二摄像头502使用相同频率的时钟，或者，控制所述第一摄像头501和所述第二摄像头502使用成倍关系的时钟频率。

在一种实现方式中，所述控制器503还用于，控制所述第一摄像头拍摄所述第一图像帧及所述第二摄像头拍摄第二图像帧，是在同一个拍摄信号周期内完成的，其中，通过所述时间偏移量，控制所述第二图像帧的拍摄时刻与所述第一图像帧的拍摄时刻不同。

在一种实现方式中，所述控制器503还用于，当所述第一摄像头进行第一图像帧拍摄时，控制所述第二摄像头不进行拍摄，或者丢弃所述第二摄像头拍摄的图像；以及，当所述第二摄像头进行第二图像拍摄时，控制所述第一摄像头不进行图像拍摄，或者丢弃所述第一摄像头拍摄的图像。

本申请的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

(1)在第一摄像头进行第一图像帧拍摄时，发出同步指令；

(2)响应于接收到同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；

(3)在所述发送时间向第二摄像头发送所述帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

(1)在第一摄像头进行第一图像帧拍摄时，发出同步指令；

(2)响应于接收到同步指令时，基于于所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；

(3)在所述发送时间向第二摄像头发送帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (16)

1.一种多摄像头的帧同步控制方法，其特征在于，用于对自行走设备的第一摄像头和第二摄像头的图像进行帧同步控制，所述方法包括：

在所述第一摄像头进行第一图像帧拍摄时，发出同步指令；

响应于接收到所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间；

在所述发送时间向所述第二摄像头发送所述帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄；

其中，控制所述第一摄像头和所述第二摄像头在同一个拍摄信号周期内至少错峰拍摄一次，以在所述拍摄信号周期内获取至少一个第一图像和至少一个第二图像。

2.根据权利要求1所述的方法，其特征在于，所述基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间，包括：

根据预设的所述第一摄像头和所述第二摄像头之间的工作时钟差值，确定所述帧同步信号的发送时间。

3.根据权利要求1所述的方法，其特征在于，还包括：

控制所述第一摄像头和所述第二摄像头进行初始时钟对齐。

4.根据权利要求3所述的方法，其特征在于，所述控制所述第一摄像头和所述第二摄像头进行初始时钟对齐，包括：

控制所述第一摄像头和所述第二摄像头同时打开，或者，控制所述第一摄像头和所述第二摄像头在预设最小时间间隔之内都打开，以保证所述第一摄像头和所述第二摄像头满足初始时钟对齐。

5.根据权利要求1所述的方法，其特征在于，还包括：

控制所述第一摄像头和所述第二摄像头使用相同频率的时钟，或者，控制所述第一摄像头和所述第二摄像头使用成倍关系的时钟频率。

6.根据权利要求1-5任一项所述的方法，其特征在于，

所述第一摄像头拍摄所述第一图像帧及所述第二摄像头拍摄第二图像帧，是在同一个拍摄信号周期内完成的，其中，通过所述时间偏移量，控制所述第二图像帧的拍摄时刻与所述第一图像帧的拍摄时刻不同。

7.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

当所述第一摄像头进行第一图像帧拍摄时，控制所述第二摄像头不进行拍摄，或者丢弃所述第二摄像头拍摄的图像；以及，

当所述第二摄像头进行第二图像拍摄时，控制所述第一摄像头不进行图像拍摄，或者丢弃所述第一摄像头拍摄的图像。

8.一种自行走设备，其特征在于，所述自行走设备包括第一摄像头、第二摄像头和控制器，其中，

所述第一摄像头，在进行第一图像帧拍摄时，发出同步指令；

所述控制器，响应于接收到的所述同步指令，基于与所述第一摄像头拍摄第一图像帧时刻的时间偏移量确定帧同步信号的发送时间，并在所述发送时间向所述第二摄像头发送帧同步信号，以控制所述第二摄像头进行第二图像帧的拍摄；其中，控制所述第一摄像头和所述第二摄像头在同一个拍摄信号周期内至少错峰拍摄一次，以在所述拍摄信号周期内获取至少一个第一图像和至少一个第二图像。

9.根据权利要求8所述的自行走设备，其特征在于，所述控制器用于，根据预设的所述第一摄像头和所述第二摄像头之间的工作时钟差值，确定所述帧同步信号的发送时间。

10.根据权利要求8所述的自行走设备，其特征在于，所述控制器还用于，控制所述第一摄像头和所述第二摄像头进行初始时钟对齐。

11.根据权利要求10所述的自行走设备，其特征在于，所述控制器还用于，控制所述第一摄像头和所述第二摄像头同时打开，或者，控制所述第一摄像头和所述第二摄像头在预设最小时间间隔之内都打开，以保证所述第一摄像头4和所述第二摄像头满足初始时钟对齐。

12.根据权利要求8所述的自行走设备，其特征在于，所述控制器还用于，控制所述第一摄像头和所述第二摄像头使用相同频率的时钟，或者，控制所述第一摄像头和所述第二摄像头使用成倍关系的时钟频率。

13.根据权利要求8-12任一项所述的自行走设备，其特征在于，所述控制器还用于，控制所述第一摄像头拍摄所述第一图像帧及所述第二摄像头拍摄第二图像帧，是在同一个拍摄信号周期内完成的，其中，通过所述时间偏移量，控制所述第二图像帧的拍摄时刻与所述第一图像帧的拍摄时刻不同。

14.根据权利要求8-12任一项所述的自行走设备，其特征在于，所述控制器还用于，当所述第一摄像头进行第一图像帧拍摄时，控制所述第二摄像头不进行拍摄，或者丢弃所述第二摄像头拍摄的图像；以及，当所述第二摄像头进行第二图像拍摄时，控制所述第一摄像头不进行图像拍摄，或者丢弃所述第一摄像头拍摄的图像。

15.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7任一项中所述的方法。

16.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7任一项中所述的方法。