CN107455006A - 一种同步曝光的方法、装置及终端设备 - Google Patents

Abstract

一种应用于多相机系统中的主相机的同步曝光的方法、装置及其终端设备，所述方法包括：在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；根据所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。通过本方案可提高复杂场景下多相机系统中多个相机同步曝光的精度。

Description

一种同步曝光的方法、装置及终端设备

技术领域

本发明属于多相机系统技术领域，尤其涉及一种同步曝光的方法、装置及终端设备。

背景技术

多相机系统是基于计算机视觉原理，将多个相机、光源、存储设备等组合在一起组建的系统，常应用于3D重建、运动捕捉、多视点视频等。例如光学式动作捕捉就是基于计算机视觉原理，由多个高速相机从不同角度对目标特征点的监视和跟踪来进行动作捕捉的技术。对于空间中的任意一点，只要它同时被两部相机所见，就可以确定这一时刻该点在空间中的位置，当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹，若是在一个物体标记多个点，通过多台相机同时拍摄这个物体，就可以得到这个物体的运动轨迹。

但是，这也就需要参与拍摄的多个相机采集每一帧图像时曝光对齐，否则由多个相机得到的标记点运动轨迹与真实运动轨迹就会有差异，甚至出现扭曲现象。现有的将多个相机同步的方法通常是采用同步信号对多个相机进行触发，通过有线或者无线的方式将同步触发信号传输至各相机，但是在实际中发现网络传输延迟、网络不稳定、温度、湿度等外部环境因素会造成多个相机采集图像时并不会完全同步。

发明内容

鉴于此，本发明提供一种应用于多相机系统中的主相机的同步曝光的方法、装置及终端设备，能够提高复杂场景下多相机系统中多个相机同步曝光的精度。

本发明的第一方面，提供一种同步曝光的方法，应用于多相机系统中的主相机；所述多相机系统中包括一个主相机以及至少一个从相机；所述方法包括：

在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；

根据所述多个初始硬件时间码确定同步基准值,并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值；

将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

本发明的第二方面，提供一种同步曝光的装置，应用于多相机系统中的主相机，所述多相机系统中包括一个主相机以及至少一个从相机；其中，所述装置包括：

获取模块，用于在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；

确定模块，用于根据所述多个初始硬件时间码确定同步基准值，以及根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值；

调整模块，用于将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

本发明的第三方面，提供一种终端设备，所述终端设备应用于多相机系统中的主相机，所述多相机系统包括一个所述主相机以及至少一个从相机；所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面提供的所述方法的步骤。

本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的所述方法的步骤。

本发明与现有技术相比存在的有益效果是：

本发明提供的技术方案，在接收到同步曝光的指令之后，通过主相机获取每个相机的初始硬件时间码，并根据该多个初始硬件时间码确定同步基准值，根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机能够根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步，从而使得多相机系统中的每个相机在采集图像时曝光时间同步，提高了多相机系统中多个相机同步曝光的精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明提供的同步曝光的方法的第一实施例的流程示意图；

图2是本发明提供的同步曝光的方法的第二实施例的流程示意图；

图3是图2中步骤S202的实施例的流程示意图；

图4是图2中步骤S202的实施例的流程示意图；

图5是图2中步骤S202的实施例的流程示意图；

图6是本发明提供的同步曝光的方法的第三实施例的流程示意图；

图7是本发明提供的同步曝光的装置的第一实施例的示意框图；

图8是本发明提供的终端设备的实施例的示意框图。

具体实施方式

在描述本发明实施例的具体实施方式之前，首先分析造成多相机系统中各个相机曝光不同步的原因。

通常地，相机内部有一个FPGA构建的64位的硬件计时器，即硬件时间码，该硬件时间码以相机传感器的输入时钟(MCLK)晶振振荡周期为最小计时单位，即每经过一个晶振时钟周期硬件时间码的值自动累加1。

一种情况，当所有相机初始设置相同(即软硬件配置均相同)，所有相机采集一帧图像经过的硬件时间码都是相同的。另一种情况，当所有相机的图像传感器型号不同时(且其他软硬件配置相同时)，此时相机的图像分辨率虽不相同，但所有相机采集一帧图像经过的硬件时间码仍然是相同的。但在实际中，由于温度、湿度等一些因素，相机实际晶振的振荡周期是在变化的。即是说，每个相机的晶振振荡周期不一定相等，因此多相机系统中每个相机采集一帧图像时经过的时间不一定相同，这也是多相机系统中出现相机曝光不同步的根本原因。

当然，实际使用中还发现，网络传输延迟、网络不稳定等外部环境因素也会造成多个相机采集图像时并不会完全同步。

为解决多相机系统中相机曝光不同步的问题，提出了本发明的同步曝光方法、装置及终端设备。下面，将通过具体的实施例进行详细描述。

请参见图1，图1是本发明提供的同步曝光的方法的第一实施例的流程示意图，如图1所示该同步曝光的方法可以包括以下步骤：

步骤S101，在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码。

本发明实施例的方法可以应用于多相机系统中的主相机，所述多相机系统包括一个主相机以及至少一个从相机。本发明实施例是用于将多相机系统中的多个相机同步曝光拍照。主相机和从相机可以随机分配也可以提前设定，例如在该多相机系统启动时，服务端可以枚举所有相机，并将所有相机的IP地址列表分发给局域网中的每一台相机，以获取多相机系统中所有相机的列表。然后可以将相机列表中的第一个或者随机一个设置为主相机，其它相机则作为从相机。

本发明实施例中，同步曝光的指令可以由主相机本身发出，也可以由外接的其它终端设备发出。当同步曝光的指令由主相机发出时，同步曝光的指令可以是主相机内部一个定时器，每当定时器计数结束就发一次同步曝光命令。例如，在实际应用中，当相机传感器的输入时钟为40MHZ时，大约30秒左右时钟相位会漂移一个曝光周期(1ms)，因此需要在30s之内进行一次同步曝光，这时可以设定每20s发出一次同步曝光的指令。

本发明实施例中，理论上来说多相机系统中每个相机的曝光时间是相同的。根据前文的描述可知，在实际中由于温度、湿度等一些因素，实际晶振的振荡周期也是在变化的，并不是完全不变的，因此出现了曝光不同步的问题。为解决曝光不同步的问题，本步骤中需要获取多相机系统中每个相机的硬件时间码，以便于可以根据获取的硬件时间码对多相机系统的每个相机的曝光时间进行调整，以使得所有相机的曝光时间同步。

其中，每个相机的内部都有时间码寄存器，其用于读写当前相机的硬件时间码。相机传感器开始工作后，硬件计时器模块开始计时。相机每一帧图像的曝光开始时刻和曝光持续时间都是以硬件计时器记录的硬件时间码进行计时的。因此，本步骤中，在获取多相机系统中每个相机的初始硬件时间码时，具体可以由多相机系统中的主相机处理。假设多相机系统中共有N个相机，包括一个主相机和N-1个从相机。那么具体获取初始硬件时间码的过程可以是：多相机系统中的主相机通过时间码寄存器读取自身的硬件时间码，计为初始硬件时间码T₁。然后，主相机再分别向局域网中每一个从相机的发送硬件时间码获取请求，局域网中的从相机接收到该请求时，从相机通过自身的时间码寄存器读取自身的硬件时间码并将其发送给主相机，主相机分别接收从相机发来的硬件时间码，并分别计为初始硬件时间码T₂、T₃……T_N。此时，便得到了多相机系统中每个相机对应的初始硬件时间码T₁、T₂、T₃……T_N。

步骤S102，根据所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值。

在获取多个相机对应的初始硬件时间码之后，主相机便可根据所述多个初始硬件时间码确定同步基准值。主相机在确定同步基准值时，可以选择多个初始硬件时间码的任意一个值作为同步基准值，也可以选择所述多个初始硬件时间码中的最大值或最小值作为同步基准值，当然也可以计算所述多个初始硬件时间码的平均值，并将该平均值作为同步基准值。然后根据该同步基准值和获取到的多个初始硬件时间码，确定每个相机的帧补偿值。另外，所述帧补偿值可以是主相机计算后得到的，例如主相机的帧扩展寄存器根据同步基准值与每个相机的初始硬件时间码的偏差，计算每个相机的对应的帧补偿值。

步骤S103，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

若计算结果表明主相机自身需要进行帧补偿，则主相机根据计算出来的帧补偿值，调整自身帧扩展寄存器中存储的图像的长度。同时，主相机还将计算出来的每个从相机的帧补偿值通过网络发送给对应的从相机。从相机接收到该帧补偿值之后，更新相机内部的帧扩展寄存器中存储的图像的帧长，以便多相机系统中的每个相机在采集图像时能够对齐曝光时间。

需要说明的是，若确定出的同步基准值和相机的初始硬件时间码没有偏差，则表示此相机在本次同步曝光过程中不需要进行帧补偿。

需要说明的另一点是，在根据帧补偿值调整图像的帧长时，可以调整当前图像帧的帧长，这样多相机系统中的相机在采集下帧图像时便可实现同步曝光，即是说，下帧图像就是待同步图像。当然，相机也可以根据帧补偿值调整下一帧图像的帧长，这样多相机系统中的相机在采集下下帧图像时便可实现同步曝光，即是说，下下帧图像就是待同步图像，以此类推。

本发明实施例的同步曝光的方法，在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；根据所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，将所述从相机的帧补偿值发送至对应的每个从相机，所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。通过本方案可提高复杂场景下多相机系统中多个相机同步曝光的精度。

可以理解的是，造成多相机系统中多个相机曝光时间不同步的原因除了晶振振荡周期不相等之外，还有其他的一些因素。例如，主相机获取从相机的初始时间码时的网络延时，主相机获取每一个相机的初始时间码时的操作延时，以及相机本身硬件累计延时值。由于获取的初始硬件时间码中包括上述这些延时值，因此为进一步提高多相机系统的同步精准度，在获取初始硬件时间码之后，确定帧补偿值之前，还可以对获取的初始硬件时间码进行延时修正处理。可以理解的是，延时修正处理可以包括：网络延时修正处理、操作延时修正处理以及硬件累计修正处理中的至少一种。相应的，对初始硬件时间码做修正处理后，获得同步基准值时具体是采用修正后的硬件时间码，同时确定每个相机的帧补偿值时也采用修正后的硬件时间码。下面，将以延时修正处理包括网络延时修正处理、操作延时修正处理以及硬件累计修正处理为例进行详细说明。

请参见图2，是本发明提供的同步曝光的方法的第二实施例的流程示意图，如图2所示该同步曝光的方法可以包括以下步骤：

步骤S201，在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码。

步骤S202，对得到的多个初始硬件时间码依次进行硬件累计修正处理、网络延时处理以及操作延时处理。

下面，将分别描述硬件累计修正处理、网络延时处理以及操作延时处理的具体操作过程。

第一，对多个初始硬件时间码依次进行硬件累计修正处理。

在进行硬件累计修正处理时，由于相机传感器开始工作后，硬件计时器就开始计时了，在工作一定时间之后，晶振则会产生一定的累计误差，为消除此误差，因此可以在每帧图像的预设位置(比如第100个像素点的位置)设置触发CPU硬件中断，当中断触发后，硬件计时器会自动锁存当前时刻的时间码，每经过一次中断触发，会锁存一个时间码。

在步骤202中，对多个初始硬件时间码进行硬件累计修正处理时，操作流程可以按照如3所示的流程进行。

如图3所示，是步骤202中进行硬件累计修正处理的流程示意图时，可以包括如下步骤：

步骤301，对应获取每个相机最近一次中断触发时刻的中断时间码。

步骤302，将所述多个初始硬件时间码与获取的所述中断时间码做差值运算，对应得到每个相机的修正硬件时间码。

根据前文的描述可知，在产生一次中断时，硬件计时器可以自动锁存一个时间码。因此，每个相机在读取自身的初始硬件时间码之后，还获取最近一次中断触发时刻的硬件时间码，记为中断时间码。然后，将读取的初始硬件时间码与获取的中断时间码做差，便可消除晶振产生的误差，得到经硬件累积延时处理后的修正硬件时间码。

需要说明的是，对于主相机的硬件累计修正处理操作，可以由主相机自身完成。对于从相机的硬件累计修正处理操作，可以由主相机完成，当然也可以由从相机完成。当由主相机来完成从相机的硬件累计修正处理操作时，从相机需要将在读取的自身的初始硬件时间码和最近一次中断时刻的中断时间码发送给主相机。主相机将从相机的初始硬件时间码和从相机的中断时间码做差值运算，便可得到经硬件累计修正处理后的从相机的修正硬件时间码。

举例来说，在对相机的初始硬件时间码进行修正时，若相机的初始硬件时间码为T_i，获取到的相机的最近一次中断的中断时间码为T_i0，那么经硬件累计修正处理操作后的相机的修正硬件时间码K_i＝T_i-T_i0，其中T_i为相机i的初始硬件时间码，T_i0为相机i最近一次中断的中断时间码，i的取值范围为1到N。即经硬件累计修正处理操作后的主相机的修正硬件时间码为K₁＝T₁-T₁₀。同理，经硬件累计修正处理操作后的从相机的修正硬件时间码K_i＝T_i-T_i0,其中i的取值范围为2到N。

第二，对初始硬件时间码进行网络延时修正处理。

根据第一实施例的描述可知，主相机在获取从相机的初始硬件时间码时，需要向从相机发送一个硬件时间码的获取请求，从相机在接收到主相机发来的硬件时间码的获取请求之后，通过自身的时间码寄存器读取自身的硬件时间码并发送给主相机。主相机发送请求到从相机接收到请求所消耗的时间，便是本发明实施例中的网络延时。需要说明的是，主相机在获取自身的初始硬件时间码时，因为无需发送硬件时间码获取请求，因此其网络延时值为0。

具体地，在对初始硬件时间码进行网络延时修正处理时，主相机具体可以按照图4所示的流程进行操作。

如图4所示，是对初始硬件时间码进行网络延时修正处理的实施例的流程示意图，具体方法可以包括：

步骤401，获取所述主相机与每个从相机之间的网络延时值。

步骤402，根据所述多个初始硬件时间码和获取的所述主相机与每个从相机之间的网络延时值计算获得每个相机的修正硬件时间码。

步骤401具体操作时，具体操作方法例如可以是：

在同步曝光任务启动后，主相机首先通过IEEE 1588精密时钟同步协议测量主相机与每个从相机之间的网络延时，并以传感器时钟晶振周期为单位进行换算，由此可以得出此时主相机与每个从相机之间的网络延时。

需要说明的一点是，在步骤402中，主相机在将所述多个初始硬件时间码与获取的所述主相机与每个从相机之间的网络延时值对应做差值运算时，主相机与自身的网络延时值可以理解为没有延时，即网络延时值为0。那么在经网络延时修正处理之后，相机的修正硬件时间码M_i＝T_i-Y_i，其中T_i为相机i的初始硬件时间码，Y_i相机i的网络延时值，i的取值范围为1到N。即经网络延时修正处理操作后的主相机的修正硬件时间码为M₁＝T₁,其中，主相机与主相机之间的网络延时值为Y₁，Y₁＝0。同理，经网络延时修正处理后的从相机的修正硬件时间码M_i＝T_i-Y_i，其中i的取值范围为2到N。

同时，由于步骤202中已经对初始硬件延时码进行了硬件累计修正处理，因此本步骤中在进行差值运算时应该使用经硬件累计修正处理后的硬件时间码，即T_i-T_i0,其中i的取值范围为1到N。若前文没有进行硬件累计修正处理，那么本步骤中进行差值运算时，使用的便应该是初始的硬件时间码T_i，其中i的取值范围为1到N。

下面，将通过具体的例子进行详细说明。

假设，主相机获取到的主相机与从相机之间的网络延时值分别为Y₂、Y₃……Y_N，且主相机与主相机之间的网络延时值为Y₁，Y₁＝0。

那么经硬件累计修正处理以及网络延时修正处理之后，得到的相机的修正硬件时间码M_i＝K_i-Y_i＝T_i-T_i0-Y_i，其中，其中i的取值范围为1到N。具体地，经硬件累计修正处理以及网络延时修正处理之后，得到的主相机的修正硬件时间码M₁＝K₁-Y₁＝T₁-T₁₀。同理，经硬件累计修正处理以及网络延时修正处理之后得到的从相机的修正硬件时间码M_i＝K_i-Y_i＝T_i-T_i0-Y_i，其中i的取值范围为2到N。

第三，对初始硬件时间码进行操作延时修正处理。

根据第一实施例的描述可知，主相机在获取相机的初始硬件时间码时，需要分别获取每一个相机的初始硬件时间码，即主相机逐个获取从相机的初始硬件时间码，在主相机获取的某个从相机的初始硬件时间码后，由于多相机系统中存在多个从相机，主相机发出读取下一个从相机的初始硬件时间码的指令时的时间已经发生了变化了。因此，在对初始硬件时间码进行修正时，还需要考虑操作延时。另外，由于主相机在获取各个相机的初始硬件时间码时，首先获取的是自身的初始硬件时间码，因此可以理解为没有操作延时，即主相机在获取自身的初始硬件时间码时，操作延时值为零。

如图5所示，是对初始硬件时间码做操作延时修正处理的实施例的流程示意图，包括如下步骤：

步骤501，当获取每个从相机的初始硬件时间码时，读取所述主相机的瞬时硬件时间码。

步骤502，将所述主相机的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，得到所述主相机与每个从相机之间的操作延时值。

步骤503，根据所述多个初始硬件时间码和获取的所述操作延时值计算获得每个相机的修正硬件时间码。

步骤501中，主相机在向每个从相机发出初始硬件时间码的获取请求之前都先读取一遍主相机的硬件时间码，记为瞬时硬件时间码。然后主相机再向从相机发出初始硬件时间码的获取请求，从相机接收到所述请求后读取本机的硬件时间码并发送给所述主相机。将所述主相机读取的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，便可得到主相机与从相机之间的操作延时值。即操作延时值C_i＝T_1i-T₁。其中，T_1i为主相机在获取第i相机初始硬件时间码之前读取的瞬时硬件时间码，T₁为主相机的初始硬件时间码。其中，其中i的取值范围为1到N。其中，主相机与自身的操作延时值可以理解为没有延时，即操作延时值为0。即C₁＝0。

那么在经操作延时修正处理之后，相机的修正硬件时间码N_i＝T_i-C_i,其中T_i为相机i的初始硬件时间码，C_i相机i的操作延时值，i的取值范围为1到N。即经操作延时修正处理操作后的主相机的修正硬件时间码为N₁＝T₁,其中，主相机与主相机之间的网络延时值为C₁＝0。同理，经操作延时修正处理后的从相机的修正硬件时间码N_i＝T_i-C_i，其中i的取值范围为2到N。

需要说明的一点是，由于步骤202中已经对初始硬件延时码进行了硬件累计修正处理以及网络延时修正处理，因此本步骤中在进行差值运算时应该使用经硬件累计修正处理、网络延时修正处理后的硬件时间码，即M_i,其中i的取值范围为1到N。若前文没有进行硬件累计修正处理和网络延时修正处理，那么本步骤中进行差值运算时，使用的便应该是初始的硬件时间码T_i，其中i的取值范围为1到N。

下面，将通过具体的例子进行详细说明。

假设，主相机获取到的主相机与从相机之间的操作延时值分别为C₂、C₃……C_N，且主相机与主相机自身的操作延时值为C₁，C₁＝0。

那么经硬件累计修正处理、网络延时修正处理以及操作延时处理之后，得到的相机的修正硬件时间码N_i＝K_i-Y_i-C_i＝T_i-T_i0-Y_i-(T_1i-T₁)，其中，其中i的取值范围为1到N。具体地，经硬件累计修正处理、网络延时修正处理以及操作延时修正处理之后，得到的主相机的修正硬件时间码N₁＝K₁-Y₁＝T₁-T₁₀。同理，经硬件累计修正处理、网络延时修正处理以及操作延时处理之后得到的从相机的修正硬件时间码N_i＝K_i-Y_i-C_i＝T_i-T_i0-Y_i-(T_1i-T₁)，其中i的取值范围为2到N。

需要说明的是，以上实施例虽然是同时采用了网络延时修正处理、操作延时修正处理、硬件累计修正处理三项延时修正处理，但是在实际应用中，可以只选择其中的一项或者两项延时修正处理。在将初始硬件时间码做延时修正处理得到修正硬件时间码的过程中选择了哪项延时修正处理，相应的就将哪项延时修正处理获得的延时结果和初始硬件时间码一起计算获得修正硬件时间码。

步骤203，根据所述多个修正硬件时间码确定所述同步基准值，并根据所述同步基准值和每个相机的修正硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值。

由于步骤202中，对初始硬件时间码进行了延时修正处理，那么在本步骤中，确定同步基准值时，则需要根据经修正处理后的多个修正时间码确定同步基准值。具体地，在确定同步基准值时，可以选择多个修正硬件时间码的任意一个值作为同步基准值，也可以选择所述多个修正硬件时间码中的最大值或最小值作为同步基准值，当然也可以计算所述多个修正硬件时间码的平均值，并将该平均值作为同步基准值。

若只对初始硬件时间码进行了硬件累计修正处理，那么则需要根据经硬件累计修正处理后的硬件时间码K_i确定同步基准值，以此类推。由于本发明实施例中，对初始硬件时间码进行了硬件累计修正处理、网络延时修正处理以及操作延时修正处理，那么则应该根据经硬件累计修正处理、网络延时修正处理以及操作延时处理之后得到的从相机的修正硬件时间码N_i确定同步基准值。在选取同步基准值之后，所有的相机都与选取的同步基准值对应的相机对齐。

步骤S204，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

在本发明实施例中，主相机将计算获得的帧补偿值发送至对应的每个从相机，主相机根据计算的主相机的帧补偿值调整图像的长度，从相机根据接收到的每个从相机对应的帧补偿值调整各自的图像的长度，这样，多相机系统中主相机和从相机就会实现同步曝光。

由于曝光是根据时间码来确定的，若相机的修正硬件时间码大于同步基准值，则说明相机的硬件时间码相对于同步基准值走的快了，需要将相机当前帧图像或下一帧图像延长一定时间，以便于同步基准值对应的相机的时间码能赶上，从而在采集下帧或下下帧图像时曝光时间同步；若是相机的修正硬件时间码小于同步基准值，则说明相机的时间码走的慢了，需要赶上同步基准值对应的相机的时间码，因此需要将相机当前帧图像或下一帧图像缩短一定时间，以便于同步基准值对应的相机的时间码能赶上，从而在采集下帧或下下帧图像时同步曝光。

本发明实施例的多相机系统同步曝光的方法，在接收到同步曝光的指令之后，主相机获取每个相机的初始硬件时间码，并对该多个初始硬件时间码进行延时修正处理，得到多个修正硬件时间码，以及根据该多个修正硬件时间码确定同步基准值，根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

请参见图6，是本发明提供的同步曝光的方法的第三实施例的流程示意图，如图6所示该同步曝光的方法可以包括以下步骤：

步骤S601，在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码。

步骤S602，对得到的多个初始硬件时间码依次进行硬件累计修正处理、网络延时处理以及操作延时处理，得到多个修正硬件时间码。

步骤S603，根据所述多个修正硬件时间码确定同步基准值。

步骤S604，按照公式：B_i＝(N_i-S)％FrameLength计算相机的帧补偿值。

步骤S605，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

本实施例与图2所示的实施例的区别有：

在确定帧补偿值时，具体采用步骤S604中的公式。步骤S604中，B_i表示相机i的帧补偿值，N_i表示经延时修正处理后相机i的修正硬件时间码，S表示同步基准值，FrameLength表示所述多相机系统中每个相机的一帧图像以振荡周期为单位的大小，％表示模运算。具体的帧补偿值是相机一帧图像以晶振的振荡周期为单位的大小，也就是转换成时间码的大小。取模运算是为了相机的帧补偿值不会超过一帧图像的帧长(转换成时间码的一帧图像的时间长度)，只要对齐时钟的相位就可以。

第二，在具体处理时，确定出的同步基准值可以是多个修正硬件时间码中的最小值，即从多个修正硬件时间码中选取一个最小值作为同步基准值。选取修正硬件时间码中的最小值的目的是为了简化计算，同时也为了获取更好的效果。这时，所有的相机都只需要拉长当前帧或下帧图像的时间长度就行。

在计算出相机的帧补偿值之后，多相机系统中的相机便可根据该帧补偿值相应调整当前帧或下一帧图像的长度，使得在相机在采集下帧或下下帧图像时可以实现同步曝光。

应理解，在上述实施例中，各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。由于上述图1至图6对同步曝光的方法进行了详细的描述，下面将结合附图，对应用上述同步曝光的方法的装置、终端设备以及计算机可读存储介质进行详细描述。为避免赘述，上文中已经描述的术语和相关解释在下文中可能不再做说明。

请参见图7，图7是本发明提供的应用于多相机系统中的主相机的同步曝光的装置700的结构框图，为了便于说明，仅示出与本发明实施例相关的部分。其中，该多相机系统包括：一个主相机和至少一个从相机。

该同步曝光的装置700可以是内置于主相机内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到所述主相机中。该同步曝光的装置700包括：

获取模块701，用于在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码。

确定模块702，用于根据所述获取模块701获取的所述多个初始硬件时间码确定同步基准值，以及根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值。

调整模块703，用于将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

图8是本发明一实施例提供的终端设备的示意框图。该终端设备可以是多相机系统中的一个主相机。如图8所示，该实施例的终端设备9包括：一个或多个处理器90、存储器91以及存储在存储器91中并可在处理器90上运行的计算机程序92。处理器90执行计算机程序92时实现上述各个同步曝光的方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，处理器90执行计算机程序92时实现上述装置实施例中各模块/单元的功能，例如图7所示模块701至703的功能。

示例性的，计算机程序92可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器91中，并由处理器90执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。例如，所述计算机程序92可以被分割成获取模块、确定模块、调整模块。

终端设备包括但不仅限于处理器90、存储器91。本领域技术人员可以理解，图8仅仅是终端设备9的示例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

处理器90和存储器91执行上述实施例提供的同步曝光的方法或同步曝光的装置的功能，从而提高复杂场景下多相机同步的精度。

另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现本发明实施例提供的同步曝光的方法的步骤。

本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备或处理器执行本发明实施例各个实施例所述方法的全部或部分步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (15)

1.一种同步曝光的方法，其特征在于，应用于多相机系统中的主相机，所述多相机系统中包括一个主相机以及至少一个从相机，所述方法包括：

在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；

根据所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值；

将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述多个初始硬件时间码确定同步基准值之前，所述方法还包括：

对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码；

所述延时修正处理包括以下至少一项:网络延时修正处理、操作延时修正处理以及硬件累计修正处理；

所述根据所述多个初始硬件时间码确定同步基准值的步骤，具体包括：

根据所述多个修正硬件时间码确定所述同步基准值；

所述根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，具体包括：

根据所述同步基准值和所述多个修正硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值。

3.根据权利要求2所述的方法，其特征在于，所述延时修正处理包括：

网络延时修正处理；

所述对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码的步骤，具体包括：

获取所述主相机与每个从相机之间的网络延时值；

根据所述多个初始硬件时间码和获取的所述主相机与每个从相机之间的网络延时值计算获得每个相机的修正硬件时间码。

4.根据权利要求2所述的方法，其特征在于，所述延时修正处理包括：操作延时修正处理；

所述对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码的步骤，具体包括：

当获取每个从相机的初始硬件时间码时，读取所述主相机的瞬时硬件时间码；

将所述主相机的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，得到所述主相机与每个从相机之间的操作延时值；

根据所述多个初始硬件时间码和得到的所述主相机与每个从相机之间的操作延时值计算获得每个相机的修正硬件时间码。

5.根据权利要求2所述的方法，其特征在于，所述延时修正处理包括：

硬件累计修正处理；

所述对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码的步骤，具体包括：

对应获取每个相机最近一次中断触发时刻的中断时间码；

将所述多个初始硬件时间码与获取的所述中断时间码做差值运算，对应得到每个相机的修正硬件时间码。

6.根据权利要求2所述的方法，其特征在于，所述延时修正处理包括：

网络延时修正处理和操作延时修正处理；

所述对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码的步骤，具体包括：

获取所述主相机与每个从相机之间的网络延时值；

当获取每个从相机的初始硬件时间码时，读取所述主相机的瞬时硬件时间码；

将所述主相机的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，得到所述主相机与每个从相机之间的操作延时值；

根据所述多个初始硬件时间码、所述主相机与每个从相机之间的网络延时值和所述操作延时值计算获得每个相机的修正硬件时间码。

7.根据权利要求2所述的方法，其特征在于，所述延时修正处理包括：

网络延时修正处理和硬件累计修正处理；

所述对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码的步骤，具体包括：

获取所述主相机与每个从相机之间的网络延时值；

对应获取每个相机最近一次中断触发时刻的中断时间码；

根据所述多个初始硬件时间码、所述主相机与每个从相机之间的网络延时值和所述中断时间码计算获得每个相机的修正硬件时间码。

8.根据权利要求2所述的方法，其特征在于，所述延时修正处理包括：

操作延时修正处理和硬件累计修正处理；

所述对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码的步骤，具体包括：

当获取每个从相机的初始硬件时间码时，读取所述主相机的瞬时硬件时间码；

将所述主相机的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，得到所述主相机与每个从相机之间的操作延时值；

对应获取每个相机最近一次中断触发时刻的中断时间码；

根据所述多个初始硬件时间码、所述主相机与每个从相机之间的操作延时值和中断时间码计算获得每个相机的修正硬件时间码。

9.根据权利要求2所述的方法，其特征在于，所述延时修正处理包括：

网络延时修正处理、操作延时修正处理和硬件累计修正处理；

所述对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码的步骤，具体包括：

获取所述主相机与每个从相机之间的网络延时值；

对应获取每个相机最近一次中断触发时刻的中断时间码；

当获取每个从相机的初始硬件时间码时，读取所述主相机的瞬时硬件时间码；

将所述主相机的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，得到所述主相机与每个从相机之间的操作延时值；

根据所述多个初始硬件时间码、所述主相机与每个从相机之间的网络延时值、操作延时值和每个相机的中断时间码计算获得每个相机的修正硬件时间码。

10.根据权利要求2所述的方法，其特征在于，所述根据所述同步基准值和每个相机的修正硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值的步骤，具体为：

根据公式B_i＝(N_i-S)％FrameLength计算相机的帧补偿值；

其中，B_i表示相机i的帧补偿值，N_i表示经延时修正处理后相机i的修正硬件时间码，S表示同步基准值，FrameLength表示所述多相机系统中每个相机的一帧图像以振荡周期为单位的大小，％表示模运算。

11.根据权利要求1所述的方法，其特征在于，所述根据所述多个初始硬件时间码确定同步基准值，具体包括：

选择所述多个初始硬件时间码中的最大值或最小值作为同步基准值；或者，

计算所述多个初始硬件时间码的平均值，并将所述平均值作为同步基准值。

12.根据权利要求2所述的方法，其特征在于，所述根据所述多个修正硬件时间码确定所述同步基准值包括：

选择所述多个修正硬件时间码中的最大值或最小值作为同步基准值；

或者，计算所述多个修正硬件时间码的平均值，并将所述平均值作为同步基准值。

13.一种同步曝光的装置，其特征在于，应用于多相机系统中的主相机，所述多相机系统中包括一个主相机以及至少一个从相机，所述装置包括：

获取模块，用于在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；

确定模块，用于根据所述多个初始硬件时间码确定同步基准值，以及根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值；

调整模块，用于将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

14.一种终端设备，其特征在于，应用于多相机系统中的主相机，所述多相机系统包括一个所述主相机以及至少一个从相机；所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述方法的步骤。