CN107439000B

CN107439000B - 一种同步曝光的方法、装置及终端设备

Info

Publication number: CN107439000B
Application number: CN201780000506.4A
Authority: CN
Inventors: 崔永太
Original assignee: Shenzhen Realis Multimedia Technology Co Ltd
Current assignee: Shenzhen Realis Multimedia Technology Co Ltd
Priority date: 2017-06-12
Filing date: 2017-06-12
Publication date: 2020-05-19
Anticipated expiration: 2037-06-12
Also published as: WO2018227329A1; CN107439000A

Abstract

一种同步曝光的方法、装置及其终端设备，应用于多相机系统中的主相机，所述方法包括：在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；根据所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，将从相机的帧补偿值发送至对应的每个从相机，以便于多相机系统中的每个相机根据对应的帧补偿值调整图像的长度使得所述多相机系统所有相机的曝光时间同步；获取同步标识信息，以便于所述同步标识信息与待同步图像关联，使得每个相机的待同步图像具有相同的同步标识信息。通过本方法可提高多相机同步的精度。

Description

一种同步曝光的方法、装置及终端设备

技术领域

本发明属于多相机系统技术领域，尤其涉及一种同步曝光的方法、装置及终端设备。

背景技术

多相机系统是基于计算机视觉原理，将多个相机、光源、存储设备等组合在一起组建的系统，常应用于3D重建、运动捕捉、多视点视频等。例如光学式动作捕捉就是基于计算机视觉原理，由多个高速相机从不同角度对目标特征点的监视和跟踪来进行动作捕捉的技术。对于空间中的任意一点，只要它同时被两部相机所见，就可以确定这一时刻该点在空间中的位置，当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹，若是在一个物体标记多个点，通过多台相机同时拍摄这个物体，就可以得到这个物体的运动轨迹。

这也就需要参与拍摄的多个相机采集每一帧图像时曝光对齐。目前，多相机系统中的各相机采集图像后会立即发送服务器，服务器根据多相机系统中每个相机采集的图像的到达时间来判断相机曝光是否同步。但是，由于多相机系统中相机的型号可能不同，采集一帧图像所需的时间也就不相同，即使各个相机曝光时间同步，那么服务器接收到的到每个相机采集的图像的时刻点也不相同，因此服务器按照图像到达时间来判断多相机系统中多个相机的曝光时间是否同步显然是不准确的。另外，即使多相机系统中的多个相机实现了同步曝光，由于多相机系统以足够高的速率连续拍摄，所以服务器在接收到多相机发送的图像序列后，并无法判断哪些图像是曝光对齐的图像。

发明内容

鉴于此，本发明提供一种同步曝光的方法、装置及终端设备，能够提高复杂场景下多相机系统中多个相机同步的精度。

本发明的第一方面，提供一种同步曝光的方法，应用于多相机系统中的主相机，所述多相机系统中包括一个主相机以及至少一个从相机，所述方法包括：

在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；

根据所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值；

将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步；

获取同步标识信息，以便于所述同步标识信息与所述多相机系统中每个相机的待同步图像关联，使得每个相机的待同步图像具有相同的同步标识信息，所述待同步图像为所述多相机系统中所有相机同步曝光时每个相机分别采集的图像。

本发明的第二方面，提供一种同步曝光的装置，应用于多相机系统中的主相机，所述多相机系统中包括一个主相机以及至少一个从相机；其中，所述装置包括：

获取模块，用于在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码；

确定模块，用于根据所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值；

发送模块，用于将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步；

同步标识获取模块，用于获取同步标识信息，以便于所述同步标识信息与所述多相机系统中每个相机的待同步图像关联，使得每个相机的待同步图像具有相同的同步标识信息，所述待同步图像为所述多相机系统中所有相机同步曝光时每个相机分别采集的图像。

本发明的第三方面，提供一种终端设备，应用于多相机系统中的主相机，所述终端设备应用于多相机系统，所述多相机系统包括一个主相机以及至少一个从相机；所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面提供的所述方法的步骤。

本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现上述第一方面提供的所述方法的步骤。

本发明与现有技术相比存在的有益效果是：本发明提供的技术方案，在接收到同步曝光的指令之后，获取多相机系统中每个相机的初始硬件时间码，根据多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步，在实现多个相机同步曝光的同时，获取同步标识信息，以便于所述同步标识信息与待同步图像进行关联，使得同步曝光的图像具有相同的同步标识信息，服务器在接收到多个相机采集的图像后，根据同步标识信息就可以判断哪些图像是同步曝光的图像，提高了多相机系统中多个相机同步的精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明提供的同步曝光的方法的第一实施例的流程示意图；

图2是本发明提供的同步曝光的方法的第二实施例的流程示意图；

图3是图2中步骤S202的实施例的流程示意图；

图4是图2中步骤S202的实施例的流程示意图；

图5是图2中步骤S202的实施例的流程示意图；

图6是本发明提供的同步曝光的方法的第三实施例的流程示意图；

图7是本发明提供的同步曝光的装置的第一实施例的示意框图；

图8是本发明提供的终端设备的实施例的示意框图。

具体实施方式

在描述本发明实施例的具体实施方式之前，首先分析造成多相机系统中各个相机曝光不同步的原因。

通常地，相机内部有一个FPGA构建的64位的硬件计时器，即硬件时间码，该硬件时间码以相机传感器的输入时钟(MCLK)晶振振荡周期为最小计时单位，即每经过一个晶振时钟周期硬件时间码的值自动累加1。

一种情况，当所有相机初始设置相同(即软硬件配置均相同)，所有相机采集一帧图像经过的硬件时间码都是相同的。另一种情况，当所有相机的图像传感器型号不同时(且其他软硬件配置相同时)，此时相机的图像分辨率虽不相同，但所有相机采集一帧图像经过的硬件时间码仍然是相同的。但在实际中，由于温度、湿度等一些因素，相机实际晶振的振荡周期是在变化的。即是说，每个相机的晶振振荡周期不一定相等，因此多相机系统中每个相机采集一帧图像时经过的时间不一定相同，这也是多相机系统中出现相机曝光不同步的根本原因。当然，实际使用中还发现，网络传输延迟、网络不稳定等外部环境因素也会造成多个相机采集图像时并不会完全同步。

另外，由于多相机系统以较高的速率连续拍摄，然后将较高速率连续拍摄的图像序列发送至服务器或者数据处理系统，服务器或者数据处理系统需要从接受到的大量图像中识别同步曝光的图像，现有的方式是服务器根据接收的时间识别同步曝光的图像。但是，实际应用中，常常会因为各种各样的原因，多相机系统中的相机并无法保证具有相同型号，而不同型号的相机如果实现了同步曝光，但是由于采集一帧图像所经过的时间可能不同，多相机系统中的相机在采集图像后会立即发送至服务器或者数据处理系统，这样就导致同步曝光采集的图像并不会在相同时刻发送至服务器或者图像处理系统，如果服务器或者图像处理系统依然采用根据接收的时间识别同步曝光的图像显然是不准确的。

为解决多相机系统中相机曝光不同步的问题以及服务器无法识别出同步曝光的图像的问题，提出了本发明的同步曝光的方法、装置及终端设备。下面，将通过具体的实施例进行详细描述。

请参见图1，图1是本发明提供的同步曝光的方法的第一实施例的流程示意图，如图1所示该同步曝光的方法可以包括以下步骤：

步骤S101，在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码。

本发明实施例的方法可以应用于多相机系统中的主相机，所述多相机系统包括一个主相机以及至少一个从相机。本发明实施例是用于将多相机系统中的多个相机同步曝光拍照。主相机和从相机可以随机分配也可以提前设定，例如在该多相机系统启动时，服务端可以枚举所有相机，并将所有相机的IP地址列表分发给局域网中的每一台相机，以获取多相机系统中所有相机的列表。然后可以将相机列表中的第一个或者随机一个设置为主相机，其它相机则作为从相机。本发明实施例中，同步曝光的指令可以由主相机本身发出，也可以由外接的其它终端设备发出。当同步曝光的指令由主相机发出时，同步曝光的指令可以是主相机内部一个定时器，每当定时器计数结束就发一次同步曝光命令。例如，在实际应用中，当相机传感器的输入时钟为40MHZ时，大约30秒左右时钟相位会漂移一个曝光周期(1ms)，因此需要在30s之内进行一次同步曝光，这时可以设定每20s发出一次同步曝光的指令。

本发明实施例中，理论上来说多相机系统中每个相机的曝光时间是相同的。根据前文的描述可知，在实际中由于温度、湿度等一些因素，实际晶振的振荡周期也是在变化的，并不是完全不变的，因此出现了曝光不同步的问题。为解决曝光不同步的问题，本步骤中需要获取多相机系统中每个相机的硬件时间码，以便于可以根据获取的硬件时间码对多相机系统的每个相机的曝光时间进行调整，以使得所有相机的曝光时间同步。

其中，每个相机的内部都有时间码寄存器，其用于读写当前相机的硬件时间码。相机传感器开始工作后，硬件计时器模块开始计时。相机每一帧图像的曝光开始时刻和曝光持续时间都是以硬件计时器记录的硬件时间码进行计时的。因此，本步骤中，在获取多相机系统中每个相机的初始硬件时间码时，具体可以由多相机系统中的主相机处理。假设多相机系统中共有N个相机，包括一个主相机和N-1个从相机。那么具体获取初始硬件时间码的过程可以是：多相机系统中的主相机通过时间码寄存器读取自身的硬件时间码，计为初始硬件时间码T₁。然后，主相机再分别向局域网中每一个从相机的发送硬件时间码获取请求，局域网中的从相机接收到该请求时，从相机通过自身的时间码寄存器读取自身的硬件时间码并将其发送给主相机，主相机分别接收从相机发来的硬件时间码，并分别计为初始硬件时间码T₂、T₃……T_N。此时，便得到了多相机系统中每个相机对应的初始硬件时间码T₁、T₂、T₃……T_N。

步骤S102，根据所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值。

在获取多个相机对应的初始硬件时间码之后，主相机便可根据所述多个初始硬件时间码确定同步基准值。主相机在确定同步基准值时，可以选择多个初始硬件时间码的任意一个值作为同步基准值，也可以选择所述多个初始硬件时间码中的最大值或最小值作为同步基准值，当然也可以计算所述多个初始硬件时间码的平均值，并将该平均值作为同步基准值。然后根据该同步基准值和获取到的多个初始硬件时间码，确定每个相机的帧补偿值。例如主相机的帧扩展寄存器根据同步基准值与每个相机的初始硬件时间码的偏差，计算每个相机的对应的帧补偿值。

步骤S103，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

在确定帧补偿值后，主相机可以将确定出的从相机的帧补偿值发送至对应的相机。此时，主相机根据确定出的自身的帧补偿值更新主相机内部的帧扩展寄存器，从相机根据接收到的该帧补偿值更新相机内部的帧扩展寄存器，即是说，多相机系统中的每个相机便可根据对应的帧补偿值调整图像的长度，以便于多相机系统中的每个相机在采集图像时能够对齐曝光时间。

需要说明的是，若确定出的同步基准值和相机的初始硬件时间码没有偏差，则表示此相机在本次同步曝光过程中不需要进行帧补偿。需要说明的另一点是，在根据帧补偿值调整图像的帧长时，可以调整当前图像帧的帧长，这样多相机系统中的相机在采集下帧图像时便可实现同步曝光，即是说，下帧图像就是待同步图像。当然，相机也可以根据帧补偿值调整下一帧图像的帧长，这样多相机系统中的相机在采集下下帧图像时便可实现同步曝光，即是说，下下帧图像就是待同步图像，以此类推。

步骤S104，获取同步标识信息，以便于所述同步标识信息能够与所述多相机系统中每个相机的待同步图像关联，使得每个相机的待同步图像具有相同的同步标识信息，所述待同步图像为所述多相机系统中所有相机同步曝光时每个相机分别采集的图像。

在本发明实施例中，在实现多相机系统中的所有相机同步曝光后，如前所述，多相机系统常常需要多个相机以足够高的速率连续拍摄以从图像序列中获得物体的运动轨迹等，所以服务器或数据处理系统会以足够高的速率接收多个相机发送的图像序列。如果多相机系统存在不同型号的相机，即使所有相机曝光时间相同，但各个相机发送采集图像给到服务器的时刻也是不同的，那么服务器仍然根据接收到采集图像的时间判断这些图像是否同步曝光的方式显然是不准确的。这时，我们考虑可以获取同步标识信息，并将所述同步标识信息告知多相机系统中相应的相机。如此，多相机系统中的所有相机可以将所述同步标识信息与待同步图像关联在一起，例如多相机系统中的相机可以在待同步图像中增加同步标识信息，或者将所述同步标识信息压缩入待同步图像数据中，从而使得同步曝光的图像(即待同步图像)具有相同的同步标识信息。这样服务器或者数据处理系统可以根据同步标识信息判断接收到的大量图像中哪些是多相机系统中所有相机同步曝光时每个相机分别采集的图像。需要说明的是，所述同步标识信息可以是主相机中待同步图像的图像帧号，还可以是随机生成的信息，例如由不同字符或者不同数字组成信息。

需要说明的是，同步标识信息的获取方式有多种，例如通过外接的控制设备生成的，那么主相机在获取同步标识信息后可以将所述同步标识信息发送至多相机系统中的每个从相机，以便于每个相机能够将所述同步标识信息与待同步图像相关联使得同步曝光的图像具有相同的同步标识信息；又例如，同步标识信息是通过其中任意一个相机产生的，那么此时主相机在获取同步标识信息之后，可以将所述同步标识信息发送至所述多相机系统中的每个从相机，这样主相机可以将获取的同步标识信息与待同步图像相关联，同时所有的从相机也可以将接收到的同步标识信息与待同步图像相关联，这样就使得多相机系统中的所有相机同步曝光时每个相机分别采集的图像具有相同的标识信息。

作为本发明又一实施例，在将待同步图像关联同步标识信息之后，还可以包括：根据所述同步标识信息生成同步标识子序列信息，以便于所述多相机系统中的每个相机将所述同步标识子序列信息依次与待同步图像之后的图像序列关联使得待同步图像之后的图像序列依次具有相同的同步标识子序列信息。

在本发明实施例中，多相机系统不会每拍一帧图像之前都会做一次同步曝光，即可能会间隔一定时间才会进行一次同步曝光，这时我们可以考虑在同步曝光的图像中加入同步标识信息后，根据同步标识信息生成同步标识子序列信息，在同步曝光的图像之后拍摄的图像序列中加入同步标识子序列信息，当再次实现同步曝光时，重新生成同步标识信息，再次同步曝光之后拍摄的图像序列依次加入同步标识子序列信息。

具体的，我们通过举例说明，假设第一次同步曝光时待同步图像中加入的同步标识信息为八位数字组成的信息00010000，第二次同步曝光时待同步图像中加入的同步标识信息就为00020000，这样依次类推，前面四位表示了同步曝光时待同步图像序列。每次同步曝光之间可能会拍摄多组图像，第一次同步曝光时待同步图像和第二次同步曝光时待同步图像之间拍摄的多个图像序列就可以用00010001、00010002、00010003……表示，同理，第二次同步曝光时待同步图像和第三次同步曝光时待同步图像之间的图像序列可以用00020001、00020002、00020003……表示，这样依次类推，后面四位表示了两次同步曝光时待同步图像之间的图像序列。需要说明的是，该举例只是用于说明，并不用于限制本发明实施例，还可以根据不同的同步标识信息演变出不同的同步标识信息序列。

需要说明的是，若所述同步标识子序列是通过其中任意一个相机产生的，那么此时主相机在获得同步标识子序列之后，可以将所述同步标识子序列发送至所述多相机系统中的每个从相机，这样主相机可以将获取的同步标识子序列与待同步图像之后的图像相关联，同时所有的从相机也可以将接收到的同步标识子序列与待同步图像之后的图像的相关联，这样使得多相机系统中多个相机待同步图像(同步曝光的图像)之后采集的图像也具有相同的标识信息。

作为一个实施例，主相机可以选取所述多相机系统中的其中一个相机的待同步图像的图像帧号作为同步标识信息；并将所述待同步图像的图像帧号发送至多相机系统中的每个从相机，以便于主相机可以根据获取的图像帧号调整自身待同步图像的帧号，所有的从相机也可以根据接收到的所述图像帧号调整待同步图像的图像帧号。多相机系统中的每个相机在调整待同步图像的帧号时，可以是将作为同步标识信息的图像帧号与自身待同步图像的帧号进行对比，判断是否需要调整，若需要，则将自身待同步图像的帧号调整为作为同步标识信息的图像帧号，从而使得调整后的每个相机待同步图像的图像帧号相同。

本发明实施例在接收到同步曝光的指令之后，获取每个相机的初始硬件时间码，根据多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步；在实现多个相机同步曝光的同时，获取同步标识信息，以便于同步标识信息与待同步图像关联，使得同步曝光的图像具有相同的同步标识信息，服务器在接收到多个相机采集的图像后，根据同步标识信息就可以判断哪些图像是同步曝光的图像，提高了多相机系统中多个相机同步的精度。

可以理解的是，造成多相机系统中多个相机曝光时间不同步的原因除了晶振振荡周期不相等之外，还有其他的一些因素。例如，主相机获取从相机的初始硬件时间码时的网络延时，主相机获取每一个从相机的初始时间码时的操作延时，以及相机本身硬件累计延时值。由于获取的初始硬件时间码中包括上述这些延时值，因此为进一步提高多相机系统的同步精准度，在获取初始硬件时间码之后，确定帧补偿值之前，还可以对获取的初始硬件时间码进行延时修正处理。可以理解的是，延时修正处理可以包括：网络延时修正处理、操作延时修正处理以及硬件累计修正处理中的至少一种。相应的，对初始硬件时间码做修正处理后，获得同步基准值时具体是采用修正后的硬件时间码，同时确定每个相机的帧补偿值时也采用修正后的硬件时间码。下面，将以延时修正处理包括网络延时修正处理、操作延时修正处理以及硬件累计修正处理为例进行详细说明。

请参见图2，是本发明提供的同步曝光的方法的第二实施例的流程示意图，如图2所示该同步曝光的方法用于多相机系统中的主相机以实现同步曝光，可以包括以下步骤：

步骤S201，在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码。

步骤S202，对得到的多个初始硬件时间码依次进行硬件累计修正处理、网络延时处理以及操作延时处理。

下面，将分别描述硬件累计修正处理、网络延时处理以及操作延时处理的具体操作过程。

第一，对多个初始硬件时间码依次进行硬件累计修正处理。

在进行硬件累计修正处理时，由于相机传感器开始工作后，硬件计时器就开始计时了，在工作一定时间之后，晶振则会产生一定的累计误差，为消除此误差，因此可以在每帧图像的预设位置(比如第100个像素点的位置)设置触发CPU硬件中断，当中断触发后，硬件计时器会自动锁存当前时刻的时间码，每经过一次中断触发，会锁存一个时间码。

在步骤202中，对多个初始硬件时间码进行硬件累计修正处理时，操作流程可以按照如图3所示的流程进行。

如图3所示，是步骤202中进行硬件累计修正处理的流程示意图时，可以包括如下步骤：

步骤301，对应获取每个相机最近一次中断触发时刻的中断时间码。

步骤302，将所述多个初始硬件时间码与获取的所述中断时间码做差值运算，对应得到每个相机的修正硬件时间码。

根据前文的描述可知，在产生一次中断时，硬件计时器可以自动锁存一个时间码。因此，每个相机在读取自身的初始硬件时间码之后，还读取最近一次中断触发时刻的硬件时间码，记为中断时间码。然后，将读取的初始硬件时间码与中断时间码求差值，便可消除晶振产生的误差，得到经硬件累积延时处理后的修正硬件时间码。

需要说明的是，对于主相机的硬件累计修正处理操作，可以由主相机自身完成。对于从相机的硬件累计修正处理操作，可以由主相机完成，当然也可以由从相机完成。当由主相机来完成从相机的硬件累计修正处理操作时，从相机需要将读取的自身的初始硬件时间码和最近一次中断时刻的中断时间码发送给主相机。主相机将从相机的初始硬件时间码和从相机的中断时间码做差值运算，便可得到经硬件累计修正处理后的从相机的修正硬件时间码。

举例来说，在对相机的初始硬件时间码进行修正时，若相机的初始硬件时间码为T_i，获取到的相机的最近一次中断的中断时间码为T_i0，那么经硬件累计修正处理操作后的相机的修正硬件时间码K_i＝T_i-T_i0，其中T_i为相机i的初始硬件时间码，T_i0为相机i最近一次中断的中断时间码，i的取值范围为1到N。即经硬件累计修正处理操作后的主相机的修正硬件时间码为K₁＝T₁-T₁₀。同理，经硬件累计修正处理操作后的从相机的修正硬件时间码K_i＝T_i-T_i0,其中i的取值范围为2到N。

第二，对初始硬件时间码进行网络延时修正处理。

根据第一实施例的描述可知，主相机在获取从相机的初始硬件时间码时，需要向从相机发送一个硬件时间码的获取请求，从相机在接收到主相机发来的硬件时间码的获取请求之后，通过自身的时间码寄存器读取自身的硬件时间码并发送给主相机。主相机发送请求到从相机接收到请求所消耗的时间，便是本发明实施例中的网络延时。需要说明的是，主相机在获取自身的初始硬件时间码时，因为无需发送硬件时间码获取请求，因此其网络延时值为0。

具体地，在对初始硬件时间码进行网络延时修正处理时，具体可以按照图4所示的流程进行操作。

如图4所示，是对初始硬件时间码进行网络延时修正处理的实施例的流程示意图，具体方法可以包括：

步骤401，获取所述主相机与每个从相机之间的网络延时值。

步骤402，根据所述多个初始硬件时间码和获取的所述主相机与每个从相机之间的网络延时值计算获得每个相机的修正硬件时间码。

步骤401具体操作时，具体操作方法例如可以是：

在同步曝光任务启动后，主相机首先通过IEEE 1588精密时钟同步协议测量主相机与每个从相机之间的网络延时，并以传感器时钟晶振周期为单位进行换算，由此可以得出此时主相机与每个从相机之间的网络延时。

需要说明的一点是，在步骤402中，主相机在将所述多个初始硬件时间码与获取的所述主相机与每个从相机之间的网络延时值对应做差值运算时，主相机与自身的网络延时值可以理解为没有延时，即网络延时值为0。那么在经网络延时修正处理之后，相机的修正硬件时间码M_i＝T_i-Y_i，其中T_i为相机i的初始硬件时间码，Y_i相机i的网络延时值，i的取值范围为1到N。其中，主相机与主相机之间的网络延时值为Y₁，Y₁＝0，即经网络延时修正处理操作后的主相机的修正硬件时间码为M₁＝T₁。同理，经网络延时修正处理后的从相机的修正硬件时间码M_i＝T_i-Y_i，其中i的取值范围为2到N。

同时，由于步骤202中已经对初始硬件延时码进行了硬件累计修正处理，因此本步骤中在进行差值运算时应该使用经硬件累计修正处理后的硬件时间码，即T_i-T_i0,其中i的取值范围为1到N。若前文没有进行硬件累计修正处理，那么本步骤中进行差值运算时，使用的便应该是初始的硬件时间码T_i，其中i的取值范围为1到N。

下面，将通过具体的例子进行详细说明。假设，主相机获取到的主相机与从相机之间的网络延时值分别为Y₂、Y₃……Y_N，且主相机与主相机之间的网络延时值为Y₁，Y₁＝0。

那么经硬件累计修正处理以及网络延时修正处理之后，得到的相机的修正硬件时间码M_i＝K_i-Y_i＝T_i-T_i0-Y_i，其中，其中i的取值范围为1到N。具体地，经硬件累计修正处理以及网络延时修正处理之后，得到的主相机的修正硬件时间码M₁＝K₁-Y₁＝T₁-T₁₀。同理，经硬件累计修正处理以及网络延时修正处理之后得到的从相机的修正硬件时间码M_i＝K_i-Y_i＝T_i-T_i0-Y_i，其中i的取值范围为2到N。

第三，对初始硬件时间码进行操作延时修正处理。

根据第一实施例的描述可知，主相机在获取相机的初始硬件时间码时，需要分别获取每一个相机的初始硬件时间码，即主相机逐个获取从相机的初始硬件时间码，在主相机获取的某个从相机的初始硬件时间码后，由于多相机系统中存在多个从相机，主相机发出读取下一个从相机的初始硬件时间码的指令时的时间已经发生了变化了。因此，在对初始硬件时间码进行修正时，还需要考虑操作延时。另外，由于主相机在获取各个相机的初始硬件时间码时，首先获取的是自身的初始硬件时间码，因此可以理解为没有操作延时，即主相机在获取自身的初始硬件时间码时，操作延时值为零。

如图5所示，是对初始硬件时间码做操作延时修正处理的实施例的流程示意图，包括如下步骤：

步骤501，当获取每个从相机的初始硬件时间码时，读取所述主相机的瞬时硬件时间码。

步骤502，将所述主相机的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，得到所述主相机与每个从相机之间的操作延时值。

步骤503，根据所述多个初始硬件时间码和获取的所述操作延时值计算获得每个相机的修正硬件时间码。

步骤501中，主相机在向每个从相机发出初始硬件时间码的获取请求之前都先读取一遍主相机的硬件时间码，记为瞬时硬件时间码。然后主相机再向从相机发出初始硬件时间码的获取请求，从相机接收到所述请求后读取本机的硬件时间码并发送给所述主相机。将所述主相机读取的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，便可得到主相机与从相机之间的操作延时值。即操作延时值C_i＝T_1i-T₁。其中，T_1i为主相机在获取第i相机初始硬件时间码之前读取的瞬时硬件时间码，T₁为主相机的初始硬件时间码。其中，其中i的取值范围为1到N。其中，主相机与自身的操作延时值可以理解为没有延时，即操作延时值为0。即C₁＝0。

那么在经操作延时修正处理之后，相机的修正硬件时间码N_i＝T_i-C_i，其中T_i为相机i的初始硬件时间码，C_i相机i的操作延时值，i的取值范围为1到N。即经操作延时修正处理操作后的主相机的修正硬件时间码为N₁＝T₁,其中，主相机与主相机之间的网络延时值为C₁＝0。同理，经操作延时修正处理后的从相机的修正硬件时间码N_i＝T_i-C_i，其中i的取值范围为2到N。

需要说明的一点是，由于步骤202中已经对初始硬件延时码进行了硬件累计修正处理以及网络延时修正处理，因此本步骤中在进行差值运算时应该使用经硬件累计修正处理、网络延时修正处理后的硬件时间码，即M_i,其中i的取值范围为1到N。若前文没有进行硬件累计修正处理和网络延时修正处理，那么本步骤中进行差值运算时，使用的便应该是初始的硬件时间码T_i，其中i的取值范围为1到N。

下面，将通过具体的例子进行详细说明。假设，主相机获取到的主相机与从相机之间的操作延时值分别为C₂、C₃……C_N，且主相机与主相机自身的操作延时值为C₁，C₁＝0。那么经硬件累计修正处理、网络延时修正处理以及操作延时处理之后，得到的相机的修正硬件时间码N_i＝K_i-Y_i-C_i＝T_i-T_i0-Y_i-(T_1i-T₁)，其中，其中i的取值范围为1到N。具体地，经硬件累计修正处理、网络延时修正处理以及操作延时修正处理之后，得到的主相机的修正硬件时间码N₁＝K₁-Y₁＝T₁-T₁₀。同理，经硬件累计修正处理、网络延时修正处理以及操作延时处理之后得到的从相机的修正硬件时间码N_i＝K_i-Y_i-C_i＝T_i-T_i0-Y_i-(T_1i-T₁)，其中i的取值范围为2到N。

需要说明的是，以上实施例虽然是同时采用了网络延时修正处理、操作延时修正处理、硬件累计修正处理三项延时修正处理，但是在实际应用中，可以只选择其中的一项或者两项延时修正处理。在将初始硬件时间码做延时修正处理得到修正硬件时间码的过程中选择了哪项延时修正处理，相应的就将哪项延时修正处理获得的延时结果和初始硬件时间码一起计算获得修正硬件时间码。

步骤203，根据所述多个修正硬件时间码确定所述同步基准值，并根据所述同步基准值和每个相机的修正硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值。

由于步骤202中，对初始硬件时间码进行了延时修正处理，那么在本步骤中，确定同步基准值时，则需要根据经修正处理后的多个修正时间码确定同步基准值。具体地，在确定同步基准值时，可以选择多个修正硬件时间码的任意一个值作为同步基准值，也可以选择所述多个修正硬件时间码中的最大值或最小值作为同步基准值，当然也可以计算所述多个修正硬件时间码的平均值，并将该平均值作为同步基准值。

若只对初始硬件时间码进行了硬件累计修正处理，那么则需要根据经硬件累计修正处理后的硬件时间码K_i确定同步基准值，以此类推。由于本发明实施例中，对初始硬件时间码进行了硬件累计修正处理、网络延时修正处理以及操作延时修正处理，那么则应该根据经硬件累计修正处理、网络延时修正处理以及操作延时处理之后得到的从相机的修正硬件时间码N_i确定同步基准值。在选取同步基准值之后，所有的相机都与选取的同步基准值对应的相机对齐。

步骤S204，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

在本发明实施例中，主相机将计算获得的帧补偿值发送至对应的从相机，主相机根据计算的主相机的帧补偿值调整图像的长度，从相机根据接收到的每个从相机对应的帧补偿值调整各自的图像的长度，这样，多相机系统中主相机和从相机就会实现同步曝光。

本发明实施例重点是根据延时修正处理后的修正时间码获得帧补偿值的过程，在本发明实施例中也可以加入步骤S104所示的内容用以将待同步图像加入同步标识信息。此时，在确定帧补偿值和获取同步标识信息之后，主相机可以将确定出的帧补偿值和同步标识信息一起发送给对应的从相机。这样，在主相机根据确定出的帧补偿值和获取的同步标识信息调整图像帧长和待同步图像的帧号时，每一个从相机也可以根据接收到的帧补偿值和同步标识信息调整图像帧长和待同步图像的帧号。

由于曝光是根据时间码来确定的，若相机的修正硬件时间码大于同步基准值，则说明相机的硬件时间码相对于同步基准值走的快了，需要将相机当前帧图像或下一帧图像延长一定时间，以便于同步基准值对应的相机的时间码能赶上，从而在采集下帧或下下帧图像时曝光时间同步；若是相机的修正硬件时间码小于同步基准值，则说明相机的时间码走的慢了，需要赶上同步基准值对应的相机的时间码，因此需要将相机当前帧图像或下一帧图像缩短一定时间，以便于同步基准值对应的相机的时间码能赶上，从而在采集下帧或下下帧图像时同步曝光。

本发明实施例的同步曝光的方法，在接收到同步曝光的指令之后，通过主相机获取每个相机的初始硬件时间码，并对该多个初始硬件时间码进行延时修正处理，得到多个修正硬件时间码，以及根据该多个修正硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，将所述从相机的帧补偿值发送至对应的每个从相机，以使得多相机系统中的每个相机能够根据对应的帧补偿值调整图像的帧长，从而使得多相机系统中的每个相机在采集图像时曝光时间同步。

请参见图6，是本发明提供的同步曝光的方法的第三实施例的流程示意图，如图6所示，该同步曝光方法用于多相机系统中的主相机，可以包括以下步骤：

步骤S601，在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码。

步骤S602，对得到的多个初始硬件时间码依次进行硬件累计修正处理、网络延时处理以及操作延时处理，得到多个修正硬件时间码。

步骤S603，根据所述多个修正硬件时间码确定同步基准值。

步骤S604，按照公式：B_i＝(N_i-S)％FrameLength计算相机的帧补偿值。

步骤S605，将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。

本实施例与图2所示的实施例的区别有：在确定帧补偿值时，具体采用步骤S604中的公式。步骤S604中，B_i表示相机i的帧补偿值，N_i表示经延时修正处理后相机i的修正硬件时间码，S表示同步基准值，FrameLength表示所述多相机系统中每个相机的一帧图像以振荡周期为单位的大小，％表示模运算。具体的帧补偿值是相机一帧图像以晶振的振荡周期为单位的大小，也就是转换成时间码的大小。取模运算是为了相机的帧补偿值不会超过一帧图像的帧长(转换成时间码的一帧图像的时间长度)，只要对齐时钟的相位就可以。

在具体处理时，确定出的同步基准值可以是多个修正硬件时间码中的最小值，即从多个修正硬件时间码中选取一个最小值作为同步基准值。选取修正硬件时间码中的最小值得目的是为了简化计算，同时也为了获取更好的效果。这时，所有的相机都只需要拉长当前帧或下帧图像的时间长度就行。在计算出相机的帧补偿值之后，多相机系统中的相机便可根据该帧补偿值相应调整当前帧或下一帧图像的长度，使得在相机在采集下帧或下下帧图像时可以实现同步曝光。本发明实施例与图2所示的实施例一样，还可以包括步骤S104的内容，在此不再赘述。

应理解，在上述实施例中，各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。由于上述图1至图6对同步曝光的方法进行了详细的描述，下面将结合附图，对应用上述同步曝光的方法的装置、终端设备以及计算机可读存储介质进行详细描述。为避免赘述，上文中已经描述的术语和相关解释在下文中可能不再说明。

请参见图7，图7是本发明提供的应用于多相机系统中主相机的同步曝光的装置700的结构框图，为了便于说明，仅示出与本发明实施例相关的部分。其中，该多相机系统包括：一个主相机和至少一个从相机。

该同步曝光的装置700可以是内置于主相机内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到所述主相机中。该同步曝光的装置700包括：获取模块701，用于在接收到同步曝光的指令后，获取所述多相机系统中每个相机的初始硬件时间码，得到多个初始硬件时间码。确定模块702，用于根据所述获取模块701获取的所述多个初始硬件时间码确定同步基准值，并根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值。发送模块703，用于将所述从相机的帧补偿值发送至对应的每个从相机，以便所述主相机根据确定的主相机的帧补偿值调整图像的长度时，每个从相机根据接收到的对应的所述帧补偿值调整图像的长度使得所述多相机系统中所有相机的曝光时间同步。同步标识获取模块704，用于获取同步标识信息，以便于所述同步标识信息与所述多相机系统中每个相机的待同步图像关联，使得待同步图像具有相同的同步标识信息，所述待同步图像为所述多相机系统中所有相机同步曝光时每个相机分别采集的图像。其它模块或者单元可以根据上述方法实施例中的步骤对应获得，在此不再赘述。

图8是本发明一实施例提供的终端设备的示意框图。该终端设备可以是外接于多相机系统的终端设备，也可以是多相机系统中的主相机，如图8所示，该实施例的终端设备9包括：一个或多个处理器90、存储器91以及存储在存储器91中并可在处理器90上运行的计算机程序92。处理器90执行计算机程序92时实现上述各个同步曝光的方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器90执行计算机程序92时实现上述装置实施例中各模块/单元的功能，例如图7所示模块701至704的功能。

示例性的，计算机程序92可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器91中，并由处理器90执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。例如，所述计算机程序92可以被分割成获取模块、确定模块、发送模块、同步标识获取模块。终端设备包括但不仅限于处理器90、存储器91。本领域技术人员可以理解，图8仅仅是终端设备9的示例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

本发明实施例的终端设备，通过处理器90和存储器91执行上述实施例提供的同步曝光的方法或同步曝光的装置的功能，从而提高复杂场景下多相机同步的精度。

另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现本发明实施例提供的同步曝光的方法的步骤。

本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备或处理器执行本发明实施例各个实施例所述方法的全部或部分步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims

1.一种同步曝光的方法，其特征在于，应用于多相机系统中的主相机，所述多相机系统中包括一个主相机以及至少一个从相机，所述方法包括：

获取同步标识信息，以便于所述同步标识信息与所述多相机系统中每个相机的待同步图像关联使得每个相机的待同步图像具有相同的同步标识信息，所述待同步图像为所述多相机系统中所有相机同步曝光时每个相机分别采集的图像；

其中，在所述根据所述多个初始硬件时间码确定同步基准值之前，所述方法还包括：

对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码；

所述延时修正处理包括以下至少一项:网络延时修正处理、操作延时修正处理以及硬件累计修正处理；

所述根据所述多个初始硬件时间码确定同步基准值的步骤，具体包括：

根据所述多个修正硬件时间码确定所述同步基准值；

所述根据所述同步基准值和每个相机的初始硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值，具体包括：

根据所述同步基准值和所述多个修正硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值；

其中，所述延时修正处理包括：

操作延时修正处理；

所述对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码的步骤，具体包括：

当获取每个从相机的初始硬件时间码时，读取所述主相机的瞬时硬件时间码；

将所述主相机的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，得到所述主相机与每个从相机之间的操作延时值；所述操作延时值为C_i＝T_1i-T₁，其中，T_1i为主相机在获取第i相机初始硬件时间码之前读取的瞬时硬件时间码，T₁为主相机的硬件时间码，其中，i的取值范围为1到N，N为相机总数；

根据所述多个初始硬件时间码和得到的所述主相机与每个从相机之间的操作延时值计算获得每个相机的修正硬件时间码；

其中，所述同步标识信息包括图像帧号；

其中，所述获取同步标识信息之后，所述方法还包括：

根据所述同步标识信息生成同步标识子序列信息，以便于所述多相机系统中的每个相机将所述同步标识子序列信息依次与待同步图像之后的图像序列关联使得待同步图像之后的图像序列依次具有相同的同步标识子序列信息。

2.根据权利要求1所述的方法，其特征在于，所述延时修正处理包括：

网络延时修正处理；

获取所述主相机与每个从相机之间的网络延时值；

根据所述多个初始硬件时间码和获取的所述主相机与每个从相机之间的网络延时值计算获得每个相机的修正硬件时间码。

3.根据权利要求1所述的方法，其特征在于，所述延时修正处理包括：

硬件累计修正处理；

对应获取每个相机最近一次中断触发时刻的中断时间码；

将所述多个初始硬件时间码与获取的所述中断时间码做差值运算，对应得到每个相机的修正硬件时间码。

4.根据权利要求1所述的方法，其特征在于，所述延时修正处理包括：

网络延时修正处理和操作延时修正处理；

获取所述主相机与每个从相机之间的网络延时值；

将所述主相机的瞬时硬件时间码与所述主相机的初始硬件时间码做差值运算，得到所述主相机与每个从相机之间的操作延时值；

根据所述多个初始硬件时间码、所述主相机与每个从相机之间的网络延时值和所述操作延时值计算获得每个相机的修正硬件时间码。

5.根据权利要求1所述的方法，其特征在于，所述延时修正处理包括：

网络延时修正处理和硬件累计修正处理；

获取所述主相机与每个从相机之间的网络延时值；

对应获取每个相机最近一次中断触发时刻的中断时间码；

根据所述多个初始硬件时间码、所述主相机与每个从相机之间的网络延时值和所述中断时间码计算获得每个相机的修正硬件时间码。

6.根据权利要求1所述的方法，其特征在于，所述延时修正处理包括：

操作延时修正处理和硬件累计修正处理；

对应获取每个相机最近一次中断触发时刻的中断时间码；

根据所述多个初始硬件时间码、所述主相机与每个从相机之间的操作延时值和中断时间码计算获得每个相机的修正硬件时间码。

7.根据权利要求1所述的方法，其特征在于，所述延时修正处理包括：

网络延时修正处理、操作延时修正处理和硬件累计修正处理；

获取所述主相机与每个从相机之间的网络延时值；

对应获取每个相机最近一次中断触发时刻的中断时间码；

根据所述多个初始硬件时间码、所述主相机与每个从相机之间的网络延时值、操作延时值和每个相机的中断时间码计算获得每个相机的修正硬件时间码。

8.根据权利要求1所述的方法，其特征在于，所述根据所述同步基准值和每个相机的修正硬件时间码，确定所述多相机系统中每个相机对应的帧补偿值的步骤，具体为：

根据公式B_i＝(N_i-S)％FrameLength计算相机的帧补偿值；

其中，B_i表示相机i的帧补偿值，N_i表示经延时修正处理后相机i的修正硬件时间码，S表示同步基准值，FrameLength表示所述多相机系统中每个相机的一帧图像以振荡周期为单位的大小，％表示模运算。

9.根据权利要求1所述的方法，其特征在于，所述根据所述多个初始硬件时间码确定同步基准值，具体包括：

选择所述多个初始硬件时间码中的最大值或最小值作为同步基准值；

或者，计算所述多个初始硬件时间码的平均值，并将所述平均值作为同步基准值。

10.根据权利要求1所述的方法，其特征在于，所述根据所述多个修正硬件时间码确定所述同步基准值包括：

选择所述多个修正硬件时间码中的最大值或最小值作为同步基准值；

或者，计算所述多个修正硬件时间码的平均值，并将所述平均值作为同步基准值。

11.根据权利要求1至10任一项所述的方法，其特征在于，所述获取同步标识信息，以便于所述同步标识信息与所述多相机系统中每个相机的待同步图像关联，包括：

获取所述多相机系统中任一相机待同步图像的图像帧号并将所述图像帧号作为所述同步标识信息；

将所述待同步图像的图像帧号发送至所述多相机系统中的每个从相机，以便于所述多相机系统中的所有相机根据接收到的所述图像帧号调整待同步图像的图像帧号。

12.一种同步曝光的装置，其特征在于，应用于多相机系统中的主相机，所述多相机系统中包括一个主相机以及至少一个从相机，所述装置包括：

同步标识获取模块，用于获取同步标识信息，以便于所述同步标识信息与所述多相机系统中每个相机的待同步图像关联，使得每个相机的待同步图像具有相同的同步标识信息，所述待同步图像为所述多相机系统中所有相机同步曝光时每个相机分别采集的图像；

其中，所述同步标识信息包括图像帧号；

其中，所述装置还包括：

延时修正模块，用于对所述多个初始硬件时间码做延时修正处理，得到多个修正硬件时间码；

其中，所述确定模块还用于：

根据所述多个修正硬件时间码确定所述同步基准值；

其中，所述延时修正模块还用于：

操作延时修正处理；

所述延时修正模块还用于：

其中，所述装置还包括：

同步标识子序列获取模块，用于根据所述同步标识信息生成同步标识子序列信息，以便于所述多相机系统中的每个相机将所述同步标识子序列信息依次与待同步图像之后的图像序列关联使得待同步图像之后的图像序列依次具有相同的同步标识子序列信息。

13.一种终端设备，其特征在于，应用于多相机系统中的主相机，所述多相机系统包括一个所述主相机以及至少一个从相机；所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述方法的步骤。