CN107087120B - 一种用于同步多ccd摄像机的方法和系统 - Google Patents

Abstract

本发明提供一种用于同步多CCD摄像机的方法，包括：1)将各个CCD摄像机进行拍摄的帧率调整为与频闪仪的频率保持一致；2)采用所述CCD摄像机对已开启的频闪仪进行拍摄；3)根据各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置与拖影亮斑的位置之间的距离，调整所述CCD摄像机的快门速度。

Description

一种用于同步多CCD摄像机的方法和系统

技术领域

本发明涉及计算机图像领域，具体的说，涉及对多目视觉数据采集中摄像机进行同步。

背景技术

随着硬件技术的发展，摄像机被广泛地应用于数据采集。近年来，基于摄像机的多目视觉数据采集成为了计算机图形学、计算机图像领域的研究热点。多目视觉指的是通过多个摄像机从不同角度对同一物体进行拍摄，从而利用采集到的数据进行视觉测量、三维重建等工作。

多目视觉的实现基于各个摄像机之间的同步性，尤其是在拍摄高速运动或快速变化的物体时，例如拍摄火焰时，需要确保各个摄像机之间具有较高的同步性。在各个摄像机所捕获的视频图像数据的时间存在较大差异的情况下，将无法采用这些数据进行后续的研究工作。因而，针对多摄像机的同步是实现多目视觉数据采集的关键技术。

在现有技术中，为了保证多摄像机的同步，通常采用三种方式：

一种是使用高度精准的工业级硬件设备来确保各个摄像机之间的同步性。然而，这样的摄像机造价高昂且受限于工业技术所能达到的标准，致使此种方式难以得到广泛地应用。

第二种方式是基于拍摄场景中的几何特征进行特征跟踪和几何约束，从而同步各个摄像机所拍摄的画面。然而，很多拍摄目标中并不存在明显的特征信息和几何形状，致使此种方式无法实施。

另一种方式是在不同摄像机所拍摄的画面中插入变形的子帧，以达到同步的目的。然而，此种方式并不适用于所拍摄物体形态变化快速、剧烈的情况。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种用于同步多CCD摄像机的方法，包括：

1)将各个CCD摄像机进行拍摄的帧率调整为与频闪仪的频率保持一致；

2)采用所述CCD摄像机对已开启的频闪仪进行拍摄；

3)根据各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置与拖影亮斑的位置之间的距离，调整所述CCD摄像机的快门速度。

优选地，根据所述方法，其中步骤3)包括：

3-1)判断各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置与拖影亮斑的位置之间的距离之间的差异是否超过允许的误差范围；

3-2)对于所述差异超过允许的误差范围的情况，调整相应的CCD摄像机的快门速度，直到由各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置与拖影亮斑的位置之间的距离之间的差异落入误差范围内。

优选地，根据所述方法，其中步骤3)包括：

3-01)获得各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置；

3-02)针对每一个摄像机，检测其所拍摄图像中的拖影亮斑的位置是否处于τ-ε至τ+ε的范围中，其中，τ为在完成调节时光源的位置与拖影亮斑的位置之间的距离，ε为应用场景允许存在的误差值；

3-03)对于所述拖影亮斑的位置不处于τ-ε至τ+ε的范围中的情况，调整相应的CCD摄像机的快门速度。

优选地，根据所述方法，其中所述各个CCD摄像机具有相同或相近的CCD层数，并且所述各个CCD摄像机的每行电子的传输时间相同或相近。

优选地，根据所述方法，其中通过以下方式获得各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置，包括：

a-1)由各个CCD摄像机拍摄所述频闪仪，使得所拍摄图像中存在明显的光源；

a-2)针对所采集到的各个图像，分别统计每幅图像中各列和或各行的像素强度和，以确定光源所处的列和或行。

优选地，根据所述方法，其中步骤a-2)包括：

a-2-1)针对所采集到的各个图像，将每幅图像中连续n列和或n行像素强度作为一个单位进行统计；

a-2-2)将连续n列和或n行像素强度之和最大的n列和或n行中位于中间一列和或一行的位置作为所述光源所处的列和或行。

优选地，根据所述方法，在步骤a-1)中所述频闪仪具有高于设定的阈值的闪烁频率，并且步骤a-2)包括：

a-2.1)针对所采集到的各个图像，确定每幅图像中的连续饱和像素段；

a-2.1)将所述连续饱和像素段的中间位置作为所述光源所处的列和或行。

优选地，根据所述方法，其中通过以下方式获得各个所述CCD摄像机所拍摄到的频闪仪图像中拖影亮斑的位置，包括：

b-1)在关闭所述频闪仪的情况下，由各个摄像机拍摄场景的背景图像；

b-2)在开启所述频闪仪的情况下，由已被调节为具有与所述频闪仪的频率一致的拍摄帧率的各个摄像机拍摄所述场景下的频闪仪图像；

b-3)对所述背景图像及所述场景下的频闪仪图像进行比较，以确定所述拖影亮斑的位置。

并且，本发明还提供了一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现前述任意一项所述的方法。

以及，一种用于同步多CCD摄像机的系统，包括：

存储装置；及

处理器；

其中，所述存储装置用于存储计算机程序，所述计算机程序在被所述处理器执行时用于实现如前述任意一项所述的方法。

与现有技术相比，本发明的优点在于：

可以使用造价相对较低的消费级摄像机，大幅降低进行多目视觉数据采集的成本；不要求所拍摄场景中必须存在特征信息或几何形状，可以拍摄形态变化快速、剧烈的物体。通过实验证明，根据本发明的方案可以保持较高的同步精度，并且可以将同步误差控制在5毫秒以内。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1示意性地示出了CCD进行成像的工作原理图；

图2(a)是光源一直发光时出现拖影亮带的成像的示意图；

图2(b)是频闪光源出现拖影亮斑的成像的示意图；

图3示出了亮斑位于光源的上方的拖影现象的成像原理；

图4示出了亮斑位于光源的下方的拖影现象的成像原理；

图5是根据本发明的一个实施例同步多CCD摄像机的方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作详细说明。

发明人通过研究发现，可以利用电荷耦合元件(Charge-coupled Device，CCD)的拖影现象，实现对多台CCD摄像机的同步。

所述CCD是一种用于成像的半导体器件，图1示出了CCD摄像机中CCD成像感知器的成像过程。参考图1，在进行成像时，首先由半导体材料进行感光，将收集到的光子转化为电荷，并将产生的电子逐行地(即逐层地)向下垂直传输。当电子被传输至CCD成像感知器最下一行的寄存器时，对电子进行水平传输，并将电子转换为电压通过输出放大器得到数字信息。在所有行的元件完成上述过程后，CCD成像感知器便完成了对一帧图像的成像过程。

而在电子被逐层传输的过程中，光源在继续被CCD芯片感光后，会使得在最终所生成图像光源位置的纵向方向上出现亮带或亮斑。图2示出了一个典型拖影现象，其中图(a)光源一直发光时CCD摄像机所拍摄的图像，图(b)为光源为频闪光源时所拍摄的图像。在本领域中，通常将上述拖影现象看作是由于拍摄环境而导致的不期望出现的现象，在拍摄时往往希望避免在所拍摄的画面中出现拖影现象。

然而，发明人发现，可以在进行多目视觉数据采集的初期，利用高亮度所带来拖影，对多个CCD摄像机进行同步，其原理如下。

发明人利用具有固定闪烁频率的频闪仪作为被拍摄场景中的一个或多个光源进行测试，发现当频闪仪的频率大于CCD摄像机的帧率时，会发生如图2(b)所示出的拖影现象，即在光源的上方和下方均出现了亮斑。而当适当调低频闪仪的频率后，所产生的亮斑的数量随之减少，直到频闪仪的频率与CCD摄像机的帧率一致时，亮斑的数量减少到一个或零个。通过调节频闪仪的频率以及开启时间，可以确保只出现一个亮斑。

在仅出现一个亮斑时，存在亮斑位于光源的上方、以及亮斑位于光源的下方这两种情况。

假设，CCD摄像机生成一帧图像所需的时长为t_period，其大小等于帧率的倒数。可以将该时长划分为“获取图像”、以及“读出图像”这两阶段，即，

t_period＝t_acquisition+t_read。

在获取图像的阶段t_acquisition，打开快门进行感光，将光子转化为电荷；在读出图像的阶段t_read，读出所有行的电子t_{image_read}，并进行其他操作t_else(包括将电子转换为电压信号、成像存续等)，因而将t_read表示为，

t_read＝t_{image_read}+t_else。

若CCD成像感知器的分辨率为m×n，其传输每行电子时间为t_{per_row}，即，

t_{image_read}＝n×t_{per_row}。

图3示出了亮斑位于光源的上方的情况，即亮斑比光源更晚成像。

参考图3，在开始成像第i帧图像时(即在时刻)，CCD芯片感光成像出如在该时刻下虚线所示出的图像，可以看到在该图像靠下方的位置处呈现出一个光源的像。随着电子逐行地向下垂直传输，频闪仪在传输的过程中闪亮，此时(即在时刻)，在前一时刻所生成的图像向下移动Δd的距离，并且CCD芯片再次感光成像出如在时刻下虚线所示出的图像，所述再次感光所新生成的图像与前一时刻生成的图像在画面上完全一致，均可以在同一位置处观察到光源的成像。电子继续向下传输，完成最终的成像，此时(即在到达时)，所最终形成的第i帧图像是在时刻以及时刻感光生成的两张图像重合后的结果。

通过图3可以看出，在所述最终形成的第i帧图像上，再次曝光产生的亮斑位于首次曝光的光源像上方Δd的位置处。因此，对于第i帧图像，可以将亮斑与光源间的像素距离Δd⁽ⁱ⁾表示为，

其中，表示第i帧开始传输的时刻，频闪仪在摄像机传输第i帧的过程中闪亮的时刻。

对于同一帧而言，频闪仪闪亮的时间是唯一确定的。并且，在采用相同型号的CCD摄像机时，每行电子的传输时间t_{per_row}也是固定不变的。

因此，对于再次曝光产生的亮斑位于首次曝光的光源像上方Δd的位置处的情况而言，为了保证各个摄像机具有相同的只需保证各个摄像机能够拍摄出具有相同Δd⁽ⁱ⁾的图像即可。

图4示出了亮斑位于光源的下方的情况，即亮斑是所拍摄的前一帧中的成像，比当前帧中的光源更早成像。

参考图4，在开始成像第i-1帧图像时(即在时刻)，CCD芯片感光成像出如在该时刻下虚线所示出的第i-1帧图像。在频闪仪闪亮后，(即之后的一个时刻)，CCD芯片再次感光成像出的图像与在前一时刻所生成的图像重合Δd层，对于一个n层的CCD而言，在前一时刻所生成的图像向下移动n-Δd的距离。

通过图4可以看出，在最终生成的第i帧图像中，亮斑像位于光源像上方Δd的位置处。因此，对于第i帧图像，可以将亮斑与光源间的像素距离Δd⁽ⁱ⁾表示为，

为了对各个摄像机进行同步，需要保证每个摄像机均在相同的时刻开始成像，即需要保证他们所拍摄的帧具有相同的而综合图3和图4这两种情况，可以看出，开始成像的时刻仅与频闪仪闪光的时刻CCD的层数n、CCD传输每行电子时间t_{per_row}、亮斑与光源间的像素距离Δd⁽ⁱ⁾相关。对于同一帧而言，频闪仪闪亮的时间是唯一确定的。在采用相同型号的CCD摄像机时，CCD的层数n、以及每行电子的传输时间t_{per_row}也是固定不变的。

因此，对于，亮斑像位于光源像上方Δd的位置处的情况而言，为了保证各个摄像机具有相同的只需保证各个摄像机能够拍摄出具有相同Δd⁽ⁱ⁾的图像即可。

综合考虑如图3和图4所示出的两种情况，可以发现，不论亮斑像位于光源像上方或是下方，在采用多个具有相同或相近的CCD层数、并且具有每行电子的传输时间相同或相近的特性的摄像机时，仅需调节使得各个摄像机所拍摄图像上的Δd均相等，便可以使得各个摄像机具有相同的t_start。

由于本发明需要调节亮斑位置，会引入同步误差，因此可以进一步地量化误差，计算t_{per_row}。可以先将频闪仪的闪烁频率调至约10倍于视频帧率，然后选择在光源同侧的亮斑进行位置计算，计算方式如下：

其中，Δd_smear表示相邻两个光斑在图像中的距离，单位为像素，f_flash表示频闪仪的闪烁频率，可以通过频闪仪的显示窗口读出具体数值。

基于上述结论，本发明提出了一种用于多CCD摄像机的同步方法。

根据本发明的一个实施例，参考图5，所述方法包括：

步骤1.将各个CCD摄像机进行视频拍摄的帧率调整为与频闪仪的频率保持一致。

如前文中所述，通过调节频闪仪的频率以及开启时间，可以使得在所拍摄的画面中由于“拖影现象”所产生的亮斑数量仅为一个。在亮斑数量减少到一个的情况下，可以认为此时频闪仪的频率与CCD摄像机的帧率保持一致。

在本发明中，既可以人为地观察所拍摄的图像，也可以利用诸如图像识别的技术来判断所拍摄图像上亮斑的数量，以确定是否需要调节频闪仪的配置。

步骤2.利用所述CCD摄像机拍摄已开启的频闪仪，通过调节各个摄像机的快门速度，改变拍摄到的光源与拖影亮斑之间的距离，直到各个摄像机所拍摄到的所述距离均相等。

假设，在完成调节时所述距离的准确值或预判值为τ，应用场景允许存在的误差值为ε，则当每个摄像机所拍摄到的频闪仪与拖影亮斑间的距离调节为处于τ-ε至τ+ε的范围中时，便完成了对各个摄像机的同步过程。

在本发明中，可以利用任意现有的图像识别技术以确定每个摄像机所拍摄的图像上光源与拖影亮斑之间的距离大小，也可以通过人肉眼地进行识别。发明人发现，在通过人肉眼进行识别的过程中，会引入5毫米以内的误差。这是由于，对于大多数现有设备而言，像素每行的传递时间约为0.05毫秒。由于实验中需要手动调节亮斑位置，因此无法期望使拖影亮斑与频闪仪间的距离在各视频序列中保持严格一致。但是可以通过5次以内的手工调节将此距离的差距控制在100行以内，所以通过本发明提供的方法可以方便地实现误差精度在0.05毫秒×100＝5毫秒以内的同步。

基于通过图像识别或人肉眼识别出的结果，可以使得各个摄像机在不同分辨率之间进行切换以调整快门速度，从而将各个摄像机所拍摄图像上的频闪仪与拖影光斑间的距离调节至相等。

下面将通过具体的实施例来介绍所述调节过程。

以使用Monarch Instrument Nova-Strobe dbx频闪仪为例，dbx频闪仪的频率范围为0.50至333.33次/秒，调控步长为0.01次/秒。可以通过软件程序、或人肉眼判断来检测频闪仪及拖影亮斑的位置，进而通过调整两者间的距离值，完成摄像机的同步调整设置，所述方法包括：

步骤2.1.检测图像中的频闪仪(即光源)的位置。

可以首先将频闪仪的闪烁频率调至最高(333.33次/秒)，此时，在摄像机采集到的图像中，在频闪仪所在位置的上下位置将产生密集的亮斑。这里拍摄高频闪烁的频闪仪的目的在于，使得所拍摄图像中存在明显的光源。在此步骤中，不必限制所述摄像机的拍摄帧率是否与频闪仪的频率保持一致。

然后，对所采集到的图像进行检测，统计图像的各列的像素强度之和。理论上，频闪仪的位置应位于像素强度和最大的那一列，为了减小误差，以连续5列像素作为一个统计单位，取连续5列像素强度和最大的5列，并将中间一列(即第3列)作为频闪仪的在图像横向上(所在列)的位置。

在确定了频闪仪的成像在图像横向上的位置后，需要进一步确定其在图像纵向上的位置。当频闪仪闪烁频率较高时，会导致光子在频闪仪位置过度累积，使像素处于过饱和状态，进而溢出到附近的像素。因此，对频闪仪所在列的像素进行搜索，统计连续饱和像素所集中的位置，取最大连续饱和像素段的中间位置，即为频闪仪在图像纵向上(所在行)的位置。应当理解，上述判断频闪仪在图像纵向或横向上的位置的方法是互通的。并且，在一些实施例中，也可以仅获取频闪仪在图像上的纵向上的位置或仅获取频闪仪在图像上的横向上的位置，只要所获得的位置信息可被用于计算如图3、图4中所示出的Δd即可。

步骤2.2.针对每一个摄像机，检测其所拍摄图像中的拖影亮斑的位置是否处于τ-ε至τ+ε的范围中。

如前文中所述，根据拖影亮斑发生的原理可知，其在图像中的横向位置与频闪仪的成像在图像中的横向位置保持一致。因此，在此步骤中只需要确定亮斑在图像中的纵向位置。

首先，关闭频闪仪，由各个摄像机拍摄获取拍摄场景的背景图像。

随后，开启频闪仪，通过调节使得各个摄像机采集视频帧率与频闪仪的频率一致，并由各个摄像机拍摄获取当前拍摄场景下的频闪仪图像。

对所拍摄到的当前拍摄场景下的频闪仪图像与拍摄场景的背景图像进行比较，例如进行求取差值，以获得图像中拖影亮斑的位置。优选地，在求取差值后的结果中处于频闪仪所在列的特定方向(或上或下，根据拍摄场景而定，且各摄像机保持统一)位于距离τ-ε至τ+ε个像素的范围内搜索，是否存在连续多个像素的具有高亮度(例如，根据经验值，可以该标准选取为连续5个像素的亮度值大于120)。

若不存在，则重置该摄像机的快门开启时间，并重新拍摄在开启频闪仪的情况下的场景图像，以与背景图像进行比较，直到在τ-ε至τ+ε个的范围内检测到具有高亮度的连续的多个像素。

在结束针对所有摄像机的调节后，即实现了摄像机的同步设置。

结合上述分析及实施例可以看出，拖影现象是CCD芯片在成像过程中，由于感光形成的电子按行依次输出成像，导致过亮的光源在电子传输过程中，继续被CCD芯片感光，而在最后生成的图像中，光源位置纵向两侧出现过亮的条带或者斑点的现象。本发明将利用CCD芯片的这一特征，实现多台CCD摄像机的同步。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管上文参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种用于同步多CCD摄像机的方法，包括：

1)将各个CCD摄像机进行拍摄的帧率调整为与频闪仪的频率保持一致；

2)采用所述CCD摄像机对已开启的频闪仪进行拍摄；

3)根据各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置与拖影亮斑的位置之间的距离，调整所述CCD摄像机的快门速度。

2.根据权利要求1所述的方法，其中步骤3)包括：

3-1)判断各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置与拖影亮斑的位置之间的距离之间的差异是否超过允许的误差范围；

3-2)对于所述差异超过允许的误差范围的情况，调整相应的CCD摄像机的快门速度，直到由各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置与拖影亮斑的位置之间的距离之间的差异落入误差范围内。

3.根据权利要求1所述的方法，其中步骤3)包括：

3-01)获得各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置；

3-02)针对每一个摄像机，检测其所拍摄图像中的拖影亮斑的位置是否处于τ-ε至τ+ε的范围中，其中，τ为在完成调节时光源的位置与拖影亮斑的位置之间的距离，ε为应用场景允许存在的误差值；

3-03)对于所述拖影亮斑的位置不处于τ-ε至τ+ε的范围中的情况，调整相应的CCD摄像机的快门速度。

4.根据权利要求3所述的方法，其中所述各个CCD摄像机具有相同或相近的CCD层数，并且所述各个CCD摄像机的每行电子的传输时间相同或相近。

5.根据权利要求1-4中任意一项所述的方法，其中通过以下方式获得各个所述CCD摄像机所拍摄到的频闪仪图像中光源的位置，包括：

a-1)由各个CCD摄像机拍摄所述频闪仪，使得所拍摄图像中存在明显的光源；

a-2)针对所采集到的各个图像，分别统计每幅图像中各列和/或各行的像素强度和，以确定光源所处的列和/或行。

6.根据权利要求5所述的方法，其中步骤a-2)包括：

a-2-1)针对所采集到的各个图像，将每幅图像中连续n列和/或n行像素强度作为一个单位进行统计；

a-2-2)将连续n列和/或n行像素强度之和最大的n列和/或n行中位于中间一列和/或一行的位置作为所述光源所处的列和/或行。

7.根据权利要求5所述的方法，在步骤a-1)中所述频闪仪具有高于设定的阈值的闪烁频率，并且步骤a-2)包括：

a-2.1)针对所采集到的各个图像，确定每幅图像中的连续饱和像素段；

a-2.1)将所述连续饱和像素段的中间位置作为所述光源所处的列和/或行。

8.根据权利要求1-4中任意一项所述的方法，其中通过以下方式获得各个所述CCD摄像机所拍摄到的频闪仪图像中拖影亮斑的位置，包括：

b-1)在关闭所述频闪仪的情况下，由各个摄像机拍摄场景的背景图像；

b-2)在开启所述频闪仪的情况下，由已被调节为具有与所述频闪仪的频率一致的拍摄帧率的各个摄像机拍摄所述场景下的频闪仪图像；

b-3)对所述背景图像及所述场景下的频闪仪图像进行比较，以确定所述拖影亮斑的位置。

9.一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被处理器执行时用于实现如权利要求1-8中任意一项所述的方法。

10.一种用于同步多CCD摄像机的系统，包括：

存储装置；及

处理器；

其中，所述存储装置用于存储计算机程序，所述计算机程序在被所述处理器执行时用于实现如权利要求1-8中任意一项所述的方法。