CN112153354A - 一种帧同步图像拍摄方法 - Google Patents

Abstract

本发明涉及数字成像技术，具体涉及一种帧同步图像拍摄方法。为了解决技术背景中现有技术所存在不足和局限性，实现相机同步拍摄的图像经压缩、传输、存储过程后，依然可以根据帧号可以确定同一时刻拍摄的帧图像，并且可以删除缺帧或错位帧图像；本发明提供了一种帧同步图像拍摄方法，包括以下步骤：首先，分别发送时序同步的i个触发信号至i个相机的图像传感器，同时分别发送相同的m位帧号至i个相机的插值及ISP模块；然后将m位帧号内嵌至相机中的插值及ISP模块；最后，相机循环拍摄完毕后，提取相机存储图像的帧号，根据帧号确定同一时刻拍摄的帧图像。

Description

一种帧同步图像拍摄方法

技术领域

本发明涉及数字成像技术，具体涉及一种帧同步图像拍摄方法。

背景技术

同步拍摄是在摄影测量中，两台或多台摄影机在同一瞬间曝光的摄影方式，一般应用于运动目标的拍摄，同步精度影响目标运动状态测定精度，目标运动速度越高，要求的同步精度越高。

同步拍摄时，同步快门法是常用方法之一，通过软件触发、外触发的方法同时发信号至多个相机进行曝光拍摄。拍摄得到的图像如果不进行压缩，数据量巨大，存储占用空间大，且难以进行实时远距离传输，因此在长时间拍摄或需要实时远距离传输时，需要将图像压缩后再进行传输及存储。

压缩算法在I帧(关键帧)开始，以GOP(连续画面组)分段进行压缩，关键帧的位置和场景变化有关，因此关键帧位置和GOP长度都不固定，且不同的相机拍摄到的画面不同，其关键帧位置也不同；在存储过程中，必须以关键帧开始，而压缩算法决定了各个相机的关键帧并不一定在同一时刻拍摄，导致存储的视频起始帧不一定是同一时刻拍摄，产生错帧；在传输过程中，由于视频为连续画面，要求连续高速传输，受传输稳定性影响，容易产生丢帧、错帧。因此，压缩、传输、存储过程会导致各个相机得到的视频有丢帧、错帧现象，而后期无法判别哪帧出现了错误，无法获知各个相机的每帧图像是否在同一时刻拍摄，导致同步误差较大，且误差不稳定。

同步拍摄时，闪光照明法也是常用方法之一，开启各个相机拍摄后，在各个摄像机都能拍摄到的视场内进行一次闪光，最后在得到的视频内寻找出现闪光的帧作为起始帧，认为起始帧拍摄时间相同，后边的帧依次认为拍摄时间相同。通过人为观看闪光灯的方法同步精度比较低，若两个相机之间拍摄时间误差低于1帧的拍摄时间，将难以通过这种方法判别；只在起始阶段进行同步，若后续的其他帧产生丢帧、错帧，将无法判别。

发明内容

为了解决现有技术所存在同步精度比较低，以及只在起始阶段进行同步，若后续的其他帧产生丢帧、错帧，将无法判别等不足和局限性，实现相机同步拍摄的图像经压缩、传输、存储过程后，依然可以根据帧号确定同一时刻拍摄的帧图像，并且可以删除缺帧或错位帧图像，本发明提供了一种帧同步图像拍摄方法。

本发明所采用的技术方案为：一种帧同步图像拍摄方法，包括以下步骤：

1)发送同步拍摄信号

分别发送时序同步的i个触发信号至i个相机的图像传感器，同时分别发送相同的m位帧号至i个相机的插值及ISP模块，其中，i≥2，m≥12，ISP模块为图像信号处理器模块；

2)相机内嵌帧号

2.1)i个相机的图像传感器收到触发信号后，同时开始拍摄第1帧图像，并将生成的拜耳格式图像发送至插值及ISP模块；

2.2)插值及ISP模块对拜耳格式图像进行RGB插值，形成分辨率为x×y的初始RGB格式图像，其中，Red、Green、Blue，简称为RGB，RGB格式图像为对颜色进行插值的图像，x为水平方向像素数，y为垂直方向像素数；

2.3)插值及ISP模块在初始RGB格式图像下方增加n行像素数据，变成分辨率为(x+n)×y的扩充RGB格式图像；其中，n≥4；

所述增加的n行像素数据格式如下：

①n行像素数据中，从左至右，每{n×r}像素区域为一个数据块，依次代表m位帧号的每一位数，分别为a₀、a₁、a₂……a_(m-1)，其中r为每个数据块像素数列数，r≥16，并且(m×r)≤y；若帧号的该位数为0，设对应数据块内每个像素RGB值为黑色(0,0,0)；若帧号的该位数为1，设对应数据块内每个像素RGB值为白色(255,255,255)；

②n行像素数据中的其余像素的RGB值均设为白色(255,255,255)；

2.4)RGB格式图像，经压缩编码后，进行传输，并对应存储至i个相机中；

3)相机循环拍摄

完成第1帧图像拍摄后，帧号自动加1，重复步骤(1)和步骤(2)进行下一帧图像拍摄，若帧号超过设定数值，自动从0开始循环，直至拍摄完毕；

4)提取相机存储图像的帧号：

4.1)针对i个相机中存储的RGB格式图像，计算每帧图像的每个数据块的所有像素的平均RGB值

其中，S₁、S₂、S₃、…、S_(n×r)为每个像素所对应的平均RGB值，按下式计算：

S＝(R+G+B)/3；

4.2)若

该数据块代表的帧号位值为1；若

该数据块代表的帧号位值为0；m个数据块的帧号位所代表的值从左至右依次排列，重构为所提取的该帧图像的m位帧号；

5)根据帧号确定同一时刻拍摄的帧图像。

上述的一种帧同步图像拍摄方法，在步骤5)之后还包括步骤6)，删除缺帧或错位帧图像的步骤：

对i个相机的所有帧图像的帧号序列进行比对，若帧号相同的帧图像的数量不等于i，删除该帧号下的所有帧图像，剩余则为拍摄时刻相同的帧同步图像。

进一步地，步骤2.3)中，在初始RGB格式图像和n行像素数据之间插入1行y列的像素数据，并将该像素数据的RGB值设为黑色(0,0,0)，使得下方n行像素数据与分辨率为x×y的初始RGB格式图像隔离区分。

进一步地，步骤1)中，m取值为12；

进一步地，步骤2.3)中，n的取值为4，r的取值为16。

进一步地，步骤1)中，m位帧号为二进制数字。

进一步地，步骤3)中帧号的设定数值为4095。

本发明与现有技术相比具有以下有益效果。

一、本发明采用的一种帧同步图像拍摄方法，在多个相机每帧同步拍摄时，将帧号发送至各个相机，各个相机在当前图像中新增几行像素数据，用于存储当前帧号，拍摄完成后，通过专用帧号提取算法将每帧图像对应的帧号从图像中提取出，使各个相机生成的图像在经压缩、传输、存储过程后，依然可以根据帧号确定同一时刻拍摄的帧图像，减小了相机拍摄的同步误差。

二、本发明采用的一种帧同步图像拍摄方法，根据各个相机的帧号序列可确定丢帧、错帧的位置，并将帧号不同处的帧予以删除，使得各个相机剩余帧均一一对应，进而同一帧拍摄时刻均相同，提高了相机同步拍摄图像的精度。

附图说明

图1为本发明一种帧同步图像拍摄方法实施例中相机同步拍摄示意图。

图2为本发明一种帧同步图像拍摄方法实施例中相机内嵌帧号示意图。

图中：1-帧号，2-触发控制器，3-触发信号，6-图像传感器，7-拜耳格式图像，8-插值及ISP模块，9-扩充RGB格式图像，10-压缩编码，11-存储，81-原始有效区域，82-扩充区域。

具体实施方式

下面将结合本发明的实施例和附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例并非对本发明的限制。

本实施例中的一种帧同步图像拍摄方法，包括以下步骤：

(1)发送同步拍摄信号

如图1所示，触发控制器2分别发送时序同步的2个触发信号3至2个相机的图像传感器6，同时分别发送相同的12位帧号1至2个相机的插值及ISP模块8，12位帧号1为二进制数字，ISP模块为图像信号处理器模块；

(2)相机内嵌帧号

2.1)2个相机的图像传感器6收到触发信号后，同时开始拍摄第1帧图像，并将生成的拜耳格式图像7发送至插值及ISP模块8；

2.2)插值及ISP模块8对拜耳格式图像7进行RGB插值，形成分辨率为x×y的初始RGB格式图像，其中，x为水平方向像素数，y为垂直方向像素数；

2.3)插值及ISP模块8在初始RGB格式图像下方增加5行像素数据，变成分辨率为(x+5)×y的扩充RGB格式图像9，如图2所示，81为RGB格式图像9的原始有效区域，82为RGB格式图像9的扩充区域。

所述增加的5行像素数据格式如下：

①5行像素数据中的第1行像素的RGB值设为黑色(0,0,0)，使得下方4行像素数据与分辨率为x×y的初始RGB格式图像隔离区分。

②5行像素数据中的其余4行像素，从左至右，每{4×16}像素区域为一个数据块，依次代表12位数帧号的每一位数，分别为a₀、a₁、a₂……a₁₁，其中r的取值为16，并且y≥192；若帧号值的该位数为0，设对应数据块内每个像素RGB值为黑色(0,0,0)；若帧号值的该位数为1，设对应数据块内每个像素RGB值为白色(255,255,255)；

③5行像素数据中的其余像素的RGB值均设为白色(255,255,255)；

2.4)扩充RGB格式图像9，经压缩编码10后，进行传输，并对应存储11至2个相机中；

3)相机循环拍摄

完成第1帧图像拍摄后，帧号自动加1，重复步骤(1)和步骤(2)进行下一帧图像拍摄，若帧号超过4095，自动从0开始循环，直至拍摄完毕；

4)提取相机存储图像的帧号：

4.1)针对2个相机中存储的扩充RGB格式图像9，计算每帧图像的每个数据块的所有像素的平均RGB值

其中，S₁、S₂、S₃、…、S₆₄为每个像素所对应的平均RGB值，按下式计算：

S＝(R+G+B)/3；

4.2)若

认为其在压缩前为255，该数据块代表的帧号位值为1；若S＜128，认为其在压缩前为0，该数据块代表的帧号位值为0；12个数据块的帧号位值从左至右依次排列，重构为所提取的该帧图像的12位帧号；

5)根据帧号确定2个相机同一时刻拍摄的帧图像。

上述的一种帧同步图像拍摄方法，步骤5)之后还包括步骤6)，删除缺帧或错位帧图像的步骤：

对2个相机的所有帧图像的帧号序列进行比对，若帧号相同的帧图像的数量不等于2，删除该帧号下的所有帧图像，剩余则为拍摄时刻相同的帧同步图像。

例如第一个相机的帧号序列是0、1、2、3、4、5、6，第二个相机的帧号序列是0、1、2、4、5、6，则第二个相机的第3帧丢失，将第一个相机第3帧删除掉后，两相机的帧号序列变为0、1、2、4、5、6，每帧都为同步拍摄；若第一个相机的帧号序列是0、1、2、3、4、5、6，第二个相机的帧号是1、2、3、4、5、6、7，则两个相机发生了帧错位，各自删除错位帧后，两相机的帧号序列变为1、2、3、4、5、6，每帧都为同步拍摄。

以上所述仅为本发明的实施例，并非对本发明保护范围的限制，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (7)

1.一种帧同步图像拍摄方法，其特征在于，包括以下步骤：

1)发送同步拍摄信号

分别发送时序同步的i个触发信号(3)至i个相机的图像传感器(6)，同时分别发送相同的m位帧号(1)至i个相机的插值及ISP模块(8)，其中，i≥2，m≥12；

2)相机内嵌帧号

2.1)i个相机的图像传感器(6)收到触发信号后，同时开始拍摄第1帧图像，并将生成的拜耳格式图像(7)发送至插值及ISP模块(8)；

2.2)插值及ISP模块(8)对拜耳格式图像(7)进行RGB插值，形成分辨率为x×y的初始RGB格式图像，其中，x为水平方向像素数，y为垂直方向像素数；

2.3)插值及ISP模块(8)在初始RGB格式图像下方增加n行像素数据，变成分辨率为(x+n)×y的扩充RGB格式图像(9)；其中，n≥4；

所述增加的n行像素数据格式如下：

①n行像素数据中，从左至右，每{n×r}像素区域为一个数据块，依次代表m位帧号的每一位数，分别为a₀、a₁、a₂……a_(m-1)，其中r为每个数据块像素数列数，r≥16，并且(m×r)≤y；若帧号的该位数为0，设对应数据块内每个像素RGB值为黑色(0,0,0)；若帧号的该位数为1，设对应数据块内每个像素RGB值为白色(255,255,255)；

②n行像素数据中的其余像素的RGB值均设为白色(255,255,255)；

2.4)扩充RGB格式图像(9)，经压缩编码(10)后，进行传输，并对应存储(11)至i个相机中；

3)相机循环拍摄

完成第1帧图像拍摄后，帧号自动加1，重复步骤(1)和步骤(2)进行下一帧图像拍摄，若帧号超过设定数值，自动从0开始循环，直至拍摄完毕；

4)提取相机存储图像的帧号：

4.1)针对i个相机中存储的扩充RGB格式图像(9)，计算每帧图像的每个数据块的所有像素的平均RGB值

其中，S₁、S₂、S₃、…、S_(n×r)为每个像素所对应的的平均RGB值，按下式计算：

S＝(R+G+B)/3；

4.2)若

该数据块代表的帧号位值为1；若

该数据块代表的帧号位值为0；m个数据块的帧号位值从左至右依次排列，重构为所提取的该帧图像的m位帧号；

5)根据帧号确定i个相机同一时刻拍摄的帧图像。

2.根据权利要求1所述的一种帧同步图像拍摄方法，其特征在于：步骤5)之后还包括步骤6)，删除缺帧或错位帧图像的步骤：

对i个相机的所有帧图像的帧号序列进行比对，若帧号相同的帧图像的数量不等于i，删除该帧号下的所有帧图像，剩余则为拍摄时刻相同的帧同步图像。

3.根据权利要求2所述的一种帧同步图像拍摄方法，其特征在于：步骤2.3)中，在初始RGB格式图像和n行像素数据之间插入1行y列的像素数据，并将该像素数据的RGB值设为黑色(0,0,0)。

4.根据权利要求1-3任一权利要求所述的一种帧同步图像拍摄方法，其特征在于：步骤1)中，m取值为12。

5.根据权利要求4所述的一种帧同步图像拍摄方法，其特征在于：步骤2.3)中，n的取值为4，r的取值为16。

6.根据权利要求5所述的一种帧同步图像拍摄方法，其特征在于：步骤1)中，m位帧号(1)为二进制数字。

7.根据权利要求6所述的一种帧同步图像拍摄方法，其特征在于：步骤3)中帧号的设定数值为4095。

Images