CN112153354B - 一种帧同步图像拍摄方法 - Google Patents
一种帧同步图像拍摄方法 Download PDFInfo
- Publication number
- CN112153354B CN112153354B CN202010812212.5A CN202010812212A CN112153354B CN 112153354 B CN112153354 B CN 112153354B CN 202010812212 A CN202010812212 A CN 202010812212A CN 112153354 B CN112153354 B CN 112153354B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- frame number
- cameras
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及数字成像技术,具体涉及一种帧同步图像拍摄方法。为了解决技术背景中现有技术所存在不足和局限性,实现相机同步拍摄的图像经压缩、传输、存储过程后,依然可以根据帧号可以确定同一时刻拍摄的帧图像,并且可以删除缺帧或错位帧图像;本发明提供了一种帧同步图像拍摄方法,包括以下步骤:首先,分别发送时序同步的i个触发信号至i个相机的图像传感器,同时分别发送相同的m位帧号至i个相机的插值及ISP模块;然后将m位帧号内嵌至相机中的插值及ISP模块;最后,相机循环拍摄完毕后,提取相机存储图像的帧号,根据帧号确定同一时刻拍摄的帧图像。
Description
技术领域
本发明涉及数字成像技术,具体涉及一种帧同步图像拍摄方法。
背景技术
同步拍摄是在摄影测量中,两台或多台摄影机在同一瞬间曝光的摄影方式,一般应用于运动目标的拍摄,同步精度影响目标运动状态测定精度,目标运动速度越高,要求的同步精度越高。
同步拍摄时,同步快门法是常用方法之一,通过软件触发、外触发的方法同时发信号至多个相机进行曝光拍摄。拍摄得到的图像如果不进行压缩,数据量巨大,存储占用空间大,且难以进行实时远距离传输,因此在长时间拍摄或需要实时远距离传输时,需要将图像压缩后再进行传输及存储。
压缩算法在I帧(关键帧)开始,以GOP(连续画面组)分段进行压缩,关键帧的位置和场景变化有关,因此关键帧位置和GOP长度都不固定,且不同的相机拍摄到的画面不同,其关键帧位置也不同;在存储过程中,必须以关键帧开始,而压缩算法决定了各个相机的关键帧并不一定在同一时刻拍摄,导致存储的视频起始帧不一定是同一时刻拍摄,产生错帧;在传输过程中,由于视频为连续画面,要求连续高速传输,受传输稳定性影响,容易产生丢帧、错帧。因此,压缩、传输、存储过程会导致各个相机得到的视频有丢帧、错帧现象,而后期无法判别哪帧出现了错误,无法获知各个相机的每帧图像是否在同一时刻拍摄,导致同步误差较大,且误差不稳定。
同步拍摄时,闪光照明法也是常用方法之一,开启各个相机拍摄后,在各个摄像机都能拍摄到的视场内进行一次闪光,最后在得到的视频内寻找出现闪光的帧作为起始帧,认为起始帧拍摄时间相同,后边的帧依次认为拍摄时间相同。通过人为观看闪光灯的方法同步精度比较低,若两个相机之间拍摄时间误差低于1帧的拍摄时间,将难以通过这种方法判别;只在起始阶段进行同步,若后续的其他帧产生丢帧、错帧,将无法判别。
发明内容
为了解决现有技术所存在同步精度比较低,以及只在起始阶段进行同步,若后续的其他帧产生丢帧、错帧,将无法判别等不足和局限性,实现相机同步拍摄的图像经压缩、传输、存储过程后,依然可以根据帧号确定同一时刻拍摄的帧图像,并且可以删除缺帧或错位帧图像,本发明提供了一种帧同步图像拍摄方法。
本发明所采用的技术方案为:一种帧同步图像拍摄方法,包括以下步骤:
1)发送同步拍摄信号:
分别发送时序同步的i个触发信号至i个相机的图像传感器,同时分别发送相同的m位帧号至i个相机的插值及ISP模块,其中,i≥2,m≥12,ISP模块为图像信号处理器模块;
2)相机内嵌帧号:
2.1)i个相机的图像传感器收到触发信号后,同时开始拍摄第1帧图像,并将生成的拜耳格式图像发送至插值及ISP模块;
2.2)插值及ISP模块对拜耳格式图像进行RGB插值,形成分辨率为x×y的初始RGB格式图像,其中,Red、Green、Blue,简称为RGB,RGB格式图像为对颜色进行插值的图像,x为水平方向像素数,y为垂直方向像素数;
2.3)插值及ISP模块在初始RGB格式图像下方增加n行像素数据,变成分辨率为(x+n)×y的扩充RGB格式图像;其中,n≥4;
所述增加的n行像素数据格式如下:
①n行像素数据中,从左至右,每{n×r}像素区域为一个数据块,依次代表m位帧号的每一位数,分别为a0、a1、a2……a(m-1),其中r为每个数据块像素数列数,r≥16,并且(m×r)≤y;若帧号的该位数为0,设对应数据块内每个像素RGB值为黑色(0,0,0);若帧号的该位数为1,设对应数据块内每个像素RGB值为白色(255,255,255);
②当(m×r)<y时,n行像素数据中的其余像素的RGB值均设为白色(255,255,255);
2.4)RGB格式图像,经压缩编码后,进行传输,并对应存储至i个相机中;
3)相机循环拍摄:
完成第1帧图像拍摄后,帧号自动加1,重复步骤1)和步骤2)进行下一帧图像拍摄,若帧号超过设定数值,自动从0开始循环,直至拍摄完毕;
4)提取相机存储图像的帧号:
S=(R+G+B)/3;
5)根据帧号确定同一时刻拍摄的帧图像。
上述的一种帧同步图像拍摄方法,在步骤5)之后还包括步骤6),删除缺帧或错位帧图像的步骤:
对i个相机的所有帧图像的帧号序列进行比对,若帧号相同的帧图像的数量不等于i,删除该帧号下的所有帧图像,剩余则为拍摄时刻相同的帧同步图像。
进一步地,步骤2.3)中,在初始RGB格式图像和n行像素数据之间插入1行y列的像素数据,并将该像素数据的RGB值设为黑色(0,0,0),使得下方n行像素数据与分辨率为x×y的初始RGB格式图像隔离区分。
进一步地,步骤1)中,m取值为12;
进一步地,步骤2.3)中,n的取值为4,r的取值为16。
进一步地,步骤1)中,m位帧号为二进制数字。
进一步地,步骤3)中帧号的设定数值为4095。
本发明与现有技术相比具有以下有益效果。
一、本发明采用的一种帧同步图像拍摄方法,在多个相机每帧同步拍摄时,将帧号发送至各个相机,各个相机在当前图像中新增几行像素数据,用于存储当前帧号,拍摄完成后,通过专用帧号提取算法将每帧图像对应的帧号从图像中提取出,使各个相机生成的图像在经压缩、传输、存储过程后,依然可以根据帧号确定同一时刻拍摄的帧图像,减小了相机拍摄的同步误差。
二、本发明采用的一种帧同步图像拍摄方法,根据各个相机的帧号序列可确定丢帧、错帧的位置,并将帧号不同处的帧予以删除,使得各个相机剩余帧均一一对应,进而同一帧拍摄时刻均相同,提高了相机同步拍摄图像的精度。
附图说明
图1为本发明一种帧同步图像拍摄方法实施例中相机同步拍摄示意图。
图2为本发明一种帧同步图像拍摄方法实施例中相机内嵌帧号示意图。
图中:1-帧号,2-触发控制器,3-触发信号,6-图像传感器,7-拜耳格式图像,8-插值及ISP模块,9-扩充RGB格式图像,10-压缩编码,11-存储,81-原始有效区域,82-扩充区域。
具体实施方式
下面将结合本发明的实施例和附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例并非对本发明的限制。
本实施例中的一种帧同步图像拍摄方法,包括以下步骤:
(1)发送同步拍摄信号:
如图1所示,触发控制器2分别发送时序同步的2个触发信号3至2个相机的图像传感器6,同时分别发送相同的12位帧号1至2个相机的插值及ISP模块8,12位帧号1为二进制数字,ISP模块为图像信号处理器模块;
(2)相机内嵌帧号:
2.1)2个相机的图像传感器6收到触发信号后,同时开始拍摄第1帧图像,并将生成的拜耳格式图像7发送至插值及ISP模块8;
2.2)插值及ISP模块8对拜耳格式图像7进行RGB插值,形成分辨率为x×y的初始RGB格式图像,其中,x为水平方向像素数,y为垂直方向像素数;
2.3)插值及ISP模块8在初始RGB格式图像下方增加5行像素数据,变成分辨率为(x+5)×y的扩充RGB格式图像9,如图2所示,81为RGB格式图像9的原始有效区域,82为RGB格式图像9的扩充区域。
所述增加的5行像素数据格式如下:
①5行像素数据中的第1行像素的RGB值设为黑色(0,0,0),使得下方4行像素数据与分辨率为x×y的初始RGB格式图像隔离区分。
②5行像素数据中的其余4行像素,从左至右,每{4×16}像素区域为一个数据块,依次代表12位数帧号的每一位数,分别为a0、a1、a2……a11,其中r的取值为16,并且y≥192;若帧号值的该位数为0,设对应数据块内每个像素RGB值为黑色(0,0,0);若帧号值的该位数为1,设对应数据块内每个像素RGB值为白色(255,255,255);
③当192<y时,5行像素数据中的其余像素的RGB值均设为白色(255,255,255);
2.4)扩充RGB格式图像9,经压缩编码10后,进行传输,并对应存储11至2个相机中;
3)相机循环拍摄:
完成第1帧图像拍摄后,帧号自动加1,重复步骤1)和步骤2)进行下一帧图像拍摄,若帧号超过4095,自动从0开始循环,直至拍摄完毕;
4)提取相机存储图像的帧号:
S=(R+G+B)/3;4.2)若认为其在压缩前为255,该数据块代表的帧号位值为1;若 认为其在压缩前为0,该数据块代表的帧号位值为0;12个数据块的帧号位值从左至右依次排列,重构为所提取的该帧图像的12位帧号;
5)根据帧号确定2个相机同一时刻拍摄的帧图像。
上述的一种帧同步图像拍摄方法,步骤5)之后还包括步骤6),删除缺帧或错位帧图像的步骤:
对2个相机的所有帧图像的帧号序列进行比对,若帧号相同的帧图像的数量不等于2,删除该帧号下的所有帧图像,剩余则为拍摄时刻相同的帧同步图像。
例如第一个相机的帧号序列是0、1、2、3、4、5、6,第二个相机的帧号序列是0、1、2、4、5、6,则第二个相机的第3帧丢失,将第一个相机第3帧删除掉后,两相机的帧号序列变为0、1、2、4、5、6,每帧都为同步拍摄;若第一个相机的帧号序列是0、1、2、3、4、5、6,第二个相机的帧号是1、2、3、4、5、6、7,则两个相机发生了帧错位,各自删除错位帧后,两相机的帧号序列变为1、2、3、4、5、6,每帧都为同步拍摄。
以上所述仅为本发明的实施例,并非对本发明保护范围的限制,凡是利用本发明说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均包括在本发明的专利保护范围内。
Claims (7)
1.一种帧同步图像拍摄方法,其特征在于,包括以下步骤:
1)发送同步拍摄信号:
分别发送时序同步的i个触发信号(3)至i个相机的图像传感器(6),同时分别发送相同的m位帧号(1)至i个相机的插值及ISP模块(8),其中,i≥2,m≥12;
2)相机内嵌帧号:
2.1)i个相机的图像传感器(6)收到触发信号后,同时开始拍摄第1帧图像,并将生成的拜耳格式图像(7)发送至插值及ISP模块(8);
2.2)插值及ISP模块(8)对拜耳格式图像(7)进行RGB插值,形成分辨率为x×y的初始RGB格式图像,其中,x为水平方向像素数,y为垂直方向像素数;
2.3)插值及ISP模块(8)在初始RGB格式图像下方增加n行像素数据,变成分辨率为(x+n)×y的扩充RGB格式图像(9);其中,n≥4;
所述增加的n行像素数据格式如下:
①n行像素数据中,从左至右,每{n×r}像素区域为一个数据块,依次代表m位帧号的每一位数,分别为a0、a1、a2……a(m-1),其中r为每个数据块像素数列数,r≥16,并且(m×r)≤y;若帧号的该位数为0,设对应数据块内每个像素RGB值为黑色(0,0,0);若帧号的该位数为1,设对应数据块内每个像素RGB值为白色(255,255,255);
②当(m×r)<y时,n行像素数据中的其余像素的RGB值均设为白色(255,255,255);
2.4)扩充RGB格式图像(9),经压缩编码(10)后,进行传输,并对应存储(11)至i个相机中;
3)相机循环拍摄:
完成第1帧图像拍摄后,帧号自动加1,重复步骤1)和步骤2)进行下一帧图像拍摄,若帧号超过设定数值,自动从0开始循环,直至拍摄完毕;
4)提取相机存储图像的帧号:
S=(R+G+B)/3;
5)根据帧号确定i个相机同一时刻拍摄的帧图像。
2.根据权利要求1所述的一种帧同步图像拍摄方法,其特征在于:步骤5)之后还包括步骤6),删除缺帧或错位帧图像的步骤:
对i个相机的所有帧图像的帧号序列进行比对,若帧号相同的帧图像的数量不等于i,删除该帧号下的所有帧图像,剩余则为拍摄时刻相同的帧同步图像。
3.根据权利要求2所述的一种帧同步图像拍摄方法,其特征在于:步骤2.3)中,在初始RGB格式图像和n行像素数据之间插入1行y列的像素数据,并将该像素数据的RGB值设为黑色(0,0,0)。
4.根据权利要求1-3任一权利要求所述的一种帧同步图像拍摄方法,其特征在于:步骤1)中,m取值为12。
5.根据权利要求4所述的一种帧同步图像拍摄方法,其特征在于:步骤2.3)中,n的取值为4,r的取值为16。
6.根据权利要求5所述的一种帧同步图像拍摄方法,其特征在于:步骤1)中,m位帧号(1)为二进制数字。
7.根据权利要求6所述的一种帧同步图像拍摄方法,其特征在于:步骤3)中帧号的设定数值为4095。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010812212.5A CN112153354B (zh) | 2020-08-13 | 2020-08-13 | 一种帧同步图像拍摄方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010812212.5A CN112153354B (zh) | 2020-08-13 | 2020-08-13 | 一种帧同步图像拍摄方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112153354A CN112153354A (zh) | 2020-12-29 |
CN112153354B true CN112153354B (zh) | 2021-07-27 |
Family
ID=73888763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010812212.5A Active CN112153354B (zh) | 2020-08-13 | 2020-08-13 | 一种帧同步图像拍摄方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112153354B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306160A (zh) * | 2011-07-20 | 2012-01-04 | 航天东方红卫星有限公司 | 一种提高立体测绘相机图像定位精度的辅助数据处理方法 |
CN102695068A (zh) * | 2011-03-24 | 2012-09-26 | 索尼公司 | 成像设备、同步控制方法、再现设备和立体视频成像系统 |
CN107613159A (zh) * | 2017-10-12 | 2018-01-19 | 北京工业职业技术学院 | 图像时间校准方法及系统 |
CN108881946A (zh) * | 2017-05-10 | 2018-11-23 | 北京猎户星空科技有限公司 | 传感器数据的生成、传输、处理方法、装置及其系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5972016B2 (ja) * | 2012-04-10 | 2016-08-17 | キヤノン株式会社 | 撮像装置 |
-
2020
- 2020-08-13 CN CN202010812212.5A patent/CN112153354B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102695068A (zh) * | 2011-03-24 | 2012-09-26 | 索尼公司 | 成像设备、同步控制方法、再现设备和立体视频成像系统 |
CN102306160A (zh) * | 2011-07-20 | 2012-01-04 | 航天东方红卫星有限公司 | 一种提高立体测绘相机图像定位精度的辅助数据处理方法 |
CN108881946A (zh) * | 2017-05-10 | 2018-11-23 | 北京猎户星空科技有限公司 | 传感器数据的生成、传输、处理方法、装置及其系统 |
CN107613159A (zh) * | 2017-10-12 | 2018-01-19 | 北京工业职业技术学院 | 图像时间校准方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112153354A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107249096B (zh) | 全景摄像机及其拍摄方法 | |
CN107613159B (zh) | 图像时间校准方法及系统 | |
CN102884783B (zh) | 组合来自多个图像传感器的数据 | |
CN103997631B (zh) | 一种基于相机拍摄的led逐点位置轮廓提取方法及系统 | |
CN101083773B (zh) | 数字图像处理设备中的伽玛校正装置和方法 | |
CN1169352C (zh) | 固体电子图像感应装置及其控制方法 | |
CN1096178C (zh) | 数字静像摄影机 | |
US20080030600A1 (en) | Defective pixel correction device | |
CN101753812A (zh) | 成像装置和成像方法 | |
CN109246354A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP4748230B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
US8878910B2 (en) | Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium | |
CN109191403A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108924426A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
KR20120016078A (ko) | 이미지를 회전시키기 위한 장치 및 방법 | |
CN109598764A (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
CN112153354B (zh) | 一种帧同步图像拍摄方法 | |
CN107710741B (zh) | 一种获取深度信息的方法及摄像装置 | |
CN107734231A (zh) | 一种基于滤光的成像系统动态范围扩展方法 | |
JP2010026332A (ja) | 撮影カメラ、画像表示装置及び画像表示システム | |
CN112926385A (zh) | 监控设备的视频处理方法及相关产品 | |
JP2006157432A (ja) | 立体画像撮影装置及び立体画像の撮影方法 | |
CN109120846A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109379535A (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
CN109218602A (zh) | 影像撷取装置、影像处理方法及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |