CN110290287B - 多摄像头帧同步方法 - Google Patents

多摄像头帧同步方法 Download PDF

Info

Publication number
CN110290287B
CN110290287B CN201910569627.1A CN201910569627A CN110290287B CN 110290287 B CN110290287 B CN 110290287B CN 201910569627 A CN201910569627 A CN 201910569627A CN 110290287 B CN110290287 B CN 110290287B
Authority
CN
China
Prior art keywords
frame
image
camera
digital image
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910569627.1A
Other languages
English (en)
Other versions
CN110290287A (zh
Inventor
李汉曦
金海强
周舒雅
张斯祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xuancai Meike Network Technology Co ltd
Original Assignee
Shanghai Xuancai Meike Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xuancai Meike Network Technology Co ltd filed Critical Shanghai Xuancai Meike Network Technology Co ltd
Priority to CN201910569627.1A priority Critical patent/CN110290287B/zh
Publication of CN110290287A publication Critical patent/CN110290287A/zh
Application granted granted Critical
Publication of CN110290287B publication Critical patent/CN110290287B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种多摄像头帧同步方法，提出数字图像时钟近似代替图像采集时间表示帧图像。具体的，包括：设计一个同步视频，通过拍摄播放同步视频的显示器获取图像数据，然后利用特征点匹配法将图像数据扭正并计算出每帧图像的数字图像时钟，再利用统计学方法回归出数字图像时钟与本地图像获取时间的关系参数，以此对每个摄像头建模。之后获取数字图像时钟相差最小的帧图像，判断其数字图像时钟差是否小于事先设定的阈值，若小于，则寻找到的帧图像即为同步帧。本发明对摄像头硬件要求低，且无需对摄像头参数进行调节，对人工要求低，操作简便，易普及。

Description

多摄像头帧同步方法
技术领域
本发明主要涉及计算机视觉、图像处理、模式识别等技术领域，特别涉及到多摄像头帧同步方法。
背景技术
随着直播和3D电影等在现代社会的普及，人们对摄像头拍摄效果的要求越来越高，例如大型晚会的直播，需要多个摄像头同时多方位拍摄。多摄像头帧同步是全方位直播、3D电影制作、3D模型估计、立体图像识别等利用多摄像头拍摄场景的应用中需解决的基本问题，其目的在于获取到多个摄像头的同步帧，或将同步帧拼接整合至同一画面，以此实现全方位的直播；或将同步帧进行特定操作，以此呈现3D效果。
现有实现多摄像头帧同步方法主要分为以下几种：
硬件帧同步：工业摄像头与电影摄影机等摄像头在硬件上提供外同步信号输入接口，如GENLOCK，利用此接口将多个摄像头连接至同一触发源，利用控制触发源来同时触发多个摄像头的启动拍摄等，以此实现多个摄像头的帧同步。这种方法的问题在于必须使用带外同步信号接口的摄像头，对硬件要求极高，硬件成本高，且可使用的摄像头范围较小，无法使用市面上普遍的摄像头，无法普及。
基于NTP同步协议的方式：网络摄像头利用NTP同步协议在本地局域网内多个摄像头的帧同步。该方法设置客户端与摄像头服务器端，通过估计客户端广播至服务器端的时间，并计算等待时间，以此准确估计各摄像头之间的时间差，以此实现多摄像头帧同步。这种方法对摄像头要求仍然较高，需要配合特定的设备实现多摄像头帧同步，易受网络传输速度影响。
基于PLL(锁相环)的方式：在锁相环实时生成稳定同步输出信号的基础上利用光照、声音等实现摄像头帧同步的方法。这种方法需要在外部利用LED灯等设备帮助实现多摄像头帧同步，并需要调节摄像头的增益参数以适应LED灯的光照，操作较繁琐，不宜推广。
发明内容
为克服一般摄像头无法准确获取帧图像采集时间的硬件问题，解决多摄像头帧同步无法普及的情况，本发明提出一种多摄像头帧同步方法，在对摄像头硬件设备无特殊要求且无需对摄像头进行参数调节的前提下，实现多摄像头的帧同步，进而实现视频拼接、3D特效等。
为达到此目的，本发明的技术方案是这样实现的：
多摄像头帧同步方法，其特征在于，包括以下步骤：
S1，设计同步视频，使拍摄同步视频的每一帧图像都可计算出数字图像时钟；
S2，多个摄像头同时拍摄播放同步视频的显示器，并利用特征点匹配的方法将帧图像数据扭正并计算出每帧图像的数字图像时钟；
S3，利用统计学回归出数字图像时钟与本地图像接收时间的关系参数，为每个摄像头建模；
S4，寻找数字图像时钟相差最小的帧即为同步帧。
进一步地，上述S1步骤中同步视频的设计为利用图案的变化表示数字图像时钟，并使用多种子图案代表同一信息，以此冗余性提高数字图像时钟估计的鲁棒性。以数字图像时钟代替帧图像采集时间准确表示每一帧图像。
进一步地，上述S2步骤中多个摄像头同时拍摄播放同步视频的显示器，当得到数字图像时钟与本地图像接收时间的关系参数后，即可拍摄目标物体或场景。
进一步地，上述S3步骤中利用统计学回归出数字图像时钟与本地图像接收时间的关系参数，可近似代表帧图像采集时间与本地图像接收时间的关系参数。
进一步地，上述S4步骤中求取同步帧，可以一个摄像头的某一帧为基准，寻找与其数字图像时钟最小的其他摄像头的帧图像，若差值在阈值范围内，则存在同步帧；若差值大于阈值，则该帧图像不存在同步帧。
与现有技术相比，本发明的有益效果在于：
(1)本发明对摄像头硬件要求低，无需其具备外同步信号输入接口等，降低了成本；
(2)本发明无需对摄像头参数进行调节，减少人工干预，操作简便，容易普及；
附图说明
图1为本发明实施例提供的多摄像头帧同步方法的流程图；
图2为本发明实施例提供的同步视频；
图3为本发明实施例提供摄像头拍摄播放同步视频显示器的帧图像；
图4为本发明实施例提供使用特征点匹配方法扭正的帧图像；
具体实施方式
下面结合实施例和附图对申请提出的多摄像头帧同步方法进一步详细描述,但本发明的实施方式不限于此。
本实施例的多摄像头帧同步方法流程图如附图1所示，本申请提出的多摄像头帧同步方法主要包含以下步骤：
S1，设计同步视频，使拍摄同步视频的每一帧图像都可计算出数字图像时钟，在本实施例中，同步视频设计如附图2所示，同步视频左上角的数字表示某帧图像，该数字等于黑方块内的白方块运动总和。视频上的数字被直接准确识别较难，本实施例引入白方块，通过计算白方块的运动总和，可计算得到数字，即数字图像时钟。每两行白方块表示一种运动模式，采用冗余行的设计提高估计数字图像时钟的鲁棒性。
S2，多个摄像头同时拍摄播放同步视频的显示器，并利用计算机视觉与特征点匹配的方法将帧图像数据扭正并计算出每帧图像的数字图像时钟。在本实施例中，摄像头拍摄播放同步视频显示器所得到的帧图像如附图3所示，并将第j个摄像头拍摄播放同步视频的显示器得到的第k帧图像记为Ijk。(0≤j＜N,0＜k＜M，假设有N个摄像头，每个摄像头拍摄了M帧)为准确的估计出数字图像时钟，本实施例利用特征点匹配方法将帧图像扭正至如附图4所示。具体的，首先跟踪帧图像Ij0，提取帧图像Ij0与同步视频背景图的特征点，接着用特征点匹配方法计算得出帧图像Ij0与同步视频背景图的匹配的特征点对，再利用RANSAC方法计算帧图像Ij0对应同步视频背景图的单应矩阵，并以同步视频背景图为标准使用单应矩阵帧对图像Ij0进行扭正，最后通过公式计算图像Ij0的数字图像时钟。公式如下所示：
D ＝ C1 + C2*S + C3*S2 (1)
其中，Ci为每个白框的中心位置，S为白框的移动速度。
S3，利用统计学回归出数字图像时钟与本地图像接收时间的关系参数，为每个摄像头建模。在本实施例中，使用最小二乘法回归出每个摄像头数字图像时钟与本地图像接收时间的关系参数。
S4，寻找数字图像时钟相差最小的帧即为同步帧。在本实施例中，将第i个摄像头拍摄目标内容得到的第j帧目标图像记为Tij(0≤i＜N,0＜j＜M，假设有N个摄像头，每个摄像头拍摄了M帧图像)，该步骤具体包括以下流程：
捕获T0j，并计算T0j的数字图像时钟D0j；
寻找其余摄像头数字图像时钟与D0j相差最小的帧图像，并比较其与D0j差值是否小于阈值；
若小于，则寻找到的帧图像即为D0j的同步帧，输出同步帧图像；若大于，则表示没有找到D0j的同步帧。
显而易见，该步骤的具体流程可以是但不限于上述流程，某些情况下，可以以不同于此处但相近的逻辑执行所描述的流程。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (5)

1.一种多摄像头帧同步方法，其特征在于包括以下步骤：
S1，设计同步视频，使拍摄同步视频的每一帧图像都可计算出数字图像时钟，所述同步视频内左上角设置有表示某帧图像的数字，所述同步视频内还包括黑方块和多个白方块，所述白方块位于所述黑方块中，所述数字等于所述白方块的运动总和；
S2，多个摄像头同时拍摄播放同步视频的显示器，将第j个所述摄像头拍摄播放同步视频的所述显示器得到的第k帧图像即为Ijk，其中，0≤j＜N,0＜k＜M，假设有N个所述摄像头，每个所述摄像头拍摄了M帧，并利用特征点匹配的方法将帧图像数据扭正并计算出每帧图像的数字图像时钟，首先跟踪帧图像Ij0，提取所述帧图像Ij0与所述同步视频背景图的特征点，接着用所述特征点匹配方法计算得出所述帧图像Ij0与所述同步视频背景图的匹配的特征点对，再利用RANSAC方法计算所述帧图像Ij0对应所述同步视频背景图的单应矩阵，并以所述同步视频背景图为标准使用单应矩阵帧对图像Ij0进行扭正，最后通过公式D＝C1+C2*S+C3*S2计算图像Ij0的数字图像时钟，其中，Ci为每个所述白方块的中心位置，S为所述白方块的移动速度；
S3，利用统计学回归出数字图像时钟与本地图像接收时间的关系参数，为每个摄像头建模；
S4，寻找数字图像时钟相差最小的帧即为同步帧。
2.根据权利要求1所述的多摄像头帧同步方法，其特征在于，所述步骤S1中同步视频的设计为利用图案的变化表示数字图像时钟，并使用多种子图案代表同一信息，以此冗余性提高数字图像时钟估计的鲁棒性，以数字图像时钟代替帧图像采集时间准确表示每一帧图像。
3.根据权利要求2所述的多摄像头帧同步方法，其特征在于，所述步骤S2中多个摄像头同时拍摄播放同步视频的显示器，当得到数字图像时钟与本地图像接收时间的关系参数后，即可拍摄目标物体或场景。
4.根据权利要求3所述的多摄像头帧同步方法，其特征在于，所述步骤S3用统计学回归出数字图像时钟与本地图像接收时间的关系参数，可近似代表帧图像采集时间与本地图像接收时间的关系参数。
5.根据权利要求4所述的多摄像头帧同步方法，其特征在于，所述步骤S4步骤中求取同步帧，可以一个摄像头的某一帧为基准，寻找与其数字图像时钟最小的其他摄像头的帧图像，若差值在阈值范围内，则存在同步帧；若差值大于阈值，则该帧图像不存在同步帧。
CN201910569627.1A 2019-06-27 2019-06-27 多摄像头帧同步方法 Expired - Fee Related CN110290287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910569627.1A CN110290287B (zh) 2019-06-27 2019-06-27 多摄像头帧同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910569627.1A CN110290287B (zh) 2019-06-27 2019-06-27 多摄像头帧同步方法

Publications (2)

Publication Number Publication Date
CN110290287A CN110290287A (zh) 2019-09-27
CN110290287B true CN110290287B (zh) 2022-04-12

Family

ID=68019250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910569627.1A Expired - Fee Related CN110290287B (zh) 2019-06-27 2019-06-27 多摄像头帧同步方法

Country Status (1)

Country Link
CN (1) CN110290287B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047622B (zh) * 2019-11-20 2023-05-30 腾讯科技（深圳）有限公司 视频中对象的匹配方法和装置、存储介质及电子装置
CN111447339A (zh) * 2020-03-26 2020-07-24 西安万像电子科技有限公司 图像传输方法和系统
CN111464807A (zh) * 2020-04-13 2020-07-28 广东星舆科技有限公司 一种双目同步的测量方法及系统
CN112565630B (zh) * 2020-12-08 2023-05-05 杭州电子科技大学 一种用于视频拼接的视频帧同步方法
CN114612613B (zh) * 2022-03-07 2022-11-29 北京拙河科技有限公司 动态光场重建方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376577A (zh) * 2014-10-21 2015-02-25 南京邮电大学 基于粒子滤波的多摄像头多目标跟踪算法
CN104918003A (zh) * 2014-02-14 2015-09-16 马克西姆综合产品公司 多摄像机同步系统
WO2017079735A1 (en) * 2015-11-05 2017-05-11 Video Pipe Inc. Method and device for capturing synchronized video and sound across multiple mobile devices
CN107835397A (zh) * 2017-12-22 2018-03-23 成都华栖云科技有限公司 一种多镜头视频同步的方法
CN108055423A (zh) * 2017-12-22 2018-05-18 成都华栖云科技有限公司 一种多镜头视频同步偏移量计算方法
CN108289247A (zh) * 2018-01-18 2018-07-17 逄泽沐风 一种基于视频分析的视频画面拍摄技巧的自动识别方法
CN108366254A (zh) * 2018-01-22 2018-08-03 浙江舜宇智能光学技术有限公司 多路摄像头视频同步评测系统及方法
CN111669479A (zh) * 2019-03-06 2020-09-15 舜宇光学（浙江）研究院有限公司 一种验证摄像头同步曝光的方法及其系统和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2332339B1 (en) * 2008-09-11 2018-10-31 University Of Malta Apparatus for generating and transmitting synchronized video data
CN103856727B (zh) * 2014-03-24 2017-01-25 北京工业大学 一种多路实时视频拼接处理系统
CN104063867B (zh) * 2014-06-27 2017-02-08 浙江宇视科技有限公司 一种多摄像机视频同步方法和装置
CN107277385B (zh) * 2017-06-12 2020-04-17 深圳市瑞立视多媒体科技有限公司 一种多相机系统同步曝光的控制方法、装置及终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918003A (zh) * 2014-02-14 2015-09-16 马克西姆综合产品公司 多摄像机同步系统
CN104376577A (zh) * 2014-10-21 2015-02-25 南京邮电大学 基于粒子滤波的多摄像头多目标跟踪算法
WO2017079735A1 (en) * 2015-11-05 2017-05-11 Video Pipe Inc. Method and device for capturing synchronized video and sound across multiple mobile devices
CN107835397A (zh) * 2017-12-22 2018-03-23 成都华栖云科技有限公司 一种多镜头视频同步的方法
CN108055423A (zh) * 2017-12-22 2018-05-18 成都华栖云科技有限公司 一种多镜头视频同步偏移量计算方法
CN108289247A (zh) * 2018-01-18 2018-07-17 逄泽沐风 一种基于视频分析的视频画面拍摄技巧的自动识别方法
CN108366254A (zh) * 2018-01-22 2018-08-03 浙江舜宇智能光学技术有限公司 多路摄像头视频同步评测系统及方法
CN111669479A (zh) * 2019-03-06 2020-09-15 舜宇光学（浙江）研究院有限公司 一种验证摄像头同步曝光的方法及其系统和电子设备

Also Published As

Publication number Publication date
CN110290287A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110290287B (zh) 多摄像头帧同步方法
US9286680B1 (en) Computational multi-camera adjustment for smooth view switching and zooming
US10368011B2 (en) Camera array removing lens distortion
US20200275079A1 (en) Generating three-dimensional video content from a set of images captured by a camera array
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
US10021381B2 (en) Camera pose estimation
JP5267396B2 (ja) 画像処理装置および方法、並びにプログラム
KR101767662B1 (ko) 다시점 카메라 동기화 시스템 및 방법
US10186301B1 (en) Camera array including camera modules
El-Saban et al. Fast stitching of videos captured from freely moving devices by exploiting temporal redundancy
CN102256061A (zh) 一种二维三维混合的视频稳定方法
US20190306434A1 (en) Camera array removing lens distortion
CN104185004A (zh) 影像处理方法及影像处理系统
CN103500471A (zh) 实现高分辨率增强现实系统的方法
Dexter et al. Multi-view Synchronization of Human Actions and Dynamic Scenes.
US11044399B2 (en) Video surveillance system
CN112738425A (zh) 一种多摄像头采集的视频实时拼接系统
CN113794814B (zh) 一种控制视频图像输出的方法、装置及存储介质
CN112887653B (zh) 一种信息处理方法和信息处理装置
US10282633B2 (en) Cross-asset media analysis and processing
EP2656310B1 (en) Method for producing a panoramic image and implementation apparatus
JP6857032B2 (ja) 制御装置、システム、制御装置の制御方法
CN116208851A (zh) 图像处理方法及相关装置
CN114913239A (zh) 一种事件相机传感器与rgb相机联合标定方法和装置
CN108377320B (zh) 一种带有防抖校准的子弹时间制作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220412

CF01 Termination of patent right due to non-payment of annual fee