CN108055423B - 一种多镜头视频同步偏移量计算方法 - Google Patents

一种多镜头视频同步偏移量计算方法 Download PDF

Info

Publication number
CN108055423B
CN108055423B CN201711405194.3A CN201711405194A CN108055423B CN 108055423 B CN108055423 B CN 108055423B CN 201711405194 A CN201711405194 A CN 201711405194A CN 108055423 B CN108055423 B CN 108055423B
Authority
CN
China
Prior art keywords
code
clock
display
lens
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711405194.3A
Other languages
English (en)
Other versions
CN108055423A (zh
Inventor
余刚
谢世斌
郑杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Chinamcloud Technology Co ltd
Original Assignee
Chengdu Chinamcloud Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Chinamcloud Technology Co ltd filed Critical Chengdu Chinamcloud Technology Co ltd
Priority to CN201711405194.3A priority Critical patent/CN108055423B/zh
Publication of CN108055423A publication Critical patent/CN108055423A/zh
Application granted granted Critical
Publication of CN108055423B publication Critical patent/CN108055423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种多镜头视频同步偏移量计算方法，本方案通过设计一组可以自动计时的时钟编码，在进行全景拍摄时，让工作人员或移动设备控制时钟编码绕全部镜头一圈，从而使得所有的镜头都记录下当前的时钟编码，最后将各镜头拍摄的画面中的时钟编码进行解码，获取每一个镜头的时间码，然后计算镜头的偏移量，从而调整多镜头拍摄的视频同步。

Description

一种多镜头视频同步偏移量计算方法
技术领域
本发明涉及全景拍摄技术领域，具体涉及一种多镜头视频同步偏移量计算方法。
背景技术
全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。在使用多个摄像机拍摄时，由于摄像机很难同时开始拍摄，所以每个摄像机拍摄的视频开始的时间各不相同，从而需要对视频进行同步，将视频按照实际的时间对齐，方便多个视频切换、编辑或者拼接。
目前多镜头视频同步技术有以下几种：（1）通过摄像机的时间码同步，需要硬件时钟同步，需要定制硬件。成本较高，而且对设备的限制比较多。（2）镜头打板，人工操作。很难应用在多镜头视频中，因为场记的画面不可能同时出现在所有镜头中，（3）人工编辑，手动同步。精度差，工作量大。（4）通过音频同步。例如现场拍一下手，各个摄像机录下声音，然后通过同步声音来同步视频。缺点是容易受到现场声音的干扰，从而无法计算机自动对齐。如果人工听声音或看波形对齐，效率较低。而且如果各个摄像机距离较远，导致各个摄像机的声音差别较大，会导致无法同步。
发明内容
本发明的目的在于克服现有技术的不足，提供一种多镜头视频同步偏移量计算方法，不用定制硬件，成本低，自动同步，操作简便。
本发明的目的是通过以下技术方案来实现的：
一种多镜头视频同步偏移量计算方法，包括以下步骤：
S01：设计一组能让摄影机清晰拍到的时钟图形编码APP；
S02：将时钟图形编码APP植入移动设备，并在移动设备显示端显示该图形时钟编码；
S03：多镜头开始拍摄时，图形时钟编码开始计时，使移动设备显示端显示的时间码出现各个摄像机前；
S04：通过识别技术，解码出时间码；或者通过人工识别出时间码，记录时间码信息；
S05：计算各镜头偏移量并根据偏移量同步视频。
优选的，所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成，所述毫秒位由十毫秒和百毫秒两位组成。
优选的，所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码。
优选的，所述十毫秒位的显示编码是数字编码，由0-9十位数字字符串组成，计时开始时0-9的字体依次变大用于显示十毫秒，某一时刻下字体显示最大的数字为当前时刻的十毫秒位。
优选的，所述十毫秒位的显示编码是图形编码，所述图形编码包括两个点位，每个点位有四种颜色变化，通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。
优选的，所述四种颜色为黑、红、绿、蓝，并定义0-9的显示组合方法。
优选的，所述步骤S04中的识别技术是指对拍摄到的图形进行灰度处理，然后利用二值化处理提取图形时钟编码。
优选的，所述移动设备显示端位于摄像机前拍摄时应保持稳定，避免晃动。
优选的，所述移动设备显示端可以是手机或平板电脑。
优选的，所述步骤S05的具体方法是根据得到各个镜头的时间码，选择一个最大的时间码作为参考时间码；根据最大时间码，结合各个镜头解码的帧号，最终换算成各个镜头的帧号偏移，使用计算的帧号偏移移动各个镜头到对应的位置，实现多镜头视频同步。
本发明的有益效果是：本方案通过设计一组可以自动计时的时钟编码，在进行全景拍摄时，让工作人员或移动设备控制时钟编码绕全部镜头一圈，从而使得所有的镜头都记录下当前的时钟编码，最后将各镜头拍摄的画面中的时钟编码进行解码，获取每一个镜头的时间码，然后计算镜头的偏移量，从而调整多镜头拍摄的视频同步。
附图说明
图1是本发明图形时钟编码显示图；
图2是本发明定义的十毫秒位点位组合方式。
具体实施方式
下面结合附图1-2和具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
一种多镜头视频同步偏移量计算方法，包括以下步骤：
S01：设计一组能让摄影机清晰拍到的时钟图形编码APP；
S02：将时钟图形编码APP植入移动设备，并在移动设备显示端显示该图形时钟编码；
S03：多镜头开始拍摄时，图形时钟编码开始计时，使移动设备显示端显示的时间码出现各个摄像机前；
S04：通过识别技术，解码出时间码；或者通过人工识别出时间码，记录时间码信息；
S05：计算各镜头偏移量并根据偏移量同步视频。
优选的，所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成，所述毫秒位由十毫秒和百毫秒两位组成。
优选的，所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码，如图1所示，十毫秒位的显示编码是数字编码，由0-9十位数字字符串组成，计时开始时0-9的字体依次变大用于显示十毫秒，某一时刻下字体显示最大的数字为当前时刻的十毫秒位；该设计的原因在于，数字编码在显示器上进行显示时，由于镜头存在曝光时间，从而会拍下短时间内两个连续的运动画面，也就是我们所说的虚影，如图1所示，当下毫秒单位显示是37，而在摄像机的曝光下37的前一时间为36，因此出现6和7重叠的现象，使得时间统计出现误差，为了消除该误差，设计了一个单独显示毫秒位的数字编码，该数字编码显示0-9的所有数字串，从0开始一直显示到9，时间的推移通过数字字体的变化来实现，也就是说0-9这九个数字从0开始依次变大到9结束，然后进行循环，每循环完一次表示100毫秒，0-9分别表示0毫秒、10毫秒、20毫秒……90毫秒；通过数字字体的变化从而清晰的显示出当下的时刻，便于后续图像处理中对时间的识别，从而计算偏移量。
优选的，上述十毫秒位的显示编码是还可以设计成图形编码，所述图形编码包括两个点位，每个点位有四种颜色变化，通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。
优选的，所述四种颜色为黑、红、绿、蓝，并定义0-9的显示组合方法，在本实施例中定义如下：
0黑黑、1黑红、2黑绿、3黑蓝、4红红、5红绿、6红蓝、7绿绿、8绿蓝、9蓝蓝；分别用上述定义的颜色块表示十毫秒位的数值，其具体如图2所示。
优选的，所述步骤S04中的识别技术是指对拍摄到的图形进行灰度处理，然后利用二值化处理提取图形时钟编码。
将设计好的时钟编码，应用到时钟APP中。在开始拍摄时，开始计时。然后让每个摄像机拍摄时钟的画面。
实例操作如下：
将各个摄像机拍摄的视频，导入到视频编辑工具中，对视频中的时钟图像进行识别，依次包括以下操作。
区域分割：
依次获取每一个镜头图像数据，针对图像数据使用通用处理算法建立图像背景模型，并对图像的前景进行检测，最终得到包含前景和背景信息的灰度图像数据；然后对得到的各镜头灰度图像数据进行聚类得到聚类结果并记录各个聚类的上下边界点，针对各个聚类的的上下边界点，使用当前处理的上边界遍历查找上一个聚类的下边界，逐步遍历查找并合并上下边界。针对合并上下边界之后的聚类按照聚类内部点个数由大到小进行排序，得到聚类排序表。按照设置的最小阈值对聚类排序表进行过滤，留下大于最小阈值的聚类点，同时按照聚类点坐标值，按照左上角-右下角方式将当前聚类点生成图像上的矩形区域。接着针对生成的矩形区域按照有效阈值进行有效合并，得到剔除后的有效矩形区域。最后按照有效区间阈值对剔除后的有效矩形区域进行挑选和过滤，得到有效区间内的有效矩形区域灰度图。
处理有效区域：
将从上面得到的有效区域灰度图进行模糊处理，对模糊结果图像进行边缘检测，并对检测结果使用概率霍夫变换算法来检测直线，最终提取出多个区域的边缘直线。对检测出来的直线进行处理，计算各条线的水平夹角，得到多个不同角度的夹角类，然后对这些夹角类进行聚类，对每个聚类按照线段平移是否有公共部分再次进行聚类，得到夹角聚类集。再根据夹角聚类集形成的矩形计算两个矩形的公共部分，并提取公共部分附近的直线段，构成候选目标矩形，最终形成真正的矩形。最后根据这些矩形从灰度图中提取出时钟图像。
识别数字：
对得到的时钟灰度图像进行二值化处理，得到的二值化模型作为模板，对该二值化模型进行二值化点聚类，将得到的点聚类集合根据点坐标形成矩形区域。对这些矩形区域按照区域大小由大到小进行排序，得矩形区域有序表。紧接着对这个表进行过滤，剔除头部过大和尾部过小的矩形，得到有效矩形区域集合。对这些有效区域集合按照水平直线进行分割，分割后得到上下两个矩形区域集合，继续对这两个集合进行过滤，剔除头部过大和尾部过小的矩形区域，得到最终有效的上下两个矩形区域集合。使用上下两个有效矩形区域集合对时钟灰度图进行处理，将在有效区域内的灰度图像素值填成255，并提取有效区域内的数字图像。最后使用通用算法对提取的数字图像进行图像识别，得到真正的数字。最终，由这些数字形成同步视频所需要的时间码。
优选的，所述移动设备显示端位于摄像机前拍摄时应保持稳定，避免晃动，移动设备显示端可以是手机或平板电脑，时钟图形编码APP的背景色为白色。
优选的，所述步骤S05的具体方法是根据得到各个镜头的时间码，选择一个最大的时间码作为参考时间码；根据最大时间码，结合各个镜头解码的帧号，最终换算成各个镜头的帧号偏移，使用计算的帧号偏移移动各个镜头到对应的位置，实现多镜头视频同步。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种多镜头视频同步偏移量计算方法，其特征在于包括以下步骤：
S01：设计一组能让摄影机清晰拍到的时钟图形编码APP，时钟图形编码APP的背景色为白色；
S02：将时钟图形编码APP植入移动设备，并在移动设备显示端显示出图形时钟编码，所述移动设备显示端位于摄像机前拍摄时保持稳定，避免晃动；
S03：多镜头开始拍摄时，图形时钟编码开始计时生成一个时间码，使移动设备显示端显示的时间码出现各个摄像机前，让每个摄像机拍摄时钟的画面，得到拍摄到的图形；
S04：通过灰度处理对拍摄到的图形进行识别，然后利用二值化处理提取图形时钟编码；或者通过人工对拍摄到的图形进行识别得出时间码，记录时间码信息；
S05：根据得到各个镜头的时间码，选择一个最大的时间码作为参考时间码；根据最大时间码，结合各个镜头解码的帧号，最终换算成各个镜头的帧号偏移，使用计算的帧号偏移移动各个镜头到对应的位置，实现多镜头视频同步。
2.根据权利要求1所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述图形时钟编码的显示单位包括分位、秒位、毫秒位组成，所述毫秒位由十毫秒和百毫秒两位组成。
3.根据权利要求2所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述图形时钟编码的显示单位还包括显示十毫秒位的显示编码。
4.根据权利要求3所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述十毫秒位的显示编码是数字编码，由0-9十位数字字符串组成，计时开始时0-9的字体依次变大用于显示十毫秒，某一时刻下字体显示最大的数字为当前时刻的十毫秒位。
5.根据权利要求3所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述十毫秒位的显示编码是图形编码，所述图形编码包括两个点位，每个点位有四种颜色变化，通过两个点位和颜色变化的组合表示十毫秒位的数字0-9。
6.根据权利要求5所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述四种颜色为黑、红、绿、蓝，并定义0-9的显示组合方法。
7.根据权利要求1所述的一种多镜头视频同步偏移量计算方法，其特征在于，所述移动设备显示端可以是手机或平板电脑。
CN201711405194.3A 2017-12-22 2017-12-22 一种多镜头视频同步偏移量计算方法 Active CN108055423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711405194.3A CN108055423B (zh) 2017-12-22 2017-12-22 一种多镜头视频同步偏移量计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711405194.3A CN108055423B (zh) 2017-12-22 2017-12-22 一种多镜头视频同步偏移量计算方法

Publications (2)

Publication Number Publication Date
CN108055423A CN108055423A (zh) 2018-05-18
CN108055423B true CN108055423B (zh) 2020-06-09

Family

ID=62130408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711405194.3A Active CN108055423B (zh) 2017-12-22 2017-12-22 一种多镜头视频同步偏移量计算方法

Country Status (1)

Country Link
CN (1) CN108055423B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290287B (zh) * 2019-06-27 2022-04-12 上海玄彩美科网络科技有限公司 多摄像头帧同步方法
CN114461165B (zh) * 2022-02-09 2023-06-20 浙江博采传媒有限公司 虚实相机画面同步方法、装置及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064342A1 (en) * 1999-04-26 2000-11-02 Contec Medical Inc. Method and apparatus for diseased tissue diagnosis
JP2005244562A (ja) * 2004-02-26 2005-09-08 Chuo Electronics Co Ltd カメラの遠隔制御方法及び装置
CN101035194A (zh) * 2007-04-04 2007-09-12 武汉立得空间信息技术发展有限公司 一种获得两个或两个以上的视频同步帧的方法
CN101350870A (zh) * 2007-07-18 2009-01-21 英华达(上海)电子有限公司 一种图文转换的方法、移动终端和ocr服务器
CN101431603A (zh) * 2008-12-17 2009-05-13 广东威创视讯科技股份有限公司 多摄像头同步拍摄的方法及其检测装置
CN101778219A (zh) * 2010-01-27 2010-07-14 广东威创视讯科技股份有限公司 多个摄像头远距离同步工作装置和方法
CN101981410A (zh) * 2008-04-07 2011-02-23 Nxp股份有限公司 图像处理电路的时间同步
CN102223484A (zh) * 2011-08-04 2011-10-19 浙江工商大学 一种摄像机前端参数配置的方法和装置
CN102682819A (zh) * 2012-04-26 2012-09-19 新奥特（北京）视频技术有限公司 一种多通道同步录制的方法
CN103475887A (zh) * 2013-07-12 2013-12-25 黑龙江科技大学 一种摄像机视觉系统中图像同步方法及装置
CN103780800A (zh) * 2012-10-23 2014-05-07 现代摩比斯株式会社 车辆摄像头图像同步方法及系统
CN104717426A (zh) * 2015-02-28 2015-06-17 深圳市德赛微电子技术有限公司 一种基于外部传感器的多摄像机视频同步装置及方法
CN106131407A (zh) * 2016-07-11 2016-11-16 深圳看到科技有限公司 拍摄同步方法及同步装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064342A1 (en) * 1999-04-26 2000-11-02 Contec Medical Inc. Method and apparatus for diseased tissue diagnosis
JP2005244562A (ja) * 2004-02-26 2005-09-08 Chuo Electronics Co Ltd カメラの遠隔制御方法及び装置
CN101035194A (zh) * 2007-04-04 2007-09-12 武汉立得空间信息技术发展有限公司 一种获得两个或两个以上的视频同步帧的方法
CN101350870A (zh) * 2007-07-18 2009-01-21 英华达(上海)电子有限公司 一种图文转换的方法、移动终端和ocr服务器
CN101981410A (zh) * 2008-04-07 2011-02-23 Nxp股份有限公司 图像处理电路的时间同步
CN101431603A (zh) * 2008-12-17 2009-05-13 广东威创视讯科技股份有限公司 多摄像头同步拍摄的方法及其检测装置
CN101778219A (zh) * 2010-01-27 2010-07-14 广东威创视讯科技股份有限公司 多个摄像头远距离同步工作装置和方法
CN102223484A (zh) * 2011-08-04 2011-10-19 浙江工商大学 一种摄像机前端参数配置的方法和装置
CN102682819A (zh) * 2012-04-26 2012-09-19 新奥特（北京）视频技术有限公司 一种多通道同步录制的方法
CN103780800A (zh) * 2012-10-23 2014-05-07 现代摩比斯株式会社 车辆摄像头图像同步方法及系统
CN103475887A (zh) * 2013-07-12 2013-12-25 黑龙江科技大学 一种摄像机视觉系统中图像同步方法及装置
CN104717426A (zh) * 2015-02-28 2015-06-17 深圳市德赛微电子技术有限公司 一种基于外部传感器的多摄像机视频同步装置及方法
CN106131407A (zh) * 2016-07-11 2016-11-16 深圳看到科技有限公司 拍摄同步方法及同步装置

Also Published As

Publication number Publication date
CN108055423A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
CN107835397B (zh) 一种多镜头视频同步的方法
CN110503703B (zh) 用于生成图像的方法和装置
CN105654471B (zh) 应用于互联网视频直播的增强现实ar系统及方法
EP1889471B1 (en) Method and apparatus for alternate image/video insertion
US11343591B2 (en) Method and system of presenting moving images or videos corresponding to still images
EP2252071A2 (en) Improved image conversion and encoding techniques
CN108337471B (zh) 视频画面的处理方法及装置
US20210279888A1 (en) Foreground data generation method and method for applying same, related apparatus, and system
CN105704559A (zh) 一种海报生成方法及装置
CN110276769B (zh) 一种视频画中画架构中直播内容定位方法
TW201924317A (zh) 基於增強實境的視頻處理方法、裝置及電子設備
CN108055423B (zh) 一种多镜头视频同步偏移量计算方法
CN105678301B (zh) 一种自动识别并分割文本图像的方法、系统及装置
CN112927349A (zh) 三维虚拟特效的生成方法、装置、计算机设备及存储介质
CN106682670B (zh) 一种台标识别方法及系统
CN110266955B (zh) 图像处理方法、装置、电子设备以及存储介质
CN111353965A (zh) 图像修复方法、装置、终端及存储介质
CN114694136A (zh) 一种物品展示方法、装置、设备及介质
US20140300814A1 (en) Method for real-time processing of a video sequence on mobile terminals
CN116095363B (zh) 基于关键行为识别的移动端短视频高光时刻剪辑方法
CN116522974A (zh) 用于解码的方法、装置及扫码枪
CN110751668A (zh) 图像处理方法、装置、终端、电子设备及可读存储介质
CN111988520A (zh) 一种画面切换方法、装置、电子设备及存储介质
CN110166768B (zh) 一种拍摄方法及装置
AU738692B2 (en) Improved image conversion and encoding techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant