CN107105155B - 一种基于鱼眼摄像头录制的全景视频的自动标定方法 - Google Patents

一种基于鱼眼摄像头录制的全景视频的自动标定方法 Download PDF

Info

Publication number
CN107105155B
CN107105155B CN201710139073.2A CN201710139073A CN107105155B CN 107105155 B CN107105155 B CN 107105155B CN 201710139073 A CN201710139073 A CN 201710139073A CN 107105155 B CN107105155 B CN 107105155B
Authority
CN
China
Prior art keywords
video
final
parameter
panoramic
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710139073.2A
Other languages
English (en)
Other versions
CN107105155A (zh
Inventor
胡玉辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Vyagoo Technology Co ltd
Original Assignee
Zhuhai Vyagoo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Vyagoo Technology Co ltd filed Critical Zhuhai Vyagoo Technology Co ltd
Priority to CN201710139073.2A priority Critical patent/CN107105155B/zh
Publication of CN107105155A publication Critical patent/CN107105155A/zh
Application granted granted Critical
Publication of CN107105155B publication Critical patent/CN107105155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本发明的技术方案包括一种基于鱼眼摄像头录制的全景视频的自动标定方法，该方法包括：获取全景摄像装置摄制的全景摄像视频；加载全景摄像视频，获取全景摄像视频的多个数据帧，并将数据帧编码为素材图片；扫描素材图片的所有数据，对每个素材图片执行对比运算得到有效视频数据区域的参数信息；基于上述得到的有效视频数据区域的参数信息，使用插值计算得到对应的标定参数；根据最终标定参数，生成对应的脚本文件，当播放全景摄像视频时，加载脚本文件。本发明的有益效果为：免选错标定值带来造成播放不完整的问题；解决了全景视频播放时标定文件的生成、管理、准确性的问题；使用者可以利用播放器播放多种摄像头录制的视频，而无需专门匹配对应的标定文件进行播放。

Description

一种基于鱼眼摄像头录制的全景视频的自动标定方法
技术领域
本发明涉及一种基于鱼眼摄像头录制的全景视频的自动标定方法，属于计算机多媒体领域。
背景技术
随着消费电子行业的发展，人们希望能够更好的分享自己的乐趣以及希望消费电子能够带给自己更好的体验，全景360°运动DV和全景360°行车记录仪也因此诞生。但是目前全景360°运动DV和全景360°行车记录仪的视频播放存在不足。
全景360摄像头录制的视频是一个圆形视频，无法直接在通用的播放器进行播放，需要配合标定值，再通过特定的算法进行解码渲染显示。而标定值的生成手段和在播放器上配合使用因为设备摄像头的差异、摄像效果的差异、不同厂家调试的差异带来一系列的问题需要通过标定技术来解决。标定值的生成方法和在播放器配合使用的方法需求日益增大。
现有技术方案：先根据样机拍摄标定相片，人工生成标定值文件，再将这些标定参数值提供给终端用户作为播放器的播放标定值参数。
现有标定方法技术有以下1)~3)的缺点：
1）标定方法比较繁琐，需要通过人工对视频截图，然后通过人工进行判断来标定；
2）不同的摄像头摄像出来的视频存在差异，就算给出一组标定数据也无法满足所有视频播放需要的标定值；
3）由于视频的差异，视频播放器里播放全景视频标定值的管理带来了用户体验变差。
视角FOV：是指镜头所能覆盖的范围物体超过这个角就不会被收在镜头里)，一个摄像机镜头能涵盖多大范围的景物，通常以角度来表示，这个角度就叫镜头的视角FOV。
标定值：这里特指指在一个全景鱼眼摄像头录制的视频数据里，有效数据像素的圆心、半径、朝向、视角FOV镜头畸变系数K的数值。
标定：是指在一个全景视频里计算出其标定值。
发明内容
针对现有技术的不足，本发明的技术方案提供了一种基于鱼眼摄像头录制的全景视频的自动标定方法，用自动标定的方式，可以有效解决以上的问题。
本发明的技术方案包括一种基于鱼眼摄像头录制的全景视频的自动标定方法，其特征在于，该方法包括：A.获取全景摄像装置摄制的全景摄像视频；B.加载全景摄像视频，获取全景摄像视频的多个数据帧，并将数据帧编码为素材图片；C.扫描素材图片的所有数据，对每个素材图片执行对比运算得到有效视频数据区域的参数信息；D.基于所述步骤C得到的有效视频数据区域的参数信息，使用插值计算得到对应的标定参数；E.根据最终标定参数，生成对应的脚本文件，当播放全景摄像视频时，加载脚本文件。
根据所述的基于鱼眼摄像头录制的全景视频的自动标定方法，所述的步骤B还包括：使用视频处理器对全景摄像视频进行加载，调用视频处理器的接口获取任意时间点对应的多个数据帧，并使用视频处理器将数据帧编码成对应的多个素材图片。
根据所述的基于鱼眼摄像头录制的全景视频的自动标定方法，所述的步骤C还包括：S31，解压素材图片，逐行扫描素材图片数据；S32，对素材图片数据一一执行数学运算对比，查找有效视频数据区域与无效视频区域数据的交接的点，进一步得到一个对应圆形轮廓；S33，根据圆形轮廓计算得到有效视频数据的圆心、半径、朝向及视角FOV。
根据所述的基于鱼眼摄像头录制的全景视频的自动标定方法，所述的步骤D还包括：S41，对所述步骤S33得到圆心、半径、朝向及视角FOV进行插值计算，并取平均值作为最终标定值；S42，获取最终圆心参数，根据多项式技术拟合，得到镜头的畸变系数。
根据所述的基于鱼眼摄像头录制的全景视频的自动标定方法，其中步骤D中脚本文件包括：
计算后的系数、中心圆点及镜头视角FOV。
本发明的有益效果为：
便捷性高，该技术采取计算机图形识别算法进行标定；
准确性高，因为采取了针对每个视频本身的多幅视频截图数据进行采集标定；
用户体验好，用户无需在播放器选择该播放视频对应标定值，而是通过该技术自动生产标定值来播放和拼接。避免选错标定值带来造成播放不完整的问题。解决了全景视频播放时标定文件的生成、管理、准确性的问题。使用者可以利用播放器播放多种摄像头录制的视频，而无需专门匹配对应的标定文件进行播放。
附图说明
图1所示为根据本发明实施方式的总体流程图；
图2所示为根据本发明实施方式的工作流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。本发明的基于鱼眼摄像头录制的全景视频的自动标定方法适用于基于鱼眼摄像头录制的全景摄像头拍摄的全景视频的处理。
图1所示为根据本发明实施方式的总体流程图。其步骤如下A-E所示，包括：
A.获取全景摄像装置摄制的全景摄像视频；
B.加载全景摄像视频，获取全景摄像视频的多个数据帧，并将数据帧编码为素材图片；
C.扫描素材图片的所有数据，对每个素材图片执行对比运算得到有效视频数据区域的参数信息；
D.基于所述步骤C得到的有效视频数据区域的参数信息，使用插值计算得到对应的标定参数；
E.根据最终标定参数，生成对应的脚本文件，当播放全景摄像视频时，加载脚本文件。
图2所示为根据本发明实施方式的工作流程图。其工作流程如下所示：
（1）加载目标摄制摄像视频；
（2）获取视频数据帧；
（3）将数据帧编码为图片格式；
（4）提取边界轮廓，获取中心圆点参数；
（5）计算标定参数并生成标定脚本。
其中（1）~（5）表示自动标定的过程，
（6）加载已标定视频；
（7）读取标定参数是否正常，若不正常返回上述标定流程；
（8）若标定正常则表示视频标定正常。
本发明的申请人认为：
1）当前的标定方法技术方法比较繁琐，首先需要通过人工进行视频截图，然后通过人工进行判断来标定找到原点和半径等数据再进行标定计算；新的自动标定方法，可以无需人工参与，采用视频自动获取数据、自动获取参数再计算的方法。
2）当前技术标定的数据无法跟当前播放的视频一一对应，因为不同的摄像头摄像出来的视频存在差异，就算给出一组标定数据也无法满足所有视频播放需要的标定值。新的技术可以在播放时进行标定，给每个要播放的视频进行标定值生成。
3）由于视频的差异，视频播放器里播放全景视频标定值的管理带来了用户体验变差。新的技术无需让用户对标定值进行管理。
本发明的技术方案还公开了：获取的数据帧可以编码成图片,直接进入标定参数的计算过程，也可以实施自动标定的过程，以达到同样的目的。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (3)

1.一种基于鱼眼摄像头录制的全景视频的自动标定方法，其特征在于，该方法包括：
A.获取全景摄像装置摄制的全景摄像视频；
B.加载全景摄像视频，获取全景摄像视频的多个数据帧，并将数据帧编码为素材图片；
C.扫描素材图片的所有数据，对每个素材图片执行对比运算得到有效视频数据区域的参数信息，包括：S31，解压素材图片，逐行扫描素材图片数据；S32，对素材图片数据一一执行数学运算对比，查找有效视频数据区域与无效视频区域数据的交接的点，进一步得到一个对应圆形轮廓；S33，根据圆形轮廓计算得到有效视频数据的圆心、半径、朝向及视角FOV；
D.基于所述步骤C得到的有效视频数据区域的参数信息，得到对应的最终标定参数，包括：S41，获取所述步骤S33得到的每个素材图片的圆心、半径、朝向及视角FOV，分别取平均值，得到最终圆心参数、最终半径参数、最终朝向参数及最终视角FOV参数；S42，获取最终圆心参数，根据多项式技术拟合，得到镜头的畸变系数，将最终圆心参数、最终半径参数、最终朝向参数、最终视角FOV参数及畸变系数作为最终标定参数；
E.根据最终标定参数，生成对应的脚本文件，当播放全景摄像视频时，加载脚本文件。
2.根据权利要求1所述的基于鱼眼摄像头录制的全景视频的自动标定方法，其特征在于，所述的步骤B还包括：
使用视频处理器对全景摄像视频进行加载，调用视频处理器的接口获取任意时间点对应的多个数据帧，并使用视频处理器将数据帧编码成对应的多个素材图片。
3.根据权利要求1所述的基于鱼眼摄像头录制的全景视频的自动标定方法，其特征在于，所述的步骤E中脚本文件包括：
畸变系数、最终圆心参数、最终半径参数、最终朝向参数及最终视角FOV参数。
CN201710139073.2A 2017-03-09 2017-03-09 一种基于鱼眼摄像头录制的全景视频的自动标定方法 Active CN107105155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710139073.2A CN107105155B (zh) 2017-03-09 2017-03-09 一种基于鱼眼摄像头录制的全景视频的自动标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710139073.2A CN107105155B (zh) 2017-03-09 2017-03-09 一种基于鱼眼摄像头录制的全景视频的自动标定方法

Publications (2)

Publication Number Publication Date
CN107105155A CN107105155A (zh) 2017-08-29
CN107105155B true CN107105155B (zh) 2020-12-08

Family

ID=59674700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710139073.2A Active CN107105155B (zh) 2017-03-09 2017-03-09 一种基于鱼眼摄像头录制的全景视频的自动标定方法

Country Status (1)

Country Link
CN (1) CN107105155B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258953A (ja) * 2004-03-12 2005-09-22 Ntt Docomo Inc 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法
CN103955928A (zh) * 2014-04-28 2014-07-30 华为技术有限公司 一种确定曲面镜头畸变参数的方法、装置以及电子设备
CN104167002A (zh) * 2014-08-28 2014-11-26 中国矿业大学 鱼眼图像的有效区域提取方法
CN105741296A (zh) * 2016-02-02 2016-07-06 大连楼兰科技股份有限公司 一种360度全视角鸟瞰全景行车辅助标定方法
CN105976377A (zh) * 2016-05-09 2016-09-28 西安电子科技大学 车载鱼眼摄像头自标定的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258953A (ja) * 2004-03-12 2005-09-22 Ntt Docomo Inc 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法
CN103955928A (zh) * 2014-04-28 2014-07-30 华为技术有限公司 一种确定曲面镜头畸变参数的方法、装置以及电子设备
CN104167002A (zh) * 2014-08-28 2014-11-26 中国矿业大学 鱼眼图像的有效区域提取方法
CN105741296A (zh) * 2016-02-02 2016-07-06 大连楼兰科技股份有限公司 一种360度全视角鸟瞰全景行车辅助标定方法
CN105976377A (zh) * 2016-05-09 2016-09-28 西安电子科技大学 车载鱼眼摄像头自标定的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于鱼眼镜头的全方位视觉参数标定与畸变矫正;冯为嘉等;《天津大学学报》;20110531;第44卷(第5期);第417-424页 *

Also Published As

Publication number Publication date
CN107105155A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN112312231B (zh) 一种视频图像编码方法、装置、电子设备及介质
US8953900B2 (en) Increased quality of image objects based on depth in scene
CN104618803A (zh) 信息推送方法、装置、终端及服务器
CN105144687A (zh) 图像处理装置、图像处理方法及程序
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN107909569B (zh) 一种花屏检测方法、花屏检测装置及电子设备
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
CN111353965B (zh) 图像修复方法、装置、终端及存储介质
US11165957B2 (en) Reconstruction of obscured views in captured imagery using user-selectable pixel replacement from secondary imagery
CN112969022B (zh) 摄像头调整方法、系统、存储介质及电子设备
CN109089058B (zh) 视频画面处理方法、电子终端及装置
CN112907657A (zh) 一种机器人重定位方法、装置、设备及存储介质
CN110430424B (zh) Fov的测试方法、装置、存储介质及电子设备
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN107105155B (zh) 一种基于鱼眼摄像头录制的全景视频的自动标定方法
US10783670B2 (en) Method for compression of 360 degree content and electronic device thereof
US20220232173A1 (en) Method and device of image processing, imaging system and storage medium
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
CN113240602A (zh) 图像去雾方法及装置、计算机可读介质和电子设备
Guthier et al. Histogram-based image registration for real-time high dynamic range videos
US20230290144A1 (en) System and method for an automatic video production based on an off-the-shelf video camera
US11436708B1 (en) Removing moving objects from a video scene captured by a moving camera
CN112399096B (zh) 一种视频处理方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant