CN106998430B - 基于多相机的360度视频回放方法 - Google Patents

基于多相机的360度视频回放方法 Download PDF

Info

Publication number
CN106998430B
CN106998430B CN201710295705.4A CN201710295705A CN106998430B CN 106998430 B CN106998430 B CN 106998430B CN 201710295705 A CN201710295705 A CN 201710295705A CN 106998430 B CN106998430 B CN 106998430B
Authority
CN
China
Prior art keywords
target object
camera
image
cameras
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710295705.4A
Other languages
English (en)
Other versions
CN106998430A (zh
Inventor
刘铮
邢忠贤
丁俊朋
俞武治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Rigour Technology Co ltd
Original Assignee
Beijing Rigour Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Rigour Technology Co ltd filed Critical Beijing Rigour Technology Co ltd
Priority to CN201710295705.4A priority Critical patent/CN106998430B/zh
Publication of CN106998430A publication Critical patent/CN106998430A/zh
Application granted granted Critical
Publication of CN106998430B publication Critical patent/CN106998430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及基于多相机的360度视频回放方法，以解决现有技术中多角度拍摄的物体全景只能逐帧切换、画面不流畅的问题。本发明在重构三维模型时，先对场地进行建模，由相机负责图像采集与存储，之后由计算机计算图像中物体的深度信息以获取目标物体及目标物体的坐标，再对多个角度相机获取的图像进行换算以得到当前角度下目标物体的图像，最后计算其他角度下目标物体的图像。由于本发明计算出了360度视角下目标物体的图像，所以本发明在实现多角度、多模式下实时的360度实时展示的同时，还能通过移动时间轴实现目标物体任一时刻的四维回放展示。避免了现有技术中逐帧切换造成的画面顿挫，流畅度差的问题。

Description

基于多相机的360度视频回放方法
技术领域
本发明涉及基于多相机的360度视频回放方法。
背景技术
在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。现有技术中通常使用Visual SFM技术和360度物体全景技术进行三维重建。但VisualSFM技术利用图像匹配技术估算相机的机位，该技术依赖图像质量和图像特征，重建难度大，稳定性差。360度物体全景技术实际是对物体做个全景拍摄，但拍摄过程要求背景干净、相机机位等高或者物体自转，而且展示最终视频时只能逐帧切换，画面顿挫，流畅度差。
发明内容
本发明的目的在于提供一种基于多相机的360度视频回放方法以解决现有技术中多角度拍摄的物体全景只能逐帧切换、画面不流畅的问题。
为实现上述目的，本发明采取的技术方案为：
基于多相机的360度视频回放方法，包括以下步骤，步骤1，场地建模及相机布置；步骤2，由相机拍摄得到当前帧图像，通过计算获取目标物体，同时获取目标物体的世界坐标；步骤3，对多个相机获取的图像进行拼接以得到当前角度下目标物体的图像；步骤4，计算其他角度下目标物体的图像并重构三维模型。
步骤1包括如下步骤，步骤101，对需要观测的固定的场地进行标定并依据标定的数据建立场地的模型；步骤102，在场地周围布置多台相机，调整并计算相机参数；步骤103，对任意两台相机之间的极线进行标定。
步骤2包括如下步骤，步骤201，使用相机获取实时图像并将图像存储；步骤202，分析实时图像以获取目标物体各个角度图像的ROI(感兴趣区)；步骤203，对目标物体、场地和背景分别计算深度信息，并通过对相机的标定计算目标物体的世界坐标以获取目标物体。
步骤2还包括以下步骤，步骤204，对获取的目标物体进行精细抠图，以将目标物体的边缘清晰地与非目标物体进行分离。
步骤3包括，步骤301，计算出需要计算中间视角的两相机对应的所有极线方程；步骤302，找出对两个对应极线上的目标物体的点，通过图像的色彩及灰度特征按顺序逐次匹配，最后得到两个相机上目标物体的像素点匹配关系；步骤303，丢弃两相机中未匹配成功的像素点；步骤304，按照匹配成功的像素点对两相机获取的图像进行换算以得到当前角度下目标物体的图像。
步骤4包括，步骤401，计算相邻两机位之间的视图以得到目标物体在其他视角下的图像；步骤402，对步骤401中获得的其他视角下目标物体的图像中未匹配成功的空白像素点进行像素填充；步骤403，对场外背景做全景拼接以获取展示区域的背景图像；步骤404，根据已知的位置关系，将目标物体、场地、背景进行组合，进行叠加覆盖以得到一张该视角的图像。
在步骤401中，从1号相机转向2号相机的方法为，用2号相机的目标物体的每个像素点坐标减去1号相机对应的匹配像素点坐标，乘以想要对目标物体进行旋转的角度占总角度的比例，再加上1号相机的像素点坐标，即可得到相应视角下目标物体的像素点坐标，而得到整体目标物体的偏移位置。
在步骤402中，采用横向和竖向扫描相结合的方法，用周围的像素点填充待填补的空白像素点。
本发明的有益效果如下：本发明在重构三维模型时，先对场地进行建模，由相机负责图像采集与存储，之后由计算机计算图像中的深度信息以获取目标物体及目标物体的坐标，再对多个相机获取的图像进行换算以得到当前角度下目标物体的图像，最后计算其他角度下目标物体的图像。由于本发明计算出了360度视角下目标物体的图像，所以本发明在实现多角度、多模式下实时的360度实时展示的同时，还能通过移动时间轴实现目标物体任一时刻的四维回放展示。避免了现有技术中逐帧切换造成的画面顿挫，流畅度差的问题。
附图说明
图1为用于实施本发明的基于多相机的360度视频回放方法的视频回放装置。
具体实施方式
本发明的基于多相机的360度视频回放方法包括以下步骤：
步骤1，场地建模及相机布置；
步骤1具体包括：步骤101，对需要观测的固定的场地进行标定并依据标定的数据建立场地的模型；步骤102，在场地周围布置多台相机，调整并计算相机参数；步骤103，对任意两台相机之间的极线进行标定。
在步骤1中，所使用的相机包括具有存储功能的服务器。
由于视频回放时最终需要展示的是目标物体而非场地，场地通常是固定不变的，所以通过提前建立场地模型的方法可减少实时建模的工作量。建模方法可采用3dmax工具。
在步骤102中调整相机参数时，采用相机的采集软件进行白平衡和曝光调节，使各相机获取的图像色彩尽量一致。然后利用色卡，对调整后的相机图像进行微调，达到更加一致的色彩。
在步骤103中对两台相机之间的极线进行标定时，需要通过极线计算公式计算出两个相机对应的极线换算矩阵。
步骤2，获取目标物体及目标物体的世界坐标；
步骤2具体包括：步骤201，使用相机获取实时图像并将图像存储；步骤202，分析实时图像以获取目标物体各个角度图像的ROI(感兴趣区)；步骤203，对目标物体、场地和背景分别计算深度信息，并通过对相机的标定计算目标物体的世界坐标以获取目标物体；步骤204，对获取的目标物体进行精细抠图，以将目标物体的边缘清晰地与非目标物体进行分离。
在获取实时图像时，利用布置在场地不同位置处的相机分别获取同一时刻目标物体多个角度的图像。每台相机均配有相应的采集服务器，以实现对图像的采集及存储，并能将图像实时传回运算和展示服务器。
在获取目标物体各个角度的ROI时，需要先利用高斯模型和前景背景相减法得到运动物体，并将运动物体进行目标分割，最终将运动物体和背景分割开来。
在获取目标物体时，通过之前对相机的标定，将运动目标进行匹配后计算出世界坐标，根据世界坐标判断运动物体是否在展示的场地内，在展示场地内的为目标物体。
抠图时，使用DCNN算法在原图上进行精细抠图。
步骤3，对多个相机获取的图像进行拼接以得到当前角度下目标物体的图像；
步骤3具体包括：步骤301，计算出需要计算中间视角的相邻两相机对应的所有极线方程；步骤302，找出对两个对应极线上的目标物体的点，通过图像的色彩及灰度特征按顺序逐次匹配，最后得到两个相机上目标物体的像素点匹配关系；步骤303，丢弃两相机中未匹配成功的像素点；步骤304，按照匹配成功的像素点对两相机获取的图像进行换算以得到当前角度下目标物体的图像。
步骤4，计算其他角度下目标物体的图像并重构三维模型；
步骤4具体包括：步骤401，计算相邻两机位之间的视图以得到目标物体在其他视角下的图像；步骤402，对步骤401中获得的其他视角下目标物体的图像中未匹配成功的空白像素点进行像素填充；步骤403，对场外背景做全景拼接以获取展示区域的背景图像；步骤404，根据已知的位置关系，将目标物体、场地、背景进行组合，进行叠加覆盖以得到一张该视角的图像。
在步骤401中，计算其他角度下目标物体的图像方法如下：从1号相机转向2号相机时，用2号相机获取的目标物体的每个像素坐标点减去1号相机对应的匹配像素坐标点，乘以想要旋转的角度占总角度的比例加上1号相机的像素坐标点，即可得到相应视角下目标物体的像素坐标点及整体目标物偏移位置。
在步骤402中，采用横向与竖向扫描相结合的方法，用周围的像素点填充待填补的空白像素点。
实施本方法时使用的装置如图1所示，包括多台相机、采集服务器、运算和展示服务器和大屏幕。每台或多台相机配置一台采集服务器，采集服务器采集到的图像信号送至运算和展示服务器，运算和展示服务器的计算结果由大屏幕显示出。

Claims (5)

1.基于多相机的360度视频回放方法，其特征在于：包括以下步骤，步骤1，场地建模及相机布置；步骤2，由相机拍摄得到当前帧图像，通过计算获取目标物体，同时获取目标物体的世界坐标；步骤3，对多个相机获取的图像进行拼接以得到当前角度下目标物体的图像；步骤4，计算其他角度下目标物体的图像并重构三维模型；步骤1包括如下步骤，步骤101，对需要观测的固定的场地进行标定并依据标定的数据建立场地的模型；步骤102，在场地周围布置多台相机，调整并计算相机参数；步骤103，对任意两台相机之间的极线进行标定；步骤2包括如下步骤，步骤201，使用相机获取实时图像并将图像存储；步骤202，利用高斯模型和前景背景相减法得到运动物体，并将运动物体进行目标分割，最终将运动物体和背景分割开来，分析实时图像以获取目标物体各个角度图像的ROI(感兴趣区)；步骤203，对目标物体、场地和背景分别计算深度信息，并通过对相机的标定计算目标物体的世界坐标以获取目标物体；步骤3包括，步骤301，计算出需要计算中间视角的两相机对应的所有极线方程；步骤302，找出对两个对应极线上的目标物体的点，通过图像的色彩及灰度特征按顺序逐次匹配，最后得到两个相机上目标物体的像素点匹配关系；步骤303，丢弃两相机中未匹配成功的像素点；步骤304，按照匹配成功的像素点对两相机获取的图像进行换算以得到当前角度下目标物体的图像。
2.根据权利要求1所述的基于多相机的360度视频回放方法，其特征在于：步骤2还包括以下步骤，步骤204，对获取的目标物体进行精细抠图，以将目标物体的边缘清晰地与非目标物体进行分离。
3.根据权利要求1所述的基于多相机的360度视频回放方法，其特征在于：步骤4包括，步骤401，计算相邻两机位之间的视图以得到目标物体在其他视角下的图像；步骤402，对步骤401中获得的其他视角下目标物体的图像中未匹配成功的空白像素点进行像素填充；步骤403，对场外背景做全景拼接以获取展示区域的背景图像；步骤404，根据已知的位置关系，将目标物体、场地、背景进行组合，进行叠加覆盖以得到一张该视角的图像。
4.根据权利要求3所述的基于多相机的360度视频回放方法，其特征在于：在步骤401中，从1号相机转向2号相机的方法为，用2号相机的目标物体的每个像素点坐标减去1号相机对应的匹配像素点坐标，乘以想要对目标物体进行旋转的角度占总角度的比例，再加上1号相机的像素点坐标，即可得到相应视角下目标物体的像素点坐标，而得到整体目标物体的偏移位置。
5.根据权利要求3所述的基于多相机的360度视频回放方法，其特征在于：在步骤402中，采用横向和竖向扫描相结合的方法，用周围的像素点填充待填补的空白像素点。
CN201710295705.4A 2017-04-28 2017-04-28 基于多相机的360度视频回放方法 Active CN106998430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710295705.4A CN106998430B (zh) 2017-04-28 2017-04-28 基于多相机的360度视频回放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710295705.4A CN106998430B (zh) 2017-04-28 2017-04-28 基于多相机的360度视频回放方法

Publications (2)

Publication Number Publication Date
CN106998430A CN106998430A (zh) 2017-08-01
CN106998430B true CN106998430B (zh) 2020-07-21

Family

ID=59435611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710295705.4A Active CN106998430B (zh) 2017-04-28 2017-04-28 基于多相机的360度视频回放方法

Country Status (1)

Country Link
CN (1) CN106998430B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112335258A (zh) * 2018-11-12 2021-02-05 英特尔公司 从比赛参与者视角的自动视野估计
CN109600584A (zh) * 2018-12-11 2019-04-09 中联重科股份有限公司 观察塔机的方法和装置、塔机及机器可读存储介质
CN110266926B (zh) * 2019-06-28 2021-08-17 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端以及存储介质
CN110266955B (zh) * 2019-06-28 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN112488918A (zh) * 2020-11-27 2021-03-12 叠境数字科技（上海）有限公司 基于rgb-d图像和多相机系统的图像插值方法及装置
CN114449165B (zh) * 2021-12-27 2023-07-18 广州极飞科技股份有限公司 拍照控制方法、装置、无人设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609983A (zh) * 2012-01-20 2012-07-25 华中科技大学 一种基于图像及立体视觉的闪电三维图像重建方法
CN104167016A (zh) * 2014-06-16 2014-11-26 西安工业大学 一种基于rgb彩色与深度图像的三维运动重建方法
CN104268138A (zh) * 2014-05-15 2015-01-07 西安工业大学 融合深度图和三维模型的人体运动捕捉方法
CN205451195U (zh) * 2016-03-07 2016-08-10 深圳市鹰眼在线电子科技有限公司 一种基于多摄像机的实时三维点云重建系统
CN106293092A (zh) * 2016-08-15 2017-01-04 成都通甲优博科技有限责任公司 基于多目立体视觉三维技术实现虚拟穿戴的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112009004276T5 (de) * 2009-01-04 2012-10-11 3M Innovative Properties Co. Globale Kamerawegoptimierung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609983A (zh) * 2012-01-20 2012-07-25 华中科技大学 一种基于图像及立体视觉的闪电三维图像重建方法
CN104268138A (zh) * 2014-05-15 2015-01-07 西安工业大学 融合深度图和三维模型的人体运动捕捉方法
CN104167016A (zh) * 2014-06-16 2014-11-26 西安工业大学 一种基于rgb彩色与深度图像的三维运动重建方法
CN205451195U (zh) * 2016-03-07 2016-08-10 深圳市鹰眼在线电子科技有限公司 一种基于多摄像机的实时三维点云重建系统
CN106293092A (zh) * 2016-08-15 2017-01-04 成都通甲优博科技有限责任公司 基于多目立体视觉三维技术实现虚拟穿戴的方法

Also Published As

Publication number Publication date
CN106998430A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
CN106998430B (zh) 基于多相机的360度视频回放方法
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN110335292B (zh) 一种基于图片跟踪实现模拟场景跟踪的方法、系统及终端
CN109348119B (zh) 一种全景监控系统
CN103810685B (zh) 一种深度图的超分辨率处理方法
EP2930689B1 (en) Method for rendering
WO2014100250A4 (en) Devices, systems and methods of capturing and displaying appearances
CN107358577B (zh) 一种立方体全景图的快速拼接方法
EP1946567A2 (en) Device for generating three dimensional surface models of moving objects
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
CN107257494B (zh) 一种体育赛事拍摄方法及其拍摄系统
JP2002524937A (ja) 高解像度カメラと低解像度カメラとを用いて高解像度像を合成する方法および装置
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
CN109889799B (zh) 基于rgbir摄像头的单目结构光深度感知方法及装置
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
JP2018163467A (ja) 自由視点画像の生成表示方法、装置およびプログラム
CN105704398A (zh) 一种视频处理方法
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
US20180322671A1 (en) Method and apparatus for visualizing a ball trajectory
Pulli et al. Mobile panoramic imaging system
Sankoh et al. Robust billboard-based, free-viewpoint video synthesis algorithm to overcome occlusions under challenging outdoor sport scenes
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
Jorissen et al. Multi-camera epipolar plane image feature detection for robust view synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A 360 degree video playback method based on multiple cameras

Effective date of registration: 20230727

Granted publication date: 20200721

Pledgee: Beijing Yizhuang International Financing Guarantee Co.,Ltd.

Pledgor: BEIJING RIGOUR TECHNOLOGY CO.,LTD.

Registration number: Y2023980050007