CN106507084A - 一种全景相机阵列多视点图像校正方法 - Google Patents

一种全景相机阵列多视点图像校正方法 Download PDF

Info

Publication number
CN106507084A
CN106507084A CN201610904637.2A CN201610904637A CN106507084A CN 106507084 A CN106507084 A CN 106507084A CN 201610904637 A CN201610904637 A CN 201610904637A CN 106507084 A CN106507084 A CN 106507084A
Authority
CN
China
Prior art keywords
camera
ideal
panorama
array
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610904637.2A
Other languages
English (en)
Inventor
杨成
张超超
刘成
秦静华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Sharetronic IoT Technology Co Ltd
Original Assignee
Anhui Sharetronic IoT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Sharetronic IoT Technology Co Ltd filed Critical Anhui Sharetronic IoT Technology Co Ltd
Priority to CN201610904637.2A priority Critical patent/CN106507084A/zh
Publication of CN106507084A publication Critical patent/CN106507084A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种全景相机阵列多视点图像校正方法，包括以下步骤：S1：首先将多个全景相机按照球型结构进行排列，选取多个全景相机构建成的球型结构的球心做为世纪坐标系的坐标点，在该坐标点设定世纪坐标系，标定各个相机，得到全景相机阵列中的各相机内部坐标Kijp和各个相机相对于参考坐标点的旋转矩阵OM和平移矩阵T；S2：利用遍态历经法，根据各相机旋转矩阵OM中的Xij、Yij、Zij分别代表相机Cij相对与世纪坐标系中的X、Y、Z方向所成角度。本发明的有益效果为能够有效的消除全景相机阵列拍摄的多视点图像存在的垂直视差，使得校正后的多视点图像达到理想水平相机阵列的拍摄效果，从而满足人们的观看需求。

Description

一种全景相机阵列多视点图像校正方法
技术领域
本发明涉及三维图像校正技术领域，尤其涉及一种全景相机阵列多视点图像校正方法。
背景技术
多视点视频能够为观看者提供多个视点，使观看者在一定范围内能够自由的切换视点和视向，为观看者带来良好的立体感和沉浸感。目前，随着FTV和3DTV的快速发展，多视点视频制作技术成为新的研究热点。在多视点视频制作时，由于支架形变、相机内部感光元件存在差异及手动调节存在误差等原因，会造成左右相邻视点间图像存在垂直视差且水平视差不相等，上下相邻视点间垂直视差不相等且存在水平视差，严重影响了系统后端合成的立体图像质量。因此，进行多视点图像校正在多视点视频制作过程中至关重要。在计算机视觉领域，图像校正研究有了较长的发展历史，但是目前多存在的图像校正方法大多是针对双目相机、三目相机的双视点、三视点图像的校正方法。针对多视点图像校正方法还很少。一种通过校正实际全景相机阵列所拍摄的多视点图像，达到理想全景相机阵列所拍摄图像的观看效果的方法，至今尚未出现。
发明内容
基于背景技术存在的技术问题，本发明提出了一种全景相机阵列多视点图像校正方法。
本发明提出的一种全景相机阵列多视点图像校正方法，包括以下步骤：
S1：首先将多个全景相机按照球型结构进行排列，选取多个全景相机构建成的球型结构的球心做为世纪坐标系的坐标点，在该坐标点设定世纪坐标系，标定各个相机，得到全景相机阵列中的各相机内部坐标Kijp和各个相机相对于参考坐标点的旋转矩阵OM和平移矩阵T；
S2：利用遍态历经法，根据各相机旋转矩阵OM中的Xij、Yij、Zij分别代表相机Cij相对与世纪坐标系中的X、Y、Z方向所成角度，通过计算我们可以得到最优旋转阵列OMideal，作为全景相机理想旋转阵列；
S3：设置全景相机阵列各相机光心为C-N…C1、C2…CN，相邻相机间距为d，利用遍态历经法设置世纪坐标系的球心的理想光心为Cideal，然后再利用世纪坐标系的球心的理想光心为Cideal来求取其他相机的理想光心位置，进而可以计算出理想的平移矩阵T；
S4：求取各相机焦距的均值，然后排除与相机均值方差大于二倍于方差的相机，然后再利用剩余相机的焦距来计算平均值，作为理想相机焦距fideal；
S5：求取各相机主心坐标的均值，然后排除与相机均值方差大于二倍于方差的相机，然后再利用剩余相机的主心坐标来计算平均值，作为理想相机主心坐标pideal；
S6：相机倾斜因子S分别与fideal和pideal共同构成了相机理想内部矩阵Kideal；
S7：根据全景相机阵列相机理想内部矩阵、理想旋转矩阵、理想平移矩阵，计算全景相机阵列各相机理想投影矩阵Pideal；
S8：计算实际图像与理想图像的校正矩阵Hi，利用校正矩阵校正全景相机阵列拍摄的多视点图像。
优选地，所述相机内部坐标Kijp中的i=j=p=-N,-N+1…0…N。
优选地，所述相机倾斜因子S取值为0。
优选地，所述最优旋转阵列OMideal=（Xideal，Yideal，Zideal）。
本发明的有益效果：能够有效的消除全景相机阵列拍摄的多视点图像存在的垂直视差，使得校正后的多视点图像达到理想水平相机阵列的拍摄效果，从而满足人们的观看需求。
具体实施方式
下面结合具体实施例对本发明作进一步解说。
实施例
本实施例中提出了一种全景相机阵列多视点图像校正方法，包括以下步骤：
S1：首先将多个全景相机按照球型结构进行排列，选取多个全景相机构建成的球型结构的球心做为世纪坐标系的坐标点，在该坐标点设定世纪坐标系，标定各个相机，得到全景相机阵列中的各相机内部坐标Kijp和各个相机相对于参考坐标点的旋转矩阵OM和平移矩阵T；
S2：利用遍态历经法，根据各相机旋转矩阵OM中的Xij、Yij、Zij分别代表相机Cij相对与世纪坐标系中的X、Y、Z方向所成角度，通过计算我们可以得到最优旋转阵列OMideal，作为全景相机理想旋转阵列；
S3：设置全景相机阵列各相机光心为C-N…C1、C2…CN，相邻相机间距为d，利用遍态历经法设置世纪坐标系的球心的理想光心为Cideal，然后再利用世纪坐标系的球心的理想光心为Cideal来求取其他相机的理想光心位置，进而可以计算出理想的平移矩阵T；
S4：求取各相机焦距的均值，然后排除与相机均值方差大于二倍于方差的相机，然后再利用剩余相机的焦距来计算平均值，作为理想相机焦距fideal；
S5：求取各相机主心坐标的均值，然后排除与相机均值方差大于二倍于方差的相机，然后再利用剩余相机的主心坐标来计算平均值，作为理想相机主心坐标pideal；
S6：相机倾斜因子S分别与fideal和pideal共同构成了相机理想内部矩阵Kideal；
S7：根据全景相机阵列相机理想内部矩阵、理想旋转矩阵、理想平移矩阵，计算全景相机阵列各相机理想投影矩阵Pideal；
S8：计算实际图像与理想图像的校正矩阵Hi，利用校正矩阵校正全景相机阵列拍摄的多视点图像。
本实例中，相机内部坐标Kijp中的i=j=p=-N,-N+1…0…N，相机倾斜因子S取值为0，优选地，最优旋转阵列OMideal=（Xideal，Yideal，Zideal），能够有效的消除全景相机阵列拍摄的多视点图像存在的垂直视差，并且能够使得各相邻图像间水平视差保持一致，使得校正后的多视点图像达到理想水平相机阵列的拍摄效果，从而满足人们的观看需求。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种全景相机阵列多视点图像校正方法，其特征在于，包括以下步骤：
S1：首先将多个全景相机按照球型结构进行排列，选取多个全景相机构建成的球型结构的球心做为世纪坐标系的坐标点，在该坐标点设定世纪坐标系，标定各个相机，得到全景相机阵列中的各相机内部坐标Kijp和各个相机相对于参考坐标点的旋转矩阵OM和平移矩阵T；
S2：利用遍态历经法，根据各相机旋转矩阵OM中的Xij、Yij、Zij分别代表相机Cij相对与世纪坐标系中的X、Y、Z方向所成角度，通过计算我们可以得到最优旋转阵列OMideal，作为全景相机理想旋转阵列；
S3：设置全景相机阵列各相机光心为C-N…C1、C2…CN，相邻相机间距为d，利用遍态历经法设置世纪坐标系的球心的理想光心为Cideal，然后再利用世纪坐标系的球心的理想光心为Cideal来求取其他相机的理想光心位置，进而可以计算出理想的平移矩阵T；
S4：求取各相机焦距的均值，然后排除与相机均值方差大于二倍于方差的相机，然后再利用剩余相机的焦距来计算平均值，作为理想相机焦距fideal；
S5：求取各相机主心坐标的均值，然后排除与相机均值方差大于二倍于方差的相机，然后再利用剩余相机的主心坐标来计算平均值，作为理想相机主心坐标pideal；
S6：相机倾斜因子S分别与fideal和pideal共同构成了相机理想内部矩阵Kideal；
S7：根据全景相机阵列相机理想内部矩阵、理想旋转矩阵、理想平移矩阵，计算全景相机阵列各相机理想投影矩阵Pideal；
S8：计算实际图像与理想图像的校正矩阵Hi，利用校正矩阵校正全景相机阵列拍摄的多视点图像。
2.根据权利要求1所述的一种全景相机阵列多视点图像校正方法，其特征在于，所述相机内部坐标Kijp中的i=j=p=-N,-N+1…0…N。
3.根据权利要求1所述的一种全景相机阵列多视点图像校正方法，其特征在于，所述相机倾斜因子S取值为0。
4.根据权利要求1所述的一种全景相机阵列多视点图像校正方法，其特征在于，所述最优旋转阵列OMideal=（Xideal，Yideal，Zideal）。
CN201610904637.2A 2016-10-18 2016-10-18 一种全景相机阵列多视点图像校正方法 Pending CN106507084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610904637.2A CN106507084A (zh) 2016-10-18 2016-10-18 一种全景相机阵列多视点图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610904637.2A CN106507084A (zh) 2016-10-18 2016-10-18 一种全景相机阵列多视点图像校正方法

Publications (1)

Publication Number Publication Date
CN106507084A true CN106507084A (zh) 2017-03-15

Family

ID=58294191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610904637.2A Pending CN106507084A (zh) 2016-10-18 2016-10-18 一种全景相机阵列多视点图像校正方法

Country Status (1)

Country Link
CN (1) CN106507084A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277380A (zh) * 2017-08-16 2017-10-20 成都市极米科技有限公司 一种变焦方法及装置
CN109003235A (zh) * 2018-06-27 2018-12-14 曜科智能科技（上海）有限公司 光场图像的校正方法、计算机可读存储介质、及电子终端
CN111432117A (zh) * 2020-03-23 2020-07-17 北京迈格威科技有限公司 图像矫正方法、装置和电子系统
US20210314542A1 (en) * 2018-08-01 2021-10-07 Korea Atomic Energy Research Institute Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101488222A (zh) * 2008-01-16 2009-07-22 中国科学院自动化研究所 一种基于运动目标表象和运动信息的摄像机自标定方法
CN101729920A (zh) * 2009-11-23 2010-06-09 南京大学 一种自由视角立体视频显示方法
CN103997638A (zh) * 2014-05-30 2014-08-20 天津大学 一种矩阵式相机阵列多视点图像校正方法
CN105759435A (zh) * 2016-05-07 2016-07-13 杭州映墨科技有限公司 全景环带立体成像系统及其标定方法与成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101488222A (zh) * 2008-01-16 2009-07-22 中国科学院自动化研究所 一种基于运动目标表象和运动信息的摄像机自标定方法
CN101729920A (zh) * 2009-11-23 2010-06-09 南京大学 一种自由视角立体视频显示方法
CN103997638A (zh) * 2014-05-30 2014-08-20 天津大学 一种矩阵式相机阵列多视点图像校正方法
CN105759435A (zh) * 2016-05-07 2016-07-13 杭州映墨科技有限公司 全景环带立体成像系统及其标定方法与成像方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277380A (zh) * 2017-08-16 2017-10-20 成都市极米科技有限公司 一种变焦方法及装置
CN107277380B (zh) * 2017-08-16 2020-10-30 成都极米科技股份有限公司 一种变焦方法及装置
CN109003235A (zh) * 2018-06-27 2018-12-14 曜科智能科技（上海）有限公司 光场图像的校正方法、计算机可读存储介质、及电子终端
WO2020001120A1 (zh) * 2018-06-27 2020-01-02 曜科智能科技（上海）有限公司 光场图像的校正方法、计算机可读存储介质、及电子终端
US20210314542A1 (en) * 2018-08-01 2021-10-07 Korea Atomic Energy Research Institute Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type
US11902492B2 (en) * 2018-08-01 2024-02-13 Korea Atomic Energy Research Institute Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type
CN111432117A (zh) * 2020-03-23 2020-07-17 北京迈格威科技有限公司 图像矫正方法、装置和电子系统
CN111432117B (zh) * 2020-03-23 2021-08-10 北京迈格威科技有限公司 图像矫正方法、装置和电子系统

Similar Documents

Publication Publication Date Title
CN106507084A (zh) 一种全景相机阵列多视点图像校正方法
US8897502B2 (en) Calibration for stereoscopic capture system
CN103595988B (zh) 立体图像显示装置、图像处理装置及图像处理方法
JP4995092B2 (ja) ステレオカメラの画像の歪み補正装置、及びその方法
US20110249889A1 (en) Stereoscopic image pair alignment apparatus, systems and methods
CN101371593A (zh) 纠正立体显示系统的方法
CN102209254A (zh) 一种一维集成成像方法和装置
WO2012050040A1 (ja) 立体映像変換装置及び立体映像表示装置
US20170242260A1 (en) Optical stereoscopic display screen for naked eye viewing
CN103945207B (zh) 一种基于视点合成的立体图像垂直视差消除方法
CN111869202B (zh) 用于减少自动立体显示器上的串扰的方法
CN103269430A (zh) 基于bim的三维场景生成方法
US20190132576A1 (en) Generating virtual reality content via light fields
CN107801017A (zh) 一种多目3d摄像机及其3d图像建模方法
CN1191656A (zh) 一个用于获取诸自动体视图象的方法和系统
CN103997638A (zh) 一种矩阵式相机阵列多视点图像校正方法
CN103079083B (zh) 一种已标定平行摄像机阵列多视图像校正方法
CN108881881A (zh) 一种集成成像桌面3d显示的自适应微图像阵列生成方法
CN107743222B (zh) 一种基于采集器的图像数据处理方法及三维全景vr采集器
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
CN110381305A (zh) 裸眼3d的去串扰方法、系统、存储介质及电子设备
CN103997637A (zh) 一种平行相机阵列多视点图像校正方法
TW201733351A (zh) ３ｄ自動對焦顯示方法及其系統
CN102821295B (zh) 一种会聚式集成成像拍摄方法
TWI462569B (zh) 三維影像攝相機及其相關控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315

RJ01 Rejection of invention patent application after publication