CN106408542A - 一种穹顶可视化场景的快速几何校正方法 - Google Patents
一种穹顶可视化场景的快速几何校正方法 Download PDFInfo
- Publication number
- CN106408542A CN106408542A CN201610883107.4A CN201610883107A CN106408542A CN 106408542 A CN106408542 A CN 106408542A CN 201610883107 A CN201610883107 A CN 201610883107A CN 106408542 A CN106408542 A CN 106408542A
- Authority
- CN
- China
- Prior art keywords
- camera
- dome
- pixel
- latitude
- longitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 2
- 101100001674 Emericella variicolor andI gene Proteins 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
Abstract
本发明公开了一种穹顶可视化场景的快速几何校正方法。在实际工程应用中,现有技术难以实现穹顶场景中多投影仪拼接显示系统画面的快速几何校正。本发明提出由广角相机和精密旋转台组成校正系统,在完成相机的非线性畸变校正和对特殊设计的结构光图像的测量后,准确建立相机经纬度坐标和系统的经纬度坐标的融合,完成穹顶屏幕与相机像面的映射关系;由投影仪依次投影多幅已知特征的条纹图像,由相机完成图像拍摄,根据条纹分析技术计算出的相位值确定投影仪与穹顶屏幕像素级映射关系;再结合旋转台提供的旋转角度即可得到所有投影仪上每个像素点所对应的经纬度坐标,从而完成穹顶可视化场景的快速几何校正。
Description
技术领域
本发明涉及多个投影仪设备在大型屏幕上显示视觉无缝的动态画面的几何校正技术,特别是涉及多个投影仪设备在大型穹顶屏幕上的几何校正方法。
技术背景
随着工业,商业、娱乐和科学可视化的高速发展,由多个投影机拼接组成的大型穹顶显示系统具有大视场、高分辨率、沉浸感强等特点,在虚拟现实、模拟仿真、文化娱乐等领域得到了广泛的应用。
在构建全景穹顶显示系统时,多个投影机之间画面的无缝拼接融合和亮度一致性校正是关键环节,而几何校正则是前提和基础。早期借助人眼进行手工校正的工作既繁琐又缺乏精度,已经逐渐退出了多投影仪拼接显示系统画面校正技术领域,而采用的激光经纬仪打点等技术仍然非常繁琐和耗时,无法解决快速、自主、高精度几何校正问题。近年来采用相机作为监视工具进行投影仪画面校正的方法逐步发展起来,通过相机拍摄特征图像的方式来构建投影机与投影全景穹顶屏幕之间的映射关系,并利用该映射关系产生预扭曲视景画面来实现几何校正。但在对涉及数十个投影仪的大规模全景穹顶显示系统进行校正时,仍然存在操作步骤繁琐、校正精度不高、校正速度比较慢等问题(王邦平,基于计算机视觉精密测量多投影视景自动几何校正和拼接方法,中国专利号,CN200910058010.X) 。
发明内容
本发明是针对现有穹顶可视化场景的多投影仪拼接显示系统画面的快速几何校正所出现的缺陷,提出由广角相机和精密旋转台组成校正系统,建立以旋转台为基准的球面坐标系,完成穹顶屏幕与相机像面的映射关系;各投影仪依次投影多幅已知特征的条纹图像,由相机完成图像拍摄,根据条纹投影技术计算出的相位值反向计算出每个投影仪上各像素点所对应的球面坐标系坐标;再结合旋转台提供的旋转角度即可得到所有投影仪上每个像素点所对应的球面坐标,从而完成快速高精度的穹顶可视化场景几何校正。
本发明的目的是采用下述技术方案来实现的:
将广角相机固定于精密旋转台上,以转台转轴为基准建立球面坐标系,完成穹顶屏幕与相机像面的对应关系;利用条纹投影技术通过相位值建立相机像面与单个投影仪像面的映射关系,进而计算出该投影仪各像素点所对应的球面坐标系坐标;通过控制转台旋转计算出各投影仪上像素点所对应的球面坐标,从而完成快速高精度的穹顶可视化场景几何校正。
本发明与现有技术相比有如下优点:
1. 本发明以旋转台转轴为基准建立球面坐标系,由公式计算初始位置处相机每个像素点对应的经纬度,通过对特殊设计的结构光图像的测量,建立相机经纬度坐标和系统的经纬度坐标的融合,其余位置的经度通过直接增加旋转台旋转角度得到,从而完成穹顶屏幕定位工作。
2. 本发明由软件统一控制转台旋转、相机拍摄、投影仪投影图像等操作,完全无需人工参与,实现高效快速几何校正。
3. 本发明可实现任意大小的穹顶可视化场景快速几何校正,经度可达360°,穹顶的张角可超过180°。
四.附图说明
图1本发明穹顶可视化场景快速几何校正流程图。
图2本发明情况下计算其中一台投影仪各像素点经纬度实例图。
图3本发明情况下两相邻投影仪校正结果图。
图4本发明情况下24台投影仪校正结果图。
五.具体实施方式
下面结合附图、工作原理及实施例对本发明做进一步详细说明。
本发明引入精密旋转台和一台广角相机作为几何自动化校正过程中需要的额外硬件,待校正系统是由24台投影仪组成的视场达到经度360°、张角210°的穹顶可视化。图1为本发明校正流程图。图2为本发明计算其中一台投影仪各像素点经纬度实例图,系统由精密旋转台和广角相机构成,将广角相机通过云台架设在可精确旋转控制的转台上,为便于高度调整,将整个系统放置在一三脚架上,首先确立相机经纬度坐标,再建立投影仪与穹顶屏幕像素级映射关系以及旋转转台完成所有投影仪与穹顶屏幕映射关系。
确立相机经纬度坐标
首先完成广角相机标定得到相机焦距、主点坐标和非线性畸变参数等内部参数,根据下式可将相机像素坐标转化为初始经纬度:
(1)
此时系统光轴为主点与光心的连线。φ为经度,是各像素点与光心的连线和系统光轴的夹角,θ为纬度,由图像上像素点与主点间的位置关系确定,(u0, v0)是主点,(u, v)是像素坐标。由于,待校正球面穹顶可视化场景为360°×210°,远大于相机视场角104°,为此需将相机光轴进行旋转,本实施例使其与旋转轴的夹角为50°,再重新计算相机每个像素对应的经纬度,计算公式为
(2)
其中a=-cos50°, b=-sin50°。此外由于安装的原因,使得转台的转轴并不精确过相机光心,光轴的再连续旋转精密转台,每旋转一定角度相机即拍摄一张图片,根据拍摄的n(n≥6)幅图片,计算相机每个像素点的灰度值均方差,确定均方差最小的像素点,将其作为球面坐标系北极点,将北极点与主点连线作为系统光轴;进而计算广角相机每个像素点的经纬度数值,将球面经纬度极坐标映射到相机平面上。
由条纹分析技术确立投影仪与穹顶屏幕像素级映射
控制任一投影机投影垂直和水平两套编码结构光条纹到穹顶屏幕上,然后用相机拍摄被穹顶屏幕调制后的变形条纹。并采用相移技术计算相位值分布,拍摄图像的光强分布可表示为:
(3)
其中I v (x, y)和I h (x, y)分别表示垂直和水平方向的结构光变形条纹光强,M是最大灰度值,p为条纹的周期,N是最大相移次数,φ (x, y)为测量物体的真实相位。相位计算公式为,
(4)
(4)式中所得相位值为截断相位,其取值范围为(-π,+π)。需要利用相位展开方法将其还原为连续相位或绝对相位。为了提升测量的稳定性并兼顾效率,这里采用三频时间相位展开方法求解相位,该方法仅需分别投影3套条纹频率不同的条纹(频率为1、s、s 2),相位展开公式为,
(5)
其中i取值为1和2, INT[·]表示四舍五入取整,φ u(·)为展开后的连续相位,φ w(·)为展开前的截断相位。f i 和f i+1是条纹频率。由于条纹频率为1的截断相位相当于已经展开的相位,因此起始展开相位值φ u (1) = φ w (1)。在整个相位展开过程中,只需要两次计算即可。
此时投影机坐标系上每个像素点都具有唯一的水平相位值和垂直相位值,同时相机坐标系上有特征条纹的区域上每个像素点也具有唯一的水平相位值和垂直相位值。在投影机坐标系上,任取一个像素点M,在相机坐标系上找出与点M的水平相位值和垂直相位值分别相等的点N(通常为需要插值)。遍历整个投影机坐标系,即可构建投影机与相机之间的亚像素级映射关系,如下式,
(6)
式中φp和φc分别表示投影机和相机坐标系上展开后的绝对相位值,M表示投影机与相机之间的映射关系矩阵。
由于每一个投影机都建立起与相机的映射关系矩阵,并且相机上每个像素点都具有唯一的经纬度数值,因此利用映射矩阵即可得到每个投影机上每个像素点所对应的唯一经纬度数据,即投影机坐标系已统一到广角相机坐标系下。
下面给出了本发明中针对24台投影仪系统构成的穹顶可视化场景的快速几何校正方法的一个实施例,但本发明不仅限于实施例中所涉及的内容。
Claims (5)
1.一种穹顶可视化场景的快速几何校正方法,其特征在于:将广角相机固定于精密旋转台上,以旋转台转轴为基准建立球面坐标系,通过对特殊设计的结构光图像的测量,建立相机经纬度坐标和系统的经纬度坐标的融合,完成穹顶屏幕与相机像面的对应关系;利用条纹投影技术通过相位值建立相机像面与单个投影仪像面的映射关系,进而计算出该投影仪各像素点所对应的球面坐标系坐标;通过控制转台旋转计算出各投影仪上像素点所对应的球面坐标,从而完成快速高精度的穹顶可视化场景几何校正。
2.如权利要求1所述,将广角相机固定于精密旋转台上,以旋转台转轴为基准建立球面坐标系,通过对特殊设计的结构光图像的测量,建立相机经纬度坐标和系统的经纬度坐标的融合,完成穹顶屏幕与相机像面的对应关系,其特征在于连续旋转精密转台,每旋转一定角度相机即拍摄一张图片,根据拍摄的n(n≥6)幅图片,计算相机每个像素点的灰度值均方差,确定均方差最小的像素点,将该点与相机主点连线作为球面坐标系坐标轴,由公式计算出初始位置处相机每个像素点对应的经纬度,其余位置的经度可直接加上旋转台旋转角度。
3.如权利要求1所述,利用条纹投影技术通过相位值建立相机像面与单个投影仪像面的映射关系,进而计算出该投影仪各像素点所对应的球面坐标系坐标,其特征在于由相机获取每个投影仪投影的条纹图像,由条纹分析技术计算出相机上像素点的精确相位,利用插值方法反向计算出投影仪上每个单元点在相机像面上所对应的亚像素点,从而计算出对应的球面坐标系坐标。
4.如权利要求1所述,快速几何校正方法其特征在于由软件统一控制转台旋转、相机拍摄、投影仪投影图像等操作,完全无需人工参与,实现高效快速几何校正。
5.如权利要求1所述,穹顶可视化场景其特征在于穹顶经度可达360°,穹顶的张角可超过180°。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610883107.4A CN106408542B (zh) | 2016-10-10 | 2016-10-10 | 一种穹顶可视化场景的快速几何校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610883107.4A CN106408542B (zh) | 2016-10-10 | 2016-10-10 | 一种穹顶可视化场景的快速几何校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106408542A true CN106408542A (zh) | 2017-02-15 |
CN106408542B CN106408542B (zh) | 2019-07-19 |
Family
ID=59229666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610883107.4A Active CN106408542B (zh) | 2016-10-10 | 2016-10-10 | 一种穹顶可视化场景的快速几何校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106408542B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107105209A (zh) * | 2017-05-22 | 2017-08-29 | 长春华懋科技有限公司 | 投影图像几何畸变自动校正系统及其校正方法 |
CN108280815A (zh) * | 2018-02-26 | 2018-07-13 | 安徽新闻出版职业技术学院 | 一种面向监控场景结构的几何校正方法 |
CN108413871A (zh) * | 2018-03-07 | 2018-08-17 | 中国工程物理研究院机械制造工艺研究所 | 一种基于相位分析的平面子镜拼接状态测量方法 |
CN109949230A (zh) * | 2017-12-20 | 2019-06-28 | 艾迪普(北京)文化科技股份有限公司 | 基于图像识别的广角摄像机畸变渲染方法 |
CN111914048A (zh) * | 2020-07-29 | 2020-11-10 | 北京天睿空间科技股份有限公司 | 经纬度坐标与图像坐标对应点自动生成方法 |
CN112233048A (zh) * | 2020-12-11 | 2021-01-15 | 成都成电光信科技股份有限公司 | 一种球形视频图像校正方法 |
CN112731314A (zh) * | 2020-12-21 | 2021-04-30 | 北京仿真中心 | 一种车载雷达与可见光复合探测仿真装置 |
CN113569647A (zh) * | 2021-06-29 | 2021-10-29 | 广州市赋安电子科技有限公司 | 一种基于ais的船舶高精度坐标映射方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571385A (zh) * | 2009-01-04 | 2009-11-04 | 四川川大智胜软件股份有限公司 | 基于通用云台计算机可控制经纬度测量设备及其精密化方法 |
CN103888741A (zh) * | 2014-02-25 | 2014-06-25 | 北京淳中视讯科技有限公司 | 投影图像的几何校正辅助方法、装置及系统 |
US20150302561A1 (en) * | 2014-04-21 | 2015-10-22 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
-
2016
- 2016-10-10 CN CN201610883107.4A patent/CN106408542B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571385A (zh) * | 2009-01-04 | 2009-11-04 | 四川川大智胜软件股份有限公司 | 基于通用云台计算机可控制经纬度测量设备及其精密化方法 |
CN103888741A (zh) * | 2014-02-25 | 2014-06-25 | 北京淳中视讯科技有限公司 | 投影图像的几何校正辅助方法、装置及系统 |
US20150302561A1 (en) * | 2014-04-21 | 2015-10-22 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
Non-Patent Citations (2)
Title |
---|
肖朝等: "基于条纹调制度的多投影显示融合方法", 《光学学报》 * |
肖朝等: "多投影显示系统结构光几何校正算法", 《计算机辅助设计与图形学学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107105209A (zh) * | 2017-05-22 | 2017-08-29 | 长春华懋科技有限公司 | 投影图像几何畸变自动校正系统及其校正方法 |
CN109949230A (zh) * | 2017-12-20 | 2019-06-28 | 艾迪普(北京)文化科技股份有限公司 | 基于图像识别的广角摄像机畸变渲染方法 |
CN108280815A (zh) * | 2018-02-26 | 2018-07-13 | 安徽新闻出版职业技术学院 | 一种面向监控场景结构的几何校正方法 |
CN108413871A (zh) * | 2018-03-07 | 2018-08-17 | 中国工程物理研究院机械制造工艺研究所 | 一种基于相位分析的平面子镜拼接状态测量方法 |
CN111914048A (zh) * | 2020-07-29 | 2020-11-10 | 北京天睿空间科技股份有限公司 | 经纬度坐标与图像坐标对应点自动生成方法 |
CN111914048B (zh) * | 2020-07-29 | 2024-01-05 | 北京天睿空间科技股份有限公司 | 经纬度坐标与图像坐标对应点自动生成方法 |
CN112233048A (zh) * | 2020-12-11 | 2021-01-15 | 成都成电光信科技股份有限公司 | 一种球形视频图像校正方法 |
CN112731314A (zh) * | 2020-12-21 | 2021-04-30 | 北京仿真中心 | 一种车载雷达与可见光复合探测仿真装置 |
CN112731314B (zh) * | 2020-12-21 | 2024-03-19 | 北京仿真中心 | 一种车载雷达与可见光复合探测仿真装置 |
CN113569647A (zh) * | 2021-06-29 | 2021-10-29 | 广州市赋安电子科技有限公司 | 一种基于ais的船舶高精度坐标映射方法 |
CN113569647B (zh) * | 2021-06-29 | 2024-02-20 | 广州赋安数字科技有限公司 | 一种基于ais的船舶高精度坐标映射方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106408542B (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106408542A (zh) | 一种穹顶可视化场景的快速几何校正方法 | |
US11386581B2 (en) | Multi view camera registration | |
CN101572787B (zh) | 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法 | |
JP6037375B2 (ja) | 画像投影装置および画像処理方法 | |
US10275898B1 (en) | Wedge-based light-field video capture | |
US8730130B1 (en) | System and method for automatically aligning immersive displays | |
WO2018120011A1 (zh) | 投影图像校正方法、校正装置及机器人 | |
CN101132535A (zh) | 基于转台的多投影大屏拼接方法 | |
CN107105209B (zh) | 投影图像几何畸变自动校正系统及其校正方法 | |
CN104869376B (zh) | 视频融合中多图像多像素级别几何校正方法 | |
Yang et al. | A calibration method for binocular stereo vision sensor with short-baseline based on 3D flexible control field | |
KR20180117717A (ko) | 수동 및 반자동 기법을 사용하여 디스플레이 시스템을 교정하는 시스템 및 방법 | |
CN105308503A (zh) | 利用短程相机校准显示系统的系统和方法 | |
CN111896221A (zh) | 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法 | |
CN112738491B (zh) | 一种投影反射画面的校正方法 | |
JP2006337682A (ja) | 映像投影システム | |
JP2008276102A (ja) | 映像投影システム | |
CN110460806A (zh) | 一种带云台的网络摄像机实现3d定位与隐私遮挡的算法 | |
US20150229916A1 (en) | Method for automatically correcting a video projection with the aid of inverse telecine | |
CN114459383A (zh) | 一种基于正弦条纹相移轮廓术的标定方法及实施装置 | |
CN104778658A (zh) | 一种多投影机投影图像全自动几何拼接校正方法 | |
JP2004140845A (ja) | プロジェクタ装置 | |
CN109584308B (zh) | 一种基于空间实景地图的位置标定方法 | |
WO2022183721A1 (zh) | 投影校正方法、装置及投影系统 | |
CN108696730A (zh) | 一种多投影3d光场图像自动校准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |