CN107770505B - 投影机的影像校正方法及影像校正系统 - Google Patents
投影机的影像校正方法及影像校正系统 Download PDFInfo
- Publication number
- CN107770505B CN107770505B CN201610705593.0A CN201610705593A CN107770505B CN 107770505 B CN107770505 B CN 107770505B CN 201610705593 A CN201610705593 A CN 201610705593A CN 107770505 B CN107770505 B CN 107770505B
- Authority
- CN
- China
- Prior art keywords
- image
- parameter
- projector
- distortion
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000003702 image correction Methods 0.000 title abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 98
- 238000012937 correction Methods 0.000 claims abstract description 50
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 230000003447 ipsilateral effect Effects 0.000 claims 2
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 238000011112 process operation Methods 0.000 claims 1
- 239000007787 solid Substances 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012804 iterative process Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000003703 image analysis method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 240000000136 Scabiosa atropurpurea Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000016 photochemical curing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
Landscapes
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种投影机的影像校正方法及影像校正系统。影像获取设备来拍摄实体校正板而获得第一影像，并且拍摄由投影机将校正板图像输出至投影幕的输出影像而获得第二影像。处理器分析第一影像以获得影像获取设备的第一校正参数以及第一单应性矩阵，并基于第一校正参数，对第二影像执行反扭曲运算，而获得第三影像。处理器分析第三影像以获得投影机的第二校正参数以及第二单应性矩阵。基于第二校正参数、第二单应性矩阵以及该第一单应性矩阵，处理器对欲经由投影机输出的原始影像进行补偿运算而获得补偿后影像。因此，可提高投影精确度。
Description
技术领域
本发明是有关于一种影像处理方法及其系统，且特别是有关于一种投影机的影像校正方法及影像校正系统。
背景技术
一般投影机内部具有发光光源，经过光学镜组后，可将影像投射到实体平面上，做为观看使用。投影机在结构光(structure light)形式的三维(three dimension，3D)扫描仪中，以及光固化(photocuring)形式的3D打印机中，亦同样扮演着关键组件角色。然而，投影机所输出的投影画面，会因其内部的光学镜组设计而导致投影画面产生变形。
投影机的变形主要有两个因素，其中一个因素为，光经过折射至成像表面，容易产生畸变变形；另一个因素为，光轴与成像平面不垂直所导致，或者装配光学镜组所产生的歪斜偏移，而导致梯形变形(Keystone)。以畸变变形来说，例如原本传送给投影机的影像为正方形，在理想的投影条件下可以输出正方形的外观，然而大部分投影机因为光学镜组的搭配往往会产生畸变变形(distortion)，其常见的形式为桶状变形(Barrel Distortion)与针状变形(Pincushion Distortion)，这类型的变形则需通过非线性的方程式来描述。另外，梯形变形可以单纯使用线性变形方式来表示。
发明内容
本发明提供一种投影机的影像校正方法及影像校正系统，可同步修正投影机的线性的梯形变形及非线性的镜头变形。
本发明的投影机的影像校正方法，包括：通过影像获取设备来拍摄实体校正板而获得第一影像，其中实体校正板设置在投影机的投影幕的位置；利用处理器分析第一影像以获得影像获取设备的第一校正参数以及第一单应性矩阵；通过影像获取设备来拍摄通过投影机将校正板图像输出至投影幕的输出影像，而获得第二影像；基于第一校正参数，利用处理器对第二影像执行反扭曲运算，而获得第三影像；利用处理器分析第三影像以获得投影机的第二校正参数以及第二单应性矩阵；以及基于第二校正参数、第二单应性矩阵以及该第一单应性矩阵，通过处理器对欲经由投影机输出的原始影像进行补偿运算而获得补偿后影像，以将补偿后影像通过投影机输出至投影幕。
在本发明的一实施例中，上述第一校正参数包括第一内部参数以及第一畸变参数。利用处理器来分析第一影像以获得影像获取设备的第一校正参数以及第一单应性矩阵的步骤包括：基于第一影像的分辨率来设定第一内部参数；基于第一内部参数来计算第一畸变参数；基于第一畸变参数执行反扭曲运算，而获得第一反扭曲影像；以及依据第一反扭曲影像与实体校正板对应的坐标矩阵，计算第一单应性矩阵。
在本发明的一实施例中，上述第二校正参数包括第二内部参数以及第二畸变参数。通过处理器分析第三影像以获得投影机的第二校正参数以及第二单应性矩阵的步骤包括：基于第三影像的分辨率来设定第二内部参数；基于第二内部参数来计算第二畸变参数；基于第二畸变参数执行反扭曲运算，而获得第二反扭曲影像；以及依据第二反扭曲影像与校正板图像对应的坐标矩阵，计算第二单应性矩阵。
在本发明的一实施例中，上述基于第二校正参数、第二单应性矩阵以及第一单应性矩阵，通过处理器对欲经由投影机输出的原始影像进行补偿运算而获得补偿后影像的步骤包括：利用第二单应性矩阵，对原始影像进行反向单应性变换运算，而获得第一修正影像；利用第二校正参数，对第一修正影像执行反扭曲运算，而获得第二修正影像；利用第二单应性矩阵，对第二修正影像执行单应性变换运算，而获得第三修正影像；以及利用第一单应性矩阵，对第三修正影像执行单应性变换运算，而获得补偿后影像。
在本发明的一实施例中，影像获取设备与投影机位于投影幕的同一侧，或者影像获取设备与投影机位于投影幕的不同侧。
本发明的影像校正系统，包括：投影机；影像获取设备，拍摄设置于投影机的投影幕的位置的实体校正板而获得第一影像，并且拍摄由投影机将校正板图像输出至投影幕的输出影像而获得第二影像；以及处理器，连接至影像获取设备与投影机。处理器分析第一影像以获得影像获取设备的第一校正参数以及第一单应性矩阵；处理器基于第一校正参数，利用处理器对第二影像执行反扭曲运算，而获得第三影像；处理器分析第三影像以获得投影机的第二校正参数以及第二单应性矩阵；基于第二校正参数、第二单应性矩阵以及第一单应性矩阵，处理器对欲经由投影机输出的原始影像进行补偿运算而获得补偿后影像，以将补偿后影像通过投影机输出至投影幕。
基于上述，通过额外设置的影像获取设备来拍摄实体校正板及投影幕上的输出影像而获得两张影像，进而计算出投影机中的线性变形模式与非线性变形模式，藉此来对预计投影的原始影像进行补偿运算。据此，补偿后影像中已加入了反变形的因素，在经由投影机输出之后，便能够获得与原始影像具有相同比例的画面，解决了投影机输出画面的变形问题，并达成精确定位的功效。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例的影像校正系统的方块图。
图2A及图2B是依照本发明一实施例的影像校正系统的配置方式的示意图。
图3是依照本发明的一种投影机的影像校正方法的流程图。
图4是依照本发明的影像分析方法的流程图。
附图标记说明：
100：影像校正系统
110：影像获取设备
120：投影机
130：处理器
P：投影幕
S305～S330：投影机的影像校正方法各步骤
S405～S450：影像分析方法各步骤
具体实施方式
图1是依照本发明一实施例的影像校正系统的方块图。请参照图1，影像校正系统100包括影像获取设备110、投影机120以及处理器130。在此，处理器130通过有线连接或是无线连接的方式，分别连接至影像获取设备110及投影机120。即，影像获取设备110与投影机120利用有线传输或是无线传输的方式与处理器130进行沟通，使得处理器130得以自影像获取设备110接收数据，并且传送数据至投影机120。
影像获取设备110例如是采用电荷耦合组件(Charge coupled device，CCD)镜头、互补式金氧半晶体管(Complementary metal oxide semiconductor transistors，CMOS)镜头的摄影机、照相机等。
投影机120例如是阴极射线管(cathode ray tube，CRT)投影机、液晶(liquid-crystal display，LCD)投影机、数字光处理(Digital Light Processing，DLP)投影机、硅基液晶(liquid crystal on silicon，LCoS)投影机、发光二极管(light-emitting diode，LED)投影机等视频投影机(video projector)，但本发明不限于此，可以在不同分辨率与不同亮度对比等考虑下，采用适合规格的装置。
处理器130例如为中央处理单元(Central Processing Unit，CPU)、图像处理单元(Graphic Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、可程序化的微处理器(Microprocessor)、嵌入式控制芯片、数字信号处理器(Digital SignalProcessor，DSP)、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)或其他类似装置。
在影像校正系统100中，利用影像获取设备110来拍摄两张影像。其中一张影像为设置在投影幕(projection screen)位置的实体校正板，另一张影像为校正板图像通过投影机120而输出至投影幕的输出影像。处理器130通过上述两张影像，可计算出投影机120中的线性变形模式与非线性变形模式，进一步再基于线性变形模式与非线性变形模式，反向修正预计投影的原始影像，使得投影后的画面可以保持与原来预计投影的画面具有相同比例。在此，实体校正板与校正板图像的图样例如为规则的棋盘格图样，然，并不以此为限。
在本实施例中，处理器130例如为设置于另一独立的电子装置中。而影像获取设备110与投影机120位于投影幕的同一侧，或者影像获取设备110与投影机120位于投影幕的不同侧。
举例来说，图2A及图2B是依照本发明一实施例的影像校正系统的配置方式的示意图。图2A所示为影像获取设备110与投影机120位于投影幕P的不同侧。图2B所示为影像获取设备110与投影机120位于投影幕P的同一侧。
另外，在其他实施例中，处理器130可以内建于投影机120中；或者，处理器130可设置于影像获取设备110中。而在其他实施例中，也可将影像获取设备110、处理器130以及投影机120整合至同一装置。例如是具有照相、摄影以及投影功能的个人计算机、笔记本电脑、智能型手机以及平板计算机，本发明不以此为限。
底下即配合上述影像校正系统100来说明投影机的影像校正方法各步骤。图3是依照本发明的一种投影机的影像校正方法的流程图。请同时参照图1～图3，在步骤S305中，通过影像获取设备110来拍摄实体校正板而获得第一影像。在此，实体校正板设置在投影机120的投影幕P的位置。例如，在投影幕P供影像获取设备110进行拍摄的一侧，摆设一张校正用的校正薄板(实体校正板)，以供影像获取设备110进行拍摄。在拍摄获得第一影像之后，影像获取设备110传送第一影像至处理器130来进行后续的影像分析处理，即，执行步骤S310。
在步骤S310中，处理器130分析第一影像以获得影像获取设备110的第一校正参数以及第一单应性(homography)矩阵。例如，第一校正参数包括第一内部参数以及第一畸变参数。在自第一影像获得第一内部参数以及第一畸变参数之后，基于第一畸变参数执行反扭曲运算，而获得第一反扭曲影像。并且，处理器130依据第一反扭曲影像与实体校正板对应的坐标矩阵，计算第一单应性矩阵，单应性矩阵包含了影像的旋转、平移、缩放、仿射与透视投影的矩阵组合。第一单应性矩阵经过矩阵分解后可用来修正第一影像的梯形变形(Keystone)。
梯形变形在相机或投影机是常见的变形。梯形变形在不严重的情况下可以使用线性内插来修正，但由于线性内插无法处理到深度所产生的位置偏差修正，因此，在本实施例中以透视投影(perspective projection)来进行修正，即，单应性校正。
畸变参数(第一畸变参数、后述的第二畸变参数)通常是由多项式表示，用于描述镜头所导致的桶状(barrel)或针状(pincushion)变形。也就是说，处理器130在利用畸变参数将待测影像进行反扭曲运算后，所产生的反扭曲影像可将影像修正回近似针孔投影的数学模型。
并且，在步骤S315中，通过影像获取设备110来拍摄通过投影机120将校正板图像输出至投影幕P的输出影像，而获得第二影像。在此，设置一个可成像的半透明材质(例如很薄的纸)来作为投影幕P。在拍摄获得第二影像之后，影像获取设备110传送第二影像至处理器130来进行后续的分析。
之后，在步骤S320中，基于第一校正参数，处理器130对第二影像执行反扭曲运算，而获得第三影像。即，将影像获取设备110所造成的畸变变形的因素自第二影像中消除，而获得第三影像。之后，处理器130对第三影像执行后续的影像分析处理，即，执行步骤S325。
在步骤S325中，处理器130分析第三影像以获得投影机120的第二校正参数以及第二单应性矩阵。例如，第二校正参数包括第二内部参数以及第二畸变参数。处理器130基于第三影像的分辨率来设定第二内部参数，之后基于第二内部参数来计算第二畸变参数，然后，基于第二畸变参数执行反扭曲运算，而获得第二反扭曲影像，再依据第二反扭曲影像与校正板图像对应的坐标矩阵，计算第二单应性矩阵。
之后，在步骤S330中，基于第二校正参数、第二单应性矩阵以及第一单应性矩阵，处理器130对欲经由投影机120输出的原始影像进行补偿运算而获得补偿后影像，以将补偿后影像通过投影机120输出至投影幕P。
关于步骤S310与步骤S325的影像分析处理的步骤，底下再举例来进行说明。图4是依照本发明的影像分析方法的流程图。在本实施例中，将处理器130欲进行分析的影像(第一影像或第三影像)称为待测影像。利用处理器130计算出待测影像的内部参数K、畸变参数k以及单应性矩阵。
首先，在步骤S405中，处理器130接收待测影像。在此，待测影像可以是上述第一影像或第三影像。接着，在步骤S410中，处理器130基于待测影像的分辨率来获得内部参数K。在本实施例中，内部参数K为假想的内部参数，其用于修正变形时而做为映射单位面积的运算，并非实际上影像获取设备110的真正内部参数。例如，处理器130基于下述方程式(1)先获得内部参数K。在方程式(1)中，w、h分别代表待测影像的宽与高。即，w、h为影像获取设备110所拍摄的影像的分辨率。
方程式(1):
之后，在步骤S415中，处理器130使用特征侦测方法，找出待测影像中的多个特征点Xp。就棋盘格图样而言，棋盘格内的黑白相间的角点即是所谓的特征点。
然后，在步骤S420中，依据内部参数K，将特征点Xp的坐标系以及未变形的参考点的坐标系转换为单位坐标下的变形坐标Xd与未变形坐标Xs。如下述方程式(2)所示，将每一个特征点Xp乘上K-1后，让每一个特征点Xp映射至一个指定的范围内(例如为-1～+1的范围)，而获得变形状态下通过正规化后的变形坐标Xd。
方程式(2):
另外，假设待测影像的棋盘格图样具有8×13的特征点，则基于原始棋盘格图样来设定一个未变形的参考图样(具有8×13的参考点)，而未变形坐标Xs即代表参考图样中的未变形的特征点，且也是正规化后的坐标(数值范围在-1～+1)。
接着，在步骤S425中，依据变形坐标Xd与未变形坐标Xs来决定畸变参数k。在取得单位坐标下的变形坐标Xd与未变形坐标Xs的对应关系后，这两组坐标必须满足方程式(3)。
方程式(3):
在方程式(3)中，r2＝xs 2+ys 2，Xs＝[xs,ys]为线性的未变形坐标。
处理器130利用方程式(3)判断待测影像的畸变参数k。一般可采用高次方的多项式来描述畸变参数k。例如，在本实施例中畸变参数k包含5个系数，k＝[k0,k1,k2,k3,k4]。然，在其他实施例中可依照需求来变更畸变参数k所包括的系数个数。为了解出畸变参数k，将方程式(3)改写为下述方程式(4)。在收集至少四个对应点后，再由最小平方法解出，或者以奇异值分解(Singular Value Decomposition，SVD)来计算出畸变参数k。
方程式(4):
若要将单位化下的变形坐标Xd转换成真实使用的特征点Xp，则需乘上内部参数K，例如方程式(5)，即可获得。同样地，线性的未变形坐标Xs，也可以通过内部参数K，转换成真实坐标系(单位为像素)。在处理畸变变形的模式，于本实施例中倾向于在单位化下的坐标系下运算，以便满足接近对称且接近单位圆的状态下进行变形的近似运算。真实坐标与单位化坐标，可以通过内部参数，或其反矩阵的运算达到。
方程式(5):
求出畸变参数k之后，在步骤S430中，由未变形坐标Xs来决定估算值Xv。例如，将未变形坐标Xs代入至上述方程式(3)所获得的Xd视为是估算值Xv。这是因为，变形坐标Xd是能够测量到的，例如棋盘格图样中的各角点乘上K-1；而估算值Xv并非是真正测量到的值，因此将未变形坐标Xs代入至上述方程式(3)所获得的结果另外定义为估算值Xv。
之后，在步骤S435中，评估估算值Xv与变形坐标Xd之间的差异，并且计算两者之间的转换矩阵HT。而在步骤S440中，判断是否要终止迭代过程。若否，则执行步骤S445；若是，则执行步骤S450。例如，倘若估算值Xv与变形坐标Xd之间的差异高于设定数值，则继续执行迭代过程。即，在步骤S445中，利用估算值Xv与变形坐标Xd之间的转换矩阵HT，来更新变形坐标Xd、未变形坐标Xs以及内部参数K，如下所示。例如，Xs＝HT*Xs；Xd＝HT -1*Xd；K＝HT*K。在此，上述转换矩阵HT也是一种单应性矩阵。
在更新变形坐标Xd、未变形坐标Xs以及内部参数K之后，重新执行步骤S425，利用方程式(4)来求出畸变参数k，之后再评估估算值Xv与变形坐标Xd之间的差异，以此类推重复进行迭代。而在经过迭代后的估算值Xv与变形坐标Xd之间的误差低于限定数值，或者迭代次数高于某个数量，即可终止迭代过程，而获得最后的内部参数K与畸变参数k。
在确定终止迭代过程之后，在步骤S450中，依据内部参数K将未变形坐标Xs转换至影像获取设备110的坐标空间，藉以来获得单应性矩阵(第一单应性矩阵Hc、第二单应性矩阵Hp)。即，计算影像获取设备110的坐标空间与实体校正板的第一单应性矩阵Hc，或影像获取设备110的坐标空间与输入至投影机120的校正板图像的坐标空间的第二单应性矩阵Hp。
例如，将未变形坐标Xs乘上内部参数K而转换至影像获取设备110的坐标空间，使用KXs与校正板的坐标来计算梯形变形而获得单应性矩阵(第一单应性矩阵Hc或第二单应性矩阵Hp)。在此，KXs为理想中的反扭曲影像的特征点。倘若内部参数K计算够准确，则KXs会与实际上的反扭曲影像的特征点非常接近。
底下举例来说明梯形变形的数学模式。例如，针对大于或等于四点的单应性校正的表达式可表示如底下方程式(A)所示。
方程式(A):
X′i＝HXi
单应性矩阵H(第一单应性矩阵Hc、第二单应性矩阵Hp)例如为3×3的矩阵。在此，单应性矩阵用于描述影像获取设备110所拍摄到的平面坐标(已经过反扭曲运算后的第一反扭曲影像)，或者可视为投影机120投影后的平面坐标(已经过反扭曲处理的第二反扭曲影像)。为了要解出单应性矩阵H，假设由影像获取设备110的坐标空间的特征点映射至已知的坐标空间后(HXi)，与已知的坐标空间上的特征点Xi'的外积为零向量，如方程式(B)所示。并且，已知的坐标空间的特征点Xi'的齐次坐标(homogeneous coordinate)值如方程式(C)所示。
方程式(B):
X′i×HXi＝0
方程式(C):
X′i＝[x′i,y′i,w′i]T
并且，将单应性矩阵H的行向量分别表示如h1T、h2T、h3T，如方程式(D)。
方程式(D):
而方程式(B)可以改写并简化为方程式(E)，最后以奇异值分解(SVD)来解出单应性矩阵H。
方程式(E):
当单应性矩阵H计算出来后相当于一个回归矩阵。因此根据单应性矩阵，于影像获取设备110所拍摄的坐标系上的任意一点Xi乘以单应性矩阵H即可计算出已知的坐标系之坐标值Xi'。
在获得第一影像之后，处理器130利用上述步骤S405～S450，由第一影像来获得第一内部参数Kc、第一畸变参数kc以及第一单应性矩阵Hc。之后，在获得第二影像之后，处理器130以第一内部参数Kc、第一畸变参数kc对第二影像执行反扭曲运算，藉以消除第二影像中由影像获取设备110所造成的畸变变形，进而获得第三影像。然后，处理器130再次利用上述步骤S405～S450，由第三影像来获得第二内部参数Kp、第二畸变参数kp以及第二单应性矩阵Hp。
而在获得各项参数之后，处理器130便能够通过这些参数对欲经由投影机120输出的原始影像进行补偿运算而获得补偿后影像。在此，假设欲经由投影机120输出的原始影像为I。
首先，利用第二单应性矩阵Hp，对原始影像I进行反向单应性变换运算，而获得第一修正影像Hp -1I。之后，利用第二校正参数(第二内部参数Kp、第二畸变参数kp)，对第一修正影像Hp -1I执行反扭曲运算，而获得第二修正影像undist(Hp -1I)；接着，利用第二单应性矩阵Hp，对第二修正影像undist(Hp -1I)执行单应性变换运算，而获得第三修正影像I'。即，I'＝Hp(undist(Hp -1I))。
而根据上述动作即可完成对原始影像I的畸形变形补偿。最后若要同时修正梯形变形，则利用第一单应性矩阵Hc即可修正梯形变形。即，利用第一单应性矩阵Hc，对第三修正影像I′执行单应性变换运算，而获得第四修正影像I″，以第四修正影像来作为补偿后影像。进一步地说，可将第一单应性矩阵Hc分解为投影(projection)变换矩阵、仿射(affine)变换矩阵和相似(similarity)变换矩阵Hs。即，Hc＝Hs·Hap。其中，Hap包含了仿射、投影以及位移的运算组合，也就是说Hap可以消除第三修正影像I′的投影效应，亦即可以根据自己的形状中心位置产生投影变形，而利用相似变换矩阵Hs修正了第三修正影像I′与实体校正板之间的差别。因此，复合修正梯形变形与扭曲变形之运算，则补偿后的第四修正影像为I″＝Hp(Hap -1undist(Hp -1I))。亦或者可以由第三影像转换得知，如I″＝HpHap -1Hp -1I′。
例如，以正圆形而言，在通过补偿运算后，补偿后影像则是已被变形后的影像，而在通过投影机120输出补偿后影像时，所输出的图形可以保持在正圆形的投影状态。
综上所述，在上述实施例中，于投影机的投影幕拍摄两张影像，其中一张为拍摄实体校正板而获得，另一张为拍摄投影机所投射出的校正板图像而获得。通过两张影像，来计算出投影机中的线性变形模式与非线性变形模式，进一步再基于线性变形模式与非线性变形模式，反向修正预计投影的原始影像，使得投影后的画面可以保持与原来预计投影的画面具有相同比例。该技术可大幅简化硬件所需的设计。
而投影机除了可以使用于一般显示用途外，亦可用于3D扫描仪与3D打印机，经过修正后的投影机可以大幅提高其在精密3D扫描与精密3D打印的应用。由于现阶段诸多投影机应用于3D打印机与3D扫描仪，并且追求投影的精确度，利用上述实施例可以有效解决因投影机于生产制造组装过程中所产生的线性与非线性变形，进而提高投影的精确度，可提供现阶段全球应用投影机所产生的大部分3D应用关键技术。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种投影机的影像校正方法，其特征在于，包括：
通过影像获取设备来拍摄实体校正板而获得第一影像，其中该实体校正板设置在投影机的投影幕的位置；
利用处理器分析该第一影像以获得该影像获取设备的第一校正参数以及第一单应性矩阵；
通过该影像获取设备来拍摄通过该投影机将校正板图像输出至该投影幕的输出影像，而获得第二影像；
基于该第一校正参数，利用该处理器对该第二影像执行反扭曲运算，而获得第三影像；
利用该处理器分析该第三影像以获得该投影机的第二校正参数以及第二单应性矩阵；以及
基于该第二校正参数、该第二单应性矩阵以及该第一单应性矩阵，通过该处理器对欲经由该投影机输出的原始影像进行补偿运算而获得补偿后影像，以将该补偿后影像通过该投影机输出至该投影幕，
其中该第一校正参数包括第一内部参数以及第一畸变参数，该第二校正参数包括第二内部参数以及第二畸变参数，分别以该第一影像与该第三影像作为待测影像，计算该待测影像的内部参数K与畸变参数k，该内部参数K为该第一内部参数或该第二内部参数，该畸变参数k为该第一畸变参数或该第二畸变参数，
其中计算该待测影像的该内部参数K与该畸变参数k的步骤包括：
基于该待测影像的宽w与高h，获得该内部参数K；
找出该待测影像中的多个特征点Xp；
将每一个特征点Xp乘上K-1而获得变形坐标Xd；
设定未变形的参考图样，其中未变形坐标Xs代表该参考图样中的未变形的特征点；以及
依据该变形坐标Xd与该未变形坐标Xs来决定该畸变参数k；
其中基于该第一校正参数，利用该处理器对该第二影像执行该反扭曲运算的步骤包括：
以该第一内部参数与该第一畸变参数对该第二影像执行该反扭曲运算，藉以消除该第二影像中由该影像获取设备所造成的畸变变形，进而获得该第三影像。
2.根据权利要求1所述的投影机的影像校正方法，其特征在于，利用该处理器来分析该第一影像以获得该影像获取设备的该第一校正参数以及该第一单应性矩阵的步骤包括：
基于该第一影像的分辨率来设定该第一内部参数；
基于该第一内部参数来计算该第一畸变参数；
基于该第一畸变参数执行该反扭曲运算，而获得第一反扭曲影像；以及
依据该第一反扭曲影像与该实体校正板对应的坐标矩阵，计算该第一单应性矩阵。
3.根据权利要求1所述的投影机的影像校正方法，其特征在于，通过该处理器分析该第三影像以获得该投影机的该第二校正参数以及该第二单应性矩阵的步骤包括：
基于该第三影像的分辨率来设定该第二内部参数；
基于该第二内部参数来计算该第二畸变参数；
基于该第二畸变参数执行该反扭曲运算，而获得第二反扭曲影像；以及
依据该第二反扭曲影像与该校正板图像对应的坐标矩阵，计算该第二单应性矩阵。
4.根据权利要求1所述的投影机的影像校正方法，其特征在于，基于该第二校正参数、该第二单应性矩阵以及该第一单应性矩阵，通过该处理器对欲经由该投影机输出的该原始影像进行该补偿运算而获得该补偿后影像的步骤包括：
利用该第二单应性矩阵，对该原始影像进行反向单应性变换运算，而获得第一修正影像；
利用该第二校正参数，对该第一修正影像执行该反扭曲运算，而获得第二修正影像；
利用该第二单应性矩阵，对该第二修正影像执行单应性变换运算，而获得第三修正影像；以及
利用该第一单应性矩阵，对该第三修正影像执行该单应性变换运算，而获得第四修正影像，即该补偿后影像。
5.根据权利要求1所述的投影机的影像校正方法，其特征在于，该影像获取设备与该投影机位于该投影幕的同一侧，或者该影像获取设备与该投影机位于该投影幕的不同侧。
6.一种影像校正系统，其特征在于，包括：
投影机；
影像获取设备，拍摄设置于该投影机的投影幕的位置的实体校正板而获得第一影像，并且拍摄由该投影机将校正板图像输出至投影幕的输出影像而获得第二影像；以及
处理器，连接至该影像获取设备与该投影机；
其中，该处理器分析该第一影像以获得该影像获取设备的第一校正参数以及第一单应性矩阵；该处理器基于该第一校正参数，利用该处理器对该第二影像执行反扭曲运算，而获得第三影像；该处理器分析该第三影像以获得该投影机的第二校正参数以及第二单应性矩阵；基于该第二校正参数、该第二单应性矩阵以及该第一单应性矩阵，该处理器对欲经由该投影机输出的原始影像进行补偿运算而获得补偿后影像，以将该补偿后影像通过该投影机输出至该投影幕，
其中该第一校正参数包括第一内部参数以及第一畸变参数，该第二校正参数包括第二内部参数以及第二畸变参数，
该处理器分别以该第一影像与该第三影像作为待测影像，计算该待测影像的内部参数K与畸变参数k，该内部参数K为该第一内部参数或该第二内部参数，该畸变参数k为该第一畸变参数或该第二畸变参数，
其中计算该待测影像的该内部参数K与该畸变参数k的步骤包括：
基于该待测影像的宽w与高h，获得该内部参数K；
找出该待测影像中的多个特征点Xp；
将每一个特征点Xp乘上K-1而获得变形坐标Xd；
设定未变形的参考图样，其中未变形坐标Xs代表该参考图样中的未变形的特征点；以及
依据该变形坐标Xd与该未变形坐标Xs来决定该畸变参数k；
其中该处理器以该第一内部参数与该第一畸变参数对该第二影像执行该反扭曲运算，藉以消除该第二影像中由该影像获取设备所造成的畸变变形，进而获得该第三影像。
7.根据权利要求6所述的影像校正系统，其特征在于，
该处理器基于该第一影像的分辨率来设定该第一内部参数，基于该第一内部参数来计算该第一畸变参数，基于该第一畸变参数执行该反扭曲运算，而获得第一反扭曲影像，并且依据该第一反扭曲影像与该实体校正板对应的坐标矩阵，计算该第一单应性矩阵。
8.根据权利要求6所述的影像校正系统，其特征在于，该处理器基于该第三影像的分辨率来设定该第二内部参数，基于该第二内部参数来计算该第二畸变参数，基于该第二畸变参数执行该反扭曲运算，而获得第二反扭曲影像，并且依据该第二反扭曲影像与该校正板图像对应的坐标矩阵，计算该第二单应性矩阵。
9.根据权利要求6所述的影像校正系统，其特征在于，该处理器用该第二单应性矩阵，对该原始影像进行反向单应性变换运算，而获得第一修正影像；利用该第二校正参数，对该第一修正影像执行该反扭曲运算，而获得第二修正影像；利用该第二单应性矩阵，对该第二修正影像执行单应性变换运算，而获得第三修正影像；以及利用该第一单应性矩阵，对该第三修正影像执行该单应性变换运算，而获得第四修正影像，即该补偿后影像。
10.根据权利要求6所述的影像校正系统，其特征在于，该影像获取设备与该投影机位于该投影幕的同一侧，或者该影像获取设备与该投影机位于该投影幕的不同侧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610705593.0A CN107770505B (zh) | 2016-08-23 | 2016-08-23 | 投影机的影像校正方法及影像校正系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610705593.0A CN107770505B (zh) | 2016-08-23 | 2016-08-23 | 投影机的影像校正方法及影像校正系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107770505A CN107770505A (zh) | 2018-03-06 |
| CN107770505B true CN107770505B (zh) | 2019-07-02 |
Family
ID=61264148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610705593.0A Active CN107770505B (zh) | 2016-08-23 | 2016-08-23 | 投影机的影像校正方法及影像校正系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107770505B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110784692B (zh) * | 2018-07-31 | 2022-07-05 | 中强光电股份有限公司 | 投影装置、投影系统及影像校正方法 |
| CN111131801B (zh) * | 2018-11-01 | 2023-04-28 | 华勤技术股份有限公司 | 投影仪校正系统、方法及投影仪 |
| CN110121063A (zh) * | 2019-05-22 | 2019-08-13 | 上海大恒光学精密机械有限公司 | 自适应不平整幕布矫正的投影仪及其自适应方法 |
| CN110310243B (zh) * | 2019-06-28 | 2023-04-25 | 广东工业大学 | 一种无人机摄影测量的图像校正方法、系统和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7717569B2 (en) * | 2006-04-13 | 2010-05-18 | Nokia Corporation | Projector screen with one or more markers |
-
2016
- 2016-08-23 CN CN201610705593.0A patent/CN107770505B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| "Smarter Presentations:Exploiting Homography in Camera-Projector Systems";Rahul sukthankar et al;《Porc. of the Eight IEEE Int.Conf. on Computer Vision》;20010714;第247-253页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107770505A (zh) | 2018-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI592020B (zh) | 投影機的影像校正方法及影像校正系統 | |
| TWI719493B (zh) | 投影系統、投影裝置以及其顯示影像的校正方法 | |
| CN107770505B (zh) | 投影机的影像校正方法及影像校正系统 | |
| TWI439788B (zh) | 投影校正系統及方法 | |
| CN110996081B (zh) | 一种投影画面校正方法、装置、电子设备及可读存储介质 | |
| WO2021082264A1 (zh) | 一种基于双目视觉的投影图像自动校正方法及系统 | |
| US20150063685A1 (en) | Image distortion correction method and image distortion correction device using the same | |
| JP2014131257A (ja) | 画像補正システム、画像補正方法及びプログラム | |
| CN104240236A (zh) | 一种鱼眼镜头标定后鱼眼图像校正的方法 | |
| CN106485758B (zh) | 一种无人机摄像头标定装置、标定方法及流水线标定实现方法 | |
| CN104729422A (zh) | 用于校正激光测量装置的方法及其系统 | |
| TWI761684B (zh) | 影像裝置的校正方法及其相關影像裝置和運算裝置 | |
| CN104809739A (zh) | 一种超广角镜头相机视频实时校正的方法 | |
| TWI516119B (zh) | 電子裝置、影像擷取裝置及其方法 | |
| TWI517094B (zh) | 影像校正方法及影像校正電路 | |
| CN110443856A (zh) | 一种3d结构光模组标定方法、存储介质、电子设备 | |
| TWI703869B (zh) | 投影裝置、投影系統及影像校正方法 | |
| CN102938842B (zh) | 影像校正装置、影像校正方法及相关装置和产品 | |
| TWI705292B (zh) | 判斷相機模組之組裝品質的方法 | |
| Bhasker et al. | Geometric modeling and calibration of planar multi-projector displays using rational bezier patches | |
| CN103837094B (zh) | 一种降低摄像机多路径效应影响的相位融合方法 | |
| CN110677555A (zh) | 校正电子相机的图像的像素值中的渐晕效应的数字电路 | |
| TWI497448B (zh) | 影像強化方法及其系統 | |
| CN103929584B (zh) | 图像校正方法及图像校正电路 | |
| KR101161395B1 (ko) | 영상 간 편이량을 결정하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |