CN104361580B - 基于平面幕布的投影图像实时校正方法 - Google Patents
基于平面幕布的投影图像实时校正方法 Download PDFInfo
- Publication number
- CN104361580B CN104361580B CN201410566509.2A CN201410566509A CN104361580B CN 104361580 B CN104361580 B CN 104361580B CN 201410566509 A CN201410566509 A CN 201410566509A CN 104361580 B CN104361580 B CN 104361580B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- time correction
- real
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于平面幕布的投影图像实时校正方法,包括以下步骤:S1:在平面幕布上投影原始图像;S2:利用单目摄像机捕捉投影图像;S3:对单目摄像机捕捉投影图像进行三维重建:S4:判断图像是否发生形变;S5:图像显示:如果图像没有发生形变,就不需要对图像进行处理,直接显示原始图像;若图像发生了形变,则经过图像校正环节处理后得到校正后的原始图像再经投影仪投影到幕布上,图像则显示正常;基于实时校正,如果没有终止校正图像程序,则重复上述步骤,以达到对图像的实时校正。本发明实现了接收摄像机捕捉图像信息,分析图像信息以及对图像进行处理并显示。
Description
技术领域
本发明涉及一种基于平面幕布的投影图像实时校正方法。
背景技术
现在,投影技术在教育、培训、娱乐、仿真等领域应用越来越热门,在投影仪使用的过程中,投影仪位置固定后不能再移动,以保证投影图像的正确性。但是,在移动的交通工具中,例如飞机、轮船、大巴车中很难保证投影仪位置不发生变动,当投影仪的位置或投影角度发生了变化,就需要人为的去调整投影仪,以满足用户观看习惯的需要,这将是一件很繁琐的工作。
平面投影的实时校正需要一个摄像机作为辅助工具,摄像机的主要工作是获取当前屏幕的投影信息,即投影图片的变形度等。由于摄像头本身的镜头畸变、位置和角度会对所拍摄的图像产生一定的影响,因此我们所面临的问题就是:利用一个摄像机所拍摄的图像尽可能的恢复其三维真实信息,以获取投影屏幕上的实际投影的图像;以及在得到投影屏幕上的实际投影图像后,如何计算此图像相对于原图像的变形信息。
发明内容
为了解决现有技术存在的不足,本发明公开了一种基于平面幕布的投影图像实时校正方法,通过视觉反馈,对显示在投影平面幕布的图像作实时校正。
本发明采用以下具体方案:
一种基于平面幕布的投影图像实时校正方法,包括以下步骤:
S1:在平面幕布上投影原始图像;
S2:利用单目摄像机捕捉投影图像;
S3:对单目摄像机捕捉投影图像进行三维重建:
根据摄像机成像原理并利用摄像机内部参数矩阵即摄像机相对于图像的外部参数,其中包括旋转向量及平移向量,还原图像信息,得到屏幕上实际显示的图像A;
S4:判断图像是否发生形变;
S5:图像显示:
如果图像没有发生形变,就不需要对图像进行处理,直接显示原始图像;
若图像发生了形变,则经过图像校正环节处理后得到校正后的原始图像再经投影仪投影到幕布上,图像则显示正常;
基于实时校正,如果没有终止校正图像程序,则重复上述步骤,以达到对图像的实时校正。
所述步骤S3具体实施方式为:
参考现有的摄像机标定算法,对摄像机进行标定,得到摄像机内部参数M,畸变系数D和外部参数R、T;其中,M、D和T分别为3*3矩阵、3*3矩阵和3*1矩阵;
根据M和D消除由摄像机镜头本身引起的图像变形,根据M、R、T和摄像机的成像原理以及像机成像公式对图像做三维重建;其中,M是摄像机内部参数矩阵,D是摄像机畸变系数,R是图像绕坐标轴的旋转矩阵,T是平移向量。
所述摄像机成像公式为:
(u,v,1)T图像坐标系的齐次坐标;
(xw,yw,zw,1)T世界坐标系的齐次坐标;
l:比例系数;
α:u方向上的归一化焦距;
β:v方向上的归一化焦距;
γ:图像平面不垂直光轴产生的畸变因子;
(u0,v0):光学中心,通常位于图像中心处,故其值常取分辨率的一半;
R:3*3的旋转矩阵;
T:三维平移向量;
令:
化简可得:
其中,取zw=0。
所述单目摄像机捕捉投影图像的三维重建模型为:
所述步骤S4中判断图像是否发生形变,包括以下步骤:
S41:提取图像A和原始图像特征角点;
S42:计算图像A和原始图像的透视变换矩阵;
如果图像A和原始图像的透视变换矩阵为单位矩阵,则图像A没有发生形变;否则图像A发生形变;
所述步骤S5图像校正环节的流程包括:
S50:单目摄像机获取的图像进行标定;
S51:检测图像特征角点;
S52:计算透视变换矩阵;
S53:对图像进行投影变换。
所述检测图像特征角点的具体过程包括,
S510:获取需要检测角点的图像;
S511:对图像进行二值化;
S512:检测图像轮廓;
S513:对图像进行简单处理,用白色填充轮廓内部,其余部分置为黑色;
S514:对上述步骤处理的图像进行多次开运算、闭运算,已消除轮廓边缘的干扰;
S515:图像经过上述步骤处理后,使用OpenCV提供的特征角点检测函数获取图像角点,判断角点个数是否合法,不合法的话,对图像二值化的阈值、开运算和闭运算次数、以及特征角点检测精度进行调整,以保证检测到满足要求的角点;建立循环反馈机制,实时调整各项参数,以得到可用性强的特征角点。
所述透视变换矩阵的具体实施方式为:
S421:获得图像A和原始图像的特征角点后,在两组特征角点间建立一一对应关系;
S422:投影仪投影图像所产生的变形为透视变形,所述透视变形采用透视变换矩阵表示,计算两幅图像的透视变换矩阵采用四对特征角点,从之前获得的特征角点中选出四对,进行计算;或者采取多次计算求平均值的方法,其中,每次选取不同的特征角点。
所述透视变换矩阵是,由图像A到原始图像的透视变换矩阵。
本发明的有益效果:
(1)自动性
采用摄像机作为辅助设备,以获取当前屏幕的投影信息。然后,根据此信息对原始图像进行调整,以获得最佳的投影效果。整个过程完全由程序自动完成,无需人工干预,大大降低了人工成本。
(2)实时性
此方法利用摄像机来提供视觉反馈,可以实时监控屏幕上的投影效果,当投影仪发生位置或者角度变化时,其投影效果的变化会立刻被摄像机捕捉到,并以此对原始图像进行调整,以保证投影效果可以实时最佳。
(3)精确性
角点检测的循环反馈机制和摄像机的视觉反馈机制可保证投影矫正的精确性。
附图说明:
图1为本发明的程序设计流程图;
图2为本发明图像校正的流程图;
图3为本发明检测角点的流程图;
图4a)为本发明的图像矫正前的投影效果图;
图4b)为本发明的图像矫正后的投影效果图。
具体实施方式
下面结合附图对本发明进行详细说明:
本发明的程序以Windows 7中的Visual Studio 2010为开发平台,其具体实施方式如下:
进行初始化工作,对摄像机进行标定;具体做法是,打印一张印有棋盘格的纸张,对其拍摄20张左右图像,利用opencv提供的算法计算出摄像机的内参并保存,固定显示装置即幕布的位置,固定摄像机的位置,在投影幕布上投影一副棋盘格图像,利用摄像机获取投影的棋盘格图像,利用opencv提供的算法和已经得到的内参计算摄像机的外部参数。
如图1所示,一种基于平面幕布的投影图像实时校正方法,包括以下步骤:
S1:在平面幕布上投影原始图像;
S2:利用单目摄像机捕捉投影图像;
S3:对单目摄像机捕捉投影图像进行三维重建:
根据摄像机成像原理并利用摄像机内部参数矩阵即摄像机相对于图像的外部参数,其中包括旋转向量及平移向量,还原图像信息,得到屏幕上实际显示的图像A;
S4:判断图像是否发生形变;
S5:图像显示:
如果图像没有发生形变,就不需要对图像进行处理,直接显示原始图像;
若图像发生了形变,则经过图像校正环节处理后得到校正后的原始图像再经投影仪投影到幕布上,图像则显示正常;
基于实时校正,如果没有终止校正图像程序,则重复上述步骤,以达到对图像的实时校正。
所述步骤S3具体实施方式为:
参考现有的摄像机标定算法,对摄像机进行标定,得到摄像机内部参数M,畸变系数D和外部参数R、T;其中,M、D和T分别为3*3矩阵、3*3矩阵和3*1矩阵;
根据M和D消除由摄像机镜头本身引起的图像变形,根据M、R、T和摄像机的成像原理以及像机成像公式对图像做三维重建;其中,M是摄像机内部参数矩阵,D是摄像机畸变系数,R是图像绕坐标轴的旋转矩阵,T是平移向量。
所述摄像机成像公式为:
(u,v,1)T图像坐标系的齐次坐标;
(xw,yw,zw,1)T世界坐标系的齐次坐标;
l:比例系数;
α:u方向上的归一化焦距;
β:v方向上的归一化焦距;
γ:图像平面不垂直光轴产生的畸变因子;
(u0,v0):光学中心,通常位于图像中心处,故其值常取分辨率的一半;
R:3*3的旋转矩阵;
T:三维平移向量;
令:
化简可得:
其中,取zw=0。
所述单目摄像机捕捉投影图像的三维重建模型为:
所述步骤S4中判断图像是否发生形变,包括以下步骤:
S41:提取图像A和原始图像特征角点;
S42:计算图像A和原始图像的透视变换矩阵;
如果图像A和原始图像的透视变换矩阵为单位矩阵,则图像A没有发生形变;否则图像A发生形变;
如图2所示,步骤S5图像校正环节的流程包括:
S50:单目摄像机获取的图像进行标定;
S51:检测图像特征角点;
S52:计算投影变换矩阵;
S53:对图像进行投影变换;
所述步骤S51的具体实施方式为:
考虑到重建后的图像A,由于摄像机精度及拍摄条件等各种因素会影响其质量,可能会导致特征角点检测不精确,因此采用一些图形学的常用方法对此图像进行处理:图像二值化、检测图像轮廓、用白色填充轮廓其余置成黑色,开运算、闭运算消除图像干扰点,然后在检测图像的特征角点。
在上述过程中,图像二值化的阈值、开运算和闭运算次数、以及特征角点检测精度,都会影响检测出的特征角点可用性,其中,特征角点个数适中,且分散,是最好的状态,个数太多不易建立对应关系,过于集中则不具有整体的代表性。
因此,建立循环反馈机制,实时调整各项参数,以得到可用性强的特征角点。
所述步骤S52的具体实施方式为:
获得图像A和原始图像的特征角点后,在两组特征角点间建立一一对应关系;
投影仪投影图像所产生的变形为透视变形,所述透视变形采用透视变换矩阵表示,计算两幅图像的透视变换矩阵采用四对特征角点,从之前获得的特征角点中选出四对,进行计算;
或者采取多次计算求平均值得方法,每次选取不同的特征角点;
所述透视变换矩阵是,由图像A到原始图像的透视变换矩阵。
如图3所示,检测图像特征角点的具体过程包括,
S510:获取需要检测角点的图像。
S511:对图像进行二值化。
S512:检测图像轮廓。
S513:对图像进行简单处理,用白色填充轮廓内部,其余部分置为黑色。
S514:对上述步骤处理的图像进行多次开运算、闭运算,已消除轮廓边缘的干扰。
S515:图像经过上述步骤处理后,使用OpenCv提供的特征角点检测函数获取图像角点,判断角点个数是否合法,不合法的话,对图像二值化的阈值、开运算和闭运算次数、以及特征角点检测精度进行调整,以保证检测到满足要求的角点。
如图4a)和图4b)所示,分别为本发明的图像矫正前、后的投影效果图。
由于投影仪位置及方向的影响,原始图像的投影效果就如图中投影效果1所示。经过程序自动检测与矫正,得到矫正后的图像,其投影效果如图中投影效果2所示。采用摄像机作为辅助设备,以获取当前屏幕的投影信息;然后,根据此信息对原始图像进行调整,以获得最佳的投影效果;整个过程完全由程序自动完成,无需人工干预,大大降低了人工成本。
利用摄像机来提供视觉反馈,可以实时监控屏幕上的投影效果,当投影仪发生位置或者角度变化时,其投影效果的变化会立刻被摄像机捕捉到,并以此对原始图像进行调整,以保证投影效果可以实时最佳。角点检测的循环反馈机制和摄像机的视觉反馈机制可保证投影矫正的精确性。
Claims (8)
1.一种基于平面幕布的投影图像实时校正方法,其特征在于,包括以下步骤:
S1:在平面幕布上投影原始图像;
S2:利用单目摄像机捕捉投影图像;
S3:对单目摄像机捕捉投影图像进行三维重建:
根据摄像机成像原理并利用摄像机内部参数矩阵即摄像机相对于图像的外部参数,其中包括旋转向量及平移向量,还原图像信息,得到屏幕上实际显示的图像A;
S4:判断图像是否发生形变;
S5:图像显示:
如果图像没有发生形变,就不需要对图像进行处理,直接显示原始图像;
若图像发生了形变,则经过图像校正环节处理后得到校正后的原始图像再经投影仪投影到幕布上,图像则显示正常;
基于实时校正,如果没有终止校正图像程序,则重复上述步骤,以达到对图像的实时校正;
所述步骤S4中判断图像是否发生形变,包括以下步骤:
S41:提取图像A和原始图像特征角点;
S42:计算图像A和原始图像的透视变换矩阵;
如果图像A和原始图像的透视变换矩阵为单位矩阵,则图像A没有发生形变;否则图像A发生形变。
2.根据权利要求1所述的一种基于平面幕布的投影图像实时校正方法,其特征在于,所述步骤S3具体实施方式为:
参考现有的摄像机标定算法,对摄像机进行标定,得到摄像机内部参数M,畸变系数D和外部参数R、T;其中,M、D和T分别为3*3矩阵、3*3矩阵和3*1矩阵;
根据M和D消除由摄像机镜头本身引起的图像变形,根据M、R、T和摄像机的成像原理以及像机成像公式对图像做三维重建;其中,M是摄像机内部参数矩阵,D是摄像机畸变系数,R是图像绕坐标轴的旋转矩阵,T是平移向量。
3.根据权利要求2所述的一种基于平面幕布的投影图像实时校正方法,其特征在于,所述摄像机成像公式为:
(u,v,1)T图像坐标系的齐次坐标;
(xw,yw,zw,1)T世界坐标系的齐次坐标;
l:比例系数;
α:u方向上的归一化焦距;
β:v方向上的归一化焦距;
γ:图像平面不垂直光轴产生的畸变因子;
(u0,v0):光学中心,通常位于图像中心处,故其值为分辨率的一半;
R:3*3的旋转矩阵;
T:三维平移向量;
令:
化简可得:
其中,取zw=0。
4.根据权利要求3所述的一种基于平面幕布的投影图像实时校正方法,其特征在于,所述单目摄像机捕捉投影图像的三维重建模型为:
5.根据权利要求1所述的一种基于平面幕布的投影图像实时校正方法,其特征在于,所述步骤S5图像校正环节的流程包括:
S50:单目摄像机获取的图像进行标定;
S51:检测图像特征角点;
S52:计算透视变换矩阵;
S53:对图像进行投影变换。
6.根据权利要求1或5所述的一种基于平面幕布的投影图像实时校正方法,其特征在于,所述检测图像特征角点的具体过程包括,
S510:获取需要检测角点的图像;
S511:对图像进行二值化;
S512:检测图像轮廓;
S513:对图像进行简单处理,用白色填充轮廓内部,其余部分置为黑色;
S514:对上述步骤处理的图像进行多次开运算、闭运算,已消除轮廓边缘的干扰;
S515:图像经过上述步骤处理后,使用OpenCv提供的特征角点检测函数获取图像角点,判断角点个数是否合法,不合法的话,对图像二值化的阈值、开运算和闭运算次数、以及特征角点检测精度进行调整,以保证检测到满足要求的角点;建立循环反馈机制,实时调整各项参数,以得到可用性强的特征角点。
7.根据权利要求1或5所述的一种基于平面幕布的投影图像实时校正方法,其特征在于,所述透视变换矩阵的具体实施方式为:
S421:获得图像A和原始图像的特征角点后,在两组特征角点间建立一一对应关系;
S422:投影仪投影图像所产生的变形为透视变形,所述透视变形采用透视变换矩阵表示,计算两幅图像的透视变换矩阵采用四对特征角点,从之前获得的特征角点中选出四对,进行计算;或者采取多次计算求平均值的方法,每次选取不同的特征角点。
8.根据权利要求1或5所述的一种基于平面幕布的投影图像实时校正方法,其特征在于,所述透视变换矩阵是,由图像A到原始图像的透视变换矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410566509.2A CN104361580B (zh) | 2014-10-22 | 2014-10-22 | 基于平面幕布的投影图像实时校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410566509.2A CN104361580B (zh) | 2014-10-22 | 2014-10-22 | 基于平面幕布的投影图像实时校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104361580A CN104361580A (zh) | 2015-02-18 |
CN104361580B true CN104361580B (zh) | 2015-06-24 |
Family
ID=52528838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410566509.2A Expired - Fee Related CN104361580B (zh) | 2014-10-22 | 2014-10-22 | 基于平面幕布的投影图像实时校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104361580B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780616B (zh) * | 2016-11-23 | 2019-09-27 | 安徽慧视金瞳科技有限公司 | 一种基于多矩阵映射的投影仪标定方法 |
CN106775557A (zh) * | 2016-11-28 | 2017-05-31 | 墨宝股份有限公司 | 一种智能机器人与虚拟3d的交互系统及方法 |
US9756303B1 (en) * | 2016-12-30 | 2017-09-05 | Texas Instruments Incorporated | Camera-assisted automatic screen fitting |
CN107424126A (zh) * | 2017-05-26 | 2017-12-01 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备、系统及摄像设备和显示设备 |
CN107527369B (zh) * | 2017-08-30 | 2020-03-10 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备和计算机可读存储介质 |
CN108007942A (zh) * | 2017-11-22 | 2018-05-08 | 牧德科技股份有限公司 | 投影式复检机及其校正方法 |
CN109257582B (zh) * | 2018-09-26 | 2020-12-04 | 海信视像科技股份有限公司 | 一种投影设备的校正方法和装置 |
CN109951692B (zh) * | 2019-04-19 | 2021-01-29 | 深圳市当智科技有限公司 | 基于摄像头与光机光路夹角实现投影仪自动梯形校正方法 |
CN110636273A (zh) * | 2019-10-15 | 2019-12-31 | 歌尔股份有限公司 | 调整投影画面的方法、装置、可读存储介质及投影仪 |
CN110807805A (zh) * | 2019-11-11 | 2020-02-18 | 成都极米科技股份有限公司 | 一种幕布区域定位方法、装置、投影设备和介质 |
CN111223065B (zh) * | 2020-01-13 | 2023-08-01 | 中国科学院重庆绿色智能技术研究院 | 图像矫正方法、不规则文本识别方法、装置、存储介质和设备 |
CN116033131B (zh) * | 2022-12-29 | 2024-05-17 | 深圳创维数字技术有限公司 | 图像矫正方法、装置、电子设备及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916175A (zh) * | 2010-08-20 | 2010-12-15 | 浙江大学 | 自适应于投影表面的智能投影方法 |
WO2012038009A1 (de) * | 2010-09-20 | 2012-03-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie |
-
2014
- 2014-10-22 CN CN201410566509.2A patent/CN104361580B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916175A (zh) * | 2010-08-20 | 2010-12-15 | 浙江大学 | 自适应于投影表面的智能投影方法 |
WO2012038009A1 (de) * | 2010-09-20 | 2012-03-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie |
Also Published As
Publication number | Publication date |
---|---|
CN104361580A (zh) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104361580B (zh) | 基于平面幕布的投影图像实时校正方法 | |
CN110336987B (zh) | 一种投影仪畸变校正方法、装置和投影仪 | |
CN110677634B (zh) | 投影仪的梯形校正方法、装置、系统及可读存储介质 | |
EP2745504B1 (en) | Image projector, image processing method, computer program and recording medium | |
CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
CN100527165C (zh) | 一种以动态投影为背景的实时目标识别方法 | |
CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
JP7255718B2 (ja) | 情報処理装置、認識支援方法およびコンピュータプログラム | |
WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
JP2005020314A (ja) | 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置 | |
CN110087049A (zh) | 自动调焦系统、方法以及投影仪 | |
CN110636274A (zh) | 超短焦画幕对齐方法、装置和超短焦投影机及存储介质 | |
CN108734738B (zh) | 相机标定方法及装置 | |
CN110769238B (zh) | 一种投影环境亮度检测方法、装置和电子设备及介质 | |
CN111243034A (zh) | 一种全景辅助泊车标定方法、装置、设备及存储介质 | |
JP2020197989A5 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
CN112734860A (zh) | 一种基于弧形幕先验信息的逐像素映射投影几何校正方法 | |
CN105488766A (zh) | 鱼眼镜头图像校正方法及装置 | |
CN111627073B (zh) | 一种基于人机交互的标定方法、标定装置和存储介质 | |
KR101259550B1 (ko) | 원근왜곡 보정을 통한 영상대조 방법 및 장치 | |
KR101926258B1 (ko) | Avm 시스템의 자동 캘리브레이션 방법 | |
CN111131801A (zh) | 投影仪校正系统、方法及投影仪 | |
CN106469435A (zh) | 图像处理方法、装置及设备 | |
CN112258581A (zh) | 一种多鱼眼镜头全景相机的现场标定方法 | |
TWI424259B (zh) | 相機擺置角度校正法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150624 Termination date: 20171022 |