CN101916175A - 自适应于投影表面的智能投影方法 - Google Patents
自适应于投影表面的智能投影方法 Download PDFInfo
- Publication number
- CN101916175A CN101916175A CN 201010262552 CN201010262552A CN101916175A CN 101916175 A CN101916175 A CN 101916175A CN 201010262552 CN201010262552 CN 201010262552 CN 201010262552 A CN201010262552 A CN 201010262552A CN 101916175 A CN101916175 A CN 101916175A
- Authority
- CN
- China
- Prior art keywords
- projector
- image
- projection surface
- camera
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000004438 eyesight Effects 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims description 44
- 238000012937 correction Methods 0.000 claims description 35
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000001788 irregular Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008054 signal transmission Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 16
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000007363 regulatory process Effects 0.000 abstract 1
- 238000013507 mapping Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 241000876446 Lanthanotidae Species 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Projection Apparatus (AREA)
Abstract
本发明公开了一种自适应于投影表面的智能投影方法,该方法用计算机视觉方法根据投影表面的形状和位置对投影仪放映的图像进行几何校正,使其投影在投影表面的图像没有发生变形,消除了复杂投影环境对投影仪视觉效果的影响。本智能投影系统具有独立的实时在线校正系统,投影校正过程无需人工参与,大大简化了投影仪的安装调节过程;采用计算机视觉方法对采集数据处理和分析,降低了投影系统的运行成本;可以自动获取投影环境和投影仪位姿信息,不受空间限制任意摆放投影仪放映无形变图像。
Description
技术领域
本发明涉及一种在科研教育领域(科学可视化)、各类仿真领域(虚拟现实)、娱乐和会议(普适计算环境,墙壁拐角等复杂室内背景下的保真投影)、以及气象交通的大屏幕监控展示等领域中自适应于投影表面的智能投影方法。
背景技术
自适应于投影表面的投影仪自主校正,含义是投影仪自动判断投影表面与投影仪自身的相对位置关系,以及投影表面的空间几何信息,然后通过预变换图像,使得图像投影在投影表面上能产生视觉上连贯一致的效果。几何校正算法的核心是找出投影表面、相机和投影仪三者的空间关系,已有的几何校正算法主要集中在平面投影上。
Surati在屏幕前放置精密的网格来进行相机在屏幕空间上的标定,然后建立一个查找表进行快速映射变换,获得投影仪在屏幕上的正确映射。PixelFlex假设相机的拍摄和投影仪的投影都近似于针孔投影,因此使用投影变换来线性表达它们之间的关系,建立了相机和投影仪间的单应矩阵。Chen Y.使用带可控制云台的相机(pan-tilt-zoom)来高分辨率地捕获投影仪重叠区,然后用模拟退火方法来进行全局优化。SimWall使用两次投影、在线消除投影仪非线性因素的几何校正算法,该方法简化了几何校正过程,并提高了校正精度。这些方法大多基于良好的投影环境并且需要在屏幕四周设置若干特征,以使得系统识别出目标投影区域,不足之处在于其校正过程比较复杂,对数据采集和投影仪位置要求严格。
对于曲面,和平面的主要不同是投影表面的建模更为复杂,一旦建模后则其他计算方法与平面情况类似。对于常见的弧幕、球幕等规则投影曲面可以直接建立较为精确的二次曲面表达式,处理方法较为直接,但是对于更复杂的表面,比如未知几何模型的房屋墙角或者具有不规则凹凸形状的投影表面,则由于无法建立简单的数学表达式,实现难度较大。Raskar使用双目视觉的方法对场景进行整体建模,得到曲面上各点的空间位置信息。但这种方法在房间范围内固定两个以上相机,然后对相机和投影仪进行标定,不能自由移动,对环境适应性较差。Ashdown提出一种适合多块平面拼合的几何校正算法,利用直线型结构光来识别多平面的接缝,可以自由移动投影仪和相机,但该方法限制了投影表面的类型,不适用于一般曲面。
发明内容
本发明的目的在于针对现有技术的不足,提供一种自适应于投影表面的智能投影方法。该方法根据投影表面的形状和位置对投影仪放映的图像进行几何校正,使其投影在投影表面的图像没有变形,消除复杂投影环境对投影仪视觉效果的影响。
本发明的目的是通过以下技术方案来实现的:
一种自适应于投影表面的智能投影方法,自适应于投影表面的智能投影系统包括计算机、投影仪、摄像头和倾角计,该方法包括以下步骤:
(1)用计算机视觉方法对安装在投影仪上的摄像头进行相机标定,消除摄像头径向畸变和切向畸变;
(2)对安装在投影仪上的双轴数字倾角计进行水平校准,并设定倾角计测量精度和信号传输频率;
(3)用双轴数字倾角计实时反馈测量数据,在数据变化超出设定阈值的情况下触发计算机中的投影仪校正系统;
(4)用摄像头采集的图像和双轴数字倾角计反馈的数据结合计算机视觉方法将投影仪放映的图像进行水平校正,使得放映出的图像与世界坐标系同轴;
(5)用摄像头采集的图像结合计算机视觉方法计算投影仪的有效投影区域;
(6)用计算机视觉方法对经过水平校正的投影仪进行几何校正,消除投射在投影表面的图像的几何形变;
(7)使用双通道显卡绘制方法,绘制经过校正的无形变图像;
(8)实时切换智能投影系统的工作状态,进行在线自主校正。
本发明的有益效果是:
1.可以有效消除复杂投影背景对投影仪几何校正的影响,投影背景可以是任何反光物质表面,不需要专业投影幕布。
2.可以智能感知投影环境调整投影图像,使得投影系统不受狭小空间的限制,实现了任意摆放投影仪随时随地进行投影。
3.具有独立的实时在线校正系统,投影校正过程无需人工参与,极大简化了投影仪的安装调节过程。
4.基于软件进行系统控制和几何校正,极大的降低了硬件成本。
5.采用计算机视觉方法对采集数据处理和分析,极大的降低了投影系统运行成本。
附图说明
图1为有效投影区域示例图,其中,(a)为普通平面投影有效投影区域示例图,(b)为复杂表面投影有效投影区域示例图,■表示多边形投影区域,□表示矩形有效投影区域;
图2为二进制编码特征图,其中,(a)~(i)依次为第一张至第九张二进制编码特征图;
图3为特征图采集与图像处理过程示例图,其中,(a)为采集特征图,(b)为采集反色特征图,(c)为图像处理特征图;
图4中,(a)为在投影图像中建立由采集到的特征图像中的特征点坐标组成的Delaunay三角剖分网格示意图;(b)为投影仪将投影图像直接投射在墙角后发生明显的非线性畸变示意图;(c)为基于对应三角网格之间的分段线性映射进行插值变换,将离散三角图像集合拼接生成一个新的图像示意图;(d)为将(c)生成的新图像投影在与(b)相同位置的墙角,从摄像头的采集图像检验已经分辨不出几何形变示意图;
图5为智能投影系统结构框图;
图6为实施例的校正前后对比图,其中,(a)和(b)分别为实施例1未校正图像和校正图像,(c)和(d)分别为实施例2未校正图像和校正图像。
具体实施方式
自适应于投影表面的智能投影系统包括计算机、投影仪、摄像头和倾角计,系统的安装过程如下:首先,将摄像头和双轴数字倾角计安装在投影仪上,并保证摄像头镜头和双轴数字倾角计方向轴与投影仪的镜头同轴方向;然后将摄像头和双轴数字倾角计的输出端口连接到计算机,并安装相应的驱动程序,同时将计算机显卡的一个输出口连接到投影仪。
本发明自适应于投影表面的智能投影方法,具体包括以下步骤:
1、用计算机视觉方法对安装在投影仪上的摄像头进行相机标定,消除摄像头径向畸变和切向畸变。
摄像头由于本身的物理性质在获取图像时会引入来自透镜的畸变,本发明通过摄像头标定算法计算出摄像头的物理内部参数进行校正。摄像头标定主要计算的是透镜结构引入的径向畸变和切向畸变,作为计算机视觉领域的一个重要研究方向现在已经有较为成熟的标定方法,比如Aziz和Karara提出的直接线性变换标定法,R.Y.Tsai提出的基于径向约束的两步标定法,以及张正友提出的平面标定法等。本发明采用的是张正友相机标定法,通过计算得到摄像头内部参数对摄像头进行相机标定,在校正系统中使用这个标定后的摄像头实时获取图像。
2、对安装在投影仪上的双轴数字倾角计进行水平校准,并设定倾角计测量精度和信号传输频率。
可以用计算机上的倾角计控制软件对安装在投影仪上的双轴数字倾角计进行水平校准。
3、用双轴数字倾角计实时反馈测量数据,在数据变化超出设定阈值的情况下触发计算机中的投影仪校正系统。
4、用摄像头采集的图像和双轴数字倾角计反馈的数据结合计算机视觉方法将投影仪放映的图像进行水平校正,使得放映出的图像与世界坐标系同轴。
投影仪放映时,通过透镜的光束类似于针孔成像,那么投影仪发生细小倾斜或其它类似晃动时投射在投影表面的图像会发生很大的畸变,这种畸变有两种:第一种是投影仪镜头移动轨迹垂直于世界坐标系的坐标轴,这类几何形变智能投影系统通过摄像头标定和投影仪校正来消除;第二种是投影仪镜头移动轨迹斜交于世界坐标系的坐标轴引起的,这类几何形变增加了图像旋转偏移的情况。智能投影系统的摄像头安装在投影镜头的同轴方向,对于第二种几何形变不能通过摄像头和投影仪配合直接校正,必须引入水平测量设备。智能投影系统将一个双轴数字倾角计安装在投影仪上,并保持与摄像头以及投影仪镜头同轴方向。首先,在计算机上的倾角计控制程序中将双轴数字倾角计进行水平校准并设定水平参数,进入工作状态后实时反馈给计算机双轴数字倾角计的测量数据,并将测量数据换算成投影仪的倾斜角度,对显卡帧缓存中的预投影图像进行处理,消除投影仪倾斜导致的图像旋转。
5、用摄像头采集的图像结合计算机视觉方法计算投影仪的有效投影区域。
智能投影系统面向的是复杂表面投影环境,投影仪的投影区域通常情况下是一个不规则的多边形区域,而观众希望看到的图像是经过几何校正的标准矩形图像。智能投影系统通过计算得到不规则多边形区域中可以投影矩形图像的矩形区域,这个矩形区域被称为有效投影区域。
智能投影系统向投影表面放映一组边缘特征图片,并用摄像头同步获取。特征图片分辨率和投影仪分辨率相同且背景为黑色,并分别用白色球形点阵沿图片左边缘、下边缘、有边缘、上边缘均匀排列,采用图像处理方法对采集到的边缘特征图像进行处理,识别并计算出每张边缘特征图中球形特征点的中心坐标,并依次连接成线,在投射在投影表面的图像任意扭曲的情况下可以通过这个方法得到投影仪在投影表面的投影区域,但是,这个多边形区域大多数情况下并不是标准矩形,需要进一步计算该多边形内最大的矩形区域。
计算凸多边形内的最大矩形有成熟的计算几何方法参考,但在复杂的凸多边形情况时并没有一个通用有效的方法,智能投影系统采用了一种“矩形生长”的方法来计算。首先计算多边形的中心点坐标,以它为中心建立2*2的初始矩形并按单个像素步长增长,如果矩形的任意一条边接触到外面的多边形,那么矩形就在该方向上停止“生长”,在其它方向继续“生长”。这样最终得到一个存在于多边形内的“较大”矩形。经过多次实验表明,通过这种计算“矩形生长”得到的多边形内“较大”矩形已经可以满足确定投影标准矩形区域的需要(如图1)。
6、用计算机视觉方法对经过水平校正的投影仪进行几何校正,消除投射在投影表面的图像的几何形变。
6.1结构光设计
以二进制编码特征图作为主动结构光的方法广泛应用于三维测量领域,例如三维曲面重构、三维轮廓测量等,本智能投影系统采用二进制编码特征图确定投影仪和投影表面之间的对应关系。
首先,需要制作一张由N个均匀排列的特征点组成的特征图像,并对这N个点从1到N给予唯一的编号,如左上角第一个点编号为1,这样依次编号,最后一个特征点编号为N。在这里,对于特征点的类型和数量可以根据投影环境和投影精度的不同来进行选择,从类型上可以使用球形离散点、棋盘格角点、横竖条纹交点等作为特征点,在数量上可以根据投影仪投射图像的分辨率以及校正精度的不同来确定。根据实际情况选择合适的特征点类型和数量可以在投影仪校正过程中取得更好的效果。
本智能投影系统的投影对象是复杂的投影表面,投射的结构光会发生不可预测的扭曲,形如横竖条纹这样的特征图不容易计算精确的交点坐标,针对这种情况选择使用球形离散特征点作为结构光进行投射。同时,由于所选投影仪的最佳分辨率1024*768,智能投影系统在保证特征点均匀排列于整个投影区域的前提下确定球形图案的半径为10个像素并按照19*25组成特征点阵列,即球形特征点共475个,所以N=475。475的二进制表示为111011011,所以可以用9位二进制数表示这475个编号。智能投影系统制作了9张特征图片来投影这些特征点(如图2),第一张图是将前面提到的包含所有475个特征点的图像只保留编号的二进制表达第一位(从右至左)为1的特征点后生成的图像,依此为例制作另外8张图像,即第i(1≤i≤9)张图表示包含所有编号的二进制表达第i位为1的特征点的特征图,那么就可以用这9张图像来给每一个特征点唯一的用二进制标识。例如,101的9位二进制表示为001100101,那么编号101就对应在第一张、第三张、第六张、第七张图片都存在的白色球形特征点,智能投影系统将9张特征点图像依次投射在投影表面,通过判断每一个特征点出现哪些图片即得到了所有这些特征点各自的编号,通过这种方法可以计算出这些特征点在摄像头获取图像的坐标系中坐标(X,Y)与投影图像坐标系中的坐标(U,V)的对应关系,这为之后进行分段线性计算时提供了必要条件。
6.2特征图采集与图像处理
本智能投影系统使用安装在投影仪上的摄像头同步采集投射于投影表面的特征图像(图3(a)),为了能够准确计算所有特征点的中心坐标,必须采用图像处理方法对采集的图像进行预处理。由于智能投影系统应用的对象是投影环境复杂的情况,那么首先要做的是消除采集图像中特征点以外的背景干扰。采集图像中的背景干扰来自于两个方面,第一个是投影环境本身形状、颜色、亮度等的干扰,另一个是由于投影仪投射的特征点亮度远高于投影背景,并且特征点数量大、排列密集,用摄像头采集时由于其本身感光能力的限制不可避免的造成特征点的反光即特征点阵产生不规则大面积光晕,增加获取离散特征点的球形轮廓的难度,影响特征点中心坐标计算的准确性。
智能投影系统先对采集到的特征图进行高斯滤波处理消除背景噪声,这样可以得到更加平滑的图像,接着将采集到的背景图与特征图进行差分,消除大部分背景干扰。同时,智能投影系统针对采集到的特征图中不规则大面积光晕的情况向投影表面投射一个与特征点图颜色相反的反色点阵图(图3(b)),采集后将其与经过高斯滤波和消除背景的特征图进行差分,可以有效的将散射的不规则大面积光晕消除。
接下来,对处理后的特征图进行结构单元为球形的开运算消除特征点之外的细小背景纹理,再进行结构单元为矩形的闭运算将特征点球形区域经过图像膨胀补充完整,最后对特征图进行二值化处理得到一组便于坐标计算的特征图(图3(c))。
6.3建立对应关系
智能投影系统对处理后的特征图组运用二进制编码方法,确定采集特征图中与投影特征图475个点的一一对应关系,即采集特征图中的每一个点可以从1到475进行编号并且这些编号与投影特征图中的特征点编号准确一致。分别计算特征点阵的中心坐标可以得到采集特征图中编号为i的特征点坐标(Xi,Yi)在投影特征图中的对应特征点坐标(Ui,Vi),即可以建立两个坐标平面特征点坐标的一一映射集合:(Xi,Yi)→(Ui,Vi)(i=1,2,...,475)。
投影仪校正的目标是解决投影图像的变形问题,智能投影系统需要将计算得到的特征点之间的映射关系拓展到两个坐标平面的映射关系,正如前文所述,对于投影对象是非参数化平面的情况这种映射关系是一种复杂的非线性映射关系,求解过程的计算量很大。为满足实时在线校正的要求,智能投影系统采用的是一种分段线性方法,将采集到的投影表面图像和投影图像进行合理的网格划分,在两个图像中对应细小网格间使用线性插值变换。
智能投影系统采用Delaunay三角剖分方法生成网格,Delaunay三角剖分方法可以将空间点连接为三角形并保证三角形中最小的角最大,这种方法生成的三角形网格形状相似、大小均匀,非常适合用在分段线性计算中。按照Delaunay三角剖分方法在采集到的投影表面特征图中以计算得到的特征点中心坐标为顶点集合进行网格化,可以得到一个基于顶点和边的三角形网格描述集合T(V,S)(V表示基于特征点中心的顶点集合,S表示所有三角形网格的边的集合)。那么对于集合中任意一个三角形A,一定可以利用三个顶点的对应关系在投影图像的特征点集合中找到对应的点坐标即可以找到一个对应的三角形A’,这样按照集合T中的三角形顶点连接关系在投影图像的特征点图中一一对应连结,就可以得到一个新的三角形网格T’,在网格数量适当的情况下T和T’满足分段线性映射关系。
将网格T覆盖于待投影图像的整个坐标平面(如图4(a)),这样每一个三角形都覆盖一定面积的图像区域,即用网格T分割的离散图像集合P,然后将网格T’也覆盖于待投影图像的整个坐标平面,同样得到一个用网格T’分割的离散图像集合P’,那么根据T和T’的一一映射关系,可以找到离散图像P与P’之间的一一对应关系。在网格数量、大小适当的情况下对应三角形图像之间的对应关系近似于线性映射关系,即离散图像P与P’整体近似于分段线性映射。
最后,智能投影系统分别对所有对应三角形网格Ti和T’i覆盖的三角形图像之间计算单应性矩阵Hi(Ti→T’i),可以得到一个建立在两个坐标平面之间的单应性矩阵集合H(T→T’),根据集合H的分段线性映射关系用线性插值方法将所有网格T分割的离散三角形图像集合P的形状和像素值分段线性计算,最终得到一个新的三角形图像集合Pnew,将Pnew按照坐标位置组合成一幅新的图像(如图4(c)),智能投影系统将这张图像按照计算得到的投影表面的有效投影区域坐标范围进行适当缩放,最后用投影仪投射到投影表面,此时观众看到的是准确校正的垂直于世界坐标系的标准矩形图像(如图4(d)),从视觉感觉不到复杂投影环境对投影图像产生的影响。
7、使用双通道显卡绘制方法,绘制经过校正的无形变图像。
智能投影系统在某一固定位置处于工作状态时,对每一帧预投影图像使用相同的校正方法进行计算,最终得到新的图像投射在投影表面。将预投影图像在显卡的第一个通道进行绘制,然后根据上述校正方法对这帧图像采用分段线性方法进行计算并将计算结果输入第二个通道,最后在第二个通道绘制经过几何校正的新图像输出给投影仪投射于投影表面。用户最终看到的是经过几何校正的无形变图像。
8、实时切换智能投影系统的工作状态,进行在线自主校正。
本智能投影系统具有实时在线自主校正的能力,其处于工作状态的校正系统是一个独立的在线闭环系统。根据校正算法的主要流程,智能投影系统可以设置为两种工作状态,即监控状态和校正状态。
处于监控状态时,投影仪正常放映,倾角计进行实时监控,一旦倾角计的数值变化超出设定阈值,则向系统发送信号触发校正系统,智能投影系统开始进入校正状态。进入校正状态后,智能投影系统在摄像头、数字倾角计、投影仪以及校正算法的配合下进行一系列的图像处理和计算,在满足预设的校正标准后结束校正状态,系统继续进入监控状态。
智能投影系统在监控和校正这两种状态不断进行切换,保证投影图像在任意投影表面的无形变放映,这两个互斥的进程类似于分布式计算环境中的“生产者与消费者”问题,它们之间通过信号量解决共享硬件资源的冲突。
本发明中,所说的相机标定是使用张正友相机标定法对摄像头进行校准。
本发明中,所说的投影仪水平校正是先在计算机上的倾角计控制程序中将双轴数字倾角计进行水平校准并设定水平参数,进入工作状态后实时反馈给计算机双轴数字倾角计的测量数据,并将测量数据换算成投影仪的倾斜角度,对显卡帧缓存中的预投影图像进行处理,消除投影仪倾斜导致的图像旋转。
本发明中,所说的有效投影区域是投影仪投射一组特征图像,经过摄像头采集后通过计算机中的图像处理程序分析,可以计算出投影仪投射在复杂投影表面时观众从视觉上看到的不规则的高亮区域中的一个规则矩形区域,该矩形区域与世界坐标系同轴。
本发明中,所说的几何校正是计算机通过分析摄像头采集到的投影仪投射在投影表面的特征图像,用计算机视觉方法计算出投影仪处于当前位姿时预投影图像与投射在投影表面的投影图像之间的分段线性关系,根据二者之间的分段线性关系对显卡的帧缓存进行处理,消除投射在投影表面的投影图像的不规则几何形变。
本发明中,所说的双通道显卡绘制方法是将预投影图像在显卡的第一个通道进行绘制得到一帧图像,然后使用几何校正方法对这帧图像采用分段线性方法进行计算并将计算结果输入第二个通道,在显卡的第二个通道绘制完成一帧新的图像,这帧图像通过第二个通道的输出端口输入给投影仪进行投影。
本发明中,所说的实时在线自主校正是计算机通过信号量机制控制智能投影系统实时在监控状态和校正状态进行切换,整个过程不需人工进行参与,其处于工作状态的校正系统是个独立的在线闭环系统。
本发明中,所说的投影仪可采用DLP投影仪。
本发明中,所说的倾角计可采用串口输出双轴倾角传感器。
以下通过实施例对本发明做进一步说明:
实施例
本实施例中,如图5所示智能投影系统采用CPU为Intel Core2 Quad CPUQ6600 2.40GHz,双通道显卡为ATI Radeon HD 4800的计算机作为主要计算平台。摄像头采用Logitech公司型号为QuickCam Pro for Notebooks的网络摄像头,该产品带自动对焦功能,有效像素为2百万。双轴数字倾角计为SCA126T,是瑞芬科技针对工业现场控制领域推出串口输出型双轴倾角传感器,内置高精度16bit A/D差分转换器,通过5阶滤波算法,输出双方向的倾角值,输出速度能达到20次/秒。投影仪采用型号为Lenovo T151的DLP数字投影仪,该投影仪采用TI DLP微反射数字投影技术,亮度为4000流明,运用RealLight色彩还原技术通过实时测算输入信号的色彩饱和度、色域、色调、色温、伽玛等关键色彩指标实现色彩补偿和校正功能,确保输出信号在色彩表现上与输入信号保持一致,以达到理想的色彩还原效果。
首先,在计算机上安装智能投影系统的控制程序以及摄像头的驱动程序和倾角计的控制软件,将摄像头和双轴数字倾角计的输出端口连接到计算机的USB端口,同时将计算机显卡的一个VGA输出接口连接到投影仪的输入接口。然后,将摄像头和双轴数字倾角计固定在投影仪上,并保证摄像头镜头和双轴数字倾角计方向轴与投影仪的镜头同轴方向。然后,用智能投影系统的控制程序测试各个硬件的工作状况,确保满足系统要求。最后,对安装在投影仪上的摄像头使用张正友相机标定法进行相机标定,消除摄像头径向畸变和切向畸变;使用计算机上的倾角计控制软件对安装在投影仪上的双轴数字倾角计进行水平校准,在智能投影系统控制程序中设定倾角计测量精度和信号传输频率;设定倾角计数值变化阈值,用双轴数字倾角计实时反馈测量数据,在数据变化超出设定阈值的情况下触发计算机中的投影仪校正系统。
处于工作状态的智能投影系统,实时分析倾角计反馈数据决定是否触发校正状态,进入校正状态后,分析摄像头实时采集的图像和双轴数字倾角计反馈的数据结合计算机视觉方法将投影仪放映的图像进行水平校正,使得放映出的图像与世界坐标系同轴。同时,用摄像头采集的图像结合计算机视觉方法计算投影仪的有效投影区域,最后,用计算机视觉方法对经过水平校正的投影仪进行几何校正,消除投射在投影表面的图像的几何形变。
使用该智能投影系统在室内选取墙角和雨伞的不规则伞面这两个不同场景进行投影实验,墙角和雨伞的表面信息和三维模型均未知,同时实验的光照情况也不确定,并且背景情况复杂,包括电灯的光线反射和其他物体的纹理干扰,智能投影系统的使用效果如图6所示,投影图像经过校正后投影效果已经满足了观察者的视觉检验标准。
Claims (5)
1.一种自适应于投影表面的智能投影方法,自适应于投影表面的智能投影系统包括计算机、投影仪、摄像头和倾角计,其特征在于,该方法包括以下步骤:
(1)用计算机视觉方法对安装在投影仪上的摄像头进行相机标定,消除摄像头径向畸变和切向畸变。
(2)对安装在投影仪上的双轴数字倾角计进行水平校准,并设定倾角计测量精度和信号传输频率。
(3)用双轴数字倾角计实时反馈测量数据,在数据变化超出设定阈值的情况下触发计算机中的投影仪校正系统。
(4)用摄像头采集的图像和双轴数字倾角计反馈的数据结合计算机视觉方法将投影仪放映的图像进行水平校正,使得放映出的图像与世界坐标系同轴。
(5)用摄像头采集的图像结合计算机视觉方法计算投影仪的有效投影区域。
(6)用计算机视觉方法对经过水平校正的投影仪进行几何校正,消除投射在投影表面的图像的几何形变。
(7)使用双通道显卡绘制方法,绘制经过校正的无形变图像。
(8)实时切换智能投影系统的工作状态,进行在线自主校正。
2.根据权利要求1所述的自适应于投影表面的智能投影方法,其特征在于,所述步骤(1)中,所述相机标定是使用张正友相机标定法对摄像头进行校准。
3.根据权利要求1所述的自适应于投影表面的智能投影方法,其特征在于,所述步骤(2)中,所述投影仪水平校正是先在计算机上将双轴数字倾角计进行水平校准并设定水平参数,进入工作状态后实时反馈给计算机双轴数字倾角计的测量数据,并将测量数据换算成投影仪的倾斜角度,对显卡帧缓存中的预投影图像进行处理,消除投影仪倾斜导致的图像旋转。
4.根据权利要求1所述的自适应于投影表面的智能投影方法,其特征在于,所述步骤(5)中,所述有效投影区域是投影仪投射一组特征图像,经过摄像头采集后通过计算机计算出投影仪投射在复杂投影表面时观众从视觉上看到的不规则的高亮区域中的一个规则矩形区域,该矩形区域与世界坐标系同轴。
5.根据权利要求1所述的自适应于投影表面的智能投影方法,其特征在于,所述步骤(6)中,所述几何校正是计算机通过分析摄像头采集到的投影仪投射在投影表面的特征图像,用计算机视觉方法计算出投影仪处于当前位姿时预投影图像与投射在投影表面的投影图像之间的分段线性关系,根据二者之间的分段线性关系对显卡的帧缓存进行处理,消除投射在投影表面的投影图像的不规则几何形变。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102625521A CN101916175B (zh) | 2010-08-20 | 2010-08-20 | 自适应于投影表面的智能投影方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102625521A CN101916175B (zh) | 2010-08-20 | 2010-08-20 | 自适应于投影表面的智能投影方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101916175A true CN101916175A (zh) | 2010-12-15 |
CN101916175B CN101916175B (zh) | 2012-05-02 |
Family
ID=43323695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102625521A Expired - Fee Related CN101916175B (zh) | 2010-08-20 | 2010-08-20 | 自适应于投影表面的智能投影方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101916175B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289360A (zh) * | 2011-08-25 | 2011-12-21 | 浙江大学 | 一种自适应投影颜色补偿方法 |
CN102387330A (zh) * | 2011-10-27 | 2012-03-21 | 王悦 | 一种不规则表面成像方法 |
CN102682653A (zh) * | 2011-08-15 | 2012-09-19 | 上海华博信息服务有限公司 | 基于激光的动态投影跟踪沙盘系统及其应用 |
CN102841767A (zh) * | 2011-06-22 | 2012-12-26 | 华为终端有限公司 | 多投影拼接几何校正方法及校正装置 |
CN103974011A (zh) * | 2013-10-21 | 2014-08-06 | 浙江大学 | 一种投影图像模糊消除方法 |
CN104361580A (zh) * | 2014-10-22 | 2015-02-18 | 山东大学 | 基于平面幕布的投影图像实时校正方法 |
CN104424538A (zh) * | 2013-08-26 | 2015-03-18 | Cjcgv株式会社 | 剧院参数管理设备和方法 |
CN104777700A (zh) * | 2015-04-01 | 2015-07-15 | 北京理工大学 | 高沉浸投影多投影机优化部署方法 |
CN104796649A (zh) * | 2014-01-21 | 2015-07-22 | 北京炬力北方微电子有限公司 | 一种三维投影的方法及装置 |
CN104836953A (zh) * | 2015-03-04 | 2015-08-12 | 深圳市祈锦通信技术有限公司 | 多投影仪屏幕特征点自动拍照及去噪识别方法 |
CN105262969A (zh) * | 2015-11-20 | 2016-01-20 | 广景视睿科技(深圳)有限公司 | 一种组合投影的方法以及系统 |
CN105354809A (zh) * | 2015-12-05 | 2016-02-24 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于输出图像像素位置索引的预畸变方法和装置 |
CN105940359A (zh) * | 2014-01-31 | 2016-09-14 | 惠普发展公司,有限责任合伙企业 | 具有投影器单元的系统的触摸式感应垫 |
CN106507077A (zh) * | 2016-11-28 | 2017-03-15 | 江苏鸿信系统集成有限公司 | 基于图像分析的投影仪画面矫正及遮挡避让方法 |
CN106559628A (zh) * | 2015-09-28 | 2017-04-05 | 中兴通讯股份有限公司 | 一种投影的方法、装置和终端 |
CN106657848A (zh) * | 2015-07-27 | 2017-05-10 | 联想(北京)有限公司 | 一种投影方法及电子设备 |
CN108499102A (zh) * | 2018-04-04 | 2018-09-07 | 网易(杭州)网络有限公司 | 信息界面展示方法及装置、存储介质、电子设备 |
CN108965839A (zh) * | 2018-07-18 | 2018-12-07 | 成都市极米科技有限公司 | 一种自动调整投影画面的方法及模块 |
CN109005394A (zh) * | 2018-09-19 | 2018-12-14 | 青岛海信激光显示股份有限公司 | 一种投影图像的校正方法及投影机 |
CN109257582A (zh) * | 2018-09-26 | 2019-01-22 | 上海顺久电子科技有限公司 | 一种投影设备的校正方法和装置 |
CN109983401A (zh) * | 2016-12-30 | 2019-07-05 | 德州仪器公司 | 摄像机辅助自动屏幕拟合 |
CN110010094A (zh) * | 2019-03-15 | 2019-07-12 | 安徽国维科技服务有限公司 | 一种大屏幕图像校正系统 |
CN110213553A (zh) * | 2019-06-04 | 2019-09-06 | 福建星网视易信息系统有限公司 | 一种适用于非平整屏幕的图像投影方法及存储介质 |
CN110519578A (zh) * | 2019-08-16 | 2019-11-29 | 深圳供电局有限公司 | 一种投影方法及投影系统 |
CN113272868A (zh) * | 2018-09-21 | 2021-08-17 | 迪奥塔索夫特公司 | 将基于数字模型计算的图像投影至工件上的方法、模块和系统 |
WO2023087951A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 一种投影设备及投影图像的显示控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1291407A (zh) * | 1998-02-18 | 2001-04-11 | 精工爱普生株式会社 | 图象处理装置和图象处理方法 |
CN1640153A (zh) * | 2002-01-04 | 2005-07-13 | 纽鲁克公司 | 使用回归反射屏幕的三维图像投影 |
CN1971504A (zh) * | 2006-12-15 | 2007-05-30 | 浙江大学 | 大规模立体拼接显示墙的校正方法 |
CN101132535A (zh) * | 2007-09-12 | 2008-02-27 | 浙江大学 | 基于转台的多投影大屏拼接方法 |
CN101572787A (zh) * | 2009-01-04 | 2009-11-04 | 四川川大智胜软件股份有限公司 | 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法 |
-
2010
- 2010-08-20 CN CN2010102625521A patent/CN101916175B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1291407A (zh) * | 1998-02-18 | 2001-04-11 | 精工爱普生株式会社 | 图象处理装置和图象处理方法 |
CN1640153A (zh) * | 2002-01-04 | 2005-07-13 | 纽鲁克公司 | 使用回归反射屏幕的三维图像投影 |
CN1971504A (zh) * | 2006-12-15 | 2007-05-30 | 浙江大学 | 大规模立体拼接显示墙的校正方法 |
CN101132535A (zh) * | 2007-09-12 | 2008-02-27 | 浙江大学 | 基于转台的多投影大屏拼接方法 |
CN101572787A (zh) * | 2009-01-04 | 2009-11-04 | 四川川大智胜软件股份有限公司 | 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法 |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102841767A (zh) * | 2011-06-22 | 2012-12-26 | 华为终端有限公司 | 多投影拼接几何校正方法及校正装置 |
CN102841767B (zh) * | 2011-06-22 | 2015-05-27 | 华为终端有限公司 | 多投影拼接几何校正方法及校正装置 |
CN102682653A (zh) * | 2011-08-15 | 2012-09-19 | 上海华博信息服务有限公司 | 基于激光的动态投影跟踪沙盘系统及其应用 |
CN102289360A (zh) * | 2011-08-25 | 2011-12-21 | 浙江大学 | 一种自适应投影颜色补偿方法 |
CN102387330A (zh) * | 2011-10-27 | 2012-03-21 | 王悦 | 一种不规则表面成像方法 |
CN104424538A (zh) * | 2013-08-26 | 2015-03-18 | Cjcgv株式会社 | 剧院参数管理设备和方法 |
CN104424538B (zh) * | 2013-08-26 | 2018-08-17 | Cj Cgv 株式会社 | 剧院参数管理设备和方法 |
CN103974011B (zh) * | 2013-10-21 | 2017-07-11 | 浙江大学 | 一种投影图像模糊消除方法 |
CN103974011A (zh) * | 2013-10-21 | 2014-08-06 | 浙江大学 | 一种投影图像模糊消除方法 |
CN104796649B (zh) * | 2014-01-21 | 2017-12-26 | 北京炬力北方微电子有限公司 | 一种三维投影的方法及装置 |
CN104796649A (zh) * | 2014-01-21 | 2015-07-22 | 北京炬力北方微电子有限公司 | 一种三维投影的方法及装置 |
US10268318B2 (en) | 2014-01-31 | 2019-04-23 | Hewlett-Packard Development Company, L.P. | Touch sensitive mat of a system with a projector unit |
CN105940359A (zh) * | 2014-01-31 | 2016-09-14 | 惠普发展公司,有限责任合伙企业 | 具有投影器单元的系统的触摸式感应垫 |
CN104361580B (zh) * | 2014-10-22 | 2015-06-24 | 山东大学 | 基于平面幕布的投影图像实时校正方法 |
CN104361580A (zh) * | 2014-10-22 | 2015-02-18 | 山东大学 | 基于平面幕布的投影图像实时校正方法 |
CN104836953A (zh) * | 2015-03-04 | 2015-08-12 | 深圳市祈锦通信技术有限公司 | 多投影仪屏幕特征点自动拍照及去噪识别方法 |
CN104836953B (zh) * | 2015-03-04 | 2019-01-15 | 深圳市祈锦通信技术有限公司 | 多投影仪屏幕特征点自动拍照及去噪识别方法 |
CN104777700A (zh) * | 2015-04-01 | 2015-07-15 | 北京理工大学 | 高沉浸投影多投影机优化部署方法 |
CN106657848A (zh) * | 2015-07-27 | 2017-05-10 | 联想(北京)有限公司 | 一种投影方法及电子设备 |
CN106559628A (zh) * | 2015-09-28 | 2017-04-05 | 中兴通讯股份有限公司 | 一种投影的方法、装置和终端 |
CN105262969A (zh) * | 2015-11-20 | 2016-01-20 | 广景视睿科技(深圳)有限公司 | 一种组合投影的方法以及系统 |
CN105354809A (zh) * | 2015-12-05 | 2016-02-24 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于输出图像像素位置索引的预畸变方法和装置 |
CN105354809B (zh) * | 2015-12-05 | 2018-05-08 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于输出图像像素位置索引的预畸变方法和装置 |
CN106507077A (zh) * | 2016-11-28 | 2017-03-15 | 江苏鸿信系统集成有限公司 | 基于图像分析的投影仪画面矫正及遮挡避让方法 |
CN106507077B (zh) * | 2016-11-28 | 2018-07-24 | 江苏鸿信系统集成有限公司 | 基于图像分析的投影仪画面矫正及遮挡避让方法 |
CN109983401A (zh) * | 2016-12-30 | 2019-07-05 | 德州仪器公司 | 摄像机辅助自动屏幕拟合 |
CN109983401B (zh) * | 2016-12-30 | 2022-02-11 | 德州仪器公司 | 摄像机辅助自动屏幕拟合 |
CN108499102A (zh) * | 2018-04-04 | 2018-09-07 | 网易(杭州)网络有限公司 | 信息界面展示方法及装置、存储介质、电子设备 |
CN108965839A (zh) * | 2018-07-18 | 2018-12-07 | 成都市极米科技有限公司 | 一种自动调整投影画面的方法及模块 |
CN109005394A (zh) * | 2018-09-19 | 2018-12-14 | 青岛海信激光显示股份有限公司 | 一种投影图像的校正方法及投影机 |
CN109005394B (zh) * | 2018-09-19 | 2019-11-29 | 青岛海信激光显示股份有限公司 | 一种投影图像的校正方法及投影机 |
CN113272868A (zh) * | 2018-09-21 | 2021-08-17 | 迪奥塔索夫特公司 | 将基于数字模型计算的图像投影至工件上的方法、模块和系统 |
CN109257582A (zh) * | 2018-09-26 | 2019-01-22 | 上海顺久电子科技有限公司 | 一种投影设备的校正方法和装置 |
CN110010094A (zh) * | 2019-03-15 | 2019-07-12 | 安徽国维科技服务有限公司 | 一种大屏幕图像校正系统 |
CN110213553A (zh) * | 2019-06-04 | 2019-09-06 | 福建星网视易信息系统有限公司 | 一种适用于非平整屏幕的图像投影方法及存储介质 |
CN110519578A (zh) * | 2019-08-16 | 2019-11-29 | 深圳供电局有限公司 | 一种投影方法及投影系统 |
WO2023087951A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 一种投影设备及投影图像的显示控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101916175B (zh) | 2012-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101916175B (zh) | 自适应于投影表面的智能投影方法 | |
US10127712B2 (en) | Immersive content framing | |
US11516412B2 (en) | Image processing method, image processing apparatus and electronic device | |
CN110148204B (zh) | 用于在真实环境的视图中表示虚拟对象的方法和系统 | |
JP6625745B2 (ja) | 画像処理装置 | |
US6983082B2 (en) | Reality-based light environment for digital imaging in motion pictures | |
CN114339194B (zh) | 投影显示方法、装置、投影设备及计算机可读存储介质 | |
CN102244757B (zh) | 一种基于投影仪-相机系统的多投影大屏幕颜色校正方法 | |
CN105787920B (zh) | 球幕标定方法、标定系统及控制设备 | |
US20100110069A1 (en) | System for rendering virtual see-through scenes | |
CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
CN110798671A (zh) | 投影装置亮度的自适应调节方法及调节系统 | |
TW202213268A (zh) | 針對圖像識別模型的增強訓練方法及裝置 | |
CN112019826A (zh) | 投影方法、系统、装置、电子设备及存储介质 | |
CN107509043A (zh) | 图像处理方法及装置 | |
Inoue et al. | Tracking Robustness and Green View Index Estimation of Augmented and Diminished Reality for Environmental Design | |
CN104317144A (zh) | 大型正交多幕投影系统光辐射快速补偿方法 | |
WO2022105277A1 (zh) | 投影控制方法、装置、投影光机及可读存储介质 | |
CN112361989A (zh) | 一种通过点云均匀性考量测量系统标定参数的方法 | |
Tsuchiya et al. | An optical design for avatar-user co-axial viewpoint telepresence | |
CN105956996B (zh) | 基于二次折射投影模型的鱼眼图像校正方法、装置和系统 | |
JP7366563B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
CN108377383A (zh) | 一种多投影3d系统光场对比度调整方法及其系统 | |
CN102959937B (zh) | 用于稳健颜色传送的方法和设备 | |
CN109274923A (zh) | 一种用于工业设备的智能感知器件 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120502 Termination date: 20130820 |