CN106534817B - 基于图像识别的曲面投影自动几何校正方法 - Google Patents

Abstract

本发明涉及一种基于图像识别的曲面投影自动几何校正方法，安置摄影头正对投影幕中心，连摄影头到电脑；投影机投射包含至少4个可识别定位绿色方块投影图像,摄影头采集图像识别定位色块位置,算出摄影头图像空间和投影机图像空间的单应性矩阵H；在投影机上投射全黑图像，用N*N个红外激光笔在投影幕目标投影区域横排和竖排平分点处投射形成N排N列激光点阵；摄影头采集一帧图像，识别红外激光点阵位置，记录位置集合Cd{Cd1，Cd2…Cdi}；根据单应性矩阵H反算行列交叉点位置集合Cd在投影机图像空间中位置集合Ps，在投影机图像空间中用opengl建立贝塞尔曲面作为投影曲面，将投影画面作为纹理形式映射到opengl贝塞尔曲面上，用投影机图像空间位置集合Ps作为三次贝塞尔曲面的N行N列控制点形成投影曲面，完成几何校正，能针对非线性曲面几何校正自动处理，设备获取容易、效果好。

Description

基于图像识别的曲面投影自动几何校正方法

技术领域

本发明涉及一种信号导向性好、通用易实施的基于图像识别的曲面投影自动几何校正方法，属于虚拟现实多通道投影显示技术领域。

背景技术

投影多通道融合是指两台以上投影机通过边缘融合后达到整体更大画面的增强效果。投影采用边缘融合技术后，可以应用于指挥监控中心、网管中心、视频会议、学术报告、技术讲座和多功能会议室，主要适合对大画面、多色彩、高亮度、高分辨率等有特定需求的超大场所。

在进行投影多通道融合过程中, 由于多采用平面幕和环幕以及天花板吊投的方式，通常投影机投射出来的画面形状并非规则的长方形画面，而是变形的非规则形状；为使整个投影画面能够还原成规则的原始画面形状,并投射在投影幕区域内,需要对投影画面进行非线性曲面几何校正。在进行投影多通道融合调试的过程中,投影的非线性曲面几何校正的调节通常采用手动调节方式,也有采用基于相机的自动校正方式。手动调节主要是通过手动拖拉投影曲面的控制点的方式进行，一般需要反复操作上百个甚至上千个控制点，调试过程复杂、繁琐、耗时长、效果不易控制，对调试人员经验要求高；另外一种通过相机标定求取投影机和投影幕之间单应性矩阵的方法，通过投影幕重建，计算预扭曲矩阵来达到曲面几何校正目的，可以对投影幕的曲面校正进行一定程度的自动处理，但是这种方法需要对使用的摄影头和投影机进行提前标定,且整个过程较复杂,工程实施不易控制；因此对于投影的曲面非线性几何校正的调节迫切需要一种对调试人员要求低、操作简便、效果较好的实施方案。

发明内容

本发明为解决以上问题提出了一种基于图像识别的曲面投影自动几何校正方法,利用计算机视觉开发库opencv、开放图形库opengl、普通网络摄影头和红外激光笔，通过投影机投影出具有可识别定位绿色方块的图像,并使用电脑通过摄影头采集图像并识别定位所投定位绿色方块的位置,计算摄影头图像空间和投影机图像空间之间的单应性矩阵，通过红外激光笔标注并通过电脑使用摄影头采集图像并识别投影幕中目标投影控制点位置,自动计算投影曲面控制点。

本发明实现上述目的采取的技术方案是这样实现的：

一种基于图像识别的曲面投影自动几何校正方法，包括以下步骤：

步骤1）、安置摄影头正对投影幕中心，使摄影头与投影幕保持垂直状态并固定姿态保持稳定，连接摄影头到电脑；

步骤2）、通过投影机投射包含至少4个可识别定位绿色方块的投影图像,电脑通过摄影头采集图像并识别定位色块位置,计算出摄影头图像空间和投影机图像空间之间的单应性矩阵H；

步骤3）、在投影机上投射全黑图像，使用N*N个红外激光笔在投影幕的目标投影区域横排和竖排平分点处投射形成N排N列激光点阵；电脑通过摄影头采集一帧图像，识别红外激光点阵位置，记录位置集合Cd{Cd1，Cd2…Cdi}；

步骤4）、根据步骤2计算出来的摄影头图像空间和投影机图像空间之间的单应性矩阵H,反算行列交叉点位置集合Cd在其投影机图像空间中的位置集合Ps，公式如下：Ps=H*Cd；

步骤5）、在投影机图像空间中使用开放图形库opengl建立贝塞尔曲面作为投影曲面，将投影画面作为纹理形式映射到开放图形库opengl贝塞尔曲面上，使用计算出来的投影机图像空间中的位置集合Ps作为三次贝塞尔曲面的N行N列控制点，形成投影曲面，完成几何校正。

在步骤2）中，计算出摄影头图像空间和投影机图像空间之间的单应性矩阵H，具体包含以下步骤:

第一步：投影机投影包含至少4个可识别定位绿色方块的投影图像,按照上下左右顺序记录可定位色块在投影机图像空间中的位置集合P{ P1,P2…Pi },

第二步：电脑通过摄影头采集图像,并识别定位绿色方块,定位绿色方块的识别包含以下步骤:

步骤a）、使用计算机视觉开发库opencv二值化并检测采集图像中的多边形轮廓,

步骤b）、使用计算机视觉开发库opencv将检测到的轮廓进行多边形拟合，

步骤c）、判断所拟合多边形是否为四边形，如果不是则剔除，如果是则进行下一步判断，

步骤d）、计算四边形中心点，并获取中心点所在图像位置的像素颜色,如果颜色不为绿色则剔除,如果为绿色则作为定位绿色方块，

步骤e）、根据识别出来的定位绿色方块的坐标，对识别出来的色块进行上下左右排序，形成摄影头图像空间定位点集C{C1,C2…Ci}，

第三步：此时识别定位绿色方块在投影机图像空间的点集P和摄影头图像空间的点集C一一对应，根据以下公式计算出摄影头图像空间和投影机图像空间之间的单应性矩阵H：P=H*C，采用最小二乘法解算出单应。

在步骤3）中，识别红外激光点阵位置的

第一步：使用计算机视觉开发库opencv进行二值化并检测采集图像中的轮廓，

第二步：使用计算机视觉开发库opencv计算轮廓的面积，如果轮廓的面积大于一定阀值则去除，

第三步：使用计算机视觉开发库opencv计算轮廓外接圆，并求出外接圆圆心作为检测到的激光点位置。

本发明利用网络摄影头和基于计算机视觉开发库opencv的图像自动识别的非线性曲面自动几何校正算法，具有以下优点：

（1）、整个投影过程以目标为导向，操作简单，效果好。

（2）、所使用的网络摄影头设备成本低而且极易获取，方案具有良好的通用性和易实施性。

附图说明

图1是多通道边缘融合非线性曲面几何校正示意图。

图2是本发明的步骤2使用的可识别定位色块的特定投影图像。

具体实施方式

结合附图，通过实施例方式对本发明进一步详细说明。

本实施例在windows操作系统上利用opencv（计算机视觉开发库）开发库、opengl（开放图形库）、网络摄影头和红外激光笔，首先通过投影机投影出具有可识别定位绿色方块的图像，电脑通过摄影头采集图像并识别定位所投定位绿色方块的位置计算摄影头图像空间和投影机图像空间之间的单应性矩阵，通过红外激光笔标注实际目标投影位置并识别投影幕中目标投影控制点位置自动计算投影曲面控制点的一种自动几何校正方法。本实施例所述的基于图像识别的曲面投影自动几何校正算法假设投影幕为平面幕或环幕，实施执行本方法之前，确保投影机所投画面能够覆盖整个投影幕中对应的投影区域。

所述曲面投影自动几何校正方法的实施包括以下步骤：

步骤1）、安置摄影头正对投影幕中心，使摄影头与投影幕保持垂直状态并固定姿态保持稳定，连接摄影头到电脑；

步骤2）、通过投影机投射包含包含若干个或者至少4个或者>=4个可识别定位绿色方块的投影图像,电脑通过摄影头采集图像并识别定位色块位置,计算出摄影头图像空间和投影机图像空间之间的单应性矩阵H；具体包含以下步骤:

第一步：投影机投影包含至少4个可识别定位绿色方块的投影图像,按照上下左右顺序记录可定位色块在投影机图像空间中的位置集合P{ P1,P2…Pi },

第二步：电脑通过摄影头采集图像,并识别定位绿色方块,定位绿色方块的识别包含以下步骤:

步骤a）、使用计算机视觉开发库opencv二值化并检测采集图像中的多边形轮廓,

步骤b）、使用计算机视觉开发库opencv将检测到的轮廓进行多边形拟合，

步骤c）、判断所拟合多边形是否为四边形，如果不是则剔除，如果是则进行下一步判断，

步骤d）、计算四边形中心点，并获取中心点所在图像位置的像素颜色,如果颜色不为绿色则剔除,如果为绿色则作为定位绿色方块，

步骤e）、根据识别出来的定位绿色方块的坐标，对识别出来的色块进行上下左右排序，形成摄影头图像空间定位点集C{C1,C2…Ci}，

第三步：此时识别定位绿色方块在投影机图像空间的点集P和摄影头图像空间的点集C一一对应，根据以下公式计算摄影头图像空间和投影机图像空间之间的单应性矩阵H：P=H*C，采用最小二乘法解算出单应性矩阵H。

步骤3）、在投影机上投射全黑图像，使用N*N个红外激光笔在投影幕的目标投影区域横排和竖排平分点处投射形成N排N列激光点阵；电脑通过摄影头采集一帧图像，识别红外激光点阵位置，记录位置集合Cd{Cd1，Cd2…Cdi}；

在步骤3）中，识别红外激光点阵位置的步骤如下：

第一步：使用计算机视觉开发库opencv进行二值化并检测采集图像中的轮廓，

第二步：使用计算机视觉开发库opencv计算轮廓的面积，如果轮廓的面积大于一定阀值则去除，

第三步：使用计算机视觉开发库opencv计算轮廓外接圆，并求出外接圆圆心作为检测到的激光点位置。

步骤4）、根据步骤2计算出来的摄影头图像空间和投影机图像空间之间的单应性矩阵H，反算行列交叉点位置集合Cd在其投影机图像空间中的位置集合Ps，公式如下：Ps=H*Cd。

步骤5）、在投影机图像空间中使用开放图形库opengl建立贝塞尔曲面作为投影曲面，将投影画面作为纹理形式映射到开放图形库opengl贝塞尔曲面上，使用计算出来的投影机图像空间中的位置集合Ps作为三次贝塞尔曲面的N行N列控制点，形成投影曲面，完成几何校正。

本发明公开的基于图像识别的曲面投影自动几何校正算法包括以下步骤：安置摄影头正对投影幕中心，使摄影头与投影幕保持垂直状态并固定姿态保持稳定，连接摄影头到电脑；通过投影机投射包含若干个（>=4）可识别定位绿色方块的投影图像,电脑通过摄影头采集图像并识别定位色块位置,计算出摄影头图像空间和投影机图像空间之间的单应性矩阵H；在投影机上投射全黑图像，使用N*N个红外激光笔在投影幕的目标投影区域横排和竖排平分点处投射形成N排N列激光点阵。电脑通过摄影头采集一帧图像，识别红外激光点阵的位置，记录位置集合Cd{Cd1，Cd2…Cdi}；根据步骤2计算出来的摄影头图像空间和投影机图像空间之间的单应性矩阵H反算行列交叉点位置集合Cd在其投影机图像空间中的位置集合Ps，公式如下：Ps=H*Cd;在投影机图像空间中使用opengl建立贝塞尔曲面作为投影曲面，将投影画面作为纹理形式映射到opengl贝塞尔曲面上。

使用计算出来的投影机图像空间中的位置集合Ps作为三次贝塞尔曲面的N行N列控制点，形成投影曲面完成几何校正。本发明通过opencv、opengl、网络摄影头和红外激光笔自动识别计算摄影头图像空间和投影机图像空间之间的单应性矩阵并通过获取投影幕目标投影位置控制点计算到投影机图像空间中作为投影曲面控制点控制投影内容，能够针对非线性曲面几何校正自动处理，设备获取容易易实施效果好。

Claims (3)

1.一种基于图像识别的曲面投影自动几何校正方法，其特征在于：包括以下步骤：

步骤1）、安置摄影头正对投影幕中心，使摄影头与投影幕保持垂直状态并固定姿态保持稳定，连接摄影头到电脑；

步骤2）、通过投影机投射包含至少4个可识别定位绿色方块的投影图像,电脑通过摄影头采集图像并识别定位色块位置,计算出摄影头图像空间和投影机图像空间之间的单应性矩阵H；

步骤3）、在投影机上投射全黑图像，使用N*N个红外激光笔在投影幕的目标投影区域横排和竖排平分点处投射形成N排N列激光点阵；电脑通过摄影头采集一帧图像，识别红外激光点阵位置，记录位置集合C_d{C_d1，C_d2…C_di}；

步骤4）、根据步骤2计算出来的摄影头图像空间和投影机图像空间之间的单应性矩阵H，反算行列交叉点位置集合C_d在其投影机图像空间中的位置集合P_s，公式如下：P_s=H*C_d；

步骤5）、在投影机图像空间中使用开放图形库opengl建立贝塞尔曲面作为投影曲面，将投影画面作为纹理形式映射到开放图形库opengl贝塞尔曲面上，使用计算出来的投影机图像空间中的位置集合P_s作为三次贝塞尔曲面的N行N列控制点，形成投影曲面，完成几何校正。

2.根据权利要求1所述的基于图像识别的曲面投影自动几何校正方法，其特征在于：在步骤2）中，计算出摄影头图像空间和投影机图像空间之间的单应性矩阵H，具体包含以下步骤:

第一步：投影机投影包含至少4个可识别定位绿色方块的投影图像,按照上下左右顺序记录可定位色块在投影机图像空间中的位置集合P{ P₁,P₂…P_i }；

第二步：电脑通过摄影头采集图像,并识别定位绿色方块,定位绿色方块的识别包含以下步骤:

步骤a）、使用计算机视觉开发库opencv二值化并检测采集图像中的多边形轮廓,

步骤b）、使用计算机视觉开发库opencv将检测到的轮廓进行多边形拟合，

步骤c）、判断所拟合多边形是否为四边形，如果不是则剔除，如果是则进行下一步判断，

步骤d）、计算四边形中心点，并获取中心点所在图像位置的像素颜色,如果颜色不为绿色则剔除,如果为绿色则作为定位绿色方块，

步骤e）、根据识别出来的定位绿色方块的坐标，对识别出来的色块进行上下左右排序，形成摄影头图像空间定位点集C{C₁,C₂…C_i}；

第三步：此时识别定位绿色方块在投影机图像空间的点集P和摄影头图像空间的点集C一一对应，根据以下公式计算摄影头图像空间和投影机图像空间之间的单应性矩阵H：P=H*C，采用最小二乘法解算出单应性矩阵H。

3.根据权利要求1所述的基于图像识别的曲面投影自动几何校正方法，其特征在于：在步骤3）中，识别红外激光点阵位置的步骤如下：

第一步：使用计算机视觉开发库opencv进行二值化并检测采集图像中的轮廓；

第二步：使用计算机视觉开发库opencv计算轮廓的面积，如果轮廓的面积大于一定阀值则去除；

第三步：使用计算机视觉开发库opencv计算轮廓外接圆，并求出外接圆圆心作为检测到的激光点位置。