CN106507077B - 基于图像分析的投影仪画面矫正及遮挡避让方法 - Google Patents

Abstract

本发明提供了一种基于图像分析的投影仪画面矫正及遮挡避让方法，其包括判断投影区域图像是否存在几何畸变；存在几何畸变的投影区域图像与原图像进行特征匹配处理，计算投影区域图像与原图像之间的映射关系；分析投影区域内的最大无畸变投影区域，并提取其顶点坐标；将顶点坐标通过映射关系得到映射坐标；按照映射坐标进行反向变形处理和边缘填充，得到输出图像；获取最大无畸变投影区域的图像与计算机中原同帧图像在相同分辨率下进行帧差，提取出遮挡物的轮廓；获取未遮挡区域，计算出最大可投影区域，通过映射关系再进行反向变形处理和边缘填充，得到输出图像。本发明的方法实用，矫正效果好，而且解决了投影区遮挡问题。

Description

基于图像分析的投影仪画面矫正及遮挡避让方法

技术领域

本发明属于投影仪画面自动矫正技术领域，具体是一种基于图像分析的投影仪画面矫正及遮挡避让方法。

背景技术

投影仪画面的自适应几何矫正是根据特定类型的表面信息对投影仪画面进行自动地矫正，随着可视化技术、虚拟现实以及普适计算环境的推广，以投影光学为核心技术的各种投影设备在日常生活中扮演着重要的角色。作为教育和科研领域的一种传统辅助显示设备,常规投影机可以提供大范围可伸缩的投影图像来适应各种不同尺寸的投影显示区域。近些年来，投影机在显示流明、像素质量、制造成本等多个方面有了突破进展，但是将投影机应用在日常生活环境以及特定功能可视化显示环境中仍然会遇到各种问题，例如由计算机、投影仪构成的演示系统在遇到几何畸变和投影区域遮挡时，往往需要人工进行相应调整，费时费力，而且很多时候投影区遮挡无法消除。

专利“2013103661247”公开了一种投影仪画面自适应几何矫正的方法”，该发明对图像进行几何矫正，主要依靠构建图像点云间的映射关系来进行矫正，计算过程相对复杂，而本发明将各种图像抽象为多边形，构建多边形之间映射关系，计算更为简单高效。另外，该发明没有解决投影中常见的投影区遮挡问题，而本发明很好地实现了投影遮挡区域的自动避让。

发明内容

为了克服现有技术中的不足，本发明提供了一种基于图像分析的投影仪画面矫正及遮挡避让方法。

本发明采取的技术方案如下：

一种基于图像分析的投影仪画面矫正及遮挡避让方法，包括以下步骤：

步骤1：采用相机平面标定法，标定摄像头的光学畸变参数，对摄像头的径向畸变和切向畸变进行矫正；

步骤2：投影仪将计算机中的原图像投影到投影平面上；

步骤3：摄像头面对投影平面拍摄从而得到包含全部投影画面的拍摄图像并将拍摄图像发送给计算机；

步骤4：计算机采用边缘检测方法识别拍摄图像内的投影区域从而得到投影区域图像；

步骤5：计算机检测投影区域图像的四边形外边框是否为处于水平方向的矩形从而判断投影区域图像是否存在几何畸变；

步骤6：将步骤5中存在几何畸变的投影区域图像与计算机中原图像进行特征匹配处理，计算投影区域图像与原图像之间二维位置坐标的映射关系；

步骤7：分析投影区域内的最大无畸变投影区域，提取最大无畸变投影区域的顶点坐标；

步骤8：将顶点坐标通过步骤6中的映射关系得到映射坐标；将原图像按照映射坐标进行反向变形处理，其相较原图像缩小的部分用纯色填充，得到输出图像，计算机将输出图像发送到投影仪，投影仪进行投影，完成几何矫正；

步骤9：获取摄像头新拍摄图像中最大无畸变投影区域的图像与计算机中原同帧图像在相同分辨率下进行帧差，帧差结果小于阈值的区域表明无遮挡物，大于阈值则表明有遮挡物，从而可以提取出遮挡物的轮廓；

步骤10：把最大无畸变投影区域减去步骤9中获取的遮挡物区域得到未遮挡区域，从而计算出最大可投影区域，将最大可投影区域的顶点坐标带入步骤8，最终通过步骤8投影仪进行投影，完成遮挡区域避让。

优选的，步骤6中所述计算投影区域图像与原图像之间二维位置坐标的映射关系，具体为：设A’B’C’D’与ABCD间的关系如公式1，其中(x’,y’)为A’B’C’D’上点坐标，(x,y)为ABCD上点坐标，a0, a1, a2, b0, b1, b2,为待解变换参数；

（1）

将A’B’C’D’与ABCD上对应的顶点坐标带入公式1，通过最小二乘法即可计算出a0,a1, a2, b0, b1, b2,从而得到映射关系。

优选的，所述的步骤7包括：根据投影区域计算投影区域内最大内接矩形，然后根据原图像长宽比要求对内接矩形进行长或宽的缩小，缩小后的矩形坐标即为最大无畸变投影区域的坐标，从而分析出最大无畸变投影区域。

优选的，步骤10中所述的计算出最大可投影区域包括：根据未遮挡区域计算未遮挡区域内最大内切矩形的坐标，然后根据原图像长宽比要求对内切矩形进行长或宽的缩小，该缩小后的矩形坐标即为最大可投影区域图像的坐标，从而分析出最大可投影区域。

本发明相较现有技术具有如下技术效果：

本发明结合现有技术的优势，实现了无人为干预下的投影图像几何矫正和投影区遮挡的避让，达到投影图像的自适应调整。本发明优点有：对当前使用的投影系统完全兼容，只需加装一个普通摄像头即可，对摄像头拍摄位置和角度没有严格要求，拍摄时只需包含全部投影画面即可。本发明建立由拍摄图像处理得到的投影区图像和原图像的映射关系，根据映射关系对原图像进行相应反向变形和纯色填充，快速实现几何矫正。对目前只能通过手工调节，而且可能无法调好的投影区遮挡问题，本发明也通过对输出图像相应的反向变形和纯色填充来实现避让，实现了通过计算机完成投影的自适应调整，解决几何畸变和投影区遮挡，无需人工干预。因此本发明方法简单，矫正效果好，而且解决了投影区遮挡问题。

附图说明

图1为原图像和投影区域图像的示意图。

图2为投影区域图像和最大无畸变投影区域的示意图。

图3为原图像和输出图像的示意图。

图4为原图像和最大无畸变投影区域的示意图。

图5为最大可投影区域的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

一种基于图像分析的投影仪画面矫正及遮挡避让方法，包括以下步骤：

步骤1：采用相机平面标定法，标定摄像头的光学畸变参数，对摄像头的径向畸变和切向畸变进行矫正；

步骤2：投影仪将计算机中的原图像投影到投影平面上；

步骤3：摄像头面对投影平面拍摄从而得到包含全部投影画面的拍摄图像并将拍摄图像发送给计算机；

步骤4：如图1，计算机采用边缘检测方法识别拍摄图像内的投影区域从而得到投影区域图像A’B’C’D’；

步骤5：如图1，计算机检测投影区域图像A’B’C’D’的四边形外边框是否为处于水平方向的矩形从而判断投影区域图像A’B’C’D’是否存在几何畸变；

步骤6：如图1，将步骤5中存在几何畸变的投影区域图像A’B’C’D’与计算机中原图像ABCD进行特征匹配处理，计算投影区域图像A’B’C’D’与原图像ABCD之间二维位置坐标的映射关系；具体如下：设A’B’C’D’与ABCD间的关系如公式1，其中(x’,y’)为A’B’C’D’上点坐标，(x,y)为ABCD上点坐标，a0, a1, a2, b0, b1, b2,为待解变换参数；

（1）

将A’B’C’D’与ABCD上对应的顶点坐标带入公式1，通过最小二乘法即可计算出a0,a1, a2, b0, b1, b2,从而得到映射关系；

步骤7：如图2，分析投影区域图像A’B’C’D’内的最大无畸变投影区域A1’B1’C1’D1’，提取最大无畸变投影区域A1’B1’C1’D1’的顶点坐标；

步骤8：如图3，将顶点坐标通过步骤6中的映射关系得到映射坐标；将原图像ABCD按照映射坐标进行反向变形处理,得到图像A1B1C1D1，图像A1B1C1D1相较原图像ABCD缩小的部分用纯色填充，得到输出图像A11B11C11D11，计算机将输出图像A11B11C11D11发送到投影仪，投影仪进行投影，完成几何矫正；

步骤9：如图4，获取摄像头新拍摄图像中最大无畸变投影区域A1’B1’C1’D1’的图像与计算机中同帧的原图像ABCD在相同分辨率下进行帧差，帧差结果小于阈值的区域表明无遮挡物，大于阈值则表明有遮挡物，从而可以提取出遮挡物的轮廓，如图4中的A1’B1’C1’D1’内的方格线条为遮挡物的轮廓；

步骤10：如图4和图5，根据步骤9中获取的遮挡物轮廓和最大投影区域获取未遮挡区域，其中最大投影区域为最大无畸变投影区域A1’B1’C1’D1’，计算出最大可投影区域A2’B2’C2’D2’，将最大可投影区域A2’B2’C2’D2’的顶点坐标带入步骤8，最终通过步骤8投影仪进行投影，完成遮挡区域避让。

本实施例中，所述的步骤7包括：根据投影区域图像A’B’C’D’计算投影区域内最大内接矩形并按原图像ABCD长宽比进行缩小，该缩小矩形的坐标即为最大无畸变投影区域A1’B1’C1’D1’的坐标，从而分析出最大无畸变投影区域A1’B1’C1’D1’。

本实施例中，步骤10中所述的计算出最大可投影区域A2’B2’C2’D2’包括：根据未遮挡区域计算未遮挡区域内最大内切矩形并按原图像ABCD长宽比进行缩小，该缩小矩形的坐标即为最大可投影区域A2’B2’C2’D2’的坐标，从而分析出最大可投影区域A2’B2’C2’D2’。

综上，本发明提供了一种基于图像分析的投影仪画面矫正及遮挡避让方法，包括：计算机判断投影区域图像是否存在几何畸变；存在几何畸变的投影区域图像与原图像进行特征匹配处理，计算投影区域图像与原图像之间的映射关系；分析投影区域内的最大无畸变投影区域，提取最大无畸变投影区域的顶点坐标；将顶点坐标通过映射关系得到映射坐标；将原图像按照映射坐标进行反向变形处理和边缘填充，得到输出图像，计算机将输出图像发送到投影仪，投影仪进行投影；获取摄像头新拍摄图像中最大无畸变投影区域的图像与计算机中原同帧图像在相同分辨率下进行帧差，提取出遮挡物的轮廓；获取未遮挡区域，计算出最大可投影区域，通过映射关系再进行反向变形处理和边缘填充，得到输出图像，计算机将输出图像发送到投影仪，投影仪进行投影；本发明的方法实用，矫正效果好，而且解决了投影区遮挡问题。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (3)

1.一种基于图像分析的投影仪画面矫正及遮挡避让方法，其特征在于包括以下步骤：

步骤1：采用相机平面标定法，标定摄像头的光学畸变参数，对摄像头的径向畸变和切向畸变进行矫正；

步骤2：投影仪将计算机中的原图像投影到投影平面上；

步骤3：摄像头面对投影平面拍摄从而得到包含全部投影画面的拍摄图像并将拍摄图像发送给计算机；

步骤4：计算机采用边缘检测方法识别拍摄图像内的投影区域从而得到投影区域图像；

步骤5：计算机检测投影区域图像的四边形外边框是否为处于水平方向的矩形，从而判断投影区域图像是否存在几何畸变；

步骤6：将步骤5中存在几何畸变的投影区域图像与计算机中原图像进行特征匹配处理，计算投影区域图像与原图像之间二维位置坐标的映射关系；

步骤7：分析投影区域内的最大无畸变投影区域，提取最大无畸变投影区域的顶点坐标；

步骤8：将顶点坐标通过步骤6中的映射关系得到映射坐标；将原图像按照映射坐标进行反向变形处理，其相较原图像缩小的部分用纯色填充，得到输出图像，计算机将输出图像发送到投影仪，投影仪进行投影，完成几何矫正；

步骤9：获取摄像头新拍摄图像中最大无畸变投影区域的图像与计算机中原同帧图像在相同分辨率下进行帧差，帧差结果小于阈值的区域表明无遮挡物，大于阈值则表明有遮挡物，从而可以提取出遮挡物的轮廓；

步骤10：把最大无畸变投影区域减去步骤9中获取的遮挡物区域得到未遮挡区域，从而计算出最大可投影区域，将最大可投影区域的顶点坐标带入步骤8，最终通过步骤8投影仪进行投影，完成遮挡区域避让；

所述步骤6中所述计算投影区域图像与原图像之间二维位置坐标的映射关系，具体为：设A’B’C’D’与ABCD间的关系如公式1，其中(x’,y’)为A’B’C’D’上点坐标，(x,y)为ABCD上点坐标，a0,a1,a2,b0,b1,b2,为待解变换参数；

将A’B’C’D’与ABCD上对应的顶点坐标带入公式1，通过最小二乘法即可计算出a0,a1,a2,b0,b1,b2,从而得到映射关系。

2.根据权利要求1所述的基于图像分析的投影仪画面矫正及遮挡避让方法，其特征在于所述步骤7包括：根据投影区域计算投影区域内最大内接矩形，然后根据原图像长宽比要求对内接矩形进行长或宽的缩小，缩小后的矩形坐标即为最大无畸变投影区域的坐标，从而分析出最大无畸变投影区域。

3.根据权利要求1所述的基于图像分析的投影仪画面矫正及遮挡避让方法，其特征在于步骤10中所述的计算出最大可投影区域包括：根据未遮挡区域计算未遮挡区域内最大内切矩形的坐标，然后根据原图像长宽比要求对内切矩形进行长或宽的缩小，该缩小后的矩形坐标即为最大可投影区域图像的坐标，从而分析出最大可投影区域。