发明内容
本发明的目的在于提供一种投影图像自动匹配幕布区域的方法,以解决上述背景技术中提出的现有自动梯形矫正技术,是将投影装置投射的画面矫正为固定比例的矩形画面,但是这种梯形矫正技术存在如下缺陷:第一,此种矫正方法对接收投影画面的区域面积要求比较高,因为当投影仪距离墙面超过250厘米时,投影画面的尺寸接近100寸,提供如此大面积的区域去接收投影画面成本比较高;第二,现有自动梯形矫正技术,矫正后的画面位置是通过算法计算后得出,位置存在一定的随机性,当需要将画面投射至指定的区域时,现有梯形矫正算法无法完全自动将画面恰好投影至目标区域;第三,经过现有梯形矫正技术矫正后的画面比例固定,当目标投影区域的比例与矫正后的画面不一致时,会影响投影仪的显示效果的问题。
为实现上述目的,本发明提供如下技术方案:一种投影图像自动匹配幕布区域的方法,该投影图像自动匹配幕布区域的方法包括如下步骤:
S1:首先基于ArUco库制作四个二进制平方标记,并记录每个标记的ID,制作完成后依次将标记复制到的纯白图像的指定位置,该纯白图像的尺寸为投影装投射的原始画面的尺寸;
S2:利用投射装置依次投射带二进制平方标记的图像和纯白图像,依次采集带二进制平方标记的图像以及只含有幕布区域的图像;
S3:基于ArUco建立二进制平方标记检测方法,检测的模板与创建二进制平方标记时所用的尺寸保持一致,用该方法对步骤S2中采集到的带有二进制平方标记的图像进行检测,按照步骤S1中记录标记顶点坐标的顺序,依次记录这里检测到的二进制平方标记的顶点坐标;
S4:提取步骤S3中提取到的标记顶点坐标与步骤S1中记录的原始图像标记点的顶点坐标,计算图像采集装置采集到的带标记图像到投影装置投射的带标记原始图像的透视变换关系,并利用该变换关系,对步骤S2中采集到的只含有幕布区域的图像做透视变换,至此,完成从图像中提取只含有幕布区域的图像;
S5:创建尺寸为7x7的二维高斯模板,对S4中得到的只含有幕布区域的图像进行卷积操作,循环进行这个扫描的操作,直到此方向上某个位置,下一个像素点灰度值与当前像素点灰度值之间的差值的绝对值超过设定的阈值时,终止循环,并记录当前点的位置,扫描起点回到图像的中心点,如果不存在超过设定阈值的点,则当下一个像素点的坐标超出图像范围时终止循环;
S6:从起点开始,以1度为步长,逆时针旋转扫描方向,在此方向上执行S5中的扫描操作,并记录终止循环时的像素点坐标,直到完成360度的图像扫描,完成扫描后,得到的结果为幕布边缘的一组像素坐标点;
S7:计算步骤S6中的像素坐标点的重心,以重心坐标为基准,按照像素坐标点到中心点的距离将该组坐标点分为4组,这四组点即为幕布区域的四条边缘上的点,对这四组点分别拟合直线,以其中一组点为例;
S8:完成四条直线方程的拟合后,计算四条直线的交点,并转换为图像坐标,按找左下角,右下角,右上角,左上角的顺序记录四个顶点的坐标,并提取投射装置投射的画面的原始影像对应位置的坐标,根据这两组坐标,计算原始影像到幕布区域变换后图像的投影矩阵,最终图像校正模块根据投影矩阵将投影画面校正至目标幕布区域内,至此完成投影图像自动适应幕布区域的校正过程。
优选的,所述步骤S1中的每个二进制平方标记,从左上角开始,按照顺时针的方向,分别记录该标记左上角、右上角、右下角、左下角顶点的位置坐标,共16个顶点坐标。
优选的,所述步骤S2中的投射图案时需要保证四个二进制平方标记均处在幕布区域内,并利用影像采集装置采集两幅图像。
优选的,所述步骤S5中的计算卷积后的图像的中心点坐标,以此中心点为起点,设置为当前像素点,沿着水平向右的方向,以一个像素为步长前进,计算下一个像素点的灰度值与当前像素点的灰度值的差的绝对值,并将下一个像素点的坐标设置为当前点像素点的坐标,前进一个像素,继续计算下一个像素点与当前像素点的灰度值差的绝对值。
优选的,所述步骤S7中的拟合直线的方法包括如下步骤:
A1:从该组点中随机取两个点,计算通过这两个点的直线方程;
A2:计算该组点中其余点到步骤A1中的直线的距离,当距离小于设定的距离阈值时,将该点标记为局内点,并统计局内点的个数;
A3:重复步骤A1和步骤A2,找到局内点数量最多的直线模型;
A4:利用局内点数量最多的模型对应的局内点,重新估计直线的方程,该过程可以通过最小二乘法实现。
与现有技术相比,本发明的有益效果是:本发明能够自动识别幕布区域,并将投影画面投射至目标区域内,因此能够自动适配各种比例的幕布,同时,对使用环境的要求不高,能够弥补现有自动梯形矫正算法面临的上述缺陷。此外,本发明只需要借助摄像头采集图像,在现有投影仪的硬件基础上,不需要增加额外的硬件成本,以及矫正投影画面时不需要进行相关的标定,操作简单,快捷。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种投影图像自动匹配幕布区域的方法,能够自动识别幕布区域,并将投影画面投射至目标区域内,因此能够自动适配各种比例的幕布,同时,对使用环境的要求不高,能够弥补现有自动梯形矫正算法面临的上述缺陷。此外,本发明只需要借助摄像头采集图像,在现有投影仪的硬件基础上,不需要增加额外的硬件成本,以及矫正投影画面时不需要进行相关的标定,操作简单,快捷。
请参阅图1,图1为本发明实施例中一种投影图像自动匹配幕布区域的方法的流程图,该投影图像自动匹配幕布区域的方法包括如下步骤:
S1:首先基于ArUco库制作四个二进制平方标记,并记录每个标记的ID,制作完成后依次将标记复制到的纯白图像的指定位置,该纯白图像的尺寸为投影装投射的原始画面的尺寸,每个二进制平方标记,从左上角开始,按照顺时针的方向,分别记录该标记左上角、右上角、右下角、左下角顶点的位置坐标,共16个顶点坐标,图2为本发明所用的标记图像,另外制作一张同等尺寸的纯白图像,图3为本发明所用的纯白图像;
S2:利用投射装置依次投射带二进制平方标记的图像和纯白图像,依次采集带二进制平方标记的图像以及只含有幕布区域的图像,投射图案时需要保证四个二进制平方标记均处在幕布区域内,并利用影像采集装置采集两幅图像;
S3:基于ArUco建立二进制平方标记检测方法,检测的模板与创建二进制平方标记时所用的尺寸保持一致,用该方法对S2中采集到的带有二进制平方标记的图像进行检测,按照S1中记录标记顶点坐标的顺序,依次记录这里检测到的二进制平方标记的顶点坐标,
S4:提取S3中提取到的标记顶点坐标与S1中记录的原始图像标记点的顶点坐标,计算图像采集装置采集到的带标记图像到投影装置投射的带标记原始图像的透视变换关系,并利用该变换关系,对S2中采集到的只含有幕布区域的图像做透视变换,至此,完成从图像中提取只含有幕布区域的图像,
S5:创建尺寸为7x7的二维高斯模板,对S4中得到的只含有幕布区域的图像进行卷积操作,计算卷积后的图像的中心点坐标,以此中心点为起点,设置为当前像素点,沿着水平向右的方向,以一个像素为步长前进,计算下一个像素点的灰度值与当前像素点的灰度值的差的绝对值,并将下一个像素点的坐标设置为当前点像素点的坐标,前进一个像素,继续计算下一个像素点与当前像素点的灰度值差的绝对值,循环进行这个扫描的操作,直到此方向上某个位置,下一个像素点灰度值与当前像素点灰度值之间的差值的绝对值超过设定的阈值时,终止循环,并记录当前点的位置,扫描起点回到图像的中心点,如果不存在超过设定阈值的点,则当下一个像素点的坐标超出图像范围时终止循环;
S6:从起点开始,以1度为步长,逆时针旋转扫描方向,在此方向上执行S5中的扫描操作,并记录终止循环时的像素点坐标,直到完成360度的图像扫描,完成扫描后,得到的结果为幕布边缘的一组像素坐标点;
S7:计算步骤S6中的像素坐标点的重心,以重心坐标为基准,按照像素坐标点到中心点的距离将该组坐标点分为4组,这四组点即为幕布区域的四条边缘上的点,对这四组点分别拟合直线,以其中一组点为例,拟合直线的方法如下:
A1:从该组点中随机取两个点,计算通过这两个点的直线方程;
A2:计算该组点中其余点到A1中的直线的距离,当距离小于设定的距离阈值时,将该点标记为局内点,并统计局内点的个数;
A3:重复步骤A1和步骤A2,找到局内点数量最多的直线模型;
A4:利用局内点数量最多的模型对应的局内点,重新估计直线的方程,该过程可以通过最小二乘法实现,
S8:完成四条直线方程的拟合后,计算四条直线的交点,并转换为图像坐标,按找左下角,右下角,右上角,左上角的顺序记录四个顶点的坐标,并提取投射装置投射的画面的原始影像对应位置的坐标,根据这两组坐标,计算原始影像到幕布区域变换后图像的投影矩阵,最终图像校正模块根据投影矩阵将投影画面校正至目标幕布区域内,至此完成投影图像自动适应幕布区域的校正过程。图4为本发明实施例中一种目标幕布区域示意图。
本发明提供一种投影图像自动匹配幕布区域的装置,能够自动识别幕布区域,并将投影画面投射至目标区域内,因此能够自动适配各种比例的幕布,同时,对使用环境的要求不高,能够弥补现有自动梯形矫正算法面临的上述缺陷。此外,本发明只需要借助摄像头采集图像,在现有投影仪的硬件基础上,不需要增加额外的硬件成本,以及矫正投影画面时不需要进行相关的标定,操作简单,快捷。
请参阅图5为本发明实施例中一种投影图像自动匹配幕布区域的装置结构框图,该装置包括:
标记模块501:用于首先基于ArUco库制作四个二进制平方标记,并记录每个标记的ID,制作完成后依次将标记复制到的纯白图像的指定位置,该纯白图像的尺寸为投影装投射的原始画面的尺寸;
采集模块502:用于利用投射装置依次投射带二进制平方标记的图像和纯白图像,依次采集带二进制平方标记的图像以及只含有幕布区域的图像;
检测模块503:用于基于ArUco建立二进制平方标记检测方法,检测的模板与创建二进制平方标记时所用的尺寸保持一致,用该方法对采集模块中采集到的带有二进制平方标记的图像进行检测,按照标记模块中记录标记顶点坐标的顺序,依次记录这里检测到的二进制平方标记的顶点坐标;
提取模块504:用于提取检测模块中提取到的标记顶点坐标与标记模块中记录的原始图像标记点的顶点坐标,计算图像采集装置采集到的带标记图像到投影装置投射的带标记原始图像的透视变换关系,并利用该变换关系,对采集模块中采集到的只含有幕布区域的图像做透视变换。至此,完成从图像中提取只含有幕布区域的图像;
卷积模块505:用于创建尺寸为7x7的二维高斯模板,对提取模块中得到的只含有幕布区域的图像进行卷积操作,循环进行这个扫描的操作,直到此方向上某个位置,下一个像素点灰度值与当前像素点灰度值之间的差值的绝对值超过设定的阈值时,终止循环,并记录当前点的位置,扫描起点回到图像的中心点,如果不存在超过设定阈值的点,则当下一个像素点的坐标超出图像范围时终止循环;
扫描模块506:用于从起点开始,以1度为步长,逆时针旋转扫描方向,在此方向上执行卷积模块中的扫描操作,并记录终止循环时的像素点坐标,直到完成360度的图像扫描,完成扫描后,得到的结果为幕布边缘的一组像素坐标点;
拟合模块507:用于计算扫描模块中的像素坐标点的重心,以重心坐标为基准,按照像素坐标点到中心点的距离将该组坐标点分为4组,这四组点即为幕布区域的四条边缘上的点,对这四组点分别拟合直线,以其中一组点为例;
投影模块508:用于完成四条直线方程的拟合后,计算四条直线的交点,并转换为图像坐标,按找左下角,右下角,右上角,左上角的顺序记录四个顶点的坐标,并提取投射装置投射的画面的原始影像对应位置的坐标,根据这两组坐标,计算原始影像到幕布区域变换后图像的投影矩阵,最终图像校正模块根据投影矩阵将投影画面校正至目标幕布区域内,至此完成投影图像自动适应幕布区域的校正过程。
图6示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是投影仪。如图6所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现上述方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行上述方法。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提出了一种投影仪,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行图1或任一可选方法的步骤。
在一个实施例中,提出了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行图1或任一可选方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。