CN106384355B - 一种投影交互系统中的自动标定方法 - Google Patents

Abstract

本发明涉及一种投影交互系统中的自动标定方法，包括以下步骤：通过前期的背景建模获取i行i列带有标记点的前景图像；根据获取的标记点前景图像，得到标记点的前景像素；根据获取的前景像素进行连通区域标记；将每个连通区域归属到对应的行和列中，完成行和列的识别；对行和列中每个标记点进行识别；根据获取的标记点，利用执行线性变换，计算映射矩阵；根据映射矩阵，反向计算所有标记点位置的大体范围，在预估计位置，调整阈值，重新找回所有精确的标记点；利用所有标记点，进行精确标定。本发明增加了检测的样本，提高了检测的准确度，避免了其他行或列对标记点显示所造成的干扰。

Description

一种投影交互系统中的自动标定方法

技术领域

本发明涉及计算机视觉的人机交互技术领域，具体涉及一种投影交互系统中的自动标定方法。

背景技术

人机交互技术是计算机科学中至关重要的一个领域，其发展历史基本上代表了计算机的发展历史。从最早的大型机上的笨拙的开关系统，到早期键盘和鼠标的出现，以及当下非常流行的触摸屏，人机交互技术的发展速度日新月异。近年来，由于计算机视觉技术的飞速发展，以及新的传感器（比如深度相机Kinect、LeapMotion等）的出现，使得各种便捷式的人机交互方式层出不穷。

Kinect是微软开发的深度传感相机，通过精心设计的算法，能够感知到目标到相机的距离，从而得到目标的深度信息。再结合目标的可见光图像，利用模式识别技术，就能够识别出人体的姿态、手势等信息，从而起到一定的人机交互的作用。

利用视觉传感器，与投影仪进行组合，形成投影交互系统，是一种新的交互方式。该方式能够直接将投影区域变成触摸屏，实现与计算机交互的功能。这种新的交互方式，显著提升了在教室和会议室环境中的交互效率，提高了使用者的演讲效果。

标定部分是投影交互系统的核心模块，它能够得到投影平面与计算机之间的坐标映射关系，其质量好坏直接影响到操作的精度。现在最常用的摄像机标定方法，容易受到外界光照的干扰，导致标定成功率不高；或者标定过程费时，步骤复杂，需要人为干预等，降低了用户体验。

发明内容

本发明的目的在于提供一种投影交互系统中的自动标定方法，增加了检测的样本，提高了检测的准确度，避免了其他行或列对标记点显示所造成的干扰。

为实现上述目的，本发明采用了以下技术方案：

一种投影交互系统中的自动标定方法，包括以下步骤：

（1）通过前期的背景建模获取i行i列带有标记点的前景图像；

（2）根据获取的标记点前景图像，得到标记点的前景像素；

（3）根据获取的前景像素进行连通区域标记；

（4）将每个连通区域归属到对应的行和列中，完成行和列的识别；

（5）对行和列中每个标记点进行识别；

（6）当获取的行数i≤8时，返回执行步骤（1），否则执行步骤（7）；

（7）根据获取的标记点，利用执行线性变换，计算映射矩阵；

（8）根据映射矩阵，反向计算所有标记点位置的大体范围，在预估计位置，调整阈值，重新找回所有精确的标记点；

（9）利用所有标记点，进行精确标定。

所述的投影交互系统中的自动标定方法，步骤（1）中，所述背景建模的方法，具体包括以下顺序步骤：

（11）计算前后两帧的帧差图，若帧差图中没有大尺寸连通域，则连续捕获300帧；

（12）计算首尾两张图像之间的帧差，确认没有大尺寸连通域；

（13）用300帧图像的平均值作为背景。

所述的投影交互系统中的自动标定方法，步骤（1）中，所述根据获取的标记点前景图像，得到标记点的前景像素，具体包括以下顺序步骤：

（21）按照东南西北方向，依次在计算机屏幕的四个边角绘制四个标记斑点图像；

（22）在前景图像中依次获取所述四个标记斑点，分别设置该标记斑点为在该边角方向上的顶点，从而获取计算机屏幕投影在墙壁上的区域范围；

（23）分析四个标记斑点的顺序，获得计算机屏幕在前景图像上的对应坐标方向，按照标记斑点循环显示策略，在计算机屏幕上全屏绘制一行和一列的标记斑点图像，利用投影仪投射到墙壁上，然后利用摄像机捕获前景图像；

（24）对前场景图像与背景图像做差，对做差后的图像进行降噪声处理；

（25）估计斑点半径Rblob，以斑点半径Rblob为步长，计算当前像素八个方向的梯度幅值，将八个方向梯度幅值合计起来，得到梯度图像；

（26）对梯度图像进行直方图统计，找到梯度幅值最大的100个像素；

（27）在提取的100个像素梯度幅值中，利用最小的像素梯度幅值作为场景图像二值化的阈值。

（28）利用估计的阈值，对梯度图像进行二值化，得到标记点前景像素。

所述的投影交互系统中的自动标定方法，步骤（4）中，所述将每个连通区域归属到对应的行或列中，完成行和列的识别，具体包括以下顺序步骤：

（41）统计所有连通域的位置范围，得到x方向和y方向的中心点坐标，将图像划分为左上、右上、右下、左下四个区域；

（42）分别对四个区域进行分析，观察该区域内所有的连通域，是否能够拟合成直线，忽略远离拟合直线的标记点；

（43）将四个象限中，已经拟合的直线提取出来，并将这些直线进行延伸，将未拟合的距离延长直线较近的标记点继续加入直线中，完成行和列的识别。

所述的投影交互系统中的自动标定方法，步骤（5）中，对行和列中每个标记点进行识别，检测可能存在未检测到的标记点，具体包括以下顺序步骤：

（51）对于行，找到最左侧和最右侧的标记点，将其连接起来，统计连线上和连线附近标记点的数目，若标记点数目等于标定图中每行标记点的数目，则该行直线拟合成功；

（52）对于列，找到最上侧和最下侧的标记点，将其连接起来，统计连线上和连线附近标记点的数目，若标记点数目等于标定图中每列标记点的数目，则该列直线拟合成功；

（53）若行和列直线均拟合成功，则从左到右或者从上到下依次对行和列上及行和列附近的标记点进行编号；

（53）若拟合直线上的标记点数少于实际点数，则对所有标记点的坐标，进行间距分析，观察其是否满足等差数列，判断缺少的标记点在计算机屏幕中对应的在行和列的位置标号，从而完成标记点的识别；

（54）当标记点数大于实际点数的时，则对该行所有标记点数进行分析，若提取其中的某四个标记点，该四个标记点能够构成等差数列的话，则依次提取剩余的标记点，使其继续构成等差数列，直到标记点的个数达到实际点数，若不能构成等差数列的话，则放弃该行数据，重新投影，采集标记点。

所述的投影交互系统中的自动标定方法，步骤（8）中，根据映射矩阵，反向计算所有标记点位置的大体范围，在预估计位置，调整阈值，重新找回所有精确的标记点，具体包括以下顺序步骤：

（81）利用映射矩阵，反向计算标定图中每个标记点在前景图像中的坐标，包括没有检测到的标记点；

（82）利用映射矩阵，反向计算标定图中没有出现在前景图中的对应标记点的理论参考坐标位置；

（83）根据映射矩阵得到的对应坐标位置，在其周围设置矩阵区域，用于进一步在该区域中精确检测标记点；

（84）在预估位置周边的矩形区域内，重新统计梯度幅值直方图，选取梯度幅值最大的100个像素；

（85）分析100个像素的位置，在所述像素的中心区域重新进行像素提取；

（86）根据提取到的像素值对应的幅值，重新计算阈值，完成二值化；

（87）根据二值化的结果，寻找出之前未检测到的标记点。

由上述技术方案可知，本发明通过实施背景建模以及背景做差的方法，从而得到了含有噪声较少的背景图，提高了标定的准确性。在设置标记点的过程中，通过每次系统进行一行以及一列的标记点投影显示，大大缩短了用户的等待时间，很大程度上提高了样本的检测效率。解决了样本采集过程中，受到光照、提取精度等一系列外界因素所造成了影响，在一定程度上为映射矩阵的精确确定奠定了一定的初步基础。通过直线拟合的方法，实现了标记斑点的检测与定位，避免了噪声点的干扰，提高了测检测结果的准确度。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图对本发明做进一步说明：

一种投影交互系统中的自动标定方法，包括以下步骤：

S1：利用软件系统，在计算机屏幕上全屏标定并显示一行一列的点，通过前期的背景建模获取i行i列带有标记点的前景图像，所述背景建模，具体包括：

S11：计算前后两帧的帧差图，若帧差图中没有大尺寸连通域，则连续捕获300帧；

S12：计算首尾两张图像之间的帧差，确认没有大尺寸连通域；

S13：用300帧图像的平均值作为背景。

S2：根据获取的标记点前景图像，得到标记点的前景像素，具体包括：

S21：按照东南西北方向，依次在计算机屏幕的四个边角绘制四个标记斑点图像；

S22：在前景图像中依次获取所述四个标记斑点，分别设置该标记斑点为在该边角方向上的顶点，从而获取计算机屏幕投影在墙壁上的区域范围；

S23：析四个标记斑点的顺序，获得计算机屏幕在前景图像上的对应坐标方向，按照标记斑点循环显示策略，在计算机屏幕上全屏绘制一行和一列的标记斑点图像，利用投影仪投射到墙壁上，然后利用摄像机捕获前景图像；

S24：对前场景图像与背景图像做差，对做差后的图像进行降噪声处理；

S25：估计斑点半径Rblob，以斑点半径Rblob为步长，计算当前像素八个方向的梯度幅值，将八个方向梯度幅值合计起来，得到梯度图像；

S26：对梯度图像进行直方图统计，找到梯度幅值最大的100个像素；

S27：在提取的100个像素梯度幅值中，利用最小的像素梯度幅值作为场景图像二值化的阈值。

S28：利用估计的阈值，对梯度图像进行二值化，得到标记点前景像素。

上述步骤中，采用斑点作为标记点进行标定，该斑点作为标记点的优势：斑点面积较小，即便提取不完整，利用连通域重心作为标记点，偏差也不会太大；另外，斑点尺寸小，外接矩形受到视角影响不大，中心点位置不会有过多偏移，使斑点检测算法更为稳定，抗光照干扰能力更强。

S3：根据获取的前景像素进行连通区域标记；

S4：将每个连通区域归属到对应的行和列中，完成行和列的识别，具体包括：

S41：统计所有连通域的位置范围，得到x方向和y方向的中心点坐标，将图像划分为左上、右上、右下、左下四个区域；

S42：分别对四个区域进行分析，观察该区域内所有的连通域，是否能够拟合成直线，忽略远离拟合直线的标记点；

S43：将四个象限中，已经拟合的直线提取出来，并将这些直线进行延伸，将未拟合的距离延长直线较近的标记点继续加入直线中，完成行和列的识别。

S5：对行和列中每个标记点进行识别，具体包括：

S51：对于行，找到最左侧和最右侧的标记点，将其连接起来，统计连线上和连线附近标记点的数目，若标记点数目等于标定图中每行标记点的数目，则该行直线拟合成功；

S52：对于列，找到最上侧和最下侧的标记点，将其连接起来，统计连线上和连线附近标记点的数目，若标记点数目等于标定图中每列标记点的数目，则该列直线拟合成功；

S53：若行和列直线均拟合成功，则从左到右或者从上到下依次对行和列上及行和列附近的标记点进行编号；

S54：若拟合直线上的标记点数少于实际点数，则对所有标记点的坐标，进行间距分析，观察其是否满足等差数列，判断缺少的标记点在计算机屏幕中对应的在行和列的位置标号，从而完成标记点的识别；

S55：当标记点数大于实际点数的时，则对该行所有标记点数进行分析，若提取其中的某四个标记点，该四个标记点能够构成等差数列的话，则依次提取剩余的标记点，使其继续构成等差数列，直到标记点的个数达到实际点数，若不能构成等差数列的话，则放弃该行数据，重新投影，采集标记点。

S6：当获取的行数i≤8时，返回执行步骤（1），否则执行步骤（7）；

标记点循环显示策略：利用软件系统，预先设计好64个标记点的位置，使得这些标记点尽量充满在整个屏幕中分为8行8列。但是在标定过程中，系统每次显示一行一列，以提高标记点检测的效果。当轮询8次后完成所有标记点的检测后，记录抓拍图中所有成功拟合的直线上的斑点的坐标，用它们及其在标定图中的坐标组成的点对来进行初步标定。

具体过程如下：

第一次同时显示第一行和第一列；等待一定的时间。

第二次同时显示第二行和第二列；等待一定的时间。

… …

第八次同时显示第八行和第八列，等待一定的时间，结束。

S7：根据获取的标记点，利用执行线性变换，计算映射矩阵；

S8：根据映射矩阵，反向计算所有标记点位置的大体范围，在预估计位置，调整阈值，重新找回所有精确的标记点，具体包括：

S81：用映射矩阵，反向计算标定图中每个标记点在前景图像中的坐标，包括没有检测到的标记点；

S82：利用映射矩阵，反向计算标定图中没有出现在前景图中的对应标记点的理论参考坐标位置；

S83：根据映射矩阵得到的对应坐标位置，在其周围设置矩阵区域，用于进一步在该区域中精确检测标记点；

S84：在预估位置周边的矩形区域内，重新统计梯度幅值直方图，选取梯度幅值最大的100个像素；

S85：分析100个像素的位置，在所述像素的中心区域重新进行像素提取；

S86：根据提取到的像素值对应的幅值，重新计算阈值，完成二值化；

S87：根据二值化的结果，寻找出之前未检测到的标记点。

S9：利用所有标记点，进行精确标定。

本发明通过实施背景建模以及背景做差的方法，从而得到了含有噪声较少的背景图，同时也为后来的标定图的直线拟合以及标定图的二值化减少了一定的噪声干扰，极大地提高的标定的准确性。本专利设置了64个标记点，为系统引入了更多的测试样本。通过对更多容量的样本测试，从而为取得更加准确精度的映射坐标奠定了一定的基础。在设置标记点的过程中，通过每次系统进行一行以及一列的标记点投影显示，大大缩短了用户的等待时间，很大程度上提高了样本的检测效率。通过实现斑点作样本的标记点，解决了样本采集过程中，受到光照、提取精度等一系列外界因素所造成了影响，在一定程度上为映射矩阵的精确确定奠定了一定的初步基础。通过直线拟合的方法，实现了标记斑点的检测与定位，避免了噪声点的干扰，提高了测检测结果的准确度。在直线拟合过程中，将整个区域分成四个子区域，通过对每个子区域进行直线拟合，减少了在整个区域进行直线拟合所带来的更好的计算复杂度，提高了运算效率。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种投影交互系统中的自动标定方法，其特征在于，包括以下步骤：

（1）通过前期的背景建模获取i行i列带有标记点的前景图像；

（2）根据获取的标记点前景图像，得到标记点的前景像素；

（3）根据获取的前景像素进行连通区域标记；

（4）将每个连通区域归属到对应的行和列中，完成行和列的识别；

（5）对行和列中每个标记点进行识别；

（6）当获取的行数i≤8时，返回执行步骤（1），否则执行步骤（7）；

（7）根据获取的标记点，利用线性变换，计算映射矩阵；

（8）根据映射矩阵，反向计算标记点位置的范围，在预估计位置，调整阈值，寻找出之前未检测到的标记点；

（9）利用所有标记点，进行标定。

2.根据权利要求1所述的投影交互系统中的自动标定方法，其特征在于：步骤（1）中，所述背景建模的方法，具体包括以下顺序步骤：

（11）计算前后两帧的帧差图，若帧差图中连通域尺寸小于预定尺寸，则连续捕获300帧；

（12）计算首尾两张图像之间的帧差，确认没有大于预定尺寸的连通域；

（13）用300帧图像的平均值作为背景。

3.根据权利要求1所述的投影交互系统中的自动标定方法，其特征在于：步骤（2）中，所述根据获取的标记点前景图像，得到标记点的前景像素，具体包括以下顺序步骤：

（21）按照东南西北方向，依次在计算机屏幕的四个边角绘制四个标记斑点图像；

（22）在前景图像中依次获取所述四个标记斑点，分别设置标记斑点为在相应边角方向上的顶点，从而获取计算机屏幕投影在墙壁上的区域范围；

（23）分析四个标记斑点的顺序，获得计算机屏幕在前景图像上的对应坐标方向，按照标记斑点循环显示策略，在计算机屏幕上全屏绘制一行和一列的标记斑点图像，利用投影仪投射到墙壁上，然后利用摄像机捕获前景图像；

（24）对前景图像与背景图像做差，对做差后的图像进行降噪声处理；

（25）估计标记斑点半径Rblob，以标记斑点半径Rblob为步长，计算当前像素八个方向的梯度幅值，将八个方向梯度幅值合计起来，得到梯度图像；

（26）对梯度图像进行直方图统计，找到梯度幅值最大的100个像素；

（27）在提取的100个像素梯度幅值中，利用最小的像素梯度幅值作为梯度图像二值化的阈值；

（28）利用步骤（27）的阈值，对梯度图像进行二值化，得到标记点前景像素。

4.根据权利要求1所述的投影交互系统中的自动标定方法，其特征在于：步骤（4）中，所述将每个连通区域归属到对应的行和列中，完成行和列的识别，具体包括以下顺序步骤：

（41）统计所有连通域的位置范围，得到x方向和y方向的中心点坐标，将前景图像划分为左上、右上、右下、左下四个区域，构成四象限区域；

（42）分别对四个区域进行分析，观察该区域内所有的连通域，是否能够拟合成直线，忽略远离拟合直线的标记点；

（43）将四个区域中，已经拟合的直线提取出来，并将这些直线进行延伸，将未拟合的距离延长直线在预订范围内的标记点继续加入直线中，完成行和列的识别。

5.根据权利要求1所述的投影交互系统中的自动标定方法，其特征在于：步骤（5）中，对行和列中每个标记点进行识别，检测可能存在未检测到的标记点，具体包括以下顺序步骤：

（51）对于行，找到最左侧和最右侧的标记点，将其连接起来，统计连线上和连线附近预设范围内的标记点的数目，若标记点数目等于标定图中每行标记点的数目，则行直线拟合成功；

（52）对于列，找到最上侧和最下侧的标记点，将其连接起来，统计连线上和连线附近预设范围内的标记点的数目，若标记点数目等于标定图中每列标记点的数目，则列直线拟合成功；

（53）若行和列直线均拟合成功，则从左到右或者从上到下依次对行和列上及行和列附近预设范围内的的标记点进行编号；

（54）若拟合直线上的标记点数少于实际点数，则对所有标记点的坐标，进行间距分析，观察其是否满足等差数列，判断缺少的标记点在计算机屏幕中对应的在行和列的位置标号，从而完成标记点的识别；

（55）若行直线的标记点数大于实际点数的时，则对该行所有标记点数进行分析，若提取其中的某四个标记点，该四个标记点能够构成等差数列的话，则依次提取剩余的标记点，使其继续构成等差数列，直到标记点的个数达到实际点数，若不能构成等差数列的话，则放弃该行数据，重新投影，采集标记点；若列直线的标记点数目大于实际点数，则对该列所有标记点数进行分析，若提取其中的某四个标记点，该四个标记点能够构成等差数列的话，则依次提取剩余的标记点，使其继续构成等差数列，直到标记点的个数达到实际点数，若不能构成等差数列的话，则放弃该列数据，重新投影，采集标记点。

6.根据权利要求1所述的投影交互系统中的自动标定方法，其特征在于：步骤（8）中，根据映射矩阵，反向计算所有标记点位置的范围，在预估计位置，调整阈值，寻找出之前未检测到的标记点，具体包括以下顺序步骤：

（81）利用映射矩阵，反向计算标定图中每个标记点在前景图像中的坐标，包括没有检测到的标记点；

（82）利用映射矩阵，反向计算标定图中没有出现在前景图像中的对应标记点的理论参考坐标位置；

（83）根据映射矩阵得到的对应坐标位置，在其周围设置矩形区域；

（84）在矩形区域内，重新统计梯度幅值直方图，选取梯度幅值最大的100个像素；

（85）分析100个像素的位置，在所述像素的中心区域重新进行像素提取；

（86）根据提取到的像素值对应的幅值，重新计算阈值，完成二值化；

（87）根据二值化的结果，寻找出之前未检测到的标记点。