CN101667061A - 一种交互式投影的检测系统及其检测方法 - Google Patents

Abstract

本发明公开了一种交互式投影的检测系统及其检测方法，该检测系统包括投影仪、主机、数字摄像机、控制面板和检测平台，被检测物体位于检测平台的可检测区域内，投影仪在检测平台上的投影区域覆盖检测平台上的可检测区域全部，数字摄像机在检测平台上的视野区域覆盖投影仪在检测平台上的投影区域；在检测过程中，数字摄像机拍摄检测平台上的位于可检测区域的被检测物体获得图片，通过主机识别出待检测物体上的特殊检测点，然后通过投影仪将特殊检测点标记出来；用户操作控制面板开始修改对象上的特殊检测点，之后投影仪显示的标记信息随之变更；该系统用于电子产品、玩具、文档等物品的缺陷检测及教育、游戏中。

Description

一种交互式投影的检测系统及其检测方法

技术领域

本发明涉及一种检测系统，尤其是一种可即时交互式投影的检测系统及其检测方法。

背景技术

随着计算机图形、图像和机器识别技术的发展，作为三者的融合的技术之一的增强虚拟现实技术渐渐出现在各类应用场景中。该类系统通常由视觉摄像部分、位于主机上的识别软件模块和电子屏幕的显示部分(例如平版液晶显示器、液晶眼镜或液晶头盔等)组成。此类应用的场景通常包括教育场景的模拟、工业检测、广告的宣传、导航等。用户在使用该类系统的时候，由于必须佩带或持有该类显示设备，当需要与现实对象进行较长时间的频繁交互的时候，用户就可能出现感官上的不舒服和操作的不便。

同时作为较大屏幕即投影机的显示方式与计算机视觉的结合，一种基于视觉的交互式投影技术近年来也引起了很多研究者和用户的注意。该类应用系统使用带视觉识别装置的主机和投影仪，在摄像机视野内的用户在屏幕上的动作识别出来，然后由投影仪显示系统交互的表达。该类系统与增强虚拟现实技术主要在于显示设备的不同。由于交互式投影技术目前显示在白色的投影屏幕上，其应用范围目前主要作为可交互白板系统，用于教学或会议演示等。

发明内容

本发明的目的就是为提供一种可用于长时间交互的光学检测显示系统。

本发明提供的一种交互式投影的检测系统，包括投影仪1、主机3、数字摄像机2、控制面板4和检测平台8，其中投影仪、数字摄像机和控制面板都通过数据线分别连接到主机，投影仪和数字摄像机安装在检测平台上方的固定位置。在检测中，系统要求被检测物体5必须置于检测平台8的可检测区域内7，投影仪在检测平台上的投影区域要覆盖检测平台上的可检测区域全部，数字摄像机在检测平台上的视野区域也要覆盖投影仪在检测平台上的投影区域，同时也必然覆盖检测平台上的全部可检测区域。

所述投影仪与主机通过VGA数据线相连。

所述数字摄像机与主机通过USB数据线相连。

所述控制面板通过USB或PS/2数据线连接到主机。

所述数字摄像机在检测平台上的视野区域301应大于投影仪在检测平台上的投影区域302。

所述数字摄像机的分辨率应大于投影仪的分辨率。

所述主机内还包括检测特殊点的图像识别模块和数字摄像机与投影仪的坐标转换模块。

本发明还提供一种使用所述的检测系统的检测方法，该方法包括如下步骤：

1)由用户将被检测物体5放置于检测平台8的可检测区域内7，通过控制面板启动检测系统工作；该系统通过数字摄像机2拍摄包括被检测物体的可检测区域的图片；

2)数字摄像机将图片信息发送到主机的图像识别模块；图像识别模块根据各类应用的需求和标准被检测对象，检测出当前被检测对象的特征点，如满足检测要求，完成检测，取下被检测物体；

3)如果没有满足检测要求，图像识别模块识别出某些特殊检测点，将特殊检测点的坐标信息通过投影仪在被检测物体的特殊检测点的表面通过标记符号6表示出来，用户若即时修改特殊检测点，之后可再次启动识别程序，开始新一轮的检测流程。

本发明的有益效果是：

该系统具有很好的适应性。如当检测对象或检测任务变化后，系统只需要更换在主机上的图像识别模块和坐标转换软件模块，即可适应新的检测人物的需求；而且用户无需观看其它显示设备，所以能够适应于较长时间的交互检测任务。

该系统采用投影仪作为显示设备，适用于各类平面的或几乎是平面的物体检测要求。

附图说明

图1是本发明的一种实施实例的示意图。

图2是通过图1的实施实例在某文档检测步骤中的效果示意图。

图3是数字摄像机的视野区域、投影仪的覆盖区域、可检测区域和被检测物体之间在检测平台上的包含位置关系图。

图4是采用本发明检测系统的整体检测流程图。

图5是本发明系统识别出被检测物体上的特殊检测点的流程图。

具体实施方式

图1给出了本发明的一种实施实例的示意图。其中包括投影仪1、主机3、数字摄像机2和控制面板4。其中，控制面板4通过USB数据线连接到主机4，数字摄像机2通过USB数据线连接到主机4，投影仪与主机通过VGA数据线相连。

如图2所示，假设被检测物体是用户9刚填写完成某文档时的时候，放置方法如图2所示，在可检测区域7放置有被检测对象5即该文档。同时假设检测的任务为检测是否在该文档上所有小方框处用户都划有“ד，此时的小方框共有4行，每行有2个。202所示的小方框为完成填写“×”，如201为未完成填写的，则201为系统所述的特殊检测点。

如图3所示，在检测过程中为满足检测和显示的条件，数字摄像机在检测平台上的视野区域301应大于投影仪在检测平台上的投影区域302，并且可检测区域必须位于投影仪在检测平台上的投影区域内。在检测的过程中，被检测物体5也必须位于在检测平台上的可检测区域7内。为取得较好的检测效果，数字摄像机采用的分辨率应大于投影仪的分辨率，例如在本例中设数字摄像机的分辨率可取1024*7 68，投影仪的分辨率可取800*600。

检测流程开始时，用户9首先将被检测文档5对象放到可检测区7内。用户通过控制面板4启动检测流程。然后数字摄像机2拍摄到可检测区内的图像后，通过图像识别模块分割出被检测文档，变化到检测对象自身的坐标中，再通过图像识别模块对比标准检测对象图片识别出未符合检测要求的特殊检测点，之后将这些特殊检测点的标记信息通过投影仪在文档的特殊检测点通过标记符号6表示出来。用户可根据该信息进一步修改被检测文档，交互的完成检测任务，流程如图4所示。

为获得被检测物体需要投影仪标记显示的特殊检测点的坐标，就必须完成被检测物体自身坐标p_o＝(x_o，y_o)到数字摄像机拍摄的图片内坐标p_i＝(x_i，y_i)，再到由主机设定的投影仪的坐标p_p＝(x_p，y_p)装换。其中被检测物体自身坐标可以通过在检测平台上拍摄图片中分割出的标准被检测对象图片中来确定。该坐标确定过程在开始检测前完成，同时也能得到标准被检测对象的图片，以供以后检测时与当前被检测对象变化到被检测物体自身坐标后的图片作比较。不考虑数字摄像机产生的径向畸变，则可以使用透视变化矩阵H_pi、H_io完成，其中H_pi完成图片内的坐标p_i＝(x_i，y_i)到被检测物体的坐标p_o＝(x_o，y_o)的转换；其中H_io完成被检测物体的坐标p_o＝(x_o，y_o)到图片内坐标p_i＝(x_i，y_i)的转换。已知各平面中的2维坐标p＝(x，y)与齐次坐标形式p′＝(wx，wy，w)等价。则其转换表达为：

${p^{\′}}_p=\left[\begin{array}{c}{w}_p{x}_p\\ w_p{y}_p\\ w_p\end{array}\right]=H_{\mathrm{pi}}{p^{\′}}_i=\left[\begin{array}{ccc}{h^{\′}}_{11}& {h^{\′}}_{12}& {h^{\′}}_{13}\\ {h^{\′}}_{21}& {h^{\′}}_{22}& {h^{\′}}_{23}\\ {h^{\′}}_{31}& {h^{\′}}_{32}& {h^{\′}}_{33}\end{array}\right]\left[\begin{array}{c}{w}_i{x}_i\\ w_i{y}_i\\ w_i\end{array}\right]$

$p_i^{\′}=\left[\begin{array}{c}{w}_i{x}_i\\ w_i{y}_i\\ w_i\end{array}\right]=H_{\mathrm{io}}{p}_o=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_o\\ y_o\\ 1\end{array}\right]$

由于数字摄像机在检测平台上的视野覆盖了投影仪的投影范围，且该两者的空间位置固定，而被检测物体放置检测平台后位置也固定，又由于若设h₃₃＝1、h′₃₃＝1，则H_pi、H_pi只有8个自由度，只需4组对应点即可求出H_pi、H_io。

通过数字摄像机拍得的图片内的投影区域302的四个顶点与对应投影仪的坐标四个顶点，在本例中分辨率为800*600，即包括点(0，0)、(0，600)、(800，600)和(800，0)对应求解可得H_pi。而这对应关系由于当数字摄像机和投影仪的位置固定后，只需要计算一次，所以可以在整个系统开始前由手动完成，然后交坐标转换模块计算投影矩阵H_pi。若数字摄像机和投影仪的任何一个位置发生变化，则需重新计算。

在被检测物体放置到平台后，关键的部分就是识别出需要显示的特殊检测点的坐标，然后通过投影仪显示出来。假设若被检测物体为图2中的文档，则检测过程的实施方法例如图5。首先通过与数字摄像机中放置前后I_bo和I_b的图片作差可分割出只包含被检测物体的照片I_o。

I_o＝I_bo-I_b

为能够提取出被检测物体的边缘，可通过区域生长法，从拍摄的图像I_o的边缘部分开始，生长出检测平台对应的背景图片。显然I_o中剩余部分就是分割出的被检测物体。然后通过Hough变化取得被检测物体的边缘直线，之后计算四条直线交点，再与标准的被测物体的坐标中的四顶点对应，计算获得H_io，就可将包括被检测物体的图片投影变换到被检测物体自身的坐标平面中。

即 $p_o^{\′}=\left[\begin{array}{c}{w}_o{x}_o\\ w_o{y}_o\\ w_o\end{array}\right]=H_{0i}^{-1}{p}_i={\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

最后与标准被检测物体比较，获得特殊检测点的坐标P_o，然后通过p′_p＝H_piH_iop_o＝H_poP_o计算出对应的投影仪内的坐标P_p，最后通过主机通过投影仪在坐标p′_p处标记显示出来，标记符号可以为明显的红色圆圈等。

上述实施实例是提供给本领域普通技术人员来实现或使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例子做出种种修改或变化，因而本发明的保护范围并不被上述实施例子所限制，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (8)

1.一种交互式投影的检测系统，包括投影仪(1)、主机(3)、数字摄像机(2)、控制面板(4)和检测平台(8)，其中投影仪、数字摄像机和控制面板均通过数据线分别连接到主机，投影仪安装在检测平台上方的固定位置，数字摄像机安装在检测平台上方的固定位置，其特征在于：被检测物体(5)位于检测平台(8)的可检测区域内(7)，投影仪在检测平台上的投影区域覆盖检测平台上的可检测区域全部，数字摄像机在检测平台上的视野区域覆盖投影仪在检测平台上的投影区域，同时也必然覆盖检测平台上的可检测区域全部。

2.根据权利要求1所述的检测系统，其特征在于：所述投影仪与主机通过VGA数据线相连。

3.根据权利要求1所述的检测系统，其特征在于：所述数字摄像机与主机通过USB数据线相连。

4.根据权利要求1所述的检测系统，其特征在于：所述控制面板通过USB或PS/2数据线连接到主机。

5.根据权利要求1所述的检测系统，其特征在于：所述数字摄像机在检测平台上的视野区域(301)应大于投影仪在检测平台上的投影区域(302)。

6.根据权利要求1所述的检测系统，其特征在于：所述数字摄像机的分辨率应大于投影仪的分辨率。

7.根据权利要求1所述的检测系统，其特征在于：所述主机内还包括检测特殊点的图像识别模块和数字摄像机与投影仪的坐标转换模块。

8.使用权利要求1所述的检测系统的检测方法，其特征在于该方法包括如下步骤：

1)由用户将被检测物体(5)放置于检测平台(8)的可检测区域内(7)，通过控制面板启动检测系统工作；该系统通过数字摄像机(2)拍摄包括被检测物体的可检测区域的图片；

2)数字摄像机将图片信息发送到主机的图像识别模块；图像识别模块根据各类应用的需求，检测出待识别对象的特征点，如满足检测要求，完成检测，取下被检测物体；

3)如果没有满足检测要求，图像识别模块识别出某些特殊检测点，将特殊检测点的坐标信息通过投影仪在被检测物体的特殊检测点的表面通过标记符号(6)表示出来，用户若即时修改特殊检测点，之后可再次启动识别程序，开始新一轮的检测流程。

Images