CN101639747A

CN101639747A - 一种空间三维定位方法

Info

Publication number: CN101639747A
Application number: CN200910042320A
Authority: CN
Inventors: 卢如西; 钟杰婷
Original assignee: Vtron Technologies Ltd
Current assignee: Vtron Technologies Ltd
Priority date: 2009-08-31
Filing date: 2009-08-31
Publication date: 2010-02-03

Abstract

本发明公开了一种空间三维定位方法，采用用于定位操作且能提取出特征点的目标物，各个摄像头拍摄范围的重叠区域覆盖显示屏前方一定空间，目标物在该重叠区域内操作。定位步骤如下：对摄像头进行标定；捕获两个或两个以上目标物特征点；确定目标物特征点的空间坐标；确定目标物的空间方向指向线；确定沿目标物空间方向指向线在显示屏上对应的坐标，即定位坐标。本发明定位操作简单，能实现多点三维空间定位；当显示屏较大时，通过本发明沿目标物空间方向指向线进行在显示屏上对应定位的方式，依然可以轻松实现三维定位，因此本发明尤其适合应用在大屏幕定位。

Description

一种空间三维定位方法

技术领域

本发明涉及电子显示系统领域，特别涉及一种空间三维定位方法。

背景技术

电子显示系统的定位装置作为一种新型的计算机输入设备，使人机交互更为直观。由于能给用户带来极大的便利，电子显示系统的定位技术除了广泛应用于个人便携式信息产品外，也已遍及信息家电、公共信息、电子游戏和自动化办公设备等各个领域。现有电子显示系统的定位装置有多种实现形式，但大多是触摸式定位形式，其要通过直接触摸到显示屏来实现定位。如公开号为CN1896919A的中国发明专利公开了一种接触式投影屏幕及其实现方法，其通过安装在屏幕后方的摄像头对屏幕上的触摸点进行拍摄分析，以此实现触摸定位。上述定位装置必须直接在屏幕上进行触摸才能实现定位，而且操作不够灵活。

随着人们对交互体验要求的日益提升，非接触式的空间三维定位成了必然趋势。目前，有通过将两个或两个以上的摄像头放置在显示屏前方，以不同视角指向显示屏进行拍摄，使显示屏完全处于摄像头的取景范围内，捕捉取景范围内的指尖，根据拍摄图片中指尖坐标确定其垂直投影到屏幕上对应的坐标位置的技术方案。但其缺点在于难以应用在大屏幕触摸屏上，这是由于该技术方案是根据拍摄图片中指尖坐标来确定其垂直投影到屏幕上对应的坐标位置的，当屏幕较大，且无法用指尖坐标对应到屏幕某些部分时，操作者难以对整个屏幕范围进行定位操作，同时，操作者的身体容易遮挡住摄像头的拍摄，使得无法进行定位。

发明内容

本发明的目的在于克服上述现有技术的缺点与不足，提供一种能实现三维定位，而且操作灵活，尤其适合应用于大屏幕的空间三维定位方法。

本发明的目的通过下述技术方案实现：一种空间三维定位方法，实现本定位方法的空间三维定位装置包括显示屏和用于定位操作且能提取出特征点的目标物，还包括依次连接的图像处理模块、接口模块和计算机模块，其中，图像处理模块包括至少两个摄像头，该图像处理模块放置在显示屏的前方且不遮挡到显示屏的位置，各个摄像头拍摄范围的重叠区域覆盖显示屏前方一定空间，摄像头光轴与显示屏垂直线的夹角为直角，或摄像头光轴与显示屏垂直线的夹角为大于4 5度的锐角；而所述目标物在该重叠区域内操作；本发明定位方法在进行定位之前或定位开始时，首先对图像处理模块中的各个摄像头进行标定，然后依次进行以下操作：

(1)摄像头进行拍摄，获取图像数据；

(2)根据步骤(1)获取的图像数据捕获两个或两个以上目标物特征点；

(3)确定步骤(2)中所述目标物特征点的空间坐标；

(4)根据步骤(3)中所述目标物特征点的空间坐标，确定目标物的空间方向指向线；

(5)确定沿步骤(4)所述目标物空间方向指向线在显示屏上对应的坐标，即为目标物在显示屏上对应指向的定位坐标。

上述方法中，所述对各个摄像头进行标定，其方法为：建立世界坐标系和各个摄像头的图像平面坐标系，确定各个摄像头的图像平面坐标系与世界坐标系的转换关系。

上述方法中，步骤(2)所述捕获两个或两个以上目标物特征点，优选为：根据所捕获到的目标物特征点的颜色进行筛选，进行图像二值化处理，再根据目标物特征点的大小进行筛选，以从中提取两个或两个以上目标物特征点；也可以先根据所捕获到的目标物的大小和颜色先排除干扰并确定目标物，然后再根据目标物上特征点的颜色进行筛选，进行图像二值化处理，再根据目标物特征点的大小进行筛选，以从中确定两个或两个以上目标物特征点；或直接把所捕获到的两个或两个以上目标物的特殊位置点作为目标物特征点。

上述方法中，步骤(3)所述确定目标物特征点的空间坐标，优选为：先确定各个摄像头拍摄图像中目标物特征点的平面坐标，再将平面坐标转换为目标物特征点的空间坐标。

上述方法中，步骤(4)所述空间方向指向线，是指由所述两个或以上目标物特征点所确定的直线。

上述方法中，步骤(5)所述的定位坐标的确定方法为：将步骤(4)所述的空间方向指向线的直线方程与显示屏所在平面的方程联立求解，得到的坐标即为定位坐标。

上述方法中，步骤(2)所述捕获两个或两个以上目标物特征点、步骤(3)所述确定目标物特征点的空间坐标、步骤(4)所述确定目标物的空间方向指向线，以及步骤(5)所述确定沿目标物空间方向指向线在显示屏上对应的坐标，可以采用以下方式：

a.摄像头获取的图像数据通过接口模块将图像数据传输至计算机模块，由计算机模块根据图像数据依次进行步骤(2)、(3)、(4)和步骤(5)的操作；具体是由计算机模块依次进行捕获两个或两个以上目标物特征点，以及确定目标物特征点的空间坐标、目标物空间方向指向线和沿目标物空间方向指向线在显示屏上对应的坐标；

b.由所述图像处理模块，或者具体由摄像头设置的图像处理芯片读取图像数据，并根据图像数据进行步骤(2)、(3)、(4)和步骤(5)中前1个、2个或前3个步骤的操作，然后将操作所得数据传输给计算机模块，由计算机模块进行剩余步骤的操作；例如由所述图像处理模块，或者具体由摄像头设置的图像处理芯片根据图像数据捕获两个或两个以上目标物特征点，确定目标物特征点的空间坐标，然后通过接口模块将目标物特征点的空间坐标传输至计算机模块，由计算机模块依次进行目标物空间方向指向线和沿目标物空间方向指向线在显示屏上对应的坐标的确定；

c.由所述图像处理模块，或者具体由摄像头设置的图像处理芯片读取图像数据，并根据图像数据进行依次进行步骤(2)、(3)、(4)和步骤(5)的操作；具体是由图像处理模块，或者具体由摄像头设置的图像处理芯片，依次进行捕获两个或两个以上目标物特征点，以及确定目标物特征点的空间坐标、目标物空间方向指向线和沿目标物空间方向指向线在显示屏上对应的坐标；然后将该对应的坐标通过接口模块送至计算机模块。

所述显示屏可为背投、前投影、等离子(PDP)、液晶(LCD)或拼接显示屏幕等类型的显示屏。

所述接口模块可以采用串行接口或USB接口等数据接口。

优选的，所述目标物为操作笔或手指。

所述目标物特征点，是指目标物中能被摄像头拍摄到的涂有特殊颜色的点，或目标物中能被摄像头拍摄到的特殊位置点。

优选的，在摄像头的拍摄方向设置一个单一颜色的背景物，有利于将目标物特征点更好的区分出来。

所述摄像头包括镜头，以及CCD图像传感器或CMOS图像传感器。摄像头可拍摄到在显示屏前方的拍摄范围内的目标物。这样，通过确定目标物特征点的空间坐标，进而确定目标物的空间方向指向，最终利用目标物的空间方向指向来求取沿着目标物空间方向指向线与显示屏平面相交的坐标点，也即定位坐标。

当所述步骤(2)、(3)、(4)和(5)中有1个或任意几个步骤是由所述摄像头来完成时，所述摄像头还包括图像处理芯片。

本发明相对于现有技术的有益效果如下：

定位操作简单，且实现本定位的空间三维定位装置结构简单，基于两个或两个以上的摄像头，只需要将各个摄像头放置在显示屏的前方且不遮挡到显示屏的位置，各摄像头拍摄的区域不需要覆盖整个显示屏，并没有增加其他设备，成本底，安装方便，且操作灵活；各个摄像头的标定可以预先设定，这样减少每次定位操作的时间，大大提高了工作效率；目标物特征点的空间坐标、目标物的空间方向指向线，以及沿目标物空间方向指向线在显示屏上对应的坐标的确定，可以由图像处理模块、摄像头设置的图像处理芯片，计算机模块三者进行分工计算或独立计算，计算方式灵活，当由计算机模块进行独立计算时，所述摄像头可以不设置图像处理芯片，图像处理模块也可以不具备数据处理功能，更是降低了成本和对摄像头的性能要求；由于本发明通过目标物的方向指向线来确定定位坐标，而不是通过单个目标物特征点在屏幕上的垂直投影来确定定位坐标，这样能方便地实现多点三维空间定位，另外，当显示屏较大，用指尖无法垂直对应到显示屏某些部分，通过本发明沿目标物空间方向指向线进行在显示屏上对应定位的方式，依然可以轻松地实现三维定位，因此本发明尤其适合应用于大屏幕定位。

附图说明

图1-1、图1-2、图1-3、图1-4是本发明一种空间三维定位装置的4种不同摄像头放置方式的结构示意图；

图2是本发明实施例1一种空间三维定位装置的定位方法流程示意图；

图3是本发明实施例1的世界坐标系和摄像头图像平面坐标系的示意图；

图4-1、4-2、4-3、4-4和4-5是本发明实施例1的目标物示意图；

图5是本发明实施例1沿目标物空间方向指向线在显示屏上对应的定位坐标示意图；

图6-1、6-2、6-3和6-4是本发明实施例2的目标物示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

实现空间三维定位方法的空间三维定位装置，如图1-1所示，该装置包括：显示屏3、用于定位操作且能提取出特征点的目标物4、图像处理模块、USB接口5和计算机模块6，所述图像处理模块与USB接口5、计算机模块6依次连接。

所述图像处理模块包括摄像头1和摄像头2，摄像头1和摄像头2均放置在显示屏3的前方且不遮挡到显示屏3的位置，两摄像头光轴与显示屏垂直线的夹角可为直角，或摄像头光轴与显示屏垂直线的夹角为大于45度的锐角，本实施例中采用，两摄像头放置在显示屏3的上方空间，两摄像头光轴与显示屏垂直线的夹角均为直角。各个摄像头拍摄范围的重叠区域覆盖显示屏3前方一定空间。图1中的斜线填充区域7即为该重叠区域与垂直于显示屏3底线的平面的相交区域。其中，摄像头的放置方式不受限于本实施例，所述摄像头1和摄像头2的采用放置方式是多样的，如图1-2所示，摄像头1和摄像头2放置在显示屏3的下方空间，两摄像头光轴与显示屏垂直线的夹角均为a，其中a为60度。如图1-3所示，摄像头1和摄像头2放置在显示屏3的左侧空间，两摄像头光轴与显示屏垂直线的夹角均为直角。如图1-4所示，摄像头1和摄像头2放置在显示屏3的右侧空间，两摄像头光轴与显示屏垂直线的夹角均为直角。

本实施例在图1-1所示的斜线填充区域7处，设置一块黑色毯子，作为背景物，有利于将目标物特征点从背景物中区分出来。

摄像头1和摄像头2，是设置有镜头、图像处理芯片，以及CCD图像传感器或CMOS图像传感器的完整摄像头。

所述显示屏3可为背投、前投影、等离子(PDP)、液晶(LCD)或拼接显示屏幕等类型的显示屏。

所述目标物4可以选用操作笔或手指。

所述特征点，是指目标物4中能被摄像头1和摄像头2拍摄到的涂有特殊颜色的点，或目标物4中能被摄像头1和摄像头2拍摄到的特殊位置点。进行定位时，所述目标物4在该重叠区域内操作；

如图2所示，上述空间三维定位装置的定位方法，在进行定位之前或定位开始时，首先对摄像头1和摄像头2进行标定，然后依次进行以下操作：

(1)摄像头1和摄像头2进行拍摄，分别获取图像数据；

(3)确定步骤(2)中所述目标物特征点的空间坐标；

(5)确定沿步骤(4)所述目标物空间方向指向线在显示屏3上对应的坐标，即为目标物4在显示屏3上对应指向的定位坐标。

如图3所示，是本实施例为实现定位所建立的世界坐标系和摄像头图像平面坐标系。所述世界坐标系为在环境中选取的一个基准坐标系，用于描述摄像头1和摄像头2的位置，本实施例中设定为O-XYZ，以显示屏3的左下角为原点O，显示屏3的横方向为X轴、纵方向为Y轴，垂直显示屏3的方向为Z轴。

各个摄像头的图像平面坐标系是各个摄像头的以像素点为刻度单位的图像平面坐标系，具体针对摄像头1和摄像头2，本实施例中分别设定为o₁-x₁y₁、o₂-x₂y₂。

如图3所示，P(X，Y，Z)为目标物4的世界坐标，P₁(x₁，y₁)为目标物4在摄像头1拍摄图像中的成像坐标，P₂(x₂，y₂)为目标物4在摄像头2拍摄图像中的成像坐标。

世界坐标系和摄像头1的图像平面坐标系的转换关系如下面公式(1)所示：

S_{1} [\begin{matrix} x_{1} \\ y_{1} \\ 1 \end{matrix}] = [\begin{matrix} a_{1} & a_{2} & a_{3} & a_{4} \\ a_{5} & a_{6} & a_{7} & a_{8} \\ a_{9} & a_{10} & a_{11} & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \\ 1 \end{matrix}] - - - (1)

其中，s₁为非零参数，a₁，a₂......，a₁₁为系统转换矩阵的元素，与摄像头1的光轴中心、焦距等内部参数，也与摄像机1的放置位置等外部参数有关。

而世界坐标系和摄像头2的图像平面坐标系的转换关系如公式(2)所示：

S_{2} [\begin{matrix} x_{2} \\ y_{2} \\ 1 \end{matrix}] = [\begin{matrix} b_{1} & b_{2} & b_{3} & b_{4} \\ b_{5} & b_{6} & b_{7} & b_{8} \\ b_{9} & b_{10} & b_{11} & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \\ 1 \end{matrix}] - - - (2)

其中s₂为非零参数，b₁，b₂......，b₁₁为系统转换矩阵的元素，与摄像头2的光轴中心、焦距等内部参数，也与摄像机2的放置位置等外部参数有关。

确定a₁，a₂......，a₁₁以及b₁，b₂......，b₁₁等系统转换矩阵的元素，也即确定各个摄像头的图像平面坐标系与世界坐标系的转换关系，称为摄像头的标定。其标定方法是通过黑白相间的方格模板进行多角度的图像采集，选取方格模板中6个已知点，分别代入公式(1)和公式(2)，用最小二乘法就可以确定上述两个系统转换矩阵的元素，完成摄像头1和摄像头2的标定。

图4-1、4-2、4-3、4-4和4-5所示为目标物4优选的其中5种形式，该目标物4为操作笔，其中，黑色部分均表示为涂有特殊颜色区。

本实施例中，选取的目标物4如图4-1所示的操作笔，摄像头1和摄像头2要捕获的是操作笔的两个特征点。特征点为两个涂有特殊颜色且有一定间距的颜色点，其与操作笔笔杆颜色不同，例如笔杆颜色选择为黑色，特殊颜色为掺杂有荧光金粉的黄色，如图4-1所示的特殊颜色区401和特殊颜色区402，目的在于与应用环境中的其他物体相区分。当然，操作笔的形式可以是多样的，只要能提取出两个或两个以上特征点即可。如图4-2所示，特征点为特殊颜色区的起点403，以及特殊颜色区的终点404；如图4-3所示，特征点为特殊颜色区的起点405，以及特殊颜色区的终点406；如图4-4所示，特征点为特殊颜色区的终点407、目标物顶端点408；如图4-5所示，特征点为特殊颜色区409、目标物顶端点410。

步骤(2)所述捕获两个或两个以上目标物4的特征点，优选为根据所捕获到的目标物4的特征点的颜色进行筛选，再进行图像二值化处理，以从图像中提取两个或两个以上目标物特征点颜色的区域或点。根据目标物特征点的大小范围，对提取到的不符合大小范围的区域或点进行进一步的排除，最终得到目标物特征点。其中，所述图像二值化处理，是将目标物4特征点的灰度值设定为二值化的阈值，完成图像的二值化。

如图5所示，上述方法中，步骤(3)所述确定目标物特征点的空间坐标，优选为：根据步骤(2)中各摄像头所捕获目标物特征点，确定摄像头1拍摄图像中目标物特征点的平面坐标O₁(x₁，y₁)、O₂(x₂，y₂)和摄像头2拍摄图像中目标物4的特征点的平面坐标O₁’(x₁，y₁)、O₂’(x₂，y₂)，代入上述已知系统转换矩阵的元素的公式(1)和公式(2)中，即可求解出目标物特征点相应的空间坐标O₁(X₁，Y₁，Z₁)、O₂(X₂，Y₂，Z₂)。

将目标物特征点的空间坐标O₁(X₁，Y₁，Z₁)、O₂(X₂，Y₂，Z₂)代入下面公式(3)：

\frac{X - X_{1}}{X_{2} - X_{1}} = \frac{Y - Y_{1}}{Y_{2} - Y_{1}} = \frac{Z - Z_{1}}{Z_{2} - Z_{1}} - - - (3)

其中，公式(3)表示目标物的空间方向指向线，是指由所述目标物4的特征点所确定的直线。

本实施例中，显示屏3的平面在建立的世界坐标系中，表示式为：Z＝0(4)

将上述公式(3)和公式(4)联立求解，可以得到沿目标物4空间方向指向线在显示屏3上对应的坐标O(X，Y，0)，如图5所示。

实施例2

本实施例中，目标物如图6-1所示，直接用手指操作，其中，手指上套有两个具有特殊颜色的大小可伸缩的指环，其目的在于与应用环境中的其他物体相区分。摄像头1和摄像头2捕获到手指上的有一定间距的特殊颜色点作为两个特征点。如图6-1图的601和602。除此外，本实施例的其他组件及其结构与实施例1相同。当然，目标物特征点的选定也可以按照特殊位置点进行选定。例如，图6-2中，特征点为603和604；图6-3中，特征点为605和606；图6-4中，特征点为607和608.

本实施例中，捕获目标物特征点的方法为：先根据手的大小和颜色排除干扰并确定目标物4，然后再根据手指上特征点的颜色进行筛选，进行图像二值化处理，再根据目标物特征点的大小进行筛选，以确定目标物4的特征点。

当操作手指超过一个时，例如有两个手指在操作，且每个手指均套上了两个有特殊颜色的指环。这种情况，在拍摄图像中存在四个特征点，判断哪两个特征点为同一个手指上的特征点，可以通过统计图像中任意两个特征点的连线经过的像素灰度值符合人手肤色灰度值的数目，当此数目超过一定阈值，如：20，则认为这两个特征点在同一个手指上。判断了在同一个手指上的两个特征点为一组特征点后，后续的定位坐标确定步骤均与实施例1相同。

上述实施例是一种空间三维定位装置及其定位方法，但本发明的实施方式并不受上述实施例的限制，可以在上述实施例的基础上增加摄像头，进行组合拍摄，利用本发明所阐述的方法进行定位，随着摄像头的增加，其定位精度也随之提高，因此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1、一种空间三维定位方法，其特征在于：实现本定位方法的空间三维定位装置包括显示屏和用于定位操作且能提取出特征点的目标物，还包括依次连接的图像处理模块、接口模块和计算机模块，其中，图像处理模块包括至少两个摄像头，该图像处理模块放置在显示屏的前方且不遮挡到显示屏的位置，各个摄像头拍摄范围的重叠区域覆盖显示屏前方一定空间；而所述目标物在该重叠区域内操作；本发明定位方法在进行定位之前或定位开始时，首先对图像处理模块中的各个摄像头进行标定，然后依次进行以下操作：

(1)摄像头进行拍摄，获取图像数据；

(3)确定步骤(2)中所述目标物特征点的空间坐标；

2、根据权利要求1所述的一种空间三维定位方法，其特征在于：所述对各个摄像头进行标定的方法为：建立世界坐标系和各个摄像头的图像平面坐标系，确定各个摄像头的图像平面坐标系与世界坐标系的转换关系。

3、根据权利要求1所述的一种空间三维定位方法，其特征在于：步骤(2)所述捕获两个或两个以上目标物特征点，具体为：根据所捕获到的目标物特征点的颜色进行筛选，进行图像二值化处理，再根据目标物特征点的大小进行筛选，以从中提取两个或两个以上目标物特征点；也可以先根据所捕获到的目标物的大小和颜色先排除干扰并确定目标物，然后再根据目标物上特征点的颜色进行筛选，进行图像二值化处理，再根据目标物特征点的大小进行筛选，以从中确定两个或两个以上目标物特征点；或直接把所捕获到的两个或两个以上目标物的特殊位置点作为目标物特征点。

4、根据权利要求1、2或3所述的一种空间三维定位方法，其特征在于：步骤(3)所述确定目标物特征点的空间坐标，具体为：先确定各个摄像头拍摄图像中目标物特征点的平面坐标，再将平面坐标转换为目标物特征点的空间坐标。

5、根据权利要求4所述的一种空间三维定位方法，其特征在于：步骤(4)所述空间方向指向线，是指由所述两个或以上目标物特征点所确定的直线。

6、根据权利要求1或5所述的一种空间三维定位方法，其特征在于：步骤(5)所述的定位坐标的确定方法为：将步骤(4)所述的空间方向指向线的直线方程与显示屏所在平面的方程联立求解，得到的坐标即为定位坐标。

7、根据权利要求1所述的一种空间三维定位方法，其特征在于：步骤(2)所述捕获两个或两个以上目标物特征点、步骤(3)所述确定目标物特征点的空间坐标、步骤(4)所述确定目标物的空间方向指向线，以及步骤(5)所述确定沿目标物空间方向指向线在显示屏上对应的坐标，采用以下方式中的任意一种：

a.摄像头获取的图像数据通过接口模块将图像数据传输至计算机模块，由计算机模块根据图像数据依次进行步骤(2)、(3)、(4)和步骤(5)的操作；

b.由所述图像处理模块，或者具体由摄像头设置的图像处理芯片读取图像数据，并根据图像数据进行步骤(2)、(3)、(4)和步骤(5)中前1个、2个或前3个步骤的操作，然后将操作所得数据传输给计算机模块，由计算机模块进行剩余步骤的操作；

c.由所述图像处理模块，或者具体由摄像头设置的图像处理芯片读取图像数据，并根据图像数据进行依次进行步骤(2)、(3)、(4)和步骤(5)的操作。

8、根据权利要求1所述的一种空间三维定位方法，其特征在于：各摄像头光轴与显示屏垂直线的夹角为直角，或摄像头光轴与显示屏垂直线的夹角为大于45度的锐角。

9、根据权利要求1所述的一种空间三维定位方法，其特征在于：所述目标物特征点，是指目标物中能被摄像头拍摄到的涂有特殊颜色的点，或目标物中能被摄像头拍摄到的特殊位置点。

10、根据权利要求1所述的一种空间三维定位方法，其特征在于：在摄像头的拍摄方向设置一个单一颜色的背景物。