CN102455779B - 信息处理设备和方法 - Google Patents

Abstract

公开了信息处理设备和方法，所述设备包括：第一光源部件，用于发射第一光线；第一光变换部件，设置于所述第一光源部件和一投影面之间，用于使所述第一光线在通过所述第一光变换部件后，形成第二光线，其中，所述第二光线能在所述投影面上形成具有预定图案的不可见的第一图像；图像采集部件，具有一采集区域，所述投影面位于所述采集区域内，当目标物体进入所述采集区域时，所述图像采集部件用于采集所述第二光线在所述目标物体上形成的不可见的第二图像；以及处理部件，与所述图像采集部件连接，用于通过对所述第二图像处理以获得所述目标物体相对于所述信息处理设备的空间位置参数。

Description

信息处理设备和方法

技术领域

本发明涉及信息处理设备和方法，更特别地，涉及能够实现用户交互的信息处理设备和方法。

背景技术

目前微型投影设备的应用越来越广泛。特别是激光扫描投影的出现，可以在无需事先调整焦距的情况下在任意平面直接成像，因此得到了特别关注。微型投影可以作为显示设备，但如何提供相应的交互一直是一个尚待解决的问题。

现有的解决方案主要有以下两种。

方案一：利用摄像头检测用户手势。因为单独使用摄像头图像处理算法的固有缺陷，稳定性不高，系统消耗大，手势判断有识别率问题，特别是无法准确判断手指三维位置因而不支持用户自然的触摸操作。

方案二：利用摄像头配合手指触摸检测的方案。单独使用红外检测手指触摸与否的操作。主要问题是设备大幅度增加体积，对使用空间有要求，减弱了便携投影本身的便携性，同时也无法支持空间的三维手势操作。

发明内容

针对上述问题和现有解决方案的缺陷，本发明提出了能够实现用户交互的信息处理设备和方法。进一步，本发明提出了能够在现有投影设备的基础上增加少量成本就可以实现用户交互的信息处理设备和方法。

根据本发明的一个方面，提供了一种信息处理设备，包括：第一光源部件，用于发射第一光线；第一光变换部件，设置于所述第一光源部件和一投影面之间，用于使所述第一光线在通过所述第一光变换部件后，形成第二光线，其中，所述第二光线能在所述投影面上形成具有预定图案的不可见的第一图像；图像采集部件，具有一采集区域，所述投影面位于所述采集区域内，当目标物体进入所述采集区域时，所述图像采集部件用于采集所述第二光线在所述目标物体上形成的不可见的第二图像；以及处理部件，与所述图像采集部件连接，用于通过对所述第二图像处理以获得所述目标物体相对于所述信息处理设备的空间位置参数。

优选地，所述图像采集部件包括仅允许所述第一光线通过的滤光片。

优选地，所述信息处理设备进一步包括：第二光源部件，用于发射第三光线；以及第二光变换部件，设置于所述第二光源部件和所述投影面之间，用于使所述第三光线在通过所述第二光变换部件后，在所述投影面上形成可见的第三图像。

优选地，当所述第一光变换部件和所述第二光变换部件是同一个光变换部件时，所述光变换部件包括：第一到第四液晶面板，分别用于透射红光、绿光、蓝光和所述第一光线；以及第一到第四光学机构，分别用于从第一光源和第二光源发出的光中分离出红光、绿光、蓝光和所述第一光线，并将其分别投射到第一到第四液晶面板；投影镜头，用于将来自第一到第四液晶面板的光进行投影成像。

替代地，当所述第一光变换部件和所述第二光变换部件是同一个光变换部件时，所述光变换部件包括：色轮，包括红、绿、蓝滤光片和仅允许所述第一光线通过的滤光片；高速马达，使所述色轮转动；其中当所述高速马达使得所述色轮转动从而第一光源和第二光源发出的光分别投射到所述色轮上的各个滤光片时，分离出与各个滤光片对应的光，数字微镜元件，对投射到其上的、通过所述色轮分离出的各种光进行反射；和投影镜头，对数字微镜元件反射的光进行投影成像。

替代地，当所述第一光变换部件和所述第二光变换部件是同一个光变换部件时，所述光变换部件包括：光线混合机构，对第一光源和第二光源发出的光进行混合；和光机扫描器芯片，对所述光线混合机构混合的光进行扫描以生成投影图像，其中所述第二光源包括红光源、绿光源和蓝光源。

优选地，通过将所述第二图像作为输入，在被检测空间中进行三维手势识别或检测手指触摸，从而执行与所识别的三维手势或所检测的手指触摸对应的操作。

根据本发明的另一个方面，提供了一种信息处理方法，包括如下步骤：发射第一光线，所述第一光线在通过光变换后形成第二光线，其中，所述第二光线能在投影面上形成不可见的第一图像；当目标物体进入图像采集区域时，采集所述第二光线在所述目标物体上形成的不可见的第二图像；以及通过对所述第二图像处理以获得所述目标物体的相对空间位置参数。

优选地，所述图像采集步骤包括仅允许所述第一光线通过的步骤。

优选地，所述信息处理方法进一步包括如下步骤：发射第三光线，所述第三光线在通过光变换后，在所述投影面上形成可见的第三图像。

通过本发明的实施例，可以实现如下优点：

1、准确获取深度信息，可支持三维空间手势和检测手指是否触摸到平面。

2、抗干扰能力很强，对环境光照、投影背景无任何要求。

3、复用利用激光微型投影已有的器件，只增加少量额外成本。

4、能够保留微型投影便携性的优点，支持未来可携带的便携设备。

附图说明

从下面结合附图对本发明的示例实施方式的描述，本发明的一般性发明概念的上述和/或其他的方面和特征将变得更加清楚和容易理解，其中：

图1是根据本发明实施例的信息处理设备的配置示例的框图；

图2A-2C是图示结构光测量原理的图；

图3A示出了现有技术的3LCD投影原理，而图3B示出了根据本发明的光变换部件的第一示例；

图4A示出了现有技术的DLP(DigitalLightProcessing)投影原理，而图4B示出了根据本发明的光变换部件的第二示例；

图5A示出了现有激光扫描微投影的实现原理，而图5B示出了根据本发明的光变换部件的第三示例；

图6示出了利用深度图像进行三维手势识别的系统框图；

图7示出了利用深度图像检测手指触摸的系统框图；以及

图8示出了根据本发明实施例的信息处理方法。

具体实施方式

下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。

下面将以如下顺序进行描述：

1、根据本发明实施例的信息处理设备

2、光变换部件的第一示例

3、光变换部件的第二示例

4、光变换部件的第三示例

5、三维手势识别和手指触摸检测

6、根据本发明实施例的信息处理方法

1、根据本发明实施例的信息处理设备

参照图1，图1是示出根据本发明实施例的信息处理设备的配置示例的框图。信息处理设备包括：第一光源部件、第一光变换部件、图像采集部件和处理部件。

第一光源部件发射第一光线。第一光变换部件设置于第一光源部件和投影面之间，用于使第一光线在通过第一光变换部件后形成第二光线。其中，第二光线能在所述投影面上形成具有预定图案(例如，条纹图案)的不可见的第一图像。图像采集部件具有一采集区域，投影面位于采集区域内，当目标物体(例如，演讲人的手)进入采集区域时，图像采集部件采集第二光线在目标物体上形成不可见的第二图像。图像采集部件包括仅允许第二光线通过的滤光片。处理部件，与图像采集部件连接，用于通过对所述第二图像处理以获得所述目标物体相对于所述信息处理设备的空间位置参数。

例如，第一光源为红外光源，第一光线、第二光线为红外光线。但是本领域的技术人员应该理解，本发明不限于这些示例。能够形成不可见图像的光源或光线都可应用于本发明。

例如，可以通过结构光计算获得目标物体相对于所述信息处理设备的空间位置参数。结构光法测量三维物体面形，是将特定光条投影到被测物表面，通过物体表面高低起伏所引起的光条畸变来抽取物体的三维信息。由于结构光法具有快速、精确、简便的特点，因而是一种广泛采用的三维物体面形测量方法。常用的结构光三维表面形貌测量法主要包括云纹法、单光束三维表面测量法和条纹结构光测量法。下面，以条纹结构光测量法为例，对获取目标物体的空间位置参数的原理进行描述。

条纹结构光测量法采用光学投影器将光栅投影于物体表面，在表面上形成由被测物体表面形状所调制的光栅条纹三维图像，该三维条纹图像由处于另一位置的摄像机拍摄，从而获得光栅条纹的二维变形条纹图像。条纹的变形程度取决于光学投影器与摄像机之间的相对位置和物体表面形廓(高度)。直观上，条纹在法线方向的位移(或偏移)与物体表面深度成比例，扭结表示了平面的变化，不连续显示了表面的物理突变或间隙。当光学投影器与摄像机之间的相对位置一定时，由变形的条纹图像便可以重现物体表面轮廓，即可以进行三维表面的形貌测量。

该方法具体包括如下步骤：

(1)对CCD数码相机和投影仪进行标定。摄像机标定也称为摄像机的校准。在立体视觉的研究中，通常需要根据摄像机获取的图像信息计算三维空间中的物体集合信息，由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的。这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机的标定。因此，摄像机标定是为了确定摄像机的位置、属性参数(内部参数如焦距、镜头失真系数、不确定性图像因子和外部参数如旋转矩阵和平移矢量)和建立成像模型，以便确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。摄像机标定在获取立体图像时不但要满足应用要求，而且要考虑视点差异、光照条件、摄像机性能以及景物特点等因素的影响，建立一个有效的摄像机模型，这样不仅能够精确地恢复出空间景物的三维信息，还有利于解决立体匹配问题。

(2)设计具有预定图案的纹理图像(即，上文所述的“第一图像”)，并投影到目标物体上，利用数码相机摄取目标物体的深度图像(即，上文所述的“第二图像”)。例如，所述纹理图像如图2A所示，所述深度图像如图2B中所示。

(3)对深度图像进行处理，利用线检测和线跟踪原理提取物体上的线特征，如图2C所示。

(4)将提取出的如图2C所示的线条与投影仪设计的如图2A所示的纹理线条相匹配。

(5)将匹配正确的线条用DLT(直接线性变换法)方法进行解算，计算出物体表面的三维空间坐标值(x，y，z)。

重新参照图1，优选地，信息处理设备进一步包括第二光源部件和第二光变换部件。第二光源部件发射第三光线。例如，第二光源可以是白光源或RGB光源。第二光变换部件设置于第二光源部件和投影面之间，用于使第三光线在通过所述第二光变换部件后，在所述投影面上形成可见的第三图像。例如，第三图像为操作界面或预定图片。如下文中所述，用户可以通过特定手势或手指触摸对操作界面或预定图片执行对应操作。

可替代地，第一光变换部件和第二光变换部件可以是同一个光变换部件。在这种情况下，光变换部件可以以三种不同的方式实现。下面以第一光源为红外光源为例进行描述。

2、光变换部件的第一示例

图3A示出了现有技术的3LCD投影原理。将光源发出的光通过分色镜1分出红色光，再通过分色镜2分为绿色光和蓝色光，三种颜色的光分别投射到三块相对应的液晶板上，并经过中间的棱镜将三原色光进行混合后投射出不同颜色的图像。例如，这里的光源为白光源。

图3B示出了根据本发明的光变换部件的第一示例。在图3B中，光源包括红外光源和白光源。光变换部件100包括：第一到第四液晶面板，分别用于透射红光、绿光、蓝光和红外光线；以及第一到第四光学机构，分别用于从第一光源和第二光源发出的光中分离出红光、绿光、蓝光和红外光线，并将其分别投射到第一到第四液晶面板；投影镜头，用于将来自第一到第四液晶面板的光进行投影成像。需要指出的是，由第一到第三液晶面板透射的红光、绿光和蓝光混合后通过投影镜头后在投影面上形成可见的彩色图像(如操作界面或预定图片)，由第四液晶面板透射的红外光线通过投影镜头后在投影面上形成不可见的条纹图案。

第一光学机构包括分光镜1和反射镜1，用于分离出红光并将其投射到第一液晶面板上。第二光学机构包括分光镜2，用于分离出绿光并将其投射到第二液晶面板上。第三光学机构包括分光镜3和反射镜2，用于分离出蓝光并将其投射到第三液晶面板上。第四光学机构包括分光镜3、反射镜3和反射镜4，用于分离出红外光线，并通过两组镜面反射后将其投射到位于第一到第三液晶面板上方、且与第一到第三液晶面板垂直的第四液晶面板上。

该第一示例是在现有3LCD技术的基础上，使用分光镜3代替反射镜3，并增加反射镜，将光线反射到上方(因平面图不好表现，利用虚线表示，实际光线被反射到垂直于平面方向)。因此，光变换部件的该示例复用了现有的3LCD投影设备，在少量增加额外成本的基础上，直接支持两种光源的光变换，进而能够实现下文所述的3维手势识别和平面触摸操作。

3、光变换部件的第二示例

图4A示出了现有技术的DLP(DigitalLightProcessing)投影原理。DLP投影机的核心部件为DMD(DigitalMicromirrorDevice)，即数字微镜元件，其它的部件还有：氙灯泡、色轮(colorwheel)和投射镜头。其工作原理是：当光线经过色轮分解为R、G、B三原色后，投射DMD芯片。DMD芯片上有很多微小的镜片组成(如果分辨率是800×600，则DMD芯片上有48万个小镜片)，每个小镜片均可在+10°与-10°之间自由旋转并且由电磁定位。信号输入后，在经过处理后作用于DMD芯片，从而控制镜片的开启和偏转。入射光线在经过DMD镜片的反射后由投影镜头投影成像。

图4B示出了根据本发明的光变换部件的第二示例。在图4B中，光源包括红外光源和白光源。光变换部件200包括：色轮，包括红、绿、蓝滤光片和仅允许红外光线通过的滤光片；高速马达，使所述色轮转动，其中当高速马达使得色轮转动从而白光源和红外光源发出的光分别投射到色轮上的各个滤光片时，分离出与各个滤光片对应的光；数字微镜元件(DMD)，对投射到其上的、通过色轮分离出的各种光进行反射；和投影镜头，对数字微镜元件反射的光进行投影成像。需要指出的是，由色轮中的红、绿、蓝滤光片分离出的红光、绿光和蓝光混合后通过投影镜头后在投影面上形成可见的彩色图像(如操作界面或预定图片)，由色轮中的红外滤光片分离出的红外光线通过投影镜头后在投影面上形成不可见的条纹图案。

该第二示例是在现有DLP技术的基础上，在色轮中添加红外滤光片，即可支持红外图像和传统图像叠加。因此，光变换部件的该示例复用了现有的DLP投影设备，在少量增加额外成本的基础上，直接支持两种光源的光变换，进而能够实现下文所述的3维手势识别和平面触摸操作。

4、光变换部件的第三示例

图5A示出了现有激光扫描微投影的实现原理。在图5A中，三色激光LED光源通过光线混合机构混合后，照射到MEMS光机扫描芯片，由此芯片扫描生成投影图像。

图5B示出了根据本发明的光变换部件的第三示例。在图5B中，光变换部件300包括：光线混合机构，对RGB光源和红外光源发出的光进行混合；和光机扫描器芯片，对光线混合机构混合的光进行扫描以生成投影图像。其中RGB光源包括红色发光二极管(LED)、绿色LED和蓝色LED。需要指出的是，光机扫描芯片对光线混合机构混合的红光、绿光和蓝光进行扫描后在投影面上形成可见的彩色图像(如操作界面或预定图片)，光机扫描芯片对光线混合机构混合的红外光线进行扫描后在投影面上形成不可见的条纹图案。

该第三示例是在现有激光扫描微投影技术的基础上，在光线混合机构中添加红外光源部分，同时修改光机扫描时序能够支持四种光源，即可实现红外图像和普通图像叠加的最终效果。因此，光变换部件的该示例复用了现有的激光扫描微投影设备，在少量增加额外成本的基础上，直接支持多种光源的光变换，进而能够实现下文所述的3维手势识别和平面触摸操作。

5、三维手势识别和手指触摸检测

通过将目标物体上形成的第二图像(即：深度图像)作为输入，可以在采集区域中进行三维手势识别或检测手指触摸，从而执行与所识别的三维手势或所检测的手指触摸对应的操作。

图6示出了利用第二图像进行三维手势识别的系统框图。如上文中所述，可以通过条纹结构光测量法获得目标物体的三维空间位置。手势识别引擎可以基于手指的三维位置坐标(例如，可以是相对三维位置坐标)识别手势。在识别出三维手势之后，可以执行与所识别的三维手势对应的操作。例如，当检测到双手握拳的手势，并且双手的深度信息(即，z轴坐标)几乎不变，同时双手的xy轴坐标指示双手正在远离时，可以执行放大显示图片的操作，反之可以执行缩小显示图片的操作。

图7示出了利用第二图像检测手指触摸的系统框图。参照图7中的流程，可以利用深度图像进行最小二乘法拟合得到一个实际的投影平面坐标，进而得到投影平面，同时利用手指三维检测得到手指的三维位置。

通过触摸检测模块进行点到平面距离(z轴坐标)的计算，可以判断出手指是否触摸到平面，即设定对应的触摸状态，并且得到手指相对投影平面的触摸位置相对坐标(xy轴坐标)。例如，当在投影面上显示计算机键盘时，基于通过结构光测量法得到的手指的三维位置，通过手指的深度信息(即，z轴坐标)判断是否触摸到投影面，并通过手指的二维坐标(即，xy轴坐标)判断手指具体触摸到哪一按键。当手指的深度信息指示已触摸到投影面且手指的二维坐标指示触摸到“a”键，则对应地输入字母“a”。

6、根据本发明实施例的信息处理方法

参照图8，图8示出了根据本发明实施例的信息处理方法，包括如下步骤：

步骤S801：发射第一光线，所述第一光线在通过光变换后形成第二光线，其中，所述第二光线能在投影面上形成具有预定图案的不可见的第一图像；

步骤S802：当目标物体进入图像采集区域时，采集所述第二光线在所述目标物体上形成的不可见的第二图像；以及

步骤S803：通过对所述第二图像处理以获得所述目标物体的相对空间位置参数。

例如，第一光线可以是红外光线。但是本领域的技术人员应当理解，本发明不限于该示例。能够形成不可见图像的光线都可应用于本发明。

另外，步骤S801包括仅允许所述第一光线通过的步骤。

优选地，所述信息处理方法进一步包括如下步骤：

步骤S804：发射第三光线，所述第三光线在通过光变换后，在所述投影面上形成可见的第三图像。

在上述信息处理方法中，通过将第二图像作为输入以进行三维手势识别或检测手指触摸，可以执行与所识别的三维手势或所检测的手指触摸对应的操作。

以上参照图1到图8描述了根据本发明的信息处理设备和方法。上述信息处理设备和方法能够在以微型投影作为显示设备的情况下实现用户交互，并且能够进一步在现有设备的基础上增加少量额外成本以实现用户交互。

尽管本发明是参照其特定的优选实施例来描述的，但本领域的技术人员应该理解，在不脱离由本发明的精神和范围的情况下，可以对其进行形式和细节的各种修改。

Claims (11)

1.一种信息处理设备，包括：

第一光源部件，用于发射第一光线；

第一光变换部件，设置于所述第一光源部件和一投影面之间，用于使所述第一光线在通过所述第一光变换部件后，形成第二光线，其中，所述第二光线能在所述投影面上形成具有预定图案的不可见的第一图像；

图像采集部件，具有一采集区域，所述投影面位于所述采集区域内，当目标物体进入所述采集区域时，所述图像采集部件用于采集所述第二光线在所述目标物体上形成的不可见的第二图像；以及

处理部件，与所述图像采集部件连接，用于通过对所述第二图像处理以提取特征，并通过将所述特征与所述第一图像相匹配以获得所述目标物体相对于所述信息处理设备的空间位置参数。

2.根据权利要求1所述的信息处理设备，其中所述图像采集部件包括仅允许所述第一光线通过的滤光片。

3.根据权利要求2所述的信息处理设备，进一步包括：

第二光源部件，用于发射第三光线；以及

第二光变换部件，设置于所述第二光源部件和所述投影面之间，用于使所述第三光线在通过所述第二光变换部件后，在所述投影面上形成可见的第三图像。

4.根据权利要求3所述的信息处理设备，其中所述第一光变换部件和所述第二光变换部件是同一个光变换部件，所述光变换部件包括：

第一到第四液晶面板，分别用于透射红光、绿光、蓝光和所述第一光线；以及

第一到第四光学机构，分别用于从第一光源和第二光源发出的光中分离出红光、绿光、蓝光和所述第一光线，并将其分别投射到第一到第四液晶面板；

投影镜头，用于将来自第一到第四液晶面板的光进行投影成像。

5.根据权利要求3所述的信息处理设备，其中所述第一光变换部件和所述第二光变换部件是同一个光变换部件，所述光变换部件包括：

色轮，包括红、绿、蓝滤光片和仅允许所述第一光线通过的滤光片；

高速马达，使所述色轮转动；

其中当所述高速马达使得所述色轮转动从而第一光源和第二光源发出的光分别投射到所述色轮上的各个滤光片时，分离出与各个滤光片对应的光，

数字微镜元件，对投射到其上的、通过所述色轮分离出的各种光进行反射；和

投影镜头，对数字微镜元件反射的光进行投影成像。

6.根据权利要求3所述的信息处理设备，其中所述第一光变换部件和所述第二光变换部件是同一个光变换部件，所述光变换部件包括：

光线混合机构，对第一光源和第二光源发出的光进行混合；和

光机扫描器芯片，对所述光线混合机构混合的光进行扫描以生成投影图像，

其中所述第二光源包括红光源、绿光源和蓝光源。

7.根据权利要求3所述的信息处理设备，其中通过将所述第二图像作为输入，在被检测空间中进行三维手势识别或检测手指触摸，从而执行与所识别的三维手势或所检测的手指触摸对应的操作。

8.一种信息处理方法，包括如下步骤：

发射第一光线，所述第一光线在通过光变换后形成第二光线，其中，所述第二光线能在投影面上形成具有预定图案的不可见的第一图像；

当目标物体进入图像采集区域时，采集所述第二光线在所述目标物体上形成的不可见的第二图像；以及

通过对所述第二图像处理以提取特征，并通过将所述特征与所述第一图像相匹配以获得所述目标物体的相对空间位置参数。

9.根据权利要求8所述的信息处理方法，其中所述图像采集步骤包括仅允许所述第一光线通过的步骤。

10.根据权利要求8所述的信息处理方法，进一步包括如下步骤：

发射第三光线，所述第三光线在通过光变换后，在所述投影面上形成可见的第三图像。

11.根据权利要求10所述的信息处理方法，其中通过将所述第二图像作为输入以进行三维手势识别或检测手指触摸，从而执行与所识别的三维手势或所检测的手指触摸对应的操作。