CN104052950A

CN104052950A - 操作检测装置和操作检测方法

Info

Publication number: CN104052950A
Application number: CN201410057545.6A
Authority: CN
Inventors: 成川沙希子; 松原孝志; 森直树
Original assignee: Hitachi Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2013-03-11
Filing date: 2014-02-20
Publication date: 2014-09-17
Anticipated expiration: 2034-02-20
Also published as: US20140253512A1; JP6037901B2; JP2014174833A; US10152177B2; CN104052950B

Abstract

本发明提供操作检测装置和操作检测方法，无需在操作面上设置传感器，就能够检测用户的手指对操作面的接触位置，并检测手指与操作面的接近度、手指指示方向。其中，影子区域提取部对由摄像机得到的摄像图像的亮度与阈值进行比较，提取由第一照明单元、第二照明单元产生的用户的手指的第一影子、第二影子。接近度检测部根据第一影子、第二影子内的两个特征点间的距离检测手指对操作面的接近度，接触点检测部根据两个特征点的位置检测手指对操作面的接触点。方向检测部根据第一影子、第二影子的轮廓线的方向检测手指的手指指示方向。显示控制部基于检测结果数据生成针对操作对象装置的显示控制数据。

Description

操作检测装置和操作检测方法

技术领域

本发明涉及检测用户的手指操作的操作检测装置和操作检测方法。

背景技术

作为在投影型影像显示装置(投影仪)的投影面(屏幕)上的用户操作的输入，人们提出了无需使用触控传感器等特殊设备，通过拍摄用户的操作部(手指)并提取其影子(shadow，阴影)来检测手指接触操作的技术。

专利文献1记载了这样一种操作检测装置，其包括：在操作者被照明单元照射的状态下使用摄像单元对操作者进行拍摄的单元；基于由上述摄像单元得到的操作者的图像数据，检测上述操作者的特定部位的区域的单元；从上述检测出的操作者的特定部位的区域提取影子部分的单元；和从上述提取出的影子部分中，检测多个边缘形成为直线的线段，并对检测出的线段彼此以锐角相交(相交成锐角)的点进行检测，检测该交点作为上述操作者的特定部位的区域内的手指指示位置的单元。

此外，专利文献2记载了这样的一种投影型影像显示装置，其包括：将影像投影到屏幕上的投影部；用于至少对包括投影到上述屏幕的影像的区域进行拍摄的摄像部；从由上述摄像部拍摄的图像中检测在上述屏幕上方移动的规定物体的实像的实像检测部；从由上述摄像部拍摄的图像中检测因来自上述投影部的投影光而产生的上述规定物体的影子的影子检测部；在上述规定物体的实像与影子的对应点间的距离为规定的阈值以下的情况下，判定为上述规定物体与上述屏幕发生接触的接触判定部；和当由上述接触判定部判定发生接触时，将上述规定物体的坐标作为对上述影像的指示位置输出的坐标决定部。

现有技术文献

专利文献

专利文献1：日本特开2008-59283号公报

专利文献2：日本特开2011-180712号公报

发明内容

发明要解决的技术问题

在专利文献1中，从由摄像单元得到的操作者的图像数据中提取影子部分，检测影子的边缘以锐角相交的点作为手指指示位置。但是，在手张开并浮起(离开屏幕)的状态下，某个手指的影子之上看上去会重叠有其它的手指，由此能够预想到影子的边缘以锐角相交的点会产生多个，因此可能错误地检测到与手指指示位置不同的点。由此，不适合在手张开的状态下同时检测多根手指的指示位置的所谓多点触摸操作的检测。

此外，在专利文献2中，在规定物体(手指)的实像与影子的对应点间的距离为规定的阈值以下时，判定为规定物体接触屏幕。但是，在手张开的状态下，由于某个手指的实像会导致其它手指的影子的一部分不能够被看到，因此难以检测手指的实像与影子的对应点。并且，在手张开且浮起的状态下，手指的实像与影子的距离增大，因此例如会出现某个手指的影子的前端部看上去接近其它手指的实像的前端部，某个手指的实像与影子的对应点间的距离成为阈值以下的情况，可能会错误地判定为手指与屏幕接触。由此，该方式也不适于多点触摸操作的检测。

此外，在任一个专利文献中，均没有考虑操作状态中手指与操作面的间隙(接近度)的检测和手指指示方向的检测。

本发明鉴于上述问题，其目的在于提供一种操作检测装置和操作检测方法，即使在手张开的状态下也能够正确地检测多根手指各自的接触位置，并且检测手指与操作面的接近度和手指指示方向。

解决技术问题的技术方案

为了解决上述问题，采用权利要求中记载的技术方案。举其中一个例子，本发明的操作检测装置包括：对操作面从不同的位置照射照明光的第一照明单元和第二照明单元；对被照明光照射的操作面与用户的操作部一起进行拍摄的摄像机；对由摄像机得到的拍摄图像的亮度与规定的阈值进行比较，提取由第一照明单元和第二照明单元产生的用户的操作部的第一影子和第二影子的影子区域提取部；和根据提取出的第一影子和第二影子的形状，检测用户的操作部对操作面的接近度、接触点、操作部的指示方向中的至少一种操作状态的操作状态检测部。

上述操作状态检测部优选包括：从提取出的第一影子和第二影子中检测各自的特征点的特征点检测部；从提取出的第一影子和第二影子的轮廓线中，检测大致直线状的线段作为各自的轮廓线的轮廓检测部；根据检测出的两个特征点间的距离检测用户的操作部对操作面的接近度的接近度检测部；根据检测出的两个特征点的位置检测用户的操作部对上述操作面的接触点的接触点检测部；和根据检测出的轮廓线的方向检测用户的操作部的指示方向的方向检测部，接近度检测部在检测出的两个特征点间的距离为规定的阈值以下时判定为用户的操作部与操作面接触。

发明效果

根据本发明，无需在操作面上设置触摸传感器等设备，就能够准确检测多根手指对操作面的接触位置，并且能够检测手指与操作面的接近度和手指的指示方向。由此能够提高对操作检测装置的操作性。

附图说明

图1是表示实施例1的操作检测装置的结构图。

图2是表示图1的变形例的图。

图3是表示用户使用操作检测装置1进行操作的状态的图。

图4是表示由两个照明单元产生的用户的手指的影子的形状的图。

图5是表示用户的操作位置对影子的形状的影响的图。

图6是表示手指与操作面的间隙与影子的形状的关系的图。

图7是说明利用特征点来判定接近度的图。

图8是说明利用特征点来确定(决定)接触点的图。

图9是表示将特征点设定于其它位置的情况的图。

图10是表示用多根手指进行操作时的影子的形状的图。

图11是说明利用轮廓线来确定手指指示方向的图。

图12是表示操作检测方法的处理流程的图。

图13是表示与手指的接近度对应的控制的一个例子的图。

图14是表示与手指指示方向对应的控制的一个例子的图。

图15是表示两个影子重叠着产生的情况的图(实施例2)

图16是说明重叠的影子的分离方法的图。

图17是表示内置有操作检测装置的投影仪的结构图(实施例3)。

图18是表示短焦式投影仪2a的例子的图。

图19是表示头戴型投影仪2b的例子的图。

附图标记说明

1：操作检测装置

100：摄像机

101、102：照明单元

104：影子区域提取部

105：特征点检测部

106：接近度检测部

107：接触点检测部

108：轮廓检测部

109：方向检测部

120：控制部

121：显示控制部

130：输出部

150：检测结果数据

151：显示控制数据

2：操作对象装置(投影仪)

2a：短焦型投影仪

2b：头戴型投影仪

20：小型投影仪本体

21：壁面

22：操作面

23：投影影像

23a：投影光

201：中央处理部

202：操作分析部

203：存储器

204：影像控制部

210：影像投影部

3：用户

30、31、32：手指

401、402、403、404、405：影子

501、502：轮廓线

601、602：特征点

700、701、702、703：手指指示方向

800：指针

P：接触点。

具体实施方式

以下使用附图说明实施例。

(实施例1)

实施例1中将要说明的是，使用一个摄像机和配置在不同位置的两个照明单元，对用户的操作部(手指)与操作面的接近度、手指与操作面的接触点、手指所指示的方向(手指指示方向)进行检测的操作检测装置及其方法。

图1表示实施例1的操作检测装置的结构图。操作检测装置1包括摄像机100，两个照明单元101、102，影子区域提取部104，特征点检测部105，接近度检测部106，接触点检测部107，轮廓检测部108，方向检测部109，控制部120，显示控制部121和输出部130。控制部120生成由各检测部检测出的手指对操作面的接近度、接触点坐标、手指指示方向等操作状态的检测结果数据150，此外，显示控制部121基于检测结果生成操作模式、指针显示装置、指针显示方向等显示控制数据151，从输出部130输出至操作对象装置2。操作对象装置2例如是投影仪(影像投影显示装置)，接收检测结果数据150和显示控制数据151，响应用户的操作而进行影像显示。

图1中将各部件100～109、120、121、130全部构成在操作检测装置1的内部，但也可以将一部分的构成部件连接在外部。例如可以将摄像机100和照明单元101、102构成在操作检测装置1的外部，经网络或通用串行总线(USB)连接。此外，显示控制部121也可以不构成在操作检测装置1的内部，而构成在操作对象装置2一侧。

图2是表示图1的操作检测装置的变形例的结构图，是在操作对象装置2的内部具有显示控制部205的情况。在该情况下，操作对象装置2的显示控制部205基于从操作检测装置1输出的检测结果数据150，生成操作模式等显示控制数据151，使得操作对象装置2能够进行与图1的结构同样的控制。

此外，各构成部件100～109、120、121、130采用了独立的部件，但是也可以根据需要由一个或多个构成部件构成。例如，部件104～109、120、121、130可以以由一个或多个中央处理装置(CPU)进行相应的处理而构成。

图3是表示用户3使用操作检测装置1进行操作的状态的图。图3(a)是操作状态的正视图，图3(b)是操作状态的侧视图。用户3通过使作为操作部的手指30接近壁面21的操作面22，并接触某个位置而进行期望的操作。此处设想了操作对象装置2为投影仪的情况，操作面22成为显示投影影像的屏幕，用户在屏幕上进行操作。

操作检测装置1安装在壁面21的上部，两个照明单元101、102隔着摄像机100错开配置在壁面21的横向上的不同位置。两个照明单元101、102照射用户3的手指30，利用摄像机100对手指30及其附近进行拍摄。手指30接近或接触操作面22时，手指30的影子的形状会发生变化，根据这一点，操作检测装置1分析摄像机100的图像，检测手指的接近度、接触点、手指指示方向。

接着，说明操作检测装置1的各部分的动作。摄像机100由图像传感器、透镜等构成，拍摄包含用户3的操作部即手指30的图像。两个照明单元101、102由发光二极管、电路基板、透镜等构成，对操作面22和用户3的手指30照射照明光，使手指30的影子投影在摄像机100所拍摄的图像内。另外，照明单元101、102可以为红外线照明单元，摄像机100由红外线摄像机构成。由此，能够将摄像机100拍摄的红外线图像从操作对象装置2(投影仪)所投影的可见光影像中分离取得。

影子区域提取部104从由摄像机100得到的图像中提取影子区域生成影子图像。例如，可以从操作检测时的拍摄图像减去预先拍摄的操作面22的背景图像而生成差值图像，以规定的阈值Lth对差值图像的亮度进行二值化(二进制化)，将阈值以下的区域作为影子区域。进一步，对提取出的影子进行将彼此不连结的影子区域区分为各自不同的影子的所谓标记(labeling)处理。通过标记处理，能够识别提取出的多个影子与哪根手指对应，即识别与一根手指对应的成对的两个影子。

特征点检测部105检测由影子区域提取部104提取出的影子图像内的特定位置(以下称为特征点)。作为特征点，例如检测影子图像内的前端位置(与指尖位置对应)。为了检测特征点可使用各种方法，在特征点为前端位置的情况下能够根据构成该影子图像的像素的坐标数据进行检测，或者能够通过图像识别等来检测与特征点所具有的特有的形状一致的部分。特征点从一个影子中会检测出一处，因此对于一根手指(两个影子)会检测出两处。

接近度检测部106测定由特征点检测部105检测出的两个特征点间的距离d，基于距离d检测手指与操作面的间隙s(接近度A)。由此判定手指与操作面接触还是不接触。

接触点检测部107在由接近度检测部106判定为手指与操作面接触的情况下，基于该特征点的位置，检测手指对操作面的接触点，计算其坐标。

轮廓检测部108从由影子区域提取部104提取出的影子图像提取影子区域的轮廓。例如，在影子图像内沿一定的方向进行扫描，决定进行轮廓跟踪的开始像素，通过逆时针地跟踪开始像素的附近像素而得到轮廓。

方向检测部109从由轮廓检测部108检测出的轮廓线中提取大致直线状的线段。然后，基于提取出的轮廓线的方向，检测操作面上的手指的指示方向。

另外，上述各检测部的处理并不限于上述方法，也可以使用其它图像处理的算法。此外，上述各检测部不仅能够由电路基板这样的硬件构成，也能够由软件构成。

控制部120控制装置整体的动作，生成由各检测部检测出的手指对操作面的接近度、接触点坐标、手指指示方向等检测结果数据150。

显示控制部121基于由控制部120生成的手指的接近度、接触点坐标、手指指示方向等检测结果数据150，生成对操作对象装置2(投影仪)的操作模式、指针位置、指针方向等显示控制数据151。

输出部130是将生成的检测结果数据150、显示控制数据151输出到操作对象装置2的接口，由网络连接、通用串行总线(USB)连接、超声波单元、红外线通信装置等构成。

图4是表示由两个照明单元生成的用户的手指的影子的形状的图。图4(a)表示手指30与操作面22不接触的状态，图4(b)表示接触的状态，分别表示了从操作面22的上方看的俯视图和摄像机图像。

在图4(a)所示手指30与操作面22不接触的状态(间隙s)下，来自两个照明单元101、102的光被手指30遮挡，分别形成影子402、401(以斜线表示)。在摄像机图像中，两个影子401、402彼此分离地存在于手指30的两侧。

另一方面，在图4(b)所示手指30的指尖接触操作面22的状态(间隙s＝0)下，两个影子401、402彼此接近地存在于手指30的指尖的位置。另外，影子401、402的一部分区域被隐藏在手指30的背面，该被隐藏的部分不包含在影子区域中。在本实施例中，利用了当手指30接近操作面22时影子401与影子402的间隔(特别是特征点间的距离)缩小的性质，判定手指30与操作面22的接触(与否)。

图5是表示用户的操作位置对影子的形状的影响的图。此处，对用户的操作位置相对操作面22的中央偏向左侧的情况(用户位置3)和偏向右侧的情况(用户位置3’)下的摄像机图像进行比较。此时从摄像机100看到的用户的操作位置会发生变化，但是在这些摄像机图像中，影子401(401’)、402(402’)相对于手指30(30’)的位置关系没有变化。即，与用户操作位置无关地，影子401(401’)和402(402’)总是存在于手指30(30’)的两侧。这是由摄像机100与照明单元101、102的位置关系而唯一决定的。由此，无论用户在哪个位置对操作面22进行操作都能够检测出两个影子401、402，能够有效地应用本实施例的操作检测方法。

图6是表示手指与操作面的间隙与影子的形状的关系的图。形成于手指30的两侧的两个影子401、402的间隔随手指30与操作面22的间隙s的变化而变化。为了定义两个影子401、402的间隔，在各个影子401、402的内部设定特征点601、602(以×标记表示)，测定特征点间的距离d。此处，特征点设定在影子的前端位置(指尖位置)。在手指30与操作面22的间隙s较大的情况下，两个影子401、402的间隔大，两个特征点601、602的距离d也大。随着手指30接近操作面22，特征点601、602的距离d变小，当手指30与操作面22接触时(间隙s＝0)，特征点601、602的距离d成为最小值。

图7是说明接近度检测部106判定接近度的图。此处，基于特征点间的距离d进行手指的接近度A的判定。为了判定手指的接近度A，设定针对特征点间的距离d的4个阈值d1、d2、d3、d4(其中，d1＜d2＜d3＜d4)。由此，将接近度A分为5个阶段(等级1～5)，等级值越大，手指30与操作面22的间隙s越小。首先，决定用于识别手指30接触了操作面22的状态(间隙s＝0)的阈值d1，在距离d＜d1的情况下，判定为接近度A处于最大等级5(接触状态)。对于此外的非接触状态，使用阈值d2～d4将接近度A分类为4个阶段(等级4～1)。其中在d＞d4的情况下，判定为接近度A处于最小等级1。此例中，利用4个阈值将接近度分类为5个阶段，但接近度的分类数并没有限制，可根据控制内容相应地进行适当设定。

图8是说明接触点检测部107确定接触点的图。表示了手指30接触了操作面22的状态下的影子401、402的形状，此处，将特征点601、602设定在各自的影子401、402的前端位置。此时，两个特征点601、602接近作为接触点的指尖位置，因此能够将两个特征点601、602的中点P视作手指30与操作面22的接触点，计算其坐标。

在上述例子中，将特征点601、602设定在各自的影子401、402的前端位置，通过该方法能够容易地设定特征点，而且接触点P的位置也位于其附近，因此能够容易地确定。

图9是表示将特征点设定于其它位置的情况的图。图8中特征点601、602被设定在影子401、402的前端位置，而图9中特征点601’、602’被设定在各影子的长度方向中间位置。在该情况下，随着影子401、402的间隔的变化，特征点601’、602’间的距离d’也发生变化，因此能够进行手指30与操作面22的接近度A的判定。另外，此时的接触点P’相对于特征点601’、602’的位置在长度方向上存在偏离，因此能够预先求取从特征点601’、602’到预想的接触点P’的距离(修正量)，以此进行修正从而求取接触点P’。同样，也能够将特征点设定在影子401、402内的上述以外的位置。

图10是表示用多根手指进行操作时的影子的形状的图。在手张开的状态下使多根手指31、32……接触操作面时，对于各手指，形成左侧的影子411、421……和右侧的影子412、422……。然后，对各影子设定特征点。此处表示了影子411、412的特征点611、612，和影子421、422的特征点621、622。通过测定对应的特征点611、612或者特征点621、622间的距离d，能够求取各个手指31、32的接近度、接触点。由此，根据本实施例，在手张开的状态下也能够单独地检测多个手指的接触，因此能够应用于多点触摸操作。

图11是说明方向检测部109确定手指指示方向的图。表示了手指30的方向(手指指示方向)倾斜时的影子401、402的形状，伴随手指指示方向的变化，影子401、402的方向也发生变化。为了检测手指指示方向，首先由轮廓检测部108检测影子401、402的轮廓线501、502。其中，在轮廓线的检测中，除去指尖等的曲线部分，检测由大致直线状的线段构成的轮廓线。之后，方向检测部109按照以下方法确定手指指示方向。

图11(a)中，使用影子401、402的内侧的轮廓线501、502。将内侧的轮廓线501、502的倾斜方向701、702的任一个决定为手指指示方向。

图11(b)中，使用影子401、402的外侧的轮廓线501’、502’。将外侧的轮廓线501’、502’的倾斜方向701’、702’的任一个决定为手指指示方向。

图11(c)中，使用影子401、402的内侧的轮廓线501、502。将内侧的轮廓线501、502的中线的倾斜方向703决定为手指指示方向。此时由于指示方向根据两个轮廓线501、502的平均方向求取，因此精度更高。另外，也可以将外侧的轮廓线501’、502’的中线方向决定为手指指示方向。

图12是表示实施例1中的操作检测方法的处理流程的图。图12(a)是检测接近度和接触点的情况，图12(b)是检测手指指示方向的情况。

首先，说明图12(a)的接近度和接触点的检测方法。

在S1001中，影子区域提取部104从由摄像机100拍摄的图像中减去背景而求取差值图像，提取亮度为阈值Lth以下的部分作为影子区域。此时，对提取出的影子进行将彼此不连结的影子区域区分为各自不同的影子的所谓标记处理。

在S1002中，特征点检测部105对经标记处理后的各个影子检测特征点。例如图6所示，检测各影子401、402的前端位置作为特征点601、602。

在S1003中，测定检测出的两个特征点601、602间的距离d。

在S1004中，接近度检测部106基于距离d判定手指30与操作面22的接近度A。在判定中，例如使用图7对距离d与阈值d1～d4进行比较，将接近度A分类为等级1～5。在d＜d1的情况下，判定为接近度A＝5(接触状态)。

在S1005中，对判定出的接近度A是否为接触时的等级(＝5)进行判定。如果判定结果为接近度A＝5则前进至S1006，除此以外(非接触状态)的情况下结束流程。

在S1006中，接触点检测部107检测手指30与操作面22的接触点。例如图8所示，将两个特征点601、602的中点P作为接触点，计算其坐标。在特征点的设定方法与上述(前端位置)不同时，根据其设定方法修正接触点位置即可。

此外，在操作状态下反复执行以上的处理流程，以进行跟踪操作状态的变化的操作检测。

接着，说明图12(b)的手指指示方向的检测方法。

在S1011中，影子区域提取部104从由摄像机100拍摄的图像中减去背景而求取差值图像，提取亮度为阈值Lth以下的部分作为影子区域。这与上述S1001是同样的。

在S1012中，轮廓检测部108对经标记处理后的各影子检测轮廓线(大致直线部)。例如，如图11(c)所示，检测影子401、402的内侧的轮廓线501、502。此时，将这些轮廓线中指尖等的曲线部分除去，检测大致直线状的线段。

在S1013中，方向检测部109将各轮廓线501、502的中线的倾斜方向703判定为手指指示方向。另外，手指指示方向的判定也可以使用图11(a)、(b)所示的方法。

此外，在操作状态中反复执行以上的处理流程，以进行跟踪操作状态的变化的操作检测。

此外，图12(a)的接近度和接触点的检测处理与图12(b)的手指指示方向检测处理能够并行地进行。

图13是表示显示控制部121中的与手指的接近度对应的控制的一个例子的图。根据手指30与操作面22的接近度A，表示了操作模式和指针显示的切换。

关于操作模式，在接近度A为最高的等级5(接触状态)时为接触操作模式。此外的非接触状态下，在接近度A比较高的等级4、3中切换为空中操作模式，在接近度A比较低的等级2、1中切换为操作关闭模式。通过这样的控制，用户3除了在使手指30接触操作面22的状态下，在手指从操作面22浮起的状态下也能够进行操作对象装置2的操作。此外，在手指30从操作面22离开一定距离以上时，切换为操作关闭模式，能够防止用户非本意的操作。

此外，关于指针显示，以在接近度A比较高的等级5、4中显示指针，在接近度A比较低的3、2、1中不显示指针的方式进行切换。通过这样的控制，用户3能够在手指30接触操作面22之前的阶段确认指针，容易配合接触时的指针的位置。通过以上的控制，提高了对操作对象装置2的操作性。

图14是表示显示控制部121中与手指指示方向对应的控制的一个例子的图。

图14(a)是根据手指指示方向700修正指针800的显示位置的情况。在显示指针800时，如果将其显示在与接触点检测部107检测出的接触点P完全相同的位置，则指针800会被手指30遮挡，不容易被用户3看到。于是，沿着由方向检测部109检测出的手指指示方向700使指针800向指尖前方偏移规定量地显示。由此指针800容易被用户3看到。

在此之外，也可以根据手指30的接近度A变更指针800的显示位置的偏移量(修正量)。例如，在接近度A低时增大修正量，在接近度A高时减小修正量。由此，随着用户3的手指30接近操作面22，指针800的位置接近指尖，用户3通过以指针800的显示位置为基准，能够进行高精度的操作。

图14(b)是根据手指指示方向700修正指针800的显示方向的情况。在显示箭头形状的指针800时，例如，如果像图14(a)所示无论手指指示方向700如何总是沿固定方向显示，则指针800的显示方向与手指指示方向700不一致，会给用户3带来不协调的感觉。因此，使指针800的显示方向与方向检测部109检测出的手指指示方向700相一致地进行显示。由此与手指指示方向700的不一致被消除，能够消除对用户3造成的不协调的感觉。

图14(c)是根据手指指示方向700修正接触点的位置的情况。接触点检测部107检测出的接触点P由特征点的位置决定，因此可能会偏离实际上与操作面22接触的位置。例如，在使特征点为影子的前端位置时，与实际的接触位置(多是手指的指腹部分)相比，偏向手指的前端侧(指尖)的位置。因此，沿着方向检测部109检测出的手指指示方向700，将接触点位置向手指的根部侧修正规定量(P→P”)。由此，能够更准确地获取手指30与操作面22的接触点。

在上述实施例1的操作检测装置中，使用一个摄像机和两个照明单元，对作为操作部的手指的两个影子的形状进行分析，检测手指与操作面的接近度、接触点坐标、手指指示方向等，作为检测结果数据输出到操作对象装置。此外，还基于检测结果，将用于切换操作模式、指针显示装置、指针显示方向等的显示控制数据输出到操作对象装置。根据本实施例，无需在操作面上设置触摸传感器等，就能够准确检测出多个手指对操作面的接触位置，并且能够检测手指与操作面的接近度、手指指示方向。由此，能够提高对操作对象装置的操作性。另外，指针的显示功能根据操作对象装置的种类来采用即可，例如在平板终端中并非必须使用。

另外，本实施例中，在两个影子内分别决定特征点，基于特征点间的距离和特征点的位置检测接近度、接触点。作为代替的方法，也能够在两个影子中决定轮廓线，基于轮廓线间的距离检测接近度、接触点。

(实施例2)

在上述实施例1中，以由两个照明单元101、102产生的手指的两个影子401、402分开存在于手指的两侧的情况为前提。而在实施例2中将要说明的是，由于变更了两个照明单元101、102的配置，使得两个影子的一部分重叠着存在的情况下，将两个影子分离的方法。通过分离两个影子，能够与实施例1同样地检测手指对操作面的接近度、接触点坐标、手指指示方向等。

图15是表示在实施例2中两个影子重叠着存在时的影子的形状的图。此处，两个照明单元101、102相对于摄像机100设置在相同侧(在图中为左侧)，其结果是两个影子403、404相对于手指30形成在相同侧(右侧)，它们的一部分发生重叠。

图15(a)是手指30不与操作面22接触的情况。在俯视图(从上方观看)中，来自照明单元102、101的光被手指30遮挡，能够形成三个影子403、404、405。其中影子405是照明单元102、101双方均被遮挡的区域。在摄像机影像中，在手指30的右侧，形成由照明单元102形成的浅影(较浅的影子)403，由照明单元101投影的浅影404，和在它们之间两者重叠形成的深影(较深的影子)405。

图15(b)是手指30与操作面22接触的情况。在该情况下，在手指30的右侧，由照明单元101产生的浅影404和与其邻接的深影405接近手指30地存在。

图16是说明将重叠的影子分离的方法的图。影子区域检测部104将检测出的影子利用其深浅度的不同分离成原本的两个影子。

图16(a)表示检测出的影子，此处以图15(a)的情况为例。如上所述，虽然存在浅影403、404和深影405，但深影405是由浅影403、404重叠产生的。

图16(b)表示影子的分离法，由照明单元102产生的影子通过将浅影403和深影405相加而作为第一区域401’求出。此外，由照明单元101产生的影子通过将浅影404和深影405相加而作为第二区域402’求出。这样，将影子深浅度按两个等级进行识别，区分成深浅度不同的区域，通过将浅影区域和与其邻接的深影区域相加，能够分离出各照明单元产生的影子401’、402’。

图16(c)表示对分离后的影子401’、402’决定特征点601、602，求取特征点间的距离d的情况。

图16(d)表示对分离后的影子401’、402’决定轮廓线501、502，求取手指指示方向703的情况。

在这样的实施例2中，即使在因照明单元101、102相对于摄像机100的配置发生变更，导致两个影子401’、402’的一部分重叠的情况下，也能够分离成原本的两个影子401’、402’，能够与实施例1同样地检测接近度、接触点、手指指示方向。由此能够增加照明单元配置的自由度。

另外，在本实施例中利用影子的深浅度的不同分离成两个影子401’、402’，但作为其它方法，也能够使照明单元101和照明单元102交替发光，按每一帧获取影子发生切换的图像，从而分离影子。或者，能够通过使照明单元101和照明单元102的光的波长不同，使用与各个波长对应的摄像机，从而分离影子。

(实施例3)

在实施例3中，说明内置有上述操作检测装置1的投影仪的结构。

图17表示实施例3的投影仪2a(2b)的结构图。此处投影仪2a(2b)内置有实施例1(图1)所述的操作检测装置1，并且作为投影仪功能添加了用于影像投影的结构。作为投影仪的功能，具有中央处理部201、操作分析部202、存储器203、影像控制部204、影像投影部210等。

中央处理部201由中央处理装置(CPU)等半导体芯片、操作系统(OS)等软件构成，基于由操作分析部202分析的用户的操作等，控制相对于存储器203的信息的输入输出、影像控制部204、影像投影部210等各部。此外，基于从操作检测装置1的输出部130得到的显示控制数据151(操作模式)，使操作模式在接触操作模式、空中操作模式、操作关闭模式间切换。

操作分析部202由电路基板和/或软件构成，基于从操作检测装置1的输出部130得到的检测结果数据150(接近度、接触点、手指指示方向)，分析用户对投影中的影像的操作内容。

存储器203由半导体等构成，存储中央处理部201的运算、控制中所需要的信息、作为投影影像来显示的影像信息等。

影像控制部204由电路基板等构成，根据中央处理部201的控制，进行影像信息的绘制(描绘)所需要的运算处理，以适于影像投影部210的输入的形式，输出由像素的集合构成的绘制信息。此外，基于从操作检测装置1的输出部130得到的显示控制数据151(指针位置、指针方向)，变更与影像重叠的指针的绘制条件。

影像投影部210由灯等光源、透镜、反射镜等光学部件、液晶面板等构成，调制从光源出射的光束，形成与从影像控制部204送来的绘制信息对应的图像光，在屏幕等投影面上放大投影图像光。

另外，图17的各部分是独立的，但也可以根据需要由一个或多个构成部件构成。例如，201～204也可以采用以一个或多个半导体芯片(System-on-a-chip：SoC等)进行其处理的结构。

图18中作为上述投影仪表示短焦型(短投影型)投影仪2a的例子，图18(a)是正视图，图18(b)是侧视图。短焦型投影仪2a安装在壁面21上部。从影像投影部210基于GUI等规定的影像信号出射投影光23a，由此在壁面21的屏幕22’上放映投影影像23。用户3在兼作为操作面的屏幕22’上通过手指进行操作，由此能够对投影影像23进行期望的控制。

用户3使手指30接触或使手指接近投影影像23的任意的位置，操作检测装置1从手指的影子图像检测接近度、接触点、手指指示方向等，将检测数据150经由中央处理部201发送至操作分析部202。操作分析部202分析对投影影像23的操作内容，中央处理部201根据用户的操作执行影像的变更等处理。此外，操作检测装置1基于检测数据150生成显示控制数据151(操作模式、指针位置、指针方向)，经由中央处理部201发送至映像控制部204。这样，通过在投影仪2a中内置上述操作检测装置1，用户能够对投影影像进行高效的操作。

图19中作为上述投影仪的其它结构，表示头戴型投影仪2b的例子，图19(a)是外观图，图19(b)是俯视图。头戴型投影仪2b中，在眼镜型的框体上安装小型投影仪本体20，向眼镜的镜面出射投影光23a，从而放映出影像23，使得用户能够看到影像。

此外，在眼镜型的框体的两端安装有照明单元101和照明单元102，在框体的中央安装有摄像机100，对位于用户的视线前方的操作面22进行照射，并且拍摄用户对操作面22的手指操作，能够检测其接近度、接触点等。

由此，由小型投影仪本体20投影到眼镜的镜面的影像23和用户进行操作的操作面22在用户的视野中重叠，就像是在操作面22上显示影像一样。即，在小型投影仪本体20显示影像时，用户对操作面22进行手指操作，由此能够对所显示的影像进行操作控制。

如上所述，在内置操作检测装置1的投影仪2a、2b中，无需在影像的投影面上设置传感器等，用户就能够进行包括多点触摸操作的对投影影像的高效操作，提高投影仪的使用便利性。

另外，上述本实施方式是用于说明本发明的例示，本发明的范围并不限定于实施方式。

Claims

1.一种操作检测装置，检测用户的手指对操作面的操作，其特征在于，包括：

对所述操作面从不同的位置照射照明光的第一照明单元和第二照明单元；

对被所述照明光照射的所述操作面与所述用户的手指一起进行拍摄的摄像机；

基于由该摄像机得到的拍摄图像，提取由所述第一照明单元和第二照明单元产生的所述用户的手指的第一影子和第二影子的影子区域提取部；和

根据所述提取出的第一影子的形状和第二影子的形状，检测所述用户的手指对所述操作面的接近度、接触点、手指的指示方向中的至少一种操作状态的操作状态检测部。

2.如权利要求1所述的操作检测装置，其特征在于：

所述操作状态检测部包括：

从所述提取出的第一影子和第二影子中检测各自的特征点的特征点检测部；

从所述提取出的第一影子的轮廓线和第二影子的轮廓线中，检测大致直线状的线段作为各自的轮廓线的轮廓检测部；

根据所述检测出的两个特征点间的距离检测所述用户的手指对所述操作面的接近度的接近度检测部；

根据所述检测出的两个特征点的位置检测所述用户的手指对所述操作面的接触点的接触点检测部；和

根据所述检测出的轮廓线的方向检测所述用户的手指的指示方向的方向检测部，

所述接近度检测部基于所述检测出的两个特征点间的距离判断所述用户的手指对所述操作面的接触。

3.如权利要求2所述的操作检测装置，其特征在于：

所述特征点检测部在所述提取出的第一影子和第二影子中检测所述手指的前端位置作为所述特征点，

所述接触点检测部检测所述检测出的两个特征点的中点位置作为所述接触点。

4.如权利要求2所述的操作检测装置，其特征在于：

所述影子区域提取部，在所述提取出的第一影子和第二影子被重叠提取出的情况下，通过将浅影的区域和与其邻接的深影的区域相加而分离成由所述第一照明单元和第二照明单元产生的第一影子和第二影子。

5.如权利要求1或2所述的操作检测装置，其特征在于：

包括显示控制部，所述显示控制部基于由所述操作状态检测部检测出的接近度、接触点、手指的指示方向的检测结果，生成针对与该操作检测装置连接的操作对象装置的显示控制数据。

6.如权利要求5所述的操作检测装置，其特征在于：

在所述显示控制部所生成的所述显示控制数据中，包括操作模式的切换、指针显示位置的修正、指针显示方向的修正、接触点位置的修正的至少一个。

7.一种操作检测方法，检测用户对操作面的操作，其特征在于：

利用第一照明单元和第二照明单元对所述操作面从不同的位置照射照明光，

利用摄像机对被所述照明光照射的所述操作面与所述用户的手指一起进行拍摄，

基于由该摄像机得到的拍摄图像，提取由所述第一照明单元和第二照明单元产生的所述用户的手指的第一影子和第二影子，

根据所述提取出的第一影子的形状和第二影子的形状，检测所述用户的手指对所述操作面的接近度、接触点、手指的指示方向中的至少一种操作状态。

8.如权利要求7所述的操作检测方法，其特征在于：

为了检测所述操作状态，

从所述提取出的第一影子和第二影子中检测各自的特征点，

从所述提取出的第一影子的轮廓线和第二影子的轮廓线中，检测大致直线状的线段作为各自的轮廓线，

根据所述检测出的两个特征点间的距离检测所述用户的手指对所述操作面的接近度，

根据所述检测出的两个特征点的位置检测所述用户的手指对所述操作面的接触点，

根据所述检测出的轮廓线的方向检测所述用户的手指的指示方向，

基于所述检测出的两个特征点间的距离判断所述用户的手指对所述操作面的接触。

9.如权利要求8所述的操作检测方法，其特征在于：

所述特征点的检测中，在所述提取出的第一影子和第二影子中检测所述手指的前端位置作为所述特征点，

所述接触点的检测中，检测所述检测出的两个特征点的中点位置作为所述接触点。

10.如权利要求8所述的操作检测方法，其特征在于：

在所述影子区域的提取中，在所述提取出的第一影子和第二影子被重叠提取出的情况下，通过将浅影的区域和与其邻接的深影的区域相加，而分离检测出由所述第一照明单元产生的第一影子和由第二照明单元产生的第二影子。

11.权利要求7或8所述的操作检测方法，其特征在于：

基于作为所述操作状态检测出的接近度、接触点、手指的指示方向的检测结果，生成针对操作对象装置的显示控制数据。

12.如权利要求11所述的操作检测方法，其特征在于：

在所述显示控制数据中，包括操作模式的切换、指针显示位置的修正、指针显示方向的修正、接触点位置的修正的至少一种。

13.一种投影仪，其特征在于，包括：

投射影像的投影部；

对至少一部分与影像投影部所投射的影像面重叠的操作面，从不同位置照射照明光的第一照明单元和第二照明单元；

14.如权利要求13所述的投影仪，其特征在于：

所述操作状态检测部包括：

15.如权利要求14所述的投影仪，其特征在于：

16.如权利要求14所述的投影仪，其特征在于：

17.如权利要求13或14所述的投影仪，其特征在于：

18.如权利要求17所述的投影仪，其特征在于：