CN104049792A - 操作检测装置和操作检测方法 - Google Patents

Abstract

本发明提供一种操作检测装置和操作检测方法，在张开手的状态下也能够分别正确地检测出多根手指的接触位置，进行支持多点触控操作的操作检测。操作检测装置（1）包括：对用户（3）操作的操作面（22）从不同的位置照射照明光的第一、第二照明（101、102）；拍摄操作面和用户的操作部（手指）（30）的相机（100）；从相机的拍摄图像抽出与用户的操作部（30）对应的第一、第二阴影（401、402）的阴影区域抽出部（104）；检测抽出的第一、第二阴影各自的轮廓线（501、502）的轮廓检测部（105）；和根据各轮廓线之间的距离（d）来检测用户的操作部对操作面的接触点（P）的接触点检测部（106）。

Description

操作检测装置和操作检测方法

技术领域

本发明涉及检测用户的手指操作的操作检测装置和操作检测方法。

背景技术

作为投影型影像显示装置（投影仪）的投影面（屏幕）上的用户操作输入，提出了不使用触摸传感器等特殊的装置，而是拍摄用户的操作部（手指）抽出其阴影来检测手指接触操作的技术。

专利文献1中，记载了一种操作检测装置，其具备：在被照明单元照明的状态下用拍摄单元拍摄操作者的单元；基于用上述拍摄单元得到的操作者的图像数据，检测上述操作者的特定部位的区域的单元；从上述检测出的操作者的特定部位的区域抽出阴影部分的单元；从上述抽出的阴影部分中检测多个边缘成直线的线段，检测检测出的线段之间以锐角相交的点，将其交点检测为上述操作者的特定部位在区域内的指点位置的单元。

此外，专利文献2中，记载了一种投影型影像显示装置，其具备：在屏幕上投影影像的投影部；用于拍摄至少包括在上述屏幕上投影的影像的区域的拍摄部；从用上述拍摄部拍摄的图像中检测在上述屏幕上方移动的规定物体的实像的实像检测部；从用上述拍摄部拍摄的图像中检测检测因来自上述投影部的投影光产生的上述规定物体的阴影的阴影检测部；在上述规定物体的实像与阴影的对应点之间的距离在规定阈值以下的情况下，判定上述规定物体与上述屏幕接触的接触判定部；用上述接触判定部判定为接触时，将上述规定物体的坐标作为对上述影像的指点位置输出的坐标决定部。

现有技术文献

专利文献

专利文献1：日本特开2008-59283号公报

专利文献2：日本特开2011-180712号公报

发明内容

发明要解决的技术问题

专利文献1中，从拍摄单元拍摄到的操作者的图像数据中抽出阴影部分，将阴影的边缘以锐角相交的点检测为指点位置。但是，在张开并抬起手的状态下，设想会因为其他手指看起来在某个手指的阴影上重叠，产生阴影的边缘以锐角相交的多个点，因此可能会误检测出与指点位置不同的点。从而，不适合于在张开手的状态下同时检测多根手指的指点位置的所谓多点触控操作的检测。

此外，专利文献2中，规定物体（手指）的实像与阴影的对应点之间的距离在规定阈值以下的情况下，判定规定物体与屏幕接触。但是，在张开手的状态下，其他手指的阴影的一部分因为某个手指的实像而不可见，难以检测手指的实像与阴影的对应点。进而，在张开并抬起手的状态下，手指的实像与阴影的距离增大，所以例如某个手指的实像的前端部与其他手指的阴影的前端部接近，看起来某个手指的实像与阴影的对应点之间的距离在阈值以下，可能误判定为手指与屏幕接触。从而，该方式也不适合于多点触控操作的检测。

本发明鉴于上述课题，目的在于提供一种操作检测装置和操作检测方法，其在张开手的状态下也可以分别正确地检测多根手指的接触位置，支持多点触控操作。

用于解决技术问题的手段

为了解决上述课题，例如采用技术方案中记载的结构。

本申请包括解决上述技术问题的多个手段，举其一例，本发明的操作检测装置特征在于，包括：第一、第二照明，其对操作面从不同的位置照射照明光；相机，其拍摄照射了照明光的操作面并且拍摄用户的操作部；阴影区域抽出部，其从相机拍摄到的拍摄图像抽出与用户的操作部对应的第一、第二阴影；轮廓检测部，其检测抽出的第一、第二阴影各自的轮廓线；接触点检测部，其根据各轮廓线之间的距离检测用户的操作部对操作面的接触点。上述阴影区域抽出部将拍摄图像的亮度与规定的阈值进行比较，将因第一、第二照明投影的与用户的操作部对应的第一、第二阴影区分地抽出；上述轮廓检测部将第一、第二阴影的轮廓线中对应的大致直线状的线段作为轮廓线抽出；上述接触点检测部在抽出的2个轮廓线之间的距离为规定阈值以下时，判定用户的操作部向操作面接触。

发明的效果

根据本发明，在操作面上不设置触摸传感器等就能够正确检测多根手指对操作面的接触位置，实现精度高的多点触控操作。

附图说明

图1是实施例1的操作检测装置的结构图。

图2A是表示使用操作检测装置的用户的操作的正面图（在内部构成相机）。

图2B是表示使用操作检测装置的用户的操作的正面图（在外部构成相机）。

图3是表示使用操作检测装置的用户的操作的侧面图。

图4A是表示用相机拍摄的用户的手指的阴影的形状的图（1根手指的情况）。

图4B是表示用相机拍摄的用户的手指的阴影的形状的图（多根手指的情况）。

图5A是说明手指的阴影的形状的变化的图（顶视图）。

图5B是说明手指的阴影的轮廓的变化的图（从相机观察的图）。

图6是说明阴影的轮廓线的检测方法的图。

图7是表示用多根手指操作的情况下的轮廓线的状态的图。

图8是表示实施例1中的检测接触点的处理流程的图。

图9是实施例2的操作检测装置的结构图。

图10A是说明手指的阴影的形状的变化的图（顶视图）。

图10B是说明手指的阴影的轮廓的变化的图（从相机观察的图）。

图11是表示实施例2中的检测接触点的处理流程的图。

图12是实施例3的操作检测装置的结构图。

图13是表示多个照明产生的手指的阴影的形状的图。

图14是表示实施例3中的检测接触点的处理流程的图。

图15是实施例4的投影仪的结构图。

图16是表示短距投影型的投影仪的操作状态的正面图。

图17是表示短距投影型的投影仪的操作状态的侧面图。

图18是表示头戴型投影仪的例子的外观图。

符号说明

1：操作检测装置，100：相机，101、102、103：照明，104：阴影区域抽出部，105：轮廓检测部，106：接触点检测部，110：开关，120：控制部，130：输出部，150：检测结果数据，2：操作对象装置（投影仪），2a：短距投影型投影仪，2b：头戴型投影仪，20：小型投影仪本体，21：墙面，22：操作面，23：投影影像，23a：投影光，201：中央处理部，202：操作分析部，203：存储器，204：影像控制部，205：影像投影部，3：用户，30、31～35：手指，401、402、403～408：阴影，409'：阴影浓度最大部，410：接触区域，501、502：轮廓线。

具体实施方式

以下用附图说明实施例。

【实施例1】

实施例1中，说明用1个相机和在不同位置配置的2个照明检测用户的操作部（手指）对操作面的接触点的操作检测装置。

图1表示实施例1的操作检测装置的结构图。操作检测装置1包括相机100、2个照明101、102、阴影区域抽出部104、轮廓检测部105、接触点检测部106、控制部120、输出部130，对操作对象装置2输出手指对操作面的接触位置等检测结果数据150。操作对象装置2例如是投影仪，接受检测结果数据150，与用户的操作对应地进行影像显示。图1中各要素100～106、120、130全部在操作检测装置1的内部构成，但一部分构成要素、例如相机100和照明101、102也可以在操作检测装置1的外部构成，通过网络或通用串行总线（USB）连接。各构成要素100～106、120、130独立，但也可以根据需要用1个或多个构成要素构成。例如，要素104～106、120、130可以构成为用1个或多个中央处理装置（CPU）执行其处理。

图2A、图2B和图3是表示用户3用操作检测装置1进行操作的状态的图。图2A、图2B是操作状态的正面图，图3是操作状态的侧面图。其中，图2A是在操作检测装置1的内部构成相机100和照明101、102的情况，图2B是在操作检测装置1的外部构成相机100和照明101、102的情况。用户3通过使操作部即手指30与墙面21的操作面22的某个位置接触而进行要求的操作。操作对象装置2是投影仪的情况下，操作面22是显示投影影像的屏幕，用户在屏幕上操作。

操作检测装置1安装在墙面21的上部，2个照明101、102夹着相机100在墙面21的横方向上的不同位置错开配置。其中，图2B中，2个照明101、102配置在墙面21的左右端部。用2个照明101、102照射用户3的手指30，用相机100拍摄手指30及其附近。手指30与操作面22接触时手指30的阴影的形状变化，由此操作检测装置1分析相机100的图像，检测手指的接触点。

接着，说明各部的动作。相机100由图像传感器和镜头等构成，拍摄包括用户3的操作部即手指30的图像。2个照明101、102由发光二极管、电路基板、透镜等构成，对操作面22和用户3的手指30照射照明光，在用相机100拍摄的图像内使手指30的阴影投影。其中，也可以使照明101、102为红外线照明，相机100用红外线相机构成。由此，能够与用操作对象装置2（投影仪）投影的可见光影像分离地取得用相机100拍摄的红外线图像。

阴影区域抽出部104由电路基板和软件等构成，从用相机100拍摄到的图像抽出阴影，生成阴影图像。例如，从操作检测时的拍摄图像中减去预先拍摄的操作面22的背景图像来生成差分图像，对差分图像的亮度用规定的阈值Lth二值化，将阈值以下的区域作为阴影区域即可。进而，对于抽出的阴影进行将没有相互连接的阴影的区域区分为分别不同的阴影的所谓标记处理。通过标记处理，能够对抽出的多个阴影识别与哪一个手指对应。

轮廓检测部105由电路基板和软件等构成，从阴影图像抽出阴影区域的轮廓。例如，在阴影图像内在一定方向上（从左上到右下）进行扫描来决定轮廓追踪的开始像素，对开始像素的附近像素逆时针地追踪，由此得到轮廓。轮廓的检测方法用图6说明。其中，阴影区域抽出部104和轮廓检测部105的处理不限于上述方法，也可以使用其他的图像处理算法。

接触点检测部106由电路基板和软件等构成，基于轮廓的形状和位置，判定手指30对操作面22的接触状态，并且检测接触点（坐标）。接触点的检测方法用图5A、B和图8说明。

控制部120由电路基板和软件等构成，基于相机100的图像的拍摄动作，控制照明101、102、阴影区域抽出部104、轮廓检测部105、接触点检测部106、输出部130。

输出部130是对作为操作对象的操作对象装置（投影仪）2输出检测结果数据150的接口，由网络连接或通用串行总线（USB）连接、超声波单元、红外线通信装置等构成。检测结果数据150中包括手指30是否与操作面22接触的接触状态信息和接触点坐标。

图4A和图4B是表示用相机拍摄的用户的手指的阴影的形状的图。图4A是1根手指的情况，图4B是张开手的多根手指的情况。并且，表示了用户的手指30与操作面22（纸面）没有接触的状态（a）和接触的状态（b）下，阴影的形状如何变化。

图4A中，在手指30与操作面22没有接触的状态（a）下，在手指30的左右出现因2个照明101、102产生的2个阴影401、402（用斜线表示）。左侧的阴影401是用右侧的照明102投影的，右侧的阴影402是用左侧的照明101投影的。这2个阴影401、402相互离开地存在。另一方面，在手指30的前端部（指尖）30a与操作面22接触的状态（b）下，2个阴影401、402在指尖30a的位置上接近存在。其中，阴影401、402的前端部的一部分区域被手指30遮挡，但该遮挡的部分不包括在阴影区域中。

另一方面，图4B中是张开手的多根（5根）手指31、32、……35的情况，但基本上与图4A的1根手指的情况相同。在各手指与操作面没有接触的状态（a）下，在各手指的左右出现阴影（用斜线表示）。但是，该状态下，某些阴影被其他手指遮挡或与其他手指的阴影重叠，因此清晰可见的是手指31的左侧的阴影411、手指32的左侧的阴影421、手指34的右侧的阴影442、手指35的右侧的阴影452等。另一方面，在各手指与屏幕接触的状态（b）下，各手指的2个阴影变得清晰，在指尖的位置接近存在。此处，对手指31的2个阴影411、412、手指32的2个阴影421、422附加符号表示。

图5A和图5B是说明根据手指的阴影的形状判定接触的方法的图。图5A是从操作面22的上方（屋顶一侧）观察说明阴影的形状的变化的图。图5B是从相机一侧观察操作面22说明阴影的轮廓的变化的图。两图都对用户的手指30与操作面22没有接触的状态（a）和接触的状态（b）进行比较。此处为了简化，对1根手指30的情况（图4A）进行说明，但多根手指的情况（图4B）也是相同的。

图5A中，在手指30与操作面22没有接触的状态（a）下，来自2个照明101、102的光被手指30遮挡，分别形成阴影402、401（用斜线表示）。此时，相机100拍摄的图像中，手指30的实像映在近处，所以位于手指30的背面的部分不会被拍摄为阴影。结果，相机100的拍摄图像中，2个阴影401、402分离地存在。此处，设阴影401、402的外侧之间的距离为d。该距离d依赖于手指30与操作面22的间隙s，间隙s越大则距离d越大。另一方面，在手指30与操作面22接触的状态（b）下，间隙s=0，所以阴影401、402的外侧之间的距离成为最小值d0。由此，通过测定阴影401、402的外侧之间的距离d，能够判定手指30与操作面22是否接触。

图5B中，在相机图像中映出了对手指30的形状投影的阴影。然后，在阴影的轮廓中，检测在手指30的左侧出现的阴影401的左侧（外侧）的轮廓线501，和在右侧出现的阴影402的右侧（外侧）的轮廓线502。这些轮廓线限定为在包围阴影的轮廓线中对应的大致直线状的线段来抽出，不包括指尖的曲线状的部分。然后，求出抽出的2个轮廓线501、502之间的最短距离d作为2个阴影401、402之间的距离。该情况下，轮廓线501、502不平行，通常在指尖一侧的端部501a、502a之间是最短距离d。

在手指30与操作面22没有接触的状态（a）下，2个阴影401、402分离地存在，所以2个轮廓线501、502的最短距离d也是较大的值。另一方面，在手指30与操作面22接触的状态（b）下，2个阴影401、402接近，2个轮廓线501、502也接近。该最短距离在指尖一侧的端部501a、502a上为最小值d0。从而，确定规定的阈值dth（dth>d0），判定轮廓线501、502之间的最短距离d是否在阈值dth以内，由此能够判别手指30与操作面22是否接触。本例中，从2个阴影401、402的外侧部分抽出轮廓线501、502，所以与从内侧部分抽出的情况相比轮廓线之间的距离的变化更显著，结果接触检测精度提高。

判定手指30与操作面22接触的情况下，将轮廓线501、502的端部501a、502a的中点P决定为接触点，计算操作面22上的接触点的坐标值。其中，为了精度良好地计算接触点的坐标，也可以根据需要实施使中点P的坐标向指尖方向偏移规定量的补正。

图6是说明阴影的轮廓线的检测方法的图。如图6（a）所示，在拍摄图像90内包括手的阴影的图像40。求出左侧的轮廓线时，用在画面90内从左向右侧的扫描线91（实线），检测有无阴影像素。此时，扫描像素从阴影以外的像素（设为像素0）切换为阴影像素（设为像素1）位置是左侧的轮廓线。如图所示，存在多根手指的阴影时，按各手指的阴影从像素0切换为像素1，检测出多个轮廓线。这样，得到如（b）所示的左侧的轮廓线50L。

同样地，求出右侧的轮廓线时，用在画面90内从右向左侧的扫描线92（虚线），检测有无阴影像素。这样，得到如（c）所示的右侧的轮廓线50R。在这样得到的轮廓线50L、50R中，除去指尖等曲线部分，检测由大致直线状的线段构成的轮廓线。此外，上述方法是一例，轮廓线的检测也可以使用其他算法。

图7是表示用多根手指操作的情况下的轮廓线的状态的图。如（a）所示，在张开手3a的状态下使多根手指31、32……与操作面接触时，相对于各手指，出现左侧阴影411、421……和右侧阴影412、422……。（b）表示其轮廓线，表示了相对于左侧阴影411、421……的左侧轮廓线511L、521L……和相对于右侧阴影412、422……的右侧轮廓线512R、522R……。各手指的对应的轮廓线之间的最短距离，在其指尖附近为最小值d0。即使如手指31一般指尖方向从上下方向倾斜，该距离也大致相等。由此，根据本实施例，在张开手的状态下，也能够独立地检测多根手指的接触，所以能够应用于多点触控操作。

图8是表示实施例1中的接触点检测的处理流程的图。

在S1000中，操作检测装置1开始检测手指的接触点的处理。按照控制部120的指示从2个照明101、102照射照明光，用相机100拍摄操作面。

在S1001中，阴影区域抽出部104从用相机100拍摄的图像减去背景求出差分图像，将亮度在阈值Lth以下的部分作为阴影区域抽出。在S1002中，阴影区域抽出部104对抽出的阴影进行将相互没有连结的阴影的区域区分为不同的阴影的所谓标记处理。

在S1003中，轮廓检测部105对标记处理后的各阴影检测轮廓线。例如，如图5B所示，检测阴影401的左侧的轮廓线501和阴影402的右侧的轮廓线502。此处，存在多根手指的阴影的情况下，与特定的手指对应的一对阴影的决定基于标记处理进行，与各阴影对应的轮廓线的左右的切换基于图6的方法进行。

在S1004中，接触点检测部106判定是否存在检测出的轮廓线501、502的最短距离d为阈值dth以下的部位。该阈值dth以能够识别图5B中手指接触时的轮廓线的端部501a、502a的距离d0的方式确定。如果判定结果是存在则前进至S1005。如果不存在则返回S1001，反复上述处理。

在S1005中，接触点检测部106将S1004中检测出的部位（最短距离d为阈值dth以下的部位）的中点P决定为接触点，计算操作面22上的接触点的坐标。输出部130将计算出的接触点的坐标作为检测结果数据150输出。

在S1006中，根据用户的指示等判定是否继续接触点检测，继续的情况下返回S1001反复上述处理。

如上所述，实施例1的操作检测装置使用1个相机和2个照明，检测用2个照明投影的2个阴影的轮廓线。然后，根据轮廓线的最短距离接近为规定的距离以内的部位来检测接触点，输出接触点的坐标。该方法能够在张开手的状态下分别独立地检测多根手指的接触，所以对于多点触控操作也能够正确检测。

说明了操作对象装置2是投影仪的例子，但也能够应用于一般的显示器、头戴式显示器等。操作面不限于屏幕，也能够应用于墙面、桌面等任意的面。

【实施例2】

实施例2中，是通过使操作检测装置1的2个照明101、102交替点亮来检测手指的接触点的结构。

图9表示实施例2的操作检测装置的结构图。与实施例1（图1）的不同点，在于追加了照明切换用的开关110。开关110由电路基板等构成，按照控制部120的指示，使照明101和照明102交替点亮。此时，控制部120与照明101和照明102的点亮时刻对应地，切换相机100的拍摄。由此，例如用相机100拍摄的某个时刻（帧1）的图像中仅拍摄了用照明101投影的阴影，下一个时刻（帧2）的图像中，仅拍摄了用照明102投影的阴影。从而，是手指的阴影的位置按每一帧切换的图像，能够根据2个阴影的距离容易地检测手指的接触。

实施例2中，使照明交替点亮并抽出阴影，所以具有即使在2个阴影的一部分重叠的情况下也能够在时间上分离地检测两者的特征。由此，即使在2个照明101、102相对于相机100设置在同一侧、2个阴影相对于手指在同一侧形成而一部分重叠的情况下，也能够正确检测接触点。以下例子中，说明2个照明101、102相对于相机100在同一侧设置的情况。当然，对于2个照明101、102夹着相机100相互在相反一侧设置的情况也是有效的。

图10A和图10B是表示相对于相机100在同一侧设置2个照明101、102的情况下的手指的阴影的形状变化的图。图10A是从操作面22的上方（屋顶一侧）观察的顶视图。图10B是从相机一侧观察操作面22的图。两图都比较了用户的手指30与操作面22没有接触的状态（a）和接触的状态（b）。

帧1中点亮照明101时形成相对于手指30的阴影401，帧2中点亮照明102时形成阴影402。两个阴影401、402相对于手指30存在于同一侧（图中为右侧）。

该情况下的阴影的轮廓线，如图10B所示，从手指30观察都从阴影的外侧（图中为右侧）抽出。即，帧1中抽出与阴影401对应的轮廓线501，帧2中抽出与阴影402对应的轮廓线502，求出轮廓线501、502的最短距离d'。距离d'最短处通常是接近指尖的轮廓线的端部（用白圆点表示）。距离d'依赖于手指32与操作面22的间隙s，手指与操作面接触时为最小值d0'。此外，该值d0'与实施例1（图5A、图5B）中的值d0不同，是更小的值。该情况下，确定规定的阈值dth'（dth'>d0'），判定轮廓线501、502之间的最短距离d'是否为阈值dth'以内，由此能够判别手指30与操作面22是否接触。

图11是表示实施例2中的接触点检测的处理流程的图。此处，说明如图10A和图10B所示，相对于相机100在同一侧设置2个照明101、102，根据手指30产生的2个阴影401、402检测接触点的情况。

在S1100中，操作检测装置1开始检测手指的接触点的处理。

在S1101中，在帧1的时刻，按照控制部120的指示点亮照明101，用相机100拍摄。阴影区域抽出部104从拍摄图像抽出在手指30的右侧出现的阴影401。在S1102中，轮廓检测部105检测阴影401的右侧的轮廓线501。

在S1103中，在帧2的时刻，按照控制部120的指示点亮照明102，用相机100拍摄。阴影区域抽出部104从拍摄图像抽出在手指30的右侧出现的阴影402。在S1104中，轮廓检测部105检测阴影402的右侧的轮廓线502。

在S1105中，接触点检测部106判定是否存在检测出的轮廓线501、502的最短距离d'为阈值dth'以下的部位。该阈值dth'以能够识别图10B中的手指接触时的轮廓线的距离d0'的方式确定。如果判定的结果是存在则前进至S1106。如果不存在则返回S1101，反复上述处理。

在S1106中，接触点检测部106将S1105中检测出的部位（最短距离d'为阈值dth'以下的部位）的附近（左侧）P'决定为接触点，计算操作面22上的接触点的坐标值。输出部130将计算出的接触点的坐标作为检测结果数据150输出。

在S1107中，根据用户的指示等判定是否继续接触点检测，继续的情况下返回S1101反复上述处理。

上述处理流程中，说明了相对于相机100在同一侧设置2个照明101、102的情况，但在2个照明101、102夹着相机100设置在相反一侧的情况下，如图5所示检测阴影401的左侧的轮廓线501和阴影402的右侧的轮廓线502，求出其最短距离即可。

如上所述，实施例2的操作检测装置使用1个相机和2个照明，通过使2个照明交替点亮，检测用各照明投影的2个阴影的轮廓线。然后，将轮廓线之间的最短距离在规定距离以内接近的部位决定为接触点，输出接触点的坐标。实施例2中，因为能够在时间上分离地抽出2个阴影，所以在2个照明相对于相机在同一侧设置的情况下，也能够正确检测。由此，增加了照明配置的自由度。

【实施例3】

实施例3中，是通过使用多个照明作为操作检测装置1的照明来检测手指的接触点的结构。

图12表示实施例3的操作检测装置的结构图。与实施例1（图1）的不同在于将2个照明101、102置换为多个（N个）照明103这一点。多个照明103在相对于相机100相互错开的位置上配置，使其全部同时点亮。

图13是表示使用多个照明103时的用相机拍摄的用户的手指的阴影的形状的图。此处表示将N=8个照明在相机100的两侧各配置4个的情况。（a）表示手指30与操作面22没有接触的情况，（b）表示手指30与操作面22接触的情况，（c）表示接触点的决定方法。如（a）所示，在手指30与操作面22没有接触的情况下，在手指30的左右出现用多个照明103投影的多个（N=8个）阴影401～408。手指接近操作面22时，在相邻的阴影之间产生重叠部401'～408'。

如（b）所示，在手指30与操作面22接触的情况下，多个阴影401～408在指尖30a上集中。结果，在指尖30a附近产生多个阴影重叠的部分。阴影重叠时，阴影浓度（暗度）与重叠数量相应地增大，在区域409'中所有（单侧的4个）阴影重叠，阴影浓度最大。阴影浓度最大部409'的阴影亮度最小，所以确定亮度的阈值Lth'将其抽出。

（c）是在手指的两侧抽出阴影浓度最大部409'（阴影的亮度在阈值Lth'以下），将包围它的区域410确定为接触区域。然后，将接触区域410的指尖侧最上部P''决定为手指的接触点。

图14是表示实施例3中的接触点检测的处理流程的图。

在S1200中，操作检测装置1使多个照明103点亮，开始检测手指的接触点的处理。

在S1201中，阴影区域抽出部104从用相机100拍摄的图像抽出多个阴影。此时，在阴影区域抽出部104中，为了抽出多个阴影重叠的阴影浓度最大部409'，而预先确定抽出阴影时的亮度的阈值Lth'。

在S1202中，在阴影区域抽出部104中，判定是否成功抽出了阴影浓度最大部409'。成功抽出了阴影409'的情况下前进至S1203。未能抽出的情况下返回S1201。

在S1203中，轮廓检测部105决定包围S1202中抽出的阴影浓度最大部409'的区域410。该区域410是手指接触区域。

在S1204中，接触点检测部106将S1203中检测出的区域410的指尖侧最上部P''决定为接触点，计算操作面22上的接触点的坐标值。

在S1205中，根据用户的指示等判定是否继续接触点检测，继续的情况下返回S1201反复上述处理。

如上所述，实施例3的操作检测装置使用1个相机和多个照明，检测用多个照明投影的阴影浓度最大的部分。能够根据该阴影浓度最大的部分决定接触点。该方法能够应用于多个阴影重叠的情况，照明数量是2个以上的任意数量。本实施例中，因为仅通过判定阴影的浓度（亮度）就能够检测接触点，所以具有处理工序少、实现检测的高速化的效果。

【实施例4】

实施例4中，说明内置了上述操作检测装置1的投影仪的结构。

图15表示实施例4的投影仪2a（2b）的结构图。此处，投影仪2a（2b）内置了实施例1（图1）中叙述的操作检测装置1，并且加上了用于进行影像投影的结构作为投影仪功能。投影仪的功能具有中央处理部201、操作分析部202、存储器203、影像控制部204、影像投影部210等。

中央处理部201由中央处理装置（CPU）等半导体芯片和操作系统（OS）等软件构成，基于用操作分析部202检测出的用户的操作等，控制对存储器203的信息的输入输出和影像控制部204、影像投影部210等各部。

操作分析部202由电路基板和软件构成，基于从操作检测装置1的输出部130得到的接触点的坐标，通过判别接触点与投影中的影像的对应，检测用户对投影影像的操作。

存储器203由半导体等构成，存储中央处理部201的运算和控制所需的信息和作为投影影像显示的影像信息等。

影像控制部204由电路基板等构成，与中央处理部201的控制相应地，进行影像信息的描绘所需的运算处理，以适合影像投影部210的输入的形式，输出由像素的集合构成的描绘信息。

影像投影部210由灯等光源、透镜、反射镜等光学部件、液晶面板等构成，对从光源出射的光束进行调制，形成与从影像控制部204发送的描绘信息对应的图像光，在屏幕等投影面上放大投影图像光。

其中，图15的各部是独立的，但也可以根据需要用1个或多个构成要件构成。例如，201～204也可以构成为用1个或多个半导体芯片（System-on-a-chip：SOC等）进行其处理。

图16和图17是表示短距投影型的投影仪2a的例子作为上述投影仪的外观图。图16是表示用户操作的状态的正面图，图17是侧面图。短距投影型投影仪2a安装在墙面21上部。从影像投影部210基于GUI等规定的影像信号出射投影光23a，由此在墙面21的屏幕22'上映出投影影像23。用户3通过在兼作操作面的屏幕22'上进行手指操作，能够对投影个影像23进行显示等的控制。

用户3用手指30触摸投影影像23的任意部位时，操作检测装置1根据手指的阴影图像检测接触点，通过中央处理部201对操作分析部202发送检测数据。操作分析部202分析对于投影影像23的操作内容，中央处理部201执行与用户的操作相应的影像的变更等处理。这样，通过在投影仪2a中内置上述操作检测装置1，用户能够对投影影像效率良好地进行操作，特别是在本实施例中能够适当地进行多点触控操作。

图18是表示头戴型投影仪2b的例子作为上述投影仪的其他结构的外观图。头戴型投影仪2b在眼镜型的框体上安装小型投影仪本体20，通过对眼镜的透镜面出射投影光23a而映出影像23，用户能够看见该影像。

此外，在眼镜型的框体的两端安装照明101和照明102，在框体的中央安装相机100，对位于用户的视线前方的操作面22进行照射，并且能够拍摄用户对操作面22的手指操作并检测其接触点。

由此，用小型投影仪本体20在眼镜的透镜面上投影的影像23和用户操作的操作面22在用户的视野中重叠，表现为在操作面22上显示了影像。即，小型投影仪本体20显示影像的情况下，用户通过用指尖触摸操作面22，能够对显示的影像进行多点触控操作。

如上所述，通过在投影仪中内置上述操作检测装置，可以得到不用在影像的投影面上设置传感器等，就能够对投影影像进行多点触控操作的效果。

此外，上述本实施方式是用于说明本发明的例子，本发明的范围并不仅由实施方式限定。

Claims (18)

1.一种操作检测装置，其检测用户的手指对操作面的操作，该操作检测装置的特征在于，包括：

从不同的位置对所述操作面照射照明光的第一照明和第二照明；

拍摄被照射所述照明光的所述操作面并且拍摄所述用户的手指的相机；

阴影区域抽出部，其基于该相机拍摄到的拍摄图像，抽出因所述第一照明产生的所述用户的手指的第一阴影和因所述第二照明产生的所述用户的手指的第二阴影；和

接触点检测部，其基于所述被抽出的第一阴影和第二阴影来检测所述用户的手指对所述操作面的接触点。

2.如权利要求1所述的操作检测装置，其特征在于：

具备检测所述被抽出的第一阴影的轮廓线和第二阴影的轮廓线的轮廓检测部，

所述接触点检测部根据所述第一阴影的轮廓线与第二阴影的轮廓线的距离来检测所述用户的手指对所述操作面的接触点。

3.如权利要求2所述的操作检测装置，其特征在于：

所述阴影区域抽出部对所述拍摄图像的亮度与规定的阈值进行比较，将所述用户的手指的第一阴影和所述用户的手指的第二阴影区分地抽出，

所述轮廓检测部将所述第一阴影的轮廓线和第二阴影的轮廓线中对应的大致直线状的线段作为轮廓线来抽出，

所述接触点检测部在所述抽出的2个轮廓线之间的距离为规定阈值以下时判定所述用户的手指与所述操作面接触。

4.如权利要求1所述的操作检测装置，其特征在于：

使所述第一照明和所述第二照明在时间上交替地照射，

所述相机与所述第一照明的照射和所述第二照明的照射各自的照射时刻一致地拍摄所述操作面，

所述阴影区域抽出部从所述第一照明产生的拍摄图像中抽出所述第一阴影，从与所述第一照明产生的拍摄图像在时间上分离的所述第二照明产生的拍摄图像中抽出所述第二阴影。

5.如权利要求1所述的操作检测装置，其特征在于：

所述第一照明和所述第二照明的照明方向设置成朝向与所述相机的拍摄方向大致相同的一侧。

6.如权利要求2所述的操作检测装置，其特征在于：

所述轮廓检测部在该第一阴影的轮廓线和第二阴影的轮廓线中，将相对于所述用户的手指较远的位置的轮廓线作为所述第一阴影和所述第二阴影各自的轮廓线来抽出。

7.一种操作检测装置，其检测用户的手指对操作面的操作，该操作检测装置的特征在于，包括：

对所述操作面从不同的位置照射照明光的多个照明；

拍摄被照射所述照明光的所述操作面并且拍摄所述用户的手指的相机；

阴影区域抽出部，其从该相机拍摄到的拍摄图像中抽出与所述用户的手指对应的多个阴影重叠的区域；和

接触点检测部，其基于所述多个阴影重叠的区域检测所述用户的手指对所述操作面的接触点，其中，

所述阴影区域抽出部将阴影的亮度为规定阈值以下的部分作为所述多个阴影重叠的区域来抽出。

8.一种操作检测方法，其检测用户的手指对操作面的操作，该操作检测方法的特征在于：

使用第一照明和第二照明对所述操作面从不同的位置照射照明光，

使用相机拍摄被照射所述照明光的所述操作面并且拍摄所述用户的手指，

基于所述相机拍摄到的拍摄图像，抽出因所述第一照明产生的所述用户的手指的第一阴影和因所述第二照明产生的所述用户的手指的第二阴影，

基于所述被抽出的第一阴影和第二阴影来检测所述用户的手指对所述操作面的接触点。

9.如权利要求8所述的操作检测方法，其特征在于：

将所述被抽出的第一阴影和第二阴影的轮廓线中对应的大致直线状的线段作为轮廓线来抽出，

在所述抽出的2个轮廓线之间的距离为规定阈值以下时判定所述用户的手指与所述操作面接触。

10.如权利要求8所述的操作检测方法，其特征在于：

使所述第一照明和第二照明在时间上交替地照射，

使用相机与所述第一照明的照射和第二照明的照射各自的照射时刻一致地拍摄所述操作面，

从所述第一照明产生的拍摄图像中抽出所述第一阴影，从与所述第一照明产生的拍摄图像在时间上分离的所述第二照明产生的拍摄图像中抽出所述第二阴影。

11.一种操作检测方法，其检测用户的手指对操作面的操作，该操作检测方法的特征在于：

使用多个照明对所述操作面从不同的位置照射照明光，

使用相机拍摄被照射所述照明光的所述操作面并且拍摄所述用户的手指，

基于该相机拍摄到的拍摄图像，抽出与所述用户的手指对应的多个阴影重叠且阴影亮度为规定阈值以下的阴影浓度最大区域，

从所述阴影浓度最大区域检测所述用户的手指对所述操作面的接触点。

12.一种投影仪，其特征在于，包括：

投射影像的影像投射部；

对至少一部分与影像投射部投射的影像面重叠的操作面从不同的位置照射照明光的第一照明和第二照明；

拍摄被照射所述照明光的所述操作面并且拍摄所述用户的手指的相机；

阴影区域抽出部，其基于该相机拍摄到的拍摄图像，抽出因所述第一照明产生的所述用户的手指的第一阴影和因所述第二照明产生的所述用户的手指的第二阴影；和

接触点检测部，其基于所述被抽出的第一阴影和第二阴影来检测所述用户的手指对所述操作面的接触点。

13.如权利要求12所述的投影仪，其特征在于：

具备检测所述被抽出的第一阴影的轮廓线和第二阴影的轮廓线的轮廓检测部，

所述接触点检测部根据所述第一阴影的轮廓线与第二阴影的轮廓线的距离来检测所述用户的手指对所述操作面的接触点。

14.如权利要求13所述的投影仪，其特征在于：

所述阴影区域抽出部对所述拍摄图像的亮度与规定的阈值进行比较，将所述用户的手指的第一阴影和所述用户的手指的第二阴影区分地抽出，

所述轮廓检测部将所述第一阴影的轮廓线和第二阴影的轮廓线中对应的大致直线状的线段作为轮廓线来抽出，

所述接触点检测部在所述抽出的2个轮廓线之间的距离为规定阈值以下时判定所述用户的手指与所述操作面接触。

15.如权利要求12所述的投影仪，其特征在于：

使所述第一照明和所述第二照明在时间上交替地照射，

所述相机与所述第一照明的照射和所述第二照明的照射各自的照射时刻一致地拍摄所述操作面，

所述阴影区域抽出部从所述第一照明产生的拍摄图像中抽出所述第一阴影，从与所述第一照明产生的拍摄图像在时间上分离的所述第二照明产生的拍摄图像中抽出所述第二阴影。

16.如权利要求12所述的投影仪，其特征在于：

所述第一照明和所述第二照明的照明方向设置成朝向与所述相机的拍摄方向大致相同的一侧。

17.如权利要求13所述的投影仪，其特征在于：

所述轮廓检测部在该第一阴影的轮廓线和第二阴影的轮廓线中，将相对于所述用户的手指较远的位置的轮廓线作为所述第一阴影和所述第二阴影各自的轮廓线来抽出。

18.一种投影仪，其检测用户的手指对操作面的操作，其特征在于，包括：

对所述操作面从不同的位置照射照明光的多个照明；

拍摄被照射所述照明光的所述操作面并且拍摄所述用户的手指的相机；

阴影区域抽出部，其从由该相机拍摄到的拍摄图像中抽出与所述用户的手指对应的多个阴影重叠的区域；和

接触点检测部，其基于所述多个阴影重叠的区域检测所述用户的手指对所述操作面的接触点，其中，

所述阴影区域抽出部将阴影的亮度为规定阈值以下的部分作为所述多个阴影重叠的区域来抽出。