CN110001401A - 操作判定装置以及操作判定方法 - Google Patents

Abstract

本发明涉及操作判定装置以及操作判定方法。一种操作判定装置，判定用户针对显示图像以非接触进行的操作，所述操作判定装置具有：图像取得部，取得拍摄了用户后的拍摄图像；以及图像处理部，对拍摄图像进行图像处理，判定用户的视线的位置、指尖的位置和指尖针对显示图像的工作。图像处理部包含：第一处理部，对在拍摄图像内的用户的眼和指尖的位置进行检测；以及第二处理部，基于检测出的在拍摄图像内的用户的眼和指尖的位置，计算相对于显示面的、用户的视线和指尖的位置，判定用户的指尖的工作。第一处理部由执行特定的检测处理的硬件构成。第二处理部由执行与第一处理部的输出对应的处理的软件构成。

Description

操作判定装置以及操作判定方法

技术领域

本发明涉及操作判定装置以及操作判定方法。

背景技术

近年来，开始在汽车等车辆中装载平视显示器（以下，称为HUD）。HUD将视频叠加于例如驾驶座位前方的挡风玻璃来显示。因此，在利用HUD的显示中，有能够抑制司机的视线移动并进行信息传递的优点。

可是，在看HUD的显示来进行某些操作的情况下，司机使用仪表盘（console）上的开关来进行操作，因此，必须较大地偏离视线。因此，提出了以下装置：基于拍摄了用户的手的活动等后的图像来判定用户的工作，判定进行了什么操作，由此，虽然实际上不与在显示器中显示的开关等操作部接触但是也能够以接触那样的感觉进行操作（例如，专利文献1）。

现有技术文献

专利文献

专利文献1：日本特开2010-184600号公报。

发明要解决的课题

在上述的专利文献1所公开的装置中，装载于装置的计算机进行手的图像的图像处理、基于图像处理的结果的操作的判定、与操作对应的显示等处理。即，利用软件进行包含图像处理的一系列的处理。

可是，根据拍摄了手的活动后的图像来生成在操作的判定中使用的信息的图像处理的处理复杂，计算的执行数目较多。因此，在使用软件来进行这样的图像处理的情况下，存在在处理速度花费时间且功耗较大这样的问题。

发明内容

本发明是鉴于上述问题点而完成的，其目的在于提供一种能够高速且低功耗地判定针对显示图像的非接触下的操作的操作判定装置。

用于解决课题的方案

本发明的操作判定装置是，一种操作判定装置，判定用户针对显示图像以非接触进行的操作，其特征在于，具有：图像取得部，取得拍摄了所述用户后的拍摄图像；以及图像处理部，对所述拍摄图像进行图像处理，判定所述用户的视线的位置、所述用户的指尖的位置和所述用户的指尖针对所述显示图像的工作，所述图像处理部包含：第一处理部，对在所述拍摄图像内的所述用户的眼和指尖的位置进行检测；以及第二处理部，基于检测出的在所述拍摄图像内的所述用户的眼和指尖的位置，计算相对于对所述显示图像进行显示的显示面的、所述用户的视线和指尖的位置，判定所述用户的指尖的工作，所述第一处理部由执行特定的检测处理的硬件构成，所述第二处理部由执行与所述第一处理部的输出对应的处理的软件构成。

此外，本发明的操作判定方法是，一种操作判定方法，所述操作判定方法是动作操作装置中的操作判定方法，所述动作操作装置接受针对显示图像的用户的非接触下的操作，所述操作判定方法的特征在于，包含：取得拍摄了所述用户后的拍摄图像的步骤；利用执行特定的检测处理的硬件来对在所述拍摄图像内的所述用户的视线和指尖的位置进行检测的步骤；利用软件计算相对于对所述显示图像进行显示的显示面的、所述用户的视线和指尖的位置的步骤；以及利用软件判定针对所述显示图像的、所述用户的指尖的工作。

发明效果

根据本发明的操作判定装置，能够高速且低功耗地判定针对显示图像的非接触下的操作。

附图说明

图1是示出实施例1的动作（motion）操作装置的结构的框图。

图2A是示意性地示出实施例1中的摄像机和挡风玻璃（windshield）与用户的位置关系的图。

图2B是示意性地示出实施例1中的用户的手和手指与显示图像的位置关系的图。

图3是示出实施例1的图像处理部中的处理块和功能块的框图。

图4是示出硬件处理部的结构的一部分的框图。

图5A是示意性地示出脸识别处理的图。

图5B是示意性地示出眼识别处理的图。

图5C是示意性地示出眼识别处理的图。

图5D是示意性地示出眼的二维坐标化处理的图。

图6A是示意性地示出实施例2中的摄像机和显示器与用户的眼的位置关系的图。

图6B是示意性地示出实施例2中的用户与显示图像的位置关系的图。

图7是示出实施例2的图像处理部中的处理块和功能块的框图。

具体实施方式

以下，参照附图来对本发明的实施例进行说明。再有，在以下的各实施例中的说明和附图中，对实质上相同或等效的部分标注相同的参照附图标记。

【实施例1】

本实施例的动作操作装置100被装载于具备例如平视显示器（head up display）（以下，称为HUD）等图像显示装置的汽车等车辆。动作操作装置100为以下操作判定装置：基于拍摄了司机等用户（以下，仅称为用户）后的图像，判定用户针对通过HUD叠加于挡风玻璃而显示的操作按钮等的显示图像以非接触进行的操作。

图1是示出本实施例的动作操作装置100的结构的框图。动作操作装置100具有传感器部10、图像处理部11和操作信息判定部12。

传感器部10由图像传感器10L和图像传感器10R构成。图像传感器10L和10R为装载于在车辆内部设置的摄像机并且生成拍摄了用户的包含手和面部的上半身后的图像的摄像元件。

图2A是示出装载图像传感器10L和10R的摄像机和挡风玻璃与用户的位置关系的图。装载图像传感器10L的摄像机CA1被配置在挡风玻璃FG的跟前且从用户来看左斜前方。装载图像传感器10R的摄像机CA2被配置在挡风玻璃FG的跟前且从用户来看右斜前方。

通过HUD将表示操作按钮等的显示图像DI叠加于挡风玻璃FG来显示。用户如图2B所示那样活动手和手指，以使正好接触显示图像DI来进行操作。摄像机CA1和CA2分别拍摄包含以下的图像：观察显示图像DI的用户的脸、和以对显示图像DI进行操作的方式活动的用户的手。

当再次参照图1时，图像传感器10L将由摄像机CA1的拍摄取得的拍摄图像即图像数据VD1向图像处理部11供给。同样地，图像传感器10R将由摄像机CA2的拍摄取得的拍摄图像即图像数据VD2向图像处理部11供给。

图像处理部11由硬件处理部20和软件处理部30构成。硬件处理部20由进行特定的处理（即，非可编程（programmable）的处理）的专用硬件构成，包含逻辑电路部21和存储器部22。软件处理部30是由CPU（Central Processing Unit，中央处理单元）等构成来进行按照程序的处理的处理部。

图3是示出硬件处理部20所执行的处理的处理块和利用规定的程序的执行而在软件处理部30中形成的功能块的框图。

硬件处理部20基于从图像传感器10L供给的图像数据VD1来进行检测处理，在所述检测处理中，对在由摄像机CA1拍摄出的拍摄图像内的用户的脸、眼、手和指尖的位置进行检测。对用户的脸和眼的位置进行检测的检测处理包含脸识别处理（S11）、眼识别处理（S12）、眼的2D坐标化处理（S13）、以及脸的2D坐标化处理（S14）。

首先，硬件处理部20基于从图像传感器10L供给的图像数据VD1来进行脸识别处理（S11），在所述脸识别处理中，从在二维坐标上展开图像数据VD1后的二维图像之中检测用户的脸（即，提取脸的图像）。在脸识别处理中，基于例如驾驶座位与摄像机CA1的位置关系等来划定设想为存在用户的面部的位置或范围，对在二维图像中的对应的位置（例如，中央部）存在的、肤色区域进行检测，由此，识别用户的脸。

接着，硬件处理部20进行从检测出的脸的图像检测用户的眼（即，提取眼的图像）的眼识别处理（S12）。在眼识别处理中，对在例如脸图像中的设想为存在用户的眼的位置存在的、白色的区域和黑色的区域（即，眼白和黑眼珠）进行检测，由此，检测用户的眼。

在眼识别处理（S12）的执行后，硬件处理部20基于检测出的眼的图像，执行生成坐标位置信息的2D坐标化处理（S13），所述坐标位置信息表示二维图像上的眼的位置。

图4是示意性地示出逻辑电路部21和存储器部22的结构、以及执行由脸识别处理、眼识别处理和2D坐标化处理构成的一系列的处理时的处理工作的流程的框图。

逻辑电路部21包含：由第一逻辑电路21-1、第二逻辑电路21-2、…第n逻辑电路21-n（n为2以上的整数）构成的逻辑电路组、以及坐标化逻辑电路23。存储器部22包含由第一存储器22-1、第二存储器22-2、…第n存储器22-n构成的存储器组、以及参照存储器24。向第一存储器22-1~第n存储器22-n写入由第一逻辑电路21-1~第n逻辑电路21-n得到的运算结果的数据。另一方面，参照存储器24为例如储存坐标平面信息的存储器，不接受由第一逻辑电路21-1~第n逻辑电路21-n得到的数据的写入。

逻辑电路组之中的第一逻辑电路21-1~第k逻辑电路21-k（k为k<n的自然数）使用第一存储器22-1~第k存储器22-k执行脸识别处理（S11）。此时，第一逻辑电路21-1~第k逻辑电路21-k的各个以扫描例如二维图像整体的方式对各点（像素）进行规定的矩阵运算，检测脸的轮廓。

第一逻辑电路21-1对图像数据VD1进行矩阵运算，将运算结果的数据储存在第一存储器22-1中。第二逻辑电路21-2对从第一存储器22-1读出的数据进行矩阵运算，将运算结果的数据储存在第二存储器22-2中。以下，进行同样的处理到第k逻辑电路21-k为止，将示出脸识别处理的最终的运算结果的脸图像数据储存在第k存储器22-k中。由此，如图5A所示那样，从二维图像CP提取脸图像FP。

逻辑电路组之中的第（k+1）逻辑电路21-（k+1）~第n逻辑电路21-n使用第（k+1）存储器22-（k+1）~第n存储器22-n来执行眼识别处理（S12）。此时，第（k+1）逻辑电路21-（k+1）~第n逻辑电路21-n的各个以扫描例如脸图像整体的方式对各点（像素）进行规定的矩阵运算，检测眼。

第（k+1）逻辑电路21-（k+1）从第k存储器22-k读出脸图像FP的图像数据来进行矩阵运算，将运算结果的数据储存在第（k+1）存储器22-（k+1）中。第（k+2）逻辑电路21-（k+2）对从第（k+1）存储器22-（k+1）读出的数据进行矩阵运算，将运算结果的数据储存在第（k+2）存储器22-（k+2）中。以下，进行同样的处理到第n逻辑电路21-n为止，将示出眼识别处理的最终的运算结果的眼的图像数据储存在第n存储器22-n中。由此，如图5B和图5C所示那样，从脸图像FP提取眼的图像EP。

坐标化逻辑电路23使用第n存储器22-n和参照存储器24来执行眼的2D坐标化处理（S13）。坐标化逻辑电路23从第n存储器22-n读出眼的图像EP的图像数据，基于在参照存储器24中储存的坐标平面信息来生成坐标位置信息CD1，所述坐标位置信息CD1示出二维的坐标平面上的眼的位置。由此，如图5D所示那样，得到示出眼的位置的坐标（例如，（X1，Y1））。

当再次参照图3时，硬件处理部20基于由脸识别处理（S11）检测出的脸的图像数据来执行2D坐标化处理（S14），生成坐标位置信息，所述坐标位置信息表示在二维图像上的用户的脸的位置。例如，坐标化逻辑电路23从第k存储器22-k读出脸图像EP的图像数据，基于在参照存储器24中储存的坐标平面信息来生成坐标位置信息CD2，所述坐标位置信息CD2示出二维的坐标平面上的脸的位置。

通过以上的处理，检测在由摄像机CA1拍摄出的拍摄图像内的用户的脸和眼的位置。

此外，硬件处理部20与此并行地执行检测处理，在所述检测处理中，对在由摄像机CA1拍摄出的拍摄图像内的用户的手和指尖的位置进行检测。对手和指尖的位置进行检测的检测处理包含手识别处理（S15）、指尖识别处理（S16）、指尖的2D坐标化处理（S17）、以及手的2D坐标化处理（S18）。

在手识别处理（S15）中，硬件处理部20基于从图像传感器10L供给的图像数据VD1，从在二维坐标上展开图像数据VD1后的二维图像之中检测用户的手。

如图2A所示那样，在用户想要对叠加于挡风玻璃FG而显示的显示图像DI进行操作的情况下，用户的手从比眼的位置低的下方朝向上方伸展。因此，硬件处理部20通过对从二维图像的下方伸展的肤色区域进行检测，从而检测用户的手。

构成硬件处理部20的逻辑电路部21的前级部分的逻辑电路（例如，第一逻辑电路21-1~第k逻辑电路21-k）的各个与脸识别处理的情况同样以扫描二维图像整体的方式对各点（像素）进行规定的矩阵运算，检测手的轮廓。第一逻辑电路21-1对图像数据VD1进行矩阵运算，将运算结果的数据储存在第一存储器22-1中。第二逻辑电路21-2~第k逻辑电路21-k依次进行针对从存储器读出的数据的、矩阵运算和运算结果的向存储器的储存，将手的图像数据储存在第k存储器22-k中，所述手的图像数据示出手识别处理的最终的运算结果。

在指尖识别处理（S16）中，硬件处理部20通过对手的顶端部进行检测，从而检测用户的指尖。此时，构成硬件处理部20的逻辑电路部21的后级部分的逻辑电路（例如，第（k+1）逻辑电路21-（k+1）~第n逻辑电路21-n）的各个以扫描例如手的图像整体的方式对各点（像素）进行规定的矩阵运算，检测指尖。第（k+1）逻辑电路21-（k+1）从第k存储器22-k读出手的图像数据来进行矩阵运算，将运算结果的数据储存在第（k+1）存储器22-（k+1）中。第（k+2）逻辑电路21-（k+2）~第n逻辑电路21-n依次进行针对从存储器读出的数据的、矩阵运算和运算结果的向存储器的储存，将指尖位置的图像数据储存在第n存储器22-n中，所述指尖位置的图像数据示出指尖识别处理的最终的运算结果。

坐标化逻辑电路23使用第n存储器22-n和参照存储器24来执行指尖的2D坐标化处理（S17）。坐标化逻辑电路23从第n存储器22-n读出指尖的图像数据，基于在参照存储器24中储存的坐标平面信息来生成坐标信息CD3，所述坐标信息CD3示出在二维的坐标平面上的指尖的位置。

硬件处理部20基于由手识别处理（S15）检测出的手的图像数据来执行2D坐标化处理（S18），生成坐标位置信息，所述坐标位置信息表示在二维图像上的用户的手的位置。例如，坐标化逻辑电路23从第k存储器22-k读出手的图像数据，基于在参照存储器24中储存的坐标平面信息来生成坐标位置信息CD4，所述坐标位置信息CD4示出在二维的坐标平面上的手的位置。

通过以上的处理，检测在由摄像机CA1拍摄出的拍摄图像内的用户的手和指尖的位置。

硬件处理部20对从图像传感器10R供给的图像数据VD2也进行同样的处理。即，硬件处理部20基于从图像传感器10R供给的图像数据VD2，进行检测处理，在所述检测处理中，对在由摄像机CA2拍摄出的拍摄图像内的用户的脸、眼、手和指尖的位置进行检测。

对用户的脸和眼的位置进行检测的检测处理包含脸识别处理（S21）、眼识别处理（S22）、眼的2D坐标化处理（S23）、以及脸的2D坐标化处理（S24）。对用户的手和指尖的位置进行检测的检测处理包含手识别处理（S25）、指尖识别处理（S26）、指尖的2D坐标化处理（S27）、以及手的2D坐标化处理（S28）。硬件处理部20通过依次进行利用构成逻辑电路部21的各逻辑电路的矩阵运算、运算结果的向存储器的储存和读出，从而执行这些处理。

硬件处理部20向软件处理部30输出：基于图像数据VD1的眼的坐标信息CD1、脸的坐标信息CD2、指尖的坐标信息CD3和手的坐标信息CD4、以及基于图像数据VD2的眼的坐标信息CD5、脸的坐标信息CD6、指尖的坐标信息CD7和手的坐标信息CD8。

软件处理部30基于从硬件处理部20供给的各坐标信息来计算相对于对显示图像DI进行显示的显示面（在本实施例中为显示器DS）的、用户的视线和用户的指尖的位置，判定用户的指尖的工作。

在软件处理部30中，通过CPU执行规定的程序而形成视线向量生成部31、指尖位置生成部32、视线向量生成部33、指尖位置生成部34、视线向量合成部35、指尖位置合成部36、2D视线位置变换部37、2D指尖位置变换部38以及操作判定部39来作为功能块。

视线向量生成部31基于根据图像数据VD1的眼的坐标信息CD1和脸的坐标信息CD2，生成示出用户的视线方向的视线向量SV1。指尖位置生成部32基于根据图像数据VD1的指尖的坐标信息CD3和手的坐标信息CD4，生成用户的指尖的位置和示出其变化的指尖位置向量FV1。

视线向量生成部33基于根据图像数据VD2的眼的坐标信息CD5和脸的坐标信息CD6，生成示出用户的视线方向的视线向量SV2。指尖位置生成部34基于根据图像数据VD2的指尖的坐标信息CD7和手的坐标信息CD8，生成用户的指尖的位置和示出其变化的指尖位置向量FV2。

视线向量合成部35将基于图像数据VD1的视线向量SV1和基于图像数据VD2的视线向量SV2合成。由此，生成视线向量SV，所述视线向量SV合成了基于从用户的左斜前方拍摄出的图像而计算出的用户的视线与基于从用户的右斜前方拍摄出的图像而计算出的用户的视线。

指尖位置合成部36将基于图像数据VD1的指尖位置向量FV1和基于图像数据VD2的指尖位置向量FV2合成。由此，生成指尖位置向量FV，所述指尖位置向量FV合成了基于从用户的左斜前方拍摄出的图像而计算出的用户的指尖位置与基于从用户的右斜前方拍摄出的图像而计算出的用户的指尖位置。

2D视线位置变换部37基于由视线向量合成部35生成的视线向量SV，将用户的视线位置变换为相对于显示图像DI的显示面（即，挡风玻璃FG）的、二维的视线位置，生成示出显示面上的视线位置的视线位置信息SP。2D视线位置变换部37将视线位置信息SP向操作信息判定部12供给。

2D指尖位置变换部38基于视线向量SV和由指尖位置合成部36生成的指尖位置向量FV，将用户的指尖位置变换为以显示图像DI的显示面（即，挡风玻璃FG）为基准的二维的指尖位置，生成示出显示面上的假想的指尖位置的、指尖位置信息FP。2D指尖位置变换部38将指尖位置信息FP向操作信息判定部12供给。

操作判定部39基于指尖位置向量FV，判定用户的指尖的工作（例如，沿上下移动、以描绘圆的方式移动等），生成示出判定结果的判定信息OD。操作判定部39将判定信息OD向操作信息判定部12供给。

操作信息判定部12为对针对显示图像DI的用户的操作（例如，将按钮按下、轻弹等）进行判定的判定部。向操作信息判定部12供给针对由HUD显示的显示图像DI的、显示信息HDI（在哪个位置显示什么操作按钮等）。操作信息判定部12基于显示信息HDI以及从图像处理部11供给的视线位置信息SP、指尖位置信息FP和判定信息OD来判定针对显示图像DI的用户的操作。操作信息判定部12将示出判定结果的操作信息OI向导航装置等其他的装置（未图示）供给。

通过以上那样的硬件处理部20、软件处理部30和操作信息判定部12的工作，判定一边对叠加于挡风玻璃而显示的显示图像进行观察一边进行的用户的工作来作为针对操作按钮等的显示图像的非接触下的操作。

在本实施例的动作操作装置100中，由仅执行特定的检测处理的专用硬件构成的硬件处理部20执行对在拍摄图像内的用户的脸、眼、手和指尖的位置进行检测的检测处理（即，脸、眼、手和指尖的识别处理以及二维坐标化的处理）。这样的处理包含重复进行以扫描二维图像整体的方式针对各像素的矩阵运算的处理等，因此，与其以后的处理（视线向量或指尖位置向量的生成和合成、位置变换、操作判定）相比处理工序较多。

与本实施例不同，假设在使用软件进行了上述的检测处理的情况下，CPU在各处理中每次接入共同使用的存储器并进行处理，因此，在处理中花费时间。相对于此，在本实施例的动作操作装置100中，硬件处理部20利用执行已定的矩阵运算处理的逻辑电路和对针对该矩阵运算处理的数据进行储存的存储器进行这些处理，因此，能够以比较短时间（即，高速地）进行处理。此外，伴随着处理时间的缩短来减少功耗。

因此，根据本实施例的动作操作装置100，能够高速且低功耗地进行基于用户的工作的操作判定。

【实施例2】

本实施例的动作操作装置200被装载于进行例如AR（Augmented Reality：扩展现实）的显示的HMD（Head Mounted Display，头盔显示器）。动作操作装置200为以下装置：基于对戴上了护目镜型的HMD的、用户的眼和手进行拍摄后的图像来检测用户的工作，由此，判定用户针对在显示器中显示的操作按钮等的显示图像以非接触进行的操作。

图6A和图6B是示意性地示出本实施例中的装载于HMD的摄像机的配置、在显示器中显示的显示图像、戴上了HUD的用户的眼和手的位置的图。

如图6A所示那样，在HMD中设置有对用户的眼的附近进行拍摄的摄像机CA3。摄像机CA3被配置在例如护目镜的鼻托部分（未图示）。在显示器DS中，显示操作按钮等的显示图像DI。

如图6B所示那样，在HMD中设置有对用户的眼的前方进行拍摄的摄像机CA4。摄像机CA4被配置在例如护目镜的镜腿（temple）（眼镜腿的部分）TR。显示图像DI在从用户的眼来看的情况下，作为虚像显示于显示器DS的进一步前方。因此，在用户活动手以使接触显示为虚像的操作按钮等的显示图像DI的情况下，用户的手位于摄像机CA4的拍摄范围内。因此，由摄像机CA4拍摄用户的手。

图7是示出本实施例的动作扫描装置200的结构和图像处理部中的处理块和功能块的框图。动作操作装置200具有：传感器部10、图像处理部11和操作信息判定部12。

传感器部10由眼用图像传感器10E和动作用图像传感器10M构成。

眼用图像传感器10E被装载于对用户的眼的附近进行拍摄的摄像机CA3。眼用图像传感器10E将由摄像机CA3的拍摄取得的图像数据VD3向图像处理部11供给。

动作用图像传感器10M被装载于对用户的手进行拍摄的摄像机CA4。动作用图像传感器10M将由摄像机CA4的拍摄取得的图像数据VD4向图像处理部11供给。

图像处理部11由硬件处理部40和软件处理部50构成，所述硬件处理部40由进行特定的处理（即，非可编程的处理）的专用硬件构成，所述软件处理部50由CPU等构成。

硬件处理部40与图4所示的实施例1的硬件处理部20同样包含由多个逻辑电路构成的逻辑电路部和存储器部。

硬件处理部40基于从眼用图像传感器10E供给的图像数据VD3来进行检测处理，在所述检测处理中，对在由摄像机CA3拍摄出的拍摄图像内的用户的眼的位置进行检测。对用户的眼的位置进行检测的检测处理包含眼识别处理（S41）和眼的2D坐标化处理（S42）。

硬件处理部40基于从眼用图像传感器10E供给的图像数据VD3来进行眼识别处理（S41），在所述眼识别处理中，从在二维坐标上展开图像数据VD3后的二维图像之中检测用户的眼（即，提取眼的图像）。此外，硬件处理部40基于检测出的眼的图像，执行生成坐标位置信息的2D坐标化处理（S42），所述坐标位置信息表示二维图像上的眼的位置。

硬件处理部40与实施例1的硬件处理部20同样依次进行利用多个逻辑电路的矩阵运算、运算结果的向存储器的储存和读出，由此，执行这些处理。

此外，硬件处理部40与此并行地基于从动作用图像传感器10M供给的图像VD4来执行检测处理，在所述检测处理中，对在由摄像机CA4拍摄出的拍摄图像内的用户的手和指尖的位置进行检测。对手和指尖的位置进行检测的检测处理包含手识别处理（S43）、指尖识别处理（S44）、指尖的2D坐标化处理（S45）、以及手的2D坐标化处理（S46）。

硬件处理部40与实施例1的硬件处理部20同样依次进行利用多个逻辑电路的矩阵运算、运算结果的向存储器的储存和读出，由此，执行这些处理。

硬件处理部40将眼的坐标信息CDa、指尖的坐标信息CDb和手的坐标信息CDc向软件处理部50输出。

在软件处理部50中，通过CPU执行规定的程序而形成视线向量生成部51、指尖位置生成部52、视线位置变换部53、指尖位置变换部54以及操作判定部55来作为功能块。

视线向量生成部51基于眼的坐标信息CDa，生成示出用户的视线方向的视线向量SV。指尖位置生成部52基于指尖的坐标信息CDb和手的坐标信息CDc，生成用户的指尖的位置和示出其变化的指尖位置向量FV。

视线位置变换部53基于视线向量SV将用户的视线位置变换为相对于显示器DS的、二维的视线位置，生成示出显示面上的视线位置的视线位置信息SP。视线位置变换部53将视线位置信息SP向操作信息判定部12供给。

指尖位置变换部54基于视线向量SV和指尖位置向量FV，生成示出显示器DS上的假想的指尖位置的、指尖位置信息FP。指尖位置变换部54将指尖位置信息FP向操作信息判定部12供给。

操作判定部55基于指尖位置向量FV，判定用户的指尖的工作，生成示出判定结果的判定信息OD。操作判定部55将判定信息OD向操作信息判定部12供给。

操作信息判定部12为对针对显示图像DI的用户的操作进行判定的判定部。向操作信息判定部12供给针对由HMD显示的显示图像DI的、显示信息HDI。操作信息判定部12基于显示信息HDI以及视线位置信息SP、指尖位置信息FP和判定信息OD，判定针对显示图像DI的用户的操作。操作信息判定部12将示出判定结果的操作信息OI向导航装置等其他的装置（未图示）供给。

通过以上那样的硬件处理部40、软件处理部50和操作信息判定部12的工作，判定一边对显示于护目镜型的HMD的显示图像进行观察一边进行的用户的工作来作为针对操作按钮等的非接触下的操作。

在本实施例的动作操作装置200中，由仅执行特定的检测处理的专用硬件构成的、硬件处理部40执行对在拍摄图像内的用户的眼、手和指尖的位置进行检测的检测处理（即，用户的眼、手指和手的识别处理以及二维坐标化的处理）。这样的处理包含重复进行以扫描二维图像整体的方式针对各像素的矩阵运算的处理等，因此，与其以后的处理（视线向量或指尖位置向量的生成、位置变换、操作判定）相比处理工序较多。

在本实施例的动作操作装置200中，利用执行已定的矩阵运算处理的逻辑电路和对针对该矩阵运算处理的数据进行储存的存储器执行这些处理，因此，能够以比较短时间（即，高速地）进行处理。此外，伴随着处理时间的缩短来减少功耗。

因此，根据本实施例的动作操作装置200，能够高速且低功耗地进行基于用户的工作的操作判定。

再有，本发明并不限定于上述实施方式。例如，在上述实施例1中，作为例子说明了硬件处理部20首先执行脸识别处理（S11）之后执行眼识别处理（S12）的情况。与此不同地，以不以脸识别处理的执行为前提执行眼识别处理的方式构成硬件处理部20的各逻辑电路也可。

此外，在上述实施例1的脸识别处理之前和上述实施例2的眼识别处理之前，进行校准也可。例如，在这些处理之前，拍摄坐在驾驶座位上的状态（实施例1）或戴上了护目镜的状态（实施例2）下的用户的脸图像，得到脸的位置和眼的位置等基准信息。参照该基准信息来执行脸识别处理和眼识别处理，由此，硬件处理部能够更圆滑地执行一系列的处理。

此外，能够利用校准的信息来进行手识别处理。例如，能够将在校准时不存在于二维图像内而在实际工作时进入屏幕（frame in）到二维图像内的肤色的物体检测为手。

此外，在上述实施例中，作为例子说明了构成逻辑电路部21的逻辑电路的各个从存储器读出由前一个逻辑电路在存储器中储存的数据（即，由前一个逻辑电路得到的运算结果的数据）来进行矩阵运算的情况。可是，并不限于此，各逻辑电路也可以为从存储器读出利用前2个以上的逻辑电路在存储器中储存的数据（即，由前2个以上的逻辑电路得到的运算结果的数据）来进行矩阵运算的结构。此外，也可以为基于从多个存储器读出的数据来进行矩阵运算的结构。

此外，在上述实施例中，作为例子说明了以下情况：坐标化逻辑电路23基于从第n存储器22-n读出的数据（眼的图像EP的图像数据）和从参照存储器24读出的数据（坐标平面信息）来生成坐标位置信息CD，另一方面，到第二逻辑电路21-2~第n逻辑电路21-n为止的其他的逻辑电路基于从第一存储器22-1~第（n-1）存储器22-（n-1）读出的数据来进行矩阵运算（即，不使用参照存储器）。可是，第一逻辑电路21-1~第n逻辑电路21-n也可以为使用从其他的参照存储器（即，不伴随着利用逻辑电路的写入的存储器）读出的数据来进行矩阵运算的结构。

此外，在上述实施例中，假设参照存储器24为不接受利用第一逻辑电路21-1~第n逻辑电路21-n的写入的存储器来进行了说明。可是，硬件处理部20的存储器部22的参照存储器24以能利用来自外部的接入进行改写的方式构成也可。因此，硬件处理部20仅执行特定的处理，但是，用于该特定的处理的参数等的一部分能够根据来自外部的参照存储器的改写进行变更。

此外，在上述实施例中，作为例子说明了以下情况：软件处理部执行视线向量和指尖位置的生成、视线向量和指尖位置的合成、视线位置和指尖位置的变换、操作判定的各处理。可是，也可以为利用硬件执行这些处理的结构。即，关于本发明的动作操作装置，只要硬件处理部至少执行基于图像数据的、用户的脸、眼、手和指尖的识别处理以及二维坐标化的处理即可，其他的处理通过软件或硬件任一个手段执行也可。

附图标记的说明

10 传感器部

10L、10R 图像传感器

10E 眼用图像传感器

10M 动作用图像传感器

11 图像处理部

12 操作信息判定部

20、40 硬件处理部

21 逻辑电路部

22 存储器部

23 坐标化逻辑电路

24 参照存储器

30、50 软件处理部

31、33 视线向量生成部

32、34 指尖位置生成部

35 视线向量合成部

36 指尖位置合成部

37 2D视线位置变换部

38 2D指尖位置变换部

39 操作判定部

51 视线向量生成部

52 指尖位置生成部

53 视线位置变换部

54 指尖位置变换部

55 操作判定部。

Claims (8)

1.一种操作判定装置，判定用户针对显示图像以非接触进行的操作，其特征在于，具有：

图像取得部，取得拍摄了所述用户后的拍摄图像；以及

图像处理部，对所述拍摄图像进行图像处理，判定所述用户的视线的位置、所述用户的指尖的位置和所述用户的指尖针对所述显示图像的工作，

所述图像处理部包含：

第一处理部，对在所述拍摄图像内的所述用户的眼和指尖的位置进行检测；以及

第二处理部，基于检测出的在所述拍摄图像内的所述用户的眼和指尖的位置，计算相对于对所述显示图像进行显示的显示面的、所述用户的视线和指尖的位置，判定所述用户的指尖的工作，

所述第一处理部由执行特定的检测处理的硬件构成，所述第二处理部由执行与所述第一处理部的输出对应的处理的软件构成。

2.根据权利要求1所述的操作判定装置，其特征在于，

所述第一处理部将在所述拍摄图像内的所述用户的眼的位置和指尖的位置变换为二维的坐标平面上的位置坐标，

所述第二处理部基于所述位置坐标来计算相对于所述显示面的、所述用户的视线和指尖的位置。

3.根据权利要求1或2所述的操作判定装置，其特征在于，

所述第一处理部包含对所述拍摄图像依次执行矩阵运算的多个逻辑电路，

基于利用所述多个逻辑电路的所述矩阵运算的运算结果来检测在所述拍摄图像内的所述用户的眼和指尖的位置。

4.根据权利要求3所述的操作判定装置，其特征在于，

所述第一处理部包含多个存储器，所述多个存储器分别储存所述多个逻辑电路的所述矩阵运算的运算结果，

所述多个逻辑电路的各个基于从所述多个存储器之中的对应的存储器读出的数据来执行所述矩阵运算。

5.根据权利要求1至4的任一项所述的操作判定装置，其特征在于，

所述图像取得部取得从一个方向拍摄了所述用户后的第一拍摄图像和从另一个方向拍摄了所述用户后的第二拍摄图像，

所述第一处理部分别检测在所述第一拍摄图像内的所述用户的眼和指尖的位置和在所述第二拍摄图像内的所述用户的眼和指尖的位置，

所述第二处理部基于在所述第一拍摄图像内的所述用户的眼的位置和在所述第二拍摄图像内的所述用户的眼的位置来计算相对于所述显示面的、所述用户的视线，基于在所述第一拍摄图像内的所述用户的指尖的位置和在所述第二拍摄图像内的所述用户的指尖的位置来计算相对于所述显示面的、所述用户的指尖的位置。

6.根据权利要求1至4的任一项所述的操作判定装置，其特征在于，

所述图像取得部取得拍摄了所述用户的眼后的第一拍摄图像和拍摄了所述用户的手后的第二拍摄图像，

所述第一处理部分别检测在所述第一拍摄图像内的所述用户的眼的位置和在所述第二拍摄图像内的所述用户的指尖的位置，

所述第二处理部基于在所述第一拍摄图像内的所述用户的眼的位置来计算相对于所述显示面的、所述用户的视线，基于在所述第二拍摄图像内的所述用户的指尖的位置来计算相对于所述显示面的、所述用户的指尖的位置。

7.一种操作判定方法，所述操作判定方法是动作操作装置中的操作判定方法，所述动作操作装置接受针对显示图像的用户的非接触下的操作，所述操作判定方法的特征在于，包含：

取得拍摄了所述用户后的拍摄图像的步骤；

利用执行特定的检测处理的硬件来对在所述拍摄图像内的所述用户的视线和指尖的位置进行检测的步骤；

利用软件计算相对于对所述显示图像进行显示的显示面的、所述用户的视线和指尖的位置的步骤；以及

利用软件判定针对所述显示图像的、所述用户的指尖的工作。

8.根据权利要求7所述的操作判定方法，其特征在于，

对在所述拍摄图像内的所述用户的视线和指尖的位置进行检测的步骤包含：

利用所述硬件所包含的多个逻辑电路来对所述拍摄图像依次执行矩阵运算的步骤；以及

将在所述拍摄图像内的所述用户的眼和指尖的位置变换为二维的坐标平面上的位置坐标的步骤。