CN109643206A - 控制装置、显示装置、程序及检测方法 - Google Patents

Abstract

基于非接触操作设定成为使电子设备工作的基准的检测基准的控制装置具备：检测部，检测出进行所述非接触操作的物体的位置；取得部，取得与所述物体相关的信息或与进行所述非接触操作的用户相关的信息；及控制部，基于所述检测部检测出的所述物体的位置和所述取得部取得的信息，执行使所述电子设备工作的控制和设定所述检测基准的控制。

Description

控制装置、显示装置、程序及检测方法

技术领域

本发明涉及控制装置、显示装置、程序及检测方法。

背景技术

已知能够校正在显示画面上方检测出的操作体的三维位置的显示装置(例如专利文献1)。然而，不能够同时进行通常工作和三维位置的校正工作。

现有技术文献

专利文献

专利文献1：日本特开2012-98959号公报

发明内容

根据第一方式，一种控制装置，基于非接触操作来设定检测基准，所述检测基准成为使电子设备工作的基准，所述控制装置具备：检测部，对进行所述非接触操作的物体的位置进行检测；取得部，取得与所述物体相关的信息或与进行所述非接触操作的用户相关的信息；及控制部，基于所述检测部检测出的所述物体的位置和所述取得部取得的信息，执行使所述电子设备工作的控制和设定所述检测基准的控制。

根据第二方式，一种程序，其基于非接触操作设定检测基准，所述检测基准成为使电子设备工作的基准，所述程序使计算机执行：检测处理，对进行所述非接触操作的物体的位置进行检测；取得处理，取得与所述物体相关的信息或与进行所述非接触操作的用户相关的信息；及控制处理，基于在所述检测处理中检测出的所述物体的位置和在所述取得处理中取得的信息，执行使所述电子设备工作的控制和设定所述检测基准的控制。

根据第三方式，一种显示装置，其为电子设备，具备：显示部，将像显示于分离的位置；检测部，对物体相对于所述像的移动或使用者的操作进行检测；及设定部，根据用所述检测部检测出的所述物体的移动或所述使用者的操作，设定使所述电子设备工作的、成为所述物体的移动的基准的位置或成为所述使用者的操作的基准的位置。

根据第四方式，一种程序，由电子设备的计算机执行，使计算机执行如下处理：将像显示在分离的位置的处理；检测部对物体相对于所述像的移动或使用者的操作进行检测；及根据用所述检测部检测出的所述物体的移动或所述使用者的操作，设定使所述电子设备工作的、成为所述物体的移动或所述使用者的操作的基准的位置的处理。

根据第五方式，一种检测方法，将像显示在分离的位置并检测对所述像的操作，所述检测方法中，将所述像显示在分离的位置，对物体相对于所述像的移动或使用者的操作进行检测，根据所述检测出的所述物体的移动或所述使用者的操作，设定使电子设备工作的、成为所述物体的移动或所述使用者的操作的基准的位置。

附图说明

图1是说明第一实施方式的显示装置的结构的图，(a)是外观立体图，(b)是剖视图，(c)是示出成像光学系统的结构的剖视图。

图2是说明第一实施方式的显示装置的主要部分结构的框图。

图3是示意地示出在第一实施方式中显示的空中图像的图，(a)、(e)是俯视图，(b)、(c)、(d)是示出拍摄装置、空中图像及检测基准的关系的剖视图。

图4是示意地示出第一实施方式中的规定的非接触操作的例子的图。

图5是示意地示出在第一实施方式中在检测基准内检测出规定的非接触操作的情况的图。

图6是示意地示出在第一实施方式中在检测基准内没有检测出规定的非接触操作的情况的图，(a)是示出在检测基准的Z方向+侧的检测基准外检测出规定的非接触操作整体的情况的图，(b)是示出在检测基准的Z方向-侧的检测基准外检测出规定的非接触操作整体的图。

图7是示意地示出在第一实施方式中在检测基准内没有检测出规定的非接触操作的情况的图，(a)是示出在检测基准的Z方向+侧的检测基准外检测出规定的非接触操作的一部分并在检测基准内检测出剩余部分的情况的图，(b)是示出在检测基准的Z方向-侧或X方向-侧的检测基准外检测出规定的非接触操作的一部分并在检测基准内检测出剩余部分的情况的图。

图8是示意地示出没有朝向图标的方向进行规定的非接触操作的情况的图。

图9是示出在第一实施方式中校准处理时检测基准的位置的变更的图，(a)是示出向Z方向+侧变更检测基准的位置后的图，(b)是示出向Z方向-侧变更位置后的图。

图10是示意地示出在第一实施方式中在检测基准内的不同位置进行多次规定的非接触操作中的每一次的情况的图。

图11是说明第一实施方式中的显示装置进行的处理的流程图。

图12是说明第一实施方式的变形例1的显示装置的主要部分结构的框图。

图13是说明第一实施方式的变形例4的显示装置的主要部分结构的框图。

图14是说明第一实施方式的变形例6中的显示装置进行的处理的流程图。

图15是示意地示出在第一实施方式的变形例7中在检测基准外检测出规定的非接触操作的一部分的情况下的规定的非接触操作与检测基准之间的距离的图，(a)是示出距离为规定的阈值以下的情况的图，(b)是示出距离超过规定的阈值的情况的图。

图16(a)是示意地示出在第一实施方式的变形例7中在检测基准外相互成为附近的位置进行多个规定的非接触操作的情况的图，(b)是示意地示出在第一实施方式的变形例7中不将检测基准的宽度设为一定的情况的图。

图17是说明第一实施方式的变形例8的显示装置的主要部分结构的框图。

图18是示意地示出第一实施方式的变形例8中的显示装置的成像光学系统和显示器的另一例的剖视图。

图19是用于说明在第二实施方式的变形例2中初始设定检测基准的定时的示意图，(a)是示意地示出初始设定的空中图像与对空中图像进行的规定的非接触操作的位置关系的图，(b)是示意地示出基于对初始设定的空中图像进行的规定的非接触操作，初始设定检测基准的情况的图。

具体实施方式

-第一实施方式-

参照附图，说明第一实施方式的显示装置。在第一实施方式中，列举将本实施方式的显示装置组装在操作面板中的情况为一例进行说明。此外，本实施方式的显示装置不限于组装在操作面板中，也能够组装在移动电话、电视、平板终端、手表型终端等便携式信息终端装置、个人计算机、音乐播放器、固定电话机、可穿戴装置等电子设备中。另外，本实施方式的显示装置也能够组装在数字标牌(电子看板)等电子设备中。作为数字标牌，例如既可以是内置在自动售货机等中的小型显示器，例如也可以是设置在建筑物的壁面等的比一般的成人的大小更大的显示器。另外，本实施方式的显示装置例如能够组装在用于自动取款机(ATM装置)中用户输入密码或金额等的面板、铁路或公共汽车的车票、月票等的自动售票机、图书馆或美术馆等的各种信息检索终端装置等的面板。另外，本实施方式的显示装置也可以搭载在各种机器人(例如能够自走的机器人、自走式吸尘器这样的电子设备)中。

图1(a)是显示装置1的立体图，图1(b)是放大并示出显示装置1的一部分的剖视图，图1(c)是放大并示出显示装置1的一部分的侧视图。此外，为了方便说明，对于显示装置1，如图所示设定了由X轴、Y轴及Z轴构成的坐标系。此外，坐标系不限于由X轴、Y轴及Z轴构成的正交坐标系，可以采用极坐标系或圆柱坐标系。即，X轴设定在显示装置1的矩形显示面的短边方向，Y轴设定在显示装置1的矩形显示面的长边方向，Z轴设定在与显示面垂直的方向。

显示装置1具备内置控制部20的本体10、成像光学系统9、显示器11、载台14及拍摄装置15。成像光学系统9、显示器11、载台14及拍摄装置15配置在本体10内。显示器11例如由液晶显示器或有机EL显示器等构成，其具有呈二维状排列的多个显示像素排列。显示器11由控制部20控制，其显示与显示用图像数据对应的图像。

如图1(c)所示，在成像光学系统9的内部，多个微细的反射镜元件90呈二维状配置，并相对于ZX平面倾斜规定角度例如45°地配置。成像光学系统9向载台14的上方空间反射来自显示于显示器11的显示图像的向Y方向+方向的光，将显示图像的实像形成为空中图像30。此时，空中图像30形成在关于成像光学系统9与显示器11的显示面对称的位置。即，显示器11的显示面与成像光学系统9的距离d等于成像光学系统9与空中图像30的距离d。这样，显示装置1的使用者(以下，称为用户12)能够将显示在显示器11的显示面上的显示图像作为悬浮在载台14上方的空中的空中图像30进行观察。此外，这种成像光学系统9的具体结构例如记载于日本特开2016-14777号公报。

另外，如在后述的第一实施方式的变形例8中说明地，显示装置1可以使用公知的光场方式显示空中图像30。

另外，通过将显示器11与成像光学系统9之间的Y方向的距离d设为可变，从而能够使显示空中图像30的位置沿着Z方向移动。例如，当减小显示器11与成像光学系统9之间的距离时，即，当向接近成像光学系统9的方向移动显示器11时，空中图像30向远离用户12的方向(Z方向-侧)移动并显示。相反地，当增大显示器11与成像光学系统9之间的距离时，即，当向远离成像光学系统9的方向移动显示器11时，空中图像30向接近用户12的方向(Z方向+侧)移动并显示。显示器11的Y方向的移动能够利用未图示的电机或其他致动器等驱动装置进行。

空中图像30包括用于指示显示装置1的各种设定、各种功能的执行的操作按钮所对应的多个图标30A(操作按钮)。

载台14设置为与ZX平面平行的面，在该载台14的上方显示空中图像30。在以下的说明中，设为载台14是矩形形状，但不限定于矩形，能够应用圆形形状或多边形形状等各种形状。

拍摄装置15配置在显示装置1的本体10的表面，具有拍摄位于Z方向+侧的物体的拍摄部和检测出到物体的距离的测距部，如后所述，检测出基于用户12对空中图像30进行的操作的、操作体的位置。拍摄部具有公知的拍摄元件，如后所述，拍摄对空中图像30进行操作的用户12的身体及作为其一部分的手指、手等操作体等，并输出拍摄到的拍摄图像。在拍摄元件中设置有R、G、B的彩色滤光器，在拍摄图像中包括R、G、B的颜色信息。因此，如后所述，能够判别正在操作空中图像30的用户12的指尖的形状、指甲、图案或用户12的手指上拿着的物体等。测距部例如出射红外线，并接收在对象物反射并再次入射的红外线，基于出射光和接收光的相位变化，算出到对象物的距离，并作为距离信息输出。因此，在将测定对象物设为上述操作体的情况下，测距部能够求出从拍摄装置15即显示装置1到操作空中图像30的用户12的手指或手的距离。拍摄装置15将来自拍摄部的拍摄图像和来自测距部的距离信息作为检测输出并输出。

如后面详细说明地，拍摄装置15在从自身的表面起Z方向上的规定的可成像范围内，具有用于检测出用户12的手指或手等操作体的操作的规定检测范围。拍摄装置15在该规定的检测范围内检测出用户12操作空中图像30时的到操作体的距离。当然，空中图像30以位于该检测范围内的方式，优选以位于规定的检测范围的Z方向上的中间的方式利用成像光学系统9成像。由于拍摄装置15检测出用户12用手指、手或触控笔操作空中图像30的显示位置，所以能够执行对空中图像30的操作而无需接触触摸面板等操作部件。此外，在以下的说明中，说明将用户12的手指或手作为操作体操作空中图像30的显示位置的例子，但将触控笔等物体作为操作体操作的情况下也同样如此。

图2是示出显示装置1的结构中的控制部20、利用控制部20控制的显示器11及拍摄装置15的框图。控制部20具有CPU、ROM、RAM等，并包括基于控制程序控制包括显示装置1的显示器11在内的各种构成要素或执行各种数据处理的运算电路。控制部20具备解析部200、图像生成部201、显示控制部202、校准部203、检测基准控制部204、存储部205及判定部206。存储部205包括：存储控制程序的非易失性存储器、存储要显示于显示器11的图像数据等的存储介质等。

解析部200基于来自拍摄装置15的检测输出，即来自拍摄部的拍摄图像和来自测距部的距离信息，取得正在对空中图像30进行操作的操作体的工作状态，即与操作体相关的信息、与进行操作的用户12相关的信息。例如，用户12用手指操作空中图像30的情况下，解析部200基于来自拍摄装置15的拍摄部的拍摄图像，检测出用户12的肩。然后，解析部200基于来自拍摄装置15的拍摄部的拍摄图像和来自测距部的距离信息或者拍摄图像和距离信息的一方，检测出以肩为基点移动的手臂。解析部200检测出已检测出的手臂的移动，进一步检测出手腕的移动、指尖，解析用户12正在进行怎样的操作。例如，在用户12对空中图像30进行后述的向下触摸(tap down)和向上触摸(tap up)的情况下或进行挥手的动作、轻击(flick)动作、扫动动作等的情况下，在手臂、手腕等处具有特定的移动。例如，在向下触摸动作的情况下，手腕的移动较大，手臂的移动较小。另外，在轻击动作或扫动动作的情况下，虽然手腕的移动较小，但具有以肘为基点的手臂的移动。这种用户12的动作的种类与手臂、手腕等的动作状态关联并预先存储于存储部205。

图像生成部201基于存储在存储介质中的图像数据，生成与用于显示于显示器11的显示图像对应的显示用图像数据。显示控制部202使显示器11显示利用图像生成部201生成的显示用图像数据所对应的图像。另外，当用户12在空中图像30的图标30A的显示位置进行操作时，显示控制部202基于该操作的图标30A的种类，进行显示器11的显示图像的切换控制。此外，用户12在空中图像30的图标30A的显示位置进行了操作的情况下，不限于显示控制部202进行显示器11的显示图像的切换控制。例如，在显示器11显示动态图像作为显示图像，用户12在空中图像30的图标30A的显示位置进行操作的情况下，显示控制部202也可以进行使利用显示器11显示的动态图像再现的控制或停止动态图像的控制。

校准部203执行在后面详细说明的校准处理。检测基准控制部204将检测面即检测基准设定于载台14的上方空间。具体而言，检测基准控制部204将检测基准设定为拍摄装置15的规定的检测范围内且空中图像30的位置(或规定范围)。检测基准控制部204还基于来自拍摄装置15的检测输出，判定用户12的手指到达检测基准这一情况。即，检测基准控制部204在用拍摄装置15检测出的手指位置(X轴、Y轴、Z轴各轴的位置)位于设定的检测基准内时，判定为用户12操作了图标30A的显示位置。检测基准控制部204将检测基准设定于预先确定的规定的初始位置。该检测基准的初始位置预先存储于存储部205。此外，检测基准的初始位置例如既可以是对于全部用户12共通的位置，也可以基于用户12对显示装置1的使用历史等按用户12设定不同的位置。此外，检测基准控制部204也可以基于后述的校准处理的结果，变更或修正检测基准的位置。

另外，检测基准的位置(初始位置、变更或修正后的位置)既可以设定于载台14的平面上(X轴、Y轴上)整体，也可以设定于平面上的一部分。而且，关于检测基准的初始位置，也可以将上一次使用显示装置1时设定的检测基准预先存储于存储部205，将其读出并使用。

判定部206判定利用拍摄装置15检测出的用户12的操作是否是具有对图标30A进行操作的意图而进行的操作。此外，将在后面详细说明利用判定部206进行的判定处理。

图3(a)示出利用显示装置1显示的空中图像30的一例，图3(b)、(c)示意地示出设定的检测基准40。在图3(b)中，空中图像30内的图标用粗的虚线30A表示。此外，由于图标30A是空中图像30的一部分，所以位于与空中图像30的位置相同的位置，但在图3(b)中，为了将表示图标30A的粗的虚线与表示空中图像30的实线进行区分，以从实线位置偏移的方式描绘粗的虚线的位置。

在图3(a)中，例示空中图像30包括一个图标30A的情况。相对于按这种方式显示的空中图像30，如图3(b)所示，拍摄装置15在载台14的上方(Y方向+侧)具有检测范围15A。在图3(b)中，用虚线15a示出沿着拍摄装置15的前方(Z方向+侧)的Z方向的检测极限，该检测极限15a与拍摄装置15的间隔作为检测范围15A示出。

在图3(b)的例子中，示出将检测极限15a设定于载台14的Z方向+侧的端部的上方的情况。即，检测范围15A与载台14的Z方向上的长度相等。该情况下，由于ZX平面上的载台14与检测范围15A一致，所以用拍摄装置15检测出在载台14的上方的空间中进行的用户12的操作。此外，也可以是，ZX平面上的载台14的大小与检测范围15A不一致，设定比载台14窄的检测范围15A，也可以设定比载台14宽的检测范围15A。

空中图像30形成于在载台14的上方从拍摄装置15向Z方向+侧分离了距离H1的位置。如图3(b)、(c)所示，检测基准控制部204对该图标30A初始设定长方体形状的检测基准40。如图3(b)所示，与图标30A对应的检测基准40的横截面的大小与图标30A的大小对应。检测基准40的Z方向上的大小是D1。即，长方体状的检测基准40设定为：横截面的长度W1与图标30A的一条边的长度W1相等，横截面的另一条边的长度W2与图标30A的另一条边的长度W2相等。

关于长方体状的检测基准40，将其Z方向+侧的面称为第一基准面40a，将Z方向-侧的面称为第二基准面40b，将用长度W2和D1生成的侧面称为第三基准面40c，将用长度W1和D1生成的侧面称为第四基准面40d。将检测基准40的外部称为检测基准外41。即，在图3(c)中，检测基准外41是由检测基准40的第一基准面40a、第二基准面40b、第三基准面40c及第四基准面40d包围而成的空间以外的外侧空间。

此外，在本实施方式中，将检测基准40设为长方体形状并进行说明，但不限定于此，既可以是球状、圆柱状、棱柱状等，也可以是除此以外的形状。另外，不限定于对图标30A设定检测基准40，也可以在空中图像30的整个区域或包括图标30A的规定的范围设定检测基准40。

检测基准控制部204以空中图像30位于检测基准40的第一基准面40a与第二基准面40b的中间的方式设定检测基准40。即，检测基准控制部204以空中图像30与第一基准面40a的Z方向上的距离等于空中图像30与第二基准面40b的Z方向上的距离的方式设定检测基准40。此外，不限定于空中图像30位于第一基准面40a与第二基准面40b的中间。也可以是空中图像30与第一基准面40a的距离不等于空中图像30与第二基准面40b的距离、空中图像30位于第一基准面40a的Z方向+侧或空中图像30位于第二基准面40b的Z方向-侧。也就是说，只要是从Z轴方向观察，空中图像30(图标30A)与检测基准40的第一基准40a、第二基准40b重叠的状态即可。

此外，检测基准控制部204也可以使上述检测基准40的位置在检测范围15A内沿Z方向移动并变更。例如，检测基准控制部204可以基于后述的校准处理的结果，使如图3(b)设定的检测基准40向Z方向+方向或-方向移动。在图3(b)、(c)中，空中图像30、检测基准40的第一基准面40a、第二基准面40b表示为与XY平面平行的平面，但它们均不限定于平面，例如均可以由曲面构成。

另外，如图3(d)所示，检测基准40可以不是平面，而是按图标30A不同而具有层差。换句话说，在空中图像30中包括多个图标30A的情况下，某图标30A与相对于该图标的检测基准40的间隔可以不同于其他图标30A与相对于该其他图标的检测基准40的间隔。这样，对检测基准40设置层差在空中图像30为立体图像且多个图标30A的位置在Z方向上相互偏移的情况下特别有效。例如，通过基于立体的空中图像30的多个图标30A的Z方向上的偏移，使与各图标30A对应的检测基准40的Z方向上的位置偏移，从而也能够将图标30A与对应的检测基准40之间的距离设为一定。另外，关于检测基准40，可以通过使对图3(d)所示的多个图标30A中的每一个设定的检测基准40独立地移动，从而变更检测基准40的位置。即，在基于对图3(d)的纸面左端的图标30A的操作而进行了校准处理的情况下，检测基准控制部204可以使与纸面左端的图标30A对应地设定的检测基准40的位置在Z方向上移动。此时，检测基准控制部204不使与其他图标30A(图3(d)的纸面中央部及右端的图标30A)对应地设定的检测基准40的Z方向上的位置移动。

通过用户12对按上述方式设定的空中图像30的图标30A或检测基准40进行规定的非接触操作，从而显示装置1执行分配给图标30A的功能。

在图4(a)～(c)中示出本实施方式中的规定的非接触操作600A～600C(在总称的情况下，称为规定的非接触操作600)的例子。在图4中，将规定的非接触操作600A～600C设为手指F移动时的轨迹，并使用箭头示意地示出。图4(a)所示的规定的非接触操作600A是用户12将手指F向里侧(Z方向-侧)移动距离L1后，U形转弯并向近前侧(Z方向+侧)移动距离L1的操作。即，该规定的非接触操作600A是向里侧的移动距离与向近前侧的移动距离相等的U形转弯轨迹。另外，规定的非接触操作600A也可以不是U形转弯即U字的轨迹，而是描绘V字的轨迹的操作，另外，也可以是手指F向里侧移动距离L1后沿着该轨迹向近前侧移动距离L1的操作。而且，也可以是，规定的非接触操作600A的向里侧的移动距离L1与向近前侧的移动距离L1不相等、不同。本实施方式中的规定的非接触操作600A只要是与手指的向里侧的移动连续地进行手指的向近前侧的移动的操作即可。

图4(b)的规定的非接触操作600B是用户12使手指F向里侧移动距离L1后使手指F停止规定时间的操作。图4(c)的规定的非接触操作600C是用户12使手指F向里侧移动距离L1后使手指F向横向(X方向或Y方向)至少移动规定距离L2的操作。

规定的非接触操作600不限于上述各种用手指F的移动轨迹表示的操作，只要是能够用拍摄装置15检测出其移动轨迹(手指F或手的移动轨迹)的操作，则可以是描绘其他移动轨迹的操作。

上述各种规定的非接触操作600的移动轨迹预先存储于存储部205。

解析部200基于拍摄装置15的检测输出，在检测基准40内检测出规定的非接触操作600时，判定为手指F操作了图标的显示位置。

图5例示利用解析部200判定为在检测基准40内进行了上述规定的非接触操作600中的非接触操作600A的情况。规定的非接触操作600A1示出手指F从第一基准面40a向Z方向-侧移动距离L1，接着U形转弯，向Z方向+侧移动距离L1而手指F到达第一基准面40a的情况。规定的非接触操作600A2示出手指F在第一基准面40a与第二基准面40b的中间手指F向Z方向-侧移动距离L1，接着U形转弯，向Z方向+侧移动距离L1的情况。规定的非接触操作600A3示出手指F向Z方向-侧移动距离L1，在第二基准面40b处U形转弯，并向Z方向+侧移动距离L1的情况。该情况下，解析部200在由用户12进行的操作能够视为与存储于存储部205的规定的非接触操作600A的轨迹相同的情况下，检测出进行了规定的非接触操作600A。利用解析部200检测出的由用户12进行的规定的非接触操作600存储于存储部205。

如以上，如图5所示，在检测基准40内进行了规定的非接触操作600A的向Z方向-侧的距离L1的移动、U形转弯及向Z方向+侧的距离L1的移动的全部的情况下，解析部200判定为在检测基准40进行了规定的非接触操作600A。即，解析部200在检测基准40内检测出规定的非接触操作600A。

以上，将规定的非接触操作600A作为一例，说明了解析部200判定是否在检测基准40内进行了规定的非接触操作600的方法，对于其他规定的非接触操作600B、600C等，也同样如此。在检测基准40内进行了规定的非接触操作600的整体的情况下，解析部200判定为在检测基准40内进行了规定的非接触操作600。即使是规定的非接触操作600的一部分在检测基准外41进行的情况下，解析部200也不判定为在检测基准40内进行了规定的非接触操作600。在规定的非接触操作600是在Z方向的±方向上伴随着距离L1的移动的操作的情况下，检测基准40的宽度D1即第一基准面40a与第二基准面40b的间隔(Z方向上的长度)至少需要距离L1以上，例如设定为距离L1的1.5倍～3倍左右。

此后，在本实施方式及变形例的说明中，均代表性地使用规定的非接触操作600A来进行说明，但是对于其他非接触操作600B、600C等，也能够应用同等的技术。

以上的说明中，说明了在检测基准40内检测出规定的非接触操作600A的情况。但是，图标30A位于与拍摄装置15相距距离H1的位置。由于该图标30A作为空中图像30显示，所以对于某用户12和其他用户12来说，有时空中图像30的图标30A的显示位置即距离H1的视觉感觉不同。另外，即使是同一用户12，根据操作该显示装置1的环境的不同，有时也感觉图标30A的显示位置不同。例如，某用户12为了进行对图标30A的显示位置的操作而使手指对空中图像30的图标30A进行规定的非接触操作600。有时虽然该用户12认为手指到达图标30A并操作了图标30A的显示位置，但实际上手指位于图标30A即检测基准40的第一基准面40a的Z方向+侧。相反地，也有时其他用户12感觉手指尚位于图标30A的近前(Z方向+侧)，但实际上手指到达图标30A，并位于检测基准40的第二基准面40b的Z方向-侧。在这种情况下，例示检测出的规定的非接触操作600A与检测基准40的位置关系。

图6示出在检测基准外41检测出规定的非接触操作600A的整体的情况下的例子。在图6(a)中，利用手指F在检测基准40的第一基准面40a的Z方向+侧的位置进行了规定的非接触操作600A的整体。在该情况下，解析部200基于拍摄装置15的检测输出，在检测基准外41检测出规定的非接触操作600A的整体。

在图6(b)中，利用手指F在检测基准40的第二基准面40b的Z方向-侧的位置进行了规定的非接触操作600A的整体。在该情况下，解析部200也基于拍摄装置15的检测输出，分别在检测基准外41检测出规定的非接触操作600A的整体。以下说明利用拍摄装置15和解析部200在检测基准外41检测出规定的非接触操作600A的方法。首先，拍摄装置15逐次检测出手指F的移动。接着，解析部200基于拍摄装置15的检测输出，判定手指F的移动轨迹是否与存储于存储部205的规定的非接触操作600A对应、手指F的移动轨迹的位置(检测基准40或检测基准外41或检测基准40与检测基准外41双方)。基于该判定结果，在检测基准外41检测出规定的非接触操作600A。

图7示出在检测基准外41检测出规定的非接触操作600A的一部分的情况下的例子。在图7(a)中，利用手指F在检测基准40的第一基准面40a的Z方向+侧的位置进行规定的非接触操作600A的一部分即与距离ΔH10对应的部分，在检测基准40内进行其剩余部分。换句话说，将在检测基准40内检测出的规定的非接触操作600A的一部分和在检测基准外41检测出的规定的非接触操作600A的一部分合起来时，成为规定的非接触操作600A。

该情况下，解析部200基于拍摄装置15的检测输出，在检测基准外41检测出规定的非接触操作600A的一部分。

在图7(b)中，利用手指F在检测基准40的第二基准面40b的Z方向-侧的位置进行规定的非接触操作600Aa的一部分即与距离ΔH10对应的部分，在检测基准40内进行其剩余部分。换句话说，将在检测基准40内检测出的规定的非接触操作600Aa的一部分和在检测基准外41检测出的规定的非接触操作600Aa的一部分合起来时，成为规定的非接触操作600Aa。

另外，利用手指F在检测基准40的第三基准面40c的外侧进行规定的非接触操作600Ab的一部分即与距离ΔH10对应的部分，在检测基准40内进行其剩余部分。换句话说，将在检测基准40内检测出的规定的非接触操作600Ab的一部分和在检测基准外41检测出的规定的非接触操作600Ab的一部分合起来时，成为规定的非接触操作600A。

在这些情况下，解析部200也基于拍摄装置15的检测输出，在检测基准外41检测出规定的非接触操作600Aa的一部分或Ab的一部分。

如图6、图7所示，检测出规定的非接触操作600的情况下，与用户12的意图相反地未执行图标操作。在任一种情况下，用户12都会感觉到图标操作存在不适应感。另外，与上述情况不同，例如在多个图标30A显示作为空中图像30的状态下，用户12一边用手指来指示操作哪个图标30A一边进行选择的情况下，由于用户12的指尖的移动偶然地与规定的非接触操作600一致而有可能执行图标操作。即，尽管用户12没有操作图标30A的意图，但执行了图标操作，用户12会感觉到不适应感。另外，即使用户12想要操作图标30A而进行非接触操作，用户12进行的非接触操作与规定的非接触操作600不同的情况下，也与用户12的意图相反地不执行图标操作。在这种情况下，用户12也会感觉到不适应感。

在本实施方式的显示装置1中，在由用户12进行了非接触操作情况下，判定用户12是否具有操作图标30A的意图。

关于用户12是否具有操作图标30A的意图，由控制部20的判定部206进行判定。

如图5～图7所示的情况，由用户12进行了规定的非接触操作600的情况下，判定部206判定为用户12具有操作图标30A的意图。另外，即使由用户12进行的非接触操作与规定的非接触操作600不同，在满足规定的条件的情况下，也判定为用户12具有操作图标30A的意图。即，解析部200基于拍摄装置15的检测输出，在检测范围15A内检测出规定的非接触操作600的移动轨迹的整体的情况下，或者，检测到检测出的非接触操作满足规定的条件的情况下，判定部206判定为对图标30A的操作具有用户12的意图。此外，后面将说明规定的条件的详细情况。

在由用户12进行的操作不是规定的非接触操作600，且也不满足规定的条件的情况下，判定部206判定为用户12没有操作图标30A的意图。即，解析部200基于拍摄装置15的检测输出，检测到检测出的非接触操作不是规定的非接触操作600的情况下，或者，检测出的非接触操作不满足规定的条件的情况下，判定部206判定为用户12没有操作图标30A的意图。

以下，说明规定的条件。满足规定的条件的非接触操作是指基于由用户12进行的非接触操作的移动轨迹或位置而能够视为规定的非接触操作600的操作。

此外，在以下的说明中，作为规定的非接触操作600，以图4(a)所示的规定的非接触操作600A为例进行列举。如上所述，规定的非接触操作600A是用户12将手指F向里侧(Z方向-侧)移动距离L1后，U形转弯并向近前侧(Z方向+侧)移动距离L1的移动轨迹的操作。

拍摄装置15的拍摄部拍摄用户12的手指并输出拍摄图像，拍摄装置15的测距部对用户12的手指进行测距并输出测距信息即距离信息。解析部200基于与手指相关的拍摄装置15的拍摄图像及距离信息，检测出用户12的非接触操作的移动轨迹的距离。为了检测出该非接触操作的移动轨迹的距离，解析部200既可以使用拍摄图像及距离信息双方，也可以使用其中的一方。

判定部206基于解析部200检测出的用户12的操作的移动轨迹和规定的非接触操作600A的移动轨迹的形状，判定用户12的操作是否有意图。

解析部200基于来自拍摄装置15的检测输出，检测出：使用户12的操作的移动轨迹向Z方向-侧移动距离L0后U形转弯，并向Z方向+侧移动距离L0。在解析部200检测出的用户12的非接触操作的距离L0与规定的非接触操作600A的距离L1的差值为规定的阈值以下的情况下，判定为用户12具有操作图标30A的意图，在差值超过规定的阈值的情况下，判定为用户12没有意图。例如，将规定的非接触操作600A的向Z方向的±方向的操作的距离L1设为10cm，将规定的阈值设为3cm。在用户12的非接触操作中的向Z方向的±方向的操作的距离L0为9cm的情况下，用户12自身有可能打算对图标30A进行规定的非接触操作600A。因此，判定部206判定为用户12具有操作图标30A的意图。另外，在用户12的非接触操作中的向Z方向的±方向的操作的距离L0为2cm的情况下，可认为用户12不想操作图标30A，用户12正在研究选择哪个图标30A。因此，判定部206判定为用户12没有操作图标30A的意图。

解析部200基于来自拍摄装置15的检测输出，检测出：使用户12的操作的移动轨迹向Z方向-侧移动距离L1，即图4(b)所示的移动轨迹。即，即使在由用户12进行了与规定的非接触操作600A的移动轨迹不同的移动轨迹的操作的情况下，判定部206也基于用户12的操作的位置，判定用户12的操作是否有意图。该情况下，解析部200检测出用户12进行的向Z方向-侧的操作的方向即用户12的操作的矢量是否朝向图标30A的显示位置。

拍摄装置15的拍摄部拍摄用户12的手指并输出拍摄图像，拍摄装置15的测距部对用户12的手指进行测距并输出测距信息即距离信息。解析部200基于与手指相关的拍摄装置15的拍摄图像及距离信息，算出手指的位置。该情况下，解析部200既可以使用拍摄装置15的拍摄图像和距离信息的双方算出手指的位置，也可以使用拍摄装置15的拍摄图像和距离信息的一方算出手指的位置。

解析部200基于按拍摄装置15的拍摄周期取得的手指的位置，算出用户12的非接触操作的移动轨迹的方向即矢量。然后，解析部200判定在算出的矢量的方向上是否存在图标30A。在矢量的方向上存在图标30A的情况下，用户12使手指F向图标30A移动，但有可能只是弄错了手指F应描绘的移动轨迹的形状。因此，判定部206判定为用户12具有操作图标30A的意图。如图8所示，在矢量的方向上不存在图标30A的情况下，由于移动轨迹的形状也不同，且并不是使手指F向图标30A移动，所以用户12为了操作图标30A而使手指F移动的可能性较低。因此，判定部206判定为用户12没有操作图标30A的意图。

此外，不限于解析部200算出矢量。例如，解析部200也可以判定进行用户12的非接触操作的位置(例如移动轨迹的终点，即图4(b)所示的规定的非接触操作600B的移动轨迹的情况下，Z方向-侧的端点的X坐标及Y坐标)是否位于图标30A的显示位置的X坐标和Y坐标的范围内。即，解析部200可以判定用户12的操作是位于图标30A的显示位置还是较大地偏移。由用户12进行的规定的非接触操作600A的X坐标和Y坐标是图标30A的显示位置的X坐标和Y坐标的范围内的情况下，用户12使手指F向图标30A移动，但有可能只是弄错了手指F应描绘的移动轨迹的形状。因此，判定部206判定为用户12具有操作图标30A的意图。由用户12进行的规定的非接触操作600A的X坐标和Y坐标不是图标30A的显示位置的X坐标和Y坐标的范围内的情况下，不能够将用户12的操作视为向图标30A进行的操作。因此，判定部206根据解析部200的判定结果，判定为用户12没有操作图标30A的意图。

另外，也可以是，在进行用户12的非接触操作的Z坐标和图标30A的显示位置的Z坐标为规定的范围内的情况下，判定为用户12具有操作图标30A的意图。即，在非接触操作的轨迹的一个点与检测基准40的距离比规定距离小的情况下，判定为用户12具有操作图标30A的意图。在比规定距离大的情况下，判定为用户12没有操作图标30A的意图。用户12在相对于空中图像30分离较远的位置进行非接触操作的情况下，难以视为用户12具有操作空中图像30的意图。在这种情况下，能够判定为用户12没有操作图标30A的意图。

此外，即使在用户12如图5所示在检测基准40内进行规定的非接触操作600或满足规定的条件的情况下，判定部206有时也判定为用户12没有操作图标30A的意图。例如，在转移至用于进行后述的校准处理的专用模式(校准处理模式)时进行的用户操作的情况下。在此所说的校准处理模式是仅进行校准而不受理通常的图标30A的操作的模式。由于该情况下不受理通常的图标30A的操作，所以即使利用解析部200在检测基准40内检测出规定的非接触操作600或满足规定的条件的非接触操作，判定部206也判定为用户12没有操作图标30A的意图。

另外，例如，也可以是，即使正在执行与操作空中图像30的图标30A的模式不同的模式时进行的用户12的非接触操作是规定的非接触操作600或满足规定的条件的非接触操作的情况下，判定部206也判定为用户12没有操作的意图。作为与操作图标30A的模式不同的模式，例如，是在再现显示动画的动画再现模式、连续地依次滑动展示显示多个静止图像的滑动展示再现模式中，没有显示图标的空中图像等情况下，不将用户12进行图标操作作为前提的模式。在该情况下，也可以是，即使解析部200基于拍摄装置15的检测输出，解析用户12的手指的操作，由于没有显示图标，所以判定部206也判定为用户12没有操作的意图。

控制部20基于按以上方式进行的解析部200的解析结果、判定部206的判定处理的结果，使图标30A的功能执行。另外，校准部203基于上述解析部200的解析结果、判定部206的判定处理的结果，执行校准处理。以下，分为使图标30A的功能执行的处理和校准处理来进行说明。

以下说明利用解析部200在检测基准40内检测出由用户12进行的非接触操作并利用判定部206判定为用户12具有操作图标30A的意图的情况下的显示装置1的工作。在这种情况下，控制部20执行图标30A的功能。例如，显示控制部202将显示从图3(a)所示的空中图像30切换为例如图3(e)所示的包括由4行×3列构成的12个图标30A的空中图像30。例如，设为如下情况：图3(a)的图标30A是用于使显示装置1的工作起动的开始按钮或使锁定状态下的显示装置1能够工作的锁定解除按钮。在该情况下，显示控制部202例如切换为用于执行各种应用(音乐再现、动画再现、邮件等)的图标的显示，作为图3(e)所示的空中图像30。

以下说明利用解析部200在检测基准外41检测出由用户12进行的非接触操作并利用判定部206判定为用户12具有操作图标30A的意图的情况下的显示装置1的工作。在这种情况下，控制部20执行图标30A的功能，校准部203执行校准处理。此外，关于校准处理的详细情况，后面将进行说明。此外，即使在检测基准外41检测出用户12的非接触操作，并判定为用户12具有操作的意图的情况下，有时也可以不进行校准处理。例如，可列举在由用户12对图标30A进行非接触操作后在控制部20执行的功能中不需要用户12的操作的情况。作为一例，有如下情况：用户12操作的图标30A是用于使显示装置1的工作结束的结束按钮等。这样，在控制部20执行图标30A的功能后的状态下，在不要求用户12的操作的情况下，也可以不进行校准处理。

接着，以下说明利用解析部200在检测基准40内检测出由用户12进行的非接触操作并利用判定部206判定为用户12没有操作图标30A的意图的情况下的显示装置1的工作。在该情况下，由于判定为用户12没有操作图标30A的意图，所以控制部20不执行图标30A的功能。例如，显示控制部202不进行从图3(a)所示的空中图像30向图3(e)所示的空中图像30的显示切换。并且，校准部203不进行校准处理。

但是，在这种情况下，在由用户12进行的非接触操作是指示转移至校准处理的操作的情况下，校准部203进行校准处理。

最后，说明利用解析部200在检测基准外41检测出由用户12进行的非接触操作并利用判定部206判定为用户12没有操作图标30A的意图的情况下的显示装置1的工作。该情况下，由于判定为用户12没有操作图标30A的意图，所以控制部20也不执行图标30A的功能。并且，也不进行校准处理。

以下，说明校准部203执行的校准处理。此外，在以下说明中，以进行规定的非接触操作600A的情况为例进行说明，但也可以对满足规定的条件的非接触操作，即用户12具有操作的意图而进行的非接触操作进行校准处理。

在进行了图6(a)所示的规定的非接触操作600A的情况下，检测基准控制部204基于存储在存储部205中的来自拍摄装置15的检测输出，算出规定的非接触操作600A的操作开始位置与第一基准面40a的间隔ΔH10。如上所述，该间隔ΔH10能够根据规定的非接触操作600A的操作开始位置和第一基准面40a的位置算出，但也能够利用以下方法算出。即，检测基准控制部204基于存储在存储部205中的来自拍摄装置15的检测输出，求出规定的非接触操作600A的最Z方向-侧的位置，即规定的非接触操作600A的到达位置。检测基准控制部204也能够通过算出该规定的非接触操作600A的到达位置与第一基准面40a的位置的间隔，并将规定的非接触操作600A的距离L1与该算出的间隔相加，从而算出间隔ΔH10。

当算出间隔ΔH10时，如图9(a)所示，检测基准控制部204基于距离ΔH10，使检测基准40整体向图中上方即Z方向+侧移动。在图9(a)中，用单点划线示出移动后的检测基准40。检测基准40的向Z方向+侧的移动量既可以如图9(a)所示与距离ΔH10大致相等，也可以比距离ΔH10大或小。这样，在检测基准外41且检测基准40的Z方向+侧的位置检测出用户12有意地进行的规定的非接触操作600A的情况下，检测基准控制部204使检测基准40整体以接近进行了该规定的非接触操作600A的位置的方式向Z方向+侧移动，并变更检测基准40。

图9(b)是说明在检测基准外41且检测基准40的第二基准面40b的Z方向-侧的位置检测出规定的非接触操作600A的情况下(参照图6(b))的校准处理的图。在图9(b)中，解析部200基于拍摄装置15的检测输出，判定进行了规定的非接触操作600A，且判定为在检测基准外41进行了该规定的非接触操作600A。检测基准控制部204算出规定的非接触操作600A的移动轨迹的最Z方向-侧的位置，即规定的非接触操作600A的到达位置与检测基准40的第二基准面40b的间隔ΔH10。当算出该间隔ΔH10时，如图9(b)所示，检测基准控制部204基于距离ΔH10，使检测基准40整体向图中下方(Z方向-侧)移动。在图9(b)中，用单点划线示出移动后的检测基准40。检测基准40的向Z方向-侧的移动量既可以如图9(a)所示与距离ΔH10大致相等，也可以比距离ΔH10大或小。这样，在检测基准外41且检测基准40的Z方向-侧的位置检测出用户12有意地进行的规定的非接触操作600A的情况下，检测基准控制部204使检测基准40整体以接近进行了规定的非接触操作600A的位置的方式向Z方向-侧移动，并变更检测基准40。

此外，在图9中，检测基准控制部204使检测基准40以算出的变更量ΔH10变更，但也可以将在间隔ΔH10上加上规定量h得到的值作为变更量并变更检测基准40。关于规定量h，可以列举将规定的非接触操作600A的到达位置的差值(从规定的非接触操作600A的到达位置到检测基准40的最接近的基准面的差值)平均得到的值、将多个规定的非接触操作的开始位置的差值(从规定的非接触操作600A的开始位置到检测基准40的最接近的基准面的差值)平均得到的值等。此外，规定量h也可以是预先设定的固定值。该情况下，检测基准40以在间隔ΔH10上加上成为余量的规定量h得到的量移动。因此，即使在用户12进行以后的操作时，不能够严密地在同一位置进行规定的非接触操作600A的情况下，只要误差在规定量h的范围内，就能够在检测基准40内检测出用户12的规定的非接触操作600A。即使用户12的规定的非接触操作600A的开始位置或到达位置按操作变动，也能够在检测基准40内检测出用户12的规定的非接触操作600A。因此，将在间隔ΔH10上加上规定量h得到的值设为变更量的情况下，与将间隔ΔH10的值设为变更量的情况下相比，能够提高在检测基准40内检测出规定的非接触操作600A的比例。

接着，如图7所示，说明在检测基准外41检测出规定的非接触操作600A的一部分的情况下的校准处理。

与如下情况相关的校准处理与图9(a)的情况下相同，该情况是：如图7(a)所示的规定的非接触操作600A，在检测基准40内进行规定的非接触操作600A的一部分，在第一基准面40a的上方的位置进行其剩余部分。即，检测基准控制部204基于距离ΔH10，使检测基准40整体向图中上方(Z方向+侧)移动。

与如下情况相关的校准处理与图9(b)的情况下相同，该情况是：如图7(b)所示的规定的非接触操作600Aa，在检测基准40内进行规定的非接触操作600Aa的一部分，在第二基准面40b的Z方向-侧的位置进行其剩余部分。即，基于距离ΔH10，使检测基准40整体向图中下方(Z方向-侧)移动。

与如下情况相关的校准处理中，检测基准控制部204基于距离ΔH10使检测基准40整体在X方向上移动，该情况是：如图7(b)所示的规定的非接触操作600Ab，在检测基准40内进行规定的非接触操作600Ab的一部分，在第三基准面40c的外侧的位置进行其剩余部分。该情况下，检测基准控制部204算出检测基准40的第三基准面40c与规定的非接触操作600A的移动轨迹中的最远离第三基准面40c的部分的距离ΔH10。当算出该距离ΔH10时，检测基准控制部204基于距离ΔH10，使检测基准40整体在图中的X方向，即接近规定的非接触操作600A的方向上移动。

在利用判定部206判定为用户12具有操作图标30A的意图的情况下，如图9所示，作为校准处理，检测基准控制部204使检测基准40的位置移动。结果，由于在进行显示的切换而得到的空中图像30中，与用户12的操作位置相匹配地变更检测基准40，所以能够在检测基准40内检测出用户12的规定的非接触操作600。另外，由于在一次操作中进行显示的切换等执行工作的处理和校准处理，所以用户12能够连续地操作而没有不适应感。

作为校准处理，如图9(a)所示的情况，检测基准控制部204使检测基准40的位置向Z方向+侧移动。但是，检测基准控制部204也可以使检测基准40以例如预先设定的规定的移动量移动。此外，该规定的移动量可以由用户12设定。另外，在上述说明中，以规定的非接触操作600A1的起点和终点与第一基准面40a一致的情况为例进行列举，但不限定于此，也可以在规定的非接触操作600A1的起点和终点包括于从第一基准面40a起Z方向-侧的规定范围内的情况下，进行校准处理。

通过执行以上处理，从而能够通过用户12的非接触操作，进行切换空中图像30的显示等工作的执行处理、变更检测基准40的位置的校准处理。因此，以后，能够在检测基准40内检测出由用户12进行的规定的非接触操作600。

参照图11的流程图，说明第一实施方式的显示装置1的工作。用控制部20执行程序而进行图11所示的处理。该程序存储于存储部205，由控制部20起动并执行。

在步骤S1中，图像生成部201生成空中图像30用的显示用图像数据，显示控制部202使显示器11显示基于显示用图像数据的显示图像。检测基准控制部204将检测基准40设定为初始位置。例如，如图3(a)所示，显示于显示器11的显示图像是与包括图标30A的空中图像30对应的图像。

在步骤S2中，解析部200基于来自拍摄装置15的检测输出，判定是否由用户12进行了非接触操作。在检测出由用户12进行了非接触操作的情况下，步骤S2为肯定判定，进入步骤S3，在没有检测出进行非接触操作的情况下，步骤S2为否定判定，待机到肯定判定。在步骤S3中，判定是否在检测基准40内进行了用户12的非接触操作。在利用解析部200检测出在检测基准40内进行了非接触操作的情况下(参照图5)，步骤S3为肯定判定，进入步骤S4。在检测基准40内未进行非接触操作的情况下(参照图6、7)，步骤S3为否定判定，进入后述的步骤S9。

在步骤S4中，判定部206判定由用户12进行的非接触操作是否是由用户12有意地进行的操作。例如，在进行图5所示的规定的非接触操作600或满足规定的条件的非接触操作，利用判定部206判定为是用户12有意地进行的操作的情况下，步骤S4为肯定判定，进入步骤S5。在步骤S5中，控制部20执行在步骤S1中显示的空中图像30包括的图标30A的功能，进入后述的步骤S12。例如，图像生成部201生成图3(e)的空中图像30用的显示用图像数据，显示控制部202基于显示用图像数据，使显示图像显示于显示器11。即，显示控制部202将显示切换为图3(e)所示的空中图像30。

在由用户12进行的非接触操作既不是规定的非接触操作600，也不是满足规定的条件的非接触操作，而是利用判定部206判定为是用户12没有意图地进行的操作的情况下，步骤S4为否定判定，进入步骤S6。在步骤S6中，判定由用户12进行的非接触操作是否是指示向校准处理转移的操作。是指示向校准处理转移的操作的情况下，步骤S6为肯定判定，进入步骤S7。在不是向校准处理转移时进行的操作的情况下，步骤S7为否定判定，进入后述的步骤S12。

在步骤S7中，检测基准控制部204算出检测基准40的变更量。检测基准40的变更量既可以是预先决定的规定的量，也可以基于由用户12进行的非接触操作的位置算出。在步骤S8中，检测基准控制部204基于在步骤S7中算出的变更量变更检测基准40的位置，进入后述的步骤S12。

在步骤S3为否定判定的情况下，在步骤S9中，与步骤S4同样地，判定是否是由用户12有意地进行的操作。在判定为是由用户12有意地进行的操作的情况下，步骤S9为肯定判定，进入步骤S10。在判定为是由用户12无意地进行的操作的情况下，步骤S9为否定判定，进入后述的步骤S12。在步骤S10中，进行与步骤S7同样的处理并进入步骤S11。在步骤S11中，进行与步骤S5及步骤S8同样的处理并进入步骤S12。即，校准部203进行校准处理，并且显示控制部202进行将显示切换为空中图像30等执行工作的处理。在步骤S12中，判定是否进行了显示装置1的停止操作。在进行了显示装置1的停止操作的情况下，步骤S12为肯定判定，结束处理，显示装置1停止工作。在没有进行显示装置1的停止操作的情况下，步骤S12为否定判定，返回步骤2。

另外，在以下情况下也可以执行校准处理。例如，对于同一空中图像30，有时需要多次用户操作。作为一例，存在空中图像30例如是输入多位数字或字母的密码输入画面等的情况。假设对于这种空中图像30，在中途检测出用户操作，但没有检测出以后的用户操作。即，假设：解析部200基于拍摄装置15的检测输出，检测出进行了用于输入第一位的用户操作，但在规定时间内没有检测出用于输入第二位的用户12的规定的非接触操作600或满足规定的条件的非接触操作。在该情况下，校准部203也可以执行校准处理。例如，检测基准控制部204以使检测基准40的范围扩展规定的量的方式算出检测基准40的变更量。基于算出的变更量使检测基准40的位置移动即可。

另外，在以下情况下也可以执行校准处理。例如，在以较高的概率预测由用户12进行对空中图像30的操作的情况下，执行校准处理。具体而言，显示上述密码输入画面，且尽管利用拍摄装置15检测出想要输入密码的人物，但有时即使规定时间经过，也没有检测出用户12的规定的非接触操作600或满足规定的条件的非接触操作。这样，基于拍摄装置15的检测输出，尽管检测出用户12，但解析部200在规定时间内没有检测出规定的非接触操作600或满足规定的条件的非接触操作的情况下，校准部203可以执行校准处理。检测基准控制部204以使检测基准40的范围扩展规定的量的方式算出检测基准40的变更量。基于算出的变更量使检测基准40的位置移动即可。

另外，假设：虽然实际上没有由用户12进行规定的非接触操作600或满足规定的条件的非接触操作，但是用户12以外的虫或垃圾等异物飞来经过拍摄装置15的检测范围15A，其移动偶然地与规定的非接触操作的轨迹类似。该情况下，有可能判定为由用户12进行了规定的非接触操作600。这种情况下，解析部200可以基于拍摄装置15的检测输出，解析为描绘了与规定的非接触操作类似的轨迹的是异物。例如，可以列举尽管在拍摄装置15的检测输出中没有拍摄到相当于人物的图像，但检测出规定的非接触操作600或满足规定的条件的非接触操作等情况。

此外，即使在检测基准40内检测出规定的非接触操作600或满足规定的条件的非接触操作的情况下，校准部203也可以执行校准处理。例如，有时在检测基准40的端部进行用户12的非接触操作。作为一例，列举进行了图5所示的规定的非接触操作600A1的情况。在图5中，规定的非接触操作600A1的起点和终点与检测基准40的第一基准面40a一致。这种情况下，以后的用户12的操作在第一基准面40a的Z方向+侧进行，有可能不在检测基准40内进行规定的非接触操作600A1。因此，校准部203也可以执行校准处理。

另外，也可以是，在非接触操作的到达位置与检测基准40的第二基准面40b一致的情况下或包括于从第二基准面40b起Z方向+侧的规定范围内的情况下，也进行校准处理。作为该情况下的校准处理，如图9(b)所示的情况，检测基准控制部204使检测基准40的位置向Z方向-侧以上述规定的移动量移动即可。

另外，在上述说明中，基于用户12的一次非接触操作进行校准处理，但也可以基于多次非接触操作的操作位置的倾向进行校准处理。以下，参照图10进行说明。

图10示出由用户12进行了三次规定的非接触操作600的情况。设为第一次进行规定的非接触操作600A1，第二次进行规定的非接触操作600A2，第三次进行规定的非接触操作600A3。在检测基准40内，第二次规定的非接触操作600A2在第一次规定的非接触操作600A1的Z方向+侧进行。第三次规定的非接触操作600A3在第二次规定的非接触操作600A2的检测基准40内的Z方向+侧进行。即，随着用户12重复进行操作，进行规定的非接触操作600A的位置向Z方向+侧位移。这种情况下，以后的用户12的操作在第一基准面40a的Z方向+侧进行，有可能不在检测基准40内进行规定的非接触操作600A。因此，校准部203执行校准处理。作为该情况下的校准处理，检测基准控制部204使检测基准40的位置向Z方向+侧以规定的移动量移动即可。

另外，在图10中，第一次进行规定的非接触操作600A3，第二次进行规定的非接触操作600A2，第三次进行规定的非接触操作600A1的情况下，以后的用户12的操作在第一基准面40a的Z方向-侧进行，有可能不在检测基准40内进行规定的非接触操作600A。在该情况下，作为校准处理，检测基准控制部204使检测基准40的位置向Z方向-侧以规定的移动量移动即可。

在第一实施方式中，控制部20基于操作体的位置和解析部200基于拍摄装置15的检测输出取得的与操作体相关的信息，使显示装置1工作，检测基准控制部204设定检测基准40，所述操作体的位置基于利用拍摄装置15检测出的非接触操作。由此，由于能够通过利用操作体进行一次非接触操作，从而进行显示装置1的工作和检测基准40的校准处理，所以用户12能够进行顺畅的操作而不会感觉到不适应感。

另外，在第一实施方式中，解析部200取得与操作体的移动相关的信息。由此，能够基于操作体的非接触操作中的移动，进行显示装置1的工作和检测基准40的校准处理。

另外，在第一实施方式中，在解析部200检测出操作体的位置是检测基准外41，作为操作体的移动，轨迹是规定的轨迹的情况下，控制部20使显示装置1工作，检测基准控制部204设定检测基准40。由此，能够在能视为用户12具有进行操作的意图的情况下，进行显示装置1的工作和检测基准40的校准处理。

另外，在第一实施方式中，在解析部200检测出操作体的轨迹中的一个点与检测基准40的距离小于规定距离的情况下，控制部20使显示装置1工作，检测基准控制部204设定检测基准40。用户12在相对于空中图像30分离较远的位置进行非接触操作的情况下，难以视为用户12具有操作空中图像30的意图。在这种情况下，能够防止显示装置1工作，并进行检测基准40的校准处理。

另外，在第一实施方式中，在解析部200检测出操作体的位置是检测基准外41，操作体的移动的方向为规定方向的情况下，控制部20使显示装置1工作，检测基准控制部204设定检测基准40。该情况下，如果用户操作是朝向图标30A的操作，则即使在检测基准40内没有检测出的情况下，也视为用户12具有进行操作的意图。由此，即使在用户12没有正确辨识空中图像30的Z方向上的位置的情况下，在能够视为具有进行操作的意图的情况下，也能够进行显示装置1的工作和检测基准40的校准处理。

(第一实施方式的变形例1)

图1、图2所示的第一实施方式的显示装置1基于用户12进行的非接触操作的轨迹、位置，判定用户12是否具有操作图标30A的意图。在变形例1的显示装置1中，算出用户12进行非接触操作时的用户12的指尖的速度或加速度，基于算出的速度或加速度，判定对图标30A的用户操作的意图的有无。

在图12的框图中示出变形例1的显示装置1的主要部分结构。图12示出变形例1的显示装置1的结构中的控制部20、由控制部20控制的显示器11及拍摄装置15。在图12中，控制部20在图2所示的第一实施方式的显示装置1的控制部20包括的结构的基础之上，具有速度/加速度检测部207、操作预测部208。此外，能够将作为上述第一实施方式的显示装置1能够应用的各结构应用于变形例1的显示装置1。

速度/加速度检测部207每规定的时间取得来自拍摄装置15的检测输出，算出规定的单位时间中的手指的位置在图像上的移动速度，并且根据算出的速度算出手指的移动加速度。在利用速度/加速度检测部207算出的移动速度或移动加速度为规定值以下的情况下，操作预测部208基于从速度/加速度检测部207输出的手指的移动速度或加速度，算出即预测手指F的移动轨迹。解析部200基于利用操作预测部208预测的手指F的移动轨迹，与第一实施方式同样地，与规定的非接触操作600的轨迹进行比较。或者，解析部200算出利用操作预测部208预测的移动轨迹的方向或位置。判定部206基于利用解析部200进行的用户12的非接触操作的移动轨迹的比较结果、移动轨迹的方向或位置，与第一实施方式的情况下同样地，判定用户12的操作意图的有无。

此外，判定部206也可以基于利用速度/加速度检测部207算出的移动速度或移动加速度，判定用户12的操作的意图的有无。或者，也可以与第一实施方式的情况下同样地，判定部206将解析部200检测出的用户12的非接触操作的移动轨迹或位置、利用速度/加速度检测部207算出的移动速度或移动加速度组合，并判定用户12的操作的意图的有无。例如，在利用速度/加速度检测部207算出的移动速度或移动加速度超过规定值的情况下，进行急剧的用户操作例如高速地使手指从Y方向+侧向Y方向-侧挥下的操作的可能性较高。在这种情况下，用户12进行规定的非接触操作600的可能性较低。因此，即使用户12的非接触操作的移动轨迹为规定的非接触操作的情况下或是满足规定的条件的非接触操作，判定部206也判定为用户12无意进行对图标30A的操作。

另外，列举了在进行移动速度或移动加速度超过规定值的急剧的用户操作的情况下，判定部206判定为用户操作没有意图的情况，但不限定于此。在移动速度或移动加速度小于其他规定值的情况下，即缓慢地进行用户操作的情况下，判定部206也可以判定为用户操作没有意图。该情况下，即使用户12的非接触操作的移动轨迹为规定的非接触操作的情况下或是满足规定的条件的非接触操作，判定部206也判定为用户12无意进行对图标30A的操作。

变形例1的显示装置1能够进行与第一实施方式的显示装置1进行的图11的流程图所示的处理同样的处理。但是，在步骤S4及步骤S9的处理时，除了在第一实施方式中说明的方法以外，在利用速度/加速度检测部207算出的移动速度或移动加速度超过规定值或小于规定值的情况下，判定部206也判定为用户12没有操作的意图。或者，在操作预测部208预测的非接触操作的轨迹与规定的非接触操作600的轨迹一致的情况下，也可以判定为用户12具有操作的意图。在不一致的情况下，可以判定为用户12没有操作的意图。

此外，当发生由于干扰等的影响而在拍摄装置15的多个检测输出中的一部分检测输出中不包括用户12的手指等操作体的信息的情况时，有可能不能正确地检测出用户12的非接触操作的形状、移动速度或移动加速度。即，基于检测输出的用户的非接触操作的形状被检测出发生变形，或者移动速度或移动加速度作为比实际的移动速度或移动加速度大的值被检测出。在这种情况下，操作预测部208可以在对拍摄装置15的多个检测输出施加平均化等处理后，算出移动速度或移动加速度。

在第一实施方式的变形例1中，例如，即使在检测基准外41检测出操作体的位置的情况下，在操作体的移动速度为规定的速度的情况下，控制部20也使显示装置1工作，检测基准控制部204能够设定检测基准40。或者，能够基于预测的非接触操作的轨迹，进行显示装置1的工作或检测基准的设定。由此，能够更正确地判定用户12是否具有操作的意图，能够迅速地进行显示装置1的工作和检测基准40的校准处理。

(第一实施方式的变形例2)

图1、图2所示的第一实施方式的显示装置1、变形例1的显示装置1基于用户12的非接触操作的移动轨迹或位置，判定用户12是否具有操作空中图像30的意图。在变形例2的显示装置1中，用户12在检测基准40内对空中图像30进行了预先设定的手势的情况下，显示装置1可以执行各种功能。即，判定部206可以基于利用解析部200检测出的手势(即用户12的非接触操作的形状)，判定用户12的操作的意图的有无。另外，也可以与第一实施方式的情况下同样地，判定部206将解析部200检测出的用户12的非接触操作的移动轨迹或位置、非接触操作的形状组合，并判定用户12的操作的意图的有无。作为手势的例子，例如，在操作图标30A的情况下，有用一根手指以描绘图4所示的轨迹的方式进行向下触摸和向上触摸的动作。另外，例如，在如翻页那样滑动并切换空中图像30整体的情况下，有用户12向X方向+侧挥动手或手臂的动作、用户12以向显示装置1的方向推入手指或手后向一定方向(X方向+侧)轻弹的方式移动的轻击动作、以向一定方向(X方向+侧)描画的方式移动手指或手的扫动动作等。此外，作为手势的形态，基于空中图像30的显示内容预先设定进行怎样的动作，或者，是用整只手进行的动作，还是用一根手指进行的动作，还是用多根手指进行的动作，还是在握着手的状态下进行的动作，并存储于存储部205。

变形例2的显示装置1能够应用图2所示的第一实施方式的显示装置1的结构。此外，也可以将与图12所示的变形例1的显示装置1同样的结构应用于变形例2的显示装置1。在变形例2的显示装置1中，解析部200基于拍摄装置15的检测输出，检测出用户12进行的手势。在检测出的用户12的手势与存储于存储部205的手势不同的情况下，判定部206判定为用户12并不是有意地进行操作。例如，假设检测出用户12使用整只手对图标30A进行了进行向下触摸和向上触摸的动作。如上所述，对图标30A的手势是用一根手指进行向下触摸和向上触摸的动作。该情况下，用户12进行的手势的操作体(整只手)与存储于存储部205的手势的操作体(一根手指)的大小即外观的形状不同。因此，即使用户12的非接触操作的移动轨迹为规定的非接触操作的情况下或是满足规定的条件的非接触操作，判定部206也判定为用户12并不是有意地进行操作。另外，在用户12对图标30A进行挥手的手势的情况下，由于与存储于存储部205的手势不同，所以判定部206判定为用户12并不是有意地进行操作。

此外，判定部206也可以如上述变形例1的情况下那样，也组合由用户12进行的非接触操作的移动速度或移动加速度，判定用户12的操作的意图的有无。

变形例2的显示装置1能够进行与第一实施方式的显示装置1进行的图11的流程图所示的处理同样的处理。但是，在步骤S2中，解析部200基于拍摄装置15的检测输出，检测出由用户12进行的手势。在步骤S4及步骤S9的处理时，在利用解析部200对检测出的手势与存储于存储部205的手势进行比较，并判定为作为操作体的外观的形状的大小或手势的形状相同或类似到能够视为相同的程度的情况下，判定部206判定为用户12具有操作的意图。

在第一实施方式的变形例2中，即使在检测基准外41检测出操作体的位置的情况下，在操作体的外观为规定的外观的情况下，也判定为用户12具有操作的意图，控制部20使显示装置1工作，检测基准控制部204能够设定检测基准40。由此，在基于预先设定的规定的手势进行操作的情况下，能够进行显示装置1的工作和检测基准40的校准处理。

另外，在第一实施方式的变形例2中，操作体的外观可以是操作体的形状。由此，在按照预先设定的手或手指的形状操作规定的手势的情况下，能够视为用户12具有进行操作的意图。

(第一实施方式的变形例3)

在变形例3的显示装置1中，作为外观，规定的颜色或图案附加于操作体的情况下，判定部206判定为有意地进行了用户12的操作。即，判定部206可以基于附加在利用解析部200检测出的操作体上的规定的颜色，判定用户12的操作的意图的有无。另外，也可以与第一实施方式的情况下同样地，判定部206将解析部200检测出的用户12的非接触操作的移动轨迹或位置、操作体所附加的颜色组合，并判定用户12的意图的有无。该情况下，用户12例如将作为规定的颜色的红色的胶带(tape)、密封件(seal)或盖子(cap)等附加于手指并对空中图像30进行操作。或者，用户12戴上红色的手套对空中图像30进行操作。此外，不限于上述胶带、密封件、盖子、手套为红色，例如也可以带有条纹或水晶等规定的图案。

变形例3的显示装置1能够应用图2所示的第一实施方式、变形例2的显示装置1的结构。此外，也可以将与图12所示的变形例1的显示装置1同样的结构应用于变形例3的显示装置1。在变形例3的显示装置1中，解析部200基于拍摄装置15的检测输出，检测出用户12的非接触操作或手势。在解析部200基于拍摄装置15的检测输出，检测出在进行了规定的非接触操作600或手势操作的操作体即手指或手上附加有规定的颜色或图案的情况下，判定部206判定为用户12有意地进行操作。在作为操作体的手指或手上没有附加规定的颜色或图案的情况下，即使用户12的非接触操作的移动轨迹为规定的非接触操作的情况下或是满足规定的条件的非接触操作，判定部206也判定为用户12并不是有意地进行操作。

变形例3的显示装置1能够进行与第一实施方式的显示装置1进行的图11的流程图所示的处理同样的处理。但是，在步骤S2中，解析部200基于拍摄装置15的检测输出，检测出用户12的操作，并检测出在操作体上是否附加有规定的颜色或图案。在步骤S4及步骤S9中，在检测出操作体上附加有规定的颜色或图案的情况下，判定部206判定为用户12具有操作的意图。

此外，在以上说明中，以作为外观的规定的颜色或图案附加于用户12的手指或手的情况为例进行列举，但不限定于此。例如，可以在用户12使用笔或指示棒等作为附加有规定的颜色或图案的操作体的情况下，判定部206判定为用户12具有操作的意图。即，在利用解析部200判定为用户12使用附加有与规定的颜色或图案不同的颜色或图案的笔等对空中图像30进行操作的情况下，判定部206判定为用户12没有操作的意图。

另外，也可以在用户12使用发出规定的颜色的专用笔的情况下，判定部206判定为用户12具有操作的意图。例如，在专用笔上设置按钮，当按下操作该按钮时，从设置于前端的LED等发光部发出规定的颜色(例如红色)的光。在用户12对图标30A进行操作的情况下，按下操作专用笔的按钮，使笔发出规定的颜色的光。在解析部200基于拍摄装置15的检测输出，检测出从专用笔的前端发出规定的颜色的光的情况下，判定部206判定为用户12具有操作的意图即可。在没有利用解析部200检测出从专用笔的前端发出规定的颜色的光的情况下，判定部206判定为那时的操作不是用户12有意的操作。

此外，不限定于在专用笔发出规定的颜色的光时判定部206判定用户12的操作具有意图。例如，也可以是，当解析部200检测出专用笔以规定的周期闪烁的情况、强度超过规定值的情况、从第一颜色(例如红色)变化成第二颜色(例如蓝色)时，判定部206判定为用户12的操作具有意图。

此外，在使用上述专用笔等的情况下，专用笔可以是输出超声波和红外光的笔。在该情况下，显示装置1具备接收从专用笔输出的超声波和红外光的接收部。接收部使用公知的技术，基于接收到红外光的时刻与接收到超声波的时刻的时间差，检测出专用笔的移动。可以在使用该专用笔对空中图像30进行操作的情况下，即接收部接收到红外光的情况下，判定部206判定为用户12的操作具有意图。

此外，判定部206也可以如上述变形例1的情况下那样，也组合由用户12进行的非接触操作的移动速度或移动加速度，判定用户12的操作的意图的有无。另外，判定部206也可以如上述变形例2的情况下那样，也组合由用户12进行的非接触操作的形状(即手势)，判定用户12的操作的意图的有无。

在第一实施方式的变形例3中，操作体的外观是指操作体的颜色、图案、光等。由此，例如，在用附加有预先设定的规定的颜色或图案的操作体进行操作的情况下，能够视为用户12具有进行操作的意图。

(第一实施方式的变形例4)

在第一实施方式及其变形例1～3的显示装置1中，基于使用作为操作体的手指、手、笔等进行的操作，判定用户12是否有意地进行操作。在变形例4的显示装置1中，基于操作显示装置1的用户12的状态，判定用户12是否有意地进行操作。即，判定部206可以基于利用解析部200检测出的用户12的状态，判定用户12的操作的意图的有无。另外，也可以与第一实施方式的情况下同样地，判定部206将解析部200检测出的用户12的非接触操作的移动轨迹或位置、用户12的状态组合，并判定用户12的意图的有无。

变形例4的显示装置1能够应用上述第一实施方式及其变形例1～3的显示装置1的结构。作为用户12的状态，例如能够使用用户12的视线。用户12对空中图像30的图标30A进行操作时，解析部200基于拍摄装置15的检测输出，解析用户12的视线是否朝向图标30A。基于解析结果，用户12的视线朝向图标30A的情况下，判定部206判定为用户12的操作有意图。在用户12的视线朝向与图标30A不同的位置的情况下，即使在检测出的非接触操作的移动轨迹为规定的非接触操作的情况下或满足规定的条件的非接触操作，判定部206也判定为用户12的操作没有意图。

变形例4的显示装置1能够进行与第一实施方式的显示装置1进行的图11的流程图所示的处理同样的处理。但是，在步骤S2中，解析部200基于拍摄装置15的检测输出，检测出用户12的视线的方向。在步骤S4及步骤S9中，在检测出用户12的视线朝向图标30A的情况下，判定部206能够在步骤S4及步骤S9中判定为用户12具有操作的意图。

此外，不限定于在用户12的视线朝向图标30A的情况下，判定部206判定为用户12的操作具有意图。例如，在用户12的视线在上下左右较大地移动的情况下，用户12有可能正在犹豫操作多个图标30A中的哪个图标30A。因此，解析部200在检测出非接触操作时，检测出用户12的视线的移动量较大即超过规定的移动量的情况下，判定部206能够判定为用户12的操作没有意图。与此相对，在用户12的视线的移动较少的情况下，用户12决定操作哪个图标30A，且操作视线目的地的图标30A的可能性较高。因此，解析部200在检测出非接触操作时，检测出用户12的视线的移动量较小即小于规定的移动量的情况下，判定部206能够判定为用户12的操作具有意图。

另外，判定部206也可以基于用户12的面部或头的朝向代替视线的方向或移动量，判定用户12的操作是否有意图。该情况下，解析部200可以基于拍摄装置15的检测输出，进行公知的面部检测，检测出用户12的面部，检测出面部是否朝向图标30A。解析后，能够在用户12的面部朝向图标30A的情况下，判定部206判定为用户12的操作具有意图，在用户12的面部不朝向图标30A的情况下，判定部206判定为用户12的操作没有意图。另外，在用户12的面部的移动较大的情况下，用户12有可能正在犹豫从多个图标30A中操作哪个图标30A。因此，能够在解析部200检测出用户12操作空中图像30时用户12的面部的移动大于规定量的情况下，即使用户12的非接触操作的移动轨迹为规定的非接触操作的情况下或满足规定的条件的非接触操作，判定部206也判定为用户12的操作没有意图。另外，假设解析部200检测出用户12歪着脖子的姿势。在得到这种检测结果的情况下，判定部206也能够判定为用户12的操作没有意图。与此相对，在用户12的面部的移动较少的情况下，用户12决定操作哪个图标30A，操作用户12的面部朝向的图标30A的可能性较高。因此，在解析部200检测出用户12操作空中图像30时用户12的面部的移动小于规定量的情况下，判定部206能够判定为用户12的操作具有意图。

此外，判定部206也可以在面部的朝向、面部的移动的基础之上，也组合上述用户12的视线，判定用户12的操作是否有意图。作为该情况的一例，例如，即使在用户12的视线朝向图标30A的情况下，在用户12歪着脖子的情况下，判定部206能够判定为用户12的操作没有意图。

另外，判定部206也可以使用用户12的表情代替用户12的视线、面部的朝向、移动，或者，使用用户12的表情和用户12的视线、面部的朝向、移动，判定用户12的操作是否有意图。例如，也可以是，在解析部200检测出用户12带着严肃的表情而不是笑容对图标30A进行操作的情况下，判定部206判定为用户12的操作具有意图。

在以上说明中，作为用户12的状态，以用户12的视线或头的移动、面部等为例进行列举，但不限定于此。例如，判定部206也可以基于用户12发出的声音，判定用户12的操作是否有意图。在检测出用户12操作空中图像30时，说出例如“装置不工作”、“想使装置工作”等语句的情况下，判定部206能够判定为用户12的操作具有意图。

在图13的框图中示出该情况下的显示装置1的主要部分结构。该显示装置1在第一实施方式的显示装置1具有的结构的基础之上具有集音器16，在控制部20中具备语音检测部209。集音器16对显示装置1周围的声音进行声音收集，并作为语音数据向语音检测部209输出。能够使用市场上出售的麦克风作为集音器16。语音检测部209识别来自集音器16的语音数据，检测出用户12操作空中图像30时发出的语音。在利用语音检测部209检测出表示“装置不工作”、“想使装置工作”的语音的情况下，判定部206判定为用户12的操作具有意图即可。

该情况下的显示装置1在第一实施方式的显示装置1进行的图11的流程图的步骤S3中，语音检测部209检测出用户12发出“装置不工作”、“想使装置工作”等的情况下，判定部206在步骤S4或步骤S9中判定为用户12具有操作的意图。

此外，判定部206可以组合上述用户12的视线、面部或头、表情，判定用户12的操作的意图的有无。

此外，判定部206也可以如上述变形例1的情况下那样，也组合由用户12进行的非接触操作的移动速度或移动加速度，判定用户12的操作的意图的有无。另外，判定部206也可以如上述变形例2的情况下那样，也组合由用户12进行的非接触操作的形状(即手势)，判定用户12的操作的意图的有无。另外，判定部206可以如上述变形例3的情况下那样，也组合操作体的颜色，判定用户12的操作的意图的有无。

在第一实施方式的变形例4中，即使在检测基准外41检测出操作体的位置的情况下，在用户12的视线的方向或面部的方向为规定方向即图标30A的方向的情况下，控制部20使显示装置1工作，检测基准控制部204能够设定检测基准40。由此，能够正确地判定用户12是否有意操作，能够进行图标显示的变更等执行处理和校准处理。

另外，在第一实施方式的变形例4中，即使在检测基准外41检测出操作体的位置的情况下，在用户12的视线的移动或面部的移动小于规定的移动量的情况下，控制部20使显示装置1工作，检测基准控制部204能够设定检测基准40。由于在用户12的视线或面部的移动较小的情况下，用户12决定了进行怎样的操作的可能性较高，所以能够正确地判定用户12是否正在有意地进行操作。

在第一实施方式的变形例4中，基于操作体的位置和用户12的声音或表情，控制部20使显示装置1工作，检测基准控制部204能够设定检测基准40。由此，基于用户12发出的声音或表情，能够正确地判定用户12是否正在有意地进行操作。

(第一实施方式的变形例5)

在变形例5的显示装置1中，判定部206基于用户12过去进行的多次操作的历史，判定用户12的最新操作是否是有意地进行的操作。

变形例5的显示装置1能够应用上述第一实施方式及其变形例1～4的显示装置1的结构。以与多次用户操作时进行的操作的方式不同的操作的方式进行用户操作的情况下，即使在该用户12的非接触操作的移动轨迹为规定的非接触操作或满足规定的条件的非接触操作，变形例5的显示装置1的判定部206也判定为不是有意地进行的操作。

例如，假设用户12操作图标30A时，用一根手指进行向下触摸和向上触摸。用户12的这些操作的方式作为历史存储于存储部205。假设尽管该用户12此前用一根手指进行了多次操作，但在握着手的状态下操作了图标30A。在用户12进行了与通常进行的操作的方式不同的操作的情况下，用户12有可能正在犹豫是否应操作图标30A。因此，判定部206判定为用户操作不是有意地进行的操作。

该情况下，判定部206基于拍摄装置15的检测输出，对利用解析部200检测出的本次用户操作的方式(在握着手的状态下操作)与存储于存储部205的历史中的用户操作的方式(用一根手指操作)进行比较。由于本次用户操作的方式与历史中的用户操作的方式不同，所以判定部206判定为握着手的状态下的用户操作不是有意地进行的操作。

另外，例如，在用户12操作图标30A的情况下，尽管以前进行向下触摸和向上触摸，但假设进行了挥手的动作。该情况下，也与上述同样地，由于利用解析部200检测出的本次用户操作的方式(挥手的动作)与历史中的用户操作的方式(向下触摸和向上触摸)不同，所以判定部206判定为用户操作不是有意地进行的操作。

另外，例如，在用户12操作图标30A的情况下，尽管前次之前以某移动速度进行用户操作，但本次以比某移动速度慢的速度进行用户操作的情况下，用户12有可能对该操作没有信心。在这种情况下，判定部206也判定为以慢的速度进行的用户操作不是有意地进行的操作。即，判定部206基于对由用户12进行的操作和该用户12的个人操作的方式的历史进行比较得到的结果，判定用户操作中的意图的有无。

该情况下的显示装置1在第一实施方式的显示装置1进行的图11的流程图的步骤S4及步骤S9中，判定部206与过去的用户操作的历史进行比较，判定本次用户操作的方式是否与历史中的用户操作的方式相同。在本次用户操作的方式与历史中的用户操作的方式相同的情况下，步骤S4及步骤S9为肯定判定，在不同的情况下，步骤S4及步骤S9为否定判定。

在第一实施方式的变形例5中，判定部206基于多次操作的历史，判定用户12的最新操作是否是有意地进行的操作。由此，能够基于过去进行的用户12的操作的倾向，判定是用户12决定了图标30A的操作的状态还是正在犹豫的状态。

(第一实施方式的变形例6)

第一实施方式及其变形例1～5的显示装置1在判定为在检测基准外41检测出的用户12的操作具有意图的情况下，进行由用户12操作的图标30A的功能的执行和校准处理。即，每当用户12的操作满足上述条件时，进行功能的执行和校准处理。本变形例6的显示装置1在用户12的操作满足上述条件的情况下，基于规定的条件，决定是否需要执行校准处理。

变形例6的显示装置1能够应用上述第一实施方式及其变形例1～5的显示装置1的结构。在变形例6的显示装置1中，关于是否有意地进行用户操作的判定，也与第一实施方式及其变形例1～5同样地进行。在检测基准外41检测出用户12的规定的非接触操作600或满足规定的条件的非接触操作，且用户操作被判定为有意地进行的情况下，与第一实施方式及其变形例1～5同样地，进行图标30A的功能的执行和校准处理。但是，控制部20对进行校准处理的次数进行计数，在进行了规定次数(例如5次等)校准处理的情况下，对于校准部203，使校准处理的执行禁止。即，即使在基于用户操作需要校准处理的情况下，实际进行校准处理的仅为最初的规定次数。

参照图14的流程图，说明第一实施方式的变形例6的显示装置1的工作。步骤S21～步骤S29的各处理与图11的流程图所示的步骤S1～步骤S9的各处理相同。在步骤S30中，判定进行校准处理的次数k是否为规定次数以下。在进行校准处理的次数k为规定次数以下的情况下，步骤S30为肯定判定，进入步骤S31。在进行校准处理的次数k超过规定次数的情况下，步骤S30为否定判定，进入步骤S25。

步骤S31及步骤S32中的处理与图11的步骤S10及步骤S11中的处理相同。在步骤S33中，将校准处理的次数k加上1并进入步骤S34。步骤S34中的各处理与图11的步骤S12中的各处理相同。

此外，在以上说明中，在检测基准外41检测出的用户操作被判定为有意地进行的情况下，仅进行规定次数的校准处理，但不限定于此。例如，也可以是，每当在检测基准外41检测出的用户操作被判定为有意地进行的次数成为规定次数(例如3次)时，执行校准处理。

该情况下，显示装置1的控制部20在图14所示的流程图的步骤S30中，判定在检测基准外41检测出的用户操作被判定为有意地进行的次数是否成为规定次数。在成为规定次数的情况下，步骤S30为肯定判定，在未成为规定次数的情况下，步骤S30为否定判定，对上述次数进行计数的计数器加1。步骤S30为肯定判定，且进行步骤S31及S32后的步骤S33中，将对上述次数进行计数的计数器复位为0。

此外，也可以是，在基于过去的用户操作的历史，判定为在检测基准外41检测出的用户操作具有意图的情况下，决定是否进行校准处理。例如，假设：作为过去的历史，5次用户操作中的、判定为在检测基准外41检测出的操作具有意图的用户操作进行一次，其他4次用户操作在检测基准40内检测出。然后，在第6次，判定为在检测基准外41检测出的用户操作具有意图的情况下，由于用户12在检测基准外41进行操作的可能性较低，所以校准部203不执行校准处理。

另外，也可以是，在基于过去的用户操作的历史，判定为在检测基准外41检测出的用户操作具有意图的情况下，决定在校准处理中设定的检测基准40的位置。例如，假设：作为过去的历史，5次用户操作中的、一次用户操作在检测基准40的Z方向-侧进行，其他4次用户操作在检测基准40的Z方向+侧进行。在这种情况下，由于用户12在检测基准40的Z方向+侧进行操作的可能性较高，所以在校准处理时，检测基准控制部204使检测基准40向Z方向+侧移动。

另外，每当判定为在检测基准外41检测出的用户操作具有意图就进行校准处理，并变更检测基准40的位置的情况下，用户12有可能不能掌握检测基准40的位置。在这种情况下，有可能用户操作的Z方向上的位置不稳定，每当操作时Z方向上的位置不规则地变动。因此，在规定次数中的用户操作的Z方向上的位置的变动量较大的情况下，即使在判定为在检测基准外41检测出的用户操作具有意图的情况下，校准部203也不进行校准处理。

在第一实施方式的变形例6中，基于用户12过去进行的用户操作的历史，决定是否需要执行校准处理。由此，能够减少如下事态的产生：由于过度进行校准处理，用户12难以把握应进行操作的位置。

(第一实施方式的变形例7)

在第一实施方式及其变形例1～6的显示装置1中，在进行校准处理的情况下，检测基准控制部204在Z方向上变更检测基准40。在变形例7的显示装置1中，在校准处理时，检测基准控制部204变更检测基准40的宽度D1的大小。

变形例7的显示装置1能够应用上述第一实施方式及其变形例1～6的显示装置1的结构。

例如，如在第一实施方式中用图6(a)示出地，说明在检测基准40的Z方向+侧的检测基准外41检测出规定的非接触操作600A的情况。该情况下，检测基准控制部204仅以变更量ΔH10向Z方向+侧变更第一基准面40a，而不变更第二基准面40b的位置。即，可以通过变更检测基准40的宽度D1，从而变更检测基准40的Z方向上的中心位置。或者，也可以是，检测基准控制部204以变更量ΔH10向Z方向+侧变更第一基准面40a，以变更量ΔH10向Z方向-侧变更第二基准面40b。即，可以通过在Z方向上用同一变更量ΔH10变更检测基准40的宽度D1，从而变更检测基准40，而不变更检测基准40的Z方向上的中心位置。

此外，图6(b)示出在检测基准40的Z方向-侧检测出规定的非接触操作600A的情况。该情况下，检测基准控制部204既可以是以变更量ΔH10向Z方向-侧变更第二基准面40b的位置，也可以是以变更量ΔH10向Z方向-侧变更第二基准面40b的位置，并且以变更量ΔH10向Z方向+侧变更第一基准面40a的位置。

作为校准处理，作为按上述方式变更检测基准40的宽度D1的大小的情况，有如下情况。例如，如在第一实施方式中作为一例说明地，应用于尽管对于同一空中图像30需要多次用户操作，并检测出中途的用户操作，但是没有检测出以后的用户操作的情况下进行的校准处理。即，是空中图像30例如为输入多位数字或字母的密码输入画面等的情况。假设：对于这种空中图像30，进行用于输入第一位的用户操作，在规定时间内没有检测出用于输入第二位的用户12的规定的非接触操作600A。在该情况下，检测基准控制部204通过以检测基准40的宽度D1的大小变大的方式进行变更，从而能够在检测基准40内检测出进行第二位的输入的用户12的规定的非接触操作600。

此外，在检测基准40附近的检测基准外41进行用户12的规定的非接触操作600的情况下，如上所述，检测基准控制部204可以变更检测基准40的宽度D1的大小。即，如图6(a)所示，在检测基准的第一基准面40a的Z方向+侧检测出规定的非接触操作600A的情况下，检测基准控制部204判定间隔ΔH10是否为规定的值以下。检测基准控制部204在间隔ΔH10为规定的值以下的情况下，判定为在检测基准40的附近进行规定的非接触操作600A，变更检测基准40的宽度D1的大小。在间隔ΔH10大于规定的值的情况下，检测基准控制部204判定为在远离检测基准40的位置进行规定的非接触操作600A，不变更检测基准40的宽度D1的大小。

另外，如图7所示，在检测基准外41检测出规定的非接触操作600A的一部分的情况下，检测基准控制部204可以基于在检测基准外41检测出的规定的非接触操作600的一部分的空间上的位置与检测基准40的距离，变更检测基准40。例如，如图7(a)所示，检测基准控制部204判定在检测基准40的第一基准面40a的Z方向+侧检测出的规定的非接触操作600的一部分即距离ΔH10是否为规定的阈值以下。在距离ΔH10为规定的阈值以下的情况下，如图15(a)所示，虽然并不是手指F的规定的非接触操作600A的整体在检测基准40内进行，但规定的非接触操作600A的大部分在检测基准40内进行。该情况下，检测基准控制部204可以变更检测基准40的宽度D1的大小。即，检测基准控制部204将检测基准40的第一基准面40a设定于向Z方向+侧至少移动距离ΔH10后的位置。在距离ΔH10超过规定的阈值的情况下，如图15(b)所示，在检测基准外41进行规定的非接触操作600A的大部分。在该情况下，检测基准控制部204与第一实施方式的情况下同样地，使检测基准40的位置移动即可。

另外，在进行校准处理的情况下，检测基准控制部204可以将在第一实施方式中说明的检测基准40的位置的变更和上述检测基准40的宽度D1的大小的变更组合并进行。例如，在检测基准40的第一基准面40a附近的检测基准外41检测出用户12规定的非接触操作600的情况下，检测基准控制部204可以减小检测基准40的宽度D1的大小而变更检测基准40的位置。如图6(a)所示，设为用户12的规定的非接触操作600A与检测基准40的第一基准面40a的间隔ΔH10。该间隔ΔH10为规定值以下的情况下，检测基准控制部204减小检测基准40的宽度D1的大小。该情况下，检测基准控制部204将图6(a)所示的检测基准40的宽度D1的大小的例如80％或70％的大小设定为新的检测基准40的宽度D1。该情况下，以新的检测基准40的宽度D1的大小大于规定的非接触操作600A的距离L1的方式，优选设定为距离L1的例如1.5倍～2倍左右。

检测基准控制部204按上述方式使变更宽度D1的大小后的检测基准40的位置与第一实施方式的情况下同样地移动。

另外，例如，在解析部200检测出在Z方向上在附近进行用户12的多次规定的非接触操作600的情况下，检测基准控制部204可以减小检测基准40的宽度D1的大小而变更检测基准40的位置。

例如，如图16(a)所示，假设由用户12进行了三次规定的非接触操作600A1、600A2、600A3。将各次规定的非接触操作600A1、600A2、600A3距检测基准40的第一基准面40a的间隔设为ΔH10-1、ΔH10-2、ΔH10-3(ΔH10-2<ΔH10-1<ΔH10-3)。解析部200在间隔ΔH10-1与间隔ΔH10-2的差值、间隔ΔH10-2与间隔ΔH10-3的差值、间隔ΔH10-1与间隔ΔH10-3的差值分别为规定的范围内的情况下，判定为在Z方向上在附近进行了规定的非接触操作600A1、600A2、600A3。

该情况下，检测基准控制部204以包括在最远离第一基准面40a的位置进行的规定的非接触操作600A3和在最接近的位置进行的规定的非接触操作600A2的方式减小并变更检测基准40的宽度D1的大小。即，检测基准控制部204将在距离L1上加上间隔ΔH10-3与间隔ΔH10-2的差值得到的值以上的值设定为新的检测基准40的宽度D1。检测基准控制部204按上述方式使变更宽度D1的大小后的检测基准40的位置与第一实施方式的情况下同样地移动。

此外，在间隔ΔH10-1与间隔ΔH10-2的差值、间隔ΔH10-2与间隔ΔH10-3的差值、间隔ΔH10-1与间隔ΔH10-3的差值超过规定的范围的情况下，检测基准控制部204不改变检测基准40的位置，如上所述，增大检测基准40的宽度D1的大小。该情况下，检测基准控制部204以包括在最远离第一基准面40a的位置进行的规定的非接触操作600A(在图16(a)的例子中为规定的非接触操作600A3)的方式使第一基准面40a向Z方向+侧移动ΔH10-3。

此外，在上述说明中，列举了检测基准控制部204基于用户12的规定的非接触操作600变更检测基准40的宽度D1的大小的例子，但不限定于此。例如，检测基准控制部204可以伴随着时间的经过，变更检测基准40的宽度D1的大小。假想如下情况：当用户12重复对空中图像30操作而习惯操作时，进行规定的非接触操作600时的Z方向上的位置的偏移量变小。基于这种假想，检测基准控制部204在起动显示装置1后，增大检测基准40的宽度D1的大小，基于时间的经过，减小并变更检测基准40的宽度D1的大小。此时，检测基准控制部204既可以伴随着时间的经过连续地减小并变更检测基准40的宽度D1，也可以每经过规定时间阶梯地减小并变更。

另外，在上述说明中，在检测基准40内，不受X方向的位置或Y方向的位置的影响，宽度D1的大小设定为一定，但不限定于此。例如，在由用户12操作空中图像30时，可以基于手指或手进入检测基准40时的位置或角度，将宽度D1的大小设定为不同的值。例如，对于用右手操作空中图像30的用户12，手指或手从右侧(从空中图像30观察的情况下为左侧即X方向+侧)接近空中图像30。在这种情况下，增大并设定检测基准40的X方向+侧的宽度D1的大小更容易在检测基准40内检测出用户操作。因此，如图16(b)所示，检测基准控制部204将检测基准40的X方向+侧的宽度设定为大于X方向-侧的宽度的值。另外，在用户12的身高较高的情况下，手指或手从上方即Y方向+侧接近空中图像30。在这种情况下，将检测基准40的Y方向+侧的宽度设定为大于Y方向-侧的宽度的值更容易检测出用户操作。

在按上述方式设定检测基准40的宽度的情况下，检测基准控制部204能够基于操作显示装置1的用户的信息进行设定。例如，使操作显示装置1的用户12输入身高、年龄、性别、惯用的手等信息，将这些信息作为用户信息存储于存储部205。检测基准控制部204能够在进行校准处理的情况下，参照存储于存储部205的用户信息，设定检测基准40的宽度的值。另外，解析部200可以基于拍摄装置15的检测输出，判别进行用户操作的是右手还是左手或判别用户12的身高。

在第一实施方式的变形例7中，变更检测基准40的宽度。由此，容易在检测基准40内检测出用户操作。

(第一实施方式的变形例8)

变形例8的显示装置1具有能够变更空中图像30的在空中的显示位置的结构，在显示空中图像30的模式的情况下或校准处理时，移动空中图像30的显示位置。

图17是说明变形例8中的显示装置1的主要部分结构的框图。

该显示装置1在图2所示的第一实施方式的显示装置1具有的结构的基础之上，具有显示位置变更部17，在控制部20中具备显示位置控制部210。此外，也能够将显示位置变更部17和显示位置控制部210应用于第一实施方式的变形例1～7的结构。

显示位置变更部17例如具有电机或致动器等驱动部，使显示器11沿着Y方向移动而使形成的空中图像30的显示位置向Z方向移动并变更。为了使空中图像30向接近用户12的方向即Z方向+侧移动，显示位置变更部17使显示器11向Y方向+侧即接近成像光学系统9的方向移动。为了使空中图像30向离开用户12的方向即Z方向-侧移动，显示位置变更部17使显示器11向Y方向-侧即离开成像光学系统9的方向移动。

在以下情况下，显示位置控制部210使空中图像30移动。例如是如下情况：在校准处理中变更检测基准40情况下，看起来会成为变更后的检测基准40移动到拍摄装置15的检测范围15A之外，或位于检测范围15A的Z方向+侧端或Z方向-侧端附近这样的事态。该情况下，解析部200检测出进行用户12的操作的位置是检测范围15A的外部或从检测范围15A的Z方向±侧的端部起的规定的范围内。在利用解析部200进行上述检测的情况下，检测基准控制部204不进行检测基准40的变更，显示位置控制部210进行空中图像30的移动即可。在检测基准40看起来要移动到检测范围15A之外或位于Z方向+侧端附近的情况下，需要使用户12在Z方向-侧操作。因此，显示位置控制部210以使空中图像30的显示位置位于Z方向-侧的方式，控制显示位置变更部17并使显示器11向Y方向-侧移动。另外，在检测基准40看起来要位于检测范围15A的Z方向-侧端附近的情况下，需要使用户12在Z方向+侧操作。因此，显示位置控制部210以使空中图像30的显示位置位于Z方向+侧的方式，控制显示位置变更部17并使显示器11向Y方向+侧移动。

另外，例如，即使用户12伸长手臂也无法到达空中图像30的情况下，显示位置控制部210可以使空中图像30移动。解析部200检测出用户12进行的规定的非接触操作600A的到达位置位于空中图像30的显示位置的Z方向+侧。该情况下，显示位置控制部210控制显示位置变更部17，使显示器11向Y方向-侧移动，从而使空中图像30向接近用户12的方向即Z方向+侧移动。

此外，在上述说明中，以使显示器11沿着Y方向移动的情况下为例进行列举，但不限定于此。例如，显示位置控制部210可以控制显示器11，使之显示用于在右眼辨识的显示图像和与在右眼辨识的图像具有视差的用于在左眼辨识的显示图像，并变更空中图像30的纵深的显示位置。该情况下，显示器11例如具备公知的双凸透镜。显示位置控制部210通过控制右眼用图像和左眼用图像即视差图像的视差量，从而变更空中图像30的位置即可。

另外，可以将国际公开公报2011/158911记载的技术应用于显示器11。即，显示器11具有能够进行使三维立体图像显示的公知的光场显示的结构，通过使显示器11显示二维显示用图像，从而能够在沿着空中的光轴方向的不同位置形成空中图像30。

在图18中示意地示出该情况下的显示器11和成像光学系统9的ZX平面中的剖面。在显示器11的显示面上具有微透镜阵列112，所述微透镜阵列112由排列成二维状的多个微透镜111构成。相对于显示器11的多个显示像素P设置一个微透镜111。此外，在图18所示的例子中，为了方便图示，示出了相对于5×5的显示像素P设置一个微透镜111的例子，但以比实际的显示像素P的个数少的方式描绘。微透镜阵列112配置于从显示器11的显示面起向Z方向+侧分离了与微透镜111的焦距f对应的量的位置。各微透镜111基于显示的图像将来自显示像素P的光投影在Z方向的规定的像面上。此外，可以使用双凸透镜代替微透镜111。

在该显示器11中，为了在空中形成构成空中图像30的各光点LP，形成各个光点LP的光从一部分显示像素P出射，所述一部分显示像素P由不同的多个微透镜111中的每一个覆盖。此外，由于光点LP是利用显示器11和微透镜111显示在空中的像，所以是空中图像。在图18所示的例子中，从赋予斜线并示出的显示像素P出射的光由微透镜111投影并形成光点LP。该情况下，由一个微透镜111覆盖的显示像素P的个数(在图18的例子中为5×5个)分散地分配给不同的多个微透镜111。基于该分配方法，能够使形成于空中的光点LP的相对于Z方向的位置不同。通过按这种方式将光点P成像，从而形成空中图像30。根据以上，通过变更显示于显示器11的图像，从而变更空中图像30的相对于Z方向的位置。

在第一实施方式的变形例8中，基于检测出的用户12的操作的位置，变更空中图像30的显示位置。由此，能够在检测范围15A内进行用户12的操作。

(第一实施方式的变形例9)

作为校准处理，第一实施方式及其变形例1～8的显示装置1使检测基准40的位置、宽度等变更。本变形例9的显示装置1对拍摄装置15的检测输出进行校准处理，提高用户操作的检测精度。

变形例9的显示装置1能够应用上述第一实施方式及其变形例1～8的显示装置1具有的结构。

解析部200使用来自拍摄装置15的检测输出中的来自拍摄部的拍摄图像，检测用户12进行操作时的操作体。解析部200检测出拍摄图像中的例如肤色的区域作为手指或手臂，但在其检测精度较低的情况下，不能正确地检测用户操作。因此，在进行校准处理的情况下，解析部200例如变更用于检测肤色的区域的R、G、B颜色成分的阈值或辉度的阈值。例如，由于在检测的范围内包含有噪声等干扰而操作体的检测精度降低的情况下，解析部200将上述阈值设定为较大的值。另外，例如，在没有检测出用户12的指尖等的情况下，解析部200将上述阈值设定为较小的值。

在第一实施方式的变形例9中，对拍摄装置15的检测输出进行校准处理。由此，能够提高检测用户12的操作的精度。

此外，在上述第一实施方式及其变形例1～9中，以至少包括控制部20、显示器11及拍摄装置15的显示装置1为例进行说明，但也可以是仅由控制部20构成的控制装置或由控制部20和拍摄装置15构成的控制装置。另外，控制部20至少具备校准部203、检测基准控制部204及判定部206即可。为了得到上述第一实施方式或变形例1～9所记载的各效果，可以根据需要从上述结构中适当地追加结构。

-第二实施方式-

参照附图，说明第二实施方式的显示装置1。在第二实施方式中，列举将本实施方式的显示装置1组装在操作面板中的情况为一例进行说明。此外，本实施方式的显示装置1不限于组装在操作面板中，能够组装于在上述第一实施方式及其变形例中说明的各电子设备中。

在上述第一实施方式及其变形例的显示装置1中，将检测基准40设定于预先确定的初始位置。第二实施方式的显示装置1基于空中图像的位置，初始设定检测基准40的位置。

第二实施方式的显示装置1能够应用第一实施方式中的图2的框图所示的结构。此外，在本实施方式的显示装置1中，能够适当应用第一实施方式及其变形例1～9中的结构、各种处理或控制。

在本实施方式的显示装置1中，将空中图像30的显示位置作为基准设定检测基准40。首先，与第一实施方式的情况下同样地，空中图像30形成于从拍摄装置15向Z方向+侧分离了距离H1的位置。检测基准控制部204以显示有该空中图像30的距离H1的位置为基准，将检测基准40初始设定在基于使用显示装置1的用户12的信息(以后，称为用户信息)的位置。作为用户信息，例如有用户12的性别、年龄、体型(身高、手臂的长度)及视力中的至少一种或多种的组合。在存储部205中预先存储有多个表格，所述多个表格与检测基准40的以空中图像30为基准的位置或宽度相关，所述多个表格以性别、年龄、体型(身高)及视力这些因素中的一种或多种的组合为参数。当操作显示装置1的用户12输入用户信息时，检测基准控制部204基于输入的用户信息的种类和内容，选择对应的表格，从该表格选择对应的检测基准40的位置或宽度D1。检测基准控制部204基于选择的位置或宽度，设定检测基准40。

关于作为表格存储的检测基准40的位置，例如与男性相比对于女性，与年龄较高的人相比对于年龄较低的人，与身高较高的人相比对于身高较低的人，设定为更接近用户12的一侧(Z方向+侧)的位置。另外，关于作为表格存储的检测基准40的宽度D1，例如与男性相比对于女性，与年龄较高的人相比对于年龄较低的人，与身高较高的人相比对于身高较低的人，以大小变小的方式设定。另外，检测基准控制部204可以基于拍摄装置15的检测输出，检测出操作显示装置1的用户12的手臂的长度，基于检测出的手臂的长度，决定检测基准40的位置或宽度D1。该情况下，与手臂的长度较长的人相比，对于手臂的长度较短的人，以检测基准40更位于用户12侧(Z方向+侧)，且宽度D1的大小变小的方式设定。或者，检测基准控制部204也可以基于检测出的手臂的长度，预测用户操作时估计手指或手到达的位置，将检测基准40设定在预测的位置。该情况下，检测基准控制部204可以预测：用户12的手指或手到达与用户12的站立位置相距手臂的长度的例如60％的距离的前方的位置。

在第二实施方式中，检测基准控制部204以空中图像30的显示位置为基准，基于用户信息初始设定检测基准40。由此，由于基于每个用户12的特征设定检测基准40，所以能够使进行校准处理的频率降低。

(第二实施方式的变形例1)

第二实施方式的变形例1的显示装置1能够应用第一实施方式的变形例8中的图17的框图所示的结构。此外，在本实施方式的显示装置1中，能够适当应用第一实施方式及其变形例中的各种处理或控制。

在第二实施方式的变形例1的显示装置1中，显示位置控制部210基于用户信息控制显示位置变更部17，并初始设定空中图像30的显示位置。检测基准控制部204以初始设定的空中图像30为基准，与图3(b)所示的第一实施方式的情况下同样地初始设定检测基准40。

在第二实施方式的变形例1中，作为用户信息，例如有用户12的性别、年龄、体型(身高、手臂的长度)及视力中的至少一种或多种的组合。在存储部205中预先存储有多个表格，所述多个表格与空中图像30的位置相关，所述多个表格以性别、年龄、体型(身高)及视力这些因素中的一种或多种的组合为参数。当操作显示装置1的用户12输入用户信息时，显示位置控制部210基于输入的用户信息的种类和内容，选择对应的表格，从该表格选择对应的空中图像30的位置。显示位置控制部210通过基于选择的位置控制显示位置变更部17，使显示器11在Y方向上移动，从而初始设定空中图像30的显示位置。

关于作为表格存储的空中图像30的位置，例如与男性相比对于女性，与年龄较高的人相比对于年龄较低的人，与身高较高的人相比对于身高较低的人，设定为更接近用户12的一侧(Z方向+侧)的位置。另外，显示位置控制部210可以基于拍摄装置15的检测输出，检测出操作显示装置1的用户12的手臂的长度，基于检测出的手臂的长度，初始设定空中图像30的位置。该情况下，与手臂的长度较长的人相比，对于手臂的长度较短的人，以空中图像30位于用户12侧(Z方向+侧)的方式初始设定。另外，显示位置控制部210也可以基于检测出的手臂的长度，预测用户操作时估计手指或手到达的位置，将空中图像30初始设定在预测的位置。该情况下，显示位置控制部210可以预测：用户12的手指或手到达与用户12的站立位置相距手臂的长度的例如60％的距离的前方的位置。

此外，在得到使用户12以空中图像30浮出的方式感知的效果的情况下，显示位置控制部210将空中图像30的显示位置初始设定于接近用户12的一侧(Z方向+侧)。特别是由于孩子的眼间距离较小，所以与大人的情况下相比，更向Z方向+侧初始设定空中图像30的显示位置。另外，在不使用户12以空中图像30浮出的方式感知的情况下，显示位置控制部210将空中图像30的显示位置初始设定在远离用户12的一侧(Z方向-侧)。由此，能够降低施加于辨识空中图像30的用户12的眼睛的负担。

此外，也可以将利用上述第二实施方式的显示装置1进行的检测基准40的初始设定和利用第二实施方式的变形例1的显示装置1进行的空中图像30的显示位置的初始设定组合。该情况下，显示位置控制部210与上述第二实施方式的变形例1同样地，初始设定空中图像30的显示位置。检测基准控制部204以该初始设定的空中图像30的显示位置为基准，与第二实施方式同样地初始设定检测基准40的位置和宽度即可。

在第二实施方式的变形例1中，基于用户信息初始设定空中图像30的显示位置。由此，由于基于每个用户12的特征显示空中图像30，所以在空中图像30的显示位置进行用户12的操作，并在检测基准40内被检测出。

(第二实施方式的变形例2)

在第二实施方式的变形例2的显示装置1中，基于用户12对在初始设定中显示的空中图像30的操作，设定检测基准40。

第二实施方式的变形例2的显示装置1能够应用第一实施方式中的图2的框图所示的结构。此外，在本实施方式的显示装置1中，能够适当应用第一实施方式及其变形例中的结构、各种处理或控制。

与第一实施方式的情况下同样地，显示控制部202使图3(a)所示的空中图像30显示在从拍摄装置15起Z方向+侧的距离H1的位置(参照图3(b))。此外，在显示的空中图像30中，例如包括与使显示装置1的工作起动的开始按钮或能够使锁定状态下的显示装置1工作的锁定解除按钮等相当的图标30A。另外，与图3(b)所示的情况同样地，利用拍摄装置15设定检测范围15A和检测极限15a。但是，检测基准控制部204在该阶段中不设定检测基准40。

如图3(a)所示，用户12对显示的空中图像30的图标30A进行规定的非接触操作600。检测基准控制部204基于拍摄装置15的检测输出，检测出在检测范围15A内进行的规定的非接触操作600。

在图19(a)中示意地示出检测出的规定的非接触操作600A。在图19(a)所示的例子中，假设规定的非接触操作600A的开始位置是在Z方向+侧距拍摄装置15距离H20的位置。

检测基准控制部204以包括检测出的规定的非接触操作600A的方式决定检测基准40的位置和宽度D1。该情况下，检测基准控制部204将检测基准40的第一基准面40a设定于规定的非接触操作600A的开始位置，即在Z方向+侧距拍摄装置15距离H20的位置或该位置的相距规定距离的Z方向+侧的位置。检测基准控制部204基于按这种方式设定的第一基准面40a，设定第二基准面40b。该情况下，检测基准控制部204可以将第二基准面40b设定于从第一基准面40a起向Z方向-侧距离D1的位置。另外，检测基准控制部204可以按成为等于第一基准面40a与空中图像30之间的距离即(H2-H1)的距离的方式相对于空中图像30在Z方向-侧设定第二基准面40b。由此，检测基准控制部204初始设定检测基准40。

在第二实施方式的变形例2中，基于用户信息初始设定空中图像30的显示位置，并基于用户信息初始设定检测基准40。由此，由于基于每个用户12的特征进行空中图像30的显示和检测基准40的设定，所以能够使进行校准处理的频率降低。

(第二实施方式的变形例3)

在第二实施方式的变形例3的显示装置1中，显示控制部202控制使空中图像30显示的定时。第二实施方式的变形例3的显示装置1能够应用第一实施方式中的图2的框图所示的结构。此外，在本实施方式的显示装置1中，能够适当应用第一实施方式及其变形例1～9或第二实施方式及其变形例1、2中的结构、各种处理或控制。

在第二实施方式的变形例3中，在能够辨识显示于显示装置1的空中图像30的位置检测出用户12的情况下，开始空中图像30的显示。此外，在空中图像30中，用户12能够辨识空中图像30的视场角较窄。因此，最好在地面上预先赋予示出能够辨识空中图像30的位置的标记或标识等。在基于拍摄装置15的检测输出，检测出位于显示装置1的前方的能够辨识的位置情况下，显示控制部202使显示图像显示于显示器11，并使空中图像30显示。该情况下，显示控制部202在用户12通过显示装置1的前方的情况下，使空中图像30不显示，用户12在能够辨识的位置停留的情况下使空中图像30显示。即，在能够辨识的位置没有检测出用户12的情况下，显示控制部202不进行空中图像30的显示。

另外，不限于利用拍摄装置15检测出用户12以示出能够辨识的位置的标记为记号并停留。例如，也可以使用内置在用户12持有的智能手机等中的方位传感器或GPS的信息，检测出用户12停留在能够辨识空中图像30的位置并朝向显示装置1的方向。该情况下，基于GPS的信息检测出用户12的站立位置，基于方位传感器的信息检测出用户12的方向即用户12是否朝向显示装置1的方向即可。

此外，在能够从比上述较窄的视场角所对应的能够辨识的位置更广的范围辨识空中图像30的情况下，不论用户12是否停留在上述能够辨识的位置，显示装置1例如都可以使包括图标30A的空中图像30显示，所述图标30A具有开始按钮的功能。

在第二实施方式的变形例3中，在检测出用户12位于能够辨识空中图像30的位置的情况下，进行空中图像30的显示。由此，由于当用户12未进行辨识或位于不能辨识的位置的情况下，不使空中图像30显示，所以能够使处理负荷降低。

此外，在上述第二实施方式及其变形例1～3中，以至少包括控制部20、显示器11及拍摄装置15的显示装置1为例进行说明，但也可以是仅由控制部20构成的控制装置或由控制部20和拍摄装置15构成的控制装置。另外，控制部20至少具备校准部203、检测基准控制部204及判定部206即可。为了得到上述的第二实施方式或变形例1～2所记载的各效果，可以根据需要从上述结构中适当地追加结构。

此外，在以上说明的全部实施方式和全部变形例的显示装置1中，利用拍摄装置15检测出进行用户操作的位置，但不限定于此。例如，也可以使用相对于载台14在Z方向-侧与XY平面平行地设置的公知的透明平板式静电电容器(以下记载为“平板静电电容器”)。平板静电电容器实质上利用由透明部件构成的电极形成电场。平板静电电容器在用户12为了对空中图像30的显示位置进行操作而使手指或触控笔向空中图像30的方向移动的情况下，将该手指或触控笔的位置作为静电电容的值检测出来。例如，平板静电电容器对在自身的四个角落检测出的静电电容的值进行比较，并基于在四个角落检测出的静电电容的值来检测用户12的手指在X轴、Z轴上的位置。此外，平板静电电容器可以与ZX平面平行地设置在载台14上。

另外，从平板静电电容器的表面到指尖的距离与平板静电电容器检测出该指尖时的静电电容之间的对应关系预先存储于存储部205。因此，当指尖位于规定的检测范围内时，平板静电电容器检测指尖处的静电电容，并能够根据该检测出的静电电容与存储在存储部205中的上述对应关系检测出指尖在Z方向上的位置。

作为以上说明的全部实施方式和全部变形例的显示装置1生成空中图像的方法，也可以使激光在空中汇聚从而使构成空气的分子等离子体化进而在空中发光，从而在空中形成图像。在该情况下，通过在三维空间中自由地控制激光的聚光位置，而能够在空中生成作为实像的三维图像。此外，作为生成空中图像的方法，除了投影功能外，还可以利用具有使空气中产生雾的功能的显示装置，使空气中产生雾而形成显示屏，并在该雾形成的显示屏上投射图像(雾屏显示器)，由此来在空中生成图像。

也可以将用于显示装置1为了使空中图像30的位置移动而执行的各种处理的程序事先记录在计算机可读取的记录介质中，使计算机系统读取该程序而执行校准。此外，此处所说的“计算机系统”，也可以包含OS(Operating System：操作系统)、周边设备等硬件。

此外，上述“计算机系统”也包括利用WWW系统的主页提供环境(或显示环境)。此外，上述“计算机可读取的记录介质”是指，软盘、光磁盘、ROM、闪速存储器等的可写入的非易失性存储器、CD-ROM等可移动介质、内置于计算机系统中的硬盘等存储装置。再者，上述“计算机可读取的记录介质”也包含像在经由互联网等网络、电话线路等通信线路发送程序的情况下、作为服务器、客户端的计算机系统内部的易失性存储器(例如DRAM(DynamicRandom Access Memory)那样在一定时间内保存程序的介质。

上述“程序”也可以从在存储装置等中存储了该程序的计算机系统经由传输介质或是传输介质中的传输波而被传输给其他的计算机系统。在此，传送程序的“传送介质”是指具有互联网等网络(通信网络)、电话线路等通信线路(通信线)这样的传送信息的功能的介质。另外，上述程序也可以是用于实现上述功能的一部分的程序。再者，也可以是通过与已经存储在计算机系统中的程序的组合来实现上述功能的程序、即所谓的差分文件(差分程序)。

只要无损本发明的特点，本发明并不限于上述实施方式，在本发明的技术思想范围内能够想到的其他方式也包含在本发明的范围内。

将以下的优先权基础申请的公开内容作为引用文献援引于本申请。

日本国专利申请2016年第128156号(2016年6月28日申请)

标号说明

1…显示装置，9…成像光学系统，11…显示器，15…拍摄装置，20…控制部，200…解析部，201…图像生成部，202…显示控制部，203…校准部，204…检测基准控制部，206…判定部，207…速度/加速度检测部，208…操作预测部，209…语音检测部，210…显示位置控制部，10…本体，12…用户，14…载台，40…检测基准，41…检测基准外，30…空中图像，30A…图标，15A…检测范围，15a…检测极限，600…规定的非接触操作，16…集音器，17…显示位置变更部，111…微透镜，112…微透镜阵列，90…反射镜元件。

Claims (21)

1.一种控制装置，其基于非接触操作来设定检测基准，所述检测基准成为使电子设备工作的基准，所述控制装置具备：

检测部，对进行所述非接触操作的物体的位置进行检测；

取得部，取得与所述物体相关的信息或与进行所述非接触操作的用户相关的信息；及

控制部，基于所述检测部检测出的所述物体的位置和所述取得部取得的信息，执行使所述电子设备工作的控制和设定所述检测基准的控制。

2.根据权利要求1所述的控制装置，其中，

与所述物体相关的信息是与所述物体的移动相关的信息或与所述物体的外观相关的信息。

3.根据权利要求2所述的控制装置，其中，

与所述物体的移动相关的信息是所述物体的轨迹，

在所述检测部检测出的所述物体的位置为所述检测基准外且所述物体的轨迹满足规定条件的情况下，所述控制部执行使所述电子设备工作的控制和设定所述检测基准的控制。

4.根据权利要求3所述的控制装置，其中，

在所述检测部检测出的所述物体的位置为所述检测基准外且所述物体的轨迹中的一个点与所述检测基准的距离小于规定距离的情况下，所述控制部执行使所述电子设备工作的控制和设定所述检测基准的控制。

5.根据权利要求2至4中任一项所述的控制装置，其中，

在所述检测部检测出的所述物体的位置为所述检测基准外且所述物体的移动的方向为规定方向的情况下，所述控制部执行使所述电子设备工作的控制和设定所述检测基准的控制。

6.根据权利要求2至5中任一项所述的控制装置，其中，

与所述物体的移动相关的信息是所述物体的速度，

在所述检测部检测出的所述物体的位置为所述检测基准外且所述物体的速度为规定速度的情况下，所述控制部执行使所述电子设备工作的控制和设定所述检测基准的控制。

7.根据权利要求2至6中任一项所述的控制装置，其中，

在所述检测部检测出的所述物体的位置为所述检测基准外且所述物体的外观为规定外观的情况下，所述控制部执行使所述电子设备工作的控制和设定所述检测基准的控制。

8.根据权利要求7所述的控制装置，其中，

与所述物体的外观相关的信息是与所述物体的形状、颜色或图案相关的信息。

9.根据权利要求1至7中任一项所述的控制装置，其中，

与所述用户相关的信息是所述用户的视线的方向或所述用户的头的方向，

在所述检测部检测出的所述物体的位置为所述检测基准外且所述用户的视线或头的方向为规定方向的情况下，所述控制部执行使所述电子设备工作的控制和设定所述检测基准的控制。

10.根据权利要求1至8中任一项所述的控制装置，其中，

与所述用户相关的信息是所述用户的视线的移动或所述用户的头的移动，

在所述检测部检测出的所述物体的位置为所述检测基准外且所述用户的视线或头的移动量小于规定的情况下，所述控制部执行使所述电子设备工作的控制和设定所述检测基准的控制。

11.根据权利要求1至10中任一项所述的控制装置，其中，

与所述用户相关的信息是所述用户的声音或表示，

所述控制部基于所述检测部检测出的所述物体的位置和所述用户的声音或表情，执行使所述电子设备工作的控制和设定所述检测基准的控制。

12.根据权利要求1至11中任一项所述的控制装置，其中，

具备使像显示于空中的显示控制部，

所述检测部基于对空中的所述像的所述非接触操作，检测出物体的位置。

13.一种程序，其基于非接触操作来设定检测基准，所述检测基准成为使电子设备工作的基准，所述程序使计算机执行：

检测处理，对进行所述非接触操作的物体的位置进行检测；

取得处理，取得与所述物体相关的信息或与进行所述非接触操作的用户相关的信息；及

控制处理，基于在所述检测处理中检测出的所述物体的位置和在所述取得处理中取得的信息，执行使所述电子设备工作的控制和设定所述检测基准的控制。

14.一种显示装置，为电子设备，所述显示装置具备：

显示部，将像显示于分离的位置；

检测部，对物体相对于所述像的移动或使用者的操作进行检测；及

设定部，根据用所述检测部检测出的所述物体的移动或所述使用者的操作，设定用于使所述电子设备工作的、成为所述物体的移动的基准的位置或成为所述使用者的操作的基准的位置。

15.根据权利要求14所述的显示装置，其中，

所述检测部对成为所述基准的位置与所述物体的移动或使用者的操作的相对位置进行检测。

16.根据权利要求14所述的显示装置，其中，

所述检测部检测出所述物体的移动轨迹或所述使用者的操作轨迹作为所述物体的移动或所述使用者的操作。

17.根据权利要求14所述的显示装置，其中，

所述检测部检测出所述物体正朝向所述像移动的情况或所述使用者的操作正朝向所述像的情况，作为所述物体的移动或所述使用者的操作。

18.根据权利要求14所述的显示装置，其中，

所述检测部检测出所述物体的移动速度或加速度、或者所述使用者的操作速度或加速度，作为所述物体的移动或所述使用者的操作。

19.一种程序，由电子设备的计算机执行，使计算机执行如下处理：

将像显示在分离的位置的处理；

检测部对物体相对于所述像的移动或使用者的操作进行检测；及

根据用所述检测部检测出的所述物体的移动或所述使用者的操作，设定使所述电子设备工作的、成为所述物体的移动或所述使用者的操作的基准的位置的处理。

20.一种检测方法，将像显示在分离的位置并检测针对所述像的操作，所述检测方法中，

将所述像显示在分离的位置，

对物体相对于所述像的移动或使用者的操作进行检测，

根据所述检测出的所述物体的移动或所述使用者的操作，设定使电子设备工作的、成为所述物体的移动或所述使用者的操作的基准的位置。

21.根据权利要求14所述的显示装置，其中，

所述检测部检测使用者的视线或头的方向，

所述设定部根据所述使用者的视线或所述头的方向设定成为所述基准的位置。