CN109643173A - 显示装置及控制装置 - Google Patents

显示装置及控制装置 Download PDF

Info

Publication number
CN109643173A
CN109643173A CN201780050219.4A CN201780050219A CN109643173A CN 109643173 A CN109643173 A CN 109643173A CN 201780050219 A CN201780050219 A CN 201780050219A CN 109643173 A CN109643173 A CN 109643173A
Authority
CN
China
Prior art keywords
display
icon
user
range
air
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780050219.4A
Other languages
English (en)
Inventor
栗林英范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to CN202310220837.6A priority Critical patent/CN116126170A/zh
Publication of CN109643173A publication Critical patent/CN109643173A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种显示装置，具有：第1显示部，其在与其分开的位置显示第1像；第2显示部，其在与第1像不同的位置，显示第2像和亮度与第2像不同的第3像；检测部，其检测使用者对第1像的操作；以及显示控制部，其根据检测部所检测出的操作，变更由第1显示部显示的第1像及由第2显示部显示的第2像中的至少一方的显示形态。

Description

显示装置及控制装置
技术领域
本发明涉及显示装置及控制装置。
背景技术
如下电子设备已被公开：通过计算手指与触摸面板之间的距离的静电容式的触摸传感器，来检测针对显示于空中的三维物体的操作(专利文献1)。但是，在专利文献1中，虽然记载了检测对三维物体(对象)进行的操作，但关于针对物体进行操作时的操作性尚不充分。
现有技术文献
专利文献
专利文献1：日本国特开2012-203737号公报
发明内容
根据第1方案，为一种显示装置，具备：第1显示部，其在从其分开的位置显示第1像；第2显示部，其在与上述第1像不同的位置显示第2像和亮度与上述第2像不同的第3像；检测部，其检测使用者对上述第1像的操作；和显示控制部，其根据由上述检测部检测出的操作，变更由上述第1显示部显示的上述第1像及由上述第2显示部显示的上述第2像中的至少一方的显示形态。
根据第2方案，显示装置具备：第1显示部，其在从第1显示装置分开规定距离的位置显示通过上述第1显示装置显示的第1显示像；第2显示部，其在与上述第1显示像不同的位置，通过第2显示装置显示与第1显示像对应的区域以外的区域的显示亮度高的第2显示像；操作检测部，其检测使用者对上述第1显示像的操作；获取部，其在上述第1显示像的附近设定检测基准，并获取上述检测基准与使用者的操作的位置关系；和控制部，其基于由上述获取部获取的位置关系，进行使由上述第2显示部显示的上述第2显示像相对于由上述第1显示部显示的上述第1显示像的显示形态不同的显示控制。
根据第3方案，为一种对位于与空中的第1显示不同的位置的第2显示进行控制的控制装置，具备：获取部，其获取检测使用者对上述第1显示的操作的检测基准与检测到上述操作的位置的位置关系；和控制部，其基于由上述获取部获取的上述位置关系，来控制上述第2显示。
附图说明
图1是说明第1实施方式的显示装置的结构的图，(a)是立体图，(b)是剖视图，(c)是表示成像光学系统的结构的剖视图。
图2是说明第1实施方式的显示装置的主要部分结构的框图。
图3是示意地表示在第1实施方式中显示的空中成像的图，(a)是示意图，(b)、(c)、(d)是表示操作检测器、空中成像与检测基准的关系的剖视图。
图4示意地示出在第1实施方式中显示的校准处理用的空中成像，是说明辅助图像的显示位置的变更与被感知的深度的关系的图。
图5是说明第1实施方式中的校准处理的图，(a)、(b)、(c)、(d)是表示操作检测器、空中成像、检测基准与手指位置的关系的剖视图。
图6是示意地表示在校准处理后显示的空中成像操作模式下的空中成像的图。
图7是说明第1实施方式中的基于第1校准处理模式的校准处理的流程图。
图8是表示第1实施方式中的第2校准处理模式下的空中成像、检测基准与手指的到达位置的位置关系的图。
图9是说明第1实施方式中的基于第2校准处理模式的校准处理的流程图。
图10是示意地表示第1实施方式的变形例1中的图标与第1范围的显示形态的关系的图。
图11是示意地表示第1实施方式的变形例1中的图标与第1范围的显示形态的关系的其他例子的图。
图12是说明第1实施方式的变形例1的其他例子中的显示装置的主要部分结构的框图。
图13是示意地表示第1实施方式的变形例1中的图标与第1范围的显示形态的关系的其他例子的图。
图14中，(a)是第1实施方式的变形例1的其他例子中的显示装置的剖视图，(b)、(c)、(d)是示意地表示变形例1中的图标与第1范围的显示形态的关系的其他例子的图。
图15是示意地表示第1实施方式的变形例1中的图标与第1范围的显示形态的关系的其他例子的图。
图16是示意地表示第1实施方式的变形例1中的图标与第1范围的显示形态的关系的其他例子的图。
图17是说明第1实施方式的变形例2中的显示装置的主要部分结构的框图。
图18是说明第1实施方式的变形例2中的校准处理的图，(a)、(b)是表示操作检测器、空中成像、检测基准与手指位置的关系的剖视图。
图19是说明第1实施方式的变形例2中的基于第1校准处理模式的校准处理的流程图。
图20是示意地表示在第1实施方式的变形例4中显示第1校准处理模式的空中成像的图。
图21是说明第1实施方式的变形例4中的校准处理的图，(a)、(b)、(c)是表示操作检测器、空中成像、检测基准与手指位置的关系的剖视图。
图22是说明第1实施方式的变形例4中的基于第1校准处理模式的校准处理的流程图。
图23是说明第1实施方式的变形例7中的显示装置的主要部分结构的框图。
图24是说明第1实施方式的变形例8中的显示装置的图，(a)是显示装置的外观立体图，(b)是说明显示装置的主要部分结构的框图。
图25是表示第1实施方式的变形例8的显示装置的内部结构的剖视图。
图26是说明第2实施方式的显示装置的结构的图，(a)是剖视图，(b)是显示器和成像光学系统的剖视图，(c)是说明主要部分结构的框图。
图27是说明第2实施方式的变形例1的显示装置的结构的图，(a)是剖视图，(b)是说明主要部分结构的框图，(c)是第3实施方式的变形例1的其他例子的显示装置的剖视图。
图28是说明第2实施方式的变形例2的显示装置的结构的剖视图。
图29是说明第3实施方式的显示装置的结构的图，(a)是立体图，(b)是说明主要部分结构的框图。
图30是示意地表示在第3实施方式中显示的空中成像的图。
图31是示意地表示在第3实施方式的变形例1中显示的空中成像的其他例子的图。
图32是示意地表示在第3实施方式的变形例1中显示的空中成像的其他例子的图。
图33是示意地表示在第3实施方式的变形例1中显示的空中成像的其他例子的图。
图34是示意地表示在第3实施方式的变形例2中显示的空中成像的其他例子的图。
图35是说明第3实施方式的变形例3中的显示装置的结构的图，(a)是立体图，(b)是说明主要部分结构的框图。
图36是示意地表示第3实施方式的变形例3中的空中成像和指标的显示的图。
具体实施方式
-第1实施方式-
一边参照附图，一边说明第1实施方式的显示装置。在第1实施方式中，列举将本实施方式的显示装置嵌入于操作面板的情况作为一例进行说明。此外，本实施方式的显示装置不限于操作面板，能够嵌入于移动电话、电视机、平板终端、腕表型终端等便携型信息终端装置、个人计算机、音乐播放器、固定电话机、可穿戴装置等电子设备。另外，本实施方式的显示装置也能够嵌入于数字告示(电子招牌)等电子设备。作为数字告示，既可以是例如自动贩卖机等中内置的小型显示器，也可以是例如设于建筑物的壁面等上这样的比普通成人的身形更大的显示器。另外，本实施方式的显示装置能够嵌入于例如在现金自动存取机(ATM装置)中用于供用户输入密码和金额等的面板、铁路或公交车的乘车券、定期券等的自动车票贩卖机、图书馆或美术馆等的各种信息检索终端装置等的面板。另外，本实施方式的显示装置也可以搭载于各种机器人(例如能够自行走动的机器人、自行式清扫机这样的电子设备)。
图1的(a)是显示装置1的立体图，图1的(b)是将显示装置1的一部分放大示出的剖视图，图1的(c)是将显示装置1的一部分放大表示的侧视图。此外，为便于说明，关于显示装置1，如图示那样设定由X轴、Y轴及Z轴构成的坐标系。此外，坐标系不限于由X轴、Y轴及Z轴构成的正交坐标系，也可以采用极坐标系或圆柱坐标系。即，X轴被设定为显示装置1的矩形显示面的短边方向，Y轴被设定为显示装置1的矩形显示面的长边方向，Z轴被设定为与显示面垂直的方向。
显示装置1具备：内置控制部20的主体10、成像光学系统9、显示器11、操作检测器13、载台14和投影仪15。成像光学系统9、显示器11、操作检测器13、载台14和投影仪15配置于主体10内。显示器11由例如液晶显示器或有机EL显示器等构成，具有排列成二维状的多个显示像素阵列。显示器11由控制部20控制，显示与显示用图像数据对应的图像。
如图1的(c)所示，成像光学系统9在内部以二维状配置有多个微小的镜元件90，相对于ZX平面倾斜规定角度例如45°而配置。成像光学系统9对来自显示于显示器11的显示图像的朝向Y方向正(+)向的光进行反射，在载台14的上方空间，将显示图像的实像形成为空中成像30。此时，空中成像30形成在关于成像光学系统9而与显示器11的显示面对称的位置。即，显示器11的显示面与成像光学系统9的距离d和成像光学系统9与空中成像30的距离d相等。像这样，显示装置1的使用者(以下称为用户12)能够将显示于显示器11的显示面的显示图像以作为浮于载台14的上方空中的空中成像30的方式来观察。此外，这样的成像光学系统9的具体结构在例如日本特开2016-14777号公报中有所记载。另外，成像光学系统9不限于以上说明的成像光学系统9，也可以是例如凸透镜。此外，在为凸透镜的情况下，由于会因焦点距离而在光轴方向上产生厚度，所以也可以是菲涅尔透镜这样的结构。像这样，可以基于状况不同来适当选择显示装置1中使用的成像光学系统9。
另外，显示装置1还可以如后述的第1实施方式的变形例2中说明那样，使用公知的光场方式来显示空中成像30。
另外，通过将显示器11与成像光学系统9之间的Y方向上的距离d设为可变，能够使空中成像30的显示位置沿着Z方向移动。例如当减小显示器11与成像光学系统9之间的距离时，即当将显示器11向接近成像光学系统9的方向移动时，空中成像30向远离用户12的方向(Z方向-侧)移动并被显示。相反地，当增大显示器11与成像光学系统9之间的距离时，即当将显示器11向远离成像光学系统9的方向移动时，空中成像30向接近用户12的方向(Z方向+侧)移动并被显示。显示器11的Y方向上的移动能够通过未图示的马达或其他致动器等驱动装置进行。
此外，根据成像光学系统9的种类不同，存在与上述相反的情况。即，当将显示器11向接近成像光学系统9的方向移动时，空中成像30向接近用户12的方向(Z方向+侧)移动并被显示。相反地，当增大显示器11与成像光学系统9之间的距离时，即当将显示器11向远离成像光学系统9的方向移动时，空中成像30远离用户12(Z方向-侧)移动并被显示。因此，根据成像光学系统9的种类不同，适当变更使显示器11移动的方向并使用即可。
空中成像30包括与用于指示显示装置1的各种设定和各种功能的执行的操作按键对应的多个图标30A(操作按键)。在本实施方式中，图标30A以例如1行×3列排列。
操作检测器13相对于后述的载台14在Z方向-侧与XY平面平行地设置，例如由公知的透明静电容式面板(以下，记作静电容面板)构成。由静电容面板构成的操作检测器13通过由实质透明的部件构成的电极而形成电场。在用户12为了对空中成像30的显示位置进行操作而使手指或触控笔(stylus)向空中成像30的方向移动的情况下，操作检测器13检测该手指或触控笔的位置来作为静电容的值。例如，操作检测器13对在透明静电容面板的四角检测出的静电容的值进行比较，基于在四角检测出的静电容的值，来检测用户12的手指在X轴、Z轴上的位置。
此外，操作检测器13也可以在载台14上与ZX平面平行地设置。
另外，操作检测器13如在后详细说明那样，从自身的表面到Z方向的规定范围内具有静电容的检测范围。操作检测器13例如对在透明静电容面板的四角检测出的静电容的值进行比较，基于在四角检测出的静电容的值来检测该规定的检测范围内的手指或触控笔与操作检测器13之间的间隔(在Y轴上的位置)。当然，为了使空中成像30位于操作检测器13的规定的检测范围内，优选以位于规定的检测范围的Z方向上的中间的方式通过成像光学系统9进行成像。像这样，操作检测器13检测用户12用手指或触控笔对空中成像30的显示位置进行操作这一情况，因此用户12不直接触摸操作检测器13就能够执行针对空中成像30的操作。此外，在以下的说明中，说明用手指对空中成像30的显示位置进行操作的例子，但在用触控笔等进行操作的情况下也是同样的。
载台14被设为与ZX平面平行的面，在该载台14的上方显示空中成像30。在以下的说明中，设为载台14是矩形形状，但不限定于矩形，能够适用圆形形状或多边形形状等各种形状。
投影仪15设于载台14的上方(Y方向+侧)，根据基于控制部20的控制，将形成在显示元件上的图像数据朝向Y方向-侧投影，由此将投影图像投影到载台14上。投影仪15相对于空中成像30的位置将投影图像投影到规定的位置。
图2是表示显示装置1的结构中的、控制部20和由控制部20控制的显示器11及操作检测器13的框图。控制部20具有CPU、ROM、RAM等，包含运算电路，基于控制程序来控制包含显示装置1的显示器11及操作检测器13在内的各种结构要素，执行各种数据处理。控制部20具备图像生成部201、显示控制部202、校准部203、检测基准控制部204、存储部205、和投影仪控制部200。存储部205包括保存控制程序的非易失性存储器、存储显示于显示器11的图像数据等的存储介质等。此外，在存储部205中预先存储有从操作检测器13的表面到指尖为止的距离与操作检测器13检测到该指尖时的静电容之间的对应关系。因此，当指尖位于操作检测器13的规定的检测范围内时，操作检测器13会检测指尖处的静电容，能够根据该检测出的静电容与存储于存储部205的上述对应关系，检测指尖在Z方向上的位置。
图像生成部201基于存储于存储介质的图像数据，生成与用于显示到显示器11的显示图像对应的显示用图像数据。显示控制部202使与由图像生成部201生成的显示用图像数据对应的图像显示到显示器11。另外，当用户12对空中成像30的图标30A的显示位置进行操作时，显示控制部202基于该被操作的图标30A的种类来进行显示器11的显示图像的切换控制。此外，在用户12对空中成像30的图标30A的显示位置进行了操作的情况下，显示控制部202并不限于进行显示器11的显示图像的切换控制。也可以是例如，显示器11作为显示图像而显示动态图像，在用户12对空中成像30的图标30A的显示位置进行了操作的情况下，显示控制部202进行播放由显示器11显示的动态图像的控制，或进行停止动态图像的控制。
校准部203执行在后详细说明的第1、第2校准处理模式的校准处理。检测基准控制部204将检测面即检测基准设定于载台14的上方空间。具体地说，检测基准控制部204在操作检测器13的规定的检测范围内且在空中成像30的位置(或规定范围)设定检测基准。检测基准控制部204还基于由操作检测器13检测出的静电容的值来判定用户12的手指达到了检测基准这一情况。即，检测基准控制部204在与由操作检测器13检测出的静电容的值对应的手指位置(在X轴、Y轴、Z轴的各轴上的位置)与已设定的检测基准的位置一致时，判定为用户12对图标30A的显示位置进行了操作。检测基准控制部204将检测基准设定于预先确定的规定初始位置。该检测基准的初始位置被预先存储于存储部205。此外，检测基准的初始位置可以是例如对全部用户12通用的位置，也可以基于用户12对显示装置1的使用历史等针对每个用户12设定不同的位置。此外，检测基准控制部204还可以基于后述的校准处理的结果来变更或修正检测基准的位置。
另外，检测基准的位置(初始位置、变更或修正后的位置)可以被设定于操作检测器13的载台14的整个平面上(X轴、Y轴上)，也可以被设定于平面上的一部分。而且，检测基准的初始位置还可以将前次的显示装置1使用时所设定的检测基准存储于存储部205并将其读出来使用。此外，检测基准控制部204不限于与由操作检测器13检测出的静电容的值对应的手指位置与检测基准的位置一致的情况，在手指位置与检测基准的位置大致一致的情况下也可以判定成用户12对图标30A的显示位置进行了操作。该大致一致的判定范围可以预先设定。
投影仪控制部200控制投影仪15，使用于供用户12掌握所显示的空中成像30在X方向上的位置和Z方向上的位置的辅助图像投影到载台14上。关于该辅助图像，在后进行详细的说明。
图3的(a)表示由显示装置1显示的空中成像30的一例，图3的(b)、(c)示意地表示主体10或操作检测器13、空中成像30与检测基准40的位置关系。图3的(b)以基于与YZ平面平行的面得到的截面表示空中成像30与检测基准40的位置关系，图3的(c)以基于与ZX平面平行的面得到的截面表示空中成像30与检测基准40的位置关系。
在图3的(a)中，作为第1像(第1显示像)的空中成像30如上述那样包含以1行×3列排列的三个图标30A。图标30A是由用户12操作的空中成像30的第1部分。在图标30A的下方(Y方向-侧)的载台14上，投影有由投影仪15投影的辅助图像31。与作为空中成像30的第1部分的图标30A不同的作为第2部分的辅助图像31是成为用于供用户12感知图标30A的Z方向上的位置关系的头绪的图像，被投影到载台14上的规定的投影区域140。辅助图像31由第1范围311和第2范围312构成。此外，关于辅助图像31、规定的投影区域140、第1范围311及第2范围312的详情将在后说明。在图3的(b)、(c)中，检测基准40通过检测基准控制部204而设置在空中成像30的位置附近。具体地说在图示例中在比空中成像30稍靠用户12侧(Z方向+侧)的位置，通过检测基准控制部204设定了检测基准40。在图3的(b)中，空中成像30内的图标以粗点线30A示出。此外，图标30A为空中成像30的一部分，因此位于与空中成像30的位置相同的位置，但在图3的(b)、(c)中，为了将表示图标30A的粗点线区别于表示空中成像30的实线，而将粗点线的位置从实线位置错开画出。
在图3的(b)、(c)中，操作检测器13在载台14的上方(Y方向+侧)具有静电容的检测范围13A。在图3的(b)、(c)中，操作检测器13的前方(Z方向+侧)的沿着Z方向的静电容的检测界限以虚线13a示出，该静电容的检测界限13a与操作检测器13的间隔被示为静电容检测范围13A。
在图3的(b)的例子中，示出检测界限13a被设定于载台14的Z方向+侧的端部上方的情况。即，静电容检测范围13A与载台14的Z方向的长度Hz相等。该情况下，由于ZX平面上的载台14与静电容检测范围一致，所以由操作检测器13检测在载台14的上方空间进行的用户12的操作。此外，ZX平面上的载台14的大小与静电容检测范围可以不一致，可以设定比载台14窄的静电容检测范围，也可以设定比载台14宽的静电容检测范围。
空中成像30在载台14的上方形成于从操作检测器13向Z方向+侧离开距离H1的位置。检测基准40在载台14的上方被设定于从操作检测器13向Z方向+侧分离开距离H2(H1＜H2)的位置。空中成像30和检测基准40被设定成位于静电容的检测范围13A内。此外，检测基准40在图3的(b)、(c)中设定得比空中成像30靠Z方向+侧，但只要在操作检测器13的静电容检测范围13A内即可，可以比空中成像30靠Z方向-侧，或者也可以与空中成像30的位置一致。在此，将静电容检测范围13A内的被设定为检测基准40的区域以外的范围设为检测基准外范围41。
此外，检测基准控制部204也可以使上述检测基准40的位置在检测范围13A内沿Y方向移动而变更。例如，检测基准控制部204可以基于后述的校准处理的结果，使如图3的(b)、(c)那样设定的检测基准40向Z方向正向或负(-)向移动。在图3的(b)、(c)中，空中成像30和检测基准40被示为与XY平面平行的平面，但不限于它们都是平面，例如也可以都由曲面构成。另外，如图3的(d)所示，检测基准40也可以不为平面而针对每个图标30A具有层差。换言之，可以是，某个图标30A与针对该图标的检测基准40之间的间隔和其他图标30A与针对该其他图标的检测基准40之间的间隔不同。像这样，关于对检测基准40设置层差，在空中成像30为立体像且多个图标30A的位置沿Z方向相互错开的情况下尤其有效。例如，基于立体的空中成像30的多个图标30A的在Z方向上的错位，使与各图标30A对应的检测基准40的在Z方向上的位置错开，由此也能够使图标30A所对应的检测基准40之间的距离成为固定。另外，检测基准40也可以使对图3的(d)所示的多个图标30A分别设定的检测基准40独立地移动，由此来变更检测基准40的位置。即，在基于针对图3的(d)的纸面左端的图标30A的操作而进行了校准处理的情况下，检测基准控制部204可以使与纸面左端的图标30A对应地设定的检测基准40的位置向Z方向移动。此时，检测基准控制部204使与其他图标30A(图3的(d)的纸面中央部及右端的图标30A)对应地设定的检测基准40的Z方向上的位置不移动。
操作检测器13在用户12的指尖距操作检测器13到达了距离H2时，输出与距离H2对应的检测输出。检测基准控制部204基于操作检测器13的检测输出，判定为用户12的指尖与检测基准40一致，并判定为指尖对图标30A的显示位置进行了操作。像这样，显示装置1检测用户12对空中成像30的图标30A的显示位置进行了操作这一情况，并执行与该被操作的图标30A对应的功能。例如，进行显示器11的显示图像的切换等。
图标30A位于距操作检测器13为距离H1的位置。由于该图标30A作为空中成像30来显示，所以对于某个用户12和其他用户12，有时会感到空中成像30的图标30A的显示位置、即距离H1在视觉上不同。另外，即使是同一用户12，根据操作该显示装置1的环境不同，有时也会感到图标30A的显示位置不同。例如，假设在设定成检测基准40与空中成像30的位置一致的情况下，某个用户12为了对图标30A的显示位置进行操作而将手指向空中成像30的图标30A的方向移动。在该用户12感到手指尚在图标30A的近前(Z方向+侧)、却在实际上手指已到达图标30A即检测基准40的情况下，会违背用户12的意图而执行了图标操作。相反地，假设其他用户12为了进行图标操作而将手指向空中成像30的图标30A的方向移动。在该用户12认为手指已到达图标30A且正对图标30A的显示位置进行操作、但在实际上手指与图标30A即检测基准40相比位于Z方向+侧的情况下，会违背用户12的意图而没有执行图标操作。在任一情况下，用户12都会对图标操作抱有不适应感。
本实施方式的显示装置1在上述的对空中成像30进行操作的空中成像操作模式的基础上，具备用于减轻上述图标操作的不适应感的校准处理模式。在校准处理模式中，显示装置1不变更空中成像30与检测基准40的位置关系，而变更辅助图像31的显示形态。该辅助图像31显示于规定的固定区域(第2显示区域)，包括具有基于空中成像30的形状的低亮度的区域(第1区域)即第1范围311、和在第1区域的外部且亮度比第1区域高的第2区域即第2范围312。即，显示装置1在作为与空中成像30对应的区域的第1范围311以外的第2范围312对显示亮度高的第2像(第2显示像)进行显示，在第1范围311对亮度与第2像不同的第3像进行显示。显示装置1通过在固定区域内使低亮度的第1区域的位置移动，以犹如空中成像30的显示位置沿Z方向(深度方向)进行了移动那样使用户12感知。由此，显示装置1使由用户12进行的图标操作的深度方向上的位置变更，使得在检测基准40的位置检测到用户12的图标操作。以下，对校准处理模式进行详细说明。此外，低亮度也包括亮度为零、即全暗的情况。
此外，在校准处理模式中，显示装置1不限于不变更空中成像30与检测基准40的位置关系而变更辅助图像31的显示形态，也可以变更空中成像30与检测基准40的位置关系并同时变更辅助图像31的显示形态。
本实施方式的显示装置1如上述那样具有第1及第2校准处理模式。第1校准处理模式与空中成像操作模式独立，即在不执行空中成像操作模式时执行校准处理。第2校准处理模式在显示装置1起动后执行了空中成像操作模式时在该空中成像操作模式的执行过程中执行校准处理。该第1～第2校准处理模式由图2所示的校准部203执行。
至于要执行第1～第2校准处理模式中的哪一个可以由用户12对省略了图示的设在显示装置1上的校准处理模式选择用的操作按键进行操作来进行选择。在没有通过校准处理模式选择用的操作按键选择第1～第2校准处理模式中的任一个的情况下，控制部20可以选择并执行空中成像操作模式。另外，显示装置1也可以不具备校准处理模式选择用的操作按键而始终进行第2校准处理模式。以下，依次说明第1～第2校准处理模式。此外，第1～第2校准处理模式的选择除了操作按键以外，还可以通过操作空中成像的图标来进行。
首先说明第1校准处理模式。显示装置1被起动，用户12对校准处理模式选择用的操作按键进行操作，选择第1校准处理模式。当通过用户12的操作选择了第1校准处理模式时，图2的校准部203起动第1校准处理模式。图像生成部201生成显示用图像数据，基于该显示用图像数据，显示器11显示校准处理中使用的显示图像。图像生成部201生成辅助图像用数据，基于该辅助图像用数据，投影仪15将辅助图像31投影到载台14上。
图4的(a)示意地示出该校准处理用的显示图像的空中成像300、辅助图像31、投影有辅助图像31的载台14上的投影区域140的一例。空中成像300包含校准用图标300A。图像生成部201在校准用图标300A上重叠显示消息“进行校准。请触摸该图标”。此外，图像生成部201在校准处理时也并非必须显示上述消息“进行校准。请触摸该图标”。例如，在选择了校准处理模式的用户12预先知道在校准处理模式中应操作什么的情况等下，图像生成部201不进行上述消息的显示。
在本实施方式中，列举作为辅助图像31而使图标300A的影子显示的例子。即列举如下情况为例，例如在将图标300A视作实际存在于空中的物体时，与从上方(Y方向+侧)对该物体进行照明的情况下形成的影子相当的图像被作为辅助图像31来进行显示。
投影区域140是在投影仪15投影了来自显示元件的整个区域的投影光时，在载台14上投影有辅助图像31的区域。在本实施方式中，设为投影区域140在载台14上是以距操作检测器13的Z方向+侧的距离H1的位置作为中心的规定范围。此外，也可以在载台14上预先设定投影区域140，投影仪15从显示元件的整个区域中的与投影区域140对应的范围投影投影光来投影辅助图像31。在图4所示的例子中，示出以距操作检测器13的Z方向+侧的距离H1的位置作为基准、在前后方向(Z方向的+侧和-侧)上的距离h1(＜H1)的范围分别设定投影区域140的情况。即，在图4所示的例子中，投影区域140被设定于载台14上的一部分范围。此外，投影区域140不限定于图4所示的例子，也可以是载台14上的整个区域。
图像生成部201生成表示在图标300A的下方、即在以距操作检测器13的距离H1的位置作为中心的投影区域140形成有与图标300A的形状相应的影子的状态的辅助图像数据。在显示例如具有棱柱这样的形状的图标300A的情况下，图像生成部201将影子形成为矩形形状，在显示例如具有圆柱这样的形状的图标300A的情况下，图像生成部201将影子形成为圆形。另外，在显示例如平面状的图标300A的情况下，图像生成部201将影子形成为线状。在图4所示的例子中，示出将影子的形状形成为矩形的情况。
图像生成部201使具有与被显示的图标300A相应的形状的范围的亮度和与图标300A相应的形状的范围的外部范围的亮度不同，而生成辅助图像数据。该情况下，图像生成部201使与图标300A相应的形状的范围的亮度低，使外部范围的亮度高。即，图像生成部201生成基于图标30A的形状而使亮度分布不同的辅助图像数据。通过投影仪15投影该辅助图像数据，而在投影区域140的内部的一部分区域投影出具有亮度分布不同的第1范围(第1区域)311和第2范围(第2区域)312的辅助图像31。如上述那样，辅助图像31被投影于投影区域140内的一部分的固定区域内。第1范围311在辅助图像31内、即投影区域140内，具有与图标300A相应的形状，是亮度低的区域。第2范围312在辅助图像31内，是第1范围311的外部的亮度高的区域。此外，列举第1范围311和第2范围312被投影于投影区域140的一部分区域的情况为例进行了说明，但不限定于此，也可以是第1范围311和第2范围312被投影于投影区域140的整个区域。在图3、图4中，为了便于图示，使用点阵表示辅助图像31中的第1范围311及第2范围312内的亮度分布，通过使对第1范围311赋予的点阵的浓度浓且密度高，来表现第1范围311与第2范围312的亮度的不同。
图像生成部201将与第1范围311对应的范围设定于中央部、将与第2范围312对应的范围设定于其外部来生成辅助图像数据。投影仪15通过投影该辅助图像数据来在投影区域140上投影辅助图像31。即，利用投影仪15，如图4的(a)所示，在从操作检测器13向Z方向+侧的距离H1的位置投影有第1范围311，在其外部投影有第2范围312。
此外，可以在投影仪15的内部具有控制投影仪15的动作的控制部、和生成辅助图像数据的生成部。该情况下，生成部可以与上述图像生成部201同样地生成辅助图像数据。另外，控制投影仪15的动作的控制部可以基于从控制部20的投影仪控制部200输入的控制信号，来控制投影仪15的动作，从而投影辅助图像31。
如上述那样，由于第1范围311是与第2范围312相比亮度较低的暗范围，所以用户12能够将第1范围311视觉辨认为犹如通过从上方(Y方向+侧)对图标300A进行照明而形成的影子。视觉辨认空中成像300的用户12根据作为实际物体的载台14上投影的第1范围311与载台14的位置关系，来识别空中成像300的图标300A在Z方向上的位置。由此，用户12视觉辨认为图标300A显示于距操作检测器13的距离H1的位置。即，显示装置1能够使用户12利用作为第2显示的辅助图像31来识别作为第1显示的空中成像300在深度方向上的位置、即检测基准40的位置。
图4的(c)、图4的(d)示出与图4的(a)、图4的(b)所示的初始显示的情况相比，空中成像300及图标300A的显示位置不变、但第1范围311的投影位置向Z方向-侧发生了变更的例子。即，示出如下的情况：图像生成部201生成使与第1范围311对应的范围向Z方向-侧发生了变更的辅助图像数据，投影仪15基于该辅助图像数据对投影光进行投影。由于空中成像300以具有透视性的方式显示，所以用户12无法稳定地视觉辨认空中成像300的位置。即，空中成像300的显示位置被用户12视觉辨认为在Z方向上是不稳定的。因此，显示装置1为了示出空中成像300的显示位置，而在空中成像300的附近显示相当于影子的第1范围311，由此使用户12感知犹如空中成像300的Z方向上的显示位置位于第1范围311的位置。该情况下，用户12根据空中成像300及图标300A与低亮度的第1范围311的相对位置关系，识别为图标300A在Z方向上的位置位于第1范围311的Z方向位置或其附近位置。即，对于用户12来说，如图4的(c)、(d)所示，若从用户12侧观察并将第1范围311投影到比空中成像300及图标300A的显示位置远的远方时，则用户12将图4的(c)所示的图标300A识别为与初始显示的状态相比位于Z方向-侧。
图4的(e)、图4的(f)是示出与初始显示的情况相比，空中成像300及图标300A的显示位置不变、但第1范围311的投影位置向Z方向+侧发生了变更的例子。即，示出图像生成部201生成使与第1范围311对应的范围向Z方向+侧发生了变更的辅助图像数据，投影仪15基于该辅助图像数据对投影光进行投影的情况。在该情况下，用户12也根据空中成像300及图标300A与第1范围311的相对位置关系，识别为图标300A的Z方向的位置位于第1范围311的Z方向位置或其附近位置。即，如图4的(e)、(f)所示，若从用户12侧观察并将第1范围311与空中成像300及图标300A的显示位置相比投影到前方，则用户12将图4的(e)所示的图标300A识别为与初始显示的状态相比位于Z方向+侧。
此外，在以上的说明中，列举通过投影仪15对与第1范围311对应的范围被变更的辅助图像数据进行投影并使第1范围311在载台14上的Z方向的位置移动的例子，但不限定于此。例如，投影仪15配置为能够沿着Z方向移动，在投影仪15的多个显示像素上，预先确定与第1范围311对应的范围和与第2范围312对应的范围。投影仪15可以按照如后述那样计算出的移动量沿Z方向移动，由此使第1范围311的位置移动。
参照图5，对校准处理时的用户12的手指相对于空中成像300的位置、和辅助图像31的显示进行说明。图5的(a)是示意地表示操作检测器13、空中成像300、检测基准40与手指F的位置的关系的剖视图。
如图5的(a)所示，检测基准控制部204将检测基准40设定于空中成像300的附近位置，例如，比空中成像300稍靠Z方向+侧的位置。当然，检测基准控制部204也可以使检测基准40与空中成像300一致，还可以将检测基准40设定于比空中成像300稍靠Z方向-侧的位置。该情况下，显示控制部202显示例如图4的(a)所示的空中成像300。
在图5的(a)中，用户12为了按照重叠显示于空中成像300的图标300A的消息对图标300A的显示位置进行操作，而将指尖F向图标300A的方向移动。当指尖F向Z方向-侧移动并到达图2的操作检测器13的静电容的检测范围13A时，操作检测器13检测用户12的指尖F向该图标300A的接近移动、即向Z方向-侧的移动来作为静电容的变化。
图5的(b)示出指尖F向Z方向-侧移动并达到比检测基准40稍靠Z方向+侧的点线位置50的情况。此时，设为用户12感到指尖F到达图标300A的显示位置并执行了按压图标300A的操作，使指尖F以规定距离向Z方向+侧移动。操作检测器13检测指尖F的向上述Z方向-侧的移动即按压及其之后进行的规定距离的返回移动来作为静电容的变化。若操作检测器13检测到指尖F的上述按压及其之后进行的规定距离的返回移动，则检测基准控制部204判定为对图标300A的显示位置进行了操作。此外，当在用户12的指尖F为了对图标300A的显示位置进行操作而在进行了按压后进行了规定距离的返回移动的情况下，检测基准控制部204将按压至最深的位置设为到达位置。即，将点线位置50称为到达位置。
在到达位置50如图5的(b)所示那样相对于检测基准40而位于用户12侧(Z方向+侧)的情况下，操作检测器13无法在检测基准40检测到用户12的指尖F。该情况下，为了在检测基准40检测到用户12的指尖F，与图5的(b)所示的情况相比，需要使到达位置50接近空中成像300侧、即Z方向-侧。在本实施方式中，控制部20获取由操作检测器13检测出的用户12的操作被检测到的位置与检测基准40之间的位置关系，并基于该位置关系变更辅助图像31的显示形态。由此，显示装置1将位于到达位置50的用户12的指尖F引导为与图5的(b)所示的情况相比向Z方向-侧移动。即，为了使用户感知为空中成像300’和图标300A’位于图5的(b)中双点划线所示的位置，使以虚线所示的第1范围311’投影到载台14上，使用户的指尖F与图示的位置相比向Z方向-侧移动。图像生成部201将图4的(a)所示那样被投影到已显示的图标300A的下方的第1范围311的投影位置变更为图4的(c)所示的投影位置。图像生成部201生成将与第1范围311对应的范围向Z方向-侧进行了移动的辅助图像数据，投影仪15基于该辅助图像数据对投影光进行投影。即，图像生成部201基于用户12的操作被检测到的位置与检测基准40之间的位置关系，来控制第1范围311的移动方向。该情况下，图像生成部201基于用户12的操作被检测到的位置与检测基准40之间的位置关系，来控制后述的亮度分布的重心位置的移动方向。
像这样，图像生成部201不变更辅助图像31的范围而变更第1范围311的投影位置，使得用户12感知到图标300A的显示位置在基于用户12按下图标300A的操作产生的方向上发生了变更。换言之，图像生成部201根据由操作检测器13检测到的操作，变更第2像(第2显示像)的显示形态，由此相对地变更第1范围311的投影位置。此外，用户12的按下操作不限于严格地在沿着Z方向的方向上移动的情况。也可以是，即使在用户12的按下操作相对于Z轴倾斜地进行的情况下，即在用户12的按下操作的移动方向上包含Z方向成分的情况下，控制部20也判断为由用户12进行了按下操作。然后，图像生成部201可以使第1范围311的投影位置移动，使得用户12感知为图标300A的显示位置在基于按下操作产生的方向即Z方向上发生了变更。
此外，图像生成部201也可以基于用户12的按下操作，使第1范围311的投影位置、即后述的亮度分布的重心位置移动，使得用户12感知为在基于按下操作产生的方向、即在与用户12的按下操作相同的方向上图标300A的显示位置发生了变更。
图像生成部201基于检测基准40与到达位置50之间的偏移量、即Z方向的距离来决定第1范围311的移动量。图像生成部201基于所决定的距离来变更初始显示时的辅助图像数据的亮度分布的重心位置。即，在检测基准40与到达位置50之间的偏移量为向Z方向+侧2cm的情况下，图像生成部201以使第1范围311的移动量成为向Z方向-侧2cm的方式，来决定亮度分布的重心位置的移动量。决定出的第1范围311的移动量被存储到存储部205。
图像生成部201使用以下的式(1)，计算出亮度分布的重心位置G。
在上述式(1)中，显示像素以k行×k列排列，将各显示像素的坐标设为(xi，yj)，f(xi，yj)表示坐标(xi，yj)处的显示像素的亮度。
此外，k行×k列的显示像素可以相当于将第1范围311的整个范围和第2范围312的整个范围合起来的范围，也可以相当于将第1范围311的整个范围和第2范围312的一部分范围合起来的范围。另外，k行×k列的显示像素还可以相当于将第1范围311中的除去一部分后的范围和第2范围312的一部分范围合起来的范围。
另外，图像生成部201不限定于使利用上述式(1)计算出的亮度分布的重心位置移动。例如也可以是，图像生成部201计算出第1范围311的中心，并基于检测基准40与到达位置50之间的偏移量，来计算出第1范围311的中心的移动量。
此外，上述的第1范围311的移动量被决定为基于到达位置50与检测基准40的距离的增减而增减。第1范围311的移动量可以被决定为基于到达位置50与检测基准40的距离的增减而线性地增减，也可以被决定为按到达位置50与检测基准40的距离每增减规定量而阶梯性增减。另外，还可以被决定为，无论到达位置50与检测基准40的距离如何，第1范围311的移动均以规定的固定值变更。该情况下，可以构成为规定量能够由用户12设定。
如以上那样，图像生成部201在基于用户12进行了操作的位置与检测基准40的位置关系得到的方向上控制所计算出的亮度分布的重心位置G，并使重心位置G以决定出的移动量移动，由此使第1范围311的投影位置移动。若像这样使第1范围311在载台14上的投影位置如图4的(c)、(d)所示那样变更，则用户12会感知为犹如图标300A向Z方向-侧、即向远离用户12的方向移动。即，虽然空中成像300和图标300A实际上在Z方向上没有移动，但用户12会感知为犹如移动到了图5的(b)的双点划线所示的位置。由于用户12感知为犹如图标300A显示于更远离自身的位置，所以在对图标300A进行操作时，可期待由用户12进行使指尖F位于更靠Z方向-侧的操作。由此，用户12的指尖F的到达位置50与图5的(b)的情况相比位于更靠Z方向-侧，如图5的(c)所示那样到达位置50位于检测基准40。因此，操作检测器13能够在检测基准40检测到用户12的指尖F。
以上，说明了由于手指的到达位置50与检测基准40相比位于近前(Z方向+侧)而无法在检测基准40检测到用户操作的情况。在由于到达位置50与检测基准40相比位于里侧(Z方向-侧)而无法在检测基准40检测到用户操作的情况下，检测基准控制部204也与上述同样地判定到达位置50，图像生成部201基于该到达位置50来变更第1范围311的位置。该情况下，图5的(d)示出到达位置50与检测基准40的位置关系。该情况下，为了在检测基准40检测到用户12的指尖F，与图5的(d)所示的情况相比，需要使到达位置50位于用户12侧、即Z方向+侧。即，为了使用户感知到空中成像300’和图标300A’位于图5的(d)中双点划线所示的位置，而在载台14上投影虚线所示的第1范围311’，使用户的指尖F与图示的位置相比向Z方向+侧移动。图像生成部201基于到达位置50与检测基准40的位置关系来控制亮度分布的重心位置G，由此将图4的(a)所示那样投影的第1范围311的投影位置变更为图4的(e)所示的第1范围311的投影位置。即，图像生成部201生成将第1范围311的位置向Z方向+侧进行了移动的辅助图像数据，投影仪15基于该辅助图像数据对投影光进行投影。
该情况下，图像生成部201基于检测基准40与到达位置50之间的偏移量、即Z方向上的距离来决定第1范围311即亮度分布的重心位置的移动量。该情况下、即检测基准40与到达位置50之间的偏移量为向Z方向-侧偏移2cm的情况下，图像生成部201以使第1范围311的移动量为向Z方向+侧移动2cm的方式，来决定亮度分布的重心位置的移动量。决定出的第1范围311的移动量被存储到存储部205。由于如图4的(e)、(f)所示那样第1范围311的投影位置发生变更，所以显示装置1使用户12感知为犹如图标300A向Z方向+侧、即接近用户12的方向进行了移动。由于用户12感知为犹如图标300A显示于更接近自身的位置，所以在对图标300A进行操作时，可期待由用户12进行使指尖F位于更靠Z方向+侧的操作。由此，用户12的指尖F的到达位置50与图5的(d)所示的情况相比位于Z方向+侧，如图5的(c)所示，到达位置50位于检测基准40。因此，操作检测器13能够在检测基准40检测到用户12的指尖F。
像这样，图像生成部201变更第1范围311的投影位置，使得用户12感知为图标300A的投影位置在与基于用户12对图标300A进行按下操作产生的方向相反的方向上发生了变更。此外，用户12的按下操作不限于严格地在沿着Z方向的方向上移动的情况。即使在用户12的按下操作相对于Z轴倾斜的情况下、即在用户12的按下操作的移动方向上包含Z方向成分的情况下，控制部20也判断为由用户进行了按下操作。然后，图像生成部201可以变更第1范围311的投影位置，使得用户12感知为图标300A的显示位置在基于按下方向产生的方向即Z方向上发生了变更。
此外，图像生成部201也可以基于用户12的按下操作使第1范围311的投影位置、即亮度分布的重心位置G移动，使得用户12感知为图标300A的显示位置在基于按下操作产生的方向、即与用户12的按下操作相反的方向上发生了变更。
此外，图像生成部201也可以为了变更辅助图像数据的亮度分布的重心位置，使得在初始显示的第1范围311与图4的(c)、(e)中的第1范围311之间形状不同。
另外，在到达位置50与检测基准40一致的情况下，检测基准控制部204也与上述同样地判定到达位置50。但是，由于到达位置50与检测基准40一致，所以图像生成部201不进行使用户12感知为图标300A的深度位置发生了变更这样的、第1范围311的投影位置的变更。
另外，在到达位置50与检测基准40相比位于里侧(Z方向-侧)的情况下，指尖F在到达到达位置50之前，会通过检测基准40。检测基准控制部204基于操作检测器13的检测输出，判定手指达到了检测基准40。但是，在第1校准处理模式中，图像生成部201不进行显示器11的显示切换。在到达位置50与检测基准40一致的情况下也是同样的，图像生成部201不进行显示器11的显示切换。当然，在指尖F到达了检测基准40时，例如图像生成部201也可以进行使图标300A闪烁等的强调显示，向用户12告知指尖F达到了检测基准40这一情况。
在以上的说明中，作为对图标300A的显示位置进行操作的例子，列举用户12按压图标300A的操作为例，但不限于此。也可以是，在由操作检测器13检测到用户12对图标300A进行的规定的非接触操作的情况下，基于进行了规定的非接触操作的地方、即由操作检测器13检测到规定的非接触操作的位置，图像生成部201变更第1范围311的位置。规定的非接触操作例如是触摸图标300A这样的手势操作。也可以是，基于进行了触摸图标300A这样的操作的位置，图像生成部201变更第1范围311的位置。对于触摸这样的操作，可列举例如用户12用手弹去图标300A这样的手势等。另外，作为进行了触摸这样的操作的位置，可以基于用户12用手弹去这样的手势结束而判定成用户12的手停止的位置和/或用户12用手弹去这样的手势开始的位置来决定。
另外，作为规定的非接触操作，是用户12使手指F以距离L1向Z方向-侧(里侧)移动后U形转弯并以距离L1向Z方向+侧(近前侧)移动的操作。即，该规定的非接触操作是向里侧的移动距离和向近前侧的移动距离相等的U形转弯轨迹。另外，该规定的非接触操作可以不是U形转弯即U字轨迹，而是描绘V字轨迹，另外，还可以是，手指F以距离L1向里侧移动后沿着该向里侧的移动轨迹以距离L1向近前侧移动的操作。而且，该规定的非接触操作还可以是，向里侧的移动距离L1与向近前侧的移动距离L1不相等、不相同。即，规定的非接触操作只要是进行接着手指向里侧的移动而使手指向近前侧移动的操作即可。
另外，作为规定的非接触操作，可以是用户12将手指F以距离L1向里侧移动后在规定时间使手指F停止的操作，也可以是用户12将手指F以距离L1向里侧移动后使手指F沿横向至少以规定距离L2移动的操作。
规定的非接触操作不限于上述各种以手指F的移动轨迹表示的操作，只要能以操作检测器13检测到其移动轨迹(手指F或手的移动轨迹)即可，也可以是描绘其他移动轨迹的操作。此外，由操作检测器13检测到规定的非接触操作的位置可以根据各个操作适当设定。例如，作为上述规定的非接触操作，在用户12将手指F以距离L1向里侧移后U形转弯、并以距离L1向近前侧移动的操作的情况下，可以将进行U形转弯中位于最靠Z方向-侧的位置设为检测到非接触操作的位置。作为该检测到规定的非接触操作的位置的其他例子，可以将距离L1的一半处的位置设为检测到非接触操作的位置。
此外，检测基准控制部204判定到达位置50的方法不限于上述的基于从压入移动向规定距离的返回移动的变化进行判定的方法，也能够如以下叙述那样根据以下说明的各种方法进行判定。例如，用户12感到指尖F到达图标300A的显示位置并执行了对图标300A的按压操作之后，停止手指向Z方向-侧的移动，即停止按压。检测基准控制部204根据操作检测器13检测到的静电容的值几乎没有变化这一情况，判定手指的按压停止，将该按压的停止位置判定即决定为到达位置50。此外，向Z方向-侧的移动的停止是根据操作检测器13检测到的静电容的值在短时间、例如0.1秒～1秒左右的期间没有变化而判定的。作为另一其他方法，检测基准控制部204根据静电容的变化来检测用户12的手指的移动的速度矢量、即手指的移动速度和移动方向。检测基准控制部204可以根据静电容的变化，基于手指的速度矢量的朝向从Z轴负向变化成Z轴正向及Z轴正向的速度矢量变成规定大小这一情况，将检测到Z轴正向的规定大小的速度矢量时的手指位置判定为到达位置50。在该方法的情况下，当将上述的速度矢量的规定大小设定成大致为零时，将速度矢量的朝向从Z轴负向变化为Z轴正向的时间点的手指位置、即手指最按压的位置判定为到达位置。当将规定大小设定为零以外的值时，将手指从上述最按压的位置以规定距离返回后的位置判定为到达位置50。如以上那样，到达位置50被决定为由检测基准控制部204判定成手指对图标的显示位置进行了操作时的指尖F的最按压位置或其附近位置。
另外，在上述例子中，检测基准控制部204以手指或触控笔中的与空中成像300的图标300A接触的部分、即指尖部分的位置或触控笔的端部位置为基准，决定到达位置。也可以取而代之，检测基准控制部204以用户12的手指的指甲尖的位置或手指的第1关节的位置为基准来决定到达位置。而且，检测基准控制部204不限于用户12的手指，在用户12以脚或肘等对图标进行操作的情况下，也可以以脚或肘等为基准来决定到达位置。在使用触控笔的情况下，可以对触控笔的规定位置赋予标记，检测基准控制部204以该标记的位置为基准来决定到达位置。此外，在使用手指的第1关节或触控笔的标记等来决定到达位置的情况下，作为操作检测器13，期望取代使用静电容式面板，而使用在后述的变形例8中说明的摄像装置等。
另外，在上述的说明中，将检测基准40设为单一平面或具有层差的平面，但不限定于此，检测基准40也可以是被夹于前表面(Z方向+侧)和后表面(Z方向-侧)的具有规定厚度的区域。该情况下，检测基准40既可以是后表面与空中成像30相比被设定于近前一侧(Z方向+侧)，也可以是前表面与空中成像30相比被设定于里侧(Z方向-侧)，还可以是被设定成空中成像30位于前表面与后表面之间。因此，检测基准控制部204能够更可靠地判定对显示位置的操作。例如，假设手指有时没有相对于图标30A大致沿着Z轴移动而从斜方向移动的情况。该情况下，若检测基准40如图3所示那样为平面，则不会通过与图标30A的位置对应的部分的检测基准40，而会从其旁边的部分通过，可能导致检测基准控制部204无法判定手指对图标30A的显示位置的操作。但是，由于检测基准40具有规定厚度，所以即使在手指从斜方向移动的情况下，检测基准控制部204也能够可靠地检测手指进入检测基准40。而且，在手指与空中成像30平行地移动地对图标30A的显示位置进行了操作的情况下，由于检测基准40具有规定厚度，所以检测基准控制部204也能够可靠地检测手指进入检测基准40内。
此外，在如上述那样检测基准40具有厚度的情况下，在检测基准40的内部没有进行上述的规定的非接触操作的情况下，检测基准控制部204判定为没有进行规定的非接触操作。例如，设为规定的非接触操作是用户12将手指F以距离L1向里侧移动后U形转弯并以距离L1向近前侧移动的操作。此时，设为用户12在检测基准40内将手指F以距离L1向里侧移动后没有使手指F向近前侧移动直至成为距离L1。该情况下，检测基准控制部204判定为没有由用户12进行规定的非接触操作。
若如以上那样进行第1校准处理模式，则基于该校准处理的结果，变更图3的(a)所示的空中成像操作模式下的辅助图像31的显示位置。
图6中示出反映了上述第1校准处理模式的校准处理结果的、空中成像操作模式下的空中成像30和辅助图像31。图6的(a)与图3的(a)同样地，示出初始显示的空中成像30和辅助图像31。在图6的(a)中，对以1行×3列排列的图标30A从左侧朝向纸面赋予附图标记30Aa、30Ab、30Ac。另外，对与图标30Aa、30Ab、30Ac分别对应的第1范围311，赋予附图标记311a、311b、311c。
图6的(b)示出反映了到达位置50位于检测基准40的近前的情况下(参照图5的(b))进行的校准处理的结果的空中成像30和第1范围311。即，图6的(b)示出以被感知为犹如图标30A向远离用户12的方向进行了移动的方式将第1范围311a～311c的显示位置向Z方向-侧变更的情况。由此，可期待用户12以与第1校准处理模式时相比到达位置50位于Z方向-侧的方式进行操作。
图6的(c)示出反映了在到达位置50位于检测基准40的里侧的情况下(参照图5的(d))进行的校准处理的结果的空中成像30和第1范围311。即，图6的(c)以被感知为犹如图标30A向接近用户12的方向进行了移动的方式，变更了第1范围311a～311c的显示位置的情况。由此，可期待用户12以与第1校准处理模式时相比到达位置50位于Z方向+侧的方式进行操作。
如以上那样，基于以第1校准处理模式检测到的用户12的操作位置与检测基准40之间的距离，在空中成像操作模式中对将投影到图标30A的下方的第1范围311的位置变更后的辅助图像31进行投影。即，显示装置1通过控制辅助图像31的显示形态(第1范围311的位置)来变更空中成像30的显示位置、即检测基准40与辅助图像31的位置关系。
此外，在图6所示的例子中，图像生成部201针对多个图标30Aa、30Ab、30Ac的全部图标，基于校准处理的结果，变更了其第1范围311a、311b、311c的显示位置，但不限定于此。图像生成部201也可以变更与多个图标30Aa～30Ac对应的第1范围311a～311c中的至少一个第1范围311的显示位置。或者，图像生成部201还可以针对各图标30Aa、30Ab、30Ac，分别单独反映校准处理的结果并变更第1范围311a、311b、311c的显示位置。
参照图7所示的流程图来说明上述说明的第1校准处理模式和空中成像操作模式。图7的流程图所示的各处理在显示装置1被起动后由控制部20执行程序而进行。该程序存储在存储部205内。
在步骤S1中，若识别到由用户12利用校准处理模式选择用的操作按键选择了第1校准处理模式，则进入步骤S2。在步骤S2中，图2所示的校准部203开始第1校准处理模式，然后进入步骤S3。在步骤S3中，图像生成部201生成校准用的显示用图像数据，显示控制部202在显示器11上显示基于显示用图像数据的校准用图像，并且检测基准控制部204将检测基准40设定为规定的初始位置。同时，图像生成部201生成辅助图像31用的图像数据，投影仪15如图4的(a)所示那样，将辅助图像31以其第1范围311位于图标300A之下的方式投影到投影区域140。显示器11的显示图像是由成像光学系统9生成的图4的(a)所示的校准用的空中成像300，空中成像300包括图标300A和消息“进行校准。请触摸该图标”。在步骤S4中，操作检测器13检测用户12的指尖F向Z方向-侧的移动，然后进入步骤S5。
在步骤S5中，图2所示的检测基准控制部204基于操作检测器13的检测输出，判定手指是否到达了到达位置50。在步骤S5中进行了肯定判定的情况下、即判定为手指到达了到达位置50的情况下，进入步骤S6。在步骤S5中进行了否定判定的情况下、即判定为手指没有停止的情况下，直至进行肯定判定为止待机。在步骤S6中，图像生成部201基于到达位置50与检测基准40之间的距离，变更亮度分布的重心位置并生成辅助图像数据。另外，图像生成部201将此时的重心位置的移动量、即表示第1范围311的移动量的数据存储到图2所示的存储部205，然后进入步骤S7。
在步骤S7中，结束第1校准处理模式，然后进入步骤S8。在步骤S8中，开始空中成像操作模式，然后进入步骤S9。在步骤S9中，显示图8所示的包含空中成像操作模式用的图标30A的空中成像30。此时，图像生成部201从存储部205读出在步骤S6中存储到存储部205的表示第1范围311的移动量的数据。图像生成部201基于所读出的数据生成空中成像操作模式用的辅助图像数据，投影仪15基于辅助图像数据将辅助图像31投影到载台14上。像这样，在该空中成像操作模式中，以设定了适于在第1校准处理模式中设定的用户12的操作特性的图标30A与辅助图像31的位置关系的状态，显示空中成像30。
若用户12为了对图标30A的显示位置进行操作而将手指朝向空中成像30沿Z方向移动，则在步骤S10中，图2所示的操作检测器13检测用户12的手指向深度方向的移动，然后进入步骤S11。在步骤S11中，检测基准控制部204基于操作检测器13的检测输出来判定手指是否到达了检测基准40。在步骤S11中进行了肯定判定的情况下、即判定为手指到达了检测基准40的情况下，进入步骤S12。在步骤S11中进行了否定判定的情况下、即判断为手指没有达到检测基准40的情况下，直到进行肯定判定为止待机。在步骤S12中，显示控制部202将显示器11的显示图像切换到与被操作的图标30A相应的显示图像，然后进入步骤S13。在步骤S13中，判定是否进行了显示装置1的停止操作。在步骤S13中进行了肯定判定的情况下、即进行了显示装置1的停止操作的情况下，显示装置1停止。在步骤S13中进行了否定判定的情况下，返回步骤S10。
在以上的说明中，第1校准处理模式是在显示装置1被起动后、空中成像操作模式之前执行的，但第1校准处理模式也能够在空中成像操作模式之后执行。例如，用户12在空中成像操作模式的执行过程中，在例如对图标30A的显示位置的操作觉得不适时，对显示装置1的校准处理模式选择用的操作按键进行操作，选择第1校准处理模式。该情况下，将执行中的空中成像操作模式中断并执行第1校准处理模式，在该第1校准处理模式结束后，重新开始空中成像操作模式。此外，可以取代上述的按照用户12对操作按键的操作而显示装置1选择第1校准处理模式，校准部203在根据对图标30A的显示位置的操作的不适应感检测到用户12抱有不快感的情况时，执行第1校准处理模式。显示装置1检测例如用户12的脉搏数(生物体信息)，在检测到的脉搏数超过规定值的情况下，能够检测出用户12抱有不快感的情况。
接下来，参照图8及图9说明第2校准处理模式。此外，对于以下说明的第2校准处理模式，可以适当适用在上述第1校准处理模式中说明的处理。
图8是示出空中成像操作模式用的空中成像30、检测基准40、和指尖F的到达位置50的图。图9是示出第2校准处理模式的动作的流程图。图9的流程图所示的各处理在显示装置1的起到后由控制部20执行程序而进行。
在步骤S21中，识别选择了第2校准处理模式这一情况，然后进入步骤S22。在步骤S22中，空中成像操作模式和第2校准处理模式一并开始，然后进入步骤S23。在步骤S23中，显示图3所示的包含图标30A在内的空中成像30，并且图2所示的检测基准控制部204将检测基准40设定到预先确定的初始位置、例如空中成像30的位置或比空中成像30的位置稍靠Z方向+侧的位置，然后进入步骤S24。此时，投影仪15将辅助图像31投影到与图标30A的初始位置相应的位置、即从操作检测器13向Z方向+侧的距离H1的位置。此时，在空中成像30上以短时间显示消息“在图标的操作过程中进行校准”。此外，该消息可以不显示。
在步骤S24中，若用户12为了对图标30A的显示位置进行操作而使手指向Z方向-侧移动，则操作检测器13开始检测手指的移动，然后进入步骤S25。在步骤S25中，检测基准控制部204基于操作检测器13的检测输出，判定手指是否在向Z方向-侧的移动过程中通过了检测基准40。在步骤S25中进行了肯定判断的情况下，即手指在向Z方向-侧的移动过程中通过检测基准40并进一步向Z方向-侧移动了的情况下，进入步骤S26。图8的手指F1表示在向Z方向-侧的移动过程中通过了检测基准40的手指。在步骤S26中，检测基准控制部204判定手指F1到达了检测基准40、即通过了检测基准40，然后进行图标显示的切换，即，基于空中成像30被操作的图标30A进行切换，然后进入步骤S27。在步骤S27中，检测基准控制部204判定手指F1是否到达了到达位置50，在肯定判定的情况下进入步骤S28，在否定判定的情况下会维持到肯定判定为止。在步骤S28中，图像生成部201基于到达位置50与检测基准40之间的距离，变更第1范围311的位置，然后进入步骤S33。具体地说，图像生成部201以如图4的(d)所示那样第1范围311位于Z方向+侧(用户12侧)的方式，生成变更了亮度分布的重心位置的辅助图像数据。投影仪15基于生成的辅助图像数据将辅助图像31投影到载台14上。
此外，在步骤S28中，检测基准控制部204对到达位置50和检测基准40的比较位置关系，在检测到到达位置50没有位于距检测基准40比规定范围靠Z方向-侧的位置的情况下，图像生成部201可以不变更辅助图像31的投影位置。或者，图像生成部201也可以将辅助图像31的投影位置的变更量(辅助图像31的移动量)设定为零(即，实质上没有变更辅助图像31的投影位置)。
在前述步骤S25中进行了否定判定的情况下，即在手指向Z方向-侧的移动过程中没有通过检测基准40的情况下，进入步骤S29。在步骤S29中，检测基准控制部204基于操作检测器13的检测输出，判定指尖F是否到达了到达位置50，在肯定判定的情况下进入步骤S30。在否定判定的情况下会维持到肯定判定为止。图8的手指F2示出到达位置50与检测基准40一致这一情况。在步骤S30中，检测基准控制部204基于操作检测器13的检测输出，判定到达位置50是否与检测基准40一致，在肯定判定的情况下进入步骤S31，在否定判定的情况下进入步骤S32。在步骤S31中，由于到达位置50与检测基准40一致，所以进行图标显示的切换，但不进行第1范围311的移动而进入步骤S33。
此外，检测基准控制部204在到达位置50与检测基准40不完全一致的情况下，例如在距检测基准40的规定范围内检测出到达位置50的情况下，也可以判定成到达位置50与检测基准40一致。该情况下，在图9的步骤S25中，检测基准控制部204可以判定到达位置50是否位于距检测基准40比规定范围靠下方的位置。在到达位置50位于距检测基准40比规定范围靠下方的位置的情况下，步骤S25进行肯定判定并进入步骤S26。另外，在步骤S30中，检测基准控制部204可以判定到达位置50是否距检测基准40位于规定范围内。在到达位置50距检测基准40位于规定范围内的情况下，步骤S30进行肯定判定并进入步骤S31。
在步骤S32中，如图8的手指F3所示那样到达位置50位于检测基准40的Z方向+侧，图像生成部201基于到达位置50与检测基准40之间的距离变更第1范围311的位置。具体地说，图像生成部201以如图4的(c)所示那样第1范围311位于Z方向-侧(与用户12侧为相反侧)的方式，生成变更了亮度分布的重心位置的辅助图像数据。投影仪15基于生成的辅助图像数据将辅助图像31投影到载台14上。在步骤S33中，判定是否进行了第2校准处理模式的结束操作，在肯定判定的情况下结束第2校准处理模式，在否定判定的情况下返回步骤S24。
如以上那样，第2校准处理模式在执行空中成像操作模式的过程中并行进行，无需有意识地执行校准处理，就能够以适于用户12的检测基准40执行针对空中成像30的显示位置的操作。此外，可以不必由用户12选择第1～2校准处理模式。也可以是显示装置1自动选择第1～2校准处理模式中的某一个。另外，也可以不具备第1～2校准处理模式中的全部模式，而具有其中的一个模式。
另外，在第1实施方式中，以使用户感知为图标30A的显示位置沿着Z轴方向发生了变更的方式，图像生成部201对辅助图像31的显示形态进行变更，但不限定于此。例如，图像生成部201也可以以使被感知为图标30A的显示位置的移动方向的方向被感知为是在成像光学系统9的光轴方向上移动的方式，变更辅助图像31的显示形态。即，在本实施方式中，图像生成部201可以以使用户12感知为在与成像光学系统9的光轴正交的方向以外的方向上进行了移动的方式，变更辅助图像31的显示形态。因此，图像生成部201可以以在第1范围311的移动方向上包含沿着成像光学系统9的光轴的成分的方式使显示位置移动。
另外，在上述第1实施方式中，说明了辅助图像31被投影到投影区域140内的一部分的固定区域，但辅助图像31的投影区域可以不是固定的。辅助图像31可以在投影区域140内移动地被投影，也可以变更大小地被投影。
此外，在上述第1实施方式的显示装置1中，投影仪控制部200可以基于显示装置1周围的亮度来控制投影仪15投影的辅助图像31的亮度。该情况下，在显示装置1的主体10上设有检测周围明亮度的照度传感器等。此外，作为照度传感器，可以使用相机的测光功能。在由于显示装置1被目光或照明等照射而使显示装置1的周围明亮的情况下，由投影仪15投影的辅助图像31的第1范围311不易被用户12视觉辨认。因此，在显示装置1周围明亮的情况下，通过提高从投影仪15投影的第2范围312的亮度，而使用户12视觉辨认暗的第1范围311。
该情况下，投影仪控制部200基于由照度传感器检测出的周围亮度的增减，使与第2范围312对应的范围的投影光的亮度增减。投影仪控制部200可以控制成投影光基于周围亮度的增减而线性增减，也可以控制成周围亮度按每规定量的增减而阶梯性增减。另外，在周围亮度超过规定值的情况下也可以由投影仪控制部200控制与第2范围312对应的范围的投影光的亮度。
此外，并不限定于基于周围亮度来控制投影仪15的投影光的亮度。例如，可以通过用户12的操作设定投影仪15的投影光的亮度，投影仪控制部200按照该设定来控制投影光的亮度。该情况下，用户12能够对设于显示装置1的主体10的操作按键进行操作来设定投影仪15的投影光的亮度。此外，显示装置1也可以将该操作按键显示为空中成像。
另外，在来自投影仪15的投影光被以高亮度投影的情况下，存在用户12因明亮的投影光而不易视觉辨认空中成像30、300的情况。该情况下，显示控制部202基于投影仪15的投影光的亮度的增减，使显示于显示器11的显示图像的亮度增减。显示控制部202可以控制成显示图像的亮度基于投影光的增减而线性增减，也可以控制成投影光的亮度按每规定量的增减而阶梯性增减。另外，在投影光的亮度超过规定值的情况下，也可以由显示控制部202控制显示于显示器11的显示图像的亮度。
此外，即使在如上述那样基于用户12的操作来设定投影仪15的投影光的亮度的情况下，显示控制部202也能够基于所设定的亮度来控制显示器11的显示图像的亮度。
此外，不限定于基于投影光的亮度来进行显示控制部202对显示图像的亮度控制，也可以基于显示装置1的周围亮度来进行。即，也可以是，显示控制部202基于周围亮度的增减来进行显示器11的显示图像的亮度的控制。
此外，另外，在上述第1实施方式中，作为辅助图像31列举了相当于影子的图像为例，但也能够作为辅助图像31而适用相当于影子的图像以外的图像。例如，作为辅助图像31，可以显示示出空中成像30的位置且载置物体的台架、桌子、书案等。存在通过将上述那样的辅助图像31显示于空中成像30之下而由用户12感知为犹如空中成像30被载置于辅助图像31的情况。
此外，如后述第3实施方式的变形例2记载那样，辅助图像31显示与空中成像30的关联性越高的物体，用户12越可能感知到空中成像30显示于辅助图像31中的第1范围311的位置。在后详细说明那样，辅助图像31与空中成像30之间的关联性高是指，使辅助图像31和空中成像30显示的对象彼此在现实世界较近地设置、或相接触地设置、或使对象彼此一体地构成等。
在第1实施方式中，图像生成部201基于检测用户12的操作的检测基准40与被检测出的用户12的操作位置之间的位置关系来控制辅助图像31。由此，用户12能够基于辅助图像31在检测基准40进行操作。具体地说，图像生成部201根据由操作检测器13检测出的操作，对显示亮度高的第2像(第2显示像)的显示形态进行变更。由此，辅助图像31中的亮度低的区域即第1范围311的位置变化，用户能够将该第1范围311作为头绪并在检测基准40进行操作。
另外，在第1实施方式中，图像生成部201在没有在检测基准40检测到用户12的操作的情况下，控制辅助图像31。由此，用户12能够基于辅助图像31感知检测基准40的位置，并在检测基准40进行操作。
另外，在第1实施方式中，图像生成部201控制第2显示区域内的辅助图像31的第1范围311。由此，用户12能够基于相当于图标30A的影子的图像来感知检测基准40的位置。
另外，在第1实施方式中，图像生成部201控制作为第2显示的辅助图像31的显示形态。由此，用户12容易通过视觉辨认辅助图像31的显示形态来感知检测基准40的位置。
另外，在第1实施方式中，图像生成部201控制第2显示区域内的辅助图像31的第1范围311。由此，用户12容易通过视觉辨认相当于图标30A的影子的图像的显示形态来感知检测基准40的位置。
另外，在第1实施方式中，图像生成部201以使用户12感知为空中成像30的位置变更为用户12侧或用户12侧的相反侧的方式，对辅助图像31的显示形态进行变更。因此，使用户12变更沿着Z方向进行操作的位置，并能够在检测基准40检测到用户操作。
另外，在第1实施方式中，图像生成部201基于相对于检测基准40的、用户12的操作被检测到的位置，来决定对辅助图像31的第1范围311的位置进行变更的方向。由此，能够通过校准处理使用户12的操作的到达位置50到达检测基准40。
另外，在第1实施方式中，图像生成部201使辅助图像31的第1范围311在基于用户12的操作产生的方向、或与基于用户12的操作产生的方向相反的方向上移动。因此，使用户12变更沿着Z方向进行操作的位置，并能够在检测基准40检测到用户操作。
此外，在用户12进行按下操作的情况下，图像生成部201使辅助图像31的第1范围311在基于用户12的按下操作产生的方向或与基于按下操作产生的方向相反的方向上移动。由此，用户12变更按下操作的位置，并能够在检测基准40检测到用户操作。
另外，在第1实施方式中，在用户12的操作没有到达检测基准40的情况下(参照图5的(b))，图像生成部201使辅助图像31的第1范围311的显示位置在基于用户12的操作产生的方向上移动。即，用户12感知为犹如图标30A的位置向远离用户12的方向发生了变更。由此，能够使用户12进一步向Z方向负向进行操作，而达到检测基准40。
另外，在第1实施方式中，在用户12的操作到达检测基准40的情况下(参照图5的(d))，图像生成部201使辅助图像31的第1范围311的显示位置在与基于用户12的操作产生的方向相反的方向上移动。即，用户12感知为犹如图标30A的位置向接近用户12的方向发生了变更。由此，能够使用户12在更接近用户12侧的位置进行操作，使用户12的操作位于检测基准40。
另外，在第1实施方式中，图像生成部201控制辅助图像31的亮度的分布。由此，能够使用户12在图标30A的下方感知到犹如影子那样的第1范围311。
另外，在第1实施方式中，图像生成部201控制辅助图像31的亮度分布的亮度的重心位置。由此，能够使用户12感知为犹如辅助图像31的第1范围311进行了移动。
另外，在第1实施方式中，图像生成部201基于用户12的操作来控制辅助图像31的亮度分布的亮度的重心位置。由此，辅助图像31的第1范围311基于用户12的操作而移动，能够使用户12感知检测基准40的位置。
另外，在第1实施方式中，图像生成部201基于用户12的操作的到达位置50是否到达了检测基准40，来决定使辅助图像31的亮度分布的亮度的重心位置移动的方向。由此，能够通过校准处理使用户12的操作的到达位置50到达检测基准40。
另外，在第1实施方式中，图像生成部201使辅助图像31的亮度分布的亮度的重心位置在基于用户12的操作产生的方向、或与基于用户12的操作产生的方向相反的方向上移动。因此，使用户12变更沿着Z方向进行操作的位置，能够在检测基准40检测到用户操作。
此外，在用户12进行按下操作的情况下，图像生成部201使辅助图像31的亮度分布的亮度的重心位置在基于用户12的按下操作产生的方向或与基于按下操作产生的方向相反的方向上移动。由此，用户12变更按下操作的位置，能够在检测基准40检测到用户操作。
另外，在第1实施方式中，在用户12的操作没有到达检测基准40的情况下(参照图5的(b))，图像生成部201使辅助图像31的亮度分布的亮度的重心位置在基于用户12的操作产生的方向上移动。即，用户12感知为犹如图标30A的位置向远离用户12的方向发生了变更。由此，能够使用户12进一步向Z方向负向操作而到达检测基准40。
另外，在第1实施方式中，图像生成部201在用户12的操作到达检测基准的情况下(参照图5的(d))，使辅助图像31的亮度分布的亮度的重心位置向与基于用户12的操作产生的方向相反的方向移动。即，用户12感知为犹如图标30A的位置向接近用户12的方向发生了变更。由此，能够使用户12在更接近用户12这一侧的位置进行操作，能够使用户12的操作位于检测基准40。
(第1实施方式的变形例1)
在第1实施方式中，说明了基于校准处理的结果来变更在载台14上投影的第1范围311的位置的情况。在变形例1中，说明能够适用为辅助图像31的显示形态的例子。
<1.变更第1范围311的大小>
图像生成部201可以基于图标30A的大小来使第1范围311的大小不同。例如，如图10的(a)所示，设为作为与空中成像操作模式对应的空中成像30而显示有两个图标30A1、30A2。在图10的(a)中，与图标30A1相比，图标30A2的大小较大。该情况下，图像生成部201以使与图标30A2对应的第1范围311A2比与图标30A1对应的第1范围311A1更大即面积更大的方式，设定亮度分布并生成辅助图像数据。
另外，在针对图10的(b)所示那样初始显示的图标30A和第1范围311而切换到图标30A的大小不同的显示的情况下，图像生成部201可以基于图标30A的大小的变更来变更第1范围311的大小。例如，如图10的(c)所示，在将图标30A的大小放大了的情况下，图像生成部201以基于图标30A的放大率使第1范围311的大小放大的方式设定亮度分布并生成辅助图像数据。通过投影仪15基于辅助图像数据对辅助图像31进行投影，而如图10的(c)所示，将面积比初始显示下的第1范围311大的第1范围311投影到图标30A的下方。
此外，图像生成部201也可以将上述的第1范围311的大小的变更和第1实施方式中说明的第1范围311的显示位置的移动组合来生成显示用图像数据。
在第1实施方式的变形例1中，图像生成部201基于图标30A的大小来变更辅助图像31的第1范围311的大小。由此，用户12识别为图标30A与第1范围311之间存在关联，能够将辅助图像31作为头绪而感知图标30A的位置。
<2.调节第1范围311的明亮度>
图像生成部201可以以基于图标30A的Y方向上的显示位置而使第1范围311的明亮度不同的方式生成辅助图像数据。通常，实物与其影子所形成的面之间的铅垂方向上的距离越大则影子越淡，越近则影子越浓。图像生成部201通过控制第1范围311的浓度即明亮度而在空中成像30与第1范围311之间再现该现象。该情况下，图像生成部201控制辅助图像数据的整个区域的亮度分布的平均值。亮度分布的平均值Av用以下的式(2)表示。
此外，在式(2)中，与上述式(1)的情况同样地，将以k行×k列排列的显示像素的坐标设为(xi，yj)，f(xi，yj)表示坐标(xi，yj)处的显示像素的亮度。关于此处的说明，以k行×k列的范围是将第1范围311的整个范围和第2范围312的整个范围合起来的范围进行说明。
另外，k行×k列的显示像素并非必须是将第1范围311的整个范围和第2范围312的整个范围合起来的范围，也可以相当于将第1范围311的整个范围和第2范围312的一部分范围合起来的范围。另外，k行×k列的显示像素还可以相当于将第1范围311中的除去一部分后的范围和第2范围312的一部分范围合起来的范围。
图11的(a)是表示初始显示的图标30A和辅助图像31的图。将该情况下的图标30A与载台14之间的Y方向上的距离设为Hy1。该情况下，图像生成部201生成以使第1范围311的亮度相对于第2范围312的亮度例如为50％的方式设定了亮度分布的平均值的辅助图像数据。图11的(b)示出图标30A的显示位置与初始显示的情况相比向Y方向-侧发生了变更的情况。将该情况下的图标30A与载台14之间的Y方向上的距离设为Hy2(＜Hy1)。图像生成部201基于相对于初始显示的情况下的图标30A与载台14的距离Hy1的差值(Hy1-Hy2)，生成将图11的(b)的第1范围311的整个范围和第2范围312的整个范围合起来的范围的亮度分布的平均值设定得小于图11的(a)的平均值的辅助图像数据。该情况下，图像生成部201以使第1范围311的清晰度比初始显示的情况高的方式生成辅助图像数据。由此，通过投影仪15将比初始显示的情况暗的第1范围311投影到图标30A的下方。由于上述式(2)的计算中使用的显示像素的k行×k列的区域是固定的，所以图像生成部201能够在与初始显示的第1范围311之间比较亮度。但在辅助图像31的投影范围为投影区域140的整个区域的情况下，有时使显示像素的k行×k列的区域移动或使其大小变更，也能够在与初始显示的第1范围311之间比较亮度。此外，在图11的(b)中，为便于图示，通过将对第1范围311赋予的点阵比图11的(a)的情况描绘得密，来表示将第1范围311变更为低亮度。
图11的(c)示出图标30A的显示位置与初始显示的情况相比向Y方向+侧发生了变更的情况。将该情况下的图标30A与载台14之间的Y方向上的距离设为Hy3(＞Hy1)。图像生成部201基于相对于初始显示的情况下的图标30A与载台14的距离Hy1的差值(Hy3-Hy1)，生成将图11的(c)的第1范围311的整个范围和第2范围312的整个范围合起来的范围的亮度的平均值设定得比图11的(a)的平均值大的辅助图像数据。该情况下，图像生成部201以使第1范围311的清晰度比初始显示的情况变低的方式生成辅助图像数据。由此，通过投影仪15将比初始显示的情况明亮的第1范围311投影到图标30A的下方。在图11的(b)中，为了便于图示，通过将对第1范围311赋予的点阵比图11的(a)的情况描绘得粗，来表示将第1范围311变更为低亮度。
此外，在以上的说明中，说明了图像生成部201变更第1范围311的明亮度的例子。图像生成部201也可以将第1范围311的明亮度的变更、上述的第1范围311的大小的变更和第1实施方式中说明的相对于第1范围311的显示位置的移动适当组合来生成显示用图像数据。
在第1实施方式的变形例1中，变更第1范围311的清晰度。由此，能够使用户12感知为犹如图标30A在空中的显示的位置发生了移动，能够变更用户12的操作位置。
<3.第1范围311追随空中成像30的显示位置的移动而移动>
在图标30A的显示位置移动的情况下，图像生成部201可以以追随图标30A的移动而使第1范围311也在载台14上移动的方式生成辅助图像数据。该情况下，显示装置1在用户12进行了规定手势的情况下，遵照该手势使空中成像30移动。该情况下，显示装置1具有图12的主要部分结构的框图所示的结构。即，显示装置1具有控制部20、由控制部20控制的摄像装置18、显示器11、成像光学系统9、操作检测器13和投影仪15。摄像装置18能够适用与在后详细说明的变形例8的显示装置1所具备的摄像装置相同的结构。控制部20除了图2所示的第1实施方式的显示装置1的控制部20所具有的结构以外，还具备检测部212和决定部213。检测部212使用由摄像装置18生成的多个摄像数据，来检测由用户12做出的手势。决定部213基于检测到的手势，来决定空中成像30的移动方向和/或移动量。
正在视觉辨认由显示装置1形成的空中成像30的用户12在想要使空中成像30的位置移动的情况下，做出预先确定的特定手势。作为预先确定的特定手势，例如，在用户12想要使正在视觉辨认的空中成像30的位置向右侧(例如X方向+侧)移动的情况下，具有用户12将手或手腕向右方向(例如X方向+侧)摆动的动作、用户12向显示装置1的方向按压手指或手之后以向一定方向(X方向+侧)拨动的方式移动的滑动动作、将手指或手以向一定方向(X方向+侧)描画的方式移动的轻扫动作等。另外，在用户12想要使正在视觉辨认的空中成像30向近前侧(例如Y方向+侧)移动的情况下，具有用户12将向前突出的手腕拉回到近前的动作、招手的动作等。
检测部212使用由摄像装置18拍摄得到的摄像数据，在摄像数据上检测用户12是否做出了上述手势。若通过检测部212检测到做出了手势，则决定部213决定使空中成像30移动的方向和移动量。该情况下，决定部213在用户12做出了将手或手腕向右方向(X方向+侧)摆动的手势的情况下，将用户12的手或手腕移动的X方向+侧决定为使空中成像30移动的方向。决定部213遵照做出手势时手或手腕的移动量来决定空中成像30的移动量。即，决定部213在用户12摆动手或手腕时的手或手腕的移动量小的情况下使空中成像30的移动量小，在手或手腕的移动量大的情况下使空中成像30的移动量大。或者，决定部213也可以从形成有空中成像30的位置移动到分开了预先确定的移动量的位置。即，无论用户12做出的手势的大小如何，空中成像30均以固定的移动量移动。该情况下，在空中成像30尚未移动到用户12所期望的位置的情况下，用户12反复进行同样的手势直至空中成像30移动到所期望的位置。
图像生成部201基于由决定部213决定出的空中成像30的移动方向和移动量，生成显示用图像数据，并且基于上述的移动方向和移动量来变更第1范围311的位置、即亮度分布的重心位置，生成辅助图像数据。其结果为，空中成像30基于用户12做出的手势而在XY平面上移动，第1范围311伴随空中成像30的移动，以在空中成像30的下方的载台14上移动的方式而被投影仪15投影。即，第1范围311追随空中成像30的移动而在空中成像30的下方在载台14上移动。
此外，在以上的说明中，说明了图像生成部201使第1范围311追随空中成像30的移动而移动的例子。图像生成部201除了第1范围311的移动以外，也可以将上述第1范围311的明亮度的变更、上述第1范围311的大小的变更、第1实施方式中说明的相对于第1范围311的显示位置的移动进行适当组合来生成显示用图像数据。
在第1实施方式的变形例1中，图像生成部201在图标30A的位置发生了变更的情况下，追随图标30A的位置而变更辅助图像31的第1范围311的位置。由此，即使在图标30A发生了移动的情况下，用户12也能够感知图标30A的Z方向上的位置。
<4.基于空中成像30的沿着Y方向的移动来变更第1范围311的形状>
图像生成部201可以以基于图标30A的Y方向上的显示位置而使第1范围311的大小和/或形状不同的方式生成辅助图像数据。通常，实物与其影子所形成的面之间的铅垂方向上的距离越大则影子越大、边缘越模糊，距离越近则影子越小、边缘越清楚。图像生成部201通过控制第1范围311的大小和模糊量而在空中成像30与第1范围311之间再现该现象。
图13的(a)与上述图11的(a)同样地，是表示初始显示的图标30A和辅助图像31的图，将图标30A与载台14之间的Y方向上的距离设为Hy1。该情况下，图像生成部201基于距离Hy1，相对于图标30A的大小而放大第1范围311的大小，生成以第1范围311的模糊量成为规定的初始状态的方式设定了亮度分布的平均值的辅助图像数据。
图13的(b)示出图标30A的显示位置与初始显示的情况相比向Y方向-侧发生了变更的情况。将该情况下的图标30A与载台14之间的Y方向上的距离设为Hy2(＜Hy1)。图像生成部201基于相对于初始显示的情况下的图标30A与载台14的距离Hy1的差值(Hy1-Hy2)，将第1范围311的大小与初始显示的情况下的大小相比缩小，以使模糊量比初始状态的情况小而变得清楚的方式，将上述式(2)所示的亮度分布的平均值设定为小的值来生成辅助图像数据。由此，通过投影仪15将比初始显示的情况范围小、且边缘清楚的暗的第1范围311投影到图标30A的下方。此外，在图13的(b)中，以虚线示出初始显示时的第1范围311，但实际上该第1范围311既可以不被投影，也可以被以低亮度投影。
图13的(c)示出图标30A的显示位置与初始显示的情况相比向Y方向+侧发生了变更的情况。将该情况下的图标30A与载台14之间的Y方向上的距离设为Hy3(＞Hy1)。图像生成部201基于相对于初始显示的情况下的图标30A与载台14的距离Hy1的差值(Hy3-Hy1)，将第1范围311的大小与初始显示的情况下的大小相比放大而增大模糊量。即，图像生成部201将上述的式(2)所示的亮度分布的平均值设定为比初始状态时大的值而生成辅助图像数据。由此，通过投影仪15将比初始显示的情况范围大且边缘模糊的亮的第1范围311投影到图标30A的下方。
此外，在上述的说明中，图像生成部201基于图标30A的Y方向上的位置来变更第1范围311的大小和模糊量，但也可以变更第1范围311的大小和模糊量中的某一方。
另外，图像生成部201在变更影子区域的大小和边缘部的模糊量时，可以将上述的第1范围311的移动、上述的第1范围311的明亮度的变更、上述的第1范围311的大小的变更和第1实施方式中说明的相对于第1范围311的显示位置的移动进行适当组合来生成显示用图像数据。
在第1实施方式的变形例1中，图像生成部201控制辅助图像31的亮度分布的平均值。由此，第1范围311的大小能够变更，因此用户12容易掌握图标30A与辅助图像31的关系。
另外，在第1实施方式的变形例1中，图像生成部201在将图标30A的影子的大小增大的情况下，将辅助图像31的亮度分布的平均值减小。由此，使用辅助图像31再现了实际物体与影子的关系性，用户12容易掌握图标30A与辅助图像31的关系。
此外，图像生成部201能够通过例如后述的第3实施方式(参照图29)的显示器11和成像光学系统9来显示上述变形例1的例2～例4中说明的辅助图像31和图标30A。即，控制辅助图像31的亮度分布的平均值，空中成像30的图标30A使用户12感知为犹如图标30A的位置基于用户12的操作与检测基准40之间的位置关系而进行了移动。
检测基准控制部204在载台14的上方(Y方向+侧)的操作检测器13的检测范围13A内将检测基准40设定为与ZX平面平行。该情况下，用户12进行使手指从Y方向+侧向-侧移动的按下操作，然后再次以向Y方向+侧返回的方式移动。即，操作检测器13检测用户12对空中成像30进行的按下操作的在成像光学系统9的光轴方向上的到达位置。投影仪15与第1实施方式同样地将辅助图像31投影到配置于空中成像30的图标下方(Y方向-侧)的载台14上。此外，根据来自投影仪15的投影光，调整投影方向，以使得用户12进行操作的手指等不会作为影子映于载台14上。
图14的(a)～(c)示意地示出该情况下显示的空中成像30和辅助图像31。图14的(a)示出初始显示了图标30A和辅助图像31的情况。该情况下，图像生成部201基于距离Hy1相对于图标30A的大小放大第1范围311的大小，生成以使第1范围311模糊量成为规定的初始状态的方式设定了亮度分布的平均值的辅助图像数据。
说明感知为从图14的(a)所示的初始显示的状态将图标30A相对于成像光学系统9的光轴方向向远离用户12的方向进行了移动的情况。用户12按下手指的操作的到达位置与检测基准40相比靠上方(Y方向+侧)的情况下，图像生成部201变更第1范围311的显示形态。如图14的(b)所示，图像生成部201以第1范围311的大小变得比虚线所示的初始显示的第1范围311小、且成为相当于浓度浓的影子的图像的方式，设定亮度分布的平均值。即，图像生成部201在到达位置没有到达检测基准40的情况下，生成将辅助图像31的亮度分布的平均值减小了的辅助图像数据。该情况下，用户12视觉辨认第1范围311的显示形态，感知为犹如图标30A向Y方向-侧进行了移动。由此，可期待用户12进行操作的到达位置、指定位置更靠Y方向-侧。
说明感知为从图14的(a)所示的初始显示的状态将图标30A相对于成像光学系统9的光轴方向向接近用户12的方向进行了移动的情况。在用户12按下手指的操作的到达位置比检测基准40靠下方(Y方向-侧)的情况下，图像生成部201变更第1范围311的显示形态。如图14的(c)所示，图像生成部201以第1范围311的大小变得比虚线所示的初始显示的第1范围311大、且成为相当于浓度淡的影子的图像的方式，设定亮度分布的平均值。即，图像生成部201在到达位置到达检测基准40的情况下，生成将辅助图像31的亮度分布的平均值增大了的辅助图像数据。该情况下，用户12视觉辨认第1范围311的显示形态，感知为犹如图标30A向Y方向+侧进行了移动。由此，可期待用户12进行操作的到达位置、指定位置更靠Y方向+侧。
<5.与空中成像30的俯仰(pitch)方向上的移动相应的变更>
说明在空中成像30不显示于与XY平面平行的面内的情况下、即在空中成像30相对于ZX平面以规定的倾斜角度θ0(＜90°)倾斜而显示的情况下、即在相对于垂直方向(Y方向)倾斜地显示的情况下的图标30A的辅助图像31。
图15中示意地示出该情况下的图标30A和辅助图像31。图15的(a)示出初始显示，图15的(b)示出图标30A远离用户12的情况下的显示，图15的(c)示出图标30A接近用户12的情况下的显示。
在这样的空中成像30中，图像生成部201以使用户12感知为犹如使图标30A沿着与相对于ZX平面具有规定斜率的平面正交的方向、即箭头AR1移动的方式生成辅助图像数据。此外，箭头AR1的方向不限定于与相对于ZX平面具有规定斜率的平面正交的方向，只要是与相对于ZX平面具有规定斜率的平面相交的方向即可。
如上述那样，通常，实物与其影子所形成的面之间的铅垂方向上的距离越大则影子越大、边缘越模糊，距离越近则影子越小、边缘越清楚。另外，在实物的移动不是沿铅垂方向的情况下，形成的影子的形状会歪斜，铅垂方向上的距离越大则歪斜程度越大。
在图15所示的例子中，图像生成部201用辅助图像31表示上述现象。在图15所示的例子中，从图标30A的下边(Y方向-侧的边)到载台14为止的距离比从图标30A的上边(Y方向+侧的边)到载台14为止的距离短。即，图标30A的下边的影子比图标30A的上边的影子短。因此，在图15所示的例子中，图标30A形成于载台14上的影子的形状、即由图像生成部201生成的第1范围311的形状成为下底比上底短的梯形形状。
对感知为从图15的(a)所示的初始显示的状态使图标30A以远离用户12的方式沿着箭头AR1进行了移动的情况进行说明。该情况下，如图15的(b)所示，图像生成部201以第1范围311的大小变得比虚线所示的初始显示的第1范围311小、且形状从初始显示的梯形形状歪斜的方式生成设定了亮度分布的重心位置的辅助图像数据。对感知为从图15的(a)所示的初始显示的状态使图标30A以接近用户12的方式进行了移动的情况进行说明。该情况下，如图15的(c)所示，图像生成部201以第1范围311的大小变得比用虚线表示的初始显示的辅助图像大、且形状从初始显示的梯形形状歪斜的方式生成设定了亮度分布的重心位置的辅助图像数据。
另外，图像生成部201在使第1范围311的形状歪斜时，也可以进行上述的亮度分布的平均值的、即明亮度的变更。该情况下，为了使图15的(b)所示的第1范围311投影，图像生成部201只要降低亮度分布的平均值来降低第1范围311的亮度即可。为了使图15的(c)所示的第1范围311投影，图像生成部201提高亮度分布的平均值来提高第1范围311的亮度。
另外，在以上的说明中，图像生成部201可以在使影子的区域的形状歪斜的情况下，将上述第1范围311的追随空中成像30的移动、第1范围311的明亮度的变更、上述第1范围311的大小的变更、和第1实施方式中说明的相对于第1范围311的显示位置的移动进行适当组合来生成显示用图像数据。
在第1实施方式的变形例1中，图像生成部201在图标30A相对于垂直方向(Y方向)更倾斜地显示的情况下，控制辅助图像31的形状和亮度的平均值。由此，通过变更第1范围311的浓淡和形状，而使用辅助图像31再现了实际物体与影子的关系性，用户12容易掌握图标30A与辅助图像31的关系。
此外，在上述第1实施方式和变形例的各例中，作为辅助图像31列举了相当于影子的图像为例，但作为辅助图像31能够适用相当于影子的图像以外的图像。例如，如图16的(a)所示，图像生成部201可以生成将图标30A的下方的第1范围311变亮、将第2范围312变暗这样的辅助图像数据。
该情况下，图像生成部201可以生成图标30A犹如从下方被照明这样的显示用图像数据。例如，可以使图像生成部201再现在暗的场所照明具有指向性的光的情况下观察到如同光线(光芒)那样的现象。
图16的(b)中示意地示出该情况下的空中成像30和辅助图像31。图像生成部201将白色等与包含图标30A在内的沿Y方向延伸的区域R重叠来生成显示用图像数据。由此，使用户12视觉辨认为在空中成像30中，犹如从载台14对图标30A进行照明的光朝向Y方向+侧延伸的光线。
此外，在图16所示的例子中，也可以将投影仪15配置在载台14的下部(Y方向-侧)，并朝向Y方向+侧对投影光进行投影。该情况下，载台14只要使用透明材料制造即可。
(第1实施方式的变形例2)
上述第1实施方式和其变形例1的显示装置1在用户12的指尖为了对图标的显示位置进行操作而朝向里侧(Z方向-侧)进行操作后以规定距离向近前(Z方向+侧)移动了的情况下，将移动到最里侧的位置设为到达位置。然后，显示装置1基于到达位置与检测基准之间的距离，变更第1范围的显示位置。与之相对，变形例2的显示装置1可以基于操作检测器13的检测输出，计算出用户12的指尖F的速度或加速度，并基于计算出的速度或加速度来预测指尖F的到达位置。然后，显示装置1也可以基于该预测到达位置与检测基准之间的距离来变更第1范围的显示位置。图17是表示本变形例2的显示装置1的结构中、控制部20和由控制部20控制的显示器11及操作检测器13的框图。
对变形例2的显示装置1中的与第1实施方式的显示装置不同的结构进行说明。在图17中，速度和加速度检测部206按每规定时间读出由操作检测器13检测的静电容值，并根据平均规定时间的静电容值的变化计算出手指的移动速度，并且根据计算出的速度来计算手指的移动加速度。到达位置预测部207基于从速度和加速度检测部206输出的手指的移动速度或加速度来预测手指的到达位置。到达位置预测部207能够例如检测手指的移动从正在加速的状态或大致匀速状态转移到减速状态这一情况，并根据该减速状况来预测手指的到达位置。图像生成部201基于由到达位置预测部207预测出的到达位置，来变更辅助图像31的显示位置。
接下来，参照图18及图19说明基于变形例2的显示装置1进行的第1校准处理模式。在图19的流程图中，步骤S104至步骤S107以外的步骤与图7的流程图相同，因此省略说明。如图18的(a)所示，当指尖F进入到操作检测器13的规定的检测范围13A内时，在步骤S104中操作检测器13将指尖F的移动检测为静电容值的变化。在步骤S105中，速度和加速度检测部206基于操作检测器13的检测输出计算出指尖F的移动速度或加速度。在步骤S106中，到达位置预测部207基于速度和加速度检测部206计算出的移动速度或加速度来计算指尖F的到达位置。在图18的(b)中，以点线60表示到达位置预测部207计算出的即预测出的手指的到达位置。在步骤S107中，当图像生成部201如图18的(b)所示那样基于预测到达位置60变更第1范围311的显示位置时，图像生成部201将表示第1范围311的显示位置的移动量的数据存储到存储部205。在之后的步骤S110中，基于该存储的数据，图像生成部201生成将第1范围311的显示位置变更后的显示用图像数据，投影仪15将其作为空中成像操作模式的第1范围311进行投影。此外，为了预测手指的到达位置，既可以使用手指的移动速度和加速度这两方，也可以使用其中某一方。
此外，在上述说明中，速度和加速度检测部206按每规定时间读出由操作检测器13检测的静电容值，根据平均规定时间的静电容值的变化计算出手指的移动速度，并且根据计算出的速度来计算手指的移动加速度。但是并不限于该方法，作为速度和加速度检测部206也可以使用摄像装置。另外，在上述的说明中，速度和加速度检测部206计算出用户12的手指的移动速度或加速度，但除此以外，也可以是用户12的脚或肘、用户12所持的触控笔。
此外，基于计算出的用户12的手指的移动速度或加速度，到达位置预测部207计算出用户12的手指的预测到达位置60，图像生成部201基于用户12的手指的预测到达位置60变更第1范围311的显示位置。但是，到达位置预测部207无需对每次操作均决定用户12的手指的预测到达位置60。在用户12进行操作前非意图性地动作了的情况下，若基于该动作而使到达位置预测部207计算出预测到达位置60，则会频繁变更第1范围311的显示位置等而难以将用户12的指尖F引导到恰当的位置。为了防止上述那样的情况，可以是仅在速度和加速度检测部206检测到规定阈值以上的用户12的手指的移动速度及加速度的情况下，使到达位置预测部207计算出预测到达位置60，图像生成部201基于预测到达位置60来变更第1范围311的显示形态。
在变形例2中，基于手指的移动的速度、加速度来预测手指的到达位置50。由此，能够迅速地进行校准处理。
如上所述，关于本变形例中的校准处理，说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式。该情况下，在以第1实施方式说明的图9所示的流程图中，在步骤S24之后，进行图19所示的流程图的步骤S105～步骤S106。然后，不进行图9的步骤S27及步骤S29，在步骤S28及步骤S32中，基于计算出的预测到达位置60，变更辅助图像31的位置。
在将本变形例2适用于第2校准处理模式的情况下，能够在空中成像操作过程中、用户12的指尖F到达检测基准40之前事先预测指尖F的到达位置，并基于预测出的到达位置来变更空中成像30的显示形态。因此，能够将用户12的指尖F未到达检测基准40而没有产生图标显示切换等的误操作防止于未然，能够使用户12进行舒适的操作。
(第1实施方式的变形例3)
第1实施方式及变形例1、2的显示装置1在一次校准处理中检测或预测到达位置，图像生成部201基于该到达位置50与检测基准40之间的距离来变更第1范围311的显示位置。取而代之，变形例3的显示装置1中，基于在多次校准处理中分别检测出到达位置与检测基准之间的距离，图像生成部201变更空中成像操作模式中的第1范围311的显示位置。
在第一次的校准处理中，检测基准控制部204基于操作检测器13的检测输出来判定手指的到达位置50。图像生成部201基于该到达位置50，计算出第1范围311的显示位置的移动量。图像生成部201将表示该计算出的移动量的数据存储到存储部205。接着进行第2次的校准处理，并同样地将表示移动量的数据存储到存储部205。进一步地，可以接着进行第三次的校准处理。图像生成部201根据通过这样连续进行的多次校准处理而存储于存储部205的表示多个移动量的数据，决定空中成像操作模式中的第1范围311的一个移动量。
对于使用这些表示多个移动量的数据来决定一个第1范围311的显示位置，考虑各种步骤。例如，图像生成部201既可以将第1范围311的移动量取算术平均，来计算出一个移动量用于第1范围311，也可以将第1范围311的移动量取几何平均来计算出一个移动量。另外，图像生成部201还可以对多个移动量分别适当加权来决定新的移动量。例如，图像生成部201可以对从第N次操作求出的移动量HN和从第N+1次操作求出的移动量HN+1以3∶7的比例加权来计算出第1范围311用的移动量。具体地说，图像生成部201使用HN和HN+1进行(HN×3+HN+1×7)/10这一计算，基于其结果来计算出第1范围311用的移动量。加权不限于3∶7，另外，操作次数也不限于两次。当然，不是在每次校准处理中都基于手指的到达位置计算出移动量并分别存储到存储部205，可以将每多次校准处理中检测到的手指的到达位置分别存储到存储部205，并基于该存储的多个到达位置，计算出第1范围311用的一个移动量。
另外，校准处理在到达位置50与检测基准40的间隔为规定值以下的情况下，即，在到达位置50为检测基准40附近的情况下，图像生成部201可以不进行第1范围311的显示位置的变更。
而且，在校准处理中，图像生成部201可以不在每次校准处理中均进行第1范围311的显示位置的变更。在多次校准处理中，控制部20根据判定了到达位置50的次数和判定了到达位置50实际到达检测基准40的次数，计算出对图标的显示位置的操作失败的次数。在判定为失败了规定次数以上时，图像生成部201可以变更第1范围311的显示位置。
如上所述，关于本变形例中的校准处理，说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式和上述各变形例1～3。
在变形例3中，在上述校准处理中，控制部20检测用户12对空中成像30的图标30A的显示位置进行操作时通常进行的自然操作动作，来判定到达位置50。即控制部20检测用手指将图标向里侧压入后将指向返回近前的方向移动的动作、当手指与图标接触时将其向里侧压入并短时间停止的动作等来判定到达位置50。由此，用户12不会注意在校准处理中进行了到达位置50的检测和判定，因此用户12能够无意识地执行校准处理。
(第1实施方式的变形例4)
在第1实施方式中，操作检测器13检测用户12的手指对空中成像30的显示位置的操作来判定到达位置50，图像生成部201基于到达位置50进行第1范围311的显示位置的变更。但是，也可以是，用户12对感到操作了空中成像的图标的显示位置的手指位置进行指定，检测基准控制部204判定该指定位置，图像生成部201基于指定位置来变更第1范围311的显示位置。以下，说明用户12将对空中成像30的显示位置进行操作的位置指定为指定位置的变形例。此外，以下的说明中，说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式和上述变形例1～4。
以下说明变形例4的显示装置。当显示装置1被起动、用户12对校准处理模式选择用的操作按键进行操作而选择了第1校准处理模式后，图2的校准部203起动第1校准处理模式。图像生成部201生成显示用图像数据，显示器11基于该显示用图像数据而显示校准用的显示图像。图20示出该校准用的显示图像的空中成像300。空中成像300包括校准用图标300B，该校准用图标300B重叠显示有消息“进行校准。请用手指指示该图标的位置并在该状态下使手指沿横向移动”。另外，如图21的(a)所示，检测基准控制部204将检测基准40设定于空中成像300附近的初始位置。
在图21的(a)中，用户12为了遵照重叠显示于图标300B的消息来操作图标300B的显示位置，而使指尖F朝向图标300B、向Z方向-侧压入的方向移动，当指尖F到达图2的操作检测器13的静电容检测范围13A时，操作检测器13将该用户12的手指F向图标300B的接近移动、即向Z方向-侧的移动检测为静电容的变化。
用户12在进一步使手指F向压入Z方向-侧的方向移动而感到指尖F到达了空中成像300的图标300B的显示位置时，使手指F沿着空中成像30的显示面在横向即XY平面上移动。操作检测器13检测该手指F向压入方向的移动及横向上的移动。检测基准控制部204判定出检测到手指向压入方向的移动的操作检测器13检测到手指F的横向上的移动这样情况，将从向压入方向的移动变化为横向移动时的手指F的在Z方向上的位置判定为指定位置50A。图像生成部201基于该指定位置50A，变更第1范围311的显示位置、即计算出第1范围311的显示位置的移动量。将表示该变更的移动量的数据存储到存储部205。此外，指定位置50A在图21的(b)中被例示为空中成像300的Z方向上的位置，但由于指定位置50A是用户12感到指尖F到达了空中成像300的图标300B时的位置，所以有时被指定为与空中成像300一致的位置，或者，有时也被指定为比空中成像300靠Z方向-侧的位置。
此外，检测基准控制部204在以上说明中将手指F从向压入方向的移动变化为横向移动时的手指的Z方向上的位置判定为指定位置50A，但不限于此。检测基准控制部204也可以将例如手指F从向压入方向的移动变化为横向移动且该横向移动结束时的手指F在Z方向上的位置判定为指定位置50A。另外，检测基准控制部204还可以将从手指F的横向移动开始到横向移动结束为止的、手指F在Z方向上的位置的平均值或中央值等设为指定位置50A。像这样，通过检测基准控制部204来检测作为操作被检测出的位置的指定位置50A。
参照图22所示的流程图来说明上述说明的变形例4的校准处理。此外，图22的流程图示出步骤S121～步骤S129，并省略了其以后的步骤。步骤S129以后的处理与图19所示的流程图的步骤S109以后的处理相同。
步骤S121～步骤S124的各处理与图7所示的流程图中的步骤S1～步骤S4的各处理相同。在步骤S126中，操作检测器13检测用户12的手指的横向移动。在步骤S127中，检测基准控制部204基于操作检测器13的检测输出，判定出手指F从向压入方向的移动变化为横向移动，将该变化时的手指F的位置判定为指定位置50A。图像生成部201基于指定位置50A，变更辅助图像31的显示位置，并将表示显示位置的移动量的数据存储到存储部205，然后进入步骤S128。在步骤S128中，结束第1校准处理模式，然后进入步骤S129。在步骤S129中，开始空中成像操作模式。在该空中成像操作模式中，图像生成部201基于从存储部205读出的表示移动量的数据，变更第1范围311的显示位置。
此外，在以上的说明中说明了第1校准处理模式中的处理，但在第2校准处理模式的情况下，进行在第1实施方式中说明的图9所示的流程图的处理。其中，在图9的流程图中，在步骤S24中检测用户12对图标30A的操作，检测基准控制部204在检测到手指F从向压入方向移动变化为横向移动的情况下，在步骤S27及步骤S29中取代判定到达位置而判定指定位置50A。在步骤S29中判定出指定位置50A的情况下，在步骤S29中检测基准控制部204判定指定位置50A是否与检测基准40一致。
在变形例4中，用户12根据使手指F从向压入方向移动变化为横向移动这一情况来指定在校准处理中感到手指F对空中成像300的显示位置进行了操作的位置。像这样，通过由用户12将感知为对图标300B的显示位置进行了操作的位置指定为指定位置，而显示装置1进行校准处理，因此能够准确地进行校准处理。另外，关于根据手指F从向压入方向移动变化为横向移动来对指定位置进行指定，操作性好，能够迅速地进行校准处理。
(第1实施方式的变形例5)
在变形例4的显示装置1中，用户12将认为用指尖对图标的显示位置进行了操作的位置设为指定位置，根据使手指从向压入Z方向-侧的方向移动变化为向横向移动这一情况进行指定。变形例5的显示装置1中，用户12通过操作其他图标来指定认为用指尖对图标的显示位置进行了操作的位置。接下来说明该校准处理。此外，关于说明，对适用于第1实施方式中的第1校准处理模式的情况进行说明，但也能够适用于第2校准处理模式和上述变形例1～4。
当显示装置1被起动、用户12对校准处理模式选择用的操作按键进行操作而选择第1校准处理模式后，图2的校准部203起动第1校准处理模式。图像生成部201生成显示用图像数据，显示器11基于该显示用图像数据而显示校准用的显示图像。该情况下，空中成像300包含第1实施方式的变形例4的图20所示的校准用图标300B和显示于图标300B附近(例如X方向-侧)的其他图标。在校准用图标300B上，取代图20所示的消息而重叠显示例如“进行校准。请用右手手指指示该图标的位置。请在用右手手指指示的状态下用左手手指触摸左侧的图标”。
用户12为了遵照重叠显示于图标300B的消息而对图标300B的显示位置进行操作，而使右手的指尖F向图标300B的方向移动。当用户12的指尖到达操作检测器13的静电容检测范围13A时，操作检测器13将用户12的手指向该图标300B的显示位置的接近移动、即向Z方向-侧的移动检测为静电容的变化。用户12进一步使手指向Z方向-侧移动，在感到指尖F对空中成像300的图标300B的显示位置进行了操作的时间点，想要遵照消息用左手的指尖F对其他图标的显示位置进行操作，而使左手的指尖向其他图标的方向移动。操作检测器13检测朝向其他图标的指尖F的移动。检测基准控制部204根据操作检测器13检测到用户12的手指位于其他图标之上这一情况，将该时间点的右手的指尖F的位置判定为指定位置50A。与第1实施方式的情况同样地，图像生成部201基于指定位置50A而计算出第1范围311的显示位置的移动量。图像生成部201将表示计算出的第1范围311的显示位置的移动量的数据存储到存储部205。
此外，由于将感到进行了该操作时的位置判定为指定位置，所以无需将对图标300B的显示位置进行操作的右手的手指向接近空中成像300的Z方向-侧移动。但是，对左侧的其他图标的显示位置进行操作的左侧的手指只要是将手指定位于其他图标的Z方向+侧或-侧即可，因此，用户12并非必须使左手的手指向Z方向-侧移动。左手的手指可以在与例如空中成像300的平面平行的方向即横向上移动直至横向移动到其他图标的Z方向+侧或-侧的位置。
另外，用户12并非必须使用左手的手指和右手的手指，只要以能够在校准用空中成像300的图标300B和其他图标这两方上检测到上述动作的方式进行操作即可。例如，用户12可以使用一只手的两根手指。另外，在该变形例5中，还能够取代用户12对其他图标的显示位置进行操作，而构成为按压设于显示装置1的未图示的决定按键。
而且，检测基准控制部204还可以取代将用户12对其他图标的显示位置进行操作或对未图示的决定按键进行按压的时间点的右手的指尖的位置判定为指定位置，而是将检测到用户12用例如左手进行了规定手势这一情况时的右手的指尖位置判定为指定位置。该情况下，显示装置1具备后述的变形例8的摄像装置18(参照图24、25)，使用由该摄像装置18获取的图像来检测用户12的手势(例如将手从石头变为布)。
关于上述说明的校准处理，参照第1实施方式的变形例4的图22所示的流程图来进行说明。以下仅说明主要变更点，对于进行相同处理的步骤省略说明。该情况下，在图22的步骤S123中，显示图标300B和其他图标。在步骤S124中，操作检测器13开始检测用户12的右手的指尖向Z方向-侧的移动。在用户12使手指进一步向Z方向-侧移动并感到指尖对空中成像300的图标300B的显示位置进行着操作的时间点，用左手的指尖对其他图标的显示位置进行操作。在步骤S127中，将左手对其他图标的显示位置进行操作的时间点下的右手的指尖位置设为指定位置50A，图像生成部201基于指定位置50A，变更第1范围311的显示位置，并将该变更后的第1范围311的移动量的数据存储到存储部205。
此外，在以上的说明中说明了第1校准处理模式下的处理，但在第2校准处理模式的情况下，进行在第1实施方式中说明的图9所示的流程图的处理。其中，在图9的流程图中，在步骤S24中，设为在检测基准控制部204正在检测基于用户12的右手对图标30A的操作的状态下，检测基准控制部204检测到基于左手对其他图标的显示位置的操作。该情况下，检测基准控制部204取代在步骤S27及步骤S29中判定到达位置，而将用户12的右手的指尖位置判定为指定位置50A。在步骤S30中，判定在步骤S29中判定出的指定位置50A是否与检测基准40一致。
在变形例5中，用户12通过对其他图标或显示装置1的决定按键进行操作来指定指定位置，该指定位置指定在校准处理中手指对图标进行操作的位置。像这样由于使用户12指定用户12感知图标300B的位置，所以显示装置1能够准确地进行校准处理。另外，关于通过其他图标或显示装置的按键操作来指定这样的指定位置，能够迅速地进行校准处理。
(第1实施方式的变形例6)
变形例6的显示装置根据在用户12认为用指尖对图标的显示位置进行了操作后，用户12使手指停止规定时间这一情况来指定指定位置。此外，本变形例说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式和上述变形例1～5。
该情况下，在校准用的空中成像所包含的图标上重叠显示有消息“进行校准。请指示该图标的位置。请暂时保持指示状态。”。若用户12感到对图标的显示位置进行了操作并在短期间内停止手指的移动，则操作检测器13检测到手指的下降移动停止了规定时间这一情况。检测基准控制部204基于此时的操作检测器13的检测输出，将手指的停止位置判定为指定位置。
该指定位置的判定如以下那样进行。即，根据正在朝向Z方向-侧移动的指尖F停止并在Z方向上的较小的规定停止范围内滞留了规定时间以上这一情况，判定为对图标300A的显示位置进行了操作。像这样，根据指尖F在规定停止范围内停留规定时间以上这一情况而判定为指尖F对图标300A的显示位置进行了操作的理由如下。即，由于用户12的操作是对空中成像300的图标300A的显示位置的操作，所以与对触摸面板的操作不同，存在指尖F在图标300A的显示位置不会完全停止的可能性。此外，用于判定指定位置的规定停止范围被设定成与操作检测器13的静电容的检测范围13A相比充分小的值例如5mm，另外，规定时间被设定为例如2秒左右。
在变形例6中，用户12通过使指尖F停止来指定指定位置，该指定位置在校准处理中指定手指对图标进行操作的位置。像这样由于使用户12指定用户12感知图标300A的位置，所以显示装置1能够准确地进行校准处理。
(第1实施方式的变形例7)
变形例7的显示装置通过发出声音来指定用户12认为用指尖对图标的显示位置进行了操作的指定位置。此外，该变形例说明了适用于第1实施方式中的第1校准处理模式的情况，但也能够适用于第2校准处理模式和上述变形例1～6。
图23是表示本变形例的显示装置1的结构中的控制部20和由控制部20控制的显示器11及操作检测器13的框图。在该显示装置1中包含集音器19，在控制部20中具备语音检测部208。集音器19对显示装置1的周围的声音进行收集，并作为语音数据输出到语音检测部208。作为集音器19能够使用市场销售的麦克风。语音检测部208对来自集音器19的语音数据进行识别，判断该语音数据是否相当于“是(ハイ)”。
在图23中，当校准部203起动第1校准处理模式后，图像生成部201生成显示用图像数据，基于该显示用图像数据，显示器11显示校准用的显示图像。该情况下，空中成像300包含第1实施方式的变形例4的图20所示的校准用图标300B，在该校准用图标300B上，取代图20所示的消息，而重叠显示有例如“进行校准。在触摸了该图标时请发出“是”的声音”。
用户12为了遵照重叠显示于图标300B的消息对图标300B的显示位置进行操作，而将指尖朝向图标300B的方向移动。用户12在认为指尖触摸了图标300B时，遵照消息发出“是”的声音。操作检测器13检测指尖向Z方向-侧的移动。集音器19对该声音进行收集，并作为语音数据输出到语音检测部208。若语音检测部208判定语音数据与“是”对应，则检测基准控制部204将该时间点下由操作检测器13检测出的指尖位置判定为指定位置50A。图像生成部201基于判定出的指定位置50A，与第1实施方式的情况同样地，计算出第1范围311的显示位置的移动量，变更显示位置。图像生成部201将表示计算出的移动量的数据存储到存储部205。
关于上述说明的校准处理，参照第1实施方式的变形例4的图22所示的流程图进行说明。变更点为图22的步骤S126，因此重点说明图22的步骤S126，省略其他步骤的说明。在图22的步骤S126中，语音检测部208基于集音器19的输出，判定用户12是否发出“是”。在步骤S126中进行了肯定判定的情况下，即在判定为用户12认为对图标300B进行了触摸并发出“是”的声音的情况下，检测基准控制部204将语音检测部208判定出语音“是”的时间点下的指尖位置决定即判定为指定位置50A。
此外，在以上的说明中说明了第1校准处理模式中的处理，在第2校准处理模式的情况下，进行在第1实施方式中说明的图9所示的流程图的处理。其中，在图9的流程图中，在步骤S24中检测用户12对图标30A的操作，在语音检测部208判定出语音“是”的情况下，检测基准控制部204取代在步骤S27及步骤S29装置判定到达位置，而判定为指定位置50A。在步骤S30中，判定在步骤S29中判定出的指定位置50A是否与检测基准40一致。
在变形例7中，用户12通过发出声音来指定认为对图标的显示位置进行了操作的手指位置、即指定位置。通过由用户12发出声音来指定到达位置，显示装置1能够迅速地进行校准处理。
此外，也可以是，显示装置1不具备集音器19，利用有线方式或无线方式输入由外部集音装置获取的语音数据，语音检测部208使用从外部集音装置输入的语音数据进行语音检测。
(第1实施方式的变形例8)
在上述说明中，通过由静电容面板构成的操作检测器13来检测用户12的指尖向下方的移动，但也可以利用摄像装置来检测用户12的指尖位置。变形例8的显示装置1如图24的(a)所示，作为操作检测器而具备摄像装置(例如数码相机)18，该摄像装置18配置于显示装置1的上表面。图24的(b)中示出这样的显示装置1的框图。
图24的(b)中示出框图的显示装置1在控制部20中具备图像解析部209。摄像装置18对位于显示器11上方的物体、即用户12的手指进行拍摄，拍摄得到的拍摄图像被输入到图像解析部209。图像解析部209对从摄像装置18输入的拍摄图像进行解析而求出用户12的指尖位置。即，图像解析部209根据拍摄图像内的手指的像的位置，判定用户12的指尖正在对多个图标中的哪个图标进行操作。而且，图像解析部209通过将拍摄图像内的手指的像的大小与基准的手指的大小、具体地说事前拍摄到的规定高度位置处的手指的大小进行比较，来判定手指的高度位置、即手指的下降位置。由此，求出用户12的指尖在三维空间的位置。通过这样的结构，变形例8的显示装置1能够根据对摄像装置18的拍摄图像的解析而得到与由使用静电容面板的操作检测器13求出的关于指尖位置的信息相同的信息。因此，变形例8的显示装置能够取代在上述第1实施方式及各种变形例1～7中说明的静电容面板而使用摄像装置18，来进行与上述实施方式及变形例相同的处理。
变形例8的显示装置1中，图像解析部209根据拍摄图像中的手指的大小而计算出手指的高度位置，也能够取而代之，摄像装置18通过搭载于数码相机的相位差式焦点检测装置和图像识别装置，来检测手指的高度位置。具体地说，能够由图像识别装置识别手指，由相位差式焦点检测装置对由图像识别装置识别出的手指检测散焦量，并根据该散焦量计算出手指的高度位置。另外，即使取代相位差式焦点检测装置而使用搭载于数码相机的对比度检测式焦点检测装置，也能够同样地检测手指的高度位置。
作为摄像装置18，能够取代相位差式焦点检测装置和对比度检测式焦点检测装置，而适当使用搭载了TOF(Time of Flight：飞行时间)装置的相机。TOF相机从相机主体射出红外线，接收被对象物反射而入射到TOF相机的红外线，根据射出光与接收光的相位变化，计算出从TOF相机到对象物的距离。因此，通过将测定对象物设为用户12的指尖，从TOF相机朝向用户12的指尖射出红外光，并接收来自指尖的反射光，能够求出从TOF相机到用户12的指尖的距离。此外，作为摄像装置18的摄像镜头，为了覆盖空中成像30整体而优选采用广角镜头，但也可以采用鱼眼镜头。另外，还可以搭载多个(例如两个)的摄像装置并利用它们的拍摄图像来进一步检测用户12的指尖位置。
图25中示出显示装置1中装备了TOF相机的例子。图25仅示出显示装置1的内部结构，省略了显示装置的主体。在图25中，在主体10的表面设有用于配置TOF相机118’的空间，在该空间配置TOF相机118’。TOF相机118’通过在规定范围内扫描红外线，对用户12的指尖照射红外线，根据其反射光的相位变化，来测定从TOF相机118’到用户12的指尖的距离。基于该距离和红外线的射出方向，能够求出用户12的指尖相对于TOF相机118’在三维空间的位置。即，求出指尖位置相当于空中成像面内的哪一位置，另外，求出指尖位置从显示装置1的表面分离多远。由此，能够根据基于TOF相机118’得到的测距结果获得与基于静电容面板得到的指尖位置的检测信息相同的信息。此外，作为上述说明，说明了在显示装置1的表面上设有用于配置TOF相机118’的空间且在该空间配置TOF相机118’这样的结构，但不限于此，也可以是将TOF相机118’设置于显示器11外部这样的结构。
如图25所示，在变形例8的显示装置1中，空中成像30也形成于从显示装置1的载台14的Z方向-侧的端部14z离开距离H1的位置，检测基准40被设定于从载台14的Z方向-侧的端部14z离开距离H2(H1＜H2)的位置。TOF相机118’在载台14的上方(Y方向+侧)，在Z方向具有用于检测用户12的指尖位置的检测范围13A。在图25中，以虚线13a示出TOF相机118’在Z方向+侧能够拍摄的范围的界限，该检测界限13a与载台14的端部14z的间隔被示为检测范围13A。在变形例8中也与上述第1实施方式和变形例1～7的情况同样地，设定为空中成像30和检测基准40位于检测范围13A内。此外，检测基准40在图25中被设定为与空中成像30相比靠Z方向+侧，但只要在检测范围13A内即可，也可以比空中成像30靠Z方向-侧，或与空中成像30的位置一致。另外，在变形例9中也同样，检测范围13A内的被设定为检测基准40的区域以外的范围为检测基准外范围41。此外，检测范围13A并不限定被设为TOF相机118’能够拍摄的范围的界限，也能够设定为能够拍摄的范围中的除去一部分范围(例如图25中的左右方向的端部的规定范围)后的范围。
在上述说明中，本变形例8的显示装置1取代作为操作检测器13的静电容面板而具备摄像装置18。但是，显示装置1也可以一并具备操作检测器13和摄像装置18。该情况下，例如，将图3的(c)所示的操作检测器13的检测范围13A以Z方向+侧和-侧分为两个部分，形成Z方向-侧的检测范围(接近载台14的端部14z的检测范围)和Z方向+侧的检测范围(远离载台14的端部14z的检测范围)。能够将Z方向-侧的检测范围设为静电容面板的检测范围，将Z方向+侧的检测范围设为摄像装置18的检测范围。根据这样的结构，在用户12为了对显示位置进行操作而使手指从Z方向+侧进行了移动时，摄像装置18检测该手指的移动的前半部分，静电容面板检测该手指的移动的后半部分。通常，静电容面板能够高精度地检测载台14的端部14z的附近范围，相反地，存在摄像装置18难以对载台14的端部14z的附近范围进行拍摄的情况。因此，优选如上述那样分担静电容面板的检测范围和摄像装置18的检测范围。此外，对检测范围13A分成两部分不限于将检测范围13A沿Z方向二等分的情况，可以不均等得划分。另外，操作检测器13不限于静电容面板和摄像装置18，能够使用其他接近传感器等。因此，在将检测范围13A划分的情况下，能够由各种操作检测器13分担划分后的检测范围。
图17所示的速度和加速度检测部206也能够基于图25的TOF相机118’的拍摄图像计算出手指的移动速度、加速度。因此，在将检测范围13A划分的情况，也能够按上方及下方的检测范围，计算出手指的移动速度、加速度，到达位置预测部207预测手指的到达位置。
另外，也可以取代在第1实施方式和其变形例1～8中说明的成像光学系统9，而由半透半反镜和逆反射部件构成。逆反射部件由配置例如多个直角三角锥体的立体棱镜并将入射的光再次朝向同一光路反射的反射材料制造。在使用这样的结构的情况下，来自显示器11的光在半透半反镜被反射(或透过半透半反镜)，入射到逆反射部件，并被朝向同一光路反射。来自逆反射部件的光一边在同一光路上前进一边成像。来自逆反射部件的光再次入射到半透半反镜，透过半透半反镜(或被半透半反镜反射)，在与显示器11共轭的位置成像，由此形成空中成像。
此外，在上述第1实施方式和其变形例1～8中，以至少包含控制部20、显示器11和操作检测器13的显示装置1为例进行了说明，但也可以是仅由控制部20构成的控制装置、或由控制部20和操作检测器13构成的控制装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。可以为了得到上述第1实施方式或变形例1～8中记载的各效果，而从上述结构根据需要适当追加结构。另外，也可以将上述控制装置嵌入到适用于第1实施方式和其变形例的各种电子设备。
另外，也可以是仅由控制部20构成的检测装置、或由控制部20和操作检测器13构成的检测装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。对于这样的检测装置，可以为了得到上述第1实施方式或变形例1～8中记载的各效果，而从上述结构根据需要适当追加结构。
-第2实施方式-
参照附图，说明第2实施方式的显示装置1。在第2实施方式中，将本实施方式的显示装置1被嵌入于操作面板的情况列举为一例进行说明。此外，本实施方式的显示装置1不限于操作面板，能够嵌入到上述第1实施方式和其变形例中说明的各电子设备。
第2实施方式的显示装置1与第1实施方式的显示装置1同样地，在图标的空中成像的下方显示相当于影子的图像，但显示装置1的装置结构与第1实施方式的显示装置1不同。因此，可以取代第1实施方式的显示装置1而将第2实施方式的显示装置1适用于第1实施方式。以下，详细进行说明。
图26的(a)中示意地示出第2实施方式的显示装置1的基于YZ平面得到的截面。显示装置1在主体10的内部具有成像光学系统9、显示器11、操作检测器13和控制部20。第2实施方式的显示装置1可以适用国际公开公报2011/158911中记载的技术。即，显示器11具有能够进行显示三维立体像的光场显示的结构，通过在显示器11上显示二维显示用的图像，而能够在沿着Z方向的不同位置形成空中成像30。
图26的(b)是示意地表示第2实施方式的显示装置1的显示器11和成像光学系统9的、YZ平面上的剖视图。如图所示，在显示器11的显示面上配置有由排列成二维状的多个微透镜111构成的微透镜阵列112。按显示器11的每多个显示像素P设置一个微透镜111。在第2实施方式中，显示器11和微透镜阵列112以相对于ZX平面具有规定的斜率-θ的方式配置。此外，在图26的(b)所示的例子中，为了便于图示，示出了对5×5的显示像素P设置一个微透镜111的例子，但描绘得比实际显示像素P的个数少。微透镜阵列112配置在从显示器11的显示面向Z方向+侧离开微透镜111的焦点距离f的位置。各微透镜111基于显示的图像将来自显示像素P的光投影于Y方向上的规定像面。此外，也可以取代微透镜111而配置柱状透镜。
成像光学系统9在微透镜阵列112的上方(Y方向+侧)，相对于微透镜阵列112设定规定的间隔且与ZX平面平行地配置。成像光学系统9在第1实施方式中适用与图1的(c)所示的成像光学系统9相同的结构。配置在成像光学系统9内的多个镜元件90分别反射从显示像素P射出的光，将其收束并成像出与ZX平面成角度θ的实像(参照图26的(b))。该实像的倍率为等倍，即大小与显示像素P相同。即，多个镜元件90反射从显示器11射出的光，并使其在载台14上的空中的成像位置成像。
在该显示器11中，为了使构成空中成像30的各光点LP形成于空中，而将形成各个光点LP的光从被不同的多个微透镜111分别覆盖的一部分的显示像素P射出。此外，光点LP是通过显示器11和微透镜111而显示于空中的像，因此是空中成像。在图26的(b)所示的例子中，从标注斜线示出的显示像素P射出的光被微透镜111投影而形成光点LP。该情况下，被一个微透镜111覆盖的显示像素P的个数(在图26的(b)的例子中为5×5个)被分散地分配于不同的多个微透镜111。基于该分配方法，能够使形成于空中的光点LP的、相对于与显示器11的显示面垂直的方向的位置不同。空中成像30通过将这样形成的光点P由成像光学系统9成像于Y方向而形成。以上，空中成像30的相对于Z方向的位置根据显示于显示器11的图像的变更而变更。
图26的(c)是表示第2实施方式的显示装置1的主要部分结构的框图。图26的(c)示出控制部20、由控制部20控制的显示器11、和操作检测器13。作为控制部20所具备的结构，能够适用与图2所示的第1实施方式的图像生成部201、显示控制部202、校准部203、检测基准控制部204和存储部205相同的结构。另外，能够将第1实施方式及第1实施方式的各变形例中说明的各种方法适用于第2实施方式的显示装置1进行的到达位置、指定位置的检测、辅助图像31的显示形态。
在第2实施方式中，图像生成部201生成用于显示辅助图像31的辅助图像数据，该显示辅助图像31具有与作为第1部分的图标30A不同的、作为第2部分的第1范围311和第2范围312，显示控制部202使生成的辅助图像数据显示于显示器11。由此，辅助图像31、即成为第2显示的基础的图像显示于显示器11，辅助图像31通过显示器11作为第4显示而显示于图26的(a)的区域R1。区域R1的第4显示通过成像光学系统9，作为第2显示即辅助图像31而显示于空中。此外，图像生成部201可以以与在第1实施方式的变形例1中示出的各种形态的第1范围311(图10、图11、图13、图15)对应的方式，控制亮度分布的重心位置、亮度分布的平均值来生成辅助图像数据。
第1范围311由于相当于作为第1显示的图标30A的影子，所以可以显示于图标30A的下方(Y方向-侧)。因此，显示控制部202以辅助图像数据通过成像光学系统9而在图26的区域R1形成光点的方式，使显示器11的显示像素P显示辅助图像数据。即，显示控制部202以区域R1形成于成像光学系统9的下部(Y方向-侧)附近的方式，将辅助图像数据分配给显示像素P。在区域R1成像的光通过成像光学系统9，如图26的(a)所示，在成像光学系统9的上部(Y方向+侧)附近的位置、即显示器11与图标30A之间显示为辅助图像31。
显示控制部202使显示像素P显示用于显示图标30A的显示用图像数据、即成为图标30A的基础的第1图像。图标30A优选显示在辅助图像31的上方(Y方向+侧)。因此，显示控制部202以使显示用图像数据在比区域R1靠下方(Y方向-侧)、即接近成像光学系统9侧的区域R2形成光点的方式，将显示用图像数据分配给显示像素P。
但是，在应显示辅助图像数据的显示像素P和应显示显示用图像数据的显示像素P为相同的显示像素P的情况下，无法同时显示辅助图像数据和显示用图像数据。因此，在通过显示器11进行图标30A和辅助图像31的显示的情况下，显示控制部202按规定周期切换进行基于显示像素P对辅助图像数据的显示和基于显示像素P对显示用图像数据的显示。由此，用户12能够将图标30A和其下方的辅助图像31视觉辨认为空中成像。
在进行校准处理的情况下，如在第1实施方式和其变形例中说明那样，基于到达位置或指定位置与检测基准40之间的距离，变更第1范围311的位置。该情况下，图像生成部201与第1实施方式和其变形例的情况同样地，控制亮度分布的重心位置、亮度分布的平均值，生成辅助图像数据，显示控制部202使显示像素P显示辅助图像数据。即，在第1实施方式中，在图7的流程图中的步骤S9、图9的流程图中的步骤S28和S32中，显示控制部202使显示像素P显示辅助图像数据。
此外，第2实施方式的显示装置1可以不执行校准处理。即，第2实施方式的显示装置1不基于用户12的操作进行规定动作，而仅是用于显示某个图像的空中成像30和包含相当于其影子的第1范围311在内的辅助图像31的装置。
另外，在上述的说明中，列举了作为辅助图像31而显示相当于影子的图像的情况为例，但也可以如第1实施方式的变形例1中的图16所示的例子那样，第1范围311是照明光源那样的明亮图像。
或者，作为辅助图像31，也可以如在第1实施方式中说明那样，显示示出空中成像30的位置、且载置物体这样的台架、桌子、书案等。另外，还可以通过显示装置1显示立体的辅助图像31。即，可以使作为辅助图像31显示的台架、桌子、书案等所载置的物体以立体方式显示。另外，在使辅助图像31以立体方式显示的情况下，可以显示支承空中成像30这样的杆。可以以使杆的顶端部分与空中成像30连接的方式进行显示，并显示为空中成像30被犹如辅助图像31的杆支承。此外，可以如在第1实施方式和后述的第3实施方式的变形例2中记载那样，辅助图像31显示与空中成像30的相关性深的图像。
另外，第2实施方式的显示装置1也可以不具备成像光学系统9。即，可以使来自显示器11的光在微透镜阵列112成像来显示空中成像30。该情况下，可以在图26的(a)的剖视图中配置有成像光学系统9的位置，设置能够供光透过的透光片。显示装置1使辅助图像31在该透光片的附近显示为空中成像，使图标30A显示的光从透光片通过，使图标30A显示于辅助图像31的上方(Y方向+侧)的空中。由此，辅助图像31显示于作为实物的显示装置1的主体10的表面附近，因此，用户12能够借助辅助图像31并以主体10为基准感知空中成像30的位置。
在第2实施方式中，显示器11显示辅助图像数据，成像光学系统9将辅助图像数据显示为辅助图像31。由此，能够使辅助图像31显示为空中成像并使用户12感知图标30A的位置，能够在检测基准40进行操作。
另外，在第2实施方式中，成像光学系统9使辅助图像31显示于与空中成像30不同的位置。由此，用户12能够感知与辅助图像31的相对位置关系或图标30A的位置。
另外，在第2实施方式中，显示器11交替地显示空中成像30的显示用图像数据和辅助图像数据。由此，能够通过单一的显示器11显示空中成像30和辅助图像31。
另外，能够将显示装置1的装置小型化。
另外，在第2实施方式中，成像光学系统9将空中成像30显示于与辅助图像31相比距显示器11的距离远的位置。由此，用户12能够以显示于空中成像30的下方的辅助图像31为基准感知空中成像30的图标30A的位置。
另外，由于成像光学系统9将空中成像30显示于与辅助图像31相比距显示器11的距离远的位置，所以来自显示器11的光难以直接进入用户12的眼睛，从而容易看到空中成像30。在来自显示器11的光进入到用户12的眼睛的情况下，用户12的眼睛的焦点会对上显示器11，存在空中成像30丧失浮游感的情况，根据上述那样的结构，能够减轻这样的问题。
此外，显示控制部202不限定于如上述那样按规定周期切换辅助图像数据的基于显示像素P的显示和显示用图像数据的基于显示像素P的显示。显示控制部202可以同时进行辅助图像数据的基于显示像素P的显示和显示用图像数据的基于显示像素P的显示。该情况下，在显示辅助图像数据的显示像素P和显示显示用图像数据的显示像素P不为相同的显示像素P的情况下，显示控制部202同时进行辅助图像数据的显示和显示用图像数据的显示。
在应显示辅助图像数据的显示像素P和应显示显示用图像数据的显示像素P成为相同的显示像素P(以下，称为同一显示像素P)的情况下，显示控制部202使同一显示像素P显示辅助图像数据和显示用图像数据中的某一方。为了应对这样的情况，设于显示器11的多个显示像素P被分类为使辅助图像数据的显示优先进行的显示像素P1(以后称为第1显示像素)和使显示用图像数据的显示优先进行的显示像素P2(以后称为第2显示像素)。第1显示像素P1和第2显示像素P2在显示器11的表面配置成例如错列状。
显示控制部202在同一显示图像P为第1显示像素P1的情况下，使该同一显示像素P显示辅助图像数据。显示控制部202在同一显示图像P为第2显示像素P2的情况下，使该同一显示像素P显示显示用图像数据。由此，不用按规定周期切换基于显示像素P的辅助图像数据和显示用图像数据，就能够显示图标30A和辅助图像31。
显示器11同时显示显示用图像数据和辅助图像数据。由此，能够降低用于显示显示用图像数据和辅助图像数据的控制的处理负荷。
在上述的说明中，说明了显示装置1通过单一的显示器11和成像光学系统9来显示空中成像30和辅助图像31的例子，但不限定于此。例如，显示装置1也可以分体具备用于显示空中成像30的显示器及成像光学系统、和用于显示辅助图像31的显示器及成像光学系统。即，能够对用于显示显示用图像数据的显示器和成像光学系统应用和配置在第1实施方式和其变形例中说明的结构。
(第2实施方式的变形例1)
第2实施方式的变形例1的显示装置1具有与第2实施方式的显示装置1不同的结构，以与空中成像不同的方法显示辅助图像31。在本变形例1的显示装置1中，使用液晶显示器来显示辅助图像31。以下详细进行说明。
图27的(a)是示意地表示本变形例1的显示装置1的基于YZ平面得到的截面的图。显示装置1在主体10的内部具有成像光学系统9、显示器11、操作检测器13、控制部20和第2显示器91。显示器11、成像光学系统9和操作检测器13适用与第1实施方式相同的结构，与图26的(a)所示的情况同样地配置在主体10内。第2显示器91为液晶监控器，与ZX平面平行地配置。在图27的(a)所示的例子中，第2显示器91相对于成像光学系统9配置在Z方向+侧，且配置在成像光学系统9的旁边。此外，第2显示器91也可以相对于成像光学系统9配置在Z方向-侧。另外，第2显示器91不限定于配置在成像光学系统9的旁边。例如，也可以设置将成像光学系统9中的一部分切掉的区域，在该切掉的区域内配置第2显示器91。
另外，第2显示器91也可以是液晶监控器以外的显示器，可以是例如有机EL显示器。
图27的(b)是表示变形例1中的显示装置1的主要部分结构的框图。图27的(b)示出控制部20、由控制部20控制的显示器11、操作检测器13和第2显示器91。作为控制部20所具备的结构，能够适用与图27的(b)所示的图像生成部201、显示控制部202、校准部203、检测基准控制部204和存储部205相同的结构。但是，显示控制部202除显示器11以外，还控制第2显示器91的显示。此外，在第2显示器91具备控制部的情况下，也可以是，基于来自显示控制部202的控制信号，第2显示器91的控制部控制第2显示器91的显示。
显示控制部202使显示器11显示图像生成部201所生成的显示用图像数据，使第2显示器91显示辅助图像数据。即，第2显示器91是用于显示由相当于影子的第1范围311和第2范围312构成的辅助图像31的专用显示器。此外，图像生成部201也可以生成与第1实施方式的变形例1所示的各种形式的第1范围311(图10、图11、图13、图15)对应的辅助图像数据。由此，在显示于空中的图标30A的下方(Y方向-侧)，通过第2显示器91显示包含相当于影子的第1范围311的辅助图像31。此外，在第2显示器91具备生成图像的生成部的情况下，第2显示器91的生成部可以与上述图像生成部201同样地生成辅助图像数据，并使辅助图像31显示于第2显示器91。
此外，成像光学系统9与第2显示器91的配置位置关系不限定于图27的(a)所示的例子。
图27的(c)中示意地示出其他例子的显示装置1的在与ZX平面平行面处的截面。第2显示器91配置在成像光学系统9的上方(Y方向+侧)。该情况下，只要以使第2显示器91的下表面和成像光学系统9的上表面接触的方式进行配置即可，也可以隔开间隔地配置。第2显示器91是使用能够透过光的可透光材料制造出的液晶监控器。
在如图27的(c)所示那样配置了成像光学系统9和第2显示器91的情况下，当在第2显示器91上显示辅助图像31时，显示有第1范围311和第2范围312的区域妨碍来自显示器11的光的通过，空中成像30的视觉辨认性降低。为了防止这样的事态，显示控制部202为了实现基于显示器11对显示用图像的显示、即使空中成像30在空中显示，而按规定周期切换进行用于使来自显示器11的光通过的显示(第3显示)和基于第2显示器91对辅助图像31的显示。因此，在显示器11上显示着显示图像时，辅助图像不会在第2显示器91上显示，来自显示器11的光从第2显示器91通过而形成空中成像30。即，在显示器11上显示着显示图像的情况下，第2显示器91成为与显示着辅助图像时相比来自显示器11的光的通过量大的状态。
此外，并不限定于显示控制部202按规定周期切换进行显示器11的显示和第2显示器91的显示。也可以是例如，第2显示器91所具有的多个像素被分类为用于显示辅助图像31的像素(以下称为第1像素)和用于使来自显示器11的光通过的像素、即不显示辅助图像31的像素(以下称为第2像素)。第1像素和第2像素在显示器11的表面配置成例如错列状。或者，配置有第1像素的像素行和配置有第2像素的像素行交替地或按每规定多行交错配置。
在进行校准处理的情况下，如第1实施方式和其变形例中说明那样，基于到达位置或指定位置与检测基准40之间的距离，变更第1范围311的位置。该情况下，图像生成部201与第1实施方式和其变形例的情况同样地生成显示图像用数据和辅助图像数据，显示控制部202使显示用图像数据的显示用图像显示于显示器11，使辅助图像数据显示于第2显示器91。即，在第1实施方式中，在图7的流程图中的步骤S9和图9的流程图中的步骤S28和S32中，显示控制部202使显示用图像显示于显示器11，使辅助图像31显示于第2显示器。
在第2实施方式的变形例1中，第2显示器91显示辅助图像31，并配置在空中成像30的显示的下方。由此，由于辅助图像31显示在空中成像30的下方，所以用户12能够基于辅助图像31的显示而感知空中成像30的位置。
另外，在第2实施方式的变形例1中，第2显示器91配置在与显示空中成像30的成像光学系统9不同的位置。由此，能够使辅助图像31相对于空中成像30显示在恰当的位置。
另外，在第2实施方式的变形例1中，显示器11交替地显示空中成像30的显示用图像数据和辅助图像数据。由此，能够通过单一的显示器11来显示空中成像30和辅助图像31。
另外，能够实现显示装置1的小型化。
(第2实施方式的变形例2)
第2实施方式的变形例2的显示装置1具有与第2实施方式和其变形例1的显示装置1不同的结构，以与空中成像不同的方法显示辅助图像31。在本变形例2的显示装置1中，使用投影仪将辅助图像31投影到漫射片等上。以下详细进行说明。
图28的(a)是示意地表示本变形例2的显示装置1的基于YZ平面得到的截面的图。显示装置1在主体10的内部具有成像光学系统9、显示器11、操作检测器13、投影仪15、控制部20和漫射片92。显示器11、成像光学系统9、操作检测器13和投影仪15适用与第1实施方式相同的结构。显示器11、成像光学系统9和操作检测器13与图26的(a)所示的情况同样地配置在主体10内。投影仪15与图1的(b)所示的第1实施方式同样地配置在主体10的上方，从Y方向+侧向漫射片92投影投影光。另外，第2实施方式的变形例2的显示装置1能够适用与图2所示的第1实施方式的显示装置1相同的主要部分结构。
漫射片92是例如磨砂玻璃等，在图28的(a)所示的例子中，相对于成像光学系统9配置在Z方向+侧且配置在成像光学系统9的附近。此外，漫射片92也可以相对于成像光学系统9配置在Z方向-侧。投影仪15与第1实施方式的情况同样地，基于由图像生成部201生成的辅助图像数据，投影辅助图像31。在本变形例2中，投影仪15以从上方(Y方向+侧)朝向漫射片92投影辅助图像31的方式被确定其投影方向地来配置。从投影仪15投影的辅助图像31通过漫射片92被漫射，从而被用户12视觉辨认。由此，在空中成像30的图标30A的下方(Y方向-侧)投影有由相当于影子的第1范围311和第2范围312构成的辅助图像31。此外，图像生成部201也可以生成与第1实施方式的变形例1所示的各种形态的第1范围311(图10、图11、图13、图15)对应的辅助图像数据。
另外，如图28的(b)所示，也可以将漫射片92配置在成像光学系统9的上方(Y方向+侧)。该情况下，在漫射片92上以例如错列状配置使来自投影仪15的投影光漫射的第1区域和使来自显示器11的光通过的第2区域。来自显示器11的光从第2区域通过并显示空中成像30，来自投影仪15的投影光在第1区域漫射，被用户12视觉辨认为辅助图像31。此外，还可以在漫射片92的上方(Y方向+侧)配置成像光学系统9。该情况下，投影仪15配置在显示器11的附近，以将投影光从漫射片92的下方朝向漫射片92投影的方式，确定其投影方向。即，投影仪15设置在漫射片92与显示器11之间，投影仪15朝向处于Y方向+侧的漫射片92投影投影光。该情况下，作为投影仪15，能够适用例如将图像投影到近距离的超短焦点投影仪。
根据上述结构，用户12能够在空中成像30的图标30A的下方(Y方向-侧)视觉辨认相当于影子的第1范围311。
在进行校准处理的情况下，如在第1实施方式和其变形例中说明那样，基于到达位置或指定位置与检测基准40之间的距离，变更第1范围311的显示位置。该情况下，图像生成部201与第1实施方式和其变形例的情况同样地生成显示图像用数据和辅助图像数据。显示控制部202使显示用图像数据的显示用图像显示于显示器11，投影仪控制部200使投影仪15将与辅助图像数据对应的投影光投影到漫射片92，使辅助图像31投影。即，在第1实施方式中，进行与图7的流程图中的各处理、图9的流程图中的各处理相同的处理。
在第2实施方式的变形例2中，投影仪15对辅助图像31进行投影。由此，用户12能够基于被投影的辅助图像31的显示而感知空中成像30的位置。
另外，在第2实施方式的变形例2中，漫射片92配置在与成像光学系统9不同的位置，通过漫射片92使从投影仪15射出的光漫射。由此，用户12能够在空中成像30的下方视觉辨认辅助图像31，而感知空中成像30的位置。
此外，显示装置1可以取代上述的漫射片92，而将全息图配置在显示器11的上方。在该全息图中预先存储有漫射片92的影像。投影仪15朝向该全息图投影与存储时的参照光相同的光。由于全息图中存储有漫射片92的影像，所以来自投影仪15的投影光的被全息图衍射的光以犹如通过漫射片92漫射的方式进行漫射。投影仪15向这样的全息图投影与辅助图像数据对应的投影光，由此辅助图像31可被用户12视觉辨认。
该情况下，使投影仪15的投影光的各颜色成分(R成分、G成分、B成分)的频带与显示器11射出的光的各颜色成分(R’成分、G’成分、B’成分)的频带不同。由此，来自显示器11的光不会被全息图衍射而是透过，从而形成空中成像30。由此，用户12能够在空中成像30的下方视觉辨认辅助图像31。
此外，并不限定于使投影仪15的投影光的各颜色成分(R成分、G成分、B成分)的频带与显示器11射出的光的各颜色成分(R’成分、G’成分、B’成分)的频带不同。例如，也可以以使来自投影仪15的投影光向全息图入射时的入射角与来自显示器11的光向全息图入射时的入射角不同的方式，配置投影仪15及显示器11。该情况下，可以以使来自显示器11的光向全息图入射的角度成为与存储到全息图时的参照光的入射角不同的入射角的方式进行配置。由此，来自显示器11的光被全息图衍射的效率降低，显示器11的光能够从全息图通过而形成空中成像30。因此，仅来自投影仪15的投影光被全息图衍射，来自显示器11的光不被全息图衍射，能够良好地显示空中成像30。
此外，在上述第2实施方式和其变形例1、2中，以至少包含控制部20、显示器11和操作检测器13的显示装置1为例进行了说明，但也可以是仅由控制部20构成的控制装置、或由控制部20和操作检测器13构成的控制装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。也可以为了得到上述第2实施方式或变形例1、2中记载的各效果而从上述结构根据需要适当追加结构。另外，还可以将上述控制装置嵌入到适用于第1实施方式和其变形例的各种电子设备。
另外，也可以是仅由控制部20构成的检测装置、或由控制部20和操作检测器13构成的检测装置。
-第3实施方式-
参照附图，说明第3实施方式的显示装置1。在第3实施方式中，列举将本实施方式的显示装置1嵌入于操作面板的情况作为一例进行说明。此外，本实施方式的显示装置1不限于操作面板，能够嵌入到上述第1实施方式和其变形例中说明的各电子设备。
在第1实施方式和其变形例及第2实施方式中，显示装置1通过作为第1显示的空中成像30和作为第2显示的辅助图像31，使用户12感知空中成像30的Z方向上的显示位置。即，辅助图像31的位置被用作表示空中成像30的显示位置的位置。与之相对，第3实施方式的显示装置通过控制空中成像中的与成为用户12的操作形态的空中成像的第1部分不同的、空中成像的第2部分的显示形态，使用户12能够感知空中成像的第1部分的显示位置。以下详细进行说明。
图29的(a)是示意地表示第3实施方式的显示装置1的外观立体图，图29的(b)是表示显示装置1的主要部分结构的框图。第3实施方式的显示装置1具有第1实施方式的显示装置1所具有的成像光学系统9、显示器11、操作检测器13和控制部20。
如图29的(b)所示，第3实施方式的控制部20适用具备图2所示的第1实施方式的控制部20所具有的图像生成部201、显示控制部202、校准部203、检测基准控制部204和存储部205的结构。在本实施方式中，控制部20适用第1实施方式和其变形例中说明的各种方法而获取到达位置、指定位置。
此外，第3实施方式的显示装置1也可以具备第1实施方式的变形例8所示的摄像装置18(参照图24、25)。
图30示意地示出通过第3实施方式的显示装置1进行校准处理时显示的空中成像300。在图30中，空中成像300包含作为第1部分的第1图标300A1和作为第2部分的第2图标300A2。第1图标300A1是在校准处理时用于供用户12操作的第1显示的图标。第2图标300A2显示于第1图标300A1的显示区域(第1显示区域)的周边区域(第2显示区域)，是用于使用户12感知第1图标300A1的Z方向上的显示位置的作为第2显示的图标。即，第2图标300A2是用于供用户12感知第1图标300A1的Z方向上的深度的深度头绪。
在此，对深度头绪进行说明。投影到我们人类等的视网膜上的像为二维平面图像。但是，人类等能够感知三维世界。这是因为，为了感知在实际空间中的深度而使用了各种头绪。若将判断深度的头绪大体分类，则能够分为单眼性的深度头绪和双眼性的深度头绪。单眼性的深度头绪是与想要知道深度位置的物体不同的其他物体的大小、物体间的重叠等。利用这样的头绪，人类等感知对象的深度。另一方面，双眼性的深度头绪中具有双眼视差等。在此说明双眼视差，若用双眼观察一个对象，则在左右的眼睛的视网膜上稍微偏移地被投影。该偏移为双眼视差。人类等能够基于该偏移量感知对象的深度。
人类等利用这样的深度头绪，来判断对象的深度位置。换言之，根据使对象自身变化或使深度头绪变化，人类等会感知为对象的深度位置处于与实际所在的位置不同的位置。以下，对通过使单眼或双眼的深度头绪(例如第2图标300A2)相对于对象(第1图标300A1)变化而使用户12感知为犹如对象(第1图标300A1)的深度位置发生变化的方法进行说明。
此外，关于使单眼的深度头绪变化的方法，在第3实施方式及第3实施方式的变形例中详细进行了记载。此外，对于第1实施方式及第2实施方式中记载的表示影子的辅助图像，也可以说是作为第1显示的图标300A的深度头绪。
图30的(a)示出初始显示中的第1图标300A1和第2图标300A2的显示的例子。在初始显示中，图像生成部201以第1图标300A1和第2图标300A2成为相同大小的方式生成显示用图像数据。
说明对该初始显示的空中成像300进行的用户12的操作的到达位置50为第1图标300A1的近前(Z方向+侧)的情况，即如图5的(b)所示的状态那样没有在检测基准40检测到到达位置50的情况。该情况下，显示控制部202使用户12感知为犹如第1图标300A1与图30的(a)所示的情况相比显示于Z方向-侧。在本变形例1中，图像生成部201基于到达位置50与检测基准40之间的距离，为了使用户12感知为第2图标300A2犹如向接近用户12的方向(Z方向+侧)进行了移动，而进行第2图标300A2的显示形态的变更。在图30的(b)所示的例子中，图像生成部201作为显示形态的变更的一例，示出将第2图标300A2的大小放大的情况。该情况下，图像生成部201生成将第2图标300A2的大小基于到达位置50与检测基准40之间的距离而变大的显示用图像数据。即，通过控制部20，获取用户操作被检测到的位置与检测基准40的位置关系，基于该获取的位置关系，控制作为第2显示的第2图标300A2的显示区域(第2显示区域)。该情况下，控制部20控制显示有第2图标300A2的第2显示区域的显示形态。此外，在图30的(b)中，以虚线示出初始显示的第2图标300A2，但实际上不会显示。对该空中成像300进行视觉辨认的用户12感知为以第2图标300A2为基准而第1图标300A1相对地位于Z方向-侧。
接下来，说明对该初始显示的空中成像300进行的用户12的操作的到达位置50为第1图标300A1的里侧(Z方向-侧)的情况，即如图5的(d)所示的状态那样没有在检测基准40检测到到达位置50的情况。该情况下，显示控制部202使用户12感知为第1图标300A1与图30的(a)所示的情况相比犹如显示于Z方向+侧。在本变形例1中，图像生成部201基于到达位置50与检测基准40之间的距离，为了使用户12感知为第2图标300A2犹如向远离用户12的方向(Z方向-侧)进行了移动，而进行第2图标300A2的显示形态的变更。即，通过控制部20获取用户操作被检测到的位置与检测基准40的位置关系，基于该获取的位置关系，控制作为第2显示的第2图标300A2。在图30的(c)所示的例子中，图像生成部201生成将第2图标300A2的大小基于到达位置50与检测基准40之间的距离而减小的显示用图像数据。此外，在图30的(c)中，以虚线示出初始显示的第2图标300A2，但实际上不会显示。对该空中成像300进行视觉辨认的用户12感知为以第2图标300A2为基准而第1图标300A1相对地位于Z方向+侧。
此外，到达位置或指定位置与检测基准40的距离和第2图标300A2的大小之间的关系作为基于试验等的结果而预先建立关联的关联数据被存储于存储部205。图像生成部201参照该关联数据而变更第2图标300A2的大小。
关于第3实施方式的显示装置1的校准处理，以第1校准处理模式为例进行说明。该情况下，在图7所示的第2实施方式的流程图中的步骤S3的处理时，显示控制部202显示第1图标300A1和第2图标300A2。在图7的步骤S6的处理时，图像生成部201计算出第2图标300A2的大小的变更量。在图7的步骤S9中，显示控制部202基于计算出第2图标300A2后的变更量来变更大小并显示。
此外，在第2校准处理模式的情况下，进行在第1实施方式中示出的图9的流程图的处理。但是，取代图9中的步骤S28及步骤S32的处理，图像生成部201计算出第2图标的大小的变更量，并基于计算出的变更量来变更第2图标的大小并显示。
在第3实施方式中，基于用户操作被检测的位置与检测基准40的位置关系，图像生成部201控制与由用户12操作的第1图标300A1不同的第2图标300A2。由此，用户12能够基于第2图标300A2，在检测基准40进行操作。
另外，在第3实施方式中，图像生成部201控制第2显示区域、即第2图标300A2的显示形态。由此，用户12通过对第2图标300A2的显示形态进行视觉辨认，而容易感知空中成像的显示位置。
另外，在第3实施方式中，图像生成部201变更在用户12进行操作的第1图标300A1的周边显示的第2图标300A2的显示形态。由此，用户12能够以第2图标300A2为基准感知为第1图标300A1的Z方向上的位置相对发生了变化。由于用户12感知为第1图标300A1的Z方向上的位置发生了变化，所以以后可期待在测基准40进行用户12的操作。
此外，在上述第3实施方式中，对不是用户12的操作对象的空中成像的第2图标300A2的大小(显示形态)进行变更，使用户12感知为第2图标300A2在Z方向上进行了移动。由此，使用户12感知为空中成像300的第1图标300A1的Z方向上的位置与第2图标300A2进行了移动的方向相反地进行了移动。但是，根据用户12不同，有时将第2显示的第2图标300A2的位置感知为第1显示的第1图标300A1的位置，有时没有使用户12感知为第1图标300A1的Z方向上的位置犹如向与第2图标300A2进行了移动的方向相反地进行了移动的情况。即，存在使用户12感知为第2图标300A2犹如在Z方向上进行了移动的情况、用户12感知为第1图标300A1也向相同方向进行了移动的情况。在此，是否感知为第2图标300A2的位置位于第1图标300A1的位置是依存于用户12的，但在第2图标300A2与第1图标300A1之间的关联性高的情况下，用户12容易将第2图标300A2感知为第1图标300A1的位置。
在此，第2图标300A2与第1图标300A1之间的关联性高是指，作为第1显示的第1图标300A1和作为第2显示的第2图标300A2彼此在现实世界相处较近、相接触地设置、或对象彼此成为一体地构成等。作为一般例子，若举出不限于空中成像的图标的一个例子，则存在显示装置1作为第1显示而显示图画、作为第2显示而显示画框的情况。由于实物的图画收纳于画框，所以一般在实物的情况下，画框的位置和图画的位置存在于相同位置。因此，即使空中成像中显示的、第1显示的图画与第2显示的画框之间的位置相对于Z方向偏移，有时用户12也会感到第1显示的图画位于作为空中成像显示的第2显示的画框的位置。同样地，第1实施方式和第2实施方式等中说明的、在作为辅助图像的第2显示上显示第1显示的影子的例子，也是第1显示与第2显示的关联性深的例子。相反地，在第1显示与第2显示之间的关联性低的情况下，这样的现象则难以发生。例如，在第2显示为音乐图标的空中成像、第1显示为表示塑料瓶的空中成像的情况下，用户12难以如上述那样感知为第1显示处于第2显示的位置。这是因为，作为第1显示的塑料瓶与作为第2显示的音乐图标的关联性低，在现实世界中塑料瓶与音乐图标的相处较近的情况少，另外音乐图标与塑料瓶一体地构成情况也几乎没有。
像这样，在第2显示(第2图标300A2)的显示形态发生了变化的情况下，根据第1显示(第1图标300A1)与第2显示(第2图标300A2)的关系，用户所感知的第1显示(第1图标300A1)发生变化的深度位置的方向变更。
(第3实施方式的变形例1)
此外，在上述的说明中，举出了图像生成部201作为显示形态的变更而变更第2图标300A2的大小的情况为例，但不限定于该例。以下例示处于第1图标300A1周围的其他空中成像的显示形态的变更。在以下的例子中，其他空中成像为单眼性的深度头绪。
<1.第2图标300A2的显示位置的变更>
图像生成部201可以通过使作为第2显示的第2图标300A2的在空中成像300上的显示位置移动来变更显示形态。图31中示意地示出该情况下的空中成像300的显示的一例。图31的(a)与图30的(a)同样地示出初始显示。图31的(b)示出为了使用户感知为第1图标300A1接近了用户12而变更了第2图标300A2的显示位置的情况。图31的(c)示出为了使用户感知为第1图标300A1远离了用户12而变更了第2图标300A2的显示位置的情况。即，第2图标300A2是第1图标300A1的深度头绪。此外，在图31的(b)、(c)中，以虚线示出初始显示的第2图标300A2，但实际上不会显示。另外，在图31的(b)、(c)中，为了便于说明，将矩形的空中成像300的中心位置(即对角线的交点)示为点P1，但点P1既可以显示于空中成像300，也可以不显示于空中成像300。
如图31的(b)所示，为了使用户感知为第2图标300A2向远离用户12的方向进行了移动，图像生成部201使第2图标300A2的显示位置向接近点P1的方向移动。此时，图像生成部201使第2图标300A2沿着将点P1和空中成像300的一个顶点P2相连的方向移动。由此，用户12通过将变更了显示位置的第2图标300A2作为基准，而感知为第1图标300A1犹如向接近方向进行了移动，因此能够期待在检测基准40进行用户12的操作。
另外，如图31的(c)所示，为了使用户感知为第2图标300A2向接近用户12的方向进行了移动，图像生成部201使第2图标300A2的显示位置向远离点P1的方向移动。此时也是，图像生成部201使第2图标300A2沿着将点P1和空中成像300的一个顶点P2相连的方向移动。由此，用户12通过将变更了显示位置的第2图标300A2作为基准，而感知为第1图标300A1犹如向远离方向进行了移动，因此能够期待在检测基准40进行用户12的操作。
此外，为了使用户12更容易感知第2图标300A2的移动方向，图像生成部201也可以在空中成像300上进行成为第1图标300A1、第2图标300A2的深度头绪的显示。图31的(d)、(e)中示意性地示出该情况下的空中成像300的显示例。此外，图31的(d)与图31的(b)同样地示出变更了第2图标300A2的显示形态的例子，图31的(e)与图31的(c)同样地示出变更了第2图标300A2的显示形态的例子。在图31的(d)、(e)中也是，以虚线示出初始显示的第2图标300A2，但实际上不会显示。
图31的(d)、(e)是图像生成部201作为深度头绪而以透视图的形式显示基准线320～324的例子。该情况下，能够将第2图标300A2和基准线320～324设为第2显示。即，第2图标300A2和基准线320～324是针对第1图标300A1的深度头绪。透视图是用于将三维空间展现于二维平面的制图方法，使用多个直线表现远近。在图31的(d)、(e)所示的例子中，从空中成像300的矩形外周301的四个顶点朝向矩形的中心设有直线的基准线321～324，在中心的附近设有小于外周301的矩形的基准线320。即，一对基准线321、323构成矩形外周301的一方对角线的一部分，一对基准线322、324构成矩形外周301的另一方对角线的一部分，这些对角线的交点相当于矩形外周301的中心。
此外，图31的(d)、(e)所示的基准线320示出与外周301具有相似关系的例子，但也可以没有相似关系。另外，基准线320不限定于为矩形，也可以是圆形或其他多边形。另外，也可以不设置基准线320。
基准线321～324是将基准线320的顶点和空中成像300的外周301的顶点相连的直线。在以这样的基准线320～324示出的透视图中，空中成像300的中心的点P1附近成为远近法中平行线相交的灭点(远方的点)。即，基准线321～324是单眼的深度头绪。因此，该空中成像300对观察空中成像300的用户12带来从外周301越接近灭点、即设于中心的点P1附近的矩形的基准线320则越成为远方的视觉作用。此外，在图31的(d)、(e)中，列举灭点为一个的情况为例，但不限定于此，也可以是具有多个灭点的透视图。另外，在图31的(d)、(e)的例子中，示出了基准线321～324在灭点相交的情况，但基准线321～324可以不必在灭点相交。
<2.第2图标300A2的清晰度的变更>
图像生成部201也可以作为第2图标300A2的显示形态的变更而变更清晰度。图像生成部201通过提高图30的(a)、图31的(a)所示的第2图标300A2的清晰度，而使用户感知为第2图标300A2犹如向接近用户12的方向进行了移动。即，使用户感知为犹如第1图标300A1相对地向远离用户12的方向进行了移动。图像生成部201通过降低第2图标300A2的清晰度，使用户感知为第2图标300A2犹如向远离用户12的方向进行了移动。即，使用户感知为犹如第1图标300A1相对地向接近用户12的方向进行了移动。图像生成部201作为清晰度，例如变更第2图标300A2的模糊程度，或按照空气透视(空气远近法)的考虑方式变更对第2图标300A2赋予的发白程度(朦胧程度)。
图像生成部201越降低第2图标300A2的边缘部分、重叠的文字或图案等的模糊程度而使其变清楚，则越会使用户感知为第2图标300A2向接近用户12的方向进行了移动。图像生成部201越提高第2图标300A2的边缘部分、重叠的文字或图案等的模糊程度，则越会使用户感知为第2图标300A2向远离用户12的方向进行了移动。另外，图像生成部201越降低对第2图标300A2赋予的发白程度，则越会使用户感知为第2图标300A2向接近用户12的方向进行了移动。图像生成部201越提高对第2图标300A2赋予的发白程度，则越会使用户感知为第2图标300A2向远离用户12的方向进行了移动。
图像生成部201基于到达位置或指定位置与检测基准40的距离，图像生成部201决定第2图标300A2的清晰度的变更量，并基于该变更量变更第2图标300A2的清晰度。由此，使用户12感知为犹如第1图标300A1在空中的显示位置进行了移动，能够使对空中成像30的操作的位置变更。
此外，在以上的说明中，作为第2图标300A2的显示形态的变更而说明了清晰度的变更。但图像生成部201也可以作为第2图标300A2的显示形态的变更而将清晰度的变更、大小的变更和显示位置的变更进行适当组合。
<3.第2图标300A2的颜色的变更>
图像生成部201作为显示形态的变更而变更图30的(a)和图31的(a)所示的第2图标300A2的颜色。通常，被赋予冷色系颜色的物体被感知为与具有相同大小且被赋予暖色系颜色的物体相比位于更远离的位置。图像生成部201通过对第2图标300A2赋予冷色系的蓝色等后退色，而使用户感知为第2图标300A2向远离用户12的方向进行了移动。即，可期待用户12感知为第1图标300A1接近用户12，操作位置(到达位置、指定位置)被变更。
相反地，图像生成部201通过对第2图标300A2赋予暖色系的红色或黄色等前进色，能够使用户感知为犹如第2图标300A2向接近用户12的方向进行了移动。
此外，在以上的说明中，作为第2图标300A2的显示形态的变更而说明了颜色的变更。图像生成部201也可以作为第2图标300A2的显示形态的变更而将颜色的变更、清晰度的变更、大小的变更和显示位置的变更适当组合。
<4.变更第2图标300A2的亮度>
图像生成部201作为显示形态的变更，而变更图30的(a)和图31的(a)的第2图标300A2的亮度。图像生成部201越降低第2图标300A2的亮度而使其变暗，则越会使用户感知为第2图标300A2向远离用户12的方向进行了移动。图像生成部201越提高第2图标300A2的亮度而使其变亮，则越会使用户感知为第2图标300A2向接近用户12的方向进行了移动。
由此，存在通过提高第2图标300A2的亮度使明亮度增大，而使用户12感知为犹如第2图标300A2位于接近用户12这一侧的情况。即，可期待用户12感知为第1图标300A1位于远离用户12这一侧，操作位置(到达位置、指定位置)被变更。
此外，在以上的说明中，作为第2图标300A2的显示形态的变更而说明了亮度的变更。图像生成部201也可以作为第2图标300A2的显示形态的变更而将亮度的变更、颜色的变更、清晰度的变更、大小的变更和显示位置的变更适当组合。
<5.第2图标300A2与第1图标300A1的重叠>
图像生成部201作为显示形态的变更，而变更第1图标300A1与第2图标300A2的重叠。图32是示意地表示该情况下的空中成像300的图。图32的(a)示出初始显示的第1图标300A1和第2图标300A2。图32的(b)示出图像生成部201以使第1图标300A1与第2图标300A2重叠、且第1图标300A1的一部分被第2图标300A2隐藏的方式变更了第2图标300A2的显示形态的情况。该情况下，用户12以第2图标300A2为基准，感知为犹如第1图标300A1相对地位于远离用户12这一侧。即，在到达位置或指定位置比检测基准40位于近前(Z方向+侧)的情况下(参照图5的(b))，图像生成部201如图32的(b)所示那样变更第2图标300A2的显示形态。
图32的(c)示出图像生成部201以使第1图标300A1与第2图标300A2重叠、且第2图标300A2的一部分被第1图标300A1隐藏的方式变更了显示形态的情况。该情况下，用户12以第2图标300A2为基准，感知为犹如第1图标300A1相对地位于接近用户12这一侧。即，在到达位置或指定位置比检测基准40位于里侧(Z方向-侧)的情况下(参照图5的(d))，图像生成部201如图32的(c)所示那样变更第2图标300A2的显示形态。
图像生成部201基于到达位置或指定位置与检测基准40之间的距离，计算出第1图标300A1与第2图标300A2的重叠量，并变更第1图标300A1与第2图标300A2的重叠量。由此，使用户12感知为犹如第1图标300A1在空中的显示位置进行了移动，能够使对空中成像30的操作位置变更。
另外，图像生成部201也可以赋予基于运动视差的效果。图像生成部201可以在从图32的(a)所示的初始显示的状态使第2图标300A2移动时，随着时间经过而使第1图标300A1与第2图标300A2的重叠量变化。由此，能够强调第2图标300A2看起来向深度方向的移动。
此外，在以上的说明中，作为第2图标300A2的显示形态的变更而说明了与第1图标300A1的重叠的变更。图像生成部201也可以作为第2图标300A2的显示形态的变更，而将与第1图标300A1的重叠的变更、亮度的变更、颜色的变更、清晰度的变更、大小的变更和显示位置的变更适当组合。
<6.变更对第1图标300A1赋予的阴影。>
图像生成部201生成对第1图标300A1附加了阴影的显示用图像数据。图像生成部201变更该对第1图标300A1附加的阴影。图33是示意地表示假定光从上方照到第1图标300A1的情况下形成的影子图像315的一例的图。在图33的(a)、图33的(b)和图33的(c)中，第1图标300A1所形成的影子图像315的面积不同。此外，在图33的(a)～图33的(c)中，设为第1图标300A1的大小和空中成像300中的显示位置相同。
图33的(b)的影子图像315的面积小于图33的(a)的影子图像315的面积。影子图像315的面积小的图33的(b)所示的第1图标300A1与初始显示的第1图标300A1相比，能够被感知为影子图像315与第1图标300A1之间的距离小。即，用户12能够感知为犹如图33的(b)所示的第1图标300A1与图33的(a)所示的第1图标300A1相比位于更远离用户12这一侧。
影子图像315的面积大的图33的(c)所示的第1图标300A1与图33的(a)所示的初始显示的第1图标300A1相比，能够被感知为影子图像315与第1图标300A1之间的距离大。即，用户12能够感知为图33的(c)所示的第1图标300A1与初始显示的第1图标300A1相比位于更接近用户12这一侧。基于这样的效果，图像生成部201通过控制第1图标300A1的影子图像315的面积，使用户感知为第1图标300A1向远离用户12的方向或接近的方向进行了移动。图像生成部201在例如校准处理时的到达位置50相对于图33的(a)的初始显示的空中成像300位于检测基准40的上方(参照图5的(b))的情况下，显示图33的(b)的空中成像300。图像生成部201在校准处理时的到达位置50位于检测基准40的下方(参照图5的(d))的情况下，显示图33的(c)的空中成像300。
图像生成部201基于用户的操作与检测基准40的位置关系，进行对图标300A1施加阴影的处理。由此，使用户感知为犹如图标300A1的显示位置进行了移动，能够使用户的操作位置变更。
此外，在以上的说明中，作为显示形态的变更而说明了附加影子图像315。图像生成部201也可以作为第1图标300A1的显示形态的变更，而将影子图像315的附加、与第2图标300A2的重叠的变更、亮度的变更、颜色的变更、清晰度的变更、大小的变更和显示位置的变更适当组合。
此外，图像生成部201也可以单独进行第3实施方式的变形例1中例示的各显示形态的变更的例子，还可以将多个显示形态的变更组合执行。例如，图像生成部201可以基于用户12的操作位置与检测基准40的位置关系，变更图标30A的显示位置、大小及亮度中的至少一个。
另外，在上述的说明中，举出了用户12能够以单眼感知第1图标300A1的深度方向的变化的显示形态的变更例子，但不限定于此。即，也可以根据双眼视差使作为深度头绪的第2图标300A2的深度位置变化，而使用户12感知为犹如第1图标300A1的深度位置发生了变化。例如，在显示装置1中，作为生成空中成像的结构的例子，具有在显示装置1的显示器11上显示视差图像的方法。即，具有如下方法：图像生成部201通过显示以右眼视觉辨认的图像和与以右眼视觉辨认的图像具有视差的以左眼视觉辨认的图像，而生成使用户12感觉为与由显示器正在显示的图像深度不同的图像。根据这样的方法，可以以不同的深度显示第2图标300A2。具体地说，图像生成部201只要使视差图像的视差量变更，使用户12感知为第2图标300A2的深度感发生了变更即可。该情况下，作为成像光学系统9，能够使用例如公知的柱状透镜。像这样，可以通过使作为双眼性的深度头绪的第2图标300A2的深度位置变化，使用户12感知为第1图标300A1的深度位置发生了变化。
在上述第3实施方式和其变形例1中，说明了图像生成部201作为第2显示而使第2图标300A2显示的例子，但不限定于此。例如，图像生成部201也可以作为第2显示而使框架、书案、椅子、台架等显示。
(第3实施方式的变形例2)
如上述那样，空中成像具有透视性，因此，即使是同一用户12有时也会感到空中成像的显示位置不同。因此，存在用户12无法准确地感知空中成像的位置、无法利用检测基准检测到用户12的操作的隐患。即，存在用户12将空中成像的位置感知为不稳定位置的隐患。
为了降低这样的空中成像的位置的不稳定性，使得用户12能够以实际物体为基准准确地感知作为空中成像的图标的显示位置，图像生成部201以使与作为第1显示的图标不同的作为第2显示的空中成像重叠于(连接于)实际物体的方式进行显示。即，用户12通过借助作为第2显示的空中成像并以实际物体为基准，能够感知图标的显示位置。以下详细进行说明。
图34中示意地示出通过第3实施方式的变形例2的显示装置1显示的空中成像30和载台14。设为在载台14的表面(Y方向+侧的面)上附有条纹图案。在图34的(a)中，包含作为空中成像30的第1部分的第1空中成像30-1、和作为第2部分的第2空中成像30-2。在图34中，示出作为第1显示的第1空中成像30-1由四个图标30A构成的例子。此外，图标30A的个数为一例，不限定于四个。作为第2显示的第2空中成像30-2是模拟配置有图标30A的面板的图像。图像生成部201生成第2空中成像30-2被载置于载台14之上这样的显示用图像数据。图像生成部201生成第2空中成像30-2与作为实际物体的载台14重叠这样的显示用图像数据。即，图像生成部201以在第1空中成像30-1之下(Y方向-侧)配置第2空中成像30-2的方式生成显示用图像数据。由于显示装置1上的载台14的位置稳定，所以用户12能够将以载置于作为实际物体的载台14之上的方式显示的第2空中成像30-2作为深度头绪来对图标30A进行视觉辨认。由此，用户12能够将图标30A与载台14的相对位置关系、即图标30A的Z方向上的位置感知为稳定的位置。
即使在如上述那样以第2空中成像30-2载置于载台14的方式显示空中成像30的情况下，根据用户12不同，也具有感知为第2空中成像30-2与载台14乖离的隐患。即，存在用户12感知为第2空中成像30-2没有载置于载台14之上的可能性。为了避免发生这样的事态，图像生成部201可以以在如图34的(a)那样显示的第2空中成像30-2与载台14重叠的部分上进一步显示第3空中成像的方式生成显示用图像数据。图34的(b)中示出该情况下的空中成像30。第1空中成像30-1和第2空中成像30-2与图34的(a)所示的例子相同。第3空中成像30-3与例如第2空中成像30-2的下部附近处的表示载台14的表面的图像对应。该情况下，图像生成部201使用载台14的表面中的、例如由摄像装置等拍摄图案等得到的拍摄数据，生成与第3空中成像30-3对应的显示用图像数据。由此，用户12能够感知为第2空中成像30-2载置于载台14，能够借助第3空中成像30-3并以载台14为基准更稳定地感知图标30A的Z方向上的位置。
此外，图像生成部201也可以生成在如上述那样第2空中成像30-2经由第3空中成像30-3与载台14重叠的状态下，进一步地第2空中成像30-2与第1空中成像30-1的至少一部分重叠这样的显示用图像数据。该情况下，图像生成部201显示为第1空中成像30-1与第2空中成像30-2之间没有间隙等而相互接触。例如，在第1空中成像30-1是瓶或塑料瓶、第2空中成像30-2是书案的情况下，图像生成部201生成表示瓶或塑料瓶载置于书案之上的状态的显示用图像数据。由此，第1空中成像30-1与相对于作为实际物体的载台14被稳定地视觉辨认的第2空中成像30-2重叠，所以用户12能够更稳定地视觉辨认第1空中成像30-1。
在第3实施方式的变形例2中，图像生成部201在第1空中成像30-1与配置于第1空中成像30-1的下方(Y方向-侧)的实物(载台14)之间显示第2空中成像30-2。由此，用户12易于以载台14为基准，借助第2空中成像30-2来感知第1空中成像30-1在空中的位置。
另外，在第3实施方式的变形例2中，图像生成部201以使第2空中成像30-2与载台14的一部分重叠的方式进行显示。由此，用户12能够借助以载置于载台14之上的方式进行显示的第2空中成像30-2来视觉辨认图标30A，因此能够将图标30A与载台14的相对位置关系感知为稳定的关系。
另外，在第3实施方式的变形例2中，图像生成部201在第2空中成像30-2中的与载台14重叠的部分，显示与载台14对应的第3空中成像30-3。由此，用户12能感知为第2空中成像30-2载置于载台14，能够借助第2空中成像30-2及第3空中成像30-3并以载台14为基准感知图标30A的Z方向上的位置。
另外，在第3实施方式的变形例2中，图像生成部201使第2空中成像30-2与第1空中成像30-1的一部分重叠地进行显示。由此，用户12能够感知为第1空中成像30-1与第2空中成像30-2在Z方向上处于相同位置，因此能够借助第2空中成像30-2及第3空中成像30-3并以载台14为基准感知图标30A的Z方向上的位置。
(第3实施方式的变形例3)
在上述第3实施方式和其变形例1、2中，举出了将显示于空中成像30、300的第1显示的空中成像周围的第2显示的空中成像的显示形态变更的情况为例，但不限于该例。例如，显示装置1在空中成像30的显示位置的周围具有框架等作为实际物体，为了使用户感知第1图标300A1的深度位置而在该框架上进行指标等的显示。显示装置1通过变更该指标等的显示形态，而使用户12感知为犹如第1图标300A1的深度方向的位置进行了移动。在此，指标等为针对第1图标300A1的深度头绪。以下详细进行说明。
图35的(a)是该情况下的显示装置1的外观立体图。该情况下的显示装置1具有图29所示的第3实施方式的显示装置1的载台14上的框架102、和第3显示器103。图35的(b)是说明显示装置1的主要部分结构的框图。图35的(b)是表示控制部20、由控制部20的控制的显示器11、操作检测器13和第3显示器103的框图。控制部20在图29的(b)所示的第3实施方式的控制部20所具有的功能的基础上，还具备控制第3显示器103的显示的指标显示控制部210。
此外，第3显示器103也可以具备控制第3显示器103的显示的控制部。该情况下，只要控制部基于来自指标显示控制部210的控制信号控制第3显示器103的显示即可。
在显示装置1的主体10上，作为实际物体，在载台14上与XY平面平行地设有框架102。框架102在内部具有开口部102OP，在该开口部102OP显示空中成像300。第3显示器103是例如液晶监控器等，在框架102的Z方向+侧的表面，以能够从Z方向+侧视觉辨认显示内容的方式配置。在第3显示器103上，显示有成为用于供观察空中成像300的用户12掌握空中的空中成像300的显示位置的指引的指标104。指标显示控制部210在起动显示装置1而开始空中成像操作模式时，或在起动显示装置1时而起动校准处理模式时，控制第3显示器103，开始指标104的显示。
图36示意地示出空中成像300及指标104的显示的一例。在图36中，示出作为指标104而显示有矩形形状的标记的情况。此外，指标104不限于矩形形状，可以是圆形形状，也可以是箭头、星号等记号、拉丁字母等文字。另外，图36例示了指标104在第3显示器103的X方向+侧的显示面上显示一个的情况，但不限定于该例，也可以显示多个。另外，指标104还可以在第3显示器103的X方向-侧的显示面、Y方向+侧的显示面或Y方向-侧的显示面上显示一个或多个。
图36的(a)示出第1图标300A1和指标104被初始显示的情况。说明对该初始显示的第1图标300A1进行的用户12的操作的到达位置或指定位置为第1图标300A1的近前(Z方向+侧)的情况，即图5的(b)所示的状态的情况。该情况下，指标显示控制部210变更指标104的显示形态，使用户12感知为第1图标300A1犹如向远离用户12的方向(Z方向-侧)进行了移动。在以下的说明中，列举指标显示控制部210作为指标104的显示形态的变更而变更大小的情况为例。
图36的(b)中例示指标104的显示形态被变更了的情况下的显示。该情况下，指标显示控制部210将初始显示的指标104的大小放大。指标显示控制部210基于到达位置或指定位置与检测基准40之间的距离，将指标104的大小放大。对该第1图标300A1进行视觉辨认的用户12以大小被放大的指标104基准，感知为犹如第1图标300A1相对地位于Z方向-侧。由此，可期待在Z方向-侧进行用户12的操作，在检测基准40检测到到达位置或指定位置。
接下来，说明对该初始显示的第1图标300A1进行的用户12的操作的到达位置或指定位置为第1图标300A1的里侧(Z方向-侧)的情况、即图5的(d)所示的状态的情况。该情况下，指标显示控制部210变更指标104的显示形态，使用户12感知为第1图标300A1犹如向接近用户12的方向(Z方向+侧)进行了移动。
图36的(c)中例示指标104的显示形态被变更了的情况下的显示。该情况下，指标显示控制部210将初始显示的指标104的大小缩小。指标显示控制部210基于到达位置或指定位置与检测基准40之间的距离，将指标104的大小缩小。对该第1图标300A1进行视觉辨认的用户12以大小被缩小的指标104为基准，感知为犹如第1图标300A1相对地位于Z方向+侧。由此，可期待在Z方向+侧进行用户12的操作，在检测基准40检测到到达位置或指定位置。
此外，到达位置或指定位置与检测基准40的距离和指标104的大小之间的关系作为基于试验等的结果而预先建立了关联的关联数据被存储于存储部205。指标显示控制部210参照该关联数据来变更指标104的大小。
另外，在上述的说明中，作为基于指标显示控制部210对指标104的显示形态的变更，举出了大小的变更为例，但不限定于此。指标显示控制部210能够作为显示形态的变更而执行变形例1的各例中说明的清晰度的变更、颜色的变更、亮度的变更。
另外，在以上的说明中，列举了指标显示控制部210变更指标104的显示形态的情况为例，但不限定于此。例如，在第3显示器103具备控制部的情况下，可以是该控制部与指标显示控制部210同样地变更指标104的显示形态。
关于上述的显示装置1的校准处理，以第1校准处理模式为例进行说明。该情况下，在图7所示的第1实施方式的流程图中的步骤S3的处理时，显示控制部202对空中成像300进行初始显示，指标显示控制部210将指标104初始显示于第3显示器103(参照图36的(a))。在图7的步骤S6的处理时，指标显示控制部210计算出指标104的显示形态的变更量。在图7的步骤S8中，显示控制部202显示空中成像300，指标显示控制部210使基于变更量被变更了显示形态的指标104显示于第3显示器103(参照图36的(b)、(c))。
此外，在第2校准处理模式的情况下，进行在第1实施方式中示出的图9的流程图的处理。但是，取代图9的流程图中的步骤S28及步骤S32的处理，而指标显示控制部210计算出指标104的显示形态的变更量，并使基于变更量被变更了显示形态的指标104显示于第3显示器103。
此外，在上述第3实施方式和其变形例1～3中，以至少包含控制部20、显示器11和操作检测器13的显示装置1为例进行了说明，但也可以是仅由控制部20构成的控制装置、或由控制部20和操作检测器13构成的控制装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。也可以为了得到上述第3实施方式或变形例1中记载的各效果而从上述结构根据需要适当追加结构。另外，还可以将上述控制装置嵌入到适用于第1实施方式和其变形例的各种电子设备。
另外，也可以是仅由控制部20构成的检测装置、或由控制部20和操作检测器13构成的检测装置。另外，控制部20只要至少具备校准部203和图像生成部201即可。对于这样的检测装置，也可以为了得到在上述第3实施方式或变形例1～3中记载的各效果而从上述结构根据需要适当追加结构。
作为以上说明的全部实施方式和全部变形例的显示装置1生成空中成像的方法，可以是将激光会聚于空中并将构成空气的分子等离子化而在空中发光、从而在空中形成像的方法。该情况下，通过在三维空间中自由地控制激光的会聚位置而在空中作为实像生成三维图像。另外，作为生成空中成像的方法，也可以使用在投影仪功能的基础上具有在空气中产生雾的功能的显示装置，使空气中产生而形成屏幕，将图像投影到基于该雾形成的屏幕上(雾屏)，由此在空中生成像。
可以事先将显示装置1为了使空中成像30的位置移动而执行的各种处理的程序记录到计算机可读的记录介质，并将该程序读入计算机系统来执行校准。此外，在此所说的“计算机系统”可以包含OS(Operating System：操作系统)和外围设备等硬件。
此外，上述“计算机系统”也包含利用WWW系统的主页提供环境(或显示环境)。另外，上述“计算机可读的记录介质”是指软盘、光磁盘、ROM、闪存等能够写入的非易失性存储器、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且上述计算机可读的记录介质”也包括像经由因特网等网络或电话回线等通信回线发送程序的情况下的成为服务器或客户端的计算机系统的内部的易失性存储器(例如DRAM(Dynamic RandomAccessMemory：动态随机存储器))那样以一定时间保存程序的介质。
关于上述“程序”，可以从将该程序保存于存储装置等的计算机系统经由传输介质或利用传输介质中的传输波而传输到其他计算机系统。在此，传输程序的“传输介质”是指像因特网等网路(通信网)、电话回线等通信回线(通信线)那样具有传输信息的功能的介质。另外，上述程序也可以是用于实现上述功能的一部分功能的程序。而且，也可以是与已经记录于计算机系统的程序组合来实现上述功能的、所谓差分文件(差分程序)。
只要无损本发明的特征，则本发明不限定于上述实施方式，关于在本发明的技术思想的范围内想到的其他方式，也包含于本发明的范围内。
以下优先权基础申请的公开内容作为引用文被嵌入于此。
日本国专利申请2016年第128211号(2016年6月28日提出申请)
附图标记说明
1...显示装置，9...成像光学系统，11...显示器，13...操作检测器，15...投影仪，18...摄像装置，19...集音器，20...控制部，91...第2显示器，103...第3显示器，200...投影仪控制部，201...图像生成部，202...显示控制部，203...校准部，204...检测基准控制部，206...速度和加速度检测部，207...到达位置预测部，208...语音检测部，209...图像解析部，210...指标显示控制部，212...检测部，213...决定部。

Claims (23)

1.一种显示装置，其特征在于，具有：
第1显示部，其在与其分开的位置显示第1像；
第2显示部，其在与所述第1像不同的位置，显示第2像和亮度与所述第2像不同的第3像；
检测部，其检测使用者对所述第1像的操作；以及
显示控制部，其根据由所述检测部检测出的操作，变更由所述第1显示部显示的所述第1像及由所述第2显示部显示的所述第2像中的至少一方的显示形态。
2.根据权利要求1所述的显示装置，其特征在于，
所述检测部对成为作为所述使用者的操作来检测操作的基准的位置与所述使用者的操作之间的相对位置进行检测。
3.根据权利要求1所述的显示装置，其特征在于，
所述检测部检测所述使用者的操作是否在成为检测所述使用者的操作的基准的位置的规定距离内进行。
4.根据权利要求3所述的显示装置，其特征在于，
若在成为检测所述使用者的操作的基准的位置的规定距离内没有进行所述使用者的操作，则所述显示控制部变更所述第1像及所述第2像中的至少一方的显示形态。
5.根据权利要求1或2所述的显示装置，其特征在于，
所述显示控制部作为所述显示形态而变更所述第2像相对于通过所述第1显示部显示的所述第1像的位置及大小中的至少一方。
6.一种显示装置，其特征在于，具备：
第1显示部，其在从第1显示装置分开规定距离的位置显示通过所述第1显示装置显示的第1显示像；
第2显示部，其在与所述第1显示像不同的位置，通过第2显示装置显示与第1显示像对应的区域以外的区域的显示亮度高的第2显示像；
操作检测部，其检测使用者对所述第1显示像的操作；
获取部，其在所述第1显示像的附近设定检测基准，并获取所述检测基准与使用者的操作之间的位置关系；以及
控制部，其基于由所述获取部获取的位置关系，进行使通过所述第2显示部显示的所述第2显示像相对于通过所述第1显示部显示的所述第1显示像的显示形态不同的显示控制。
7.根据权利要求6所述的显示装置，其特征在于，
所述控制部基于由所述获取部获取的位置关系，进行使所述第2显示像的与所述第1显示像对应的区域的显示位置不同的显示控制。
8.根据权利要求6所述的显示装置，其特征在于，
所述第2显示部基于由所述第1显示部显示的第1显示像的空中位置，进行使所述第2显示像的与所述第1显示像对应的区域的显示位置不同的显示控制。
9.根据权利要求6所述的显示装置，其特征在于，
所述第2显示部基于由所述第1显示部显示的第1显示像的空中位置，进行使所述第2显示像的与所述第1显示像对应的区域的显示亮度或显示浓度不同的显示控制。
10.根据权利要求6所述的显示装置，其特征在于，
在所述第2显示装置显示的所述第2显示像的与所述第1显示像对应的区域是所述第1显示像的影子图像。
11.根据权利要求6所述的显示装置，其特征在于，
所述第2显示装置与所述第1显示像的显示面平行地配置。
12.根据权利要求6所述的显示装置，其特征在于，
所述第2显示装置相对于所述第1显示像的显示面具有规定角度地来配置。
13.根据权利要求6所述的显示装置，其特征在于，
所述第2显示装置配置在所述第1显示装置与所述第1显示像的显示面之间。
14.一种控制装置，其控制位于与空中的第1显示不同的位置的第2显示，其特征在于，具备：
获取部，其获取检测使用者对所述第1显示的操作的检测基准与所述操作被检测到的位置之间的位置关系；和
控制部，其基于由所述获取部获取的所述位置关系，控制所述第2显示。
15.根据权利要求14所述的控制装置，其特征在于，
所述控制部控制所述第2显示的区域内。
16.根据权利要求15所述的控制装置，其特征在于，
所述控制部控制所述第2显示的区域内的显示形态。
17.根据权利要求16所述的控制装置，其特征在于，
所述控制部控制所述第2显示的区域内的亮度分布。
18.根据权利要求17所述的控制装置，其特征在于，
所述控制部控制所述亮度分布的亮度的重心位置。
19.根据权利要求17所述的控制装置，其特征在于，
所述控制部控制所述亮度分布的平均值。
20.根据权利要求18所述的控制装置，其特征在于，
所述控制部基于所述位置关系，控制使所述重心位置移动的方向。
21.根据权利要求20所述的控制装置，其特征在于，
所述操作是将所述第1显示按下的操作，
所述控制部使所述重心位置在基于所述按下的操作产生的方向或与基于所述按下的方向产生的方向相反侧的方向上移动。
22.根据权利要求19所述的控制装置，其特征在于，
所述控制部在所述操作被检测到的位置没有到达所述检测基准的情况下，减小所述平均值。
23.根据权利要求19所述的控制装置，其特征在于，
所述控制部在所述操作被检测到的位置到达所述检测基准的情况下，增大所述平均值。
CN201780050219.4A 2016-06-28 2017-06-28 显示装置及控制装置 Pending CN109643173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310220837.6A CN116126170A (zh) 2016-06-28 2017-06-28 显示装置及控制装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016128211 2016-06-28
JP2016-128211 2016-06-28
PCT/JP2017/023761 WO2018003861A1 (ja) 2016-06-28 2017-06-28 表示装置および制御装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310220837.6A Division CN116126170A (zh) 2016-06-28 2017-06-28 显示装置及控制装置

Publications (1)

Publication Number Publication Date
CN109643173A true CN109643173A (zh) 2019-04-16

Family

ID=60785132

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780050219.4A Pending CN109643173A (zh) 2016-06-28 2017-06-28 显示装置及控制装置
CN202310220837.6A Pending CN116126170A (zh) 2016-06-28 2017-06-28 显示装置及控制装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310220837.6A Pending CN116126170A (zh) 2016-06-28 2017-06-28 显示装置及控制装置

Country Status (4)

Country Link
US (1) US20190243469A1 (zh)
JP (1) JP6724987B2 (zh)
CN (2) CN109643173A (zh)
WO (1) WO2018003861A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112756281A (zh) * 2021-01-15 2021-05-07 镇江润茂钢球有限公司 一种钢球表面粗糙度筛选装置及其使用方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018003860A1 (ja) * 2016-06-28 2018-01-04 株式会社ニコン 表示装置、プログラム、表示方法および制御装置
US11074747B2 (en) * 2017-10-13 2021-07-27 Autodesk, Inc. Computer-aided techniques for designing detailed three-dimensional objects
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
JP7456583B2 (ja) * 2018-09-28 2024-03-27 ライト フィールド ラボ、インコーポレイテッド ライトフィールドディスプレイ用ホログラフィック対象物中継部
JP2020064632A (ja) * 2018-10-11 2020-04-23 オムロン株式会社 入力装置
JP7097335B2 (ja) * 2019-07-31 2022-07-07 コイト電工株式会社 非接触入力装置
JP2022554404A (ja) 2019-11-12 2022-12-28 ライト フィールド ラボ、インコーポレイテッド 中継システム
CN110991273B (zh) * 2019-11-18 2021-03-19 支付宝(杭州)信息技术有限公司 层板调控设备、方法及装置
EP4071701A4 (en) * 2019-12-04 2022-12-07 NEC Corporation INFORMATION PRESENTATION SYSTEM, INFORMATION PRESENTATION METHOD, COMPUTER PROGRAM AND AUTHENTICATION SYSTEM
CN111246012B (zh) * 2020-01-06 2022-09-16 北京小米移动软件有限公司 应用界面显示方法、装置及存储介质
WO2022046340A1 (en) * 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices
JP2022063542A (ja) * 2020-10-12 2022-04-22 マクセル株式会社 空間浮遊映像情報表示システムおよび光源装置
CN114660918B (zh) * 2020-12-24 2023-05-23 腾讯科技（深圳）有限公司 全息立体影像的显示设备、方法、装置及介质
JP2022132259A (ja) * 2021-02-27 2022-09-08 株式会社アーティフィス 生体反応物質付着防止部を有する情報入力装置
JP7402265B2 (ja) * 2021-06-28 2023-12-20 日立チャネルソリューションズ株式会社 情報処理システム
WO2024070437A1 (ja) * 2022-09-26 2024-04-04 マクセル株式会社 空中浮遊映像表示装置
WO2024070986A1 (ja) * 2022-09-29 2024-04-04 京セラ株式会社 空中像表示装置
WO2024079832A1 (ja) * 2022-10-13 2024-04-18 三菱電機株式会社 インタフェース装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234240A (ja) * 2004-02-19 2005-09-02 Pioneer Electronic Corp 立体的二次元画像表示装置及び立体的二次元画像表示方法
CN102668390A (zh) * 2009-12-17 2012-09-12 三星电子株式会社 用于控制移动装置的输出的方法和系统
US20140015794A1 (en) * 2011-03-25 2014-01-16 Kyocera Corporation Electronic device, control method, and control program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4804122B2 (ja) * 2005-11-21 2011-11-02 株式会社バンダイナムコゲームス プログラム、テクスチャデータ構造、情報記憶媒体及び画像生成システム
JP5350612B2 (ja) * 2007-07-04 2013-11-27 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
US8416268B2 (en) * 2007-10-01 2013-04-09 Pioneer Corporation Image display device
JP2013168120A (ja) * 2012-01-19 2013-08-29 Panasonic Corp 立体画像処理装置、立体画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234240A (ja) * 2004-02-19 2005-09-02 Pioneer Electronic Corp 立体的二次元画像表示装置及び立体的二次元画像表示方法
CN102668390A (zh) * 2009-12-17 2012-09-12 三星电子株式会社 用于控制移动装置的输出的方法和系统
US20140015794A1 (en) * 2011-03-25 2014-01-16 Kyocera Corporation Electronic device, control method, and control program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112756281A (zh) * 2021-01-15 2021-05-07 镇江润茂钢球有限公司 一种钢球表面粗糙度筛选装置及其使用方法
CN112756281B (zh) * 2021-01-15 2023-12-12 镇江润茂钢球有限公司 一种钢球表面粗糙度筛选装置及其使用方法

Also Published As

Publication number Publication date
US20190243469A1 (en) 2019-08-08
JPWO2018003861A1 (ja) 2019-04-18
CN116126170A (zh) 2023-05-16
JP6724987B2 (ja) 2020-07-15
WO2018003861A1 (ja) 2018-01-04

Similar Documents

Publication Publication Date Title
CN109643173A (zh) 显示装置及控制装置
CN109564495A (zh) 显示装置、程序、显示方法及控制装置
AU2020356572B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20190107721A1 (en) User-based context sensitive hologram reaction
EP3008567B1 (en) User focus controlled graphical user interface using an head mounted device
JP6365660B2 (ja) 検出装置、電子機器、検出方法およびプログラム
JP6520918B2 (ja) 制御装置、電子機器、制御方法およびプログラム
JP6822472B2 (ja) 表示装置、プログラム、表示方法および制御装置
US20130257748A1 (en) Touch sensitive user interface
CN106125921A (zh) 3d映射环境中的凝视检测
CN109643206A (zh) 控制装置、显示装置、程序及检测方法
JP2019109849A (ja) 透過型頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
JP2018173987A (ja) 検出装置、電子機器、検出方法およびプログラム
JP6460094B2 (ja) 検出装置、空中像制御装置、検出方法および検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication