−第１の実施の形態−
図面を参照しながら、第１の実施の形態による表示装置について説明する。第１の実施の形態においては、本実施の形態の表示装置が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。
図１（ａ）は表示装置１の分解斜視図であり、図１（ｂ）は表示装置１の一部を拡大して示す側面図である。なお、説明の都合上、表示装置１について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。なお、座標系はＸ軸、Ｙ軸およびＺ軸からなる直交座標系に限らず、極座標系や円筒座標系を採用してもよい。即ち、Ｘ軸は、表示装置１の矩形表示面の短辺方向に設定され、Ｙ軸は、表示装置１の矩形表示面の長辺方向に設定され、Ｚ軸は、表示面に垂直な方向に設定されている。
-First embodiment-
The display device according to the first embodiment will be described with reference to the drawings. In the first embodiment, the case where the display device of this embodiment is incorporated in a mobile phone will be described as an example. Note that the display device of this embodiment is not limited to a mobile phone, but can be incorporated in an electronic device such as a portable information terminal device such as a tablet terminal or a wristwatch terminal, a personal computer, a music player, a fixed phone, or a wearable device. Is possible.
FIG. 1A is an exploded perspective view of the display device 1, and FIG. 1B is an enlarged side view showing a part of the display device 1. For convenience of explanation, a coordinate system composed of the X axis, the Y axis, and the Z axis is set as shown in the drawing for the display device 1. The coordinate system is not limited to an orthogonal coordinate system including the X axis, the Y axis, and the Z axis, and a polar coordinate system or a cylindrical coordinate system may be employed. That is, the X axis is set in the short side direction of the rectangular display surface of the display device 1, the Y axis is set in the long side direction of the rectangular display surface of the display device 1, and the Z axis is a direction perpendicular to the display surface. Is set to
表示装置１は、制御部２０を内蔵する本体１０と、表示器１１と、結像光学系１２と、操作検出器１３とを備える。表示器１１と結像光学系１２と操作検出器１３は、本体１０内に配置されている。表示器１１は、たとえば、液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器１１は、制御部２０により制御されて、表示用画像データに対応する画像を表示する。結像光学系１２は、表示器１１の上方（Ｚ方向＋側）に、表示器１１から所定の間隔を設けて配置される。たとえば、結像光学系１２は図１（b）に明示するように、微小な凸レンズ１２１が二次元状に配列されたマイクロレンズアレイをＺ方向に２個重ねて構成される。
The display device 1 includes a main body 10 incorporating a control unit 20, a display 11, an imaging optical system 12, and an operation detector 13. The display 11, the imaging optical system 12, and the operation detector 13 are disposed in the main body 10. The display 11 is composed of, for example, a liquid crystal display, an organic EL display, or the like, and has a plurality of display pixel arrays arranged two-dimensionally. The display 11 is controlled by the control unit 20 and displays an image corresponding to the display image data. The imaging optical system 12 is disposed above the display 11 (Z direction + side) with a predetermined distance from the display 11. For example, as clearly shown in FIG. 1B, the imaging optical system 12 is configured by superposing two microlens arrays in which minute convex lenses 121 are arranged two-dimensionally in the Z direction.
結像光学系１２は、表示器１１に表示された表示画像の空中像３０を、表示装置１の上方空間に形成する。即ち、表示装置１の使用者（以下、ユーザという）は、表示器１１に表示された表示画像を、表示装置１の上方の空中に浮いた空中像３０として観察することができる。空中像３０は、表示装置１の各種設定や各種機能の実行を指示するための操作ボタンに対応する複数のアイコン３０Ａ（操作ボタン）を含む。本実施の形態にあっては、アイコン３０Ａは、例えば３行×５列に配列されている。なお、結像光学系としてのマイクロレンズアレイに代えて、ピンホールアレイやスリットアレイを用いることも可能である。
The imaging optical system 12 forms an aerial image 30 of the display image displayed on the display 11 in the space above the display device 1. That is, a user of the display device 1 (hereinafter referred to as a user) can observe the display image displayed on the display 11 as an aerial image 30 floating in the air above the display device 1. The aerial image 30 includes a plurality of icons 30A (operation buttons) corresponding to operation buttons for instructing various settings of the display device 1 and execution of various functions. In the present embodiment, the icons 30A are arranged in, for example, 3 rows × 5 columns. Note that a pinhole array or a slit array may be used instead of the microlens array as the imaging optical system.
操作検出器１３は、結像光学系１２の上方（Ｚ方向＋側）に設けられ、たとえば、公知の透明静電容量式パネル（以下、静電容量パネルと記載）によって構成される。静電容量パネルからなる操作検出器１３は、実質的に透明な部材からなる電極によって電界を形成する。操作検出器１３は、ユーザが空中像３０の表示位置を操作するために指またはスタイラスを空中像３０の方に移動させた場合に、その指またはスタイラスの位置を静電容量の値として検出する。例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて、ユーザの指のＸ軸、Ｙ軸上での位置を検出する。また、操作検出器１３は、後に詳述するように自身の上方向の所定範囲に静電容量の検出範囲を有し、この所定の検出範囲内の指またはスタイラスと操作検出器１３との間の間隔（Ｚ軸上での位置）を、例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて検出する。勿論、空中像３０は、操作検出器１３の所定の検出範囲内に位置するように、好ましくは所定の検出範囲の上下方向の中頃に位置するように、結像光学系１２によって結像される。このように、操作検出器１３は、ユーザが空中像３０の表示位置を指またはスタイラスで操作することを検出するので、ユーザは、操作検出器１３に直接に触れることなく、空中像３０に対する操作を実行することができる。なお、以下の説明では、指でもって空中像３０の表示位置を操作する例を説明するが、スタイラスなどにより操作する場合も同様である。
The operation detector 13 is provided above the imaging optical system 12 (Z direction + side), and is configured by, for example, a known transparent capacitance type panel (hereinafter referred to as a capacitance panel). The operation detector 13 made of a capacitance panel forms an electric field with an electrode made of a substantially transparent member. The operation detector 13 detects the position of the finger or stylus as a capacitance value when the user moves the finger or stylus toward the aerial image 30 in order to operate the display position of the aerial image 30. . For example, the capacitance values detected at the four corners of the transparent capacitance panel are compared, and the position of the user's finger on the X and Y axes is detected based on the capacitance values detected at the four corners. To do. Further, as will be described in detail later, the operation detector 13 has a capacitance detection range in a predetermined range in the upward direction of the operation detector 13, and between the finger or stylus within the predetermined detection range and the operation detector 13. Are detected based on the capacitance values detected at the four corners, for example, by comparing the capacitance values detected at the four corners of the transparent capacitance panel. Of course, the aerial image 30 is imaged by the imaging optical system 12 so as to be positioned within a predetermined detection range of the operation detector 13, and preferably positioned in the middle in the vertical direction of the predetermined detection range. . In this way, the operation detector 13 detects that the user operates the display position of the aerial image 30 with a finger or a stylus, so that the user can operate the aerial image 30 without touching the operation detector 13 directly. Can be executed. In the following description, an example in which the display position of the aerial image 30 is operated with a finger will be described, but the same applies to an operation with a stylus.
図２は、表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて表示装置１の表示器１１及び操作検出器１３を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える。記憶部２０５は、制御プログラムを格納する不揮発性メモリと、表示器１１に表示される画像データなどを記憶する記憶媒体などとを含むものである。なお、操作検出器１３の表面から指先までの距離と、操作検出器１３がその指先を検出したときの静電容量との間の対応関係は、予め記憶部２０５に記憶させておく。従って、操作検出器１３は、指先が操作検出器１３の所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部２０５に記憶された上記の対応関係とから、Ｚ方向における指先の位置を検出することができる。
FIG. 2 is a block diagram showing the control unit 20, the display 11 and the operation detector 13 controlled by the control unit 20 in the configuration of the display device 1. The control unit 20 includes a CPU, a ROM, a RAM, and the like, and controls various components including the display 11 and the operation detector 13 of the display device 1 based on a control program, and executes various data processing. Arithmetic circuit. The control unit 20 includes an image generation unit 201, a display control unit 202, a calibration unit 203, a detection reference control unit 204, and a storage unit 205. The storage unit 205 includes a non-volatile memory that stores a control program, a storage medium that stores image data displayed on the display 11, and the like. The correspondence between the distance from the surface of the operation detector 13 to the fingertip and the capacitance when the operation detector 13 detects the fingertip is stored in the storage unit 205 in advance. Therefore, when the fingertip is located within the predetermined detection range of the operation detector 13, the operation detector 13 detects the capacitance at the fingertip, and the detected capacitance and the correspondence stored in the storage unit 205. From the relationship, the position of the fingertip in the Z direction can be detected.
画像生成部２０１は、記憶媒体に記憶されている画像データに基づいて、表示器１１に表示するための表示画像に対応する表示用画像データを生成する。表示制御部２０２は、画像生成部２０１により生成された表示用画像データに対応する画像を表示器１１に表示させる。また、表示制御部２０２は、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行うと、その操作されたアイコン３０Ａの種類に応じて表示器１１の表示画像の切り替え制御を行う。なお、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１の表示画像の切り替え制御を行うことに限られない。例えば、表示器１１は表示画像として動画像を表示し、ユーザが空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１によって表示されている動画像を再生する制御、または動画像を停止する制御を行っても良い。
The image generation unit 201 generates display image data corresponding to a display image to be displayed on the display 11 based on the image data stored in the storage medium. The display control unit 202 causes the display 11 to display an image corresponding to the display image data generated by the image generation unit 201. Further, when the user performs an operation on the display position of the icon 30A of the aerial image 30, the display control unit 202 performs switching control of the display image on the display device 11 according to the type of the operated icon 30A. When the user performs an operation on the display position of the icon 30 </ b> A of the aerial image 30, the display control unit 202 is not limited to performing display image switching control on the display device 11. For example, the display device 11 displays a moving image as a display image, and when the user operates the display position of the icon 30 </ b> A of the aerial image 30, the display control unit 202 reproduces the moving image displayed by the display device 11. You may perform control to stop, or control to stop a moving picture.
キャリブレーション部２０３は、後に詳述する第１、第２のキャリブレーション処理モードのキャリブレーション処理を実行する。検出基準制御部２０４は、検出面、即ち検出基準を、表示装置１の上方空間に、具体的には、操作検出器１３の所定の検出範囲内であって空中像３０の位置（または所定範囲）に設定する。検出基準制御部２０４は、更に、ユーザの指が検出基準に達したことを操作検出器１３によって検出された静電容量の値に基づき判定する。即ち、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置（Ｘ軸、Ｙ軸、Ｚ軸の各軸での位置）が設定された検出基準の位置と一致した時に、ユーザがアイコン３０Ａの表示位置を操作したと判定する。また、検出基準制御部２０４は、検出基準を予め定められた所定の初期位置に設定し、後述のキャリブレーション処理の結果に基づき、検出基準の位置を変更、または修正する。この検出基準の初期位置は、予め記憶部２０５に記憶されている。なお、検出基準の初期位置は、例えば、全てのユーザに対して共通の位置であってもよいし、ユーザによる表示装置１の使用履歴などに基づき、ユーザ毎に異なる位置を設定してもよい。また、検出基準の初期位置および変更された検出基準の位置は、操作検出器１３の平面上（Ｘ軸、Ｙ軸上）全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置１の使用時に設定された検出基準を記憶部２０５に記憶しておき、それを読み出して使用してもよい。なお、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置が検出基準の位置に一致した場合に限らず、指位置が検出基準の位置に略一致した場合にユーザがアイコン３０Ａの表示位置を操作したと判定してもよい。この略一致したと判定する範囲は、予め設定してもよい。
The calibration unit 203 executes calibration processing in first and second calibration processing modes, which will be described in detail later. The detection reference control unit 204 sets the detection surface, that is, the detection reference, in the upper space of the display device 1, specifically, within the predetermined detection range of the operation detector 13 and the position of the aerial image 30 (or the predetermined range). ). The detection reference control unit 204 further determines that the user's finger has reached the detection reference based on the capacitance value detected by the operation detector 13. That is, the detection reference control unit 204 sets the finger position (the position on each of the X, Y, and Z axes) corresponding to the capacitance value detected by the operation detector 13. When it matches the position, it is determined that the user has operated the display position of the icon 30A. In addition, the detection reference control unit 204 sets the detection reference to a predetermined initial position, and changes or corrects the position of the detection reference based on the result of calibration processing described later. The initial position of this detection reference is stored in the storage unit 205 in advance. Note that the initial position of the detection reference may be, for example, a position common to all users, or a different position may be set for each user based on the usage history of the display device 1 by the user. . The initial position of the detection reference and the changed position of the detection reference may be set on the entire plane (X axis, Y axis) of the operation detector 13 or may be set on a part of the plane. May be. Furthermore, as the initial position of the detection reference, the detection reference set at the previous use of the display device 1 may be stored in the storage unit 205 and read out for use. The detection reference control unit 204 is not limited to the case where the finger position corresponding to the capacitance value detected by the operation detector 13 matches the detection reference position, and the finger position substantially matches the detection reference position. In this case, it may be determined that the user has operated the display position of the icon 30A. The range that is determined to be substantially coincident may be set in advance.
図３（ａ）は、表示装置１によって表示される空中像３０の一例を示し、図３（ｂ）は、本体１０または操作検出器１３と空中像３０と検出基準４０との位置関係を模式的に示す。図３（ａ）において、空中像３０は、上述のように３行×５列に配列された１５個のアイコン３０Ａを含む。図３（ｂ）において、検出基準４０は、検出基準制御部２０４によって、空中像３０の位置近傍に、具体的には図示例では空中像３０よりも僅かに上方の位置に設定される。図３（ｂ）では、空中像３０内のアイコンは、太い点線３０Ａで示されている。なお、アイコン３０Ａは、空中像３０の一部であるので空中像３０の位置と同一高さ位置に位置しているが、図３（ｂ）においては、アイコン３０Ａを表す太い点線を、空中像３０を表す実線と区別するために、太い点線の位置を実線位置からずらして描いている。
3A shows an example of an aerial image 30 displayed by the display device 1, and FIG. 3B schematically shows a positional relationship between the main body 10 or the operation detector 13, the aerial image 30, and the detection reference 40. Indicate. 3A, the aerial image 30 includes 15 icons 30A arranged in 3 rows × 5 columns as described above. In FIG. 3B, the detection reference 40 is set by the detection reference control unit 204 in the vicinity of the position of the aerial image 30, specifically, a position slightly above the aerial image 30 in the illustrated example. In FIG. 3B, the icon in the aerial image 30 is indicated by a thick dotted line 30A. Note that the icon 30A is a part of the aerial image 30, and thus is located at the same height as the position of the aerial image 30, but in FIG. 3B, a thick dotted line representing the icon 30A is indicated by the aerial image. In order to distinguish it from the solid line representing 30, the position of the thick dotted line is drawn shifted from the solid line position.
図３（ｂ）において、空中像３０は、表示装置１の操作検出器１３の上方に距離Ｈ１だけ離れた位置に形成され、検出基準４０は、操作検出器１３の上方に距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定されている。操作検出器１３は、上述のように、その表面から上方に静電容量の検出範囲１３Ａを有する。図３（ｂ）では、操作検出器１３の上方の静電容量の検出限界が点線１３ａで示され、この静電容量の検出限界１３ａと操作検出器１３との間隔が静電容量検出範囲１３Ａとして示されている。空中像３０と検出基準４０は、静電容量の検出範囲１３Ａ内に位置するように設定されている。なお、検出基準４０は、図３（ｂ）では空中像３０の上方に設定されているが、操作検出器１３の静電容量検出範囲１３Ａ内であれば、空中像３０の下方でも、または空中像３０の位置に一致させてもよい。ここで、検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲を検出基準外４１とする。
In FIG. 3B, the aerial image 30 is formed at a position above the operation detector 13 of the display device 1 by a distance H1, and the detection reference 40 is above the operation detector 13 by a distance H2 (H1 < It is set at a position separated by H2). As described above, the operation detector 13 has a capacitance detection range 13A upward from the surface thereof. In FIG. 3B, the capacitance detection limit above the operation detector 13 is indicated by a dotted line 13a, and the interval between the capacitance detection limit 13a and the operation detector 13 is the capacitance detection range 13A. Is shown as The aerial image 30 and the detection reference 40 are set so as to be positioned within the capacitance detection range 13A. The detection reference 40 is set above the aerial image 30 in FIG. 3B. However, as long as it is within the capacitance detection range 13A of the operation detector 13, the detection reference 40 is also below the aerial image 30 or in the air. You may make it correspond to the position of the image 30. Here, a range other than the region set as the detection reference 40 in the detection range 13 </ b> A is set as a detection reference non-41.
なお、図３（ｂ）においては、空中像３０と検出基準４０は、ＸＹ平面に平行な平面として表されているが、これらは共に平面に限定されずに、例えば共に曲面により構成されていてもよい。また、図３（ｃ）に示したように、検出基準４０は、平面ではなくアイコン３０Ａ毎に段差を持つようにしてよい。換言すると、或るアイコン３０Ａとそのアイコンに対する検出基準４０との間隔が、別のアイコン３０Ａとその別のアイコンに対する検出基準４０との間隔と異なっていてもよい。このように、検出基準４０に段差を設けることは、空中像３０が立体像であって、複数のアイコン３０Ａの位置がＺ方向、即ち上下方向に互いにずれている場合に特に有効である。例えば、立体の空中像３０の複数のアイコン３０Ａの上下方向のずれに応じて、各アイコン３０Ａに対応する検出基準４０の位置をずらすことによって、アイコン３０Ａと対応する検出基準４０との間の距離を、一定にすることもできる。
In FIG. 3B, the aerial image 30 and the detection reference 40 are represented as planes parallel to the XY plane. However, these are not limited to planes, and both are composed of curved surfaces, for example. Also good. Further, as shown in FIG. 3C, the detection reference 40 may have a step for each icon 30A instead of a plane. In other words, the interval between an icon 30A and the detection criterion 40 for that icon may be different from the interval between another icon 30A and the detection criterion 40 for that other icon. In this manner, providing a step in the detection reference 40 is particularly effective when the aerial image 30 is a three-dimensional image and the positions of the plurality of icons 30A are shifted from each other in the Z direction, that is, the vertical direction. For example, the distance between the icon 30 </ b> A and the corresponding detection reference 40 by shifting the position of the detection reference 40 corresponding to each icon 30 </ b> A according to the vertical displacement of the plurality of icons 30 </ b> A of the stereoscopic aerial image 30. Can be made constant.
操作検出器１３は、ユーザの指先が操作検出器１３から距離Ｈ２に達した時に、距離Ｈ２に対応した検出出力を出力する。検出基準制御部２０４は、操作検出器１３による検出出力に基づいて、ユーザの指先が検出基準４０に一致したと判定し、指先がアイコン３０Ａの表示位置を操作したと判定する。このようにして、表示装置１は、ユーザが空中像３０のアイコン３０Ａの表示位置を操作したことを検出し、その操作されたアイコン３０Ａに対応した機能を実行する。例えば、表示器１１の表示画像の切り替えなどを行う。
The operation detector 13 outputs a detection output corresponding to the distance H2 when the user's fingertip reaches the distance H2 from the operation detector 13. Based on the detection output from the operation detector 13, the detection reference control unit 204 determines that the user's fingertip matches the detection reference 40, and determines that the fingertip has operated the display position of the icon 30A. In this way, the display device 1 detects that the user has operated the display position of the icon 30A of the aerial image 30, and executes a function corresponding to the operated icon 30A. For example, the display image on the display 11 is switched.
ところで、アイコン３０Ａは、操作検出器１３から距離Ｈ１の位置に位置しているが、空中像３０として表示されるので、或るユーザと別のユーザとでは、空中像３０のアイコン３０Ａの表示位置、即ち高さＨ１を、視覚的に異なって感じることがある。また、同一のユーザでも、この表示装置１を操作する環境によっては、アイコン３０Ａの表示位置を異なって感じることがある。例えば、検出基準４０を空中像３０の位置に一致するように設定した場合に、或るユーザが、アイコン３０Ａの表示位置への操作のために、指を空中像３０のアイコン３０Ａの方に移動した時に、そのユーザは未だ指がアイコン３０Ａの手前にあると感じているのに、実際には指がアイコン３０Ａ、即ち検出基準４０に達していた場合には、ユーザの意思とは別に、アイコン操作が実行されてしまう。逆に、別のユーザは、アイコン操作のために、指を空中像３０のアイコン３０Ａの方に移動した時に、そのユーザは指がアイコン３０Ａに到達してアイコン３０Ａの表示位置を操作していると思っているのに、実際には指がアイコン３０Ａ、即ち検出基準４０の手前に位置していた場合には、ユーザの意思とは別に、アイコン操作が実行されない。いずれの場合にも、ユーザは、アイコン操作に違和感を覚えることになる。
Incidentally, the icon 30A is located at a distance H1 from the operation detector 13, but is displayed as an aerial image 30, so that a display position of the icon 30A of the aerial image 30 is displayed between a certain user and another user. That is, the height H1 may be felt visually differently. Even the same user may feel the display position of the icon 30A differently depending on the environment in which the display device 1 is operated. For example, when the detection reference 40 is set to coincide with the position of the aerial image 30, a user moves his / her finger toward the icon 30A of the aerial image 30 in order to operate the display position of the icon 30A. When the user still feels that the finger is in front of the icon 30A, but the finger has actually reached the icon 30A, that is, the detection criterion 40, the icon is separated from the user's intention. The operation is executed. Conversely, when another user moves his / her finger toward the icon 30A of the aerial image 30 for icon operation, the user reaches the icon 30A and operates the display position of the icon 30A. However, if the finger is actually positioned in front of the icon 30A, that is, the detection reference 40, the icon operation is not executed separately from the user's intention. In either case, the user feels uncomfortable with the icon operation.
そこで、本実施の形態の表示装置１は、上述した空中像３０に対する操作を行う空中像操作モードに加えて、上記のアイコン操作の違和感を軽減するためのキャリブレーション処理モードを備えるものである。キャリブレーション処理モードは、空中像３０と検出基準４０との相対的な位置関係をユーザの操作感覚・操作特性や表示装置の使用環境などに適した関係に設定するものである。本実施の形態の表示装置１は、上述したように第１、及び第２のキャリブレーション処理モードを有する。第１のキャリブレーション処理モードは、空中像操作モードとは別に、即ち、空中像操作モードが実行されていない時にキャリブレーション処理が実行されるものであり、第２のキャリブレーション処理モードは、表示装置１の起動後に空中像操作モードが実行された際にその空中像操作モードの実行中にキャリブレーション処理が実行されるものである。これらの第１〜第２のキャリブレーション処理モードは、図２に示したキャリブレーション部２０３によって実行される。なお、第１〜第２のキャリブレーション処理モードのいずれを実行するかは、図示を省略した表示装置１に設けたキャリブレーション処理モード選択用の操作ボタンを操作して、選択し、このキャリブレーション処理モード選択用の操作ボタンが第１〜第２のキャリブレーション処理モードのいずれも選択していない場合には、制御部２０は、空中像操作モードを選択して実行してもよい。また、キャリブレーション処理モード選択用の操作ボタンを備えておらず、常時第２のキャリブレーション処置モードを行ってもよい。以下に、第１〜第２のキャリブレーション処理モードを順次説明する。なお、第１〜第２のキャリブレーション処理モードの選択は、操作ボタンの他に、空中像のアイコンから選択してもよい。
In view of this, the display device 1 according to the present embodiment includes a calibration processing mode for reducing the uncomfortable feeling of the icon operation in addition to the aerial image operation mode for performing the operation on the aerial image 30 described above. In the calibration processing mode, the relative positional relationship between the aerial image 30 and the detection reference 40 is set to a relationship suitable for the user's operational sensation / operation characteristics, the usage environment of the display device, and the like. As described above, the display device 1 of the present embodiment has the first and second calibration processing modes. The first calibration processing mode is different from the aerial image operation mode, that is, the calibration processing is executed when the aerial image operation mode is not executed. The second calibration processing mode is a display mode. When the aerial image operation mode is executed after the apparatus 1 is activated, the calibration process is executed during the execution of the aerial image operation mode. These first to second calibration processing modes are executed by the calibration unit 203 shown in FIG. It should be noted that which one of the first and second calibration processing modes is to be executed is selected by operating a calibration processing mode selection operation button provided in the display device 1 (not shown), and this calibration is performed. When the operation button for selecting the processing mode does not select any of the first to second calibration processing modes, the control unit 20 may select and execute the aerial image operation mode. Further, the operation button for selecting the calibration process mode may not be provided, and the second calibration process mode may be always performed. Below, the 1st-2nd calibration process mode is demonstrated sequentially. The first and second calibration processing modes may be selected from an aerial image icon in addition to the operation buttons.
最初に第１のキャリブレーション処理モードを説明する。表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション処理に用いる表示画像を表示する。図４及び図５は、このキャリブレーション処理用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ａを含み、このキャリブレーション用アイコン３００Ａは、メッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」が重畳表示されている。また、検出基準制御部２０４は、図５（ａ）に示したように、検出基準４０を空中像３００の近傍位置、例えば、空中像３００よりも僅かに上方の位置に初期設定する。勿論、検出基準４０の初期位置は、空中像３００に一致させてもよいし、空中像３００よりも僅かに下方の位置に設定してもよい。なお、上述のメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」は、キャリブレーション処理の際に必ずしも表示させなくてもよい。例えば、キャリブレーション処理モードを選択したユーザが、キャリブレーション処理モードにおいて何を操作するべきかを予め認識している場合などには、上述のメッセージの表示は不要である。
First, the first calibration processing mode will be described. When the display device 1 is activated and the user operates the operation button for selecting the calibration processing mode to select the first calibration processing mode, the calibration unit 203 in FIG. 2 switches the first calibration processing mode. to start. The image generation unit 201 generates display image data, and the display unit 11 displays a display image used for calibration processing based on the display image data. 4 and 5 show an aerial image 300 of the display image for the calibration process. The aerial image 300 includes a calibration icon 300A, and the calibration icon 300A is superposed with a message “Perform calibration. Touch this icon”. Further, as shown in FIG. 5A, the detection reference control unit 204 initially sets the detection reference 40 at a position near the aerial image 300, for example, a position slightly above the aerial image 300. Of course, the initial position of the detection reference 40 may coincide with the aerial image 300 or may be set at a position slightly lower than the aerial image 300. Note that the above message “Calibrate. Touch this icon” does not necessarily have to be displayed during the calibration process. For example, when the user who has selected the calibration processing mode recognizes in advance what to operate in the calibration processing mode, the above message display is unnecessary.
図５（ａ）において、ユーザが、空中像３００のアイコン３００Ａに重畳表示されたメッセージに従いアイコン３００Ａの表示位置を操作するために、指先Ｆをアイコン３００Ａの方に下降移動して、指先Ｆが図２の操作検出器１３の静電容量の検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ａへのユーザの指先Ｆの接近移動、即ち下方移動を静電容量の変化として検出する。
In FIG. 5A, the user moves the fingertip F downward toward the icon 300A in order to operate the display position of the icon 300A according to the message superimposed on the icon 300A of the aerial image 300, and the fingertip F When reaching the capacitance detection range 13A of the operation detector 13 in FIG. 2, the operation detector 13 detects the approaching movement of the user's fingertip F to the icon 300A, that is, the downward movement as a change in capacitance. .
図５（ｂ）において、指先Ｆが下降移動して検出基準４０よりも僅かに上方の点線位置５０に達した時に、ユーザは、指先Ｆがアイコン３００Ａの表示位置に到達してアイコン３００Ａを押下げる操作を実行したと感じて、指先Ｆを所定距離だけ上方に移動させる。操作検出器１３は、指先Ｆの上記の下降移動、即ち押下げとそれに引き続く所定距離の上方移動とを、静電容量の変化として検出する。検出基準制御部２０４は、操作検出器１３が指先Ｆの上記の押下げとそれに引き続く所定距離の上方移動とを検出すると、アイコン３００Ａの表示位置に操作が行われたと判定する。なお、ユーザの指先Ｆがアイコン３００Ａの表示位置への操作のために押下げを行った後に所定距離上方に移動した場合に、最も下方移動した位置を到達位置とする。即ち、点線位置５０を到達位置と称する。
In FIG. 5B, when the fingertip F moves downward and reaches a dotted line position 50 slightly above the detection reference 40, the user reaches the display position of the icon 300A and presses the icon 300A. Feeling that the lowering operation has been executed, the fingertip F is moved upward by a predetermined distance. The operation detector 13 detects the downward movement of the fingertip F, that is, the depression and the subsequent upward movement of a predetermined distance as a change in capacitance. When the operation detector 13 detects the depression of the fingertip F and the subsequent upward movement of a predetermined distance, the detection reference control unit 204 determines that an operation has been performed on the display position of the icon 300A. Note that when the user's fingertip F moves down a predetermined distance after being pressed down to operate the display position of the icon 300A, the position that has moved downward is defined as the arrival position. That is, the dotted line position 50 is referred to as an arrival position.
検出基準制御部２０４は、指先Ｆが到達位置５０においてアイコン３００Ａの表示位置への操作を行ったと判定すると、図５（ｃ）に示すように到達位置５０の位置に検出基準４０を移動、即ち変更すると共に、この変更された検出基準４０の位置データを図２の記憶部２０５に記憶する。なお、検出基準制御部２０４は、図５（ｄ）に示すように到達位置５０から、所定距離ｄ１だけ上方の位置に、検出基準４０を移動、即ち変更すると共に、この変更された検出基準４０の位置データを図２の記憶部２０５に記憶してもよい。この所定距離ｄ１は、例えば、１ｍｍ〜１０ｍｍ程度に設定される。また、装置を利用するユーザごとに所定距離ｄ１を変更してもよく、ユーザの指の先端から第１関節までの長さに基づいて設定されてもよい。例えば、所定距離ｄ１をユーザの指の先端から第１関節までの長さの１／４〜１／２程度に含まれる所定の値に設定されてもよい。
If it is determined that the fingertip F has operated the display position of the icon 300A at the arrival position 50, the detection reference control unit 204 moves the detection reference 40 to the position of the arrival position 50 as shown in FIG. The position data of the changed detection reference 40 is stored in the storage unit 205 of FIG. As shown in FIG. 5D, the detection reference control unit 204 moves, that is, changes the detection reference 40 from the arrival position 50 to a position above the predetermined distance d1, and the changed detection reference 40. The position data may be stored in the storage unit 205 of FIG. This predetermined distance d1 is set to about 1 mm to 10 mm, for example. In addition, the predetermined distance d1 may be changed for each user who uses the apparatus, and may be set based on the length from the tip of the user's finger to the first joint. For example, the predetermined distance d1 may be set to a predetermined value included in about ¼ to ½ of the length from the tip of the user's finger to the first joint.
以上では、指の到達位置５０が検出基準４０よりも上方に位置する場合を説明したが、到達位置５０が検出基準４０よりも下方に位置する場合も、上述と同様に到達位置５０を判定し、その到達位置５０に基づき検出基準４０を変更する。また、到達位置５０が検出基準４０に一致する場合にも上述と同様に到達位置５０を判定するが、到達位置５０が検出基準４０に一致しているので、検出基準４０を変更しない。
なお、到達位置５０が検出基準４０よりも下方に位置する場合には、指は、到達位置５０に到達する前に、検出基準４０を通過するので、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が検出基準４０に達したことを判定するが、第１のキャリブレーション処理モードでは、表示器１３の表示の切り替えを行わない。到達位置５０が検出基準４０に一致する場合も同様に、表示器１３の表示の切り替えを行わない。勿論、指が検出基準４０に達した時に、例えば、アイコン３００Ａを点滅させるなどのハイライト表示をして、指が検出基準に到達したことをユーザに告知してもよい。
なお、以上の説明では、アイコン３００Ａの表示位置への操作の例としてユーザによるアイコン３００Ａを押し下げる操作を例に挙げたがこれに限られない。ユーザによるアイコン３００Ａに対する所定の非接触操作が操作検出器１３によって検出された場合、所定の非接触操作が行われた場所に基づいて、検出基準４０を変更してもよい。所定の非接触操作とは、例えば、アイコン３００Ａをタッチするようなジェスチャー操作である。アイコン３００Ａをタッチするような操作を行った位置に基づいて検出基準４０を変更してもよい。タッチするような操作とは、例えば、アイコン３００Ａをユーザの手で振り払うようなジェスチャーなどが挙げられる。また、タッチするような操作を行った位置として、ユーザの手で振り払うようなジェスチャーが終了し、ユーザの手が停止したと判定された位置やユーザの手で振り払うようなジェスチャーが開始された位置に基づいて決定してもよい。
The case where the reaching position 50 of the finger is located above the detection reference 40 has been described above. However, when the reaching position 50 is located below the detection reference 40, the reaching position 50 is determined in the same manner as described above. The detection reference 40 is changed based on the arrival position 50. Even when the arrival position 50 matches the detection reference 40, the arrival position 50 is determined in the same manner as described above. However, since the arrival position 50 matches the detection reference 40, the detection reference 40 is not changed.
When the arrival position 50 is located below the detection reference 40, the finger passes through the detection reference 40 before reaching the arrival position 50, so that the detection reference control unit 204 includes the operation detector 13. Based on the detected output, it is determined that the finger has reached the detection reference 40, but the display 13 is not switched in the first calibration processing mode. Similarly, when the arrival position 50 matches the detection reference 40, the display of the display device 13 is not switched. Of course, when the finger reaches the detection standard 40, for example, a highlight display such as blinking the icon 300A may be performed to notify the user that the finger has reached the detection standard.
In the above description, as an example of the operation to the display position of the icon 300A, an operation of pressing the icon 300A by the user is described as an example, but the present invention is not limited to this. When a predetermined non-contact operation on the icon 300A by the user is detected by the operation detector 13, the detection reference 40 may be changed based on a place where the predetermined non-contact operation is performed. The predetermined non-contact operation is, for example, a gesture operation that touches the icon 300A. The detection reference 40 may be changed based on the position where the operation for touching the icon 300A is performed. Examples of the touching operation include a gesture of shaking the icon 300A with the user's hand. In addition, as a position where an operation such as touching is performed, a gesture that shakes with the user's hand ends, a position where it is determined that the user's hand has stopped, or a position where a gesture that shakes with the user's hand is started You may decide based on.
以上のように、第１のキャリブレーション処理モードでは、指が空中像３００のアイコン３００Ａの表示位置を操作したとユーザが感じたことを、指の押下げ移動から所定距離の上方移動への変化を検出することによって判定して、指の到達位置５０よりも所定距離ｄ１だけ上方の位置に、そのユーザ用に検出基準４０を変更して、検出基準４０と空中像３００の表示位置との位置関係を変更する。すなわち、装置を使用するユーザの情報の一つであるユーザの操作に基づいて、検出基準４０と空中像３００の表示位置との位置関係を変更する。なお、ユーザ用に検出基準４０を変更する場合、装置を利用するユーザを必ずしも検出する必要はなく、上述した操作を操作検出器１３によって検出されたことに基づいて、検出基準４０と空中像３００の表示位置との位置関係を変更すればよい。
As described above, in the first calibration processing mode, the user feels that the finger has operated the display position of the icon 300 </ b> A of the aerial image 300, from the finger pressing movement to the upward movement by a predetermined distance. The detection reference 40 is changed for the user to a position above the finger arrival position 50 by a predetermined distance d1, and the position of the detection reference 40 and the display position of the aerial image 300 is determined. Change the relationship. That is, the positional relationship between the detection reference 40 and the display position of the aerial image 300 is changed based on the user's operation, which is one piece of information of the user who uses the apparatus. In addition, when changing the detection reference 40 for a user, it is not always necessary to detect the user who uses the apparatus. Based on the detection of the above-described operation by the operation detector 13, the detection reference 40 and the aerial image 300 are detected. The positional relationship with the display position may be changed.
なお、検出基準制御部２０４が検出基準４０の位置を変更する場合、検出基準４０全体の位置を移動させてもよいし、検出基準４０のうち、ユーザの指によって操作されるアイコン３００Ａに対応する検出基準４０の一部だけを移動させてもよい。
When the detection reference control unit 204 changes the position of the detection reference 40, the position of the entire detection reference 40 may be moved, or the detection reference 40 corresponds to the icon 300A operated by the user's finger. Only a part of the detection reference 40 may be moved.
なお、図５（ｃ）に示した例において、検出基準４０を、到達位置５０よりも所定距離ｄ１だけ上方の位置に変更した理由は、以下のとおりである。即ち、ユーザは、一般にタッチパネルに対して操作を行う際には指をタッチパネルに接触させて指を多少押し下げるので、空中像３００のアイコン３００Ａの表示位置に対して操作を行う際にも指先を空中像３００のアイコン３００Ａの表示位置を操作してもそこで直ちに所定距離上方移動せずに多少押下げた後に所定距離上方移動しがちである。このため、指の到達位置５０は、指がアイコン３００Ａの表示位置を操作したと感じた位置よりも多少下方の位置となりがちであるので、検出基準４０が到達位置５０よりも所定距離ｄ１だけ上方の位置に変更される。勿論、この押下げ量は、ユーザによって、比較的小さい場合、または殆ど存在しない場合もあるので、検出基準４０の位置を到達位置５０に略一致するように変更してもよい。
In the example shown in FIG. 5C, the reason why the detection reference 40 is changed to a position above the arrival position 50 by a predetermined distance d1 is as follows. That is, when the user generally operates the touch panel, the finger is brought into contact with the touch panel and the finger is pushed down somewhat, so that the fingertip is also in the air when operating the display position of the icon 300A of the aerial image 300. Even if the display position of the icon 300A of the image 300 is manipulated, it does not immediately move upward by a predetermined distance, but tends to move upward by a predetermined distance after being pressed down somewhat. For this reason, the finger arrival position 50 tends to be slightly lower than the position at which the finger feels that the display position of the icon 300 </ b> A has been operated. It is changed to the position. Of course, the amount of pressing down may be relatively small or may not exist depending on the user. Therefore, the position of the detection reference 40 may be changed to substantially coincide with the arrival position 50.
キャリブレーション処理モードは、上述のように、キャリブレーション用の空中像３００と検出基準４０との相対的な位置関係をユーザの操作特性に適した関係に設定するものであるので、ユーザの操作特性や表示装置に応じて、検出基準４０を到達位置５０の上方ではなく、上述のように到達位置５０に略一致させてもよく、また、到達位置５０よりも下方の位置に変更してもよい。例えば、或るユーザの到達位置５０が、空中像３００の上方に位置し、到達位置５０と静電容量の検出範囲１３Ａの上限１３ａとの間隔が、到達位置５０と空中像３００との間隔よりも小さい場合には、検出基準４０を到達位置５０よりも上方の位置に変更すると、検出基準４０が静電容量の検出範囲１３Ａの上限１３ａに近づき過ぎるので、検出基準４０を到達位置５０に一致させるか、到達位置５０よりも下方の位置に変更することもできる。
In the calibration processing mode, as described above, the relative positional relationship between the aerial image 300 for calibration and the detection reference 40 is set to a relationship suitable for the operation characteristics of the user. Depending on the display device, the detection reference 40 may be substantially coincident with the arrival position 50 as described above instead of above the arrival position 50, or may be changed to a position below the arrival position 50. . For example, the arrival position 50 of a certain user is positioned above the aerial image 300, and the distance between the arrival position 50 and the upper limit 13 a of the capacitance detection range 13 A is greater than the distance between the arrival position 50 and the aerial image 300. If the detection reference 40 is changed to a position higher than the arrival position 50, the detection reference 40 is too close to the upper limit 13a of the capacitance detection range 13A, so that the detection reference 40 matches the arrival position 50. Alternatively, the position can be changed to a position below the arrival position 50.
なお、到達位置５０を判定する方法は、上述の押下げ移動から所定距離の上方移動への変化に基づき判定する方法に限られず、以下に述べるようにその他の種々の方法によっても、判定することができる。例えば、ユーザは、指がアイコン３００Ａの表示位置に到達してアイコン３００Ａへの押下げ操作を実行したと感じて、指の下方移動、即ち押下げ
を停止する。検出基準制御部２０４は、操作検出器１３が検出する静電容量の値が殆ど変化しなくなったことをもって、指の押下げの停止を判定し、この押下げの停止位置を到達位置５０と判定、即ち決定する。なお、下方移動の停止は、操作検出器１３が検出する静電容量の値が短時間、例えば０．１秒〜１秒程度の間、変化しないことをもって、判定される。更に別の方法としては、ユーザの指の移動の速度ベクトル、即ち、指の移動速度と移動方向とを、静電容量の変化から検出し、指の速度ベクトルの向きが下方向から逆方向に変化したこと及び逆方向の速度ベクトルが所定の大きさになったことに基づき、逆方向の所定の大きさの速度ベクトルを検出した時の指の位置を到達位置と判定してもよい。この方法の場合には、上記の速度ベクトルの所定の大きさを略ゼロに設定すると、速度ベクトルの向きが下向きから逆向きに変化する時点の指の位置、即ち最も下方の位置が到達位置として判定され、所定の大きさをゼロ以外の値に設定すると、指が上述の最も下方の位置から所定距離だけ上方の位置が、到達位置として判定される。以上のように、到達位置は、検出基準制御部４０５によって指がアイコンの表示位置を操作したと判定された時の指の最下方位置またはその近傍の位置に決定される。
Note that the method of determining the arrival position 50 is not limited to the method of determining based on the change from the above-described push-down movement to the upward movement of a predetermined distance, and may be determined by other various methods as described below. Can do. For example, the user feels that the finger has reached the display position of the icon 300A and has performed a pressing operation on the icon 300A, and stops the downward movement of the finger, that is, the pressing. The detection reference control unit 204 determines that the finger pressing is stopped when the capacitance value detected by the operation detector 13 hardly changes, and determines that the pressing stop position is the arrival position 50. That is, determine. The stop of the downward movement is determined by the fact that the value of the capacitance detected by the operation detector 13 does not change for a short time, for example, about 0.1 seconds to 1 second. As yet another method, the speed vector of the user's finger movement, that is, the finger moving speed and moving direction is detected from the change in capacitance, and the direction of the finger speed vector changes from the downward direction to the reverse direction. Based on the change and the speed vector in the reverse direction having a predetermined magnitude, the position of the finger when the speed vector having the predetermined magnitude in the reverse direction is detected may be determined as the arrival position. In the case of this method, if the predetermined magnitude of the velocity vector is set to approximately zero, the finger position at the time when the direction of the velocity vector changes from the downward direction to the reverse direction, that is, the lowest position is set as the arrival position. If it is determined and the predetermined size is set to a value other than zero, a position where the finger is a predetermined distance above the lowest position is determined as the arrival position. As described above, the arrival position is determined as the lowest position of the finger or a position in the vicinity thereof when the detection reference control unit 405 determines that the finger has operated the icon display position.
また、上述の例では、指やスタイラスは、空中像３００のアイコン３００Ａに接触する部分、即ち指先部分の位置やスタイラスの最下部の位置を基準として、到達位置を決定したが、その代わりに、ユーザの指の爪先の位置や、指の第１関節の位置を基準にして到達位置を決定してもよい。更には、ユーザの指に限らず、ユーザの足や肘などでアイコンを操作する場合には、足や肘などを基準にして到達位置を決定してもよい。スタイラスを使用する場合には、スタイラスの所定の位置にマークを付け、そのマークの位置を基準に到達位置を決定してもよい。なお、指の第１関節やスタイラスのマークなどを使用して到達位置を決定する場合には、操作検出器１３として、静電容量式パネルを用いる代わりに、後述の変形例８において説明する撮像装置などを使用することが望ましい。
In the above-described example, the finger or stylus determines the arrival position with reference to the portion of the aerial image 300 that contacts the icon 300A, that is, the position of the fingertip portion or the lowest position of the stylus, but instead, The arrival position may be determined based on the position of the fingertip of the user's finger or the position of the first joint of the finger. Further, not only the user's finger but also the user's foot or elbow or the like may be used to determine the arrival position based on the foot or elbow or the like. When a stylus is used, a mark may be attached to a predetermined position of the stylus, and the reaching position may be determined based on the position of the mark. In the case where the reaching position is determined using the first joint of the finger, the stylus mark, or the like, the imaging described in Modification Example 8 described later is used instead of using the capacitive panel as the operation detector 13. It is desirable to use a device or the like.
上記説明の第１のキャリブレーション処理モードと空中像操作モードとの関係について、図６に示すフローチャートを参照して説明する。図６のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。ステップＳ１において、ユーザによりキャリブレーション処理モード選択用の操作ボタンによって第１のキャリブレーション処理モードが選択されていることを認識すると、ステップＳ２に進む。ステップＳ２において、図２に示したキャリブレーション部２０３が第１のキャリブレーション処理モードを開始して、ステップＳ３に進む。ステップＳ３では、画像生成部２０１がキャリブレーション用の表示用画像データを生成し、表示制御部２０２は、表示用画像データに基づくキャリブレーション用の画像を表示器１１に表示させると共に、検出基準制御部２０４は、検出基準を初期位置に設定する。表示器１１の表示画像は、結像光学系１２によって生成される図４に示すキャリブレーション用の空中像３００であり、空中像３００は、アイコン３００Ａとメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」とを含む。ステップＳ４において、操作検出器１３は、ユーザの指先Ｆの下方への移動を検出し、ステップＳ５に進む。
The relationship between the first calibration processing mode and the aerial image operation mode described above will be described with reference to the flowchart shown in FIG. Each process shown in the flowchart of FIG. 6 is performed by executing a program by the control unit 20 after the display device 1 is activated. This program is stored in the storage unit 205. In step S1, when the user recognizes that the first calibration processing mode is selected by the operation button for selecting the calibration processing mode, the process proceeds to step S2. In step S2, the calibration unit 203 shown in FIG. 2 starts the first calibration processing mode, and proceeds to step S3. In step S <b> 3, the image generation unit 201 generates display image data for calibration, and the display control unit 202 displays a calibration image based on the display image data on the display device 11 and also performs detection reference control. The unit 204 sets the detection reference to the initial position. The display image of the display 11 is the aerial image 300 for calibration shown in FIG. 4 generated by the imaging optical system 12, and the aerial image 300 is displayed with an icon 300A and a message “Calibrate. "Please touch". In step S4, the operation detector 13 detects the downward movement of the user's fingertip F, and proceeds to step S5.
ステップＳ５において、図２に示された検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が到達位置に達したか否かを判定する。ステップＳ５において肯定判定された場合、即ち、指が到達位置に達したと判定された場合、ステップＳ６に進む。ステップＳ５において否定判定された場合、即ち、指は停止していないと判定された場合、肯定判定されるまで待機する。ステップＳ６において、検出基準制御部２０４は、到達位置５０に基づき、検出基準４０の位置を変更し、その変更した検出基準４０の位置データを図２に示した記憶部２０５に記憶して、ステップＳ７に進む。ステップＳ７において、第１のキャリブレーション処理モードを終了して、ステップＳ８に進む。ステップＳ８では、空中像操作モードを開始し、ステップＳ９に進む。ステップＳ９において、図３に示された空中像操作モード用のアイコン３０Ａを含む空中像３０が表示されると共に、ステップＳ６において第１のキャリブレーション処理モードにより変更された検出基準４０の位置データを記憶部２０５から読み出し、その位置データに基づき検出基準４０を図３（ｂ）に示されたように、空中像３０の近傍位置に設定する。このようにして、この空中像操作モードでは、第１のキャリブレーション処理モードにおいて設定されたユーザの操作特性に適した検出基準４０が使用される。
In step S5, the detection reference control unit 204 shown in FIG. 2 determines whether or not the finger has reached the arrival position based on the detection output of the operation detector 13. If an affirmative determination is made in step S5, that is, if it is determined that the finger has reached the arrival position, the process proceeds to step S6. If a negative determination is made in step S5, that is, if it is determined that the finger is not stopped, the process waits until an affirmative determination is made. In step S6, the detection reference control unit 204 changes the position of the detection reference 40 based on the arrival position 50, stores the changed position data of the detection reference 40 in the storage unit 205 shown in FIG. Proceed to S7. In step S7, the first calibration processing mode is terminated, and the process proceeds to step S8. In step S8, the aerial image operation mode is started, and the process proceeds to step S9. In step S9, the aerial image 30 including the aerial image operation mode icon 30A shown in FIG. 3 is displayed, and the position data of the detection reference 40 changed in the first calibration processing mode in step S6. Based on the position data read from the storage unit 205, the detection reference 40 is set to a position near the aerial image 30 as shown in FIG. In this manner, in this aerial image operation mode, the detection reference 40 suitable for the user operation characteristics set in the first calibration processing mode is used.
ユーザがアイコン３０Ａの表示位置を操作するために、指を空中像３０に向けて下方に移動させると、ステップＳ１０において、図２に示した操作検出器１３がユーザの指の下方への移動を検出し、ステップＳ１１に進む。ステップＳ１１において、検出基準制御部２０４が、操作検出器１３の検出出力に基づき指が検出基準４０に達したかどうか判定する。ステップＳ１１において肯定判定された場合、即ち、指が検出基準４０に達したと判定された場合、ステップＳ１２に進む。ステップＳ１１において否定判定された場合、即ち、指が検出基準４０に達していないと判定された場合、肯定判定されるまで待機する。ステップＳ１２において、表示制御部２０２は表示器１３の表示画像を、操作されたアイコン３０Ａに応じた表示画像に切り替え、ステップＳ１３に進む。ステップＳ１３において、表示装置１の停止操作が行われたかどうか判定する。ステップＳ１３において、肯定判定された場合、即ち、表示装置１の停止操作が行われた場合、表示装置１は停止する。ステップＳ１３において否定判定された場合、ステップＳ１０に戻る。
When the user moves the finger downward toward the aerial image 30 in order to operate the display position of the icon 30A, the operation detector 13 shown in FIG. 2 moves the user's finger downward in step S10. Detect and proceed to step S11. In step S <b> 11, the detection criterion control unit 204 determines whether the finger has reached the detection criterion 40 based on the detection output of the operation detector 13. If an affirmative determination is made in step S11, that is, if it is determined that the finger has reached the detection criterion 40, the process proceeds to step S12. If a negative determination is made in step S11, that is, if it is determined that the finger has not reached the detection reference 40, the process waits until an affirmative determination is made. In step S12, the display control unit 202 switches the display image of the display 13 to a display image corresponding to the operated icon 30A, and proceeds to step S13. In step S13, it is determined whether or not a stop operation of the display device 1 has been performed. When an affirmative determination is made in step S13, that is, when a stop operation of the display device 1 is performed, the display device 1 stops. If a negative determination is made in step S13, the process returns to step S10.
以上説明したように、第１のキャリブレーションモードでは、ユーザによる操作に基づき検出基準が変更され、空中像と検出基準との位置関係が変更される。この第１のキャリブレーションモードで変更された検出基準の位置に空中像操作モードの検出基準が設定されるので、ユーザの操作特性や表示装置１の使用環境に適した検出基準に基づき空中像操作モードを実行することができる。
As described above, in the first calibration mode, the detection reference is changed based on an operation by the user, and the positional relationship between the aerial image and the detection reference is changed. Since the detection reference of the aerial image operation mode is set at the position of the detection reference changed in the first calibration mode, the aerial image operation is performed based on the detection reference suitable for the operation characteristics of the user and the use environment of the display device 1. The mode can be executed.
以上の説明では、第１のキャリブレーション処理モードは、表示装置１が起動された後、空中像操作モードに先立って、実行されるものであったが、第１のキャリブレーション処理モードは、空中像操作モードの後に実行することもできる。例えば、ユーザは、空中像操作モードの実行中に、例えばアイコン３００Ａの表示位置への操作に違和感を覚えたときに、表示装置１のキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択する。この場合には、第１のキャリブレーション処理モードは、実行中の空中像操作モードを中断して、実行され、この第１のキャリブレーション処理の終了後に、空中像操作モードが再開される。なお、上述したユーザによる操作ボタンの操作に従って表示装置１が第１のキャリブレーションモードを選択するものに代えて、アイコン３００Ａの表示位置への操作に対する違和感からユーザが不快感を抱いている様子を検出したときに、第１のキャリブレーション処理モードを実行しても良い。表示装置１は、たとえばユーザの脈拍数（生体情報）を検出し、検出した脈拍数が所定値を超える場合に、ユーザが不快感を抱いている様子を検出することができる。
In the above description, the first calibration processing mode is executed prior to the aerial image operation mode after the display device 1 is activated. However, the first calibration processing mode is in the air. It can also be executed after the image manipulation mode. For example, during execution of the aerial image operation mode, the user operates the operation button for selecting the calibration processing mode of the display device 1 when, for example, the user feels uncomfortable with the operation to the display position of the icon 300A. 1 calibration processing mode is selected. In this case, the first calibration processing mode is executed by interrupting the aerial image operation mode being executed, and the aerial image operation mode is resumed after the end of the first calibration processing. In addition, instead of the display device 1 selecting the first calibration mode according to the operation of the operation button by the user described above, the user feels uncomfortable due to the uncomfortable feeling with respect to the operation to the display position of the icon 300A. When detected, the first calibration processing mode may be executed. The display device 1 can detect, for example, the user's pulse rate (biological information) and detect that the user feels uncomfortable when the detected pulse rate exceeds a predetermined value.
次に、第２のキャリブレーション処理モードを図７及び図８を参照して説明する。なお、以下で説明する第２のキャリブレーション処理モードについては、上述の第１のキャリブレーション処理モードで説明した処理を適宜適用してよい。図７は空中像操作モード用の空中像３０と初期位置の検出基準４０と指の到達位置５０とを示した図であり、図８は、第２のキャリブレーション処理モードの動作を表したフローチャートである。図８のフローチャートに示す各処理は、表示装置の起動後、制御部２０によってプログラムを実行して行われる。
Next, the second calibration processing mode will be described with reference to FIGS. Note that the processing described in the first calibration processing mode described above may be applied as appropriate to the second calibration processing mode described below. FIG. 7 is a diagram showing the aerial image 30 for the aerial image operation mode, the initial position detection reference 40, and the reaching position 50 of the finger, and FIG. 8 is a flowchart showing the operation in the second calibration processing mode. It is. Each process shown in the flowchart of FIG. 8 is performed by executing a program by the control unit 20 after the display device is activated.
ステップＳ４１において、第２のキャリブレーション処理モードが選択されていることを認識し、ステップＳ４２に進む。ステップＳ４２において、空中像操作モードと第２のキャリブレーション処理モードとが共に開始され、ステップＳ４３に進む。ステップＳ４３において、図３に示されたアイコン３０Ａを含む空中像３０が表示されると共に、図２に示した検出基準制御部２０４が、検出基準４０を予め定められた初期位置、例えば、空中像３０の位置または空中像３０の位置よりも僅かに上方の位置に設定し、ステップＳ４４に進む。この時、空中像３０には、メッセージ「アイコンの操作中にキャリブレーションが行われます」が短時間だけ表示される。なお、このメッセージは表示されなくてもよい。
In step S41, it is recognized that the second calibration processing mode is selected, and the process proceeds to step S42. In step S42, both the aerial image operation mode and the second calibration processing mode are started, and the process proceeds to step S43. In step S43, the aerial image 30 including the icon 30A shown in FIG. 3 is displayed, and the detection reference control unit 204 shown in FIG. 2 sets the detection reference 40 to a predetermined initial position, for example, an aerial image. The position 30 is set to a position slightly above the position of the aerial image 30, or the process proceeds to step S44. At this time, the message “Calibration will be performed during icon operation” is displayed on the aerial image 30 for only a short time. This message may not be displayed.
ステップＳ４４において、ユーザがアイコン３０Ａの表示位置への操作のために、指を下方に移動させると、操作検出器１３が指の移動の検出を開始し、ステップＳ４５に進む。ステップＳ４５において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が下方移動中に検出基準４０を通過したかを判定する。ステップＳ４５において肯定判断された場合、即ち、指が下降移動中に検出基準４０を通過して、更に下降移動した場合、ステップＳ４６に進む。図７の指Ｆ１は、下降移動中に検出基準４０を通過した指を示す。ステップＳ４６では、検出基準制御部２０４は指Ｆ１が検出基準４０に達したこと、即ち検出基準４０を通過したことを判定して、アイコン表示の切り替えを行い、即ち、空中像３０が操作されたアイコン３０Ａに応じて切り替わり、ステップＳ４７に進む。ステップＳ４７では、検出基準制御部２０４は、指Ｆ１が到達位置５０に達したかを判定し、肯定判定の場合にはステップＳ４８に進み、否定判定の場合には、肯定判定されるまで維持する。ステップＳ４８では、検出基準制御部２０４は、到達位置５０に基づき、検出基準４０の位置を変更する。なお、検出基準４０の位置を変更したとき、変更された検出基準４０がユーザの指先に一致する、または、ユーザの指先の位置よりも上方に位置する場合がある。この場合、ステップＳ４６でアイコン表示の切り替えを既に一度行っているため、アイコン表示の切り替えは行わない。
In step S44, when the user moves his / her finger downward for operating the display position of the icon 30A, the operation detector 13 starts detecting the movement of the finger, and proceeds to step S45. In step S45, the detection reference control unit 204 determines whether the finger has passed the detection reference 40 during the downward movement based on the detection output of the operation detector 13. If an affirmative determination is made in step S45, that is, if the finger passes the detection reference 40 during the downward movement and further moves downward, the process proceeds to step S46. A finger F1 in FIG. 7 indicates a finger that has passed the detection reference 40 during the downward movement. In step S46, the detection criterion control unit 204 determines that the finger F1 has reached the detection criterion 40, that is, has passed the detection criterion 40, and switches the icon display, that is, the aerial image 30 is operated. Switching is performed according to the icon 30A, and the process proceeds to step S47. In step S47, the detection reference control unit 204 determines whether or not the finger F1 has reached the arrival position 50. If the determination is affirmative, the process proceeds to step S48. If the determination is negative, the detection reference control unit 204 maintains the determination. . In step S <b> 48, the detection reference control unit 204 changes the position of the detection reference 40 based on the arrival position 50. In addition, when the position of the detection reference 40 is changed, the changed detection reference 40 may coincide with the fingertip of the user or may be positioned above the position of the user's fingertip. In this case, since the icon display has already been switched once in step S46, the icon display is not switched.
前述のステップＳ４５で否定判定された場合、即ち、指が下降移動中に検出基準４０を通過していない場合には、ステップＳ４９に進む。ステップＳ４９では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が到達位置５０に達しているかを判定し、肯定判定の場合にはステップＳ５０に進む。否定判定の場合には、肯定判定されるまで維持する。図７の指Ｆ２は、到達位置５０が検出基準４０に一致したことを示している。ステップＳ５０では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、到達位置５０が検出基準４０に一致するかを判定し、肯定判定の場合にステップＳ５１に進み、否定判定の場合にステップＳ５２に進む。ステップＳ５１では、到達位置５０が検出基準４０に一致しているので、アイコン表示の切り替えを行うが、検出基準４０の変更は行わない。
If a negative determination is made in step S45 described above, that is, if the finger does not pass the detection reference 40 during the downward movement, the process proceeds to step S49. In step S49, the detection reference control unit 204 determines whether the finger has reached the arrival position 50 based on the detection output of the operation detector 13. If the determination is affirmative, the process proceeds to step S50. In the case of negative determination, it is maintained until an affirmative determination is made. The finger F <b> 2 in FIG. 7 indicates that the arrival position 50 matches the detection reference 40. In step S50, the detection criterion control unit 204 determines whether the arrival position 50 matches the detection criterion 40 based on the detection output of the operation detector 13, and proceeds to step S51 in the case of an affirmative determination. Then, the process proceeds to step S52. In step S51, since the arrival position 50 matches the detection criterion 40, the icon display is switched, but the detection criterion 40 is not changed.
ステップＳ５２では、図７の指Ｆ３に示したように到達位置５０が検出基準４０の上方に位置しており、検出基準制御部２０４は、到達位置５０に基づき検出基準４０の位置を変更する、具体的には、検出基準４０の位置を到達位置５０の近傍に変更して、ステップＳ５５に進む。この時、変更された検出基準４０がユーザの指先に一致した場合、または、ユーザの指先の位置よりも上方まで移動した場合には、アイコン表示の切り替えが行われる。一方、変更された検出基準４０が、ユーザの指先の位置に達しなかった場合には、アイコン表示の切り替え表示は行われない。
In step S52, the arrival position 50 is positioned above the detection reference 40 as indicated by the finger F3 in FIG. 7, and the detection reference control unit 204 changes the position of the detection reference 40 based on the arrival position 50. Specifically, the position of the detection reference 40 is changed to the vicinity of the arrival position 50, and the process proceeds to step S55. At this time, when the changed detection reference 40 matches the fingertip of the user, or when the detection reference 40 moves above the position of the user's fingertip, the icon display is switched. On the other hand, when the changed detection reference 40 does not reach the position of the user's fingertip, the icon display switching display is not performed.
ステップＳ５５では、第２のキャリブレーション処理モードの終了操作が行われたかを判定し、肯定判定の場合にステップＳ５５に進み、否定判定の場合にステップＳ４４に戻る。
In step S55, it is determined whether the end operation of the second calibration processing mode has been performed. If the determination is affirmative, the process proceeds to step S55. If the determination is negative, the process returns to step S44.
以上のように、第２のキャリブレーション処理モードは、空中像操作モードを実行中に並行して行われるため、キャリブレーション処理の実行を意識することなく、ユーザに適した検出基準で空中像の表示位置に対する操作を実行することができる。なお、第１〜２のキャリブレーション処理モードは必ずしもユーザが選択しなくてもよい。表示装置１が自動的に第１〜２のキャリブレーション処理モードのうちのいずれか一つを選択するようにしてもよい。また、第１〜２のキャリブレーション処理モードの全てを備えるのではなく、そのうちの一つを備えるものであってもよい。
As described above, since the second calibration processing mode is performed in parallel with the execution of the aerial image operation mode, the aerial image is detected with a detection criterion suitable for the user without being aware of the execution of the calibration processing. An operation for the display position can be executed. The first and second calibration processing modes do not necessarily have to be selected by the user. The display device 1 may automatically select any one of the first and second calibration processing modes. Further, not all of the first and second calibration processing modes may be provided, but one of them may be provided.
以上説明した第１の実施の形態による表示装置１は、次のように変形できる。
（第１の実施の形態の変形例１）
変形例１の表示装置１は、操作検出器１３の検出出力に基づき、ユーザの指先の速度あるいは加速度を算出し、算出した速度または加速度に基づき指の到達位置を予測し、その予測到達位置に基づいて検出基準を変更するものであってもよい。図９は、本変形例１の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。
The display device 1 according to the first embodiment described above can be modified as follows.
(Modification 1 of the first embodiment)
The display device 1 of Modification 1 calculates the speed or acceleration of the user's fingertip based on the detection output of the operation detector 13, predicts the finger arrival position based on the calculated speed or acceleration, and sets the predicted arrival position to the predicted arrival position. The detection reference may be changed based on the above. FIG. 9 is a block diagram showing the control unit 20, the display 11 and the operation detector 13 controlled by the control unit 20 in the configuration of the display device 1 of the first modification.
変形例１の表示装置１は、第１の実施の形態の表示装置に対して相違している構成について説明する。図９において、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出する。到達位置予測部２０７は、速度・加速度検出部２０６から出力される指の移動速度または加速度に基づき指の到達位置を予測する。到達位置予測部２０７は、例えば、指の移動が加速している状態または略一定速度状態から、減速状態に移行したことを検出し、その減速具合から指の到達位置を予測することができる。検出基準制御部２０４は、到達位置予測部２０７によって予測された到達位置に基づき、検出基準を変更する。
The display device 1 according to the first modification will be described with respect to a configuration that is different from the display device according to the first embodiment. In FIG. 9, the speed / acceleration detection unit 206 reads out the capacitance value detected by the operation detector 13 every predetermined time, and calculates the finger moving speed from the change in the capacitance value per predetermined time. At the same time, the movement acceleration of the finger is calculated from the calculated speed. The arrival position prediction unit 207 predicts the arrival position of the finger based on the movement speed or acceleration of the finger output from the speed / acceleration detection unit 206. The arrival position predicting unit 207 can detect, for example, that the movement of the finger has accelerated or has shifted from a substantially constant speed state to a deceleration state, and can predict the arrival position of the finger from the degree of deceleration. The detection criterion control unit 204 changes the detection criterion based on the arrival position predicted by the arrival position prediction unit 207.
次に、変形例１の表示装置１による第１のキャリブレーション処理モードを図１０及び図１１を参照して説明する。図１１のフローチャートにおいて、ステップＳ１０３からステップＳ１０７以外は、図６のフローチャートと同一であるので、説明を省略する。図１０（ａ）に示したように、指先Ｆが操作検出器１３の所定の検出範囲１３Ａ内に入ると、ステップＳ１０４において操作検出器１３が指先Ｆの移動を静電容量値の変化として検出する。ステップＳ１０５では、速度・加速度検出部２０６が操作検出器１３の検出出力に基づき指先Ｆの移動速度及び加速度を算出する。ステップＳ１０６で、到達位置予測部２０７が速度・加速度検出部２０６が算出した移動速度及び加速度に基づき指先Ｆの到達位置を算出する。図１０（ｂ）において、到達位置予測部２０７が算出した、即ち予測した指の到達位置を点線６０で示す。ステップＳ１０７において、検出基準制御部２０４は、図１０（ｃ）に示したように予測到達位置６０に基づき検出基準４０を変更すると共に、その検出基準４０の位置データを記憶部２０５に記憶する。その後のステップＳ１１０において、この記憶された検出基準４０の位置に空中像操作モードの検出基準が設定される。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。
なお、上述の説明では、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出したが、この方法に限られず、速度・加速度検出部２０６として撮像装置を用いてもよい。また、上述の説明では、ユーザの指の移動速度または加速度を算出したが、そのほかに、ユーザの足や肘、ユーザが所持しているスタイラスペンであってもよい。
なお、算出したユーザの指の移動速度及び加速度に基づきユーザの指の予測到達位置６０を算出し、ユーザの指の予測到達位置６０に基づいて検出基準４０を変更していたが、操作毎にユーザの指の予測到達位置６０を決定する必要はない。ユーザが操作を行う前に意図せず動いてしまった場合、その動きに基づいて予測到達位置６０を算出してしまうと、極端に上の位置に検出基準４０が設定しまうなど、適切な位置に検出基準を設定することができなくなってしまう。上述のような場合を防ぐため、ユーザの指の移動速度及び加速度を検出した場合に、所定の閾値以上のユーザの指の移動速度及び加速度を検出した場合のみ予測到達位置６０を算出し、予測到達位置６０に基づいて検出基準４０の位置を変更してもよい。
Next, a first calibration processing mode by the display device 1 according to the first modification will be described with reference to FIGS. The flowchart of FIG. 11 is the same as the flowchart of FIG. 6 except for steps S103 to S107, and a description thereof will be omitted. As shown in FIG. 10A, when the fingertip F enters the predetermined detection range 13A of the operation detector 13, the operation detector 13 detects the movement of the fingertip F as a change in capacitance value in step S104. To do. In step S <b> 105, the speed / acceleration detection unit 206 calculates the moving speed and acceleration of the fingertip F based on the detection output of the operation detector 13. In step S <b> 106, the arrival position prediction unit 207 calculates the arrival position of the fingertip F based on the moving speed and acceleration calculated by the speed / acceleration detection unit 206. In FIG. 10B, the arrival position of the finger calculated by the arrival position prediction unit 207, that is, the predicted arrival position is indicated by a dotted line 60. In step S <b> 107, the detection reference control unit 204 changes the detection reference 40 based on the predicted arrival position 60 as shown in FIG. 10C and stores the position data of the detection reference 40 in the storage unit 205. In subsequent step S110, the detection reference of the aerial image operation mode is set at the position of the stored detection reference 40. In order to predict the reaching position of the finger, both the moving speed and acceleration of the finger may be used, or one of them may be used.
In the above description, the speed / acceleration detection unit 206 reads the capacitance value detected by the operation detector 13 every predetermined time, and moves the finger from the change in the capacitance value per predetermined time. While calculating the speed and calculating the movement acceleration of the finger from the calculated speed, the present invention is not limited to this method, and an imaging device may be used as the speed / acceleration detection unit 206. In the above description, the movement speed or acceleration of the user's finger is calculated. However, the user's foot or elbow, or a stylus pen possessed by the user may be used.
The predicted arrival position 60 of the user's finger is calculated based on the calculated movement speed and acceleration of the user's finger, and the detection reference 40 is changed based on the predicted arrival position 60 of the user's finger. It is not necessary to determine the predicted arrival position 60 of the user's finger. If the user moves unintentionally before performing an operation, calculating the predicted arrival position 60 based on the movement causes the detection reference 40 to be set at an extremely high position, for example. It becomes impossible to set a detection reference. In order to prevent the above-described case, when the movement speed and acceleration of the user's finger are detected, the predicted arrival position 60 is calculated only when the movement speed and acceleration of the user's finger exceeding a predetermined threshold is detected, The position of the detection reference 40 may be changed based on the arrival position 60.
この変形例１によると、指の到達位置が指の移動速度または加速度に基づき、予測されるので、キャリブレーション処理を迅速に行うことができる。
According to the first modification, the finger arrival position is predicted based on the movement speed or acceleration of the finger, so that the calibration process can be performed quickly.
上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードにも適用できる。本変形例１を第２のキャリブレーション処理モードに適用した場合、空中像操作中のユーザの指先Ｆが検出基準４０に達する前に指先Ｆの到達位置を事前に予測し、予測した到達位置に基づいて検出基準を変更することが可能になる。そのため、ユーザの指先Ｆが検出基準４０に達せずアイコン表示の切り替えが生じなかったなどの誤操作を未然に防ぎ、ユーザに快適な操作を行わせることができる。
As described above, the case where the calibration process according to the present modification is applied to the first calibration process mode according to the first embodiment has been described. However, the calibration process can also be applied to the second calibration process mode. When the first modification is applied to the second calibration processing mode, the arrival position of the fingertip F is predicted in advance before the fingertip F of the user who is operating the aerial image reaches the detection reference 40, and the predicted arrival position is set. Based on this, it becomes possible to change the detection criteria. Therefore, it is possible to prevent an erroneous operation such as that the user's fingertip F does not reach the detection reference 40 and the icon display is not switched, and the user can perform a comfortable operation.
（第１の実施の形態の変形例２）
第１の実施の形態及び変形例１に係る表示装置１は、一回のキャリブレーション処理において、到達位置を検出、または予測し、その到達位置に基づき検出基準を変更し、その検出基準の位置データを記憶部２０５に記憶し、空中像操作モード時に空中像操作モードの検出基準を記憶部２０５に記憶された検出基準の位置に設定、または変更するものであったが、その代わりに、変形例２に係る表示装置は、複数回のキャリブレーション処理においてそれぞれ設定された複数の検出基準の位置をそれぞれ記憶部２０５に記憶し、その記憶された複数の検出基準位置に基づき、空中像操作モードにおける検出基準を変更するものである。第一回目のキャリブレーション処理において検出基準制御部２０４は、操作検出器１３の検出出力に基づき指の到達位置５０を判定し、この到達位置５０に基づき検出基準４０を変更し、その検出基準４０の位置データを記憶部２０５に記憶する。引き続き第２回目のキャリブレーション処理を行い、同様に変更された検出基準の位置データを記憶部２０５に記憶する。更に、引き続き第三回のキャリブレーション処理を行ってもよい。このようにして連続的に行われた複数回のキャリブレーション処理によって、記憶部２０５に記憶された複数の検出基準の位置データから一つの検出基準を算出し、その算出された検出基準の位置データを記憶部２０５に記憶する。その後に実行される空中像操作モードでは検出基準を、記憶部２０５に記憶された算出検出基準の位置に設定する。
(Modification 2 of the first embodiment)
The display device 1 according to the first embodiment and the modification 1 detects or predicts the arrival position in one calibration process, changes the detection reference based on the arrival position, and the position of the detection reference The data is stored in the storage unit 205, and the detection reference in the aerial image operation mode is set or changed to the position of the detection reference stored in the storage unit 205 in the aerial image operation mode. The display device according to Example 2 stores, in the storage unit 205, a plurality of detection reference positions respectively set in a plurality of calibration processes, and an aerial image operation mode based on the stored plurality of detection reference positions. The detection standard in is changed. In the first calibration process, the detection reference control unit 204 determines the finger arrival position 50 based on the detection output of the operation detector 13, changes the detection reference 40 based on the arrival position 50, and detects the detection reference 40. Is stored in the storage unit 205. Subsequently, the second calibration process is performed, and similarly changed detection reference position data is stored in the storage unit 205. Further, the third calibration process may be performed subsequently. In this way, one detection reference is calculated from a plurality of detection reference position data stored in the storage unit 205 by a plurality of calibration processes continuously performed, and the calculated detection reference position data Is stored in the storage unit 205. In the aerial image operation mode executed thereafter, the detection reference is set to the position of the calculation detection reference stored in the storage unit 205.
これら複数の検出基準４０を用いて一つの検出基準を決定するには、様々な手順が考えられる。例えば、複数の検出基準４０を相加平均して一つの検出基準を算出してもよいし、相乗平均して一つの検出基準を算出してもよい。また、複数の検出基準４０のそれぞれに適当な重み付けを行って新たな検出基準を決定してもよい。例えば、Ｎ回目の操作から求めた検出基準ＨＮと、Ｎ＋１回目の操作から求めた検出基準の位置ＨＮ＋１について、３：７の割合で重み付けを行って検出基準を算出してもよい。具体的には、ＨＮとＨＮ＋１を用いて（ＨＮ×３＋ＨＮ＋１×７）／１０の計算を行い、その結果に基づいて検出基準を算出する。重み付けは３：７に限られず、また、操作回数も２回に限られない。勿論、複数回のキャリブレーション処理毎に指の到達位置に基づき検出位置を設定し、それぞれ記憶部２０５に記憶するのではなく、複数回のキャリブレーション処理毎に検出した指の到達位置をそれぞれ記憶部２０５に記憶して、その記憶された複数の到達位置に基づき一つの検出基準を算出してもよい。
Various procedures can be considered to determine one detection criterion using the plurality of detection criteria 40. For example, one detection criterion may be calculated by arithmetically averaging a plurality of detection criteria 40, or one detection criterion may be calculated by geometric averaging. Further, a new detection criterion may be determined by appropriately weighting each of the plurality of detection criteria 40. For example, a detection reference H N calculated from N-th operation, the position H N + 1 of the detection criteria obtained from N + 1 th operation, 3: 7 ratio of may calculate the detection criteria by weighting. Specifically, (H N × 3 + H N + 1 × 7) / 10 is calculated using H N and H N + 1 , and the detection criterion is calculated based on the result. The weighting is not limited to 3: 7, and the number of operations is not limited to two. Of course, instead of setting the detection position based on the finger arrival position for each of a plurality of calibration processes and storing them in the storage unit 205, the finger arrival positions detected for each of the plurality of calibration processes are stored. It may be stored in the unit 205, and one detection criterion may be calculated based on the plurality of stored arrival positions.
また、キャリブレーション処理は、到達位置と検出基準との間隔が所定値以下である場合、即ち、到達位置が検出基準の近傍である場合には、検出基準の位置の変更をおこなわなくでもよい。
更に、キャリブレーション処理において、キャリブレーション処理毎に、検出基準の変更を行うのではなく、複数回のキャリブレーション処理において、到達位置を判定した回数と、実際に到達位置が検出基準に達したことを判定した回数と、から、アイコンの表示位置への操作が失敗した回数を算出して、所定の回数以上、失敗したと判定された時に、検出基準を変更するようにしてもよい。
Further, in the calibration process, when the interval between the arrival position and the detection reference is equal to or smaller than a predetermined value, that is, when the arrival position is in the vicinity of the detection reference, the position of the detection reference may not be changed.
Furthermore, in the calibration process, instead of changing the detection reference for each calibration process, the number of times the arrival position was determined and the arrival position actually reached the detection reference in multiple calibration processes. And the number of times that the operation to the icon display position has failed, and when it is determined that the operation has failed more than a predetermined number of times, the detection criterion may be changed.
上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードや上述した変形例１にも適用できる。
As described above, the case where the calibration process according to the present modification is applied to the first calibration process mode according to the first embodiment has been described. However, the second calibration process mode or the above-described modification 1 is applied. Is also applicable.
上述したキャリブレーション処理では、ユーザが空中像のアイコンの表示位置を操作する際に通常行う自然な操作動作、即ち指でアイコンを押下げてから指を上方向に移動する動作や、指がアイコンに接触するとそれを押下げて短時間停止させる動作などを検出して到達位置を判定しているので、ユーザは、キャリブレーション処理において到達位置の検出・判定が行われていることに気付かず、従ってユーザはキャリブレーション処理を意識することなく実行することができる。
In the above-described calibration processing, a natural operation operation that is normally performed when the user operates the display position of the aerial image icon, that is, an operation of moving the finger upward after pressing the icon with the finger, Since it determines the arrival position by detecting the operation of pressing it down and stopping for a short time, the user does not notice that the arrival position is detected and determined in the calibration process, Therefore, the user can execute the calibration process without being aware of it.
（第１の実施の形態の変形例３）
第１の実施の形態においては、ユーザの指の空中像の表示位置に対する操作を検出して到達位置を判定して、到達位置に基づいて検出基準の変更を行った。しかし、ユーザは、空中像のアイコンの表示位置を操作したと感じた指の位置を指定して、その指定位置を検出基準制御部が判定し、指定位置に基づいて検出基準を変更して、検出基準と空中像との位置関係を変更してもよい。以下に、ユーザが空中像の表示位置を操作する位置を指定位置として指定する変形例を説明する。なお、以下の説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１、２にも適用できる。
(Modification 3 of the first embodiment)
In the first embodiment, an operation on the display position of the aerial image of the user's finger is detected to determine the arrival position, and the detection criterion is changed based on the arrival position. However, the user specifies the position of the finger that felt that the display position of the aerial image icon was manipulated, the detection reference control unit determines the specified position, changes the detection reference based on the specified position, The positional relationship between the detection reference and the aerial image may be changed. Hereinafter, a modification example in which the position where the user operates the display position of the aerial image is designated as the designated position will be described. The following description will be given of the case where it is applied to the first calibration processing mode in the first embodiment, but it can also be applied to the second calibration processing mode and the first and second modifications.
以下に変形例３の表示装置を説明する。表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図１２は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｂを含み、このキャリブレーション用アイコン３００Ｂは、メッセージ「キャリブレーションを行います。このアイコンの位置を指で指し示し、その状態で指を横方向に移動させて下さい」が重畳表示されている。また、検出基準制御部２０４は、図１３（ａ）に示したように、検出基準４０を空中像３００の近傍の初期位置に設定する。
A display device of Modification 3 will be described below. When the display device 1 is activated and the user operates the operation button for selecting the calibration processing mode to select the first calibration processing mode, the calibration unit 203 in FIG. 2 switches the first calibration processing mode. to start. The image generation unit 201 generates display image data, and the display unit 11 displays a display image for calibration based on the display image data. FIG. 12 shows an aerial image 300 of the display image for calibration. The aerial image 300 includes a calibration icon 300B. This calibration icon 300B indicates the message “Calibrate. Point to the position of this icon with your finger, and move your finger horizontally in that state. "Is superimposed. Further, the detection reference control unit 204 sets the detection reference 40 to an initial position in the vicinity of the aerial image 300 as shown in FIG.
図１３（ａ）において、ユーザがアイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置を操作するために、指先Ｆをアイコン３００Ｂの方に下降移動させ、指先Ｆが図２の操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｂへのユーザの指Ｆの接近移動、即ち下方への移動を静電容量の変化として検出する。なお、図１３（ａ）は指を正面から見るように表示したものである。
In FIG. 13A, in order for the user to operate the display position of the icon 300B in accordance with the message superimposed on the icon 300B, the fingertip F is moved downward toward the icon 300B, and the fingertip F is the operation detector shown in FIG. When reaching the capacitance detection range 13A of 13, the operation detector 13 detects the approaching movement of the user's finger F to the icon 300B, that is, the downward movement as a change in capacitance. FIG. 13A shows the finger as seen from the front.
ユーザは、指をさらに下降移動させ、指先Ｆが空中像３００のアイコン３００Ｂの表示位置に達したと感じた時に、図１３（ｂ）に矢印で示したように、指Ｆを横方向に移動させる。操作検出器１３は、この指Ｆの下降移動及び横方向の移動を検出する。検出基準制御部２０４は、指の下降移動を検出していた操作検出器１３が指の横方向の移動を検出したことを、判定して、下降移動から横方向移動へ変化したときの指の高さ位置を指定位置５０Ａと判定する。検出基準制御部２０４は、この指定位置５０Ａに基づき、検出基準４０の位置を変更し、この変更された検出基準４０の位置データを記憶部２０５に記憶する。なお、指定位置５０Ａは、図１３（ｂ）では、空中像３００の上方の位置として例示されているが、指定位置５０Ａは、指先Ｆが空中像３００のアイコン３００Ｂに達したとユーザが感じた時の位置であるから、空中像３００に一致した位置に指定されることもあるし、または、空中像３００よりも下方の位置に指定されることもある。
When the user further moves the finger down and feels that the fingertip F has reached the display position of the icon 300B of the aerial image 300, the user moves the finger F in the horizontal direction as indicated by the arrow in FIG. Let The operation detector 13 detects the downward movement and lateral movement of the finger F. The detection reference control unit 204 determines that the operation detector 13 that has detected the downward movement of the finger has detected the lateral movement of the finger, and moves the finger when the movement is changed from the downward movement to the lateral movement. The height position is determined as the designated position 50A. The detection reference control unit 204 changes the position of the detection reference 40 based on the designated position 50 </ b> A, and stores the changed position data of the detection reference 40 in the storage unit 205. Although the designated position 50A is illustrated as the position above the aerial image 300 in FIG. 13B, the user feels that the designated position 50A has reached the icon 300B of the aerial image 300. Since it is the position of time, it may be designated as a position that matches the aerial image 300, or may be designated as a position below the aerial image 300.
なお、検出基準制御部２０４は、以上の説明では指が下降移動から横方向の移動に変化した時の指の位置、即ち指の高さを指定位置５０Ａと判定したが、これに限らず、例えば
指が下降移動から横方向の移動に変化し、その横方向移動が終了した時の指の高さを指定位置５０Ａとして判定してもよい。また、検出基準制御部２０４は、指の横方向の移動開始から横方向の移動終了までの指の高さの平均値や中央値などを指定位置５０Ａとしてもよい。
In the above description, the detection reference control unit 204 determines the finger position when the finger is changed from the downward movement to the horizontal movement, that is, the height of the finger as the designated position 50A. For example, the height of the finger when the finger changes from a downward movement to a horizontal movement and the horizontal movement ends may be determined as the designated position 50A. In addition, the detection reference control unit 204 may use the average value or median value of the finger height from the start of the lateral movement of the finger to the end of the lateral movement as the designated position 50A.
上記説明の変形例３のキャリブレーション処理について、図１４に示すフローチャートを参照して説明する。なお、図１４のフローチャートはステップＳ１２１〜ステップＳ１２９を示し、それ以降のステップは省略した。ステップＳ１２９以降の処理は、図１１に示すフローチャートのステップＳ１０９以降の処理と同様である。
The calibration process of Modification 3 described above will be described with reference to the flowchart shown in FIG. In addition, the flowchart of FIG. 14 showed step S121-step S129, and the subsequent steps were abbreviate | omitted. The processing after step S129 is the same as the processing after step S109 in the flowchart shown in FIG.
ステップＳ１２１〜ステップＳ１２４の各処理は、図６に示したフローチャートにおけるステップＳ１〜ステップＳ４の各処理と同様である。ステップＳ１２６において、操作検出器１３は、ユーザの指の横方向移動を検出する。ステップＳ１２７において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が下降移動から横方向移動に変化したことを判定して、その変化時の指の位置を指定位置５０Ａと判定し、指定位置５０Ａに基づき、検出基準４０の位置を変更し、その変更された検出基準４０の位置データを記憶部２０５に記憶して、ステップＳ１２８に進む。ステップＳ１２８において、第１のキャリブレーション処理モードを終了して、ステップＳ１２９に進む。ステップＳ１２９では、空中像操作モードを開始する。この空中像操作モードでは、記憶部２０５から読み出された変更された検出基準４０の位置データに基づき、検出基準が設定される。
Each process of step S121 to step S124 is the same as each process of step S1 to step S4 in the flowchart shown in FIG. In step S126, the operation detector 13 detects the lateral movement of the user's finger. In step S127, the detection reference control unit 204 determines that the finger has changed from the downward movement to the horizontal movement based on the detection output of the operation detector 13, and determines the finger position at the time of the change as the designated position 50A. Based on the specified position 50A, the position of the detection reference 40 is changed, the changed position data of the detection reference 40 is stored in the storage unit 205, and the process proceeds to step S128. In step S128, the first calibration processing mode is terminated, and the process proceeds to step S129. In step S129, the aerial image operation mode is started. In the aerial image operation mode, the detection reference is set based on the changed position data of the detection reference 40 read from the storage unit 205.
この変形例３では、ユーザは、キャリブレーション処理において指が空中像の表示位置を操作したと感じる位置を指を下降移動から横方向移動に変化させることによって指定している。このように、ユーザは、アイコン３００Ｂの表示位置を操作したと知覚する位置を指定位置として指定してキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、指定位置を指の下降移動から横方向移動への変化によって指定することは、操作性がよく、迅速にキャリブレーション処理を行うことができる。
In the third modification, the user designates the position where the finger feels that the aerial image display position has been manipulated in the calibration process by changing the finger from the downward movement to the horizontal movement. In this way, the user designates the position perceived as having operated the display position of the icon 300B as the designated position and performs the calibration process, so that the calibration process can be performed accurately. In addition, designating the designated position by a change from the downward movement of the finger to the lateral movement has good operability and allows quick calibration processing.
（第１の実施の形態の変形例４）
変形例３の表示装置１においては、ユーザは、指先でアイコンの表示位置を操作したと思った位置を指定位置として、指の下降移動から横方向への移動に変化させることによって指定した。変形例４の表示装置１は、ユーザが、指先でアイコンの表示位置を操作したと思った位置を別のアイコンを操作することによって、指定するものである。このキャリブレーション処理について次に説明する。なお、説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜３にも適用できる。
(Modification 4 of the first embodiment)
In the display device 1 according to the third modification, the user designates the position where the user thinks that the display position of the icon is operated with the fingertip as the designated position by changing the finger from the downward movement to the horizontal movement. The display device 1 according to the modification 4 designates a position where the user thinks that the display position of the icon is operated with a fingertip by operating another icon. This calibration process will be described next. Although the description will be given of the case where the first calibration processing mode in the first embodiment is applied, the description can be applied to the second calibration processing mode and the first to third modifications.
表示装置１が起動され、ユーザがキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図１５は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｃと３００Ｄとを含み、このキャリブレーション用アイコン３００Ｃは、メッセージ「キャリブレーションを行います。右手の指でこのアイコンの位置を指し示して下さい。右手の指で指し示した状態で、左手の指で左側のアイコンにタッチして下さい」が重畳表示されている。なお、アイコン３００Ｃとアイコン３００Ｄとは、アイコン３００Ｃが右側に、アイコン３００Ｄが左側に位置するように並置されている。
When the display device 1 is activated and the user operates the operation button for selecting the calibration processing mode to select the first calibration processing mode, the calibration unit 203 in FIG. 2 switches the first calibration processing mode. to start. The image generation unit 201 generates display image data, and the display unit 11 displays a display image for calibration based on the display image data. FIG. 15 shows an aerial image 300 of the display image for calibration. The aerial image 300 includes calibration icons 300C and 300D, and the calibration icon 300C indicates the message “Calibrate. Please indicate the position of this icon with your right hand finger. Point with your right hand finger. Touch the icon on the left side with your left finger. "Is superimposed. The icons 300C and 300D are juxtaposed so that the icon 300C is positioned on the right side and the icon 300D is positioned on the left side.
ユーザがアイコン３００Ｃに重畳表示されたメッセージに従いアイコン３００Ｃの表示位置を操作するために、右手の指先をアイコン３００Ｃの方に下降移動させて、指先が操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｃの表示位置へのユーザの指の接近移動、即ち下方への移動を静電容量の変化として検出する。ユーザは指をさらに下降移動させ、指先が空中像３００のアイコン３００Ｃの表示位置を操作していると感じた時点で、メッセージに従い、左手の指先でアイコン３００Ｄの表示位置への操作をしようとして、左手の指先をアイコン３００Ｄの方に移動させる。操作検出器１３はアイコン３００Ｄに向けた指先の移動を検出する。検出基準制御部２０４は、ユーザの指がアイコン３００Ｄの上に位置することを操作検出器１３が検出したことをもって、その時点における右手の指先の位置を指定位置５０Ａと判定する。検出基準制御部２０４は、指定位置５０Ａに基づき検出基準４０を変更すると共に、この変更された検出基準４０の位置データを記憶部２０５に記憶する。
なお、右側のアイコン３００Ｃの表示位置を操作する右手の指は、その操作したと感じた時の位置が指定位置と判定されるので、空中像に接近する下降移動が必要である。しかしながら、左側のアイコン３００Ｄの表示位置への操作をする左側の指は、指をアイコン３００Ｄの上または下に位置付ければよいので、必ずしも左手の指を下降移動させる必要はなく、左手の指は、例えば空中像３００の平面に平行な方向、即ち横方向に移動してアイコン３００Ｄの上または下の位置まで横方向移動してもよい。
また、必ずしも左手の指と右手の指とを用いる必要はなく、キャリブレーション用空中像３００のアイコン３００Ｃ上とアイコン３００Ｄ上との両方において上記の動作が検出されればよい。例えば、一方の手の２本の指を用いてもよい。また、この変形例４は、アイコン３００Ｄの表示位置への操作をする代わりに、表示装置１に設けた不図示の決定ボタンを押すように構成することもできる。
さらに、ユーザがアイコン３００Ｄの表示位置への操作をしたり、不図示の決定ボタンを押したりした時点における右手の指先の位置を指定位置と判定するものに代えて、ユーザがたとえば左手で所定のジェスチャーを行ったことを検出したときにおける右手の指先の位置を指定位置と判定しても良い。この場合、表示装置１は、後述する変形例８の撮像装置１８（図２２参照）を備え、この撮像装置１８により取得された画像を用いてユーザのジェスチャー（たとえば手をグーからパーに変える）が行われたことを検出する。
In order for the user to operate the display position of the icon 300C according to the message superimposed on the icon 300C, the fingertip of the right hand is moved downward toward the icon 300C, and the fingertip moves into the capacitance detection range 13A of the operation detector 13. When reaching, the operation detector 13 detects the approach movement of the user's finger to the display position of the icon 300C, that is, the downward movement as a change in capacitance. When the user further moves the finger down and feels that the fingertip is operating the display position of the icon 300C of the aerial image 300, the user follows the message and tries to operate the display position of the icon 300D with the fingertip of the left hand. The fingertip of the left hand is moved toward the icon 300D. The operation detector 13 detects the movement of the fingertip toward the icon 300D. When the operation detector 13 detects that the user's finger is positioned on the icon 300D, the detection reference control unit 204 determines the position of the fingertip of the right hand as the designated position 50A. The detection reference control unit 204 changes the detection reference 40 based on the designated position 50A, and stores the changed position data of the detection reference 40 in the storage unit 205.
Note that the right finger that operates the display position of the right icon 300C is determined to be the designated position when it is felt that it has been operated, and therefore needs to move downward to approach the aerial image. However, the left finger that performs the operation to the display position of the left icon 300D only needs to position the finger above or below the icon 300D. For example, the image may be moved in the direction parallel to the plane of the aerial image 300, that is, in the horizontal direction to move to a position above or below the icon 300D.
In addition, it is not always necessary to use the left and right fingers, and it is only necessary to detect the above-described operation on both the icon 300C and the icon 300D of the calibration aerial image 300. For example, two fingers of one hand may be used. Further, in the fourth modification, instead of operating the display position of the icon 300D, a determination button (not shown) provided on the display device 1 can be pressed.
Further, instead of determining that the position of the fingertip of the right hand at the time when the user operates the display position of the icon 300D or presses a determination button (not shown), the user performs, for example, a predetermined operation with the left hand. The position of the fingertip of the right hand when it is detected that a gesture has been performed may be determined as the designated position. In this case, the display device 1 includes an imaging device 18 (see FIG. 22) of a modified example 8 described later, and uses the image acquired by the imaging device 18 to change the user's gesture (for example, change the hand from goo to par). Detect that has been done.
上記説明のキャリブレーション処理について、図１６に示すフローチャートを参照して説明する。なお、図１６のフローチャートはステップＳ１３１〜ステップＳ１３９を示し、それ以降のステップは省略した。ステップＳ１３９以降の処理は、図１１に示すフローチャートのステップＳ１０９以降の処理と同様である。
The calibration process described above will be described with reference to the flowchart shown in FIG. In addition, the flowchart of FIG. 16 showed step S131-step S139, and the subsequent steps were abbreviate | omitted. The processing after step S139 is the same as the processing after step S109 in the flowchart shown in FIG.
ステップＳ１３１〜ステップＳ１３３の各処理は、図６に示したフローチャートにおけるステップＳ１〜ステップＳ３の各処理と同様である。ステップＳ１３４において、操作検出器１３は、ユーザの右手の指先の下方への移動の検出を開始する。ユーザは指をさらに下降移動させて、指先が空中像３００のアイコン３００Ｃの表示位置を操作していると感じた時点で、左手の指先でアイコン３００Ｄの表示位置への操作をする。ステップＳ１３６においては、ステップＳ１３５で、左手がアイコン３００Ｄの表示位置への操作をした時点における右手の指先の位置を指定位置５０Ａとし、ステップＳ１３７に進む。ステップＳ１３７において、検出基準制御部２０４は、指定位置５０Ａに基づき、検出基準４０を変更し、その変更された検出基準４０の位置データを記憶部２０５に記憶して、ステップＳ１３８に進む。ステップＳ１３８において、第１のキャリブレーション処理モードを終了して、ステップＳ１３９に進む。ステップＳ１３９では、空中像操作モードを開始する。
Each process of step S131 to step S133 is the same as each process of step S1 to step S3 in the flowchart shown in FIG. In step S134, the operation detector 13 starts detecting the downward movement of the fingertip of the user's right hand. When the user further moves his / her finger down and feels that the fingertip is operating the display position of the icon 300C of the aerial image 300, the user operates the display position of the icon 300D with the fingertip of the left hand. In step S136, the position of the fingertip of the right hand when the left hand operates the display position of the icon 300D in step S135 is set as the designated position 50A, and the process proceeds to step S137. In step S137, the detection reference control unit 204 changes the detection reference 40 based on the designated position 50A, stores the changed position data of the detection reference 40 in the storage unit 205, and proceeds to step S138. In step S138, the first calibration processing mode is terminated, and the process proceeds to step S139. In step S139, an aerial image operation mode is started.
上述の変形例４の表示装置１は、ユーザは、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、別のアイコン、または表示装置１の決定ボタンを操作することによって指定している。このようにユーザがアイコン３００を知覚する位置をユーザに指定させてキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、このような指定位置を、別のアイコンまたは表示装置のボタンの操作によって指定することは、迅速にキャリブレーション処理を行うことができる。
In the display device 1 according to the above-described modification 4, the user designates the designated position for designating the position where the finger operates the icon in the calibration process by operating another icon or the determination button of the display device 1. ing. Since the calibration process is performed by allowing the user to specify the position where the user perceives the icon 300 in this way, the calibration process can be performed accurately. In addition, designating such a designated position by operating another icon or a button on the display device can quickly perform a calibration process.
（第１の実施の形態の変形例５）
変形例５の表示装置は、ユーザが指先でアイコンの表示位置を操作したと思ったら、ユーザが指を所定時間停止させることにより指定位置を指定するものである。なお、この本変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜４にも適用できる。
この場合には、キャリブレーション用の空中像に含まれるアイコンに、メッセージ「キャリブレーションを行います。このアイコンの位置を指し示して下さい。指し示した状態をしばらくキープして下さい。」が重畳表示される。ユーザがアイコンの表示位置を操作したと感じて、しばらくの間、指の移動を停止すると、操作検出器１３は指の下降移動が所定時間停止したことを検出する。検出基準制御部２０４は、このときの操作検出器１３の検出出力に基づき、指の停止位置を指定位置として判定する。
この指定位置の判定は、次のように行われる。即ち、下方に移動している指先Ｆが停止して上下方向の比較的小さい所定の停止範囲内に所定の時間以上、滞在したことをもって、アイコン３００Ａの表示位置への操作が行われたと判定する。このように、指先Ｆが所定の時間以上、所定の停止範囲内に留まることをもって、指先Ｆのアイコン３００Ａの表示位置への操作と判定する理由は、操作が空中像３００のアイコン３００Ａの表示位置への操作であるため、タッチパネルへの操作とは異なり、指先Ｆがアイコン３００Ａの表示位置で完全には停止しない可能性があるからである。なお、指定位置判定のための所定の停止範囲は、操作検出器１３の静電容量の検出範囲１３Ａに比べて十分に小さい値、例えば５ｍｍに設定され、また、所定の時間は、例えば２秒程度に設定される。
(Modification 5 of the first embodiment)
In the display device of the fifth modification, when the user thinks that the display position of the icon is operated with the fingertip, the user designates the designated position by stopping the finger for a predetermined time. Although this modification will be described with respect to the case where it is applied to the first calibration processing mode in the first embodiment, it can also be applied to the second calibration processing mode and the above-described first to fourth modifications. .
In this case, the message “Calibrate. Please indicate the position of this icon. Keep the indicated state for a while.” Is superimposed on the icon included in the aerial image for calibration. . When the user feels that the user has operated the icon display position and stops moving the finger for a while, the operation detector 13 detects that the downward movement of the finger has stopped for a predetermined time. The detection reference control unit 204 determines the stop position of the finger as the designated position based on the detection output of the operation detector 13 at this time.
The determination of the designated position is performed as follows. That is, it is determined that the operation to the display position of the icon 300A has been performed when the fingertip F moving downward has stopped and stayed within a relatively small predetermined stop range in the vertical direction for a predetermined time or more. . As described above, the reason why the operation of the fingertip F in the display position of the icon 300A of the fingertip F is determined when the fingertip F stays within the predetermined stop range for a predetermined time or more is that the operation is the display position of the icon 300A of the aerial image 300. This is because, unlike the operation on the touch panel, the fingertip F may not completely stop at the display position of the icon 300A. The predetermined stop range for determining the specified position is set to a value sufficiently smaller than the capacitance detection range 13A of the operation detector 13, for example, 5 mm, and the predetermined time is, for example, 2 seconds. Set to degree.
（第１の実施の形態の変形例６）
変形例６の表示装置は、ユーザが、指先でアイコンの表示位置を操作したと思った指定位置を発声によって指定するものである。なお、この変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜５にも適用できる。
(Modification 6 of the first embodiment)
In the display device according to the sixth modification, the user designates a designated position that he / she thought has operated the icon display position with his / her fingertip. Although this modification will be described with respect to the case where it is applied to the first calibration processing mode in the first embodiment, it can also be applied to the second calibration processing mode and the above-described modifications 1 to 5.
図１７は、本変形例の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。この表示装置１には、集音器１４を含み、制御部２０には音声検出部２０８が備えられる。集音器１４は、表示装置１の周囲の音を集音し、音声データとして音声検出部２０８に出力する。集音器１４としては市販のマイクロフォンを用いることができる。音声検出部２０８は、集音器１４からの音声データを識別し、その音声データが「ハイ」に相当するか否かを判別する。
FIG. 17 is a block diagram showing the control unit 20 and the display 11 and the operation detector 13 controlled by the control unit 20 in the configuration of the display device 1 of the present modification. The display device 1 includes the sound collector 14, and the control unit 20 includes a sound detection unit 208. The sound collector 14 collects sound around the display device 1 and outputs the sound as sound data to the sound detection unit 208. A commercially available microphone can be used as the sound collector 14. The voice detection unit 208 identifies the voice data from the sound collector 14 and determines whether or not the voice data corresponds to “high”.
図１７において、キャリブレーション部２０３が第１のキャリブレーション処理モードを起動すると、画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図１８は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｅを含み、このキャリブレーション用アイコン３００Ｅには、メッセージ「キャリブレーションを行います。このアイコンにタッチしたところで「ハイ」と声を出して下さい」が重畳表示されている。
In FIG. 17, when the calibration unit 203 activates the first calibration processing mode, the image generation unit 201 generates display image data, and the display unit 11 uses the display image data based on the display image data. Display the display image. FIG. 18 shows an aerial image 300 of the display image for calibration. The aerial image 300 includes a calibration icon 300E, and the message “Perform calibration. Please say“ High ”when you touch this icon” is superimposed on the calibration icon 300E. ing.
ユーザは、アイコン３００Ｅに重畳表示されたメッセージに従いアイコン３００Ｅの表示位置への操作をするために、指先をアイコン３００Ｅの方に押し下げ、アイコン３００Ｅにタッチしたと思ったところで、メッセージに従い「ハイ」と声を出す。操作検出器１３は、指先の下降移動を検出し、集音器１４は、この声を集音し、音声データとして音声検出部２０８に出力する。音声検出部２０８が、音声データが「ハイ」に対応することを判定すると、検出基準制御部２０４が、その時点における操作検出器１３によって検出される指先の位置を指定位置５０Ａと判定し、指定位置５０Ａに基づき検出基準４０を変更すると共に、この変更された検出基準４０の位置データを記憶部２０５に記憶する。
The user pushes the fingertip toward the icon 300E and touches the icon 300E to operate to the display position of the icon 300E according to the message superimposed on the icon 300E. Speak out. The operation detector 13 detects the downward movement of the fingertip, and the sound collector 14 collects this voice and outputs it to the voice detector 208 as voice data. When the sound detection unit 208 determines that the sound data corresponds to “high”, the detection reference control unit 204 determines the position of the fingertip detected by the operation detector 13 at that time as the specified position 50A, and specifies The detection reference 40 is changed based on the position 50 </ b> A, and the position data of the changed detection reference 40 is stored in the storage unit 205.
上記説明のキャリブレーション処理について、図１９に示すフローチャートを参照して説明する。なお、図１９のフローチャートはステップＳ１４１〜ステップＳ１４９を示し、それ以降のステップは省略した。ステップＳ１４９以降の処理は、図１１に示すフローチャートのステップＳ１０９以降の処理と同様である。
The calibration process described above will be described with reference to the flowchart shown in FIG. The flowchart of FIG. 19 shows steps S141 to S149, and the subsequent steps are omitted. The processing after step S149 is the same as the processing after step S109 in the flowchart shown in FIG.
ステップＳ１４１〜ステップＳ１４４の各処理は、図６に示したフローチャートにおけるステップＳ１〜ステップＳ４の各処理と同様である。ステップＳ１４５において、音声検出部２０８は、集音器１４からの出力に基づいて、ユーザが「ハイ」を発声したかどうか判定する。ステップＳ１４５において肯定判定された場合、即ち、ユーザがアイコン３０Ｆをタッチしたと思って「ハイ」という声を出したと判定した場合、ステップＳ１４６に進む。ステップＳ１４５において否定判定された場合は、肯定判定されるまで待機する。ステップＳ１４６において、検出基準制御部２０４が、音声検出部２０８が音声「ハイ」を判定した時点における指先の位置を指定位置５０Ａと決定、即ち判定する。ステップＳ１４７において、指定位置５０Ａに基づいて検出基準４０を変更すると共に、その変更された検出基準４０の位置データを記憶部２０５に記憶し、ステップＳ１４８に進む。ステップＳ１４８において、第１のキャリブレーション処理モードを終了して、ステップＳ１４９に進む。ステップＳ１４９において、空中像操作モードを開始する。
Each process of step S141-step S144 is the same as each process of step S1-step S4 in the flowchart shown in FIG. In step S <b> 145, the voice detection unit 208 determines whether the user has uttered “high” based on the output from the sound collector 14. If the determination in step S145 is affirmative, that is, if it is determined that the user has touched the icon 30F and has made a “high” voice, the process proceeds to step S146. If a negative determination is made in step S145, the process waits until an affirmative determination is made. In step S146, the detection reference control unit 204 determines, that is, determines the position of the fingertip as the designated position 50A when the sound detection unit 208 determines the sound “high”. In step S147, the detection reference 40 is changed based on the designated position 50A, the position data of the changed detection reference 40 is stored in the storage unit 205, and the process proceeds to step S148. In step S148, the first calibration processing mode is terminated, and the process proceeds to step S149. In step S149, the aerial image operation mode is started.
上述の変形例６の表示装置１は、ユーザは、アイコンの表示位置を操作したと思った指の位置、即ち指定位置を、発声によって指定するものである。このような到達位置を、発声によって指定することは、迅速にキャリブレーション処理を行うことができる。
なお、表示装置１が集音器１４を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしても良い。
In the display device 1 of the above-described modified example 6, the user designates the position of the finger that is thought to have operated the icon display position, that is, the designated position by speaking. By designating such a reaching position by utterance, calibration processing can be performed quickly.
Note that the display device 1 does not include the sound collector 14, and the sound data acquired by the external sound collector is input via wireless or wired, and the sound is detected using the sound data input from the external sound collector. The unit 208 may perform voice detection.
（第１の実施の形態の変形例７）
上記においては、検出基準を単一の平面または段差を持った平面として説明した。しかし、検出基準は面ではなく、厚みを持った領域であってもよい。このような領域を持った検出基準のキャリブレーション処理について説明する。なお、説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜６にも適用できる。また、上述した変形例１〜６に適用してもよい。
(Modification 7 of the first embodiment)
In the above description, the detection reference is described as a single plane or a plane having a step. However, the detection reference may be an area having a thickness rather than a surface. A detection reference calibration process having such a region will be described. The description will be given of the case where the first calibration processing mode in the first embodiment is applied. However, the description can be applied to the second calibration processing mode and the first to sixth modifications. Moreover, you may apply to the modifications 1-6 mentioned above.
本変形例の表示装置１は第１の実施の形態で説明した表示装置１と同様の装置であり、その構成は図２に示すブロック図により表される。図２０（ａ）は、本変形例の表示装置１によって表示される空中像操作モード時の空中像３０の一例を示し、図２０（ｂ）は、本体１０または操作検出器１３と空中像３０と検出基準４０との位置関係を模式的に示す。図２０（ａ）に示す空中像３０は、図３（ａ）に示す空中像３０と同様である。図２０（ｂ）において、検出基準４０は、上面４０１と下面４０２に挟まれて上下方向に厚さｄ２を有する領域として設定される。
The display device 1 of the present modification is the same device as the display device 1 described in the first embodiment, and the configuration is represented by the block diagram shown in FIG. FIG. 20A shows an example of an aerial image 30 displayed in the aerial image operation mode displayed by the display device 1 according to this modification, and FIG. 20B shows the main body 10 or the operation detector 13 and the aerial image 30. And a positional relationship between the detection reference 40 and the detection reference 40 are schematically shown. The aerial image 30 illustrated in FIG. 20A is the same as the aerial image 30 illustrated in FIG. In FIG. 20B, the detection reference 40 is set as a region sandwiched between the upper surface 401 and the lower surface 402 and having a thickness d2 in the vertical direction.
図２０（ｂ）において、空中像３０は、表示装置１の操作検出器１３の上方に距離Ｈ１だけ離れた位置に形成され、検出基準４０は、上面４０１と下面４０２がそれぞれ、操作検出器１３の上方に距離Ｈ３とＨ４（Ｈ１＜Ｈ３＜Ｈ４）だけ離れた位置に設定されている。即ち、ｄ２＝Ｈ４−Ｈ３となる。空中像３０と検出基準４０は、静電容量の検出範囲１３Ａ内に位置するように設定されている。なお、検出基準４０は、図３（ｂ）では空中像３０の上方に設定されているが、操作検出器１３の静電容量検出範囲１３Ａ内であれば、空中像３０の下方に設定しても、または空中像３０の位置を領域ｄ２内に含むように設定してもよい。
In FIG. 20B, the aerial image 30 is formed above the operation detector 13 of the display device 1 at a position separated by a distance H1, and the detection reference 40 has an upper surface 401 and a lower surface 402, respectively. Are set at positions separated by distances H3 and H4 (H1 <H3 <H4). That is, d2 = H4-H3. The aerial image 30 and the detection reference 40 are set so as to be positioned within the capacitance detection range 13A. The detection reference 40 is set above the aerial image 30 in FIG. 3B, but if it is within the capacitance detection range 13A of the operation detector 13, set it below the aerial image 30. Alternatively, the position of the aerial image 30 may be set to be included in the region d2.
操作検出器１３は、ユーザの指先が検出基準４０に侵入した時に、指先の位置に応じて、距離Ｈ３〜Ｈ４の間のいずれかに対応した検出出力を出力し、検出基準制御部２０４は、この操作検出器１３の検出出力が距離Ｈ３とＨ４との間に相当する検出出力である場合、指先がアイコン３０Ａの表示位置を操作したと判定する。このようにして、表示装置１は、ユーザが空中像３０のアイコン３０Ａの表示位置を操作したことを検出し、その操作されたアイコン３０Ａに対応した機能を実行する。例えば、表示器１１の表示画像の切り替えなどを行う。このように、変形例７の表示装置は、空中像操作モードにおいて、指が検出基準４０の厚さｄ２内のどこに位置しても、検出基準制御部２０４は指がアイコン３０Ａの表示位置への操作を行っていると判定するので、より確実に表示位置への操作を判定することができる。例えば、指が、たまたまアイコン３０Ａの真上から下降移動されずに、斜め上方から下降移動された場合には、検出基準４０が図３に示したように平面であると、アイコン３０Ａの真上の検出基準４０を通過せず、その横の部分を通過してしまい、指のアイコン３０Ａの表示位置への操作を判定することができないことが起こり得る。しかし、検出基準４０が厚さｄ２を有していると、指が斜め上方から下降移動された場合にも、指が検出基準４０に入ったことを確実に検出することができるので、上述の事態の発生を低減することができる。更には、指が空中像３０に並行に移動して、アイコン３０Ａの表示位置を操作した場合にも変形例７の表示装置は、検出基準４０が厚さｄ２を有しているので、指が検出基準４０内に入ったことを確実に検出することができる。
The operation detector 13 outputs a detection output corresponding to any of the distances H3 to H4 according to the position of the fingertip when the user's fingertip enters the detection reference 40, and the detection reference control unit 204 When the detection output of the operation detector 13 is a detection output corresponding to between the distances H3 and H4, it is determined that the fingertip has operated the display position of the icon 30A. In this way, the display device 1 detects that the user has operated the display position of the icon 30A of the aerial image 30, and executes a function corresponding to the operated icon 30A. For example, the display image on the display 11 is switched. As described above, in the display device of the modification example 7, in the aerial image operation mode, the detection reference control unit 204 moves the finger to the display position of the icon 30A regardless of where the finger is positioned within the thickness d2 of the detection reference 40. Since it is determined that the operation is performed, the operation to the display position can be determined more reliably. For example, when the finger is not moved downward from right above the icon 30A and is moved downward from obliquely above, if the detection reference 40 is a plane as shown in FIG. It may happen that the detection part 40 does not pass through, but passes through the side part, and the operation of the finger icon 30A to the display position cannot be determined. However, if the detection reference 40 has the thickness d2, it is possible to reliably detect that the finger has entered the detection reference 40 even when the finger is moved downward from an oblique upper side. The occurrence of the situation can be reduced. Furthermore, even when the finger moves in parallel to the aerial image 30 and manipulates the display position of the icon 30A, the display device of the modified example 7 has the detection reference 40 having the thickness d2, It is possible to reliably detect that the detection standard 40 has been entered.
このような厚さｄ２の検出基準４０を有する変形例７の表示装置１に関する第１のキャリブレーション処理モードを、以下に説明する。なお、厚さｄ２を有する検出基準４０に関する第２のキャリブレーション処理モードも同様である。また、以下の説明は、第１の実施の形態と同一部分については、省略する。
A first calibration processing mode related to the display device 1 of the modified example 7 having the detection reference 40 having the thickness d2 will be described below. The same applies to the second calibration processing mode related to the detection reference 40 having the thickness d2. In the following description, the same parts as those in the first embodiment are omitted.
図２１（ａ）において、第１のキャリブレーション処理モードでは、図４に示されたアイコン３００Ａを含む空中像３００が表示され、検出基準４０が初期設定される。ユーザがアイコン３００Ａに重畳表示されたメッセージに従いアイコン３００Ａの表示位置への操作をするために、指先Ｆをアイコン３００Ａの方に下方移動して、指先Ｆが図２の操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ａへのユーザの指Ｆの接近移動、即ち下方への移動を静電容量の変化として検出する。
In FIG. 21A, in the first calibration processing mode, an aerial image 300 including the icon 300A shown in FIG. 4 is displayed, and the detection reference 40 is initialized. In order for the user to operate the display position of the icon 300A according to the message superimposed on the icon 300A, the fingertip F is moved downward toward the icon 300A, and the fingertip F is electrostatically charged by the operation detector 13 in FIG. When reaching the capacitance detection range 13A, the operation detector 13 detects the approaching movement of the user's finger F to the icon 300A, that is, the downward movement as a change in capacitance.
図２１（ｂ）において、ユーザは、指がアイコン３００の表示位置を操作していると感じると、ユーザは例えば、指先Ｆを所定距離だけ上方に移動させる。操作検出器１３は、指先Ｆの上記の下降移動、即ち押下げとそれに引き続く所定距離の上方移動とを、静電容量の変化として検出する。この静電容量の変化に基づいて、検出基準制御部２０４は、上述した到達位置５０または指定位置５０Ａを判定する。
In FIG. 21B, when the user feels that the finger is operating the display position of the icon 300, the user moves the fingertip F upward by a predetermined distance, for example. The operation detector 13 detects the downward movement of the fingertip F, that is, the depression and the subsequent upward movement of a predetermined distance as a change in capacitance. Based on the change in capacitance, the detection reference control unit 204 determines the arrival position 50 or the designated position 50A described above.
検出基準制御部２０４は、図２１（ｃ）に示すように到達位置５０または指定位置５０Ａに基づき、検出基準４０を厚さｄ２を有する３次元領域の検出基準４０に変更する。図２１（ｃ）では、厚さｄ２の検出基準４０が到達位置５０または指定位置５０Ａを含むように設定されているが、厚さｄ２の検出基準４０は、到達位置５０または指定位置５０Ａよりも上方または下方の位置に設定してもよい。また、到達位置５０または指定位置５０Ａからユーザにより押下する操作により押し込まれた方向とは反対方向に所定距離離れた位置と、到達位置５０または指定位置５０Ａとで挟まれた３次元の領域を厚さｄ２の検出基準４０としてもよい。検出基準制御部２０４は、厚さｄ２の検出基準４０の位置データを記憶部２０５に記憶する。その後に、空中像操作モードが実行されると、記憶部２０５に記憶された位置データに基づき、厚さｄ２の検出基準４０が設定される。
The detection reference control unit 204 changes the detection reference 40 to the detection reference 40 of the three-dimensional region having the thickness d2 based on the arrival position 50 or the designated position 50A as shown in FIG. In FIG. 21C, the detection reference 40 for the thickness d2 is set so as to include the arrival position 50 or the designated position 50A. However, the detection reference 40 for the thickness d2 is more than the arrival position 50 or the designation position 50A. It may be set at an upper or lower position. In addition, a three-dimensional region sandwiched between the position separated by a predetermined distance in the direction opposite to the direction pushed by the user pressing from the arrival position 50 or the designated position 50A and the arrival position 50 or the designated position 50A is thickened. It is good also as the detection reference | standard 40 of length d2. The detection reference control unit 204 stores the position data of the detection reference 40 of the thickness d2 in the storage unit 205. Thereafter, when the aerial image operation mode is executed, the detection reference 40 of the thickness d2 is set based on the position data stored in the storage unit 205.
上記説明の第１のキャリブレーション処理モードと空中像操作モードとの関係については、図６に示すフローチャートと次の点を除いて同様の手順で行うことができる。即ち、ステップＳ６において、第１の実施の形態においては、検出基準制御部２０４は、到達位置５０に基づき、単一の面である検出基準４０を設定する手順となっている。これに対して、本変形例７においては、到達位置５０または指定位置５０Ａに基づき、厚さｄ２の検出基準４０が設定されることが異なる。
The relationship between the first calibration processing mode and the aerial image operation mode described above can be performed in the same procedure except for the flowchart shown in FIG. 6 and the following points. That is, in step S6, in the first embodiment, the detection reference control unit 204 is a procedure for setting the detection reference 40 that is a single surface based on the arrival position 50. On the other hand, the present modification 7 is different in that the detection reference 40 of the thickness d2 is set based on the arrival position 50 or the designated position 50A.
なお、空中像操作モードにおいて、アイコンが操作される度に、ユーザの指先の到達位置５０または指定位置５０Ａを含む面が検出基準４０の上面４０１と下面４０２の中間となるように検出基準４０を設定するようにキャリブレーション処理を行うことも有効である。
また、指先がキャリブレーション処理用のアイコンの上方に位置している限り、ユーザの指が斜めに、すなわちＺ方向に対して角度を有して下降移動した場合であっても、到達位置または指定位置を判定することができる。
In the aerial image operation mode, each time the icon is operated, the detection reference 40 is set so that the surface including the reaching position 50 or the designated position 50A of the user's fingertip is intermediate between the upper surface 401 and the lower surface 402 of the detection reference 40. It is also effective to perform calibration processing so as to set.
In addition, as long as the fingertip is positioned above the calibration processing icon, even if the user's finger moves obliquely, that is, at an angle with respect to the Z direction, the arrival position or designation The position can be determined.
（第１の実施の形態の変形例８）
上記説明において、ユーザの指先の下方への移動を、静電容量パネルにより構成される操作検出器１３によって検出したが、撮像装置によりユーザの指先の位置を検出してもよい。変形例８の表示装置１は、図２２に示すように、操作検出器として撮像装置（例えばデジタルカメラ）１８を備え、この撮像装置１８は表示装置１の上面に配置される。このような表示装置１のブロック図を図２３に示す。
(Modification 8 of the first embodiment)
In the above description, the downward movement of the user's fingertip is detected by the operation detector 13 configured by the capacitance panel. However, the position of the user's fingertip may be detected by the imaging device. As shown in FIG. 22, the display device 1 of Modification 8 includes an imaging device (for example, a digital camera) 18 as an operation detector, and the imaging device 18 is disposed on the upper surface of the display device 1. A block diagram of such a display device 1 is shown in FIG.
図２３にブロック図を示した表示装置１は、制御部２０には、画像解析部２０９を備えている。撮像装置１８は、表示器１１の上方に位置する物体、即ちユーザの指を撮像し、撮像された撮像画像は、画像解析部２０９に入力される。画像解析部２０９は、撮像装置１８から入力された撮像画像を解析してユーザの指先の位置を求める。即ち、画像解析部２０９は、撮像画像内における指の像の位置から、ユーザの指先が複数のアイコンのうちのどのアイコンを操作しているのか判定する。更に、画像解析部２０９は、撮像画像内における指の像の大きさを、基準の指の大きさ、具体的には事前に撮像した所定高さ位置の指の大きさと比較することによって指の高さ位置、即ち指の降下位置を判定する。これにより、ユーザの指先の３次元空間における位置が求められる。このような構成によって、変形例８の表示装置１は、静電容量パネルを用いた操作検出器１３により求めた指先の位置に関する情報と同様の情報を、撮像装置１８による撮像画像の解析により得ることができる。従って、変形例８の表示装置は、上述した実施の形態および種々の変形例で説明した静電容量パネルの代わりに撮像装置１８を使用して、上述した実施の形態および変形例と同様の処理を行うことができる。
The display device 1 whose block diagram is shown in FIG. 23 includes an image analysis unit 209 in the control unit 20. The imaging device 18 images an object positioned above the display 11, that is, a user's finger, and the captured image is input to the image analysis unit 209. The image analysis unit 209 analyzes the captured image input from the imaging device 18 and obtains the position of the user's fingertip. That is, the image analysis unit 209 determines which icon of the plurality of icons is operated by the user's fingertip from the position of the finger image in the captured image. Further, the image analysis unit 209 compares the size of the finger image in the captured image with the size of the reference finger, specifically, the size of the finger at a predetermined height position captured in advance. The height position, that is, the lowering position of the finger is determined. Thereby, the position of the user's fingertip in the three-dimensional space is obtained. With such a configuration, the display device 1 of the modification 8 obtains the same information as the information on the position of the fingertip obtained by the operation detector 13 using the capacitance panel by analyzing the captured image by the imaging device 18. be able to. Therefore, the display device of the modification 8 uses the imaging device 18 instead of the capacitance panel described in the above-described embodiment and various modifications, and performs the same processing as in the above-described embodiment and modification. It can be performed.
変形例８の表示装置１は、画像解析部２０９が、撮像画像における指の大きさから指の高さ位置を算出したが、その代わりに、撮像装置１８が、デジタルカメラに搭載されている位相差式焦点検出装置と画像認識装置によって、指の高さ位置を検出することもできる。具体的には、画像認識装置が指を認識し、位相差式焦点検出装置が画像認識装置によって認識された指についてデフォーカス量を検出し、このデフォーカス量から指の高さ位置を算出することができる。また、位相差式焦点検出装置の代わりにデジタルカメラに搭載されているコントラスト検出式焦点検出装置を使用しても同様に指の高さ位置を検出することができる。
In the display device 1 of the modified example 8, the image analysis unit 209 calculates the finger height position from the size of the finger in the captured image, but instead, the image capturing device 18 is mounted on the digital camera. The height position of the finger can also be detected by the phase difference focus detection device and the image recognition device. Specifically, the image recognition device recognizes the finger, the phase difference focus detection device detects the defocus amount for the finger recognized by the image recognition device, and calculates the finger height position from the defocus amount. be able to. Also, the height position of the finger can be detected in the same manner by using a contrast detection type focus detection device mounted on a digital camera instead of the phase difference type focus detection device.
撮像装置１８としては、位相差式焦点検出装置やコントラスト検出式焦点検出装置の代わりに、ＴＯＦ（Time of Flight）装置を搭載したカメラを好適に用いることができる。ＴＯＦカメラは、カメラ本体から赤外線を出射し、対象物に反射してＴＯＦカメラに入射する赤外線を受光して、出射光と受光光の位相変化に基づいて、ＴＯＦカメラから対象物までに距離を算出する。従って、測定対象物をユーザの指先として、ＴＯＦカメラからユーザの指先に向けて赤外光を出射し、指先からの反射光を受光することで、ＴＯＦカメラからユーザの指先までの距離を求めることができる。なお、撮像装置１８は、その撮像レンズとしては、空中像３０の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数（たとえば、２個）の撮像装置を搭載し、それらの撮像画像によりユーザの指先の位置をより検出してもよい。
As the imaging device 18, a camera equipped with a TOF (Time of Flight) device can be suitably used instead of the phase difference focus detection device and the contrast detection focus detection device. The TOF camera emits infrared rays from the camera body, receives infrared rays that are reflected by the object and incident on the TOF camera, and determines the distance from the TOF camera to the object based on the phase change between the emitted light and the received light. calculate. Therefore, the distance from the TOF camera to the user's fingertip is obtained by emitting infrared light from the TOF camera toward the user's fingertip using the measurement object as the user's fingertip and receiving the reflected light from the fingertip. Can do. The imaging device 18 is preferably a wide-angle lens as its imaging lens to cover the entire aerial image 30, and may be a fish-eye lens. Further, a plurality of (for example, two) imaging devices may be mounted, and the position of the user's fingertip may be further detected from the captured images.
ＴＯＦカメラを表示装置１に装備した例を図２４に示す。図２４は、表示装置１の内部構成のみを表しており、表示装置の本体は省略している。図２４において、表示器１１と結像光学素子１２との中央部に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されている。ＴＯＦカメラ１１８’は赤外線を所定範囲にスキャンすることで、ユーザの指先に赤外線を照射し、その反射光の位相変化により、ＴＯＦカメラ１１８’からユーザの指先までの距離を測定する。この距離と赤外線の出射方向に基づいて、ＴＯＦカメラ１１８’に対するユーザの指先の３次元空間における位置を求めることができる。即ち、指先の位置が空中像面内のいずれの位置に相当するか、また、指先の位置が表示装置１の表面からどれほど離れているか、が求まる。これにより、静電容量パネルによる指先の位置の検出情報と同様の情報を、ＴＯＦカメラ１１８’による測距結果から得ることができる。なお、上記の説明として、表示器１１と結像光学系１２との中央部に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されているような構成で説明したが、これに限らず、ＴＯＦカメラ１１８’を表示器１１の外部に設置するような構成であってもよい。
変形例８の表示装置１においても、図２４に示すように、空中像３０が表示装置１の結像光学系１２の上方に距離Ｈ１だけ離れた位置に形成され、検出基準４０は、結像光学系１２の上方に距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定される。撮像装置１８は、結像光学系１２の表面から上方にユーザの指先の位置を検出するための検出範囲１３Ａを有する。図２４では、撮像装置１８の上方に撮像可能な範囲の限界を破線１３ａで示し、この検出限界１３ａと結像光学系１２の表面との間隔が検出範囲１３Ａとして示される。変形例８においても、上記の第１の実施の形態や変形例１〜７の場合と同様に、空中像３０と検出基準４０とが検出範囲１３Ａ内に位置するように設定される。なお、検出基準２４は、図２４では空中像３０の上方に設定されているが、検出範囲１３Ａ内であれば、空中像３０の下方でも、または空中像３０の位置に一致させてもよい。また、変形例８においても、検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲は検出基準外４１である。なお、検出範囲１３Ａは、撮像装置１８の撮像可能な範囲の限界として設定されるものに限定されず、撮像可能な範囲のうち一部の範囲（たとえば図２４中の左右方向の端部の所定範囲）を除いた範囲として設定されてもよい。
An example in which the TOF camera is equipped in the display device 1 is shown in FIG. FIG. 24 shows only the internal configuration of the display device 1, and the main body of the display device is omitted. In FIG. 24, a space for disposing the TOF camera 118 ′ is provided in the center of the display 11 and the imaging optical element 12, and the TOF camera 118 ′ is disposed in the space. The TOF camera 118 ′ scans infrared rays within a predetermined range to irradiate the user's fingertip with infrared rays, and measures the distance from the TOF camera 118 ′ to the user's fingertip based on the phase change of the reflected light. Based on this distance and the emitting direction of infrared rays, the position of the user's fingertip with respect to the TOF camera 118 ′ in the three-dimensional space can be obtained. In other words, it is possible to determine which position in the aerial image plane the fingertip position corresponds to and how far the fingertip position is from the surface of the display device 1. Thereby, the same information as the detection information of the fingertip position by the capacitance panel can be obtained from the distance measurement result by the TOF camera 118 ′. As described above, a space for arranging the TOF camera 118 ′ is provided in the central portion of the display 11 and the imaging optical system 12, and the TOF camera 118 ′ is arranged in the space. Although the above configuration has been described, the configuration is not limited thereto, and a configuration in which the TOF camera 118 ′ is installed outside the display device 11 may be used.
Also in the display device 1 of the modified example 8, as shown in FIG. 24, the aerial image 30 is formed at a position separated by a distance H1 above the imaging optical system 12 of the display device 1, and the detection reference 40 is an image. It is set at a position above the optical system 12 by a distance H2 (H1 <H2). The imaging device 18 has a detection range 13 </ b> A for detecting the position of the user's fingertip above the surface of the imaging optical system 12. In FIG. 24, the limit of the range that can be imaged above the imaging device 18 is indicated by a broken line 13a, and the interval between the detection limit 13a and the surface of the imaging optical system 12 is indicated as a detection range 13A. Also in the modification 8, similarly to the case of the first embodiment and the modifications 1 to 7, the aerial image 30 and the detection reference 40 are set so as to be positioned in the detection range 13A. Although the detection reference 24 is set above the aerial image 30 in FIG. 24, it may be set below the aerial image 30 or at the position of the aerial image 30 as long as it is within the detection range 13A. Also in the modified example 8, the range other than the region set as the detection reference 40 in the detection range 13A is outside the detection reference 41. Note that the detection range 13A is not limited to the limit of the range that can be imaged by the imaging device 18, but a part of the range that can be imaged (for example, a predetermined end portion in the left-right direction in FIG. 24). It may be set as a range excluding (range).
上記説明では、本変形例８の表示装置１は、操作検出器としての静電容量パネル１３に代えて撮像装置１８を備えるものであった。しかし、表示装置１は、操作検出器１３と撮像装置１８とを共に備えるものであってもよい。この場合には、例えば、図３に示された操作検出器１３の検出範囲１３Ａを上下に二つに分割して下方の検出範囲（表示器１１に近い方の検出範囲）と上方の検出範囲（表示器１１から遠い方の検出範囲）とを形成し、この下方の検出範囲を静電容量パネル１３の検出範囲とし、上方の検出範囲を撮像装置１８の検出範囲とすることができる。このような構成によって、ユーザが表示位置への操作のために指を降下移動した時には、撮像装置１８がその指の降下移動の前半部分を検出し、静電容量パネル１３が指の降下移動の後半部分を検出する。一般に、静電容量パネル１３は、表示器１３の上方の近傍範囲を高精度に検出することができ、逆に、撮像装置１８は、表示器１３の上方の極く近傍範囲を撮像することが難しい場合があるので、静電容量パネル１３の検出範囲と撮像装置１８の検出範囲とを上述のように分担させることは、好ましいことである。なお、検出範囲１３Ａの２分割は、検出範囲１３Ａを上下に二等分する場合に限らず、不等分に分割してもよい。また、操作検出器１３は、静電容量パネル１３や撮像装置１８に限らず、他の近接センサなどを使用することができる。従って、検出範囲１３Ａを分割した場合には、種々の操作検出器１３が分割された検出範囲を分担することを可能である。
In the above description, the display device 1 of the modification 8 includes the imaging device 18 instead of the capacitance panel 13 as the operation detector. However, the display device 1 may include both the operation detector 13 and the imaging device 18. In this case, for example, the detection range 13A of the operation detector 13 shown in FIG. 3 is divided into two vertically and a lower detection range (detection range closer to the display 11) and an upper detection range. (The detection range farther from the display 11), the lower detection range can be the detection range of the capacitance panel 13, and the upper detection range can be the detection range of the imaging device 18. With such a configuration, when the user moves his / her finger down to operate the display position, the imaging device 18 detects the first half of the finger's lowering movement, and the capacitance panel 13 detects the lowering movement of the finger. The second half is detected. Generally, the capacitance panel 13 can detect the vicinity range above the display device 13 with high accuracy, and conversely, the imaging device 18 can image the very vicinity range above the display device 13. Since it may be difficult, it is preferable to share the detection range of the capacitance panel 13 and the detection range of the imaging device 18 as described above. Note that the division of the detection range 13A into two is not limited to the case where the detection range 13A is equally divided into upper and lower parts, and may be divided into unequal parts. Further, the operation detector 13 is not limited to the capacitance panel 13 and the imaging device 18, and other proximity sensors can be used. Therefore, when the detection range 13A is divided, the various operation detectors 13 can share the divided detection ranges.
図９に示した速度・加速度検出部２０６は、図２３の撮像装置１８の撮像画像に基づき指の移動速度や加速度を算出することもできる。従って、検出範囲１３Ａを分割した場合には、上方及び下方の検出範囲毎に、指の移動速度や加速度を算出し、停止位置予測部２０７が指の到達位置を予測することもできる。
The speed / acceleration detection unit 206 shown in FIG. 9 can also calculate the moving speed and acceleration of the finger based on the captured image of the imaging device 18 of FIG. Therefore, when the detection range 13A is divided, the finger movement speed and acceleration are calculated for each of the upper and lower detection ranges, and the stop position prediction unit 207 can also predict the finger arrival position.
なお、上述の第１の実施の形態とその変形例１〜７では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４とを備えればよい。上述の第１の実施の形態、または変形例１〜７に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
In the first embodiment and the modifications 1 to 7 described above, the display device 1 including at least the control unit 20, the display 11, and the operation detector 13 has been described as an example. The detection apparatus comprised, and the detection apparatus comprised by the control part 20 and the operation detector 13 may be sufficient. The control unit 20 may include at least the calibration unit 203 and the detection reference control unit 204. In order to obtain the effects described in the above-described first embodiment or modifications 1 to 7, a configuration may be appropriately added from the above-described configuration as necessary.
−第２の実施の形態−
図面を参照しながら、第２の実施の形態に係る表示装置１について説明する。第２の実施の形態においては、本実施の形態の表示装置１が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話、ウエアラブル装置等の電子機器に組み込むことが可能である。
-Second Embodiment-
A display device 1 according to a second embodiment will be described with reference to the drawings. In the second embodiment, the case where the display device 1 of the present embodiment is incorporated in a mobile phone will be described as an example. Note that the display device of this embodiment is not limited to a mobile phone, but can be incorporated in an electronic device such as a portable information terminal device such as a tablet terminal or a wristwatch terminal, a personal computer, a music player, a landline phone, or a wearable device. Is possible.
本実施の形態の表示装置１は、図１に示した表示装置１と同様であり、その主要部の構成は、図２５に示すブロック図で表される。即ち、制御部２０と、制御部２０によって制御される表示器１１と操作検出器１３とを示している。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と、ユーザ情報解析部２１０とを備える。
The display device 1 of the present embodiment is the same as the display device 1 shown in FIG. 1, and the configuration of the main part is represented by the block diagram shown in FIG. That is, the control unit 20, the display 11 and the operation detector 13 controlled by the control unit 20 are illustrated. The control unit 20 includes an image generation unit 201, a display control unit 202, a calibration unit 203, a detection reference control unit 204, a storage unit 205, and a user information analysis unit 210.
制御部２０の主要構成は、ユーザ情報解析部２１０を備えたことを除いて、第１の実施の形態の表示装置１と同様なので、異なる部分を除き説明は省略する。検出基準制御部２０４は、検出基準を初期設定し、後述のキャリブレーション処理の結果に基づき、検出基準を変更する。ユーザ情報解析部２１０は、入力されたユーザに関する情報を解析する。検出基準制御部２０４は、キャリブレーション処理の際にユーザ情報解析部２１０から入力された情報に基づいて検出基準を変更する。
The main configuration of the control unit 20 is the same as that of the display device 1 of the first embodiment except that the user information analysis unit 210 is provided. The detection reference control unit 204 initializes the detection reference, and changes the detection reference based on the result of calibration processing described later. The user information analysis unit 210 analyzes information regarding the input user. The detection reference control unit 204 changes the detection reference based on information input from the user information analysis unit 210 during the calibration process.
次に、本実施の形態の表示装置１におけるキャリブレーション処理について、図２６に示すフローチャートを参照しながら説明する。なお、図２６のフローチャートはステップＳ２０１〜ステップＳ２０７を示し、それ以降のステップは省略した。ステップＳ２０７以降の処理は、図１１に示すフローチャートのステップＳ１０９以降の処理と同様である。図２６のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。
Next, calibration processing in the display device 1 of the present embodiment will be described with reference to the flowchart shown in FIG. In addition, the flowchart of FIG. 26 showed step S201-step S207, and the subsequent steps were abbreviate | omitted. The processing after step S207 is the same as the processing after step S109 in the flowchart shown in FIG. Each process shown in the flowchart of FIG. 26 is performed by executing a program by the control unit 20 after the display device 1 is activated. This program is stored in the storage unit 205.
ステップＳ２０１において、ユーザによりユーザ情報入力モードの操作ボタンが操作されたかどうか判定する。ステップＳ２０１において肯定判定された場合、即ち、ユーザがユーザ情報入力モードを選択したと判定された場合、ステップＳ２０２に進む。ステップＳ２０１において否定判定された場合、即ち、ユーザがユーザ情報入力モードを選択しなかったと判定された場合、ステップＳ２０６に進む。ステップＳ２０２において、ユーザ情報入力モードを開始して、ステップＳ２０３に進む。ステップＳ２０３において、ユーザ情報の入力が終了したかどうか判定する。この判定は、例えば、ユーザがユーザ情報の入力終了を指示するボタンを操作したかどうかで行われる。ステップＳ２０３において肯定判定された場合、即ち、ユーザがユーザ情報の入力終了を指示した場合、ステップＳ２０４に進む。ステップＳ２０３において否定判定された場合は、肯定判定されるまで待機する。
In step S201, it is determined whether or not an operation button in the user information input mode has been operated by the user. If an affirmative determination is made in step S201, that is, if it is determined that the user has selected the user information input mode, the process proceeds to step S202. If a negative determination is made in step S201, that is, if it is determined that the user has not selected the user information input mode, the process proceeds to step S206. In step S202, the user information input mode is started, and the process proceeds to step S203. In step S203, it is determined whether the input of user information has been completed. This determination is made based on, for example, whether or not the user has operated a button for instructing the end of user information input. If an affirmative determination is made in step S203, that is, if the user instructs the end of user information input, the process proceeds to step S204. If a negative determination is made in step S203, the process waits until an affirmative determination is made.
ステップＳ２０４において、ユーザ情報解析部２１０は、入力されたユーザ情報に基づいて、空中像操作モードにおいて初期設定される検出基準４０を変更すると共に、その変更された検出基準４０の位置データを記憶部２０５に記憶し、ステップＳ２０５に進む。例えば、到達位置５０から、所定距離ｄ１だけ上方の位置に、検出基準４０を変更する。ステップＳ２０５において、ユーザ情報入力モードを終了して、ステップＳ２０６に進む。ステップＳ２０６において、空中像操作モードを開始する。
In step S204, the user information analysis unit 210 changes the detection reference 40 that is initially set in the aerial image operation mode based on the input user information, and stores the changed position data of the detection reference 40 in the storage unit. In step 205, the process proceeds to step S205. For example, the detection reference 40 is changed to a position above the arrival position 50 by a predetermined distance d1. In step S205, the user information input mode is terminated, and the process proceeds to step S206. In step S206, the aerial image operation mode is started.
ユーザ情報としては、例えば、ユーザの性別、年齢、体型（身長、腕の長さ）、視力のうちの少なくとも１種類または複数の組み合わせがある。記憶部２０５には、性別、年齢、体型（身長）、視力の因子のうちの１種類または複数の組み合わせをパラメータとする到達位置５０に関する複数のテーブルが予め記憶されている。ユーザがユーザ情報を入力すると、ユーザ情報解析部２１０は、入力されたユーザ情報の種類と内容に基づいて、該当するテーブルを選択し、そのテーブルから該当する到達位置５０を選択する。検出基準制御部２０４は、選択された到達位置５０に基づいて検出基準４０を決定する。
User information includes, for example, at least one or a combination of a user's sex, age, body type (height, arm length), and visual acuity. The storage unit 205 stores in advance a plurality of tables related to the arrival position 50 using one or more combinations of gender, age, body type (height), and visual acuity factors as parameters. When the user inputs user information, the user information analysis unit 210 selects a corresponding table based on the type and contents of the input user information, and selects a corresponding arrival position 50 from the table. The detection criterion control unit 204 determines the detection criterion 40 based on the selected arrival position 50.
テーブルとして記憶された到達位置５０は、例えば、男性よりも女性、年齢の高い人より比べて年齢の低い人、身長の高い人よりも身長の低い人が、操作検出器１３により近い位置に到達位置５０が設定される。
なお、図２６のフローチャートのステップＳ２０１において、ユーザによりユーザ情報入力モードの操作ボタンが操作されたかどうかを判定していたが、この処理を必ずしも行う必要はなく、装置がユーザ情報を取得した段階でステップＳ２０４に移行してもよい。
The arrival position 50 stored as a table is, for example, that a woman who is older than a man, a person who is younger than an older person, or a person who is shorter than a tall person reaches a position closer to the operation detector 13. A position 50 is set.
In step S201 of the flowchart of FIG. 26, it is determined whether or not the user has operated the operation button in the user information input mode. However, this process is not necessarily performed, and the apparatus acquires user information. You may transfer to step S204.
なお、上記のユーザ情報として、ユーザの性別、年齢、体型（身長、腕の長さ）、視力等の情報を、そのユーザを特定するＩＤ（Identification Code）やパスワードと関連付けて記憶部２０５に記憶してもよい。このようにすることで、使用者は、表示装置１を使用する際に、ＩＤやパスワードを入力するだけで、自身の性別、年齢、体型（身長）、視力等の情報に基づいて検出基準４０を設定することができる。このように、ユーザに関連する情報の一つであるユーザ情報によって、そのユーザ用に検出基準４０を変更して、検出基準４０と空中像３００の表示位置との位置関係を変更する。
As the above user information, information such as the user's gender, age, body type (height, arm length), eyesight, etc. is stored in the storage unit 205 in association with an ID (Identification Code) or password that identifies the user. May be. In this way, when the user uses the display device 1, the user simply inputs an ID or password, and the detection criterion 40 is based on information such as his / her gender, age, body type (height), and visual acuity. Can be set. As described above, the user information, which is one of the information related to the user, changes the detection reference 40 for the user, and changes the positional relationship between the detection reference 40 and the display position of the aerial image 300.
第１の実施の形態の変形例８において説明したような撮像装置１８によってユーザを撮影してその撮像画像を画像解析することにより、ユーザを特定してもよい。例えば、公知の顔認識技術を用いて撮像画像からユーザの年齢や性別などを特定する。検出基準制御部２０４は、そのユーザの性別や年齢等の情報に基づいて検出基準５０を設定する。このようにすれば、ユーザがＩＤやパスワードを入力することを省略することもできる。このように、ユーザに関連する情報の一つであるユーザを特定する情報によって、そのユーザ用に検出基準４０を変更して、検出基準４０と空中像３００の表示位置との位置関係を変更する。
The user may be specified by photographing the user with the imaging device 18 described in the modification 8 of the first embodiment and analyzing the captured image. For example, the user's age and sex are specified from the captured image using a known face recognition technique. The detection reference control unit 204 sets the detection reference 50 based on information such as the gender and age of the user. In this way, it is possible to omit the user from entering an ID or password. As described above, the information that identifies the user, which is one of the information related to the user, is used to change the detection reference 40 for the user, and the positional relationship between the detection reference 40 and the display position of the aerial image 300 is changed. .
（第２の実施の形態の変形例１）
第２の実施の形態は次のように変形できる。ユーザによるユーザ情報は、表示装置１に対して行う代わりに、表示装置１とは別の情報入力装置に対して行い、その情報を、インターフェースを介して表示装置１に転送してもよい。また、ユーザ情報は、ＩＣカードに予め記録されていてもよく、その場合には、表示装置１または情報入力装置には、カード情報読み取り機能が備えられることが好ましい。
(Modification 1 of the second embodiment)
The second embodiment can be modified as follows. The user information by the user may be sent to an information input device different from the display device 1 instead of being sent to the display device 1, and the information may be transferred to the display device 1 via the interface. The user information may be recorded in advance on the IC card. In this case, it is preferable that the display device 1 or the information input device is provided with a card information reading function.
なお、上述した第２の実施の形態では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４とユーザ情報解析部２１０とを備えればよい。なお、上述の第２の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
In the second embodiment described above, the display device 1 including at least the control unit 20, the display device 11, and the operation detector 13 has been described as an example. However, the detection device including only the control unit 20, It may be a detection device including the control unit 20 and the operation detector 13. The control unit 20 may include at least the calibration unit 203, the detection reference control unit 204, and the user information analysis unit 210. In addition, in order to acquire each effect described in the above-mentioned 2nd Embodiment, you may add a structure suitably from the structure mentioned above as needed.
−第３の実施の形態−
図面を参照しながら、第３の実施の形態に係る表示装置１について説明する。第３の実施の形態においては、本実施の形態の表示装置１が携帯電話に組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、携帯電話に限らず、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。
本実施の形態の表示装置１は、図１に示した表示装置１と同様であり、その主要部の構成は、図２７に示すブロック図で表される。本実施の形態の表示装置１は、制御部２０と、制御部２０によって制御される表示器１１と操作検出器１３と環境検出部１９とを備える。環境検出部１９は、表示装置１の周囲の使用環境を検出する。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と、環境解析部２１１とを備える。
-Third embodiment-
A display device 1 according to a third embodiment will be described with reference to the drawings. In the third embodiment, the case where the display device 1 of the present embodiment is incorporated in a mobile phone will be described as an example. Note that the display device of this embodiment is not limited to a mobile phone, but can be incorporated in an electronic device such as a portable information terminal device such as a tablet terminal or a wristwatch terminal, a personal computer, a music player, a fixed phone, or a wearable device. Is possible.
The display device 1 of the present embodiment is the same as the display device 1 shown in FIG. 1, and the configuration of the main part is represented by the block diagram shown in FIG. The display device 1 according to the present embodiment includes a control unit 20, a display 11 that is controlled by the control unit 20, an operation detector 13, and an environment detection unit 19. The environment detection unit 19 detects the usage environment around the display device 1. The control unit 20 includes an image generation unit 201, a display control unit 202, a calibration unit 203, a detection reference control unit 204, a storage unit 205, and an environment analysis unit 211.
環境解析部２１１は、環境検出部１９から入力された環境情報を解析し、環境変化があったか否かを判定し、環境変化があった場合に環境変化情報を検出基準制御部２０４に出力する。検出基準制御部２０４は、環境解析部２１１から入力された環境変化情報に基づいて検出基準のキャリブレーション処理を実行する。
The environment analysis unit 211 analyzes the environment information input from the environment detection unit 19, determines whether or not there is an environment change, and outputs the environment change information to the detection reference control unit 204 when there is an environment change. The detection criterion control unit 204 executes calibration processing for the detection criterion based on the environment change information input from the environment analysis unit 211.
本実施の形態のキャリブレーション処理は、空中像操作モードの実行と並行して実行される。図２８に示すフローチャートを参照して本実施の形態のキャリブレーション処理について説明する。図２８のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。
The calibration process of the present embodiment is executed in parallel with the execution of the aerial image operation mode. The calibration process of the present embodiment will be described with reference to the flowchart shown in FIG. Each process shown in the flowchart of FIG. 28 is performed by executing a program by the control unit 20 after the display device 1 is activated. This program is stored in the storage unit 205.
ステップＳ２１１において、空中像操作モードが開始され、ステップＳ２１２に進む。ステップＳ２１２において、図３に示された空中像操作モード用のアイコン３０Ａを含む空中像３０が表示されると共に、検出基準制御部２０４は、検出基準４０を予め定められた初期位置に設定し、ステップＳ２１３に進む。ステップＳ２１３において、環境解析部２１１は、環境検出部１９によって検出された使用環境に関する環境情報に基づいて、環境変化があったかどうか判定する。ステップＳ２１３において肯定判定された場合、即ち、環境変化があったと判定された場合、ステップＳ２１４に進む。ステップＳ２１３において、否定判定された場合、即ち、環境変化があったとは判定されなかった場合、ステップＳ２１６に進む。ステップＳ２１４においては、環境変化情報を検出基準制御部２０４に出力し、ステップＳ２１５に進む。ステップＳ２１５において、検出基準制御部２０４は、空中像操作モードの検出基準を環境変化情報に基づき変更し、ステップＳ２１６に進む。即ち、ステップＳ２１６において、空中像操作モードが続行される。
In step S211, the aerial image operation mode is started, and the process proceeds to step S212. In step S212, the aerial image 30 including the aerial image operation mode icon 30A shown in FIG. 3 is displayed, and the detection reference control unit 204 sets the detection reference 40 to a predetermined initial position. Proceed to step S213. In step S <b> 213, the environment analysis unit 211 determines whether there has been an environment change based on the environment information regarding the use environment detected by the environment detection unit 19. If an affirmative determination is made in step S213, that is, if it is determined that there has been an environmental change, the process proceeds to step S214. If a negative determination is made in step S213, that is, if it is not determined that there has been an environmental change, the process proceeds to step S216. In step S214, the environmental change information is output to detection criterion control unit 204, and the process proceeds to step S215. In step S215, the detection reference control unit 204 changes the detection reference for the aerial image operation mode based on the environment change information, and the process proceeds to step S216. That is, in step S216, the aerial image operation mode is continued.
環境情報としては、温度、湿度、明るさ等がある。これらの環境の変化に基づいて、検出基準をキャリブレーション処理する理由は次の通りである。ユーザによって表示装置１が使用され、表示装置１の温度または表示装置１の周囲の温度が上昇すると、これに伴って、例えば、表示装置１の内部で、表示器１１と結像光学系１２とを固定している固定部材（不図示）が延び、これに伴って、表示器１１と結像光学系１２との間の距離が長くなる。ユーザによって空中像３０の近傍における温度が変化する要因としては、携帯電話などのユーザの手に持てる表示装置の場合、ユーザが表示装置を握ることにより表示装置の温度が上昇する場合が挙げられる。その結果、空中像３０が生成される位置は、温度上昇前に比べて、ユーザ側に近付く。また、ユーザが表示装置を利用した際に空中像３０の近傍における明るさが変化し、ユーザから空中像３０の見え方が変化する。その結果、空中像３０を実際に明るさが変化する前に比べて遠く感じたりすることも考えられる。空中像３０の近傍における明るさが変化する要因としては、ユーザ自らの影が空中像に重なることが考えられる。または表示装置が携帯電話などのユーザの手で持てる装置の場合、ユーザが表示装置を握ることにより、ユーザの手に汗が発生して周囲湿度が変化した場合にも、表示装置１の表示性能が影響を受けることがある。
Environmental information includes temperature, humidity, brightness, and the like. The reason for calibrating the detection reference based on these environmental changes is as follows. When the display device 1 is used by the user and the temperature of the display device 1 or the temperature around the display device 1 rises, for example, the display 11, the imaging optical system 12, and the like inside the display device 1. A fixing member (not shown) for fixing is extended, and accordingly, the distance between the display 11 and the imaging optical system 12 is increased. In the case of a display device that can be held in the user's hand, such as a mobile phone, the cause of the temperature change in the vicinity of the aerial image 30 by the user is that the temperature of the display device rises when the user holds the display device. As a result, the position where the aerial image 30 is generated is closer to the user side than before the temperature rise. Further, when the user uses the display device, the brightness in the vicinity of the aerial image 30 changes, and the appearance of the aerial image 30 from the user changes. As a result, the aerial image 30 may be felt farther than before the brightness actually changes. As a factor that changes the brightness in the vicinity of the aerial image 30, it is conceivable that the user's own shadow overlaps the aerial image. Alternatively, in the case where the display device is a device that can be held by the user's hand, such as a mobile phone, the display performance of the display device 1 even when the user grips the display device and the user's hand sweats and the ambient humidity changes. May be affected.
環境検出部１９としては、例えば、表示装置１の本体１０内に備えられた、温度センサ、湿度センサ、明るさセンサ等である。なお、明るさについては、カメラの測光機能を用いることができる。
Examples of the environment detection unit 19 include a temperature sensor, a humidity sensor, and a brightness sensor provided in the main body 10 of the display device 1. For brightness, the photometric function of the camera can be used.
ユーザによる周囲の環境変化情報に基づくキャリブレーションに関する情報について次に説明する。記憶部２０５には、表示装置１の内部あるいは近傍における温度変化と湿度変化、空中像３０近傍における明るさ変化の因子のうちの１種類または複数の組み合わせをパラメータとする検出基準の修正値に関する複数のテーブルが予め記憶されている。環境解析部２１１により、環境変化があったと判定された場合、環境解析部２１１は、環境変化があったと判断した場合、変化があった因子に応じて、概要するテーブルを選択し、そのテーブルから該当する検出基準の修正値を選択する。検出基準制御部２０４は、選択された修正値に基づいて検出基準４０を変更する。このように、ユーザに関連する情報の一つであるユーザによる周囲の環境変化情報によって、そのユーザ用に検出基準４０を変更して、検出基準４０と空中像３００の表示位置との位置関係を変更する。
Next, information related to calibration based on surrounding environment change information by the user will be described. The storage unit 205 includes a plurality of correction values for detection criteria that use one or more combinations of factors of temperature change and humidity change inside or near the display device 1 and brightness change factors near the aerial image 30 as parameters. These tables are stored in advance. When the environment analysis unit 211 determines that the environment has changed, the environment analysis unit 211 selects the table to be summarized according to the factor that has changed when the environment analysis unit 211 determines that the environment has changed. Select the correction value for the relevant detection criterion. The detection criterion control unit 204 changes the detection criterion 40 based on the selected correction value. As described above, the detection reference 40 is changed for the user based on the surrounding environment change information by the user, which is one of the information related to the user, and the positional relationship between the detection reference 40 and the display position of the aerial image 300 is changed. change.
上述の環境検出部１９の検出出力は、第１の実施の形態の第１または第２のキャリブレーション処理モードや第１の実施の形態の変形例１〜８において、検出基準を変更する際にも利用することができる。即ち、上述の第１または第２のキャリブレーション処理モードにおいて、ユーザの指の到達位置に基づき検出基準を変更する代わりに、ユーザの指の到達位置または指定位置と環境検出部１９の検出出力との両方に基づいて検出基準を変更することもできる。
The detection output of the environment detection unit 19 described above is used when the detection reference is changed in the first or second calibration processing mode of the first embodiment or the first to eighth modifications of the first embodiment. Can also be used. That is, in the above-described first or second calibration processing mode, instead of changing the detection reference based on the arrival position of the user's finger, the arrival position or designated position of the user's finger and the detection output of the environment detection unit 19 It is also possible to change the detection criteria based on both.
なお、上述した環境変化としては、ユーザに起因する周囲の環境変化に限らず、窓から日光が差し込むことによる変化や、天候による湿度の変化や、表示装置の起動継続に伴う装置自体の温度上昇などの種々の環境の変化を検出し、この検出結果に基づき検出基準を変更して、検出基準と空中像との位置関係を変更してもよい。
Note that the environmental changes described above are not limited to ambient environmental changes caused by the user, but changes due to sunlight entering through windows, changes in humidity due to weather, and temperature rise of the device itself as the display device continues to be activated. It is also possible to detect various environmental changes such as the above, change the detection reference based on the detection result, and change the positional relationship between the detection reference and the aerial image.
なお、上述の第３の実施の形態では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４と環境解析部２１１とを備えればよい。上述の第３の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。
In the third embodiment described above, the display device 1 including at least the control unit 20, the display device 11, and the operation detector 13 has been described as an example. However, the detection device including only the control unit 20, It may be a detection device including the control unit 20 and the operation detector 13. The control unit 20 may include at least the calibration unit 203, the detection reference control unit 204, and the environment analysis unit 211. In order to obtain each effect described in the above-described third embodiment, a configuration may be appropriately added as necessary from the above-described configuration.
−第４の実施の形態−
図面を参照しながら、第４の実施の形態に係る表示装置１００について説明する。本実施の形態における表示装置１００は、操作検出器の構成が第１の実施における操作検出器１３とは異なる。図２９は、本実施の形態に係る表示装置を示す図であり、図２９（ａ）は、第４の実施の形態による表示装置１００の操作検出器１００の概略構成を説明する断面図である。また、図１９（ｂ）は表示装置１００が組み込まれた電子機器の一例として、現金自動預払機（ＡＴＭ装置）２００の斜視図である。表示装置１００は、現金自動預払機２００において、ユーザが暗証番号や金額等を入力するための前面パネル上に装備されている。なお、表示装置１００は、現金自動預払機に限らず、鉄道やバスの乗車券・定期券等の各種の自動券売機や、図書館や美術館等の各種の情報検索端末装置等に広く組み込むことが可能である。説明の都合上、表示装置１００について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。
-Fourth embodiment-
A display device 100 according to a fourth embodiment will be described with reference to the drawings. The display device 100 in the present embodiment is different from the operation detector 13 in the first embodiment in the configuration of the operation detector. FIG. 29 is a diagram illustrating the display device according to the present embodiment, and FIG. 29A is a cross-sectional view illustrating a schematic configuration of the operation detector 100 of the display device 100 according to the fourth embodiment. . FIG. 19B is a perspective view of an automatic teller machine (ATM device) 200 as an example of an electronic device in which the display device 100 is incorporated. In automatic teller machine 200, display device 100 is equipped on a front panel for a user to input a password, an amount, and the like. The display device 100 is not limited to an automatic teller machine, but can be widely incorporated in various automatic ticket machines such as train and bus tickets and commuter passes, and various information retrieval terminal devices such as libraries and museums. Is possible. For convenience of explanation, a coordinate system composed of the X axis, the Y axis, and the Z axis is set as shown in the drawing for the display device 100.
図２９（ａ）に示す通り、表示装置１００は、本体（不図示）内に、表示器１１１と、結像光学系１１２と、操作検出器１１３とを備える。本体の内部に設けられた表示器１１１は、たとえば、液晶素子や有機ＥＬ素子等により構成され、複数の二次元状に配列された表示画素を有する。表示器１１１は、第１の実施の形態に係る表示装置１の制御部２０に類似の制御部（不図示）により制御されて、表示用画像データに対応する画像を表示する。結像光学系１１２は、表示器１１１に対して所定の位置関係となるように配置される。結像光学系１１２としては、透明基板の内部に２種類の帯状反射部を一定間隔で平行に配列された素子を２個重ねて配置した構成とすることができる。
As shown in FIG. 29A, the display device 100 includes a display 111, an imaging optical system 112, and an operation detector 113 in a main body (not shown). The display 111 provided inside the main body is composed of, for example, a liquid crystal element, an organic EL element, or the like, and has a plurality of display pixels arranged in a two-dimensional shape. The display 111 is controlled by a control unit (not shown) similar to the control unit 20 of the display device 1 according to the first embodiment, and displays an image corresponding to the display image data. The imaging optical system 112 is arranged so as to have a predetermined positional relationship with the display device 111. The imaging optical system 112 can have a configuration in which two elements in which two types of band-like reflecting portions are arranged in parallel at a constant interval are stacked inside a transparent substrate.
図３０は、表示装置１００の構成のうち、制御部２０と、制御部２０によって制御される表示器１１１及び操作検出器１１３とを示したブロック図である。図３０のブロック図に示した表示装置１００は、表示器１１１および操作検出器１１３の構成が図２のブロック図に示した表示装置１の表示器１１および操作検出器１３の構成と異なっている以外は、実質的に同様である。即ち、制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて表示装置１００の表示器１１１及び操作検出器１１３を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える。記憶部２０５は、制御プログラムを格納する不揮発性メモリと、表示器１１１に表示される画像データなどを記憶する記憶媒体などとを含むものである。
FIG. 30 is a block diagram showing the control unit 20 and the display 111 and the operation detector 113 controlled by the control unit 20 in the configuration of the display device 100. In the display device 100 shown in the block diagram of FIG. 30, the configurations of the display device 111 and the operation detector 113 are different from the configurations of the display device 11 and the operation detector 13 of the display device 1 shown in the block diagram of FIG. Except for this, it is substantially the same. That is, the control unit 20 includes a CPU, a ROM, a RAM, and the like, and controls various components including the display 111 and the operation detector 113 of the display device 100 based on the control program, and performs various data processing. It includes an arithmetic circuit to execute. The control unit 20 includes an image generation unit 201, a display control unit 202, a calibration unit 203, a detection reference control unit 204, and a storage unit 205. The storage unit 205 includes a non-volatile memory that stores the control program, a storage medium that stores image data displayed on the display 111, and the like.
結像光学系１１２は、表示用画像データに対応して表示器１１１に表示された画像から射出される光束を偏向して、図２９に示したようなアイコンを含む空中像３０を生成する。
The imaging optical system 112 deflects the light beam emitted from the image displayed on the display 111 corresponding to the display image data, and generates the aerial image 30 including the icons as shown in FIG.
操作検出器１１３は、空中像３０の近傍に空中像３０を囲むように設けられる。図３１に操作検出器１１３の平面図を示す。操作検出器１１３は、ＸＹ平面に平行な断面が矩形の枠状のハウジング１１５を備える。ハウジング１１５の内面を構成する４面にうち、隣接する２面には複数の投光素子１１６が配置され、残る隣接する２面には複数の受光素子１１７が配置されている。図３１においては、枠状のハウジング１１５の、ＺＸ平面に平行な一対の内面のうち、内面ＺＸ１には投光素子１１６のみが設けられ、内面ＺＸ２には受光素子１１７のみが設けられる。同様に、ＹＺ平面に平行な一対の内面のうち、内面ＹＺ１には投光素子１１６のみが設けられ、内面ＹＺ２には受光素子１１７のみが設けられる。すなわち、投光素子１１６と受光素子１１７は互いに対向して設けられる。投光素子１１６としては市販のレーザやＬＥＤ素子等を用いることができる。また、受光素子１１７としては、市販のフォトダイオードやフォトトランジスタを用いることができる。なお、投光素子と受光素子を一体に構成した投受光素子を用いることも可能であり、この場合には、投光素子に代えて投受光素子を配置し、受光素子に代えてミラーを配置する。
The operation detector 113 is provided in the vicinity of the aerial image 30 so as to surround the aerial image 30. FIG. 31 shows a plan view of the operation detector 113. The operation detector 113 includes a frame-shaped housing 115 having a rectangular cross section parallel to the XY plane. Of the four surfaces constituting the inner surface of the housing 115, a plurality of light projecting elements 116 are disposed on two adjacent surfaces, and a plurality of light receiving elements 117 are disposed on the remaining two adjacent surfaces. In FIG. 31, of the pair of inner surfaces parallel to the ZX plane of the frame-shaped housing 115, only the light projecting element 116 is provided on the inner surface ZX1, and only the light receiving element 117 is provided on the inner surface ZX2. Similarly, of the pair of inner surfaces parallel to the YZ plane, only the light projecting element 116 is provided on the inner surface YZ1, and only the light receiving element 117 is provided on the inner surface YZ2. That is, the light projecting element 116 and the light receiving element 117 are provided to face each other. As the light projecting element 116, a commercially available laser, LED element, or the like can be used. As the light receiving element 117, a commercially available photodiode or phototransistor can be used. It is also possible to use a light projecting / receiving element in which the light projecting element and the light receiving element are integrated. In this case, a light projecting / receiving element is disposed instead of the light projecting element, and a mirror is disposed instead of the light receiving element. To do.
投光素子１１６と受光素子１１７とは、１個対１個の対応関係となるようにアレイ状に整然と配列され、１個の投光素子１１６から出射された光は対応する１個の受光素子１１７のみに入射するように構成される。投光素子１１６から出射された光線は空中像Ｉと平行な面内（すなわち、ＸＹ平面に平行な面内）を進んで受光素子１１７に入射する。受光素子１１７による光の検出状態は制御部に送られ、制御部では、受光素子１１７の検出状態は受光素子１１７の位置と対応させて把握される。これにより、ハウジング１１５の内部においては、ＸＹ平面に平行な複数段の２次元格子状の光路群が形成される。投光素子１１６から出射する光の波長は赤外域であることが好ましい。
The light projecting element 116 and the light receiving element 117 are regularly arranged in an array so as to have a one-to-one correspondence relationship, and light emitted from one light projecting element 116 corresponds to one corresponding light receiving element. It is configured to be incident only on 117. The light beam emitted from the light projecting element 116 travels in a plane parallel to the aerial image I (that is, in a plane parallel to the XY plane) and enters the light receiving element 117. The detection state of light by the light receiving element 117 is sent to the control unit, and the control unit grasps the detection state of the light receiving element 117 in correspondence with the position of the light receiving element 117. As a result, a plurality of two-dimensional lattice-like optical path groups parallel to the XY plane are formed inside the housing 115. The wavelength of light emitted from the light projecting element 116 is preferably in the infrared region.
位置検出器１１３の断面を図３２に示す。図３２は説明を簡単にするために、投光素子１１６と受光素子１１７がそれぞれＺ方向に６段ずつ配置された構成を示している。６段の投光素子１１６を、Ｚ方向＋側からそれぞれ１１６ａ、１１６ｂ、１１６ｃ、１１６ｄ、１１６ｅ、１１６ｆとする。また、６段の受光素子１１７を、Ｚ方向＋側からそれぞれ１１７ａ、１１７ｂ、１１７ｃ、１１７ｄ、１１７ｅ、１１７ｆとする。このように、位置検出器１１３は、投光素子１１６ａと１１６ｆとの間に検出範囲を有し、この検出範囲は、第１の実施の形態における図３の検出範囲１３Ａに相当するものである。
A cross section of the position detector 113 is shown in FIG. FIG. 32 shows a configuration in which six light projecting elements 116 and six light receiving elements 117 are arranged in the Z direction for the sake of simplicity. The six-stage light projecting elements 116 are 116a, 116b, 116c, 116d, 116e, and 116f, respectively, from the Z direction + side. In addition, the six-stage light receiving elements 117 are respectively referred to as 117a, 117b, 117c, 117d, 117e, and 117f from the Z direction + side. Thus, the position detector 113 has a detection range between the light projecting elements 116a and 116f, and this detection range corresponds to the detection range 13A of FIG. 3 in the first embodiment. .
操作検出器１１３の機能について、図３２を用いて説明する。表示装置１００において、表示制御部２０４は、表示装置１００から離れた位置に空中像３０を生成する。ここでは、空中像３０はアイコン３０Ａを含み、生成されている上下方向における位置は、投光素子１１６ｄと受光素子１１７ｄとを含む面であるとする。また、検出基準制御部２０４は、検出基準４０を所定の初期位置に設定する。ここでは、検出基準４０は、投光素子１１６ｃと受光素子１１７ｃとを含む面に設定されるものとする。なお、空中像３０および検出基準４０をそれぞれきめ細かく設定するためには、投光素子１１６と受光素子１１７の上下方向の段数が多いことが好ましい。
The function of the operation detector 113 will be described with reference to FIG. In the display device 100, the display control unit 204 generates the aerial image 30 at a position away from the display device 100. Here, the aerial image 30 includes an icon 30A, and the generated position in the vertical direction is a plane including the light projecting element 116d and the light receiving element 117d. In addition, the detection reference control unit 204 sets the detection reference 40 to a predetermined initial position. Here, the detection reference 40 is set to a surface including the light projecting element 116c and the light receiving element 117c. In order to set the aerial image 30 and the detection reference 40 in a fine manner, it is preferable that the number of light projecting elements 116 and light receiving elements 117 be large in the vertical direction.
ユーザは、空中像３０の第１アイコン３０Ａの操作を行うために、指先をアイコン３０Ａに向けて下降移動させ、操作検出器１１３の検出限界（ここでは、投光素子１１６ａと受光素子１１７ａとを含む面）に達すると、操作検出器１１３は、受光素子１１７の出力に基づいてユーザの指先の接近を検出する。
In order to operate the first icon 30A of the aerial image 30, the user moves the fingertip downward toward the icon 30A and sets the detection limit of the operation detector 113 (here, the light projecting element 116a and the light receiving element 117a). The operation detector 113 detects the approach of the user's fingertip based on the output of the light receiving element 117.
指先Ｆが空中像３０のアイコン３０Ａよりも上方の点線位置５０に達した時に、ユーザは、指がアイコン３０Ｂに到達して操作を実行していると感じて、指先Ｆの下方への移動を停止させる。検出基準制御部２０４は、受光素子１１７ａ、および１１７ｂにおいて光が検出されず、かつ、受光素子１１７ｃにおいて光が検出される状態が所定時間以上継続したことをもって、指先Ｆの下方への移動の停止、即ちアイコンへ３０Ｂの表示位置への操作を判定する。このとき、投光素子１１６ｂと受光素子１１７ｂとを含む面を、指先Ｆがアイコン３０Ａの表示位置を操作して移動を停止した位置である到達位置とする。
When the fingertip F reaches the dotted line position 50 above the icon 30A of the aerial image 30, the user feels that the finger has reached the icon 30B and is performing an operation, and moves the fingertip F downward. Stop. The detection reference control unit 204 stops the downward movement of the fingertip F when light is not detected by the light receiving elements 117a and 117b and light is detected by the light receiving element 117c for a predetermined time or longer. That is, the operation to the display position of the icon 30B is determined. At this time, a surface including the light projecting element 116b and the light receiving element 117b is set as an arrival position where the fingertip F has stopped moving by operating the display position of the icon 30A.
検出基準制御部２０４は、到達位置５０を判定すると、初期設定の検出基準４０の位置を例えば、到達位置５０の位置に変更し、この変更された検出基準４０の位置データを図２の記憶部２０５に記憶する。これにより、第１の実施の形態の表示装置１と同様にして、到達位置５０に基づいて、そのユーザに適した検出基準４０が設定される。即ち、予め複数設置された投光素子１１６と受光素子１１７とのうち、投光素子１１６ｃと受光素子１１７ｃとを含む面を検出基準４０として初期設定し、キャリブレーション処理によって、到達位置に基づき検出基準４０を例えば投光素子１１６ｂと受光素子１１７ｂとを含む面に変更することにより、検出基準４０と空中像３０の表示位置との位置関係が変更される。なお、キャリブレーション処理によって、到達位置５０の位置に検出基準４０の位置を変更する、すなわち複数設置された投光素子１１６と受光素子１１７とのうち、投光素子１１６ｂと受光素子１１７ｃとを含む面に変更してもよい。勿論、初期設定された検出基準は、到達位置に基づき、到達位置の上方の位置に変更することもできるし、到達位置の下方の位置に変更することもできる。
更には、検出基準は、図２１（ｃ）に示したように、幅ｄ２を持つ検出基準に変更することもできる。たとえば到達位置５０に対して上方の投光素子１１６ａと受光素子１１７ａとが選択され、投光素子１１６ａと受光素子１１７ａとを含む面を上面４０１とし、到達位置５０に対して下方の投光素子１１６ｃと受光素子１１７ｃとが選択され、投光素子１１６ｃと受光素子１１７ｃとを含む面を下面４０２とする、すなわち複数の投光素子１１６と受光素子１１７との組のうち、一組の投光素子１１６と受光素子１１７とを含む面で上面４０１を設定し、他の一組の投光素子１１６と受光素子１１７とを含む面で下面４０２を設定すればよい。
上述したように、本実施の形態は、複数設置された投光素子１１６と受光素子１１７により設定可能な複数の検出基準の中から、到達位置に基づいて一組あるいは複数組の投光素子１１６と受光素子１１７とを選択することにより検出基準を選択して、検出基準の位置を変更するものである。
When determining the arrival position 50, the detection reference control unit 204 changes the position of the initially set detection reference 40 to, for example, the position of the arrival position 50, and stores the changed position data of the detection reference 40 in the storage unit of FIG. Store in 205. Thereby, similarly to the display device 1 according to the first embodiment, the detection reference 40 suitable for the user is set based on the arrival position 50. That is, among the plurality of light emitting elements 116 and light receiving elements 117 installed in advance, a surface including the light projecting element 116c and the light receiving element 117c is initially set as the detection reference 40, and is detected based on the arrival position by the calibration process. By changing the reference 40 to a surface including, for example, the light projecting element 116b and the light receiving element 117b, the positional relationship between the detection reference 40 and the display position of the aerial image 30 is changed. Note that the position of the detection reference 40 is changed to the position of the arrival position 50 by the calibration process, that is, among the plurality of light projecting elements 116 and light receiving elements 117, the light projecting elements 116b and 117c are included. You may change it to a plane. Of course, the initially set detection reference can be changed to a position above the arrival position based on the arrival position, or can be changed to a position below the arrival position.
Furthermore, as shown in FIG. 21C, the detection standard can be changed to a detection standard having a width d2. For example, the light projecting element 116 a and the light receiving element 117 a above the arrival position 50 are selected, the surface including the light projecting element 116 a and the light receiving element 117 a is the upper surface 401, and the light projecting element below the arrival position 50 116c and the light receiving element 117c are selected, and the surface including the light projecting element 116c and the light receiving element 117c is the lower surface 402, that is, one set of light projections among the plurality of light projecting elements 116 and light receiving elements 117. The upper surface 401 may be set by a surface including the element 116 and the light receiving element 117, and the lower surface 402 may be set by a surface including the other set of the light projecting element 116 and the light receiving element 117.
As described above, in the present embodiment, one set or a plurality of sets of light projecting elements 116 are selected based on the arrival position from among a plurality of detection standards that can be set by a plurality of light projecting elements 116 and light receiving elements 117. The light detection element 117 is selected to select a detection reference, and the position of the detection reference is changed.
以上説明した通り、表示装置１００の表示器１１１と操作検出器１１３とは、表示装置１の表示器１１と操作検出器１３とは構成が異なるものの、検出基準４０の設定を類似の手順により設定できる。従って、第４の実施の形態の表示装置１００による第１および第２のキャリブレーション処理は、それぞれ、図６および図８にフローチャートで示した手順と同様の手順により行うことができる。第４の実施の形態の表示装置１００は、上述した種々の変形例にも適用することができる。
なお、表示装置１００はアクチュエータとエンコーダとを備え、投光素子１１６と受光素子１１７とをＺ方向に微小距離移動させてもよい。たとえば、到達位置５０から距離ｄ１の位置に検出基準４２を変更する場合、到達位置５０から距離ｄ１の位置に最も近い位置の投光素子１１６と受光素子１１７とが選択される。この選択された投光素子１１６と受光素子１１７とが配置された位置と到達位置５０から距離ｄ１との差分に基づいて、投光素子１１６と受光素子１１７とがアクチュエータにより移動されて、投光素子１１６と受光素子１１７との位置が微調整される。すなわち、投光素子１１６と受光素子１１７との位置が微調整されることにより、検出基準４２を到達位置５０から距離ｄ１により接近した位置に変更することができる。
As described above, although the display 111 and the operation detector 113 of the display device 100 have different configurations from the display 11 and the operation detector 13 of the display device 1, the setting of the detection reference 40 is set by a similar procedure. it can. Therefore, the first and second calibration processes by the display device 100 according to the fourth embodiment can be performed by the same procedure as that shown in the flowcharts of FIGS. 6 and 8, respectively. The display device 100 according to the fourth embodiment can be applied to the various modifications described above.
The display device 100 may include an actuator and an encoder, and the light projecting element 116 and the light receiving element 117 may be moved by a minute distance in the Z direction. For example, when the detection reference 42 is changed from the arrival position 50 to the position of the distance d1, the light projecting element 116 and the light receiving element 117 that are closest to the position of the distance d1 from the arrival position 50 are selected. Based on the difference between the position where the selected light projecting element 116 and the light receiving element 117 are arranged and the distance d1 from the arrival position 50, the light projecting element 116 and the light receiving element 117 are moved by the actuator to project light. The positions of the element 116 and the light receiving element 117 are finely adjusted. That is, by finely adjusting the positions of the light projecting element 116 and the light receiving element 117, the detection reference 42 can be changed from the arrival position 50 to a position closer to the distance d1.
（第４の実施の形態の変形例１）
第４の実施の形態は次のように変形できる。第４の実施の形態の表示装置１００においては、操作検出器１１３がＺ方向に複数段の二次元状に配列された投光素子１１６、受光素子１１７を有する構成として説明した。しかし、二次元状に配列された投光素子１１６、受光素子１１７は１段のみでもよい。このような操作検出器１１３’を装備した構成の表示装置１００を図３３に示す。操作検出器１１３’は枠状のハウジング１１５’を備え、枠状のハウジング１１５’の内面、を構成する４面にうち、隣接する２面にはＸＹ平面に平行な一列に複数の投光素子１１６が配置され、残る隣接する２面にはＸＹ平面に平行な一列に複数の受光素子１１７が配置されている。すなわち、操作検出器１１３’は、図３２にて説明した６段構成の操作検出器１１３のうちの１段のみで構成したものである。ハウジング１１５’にはアクチュエータ１１９が接続され、Ｚ方向に所定の周期（たとえば、毎秒１０サイクル）で往復移動させる。ハウジング１１５’の位置はアクチェータ１１９に組み込まれた位置を検出するセンサ、例えばエンコーダ（不図示）、により検出される。この場合、ハウジング１１５’を往復移動可能な範囲に含まれる所定の位置を検出基準４０と設定する。
(Modification 1 of the fourth embodiment)
The fourth embodiment can be modified as follows. In the display device 100 of the fourth embodiment, the operation detector 113 has been described as having a light projecting element 116 and a light receiving element 117 arranged in a two-dimensional manner in a plurality of stages in the Z direction. However, the light projecting elements 116 and the light receiving elements 117 arranged two-dimensionally may be only one stage. A display device 100 having such a configuration equipped with the operation detector 113 ′ is shown in FIG. The operation detector 113 ′ includes a frame-shaped housing 115 ′, and among the four surfaces constituting the inner surface of the frame-shaped housing 115 ′, adjacent two surfaces have a plurality of light projecting elements in a line parallel to the XY plane. 116 is arranged, and a plurality of light receiving elements 117 are arranged in a row parallel to the XY plane on the remaining two adjacent surfaces. That is, the operation detector 113 ′ is configured by only one of the six-stage operation detector 113 described with reference to FIG. An actuator 119 is connected to the housing 115 ′ and reciprocates in the Z direction at a predetermined cycle (for example, 10 cycles per second). The position of the housing 115 ′ is detected by a sensor that detects a position incorporated in the actuator 119, for example, an encoder (not shown). In this case, a predetermined position included in a range in which the housing 115 ′ can reciprocate is set as the detection reference 40.
操作検出器１１３’を装備した表示装置１００による検出基準のキャリブレーション処理について図３２を用いて説明する。ユーザが空中像３０のアイコン３０Ａの表示位置を操作するために、指先を空中像３０に向けて押し下げる。指先の位置がハウジング１１５’の移動範囲に入ると、投光素子１１６から出射した光がユーザの指により遮られて受光素子１１７に到達しなくなる。このユーザの指により遮られて受光素子１１７に到達しなくなる位置をエンコーダによって検出し、ユーザの指先の位置が検出される。ユーザは空中像３０に含まれるアイコン３０Ａの表示位置を操作するために、さらに指先を空中像３０に向けて押し下げ、ユーザがアイコン３０Ａに到達してアイコン３０Ａの表示位置への操作を実行していると感じ、指先を停止する。ユーザの指先が静止したか否かについては、例えば、往復移動するハウジング１１５’が１往復する間、投光素子１１６からの光が受光素子１１７に到達しなくなる位置が略同じ位置で検出された場合、ユーザの指先が静止していると制御部２０は判定する。この時、ユーザの指先が静止している位置を到達位置とし、決定された到達位置に基づいて、検出基準４０の位置を設定する。各処理を示すフローチャートは図６に示したものと実質的に同じである。
A detection reference calibration process performed by the display device 100 equipped with the operation detector 113 'will be described with reference to FIG. In order to operate the display position of the icon 30 </ b> A of the aerial image 30, the user pushes the fingertip toward the aerial image 30. When the position of the fingertip enters the moving range of the housing 115 ′, the light emitted from the light projecting element 116 is blocked by the user's finger and does not reach the light receiving element 117. The position that is blocked by the user's finger and does not reach the light receiving element 117 is detected by the encoder, and the position of the user's fingertip is detected. In order to operate the display position of the icon 30A included in the aerial image 30, the user further pushes the fingertip toward the aerial image 30, and the user reaches the icon 30A and performs an operation on the display position of the icon 30A. I feel that I'm feeling and stop my fingertips. As to whether or not the user's fingertip is stationary, for example, the position where the light from the light projecting element 116 does not reach the light receiving element 117 while the reciprocating housing 115 ′ reciprocates once is detected at substantially the same position. In this case, the control unit 20 determines that the user's fingertip is stationary. At this time, the position where the user's fingertip is stationary is set as the arrival position, and the position of the detection reference 40 is set based on the determined arrival position. The flowchart showing each process is substantially the same as that shown in FIG.
なお、上述の第４の実施の形態、変形例１では、制御部２０と表示器１１１と操作検出器１１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４とを備えればよい。上述の第４の実施の形態または変形例１に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
In the fourth embodiment and the first modification described above, the display device 1 including at least the control unit 20, the display device 111, and the operation detector 113 has been described as an example. However, the display device 1 includes only the control unit 20. It may be a detection device or a detection device including the control unit 20 and the operation detector 113. The control unit 20 may include at least the calibration unit 203 and the detection reference control unit 204. In order to obtain the effects described in the above-described fourth embodiment or modification example 1, a configuration may be appropriately added as necessary from the above-described configuration.
第４の実施の形態においては、投光素子・受光素子を用いた操作検出器を用いてユーザの指先の位置を検出している。しかし、操作検出部として撮像部を備えることも可能である。たとえば、表示装置に撮像部としてカメラを装備して、このカメラによりユーザの指先の動きを検出して、その情報に基づいて検出基準４０のキャリブレーション処理を行ってもよい。図３４は、第４の実施の形態に説明した表示装置１００と同様の表示器１１１と結像光学系１１２を有する表示装置１００’を示す。表示装置１００’は、操作検出器１１３は備えず、その代り、撮像装置（例えばデジタルカメラ）１１８を備えている点で、表示装置１００と異なる。表示装置１００’においては、撮像装置１１８によりユーザの指の位置を把握する。撮像装置１１８に装着するレンズとしては、空中像３０の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数（たとえば、２個）の撮像装置を設け、それらの撮像画像によりユーザの指先の位置をより検出してもよい。
In the fourth embodiment, the position of the user's fingertip is detected using an operation detector using a light projecting element and a light receiving element. However, an imaging unit can be provided as the operation detection unit. For example, the display device may be equipped with a camera as an imaging unit, the movement of the user's fingertip may be detected by this camera, and the calibration process of the detection reference 40 may be performed based on the information. FIG. 34 shows a display device 100 ′ having a display 111 and an imaging optical system 112 similar to the display device 100 described in the fourth embodiment. The display device 100 ′ is different from the display device 100 in that the operation detector 113 is not provided, but an imaging device (for example, a digital camera) 118 is provided instead. In the display device 100 ′, the position of the user's finger is grasped by the imaging device 118. The lens attached to the imaging device 118 is preferably a wide-angle lens to cover the entire aerial image 30, and may be a fish-eye lens. Further, a plurality of (for example, two) imaging devices may be provided, and the position of the user's fingertip may be further detected from the captured images.
上記第１の実施の形態から第４の実施の形態およびそれらの変形例においては、検出基準４０の位置を移動させることにより、検出基準４０と空中像３０（あるいはアイコン３００Ａ等）との位置関係を変更するように制御を行った。しかし、検出基準４０と空中像３０との相対的位置関係を変更するためには、空中像３０を移動させてもよい。また、検出基準４０と空中像３０との相対的位置関係を変更するためには、検出基準４０と空中像３０との両方を移動させてもよい。
In the first to fourth embodiments and the modifications thereof, the positional relationship between the detection reference 40 and the aerial image 30 (or the icon 300A or the like) by moving the position of the detection reference 40. Control was done to change. However, in order to change the relative positional relationship between the detection reference 40 and the aerial image 30, the aerial image 30 may be moved. In order to change the relative positional relationship between the detection reference 40 and the aerial image 30, both the detection reference 40 and the aerial image 30 may be moved.
−第５の実施の形態−
以上の実施の形態及びその変形例は、キャリブレーション処理によって検出基準を制御または変更して、検出基準と空中像の表示位置との位置関係を変更するものであったが、次に、キャリブレーション処理によって空中像の表示位置を変更して、検出基準と空中像の表示位置との位置関係を変更する第５の実施の形態を説明する。
図３５及び図３６は、第５の実施の形態の表示装置を示すものである。第５の実施の形態の表示装置１は、第１の実施の形態の表示装置と同様に、図３５に示すように制御部２０を内蔵する本体１０と、表示器１１と、結像光学系１２と、操作検出器１３とを備えると共に、図３６に示すように画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える。第５の実施の形態の表示装置１は、上述の構成に加えて更に、表示位置変更部５００と、表示位置制御部２２０とを備える。
-Fifth embodiment-
In the above embodiment and its modification, the detection reference is controlled or changed by the calibration process to change the positional relationship between the detection reference and the display position of the aerial image. A fifth embodiment in which the display position of the aerial image is changed by processing to change the positional relationship between the detection reference and the display position of the aerial image will be described.
35 and 36 show a display device according to a fifth embodiment. Similar to the display device of the first embodiment, the display device 1 of the fifth embodiment includes a main body 10 incorporating a control unit 20, a display 11, and an imaging optical system as shown in FIG. 12 and the operation detector 13, and as shown in FIG. 36, an image generation unit 201, a display control unit 202, a calibration unit 203, a detection reference control unit 204, and a storage unit 205. The display device 1 according to the fifth embodiment further includes a display position changing unit 500 and a display position control unit 220 in addition to the above-described configuration.
表示位置変更部５００は、例えばモーターまたはアクチュエータなどの駆動部を有し、結像光学系１２を矢印で示すように結像光学系１２の光軸方向に移動して、結像光学系１２によって形成される空中像３０の表示位置をＺ軸方向、即ち光軸方向に移動して変更する。空中像３０を上方向、即ち表示器１１から離れる方向に移動させるには、結像光学系１２を下方向、即ち表示器１１に近づく方向に移動させ、逆に空中像３０を下方向、即ち表示器１１に近づく方向に移動させるには、結像光学系１２を上方向、即ち表示器１１から離れる方向に移動させる。なお、表示位置変更部５００は、結像光学系１２を移動する代わりに、表示器１１を結像光学系１２の光軸方向に移動して、空中像３０の表示位置を移動し変更することもできる。
表示器１１と結像光学系１２と操作検出器１３とは、図１に示した第１の実施の形態の表示器１１と結像光学系１２と操作検出器１３の各々と同一の構成のものを使用することができるが、本実施の形態の結像光学系１２または表示器１１は、上述のように結像光学系１２の光軸方向に移動可能に構成されている。
なお、以下の説明では、モーターまたはアクチュエータなどの駆動部を有し、結像光学系１２を矢印で示すように結像光学系１２の光軸方向に移動して、結像光学系１２によって形成される空中像３０の表示位置をＺ軸方向、すなわち光軸方向に移動して変更する例で説明を行うが、これに限定されず、表示位置制御部２２０は、表示器１１を制御し、右目で視認するための表示画像と、右目で視認する画像とは視差を有する左目で視認するための表示画像とを表示させ、空中像３０の奥行の表示位置を変更してもよい。
The display position changing unit 500 includes a driving unit such as a motor or an actuator, and moves the imaging optical system 12 in the optical axis direction of the imaging optical system 12 as indicated by an arrow. The display position of the formed aerial image 30 is moved and changed in the Z-axis direction, that is, the optical axis direction. In order to move the aerial image 30 upward, that is, away from the display 11, the imaging optical system 12 is moved downward, that is, closer to the display 11, and conversely, the aerial image 30 is moved downward, ie, In order to move in the direction approaching the display device 11, the imaging optical system 12 is moved upward, that is, in a direction away from the display device 11. The display position changing unit 500 moves and changes the display position of the aerial image 30 by moving the display unit 11 in the optical axis direction of the imaging optical system 12 instead of moving the imaging optical system 12. You can also.
The display 11, the imaging optical system 12, and the operation detector 13 have the same configurations as the display 11, the imaging optical system 12, and the operation detector 13 of the first embodiment shown in FIG. Although the imaging optical system 12 or the display device 11 of the present embodiment can be used, it can be moved in the optical axis direction of the imaging optical system 12 as described above.
In the following description, a drive unit such as a motor or an actuator is provided, and the imaging optical system 12 is moved in the optical axis direction of the imaging optical system 12 as indicated by an arrow, and is formed by the imaging optical system 12. The display position of the aerial image 30 is changed in the Z-axis direction, that is, in the optical axis direction, and will be described. However, the display position control unit 220 controls the display device 11 without being limited thereto. The display image for viewing with the right eye and the image for viewing with the right eye may be displayed as a display image for viewing with the left eye having parallax, and the depth display position of the aerial image 30 may be changed.
画像生成部２０１と表示制御部２０２とキャリブレーション部２０３と検出基準制御部２０４と記憶部２０５とは、図１に示した第１の実施の形態の画像生成部２０１と表示制御部２０２とキャリブレーション部２０３と検出基準制御部２０４と記憶部２０５と同一の機能を果たすものである。
The image generation unit 201, the display control unit 202, the calibration unit 203, the detection reference control unit 204, and the storage unit 205 are the same as the image generation unit 201, the display control unit 202, and the calibration in the first embodiment shown in FIG. The same function as the operation unit 203, the detection reference control unit 204, and the storage unit 205 is achieved.
制御部２０は、上述のように表示位置制御部２０６を備え、この表示位置制御部２２０は、キャリブレーション処理モードにおいて検出または判定された指の到達位置や指定位置などに基づき空中像３０の移動量を算出または決定して、表示位置変更部５００に空中像３０の表示位置を変更させる。
The control unit 20 includes the display position control unit 206 as described above, and the display position control unit 220 moves the aerial image 30 based on the finger arrival position or designated position detected or determined in the calibration processing mode. The amount is calculated or determined, and the display position changing unit 500 changes the display position of the aerial image 30.
第５の実施の形態の表示装置の動作を次に説明する。空中像操作モードは、第１の実施の形態の表示装置と同様であり、空中像操作モードが起動されると、図３（ａ）に示された空中像操作モード用の空中像３０が結像光学系１２によって表示され、検出基準制御部２０４によって検査基準４０が所定の初期位置に設定される。指が空中像３０のアイコン３０Ａの表示位置を操作するために下降移動すると、操作検出器１３が指の下降移動を検出する。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が検出基準４０の位置に到達したことを判定して、この判定によって、操作されたアイコン３０Ａに応じた機能が実行される、例えば、空中像３０の表示内容が切り替えられる。
Next, the operation of the display device according to the fifth embodiment will be described. The aerial image operation mode is the same as that of the display device of the first embodiment. When the aerial image operation mode is activated, the aerial image operation mode aerial image 30 shown in FIG. The image is displayed by the image optical system 12, and the inspection reference control unit 204 sets the inspection reference 40 at a predetermined initial position. When the finger moves downward to operate the display position of the icon 30A of the aerial image 30, the operation detector 13 detects the downward movement of the finger. Based on the detection output of the operation detector 13, the detection reference control unit 204 determines that the finger has reached the position of the detection reference 40, and a function corresponding to the operated icon 30A is executed by this determination. For example, the display content of the aerial image 30 is switched.
第１のキャリブレーション処理モードが実行されると、表示制御部２０２と表示器１１と結像光学系１２とが図４に示したキャリブレーション処理用の空中像３００を空中に形成し、検出基準制御部２０４が検出基準４０を空中像３００の近傍に初期位置に設定する。ユーザが指を空中像３００のアイコン３００Ａを操作するために、下降移動させると、操作検出器１３がその下降移動を検出する。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指の到達位置５０を判定する。この判定は、第１の実施の形態で説明した方法や第１の実施の形態の変形例１、２で説明した方法が使用される。表示位置制御部２０６は、指の到達位置５０に基づき、表示位置変更部５００に空中像３００の位置を結像光学系１２の光軸方向に移動させる。
When the first calibration processing mode is executed, the display control unit 202, the display 11, and the imaging optical system 12 form the aerial image 300 for calibration processing shown in FIG. The control unit 204 sets the detection reference 40 in the vicinity of the aerial image 300 at an initial position. When the user moves the finger down to operate the icon 300A of the aerial image 300, the operation detector 13 detects the downward movement. The detection reference control unit 204 determines the reaching position 50 of the finger based on the detection output of the operation detector 13. For this determination, the method described in the first embodiment or the method described in the first and second modifications of the first embodiment is used. The display position control unit 206 causes the display position changing unit 500 to move the position of the aerial image 300 in the optical axis direction of the imaging optical system 12 based on the finger arrival position 50.
なお、表示制御部２０２と表示器１１と結像光学系１２とは図１２、図１５、図１８に示されたキャリブレーション処理用の空中像３００を形成してもよく、この場合には、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指による指定位置５０Ａを判定する。表示位置制御部２２０は、指定位置５０Ａに基づき、表示位置変更部５００に空中像３００の位置を結像光学系１２の光軸方向に移動させる。この空中像３００の表示位置の移動によって第１のキャリブレーション処理が終了し、これに引き続く空中像操作モードでは、移動された表示位置に空中像操作モード用の空中像３０が表示される。
The display control unit 202, the display unit 11, and the imaging optical system 12 may form the aerial image 300 for calibration processing shown in FIGS. 12, 15, and 18, and in this case, The detection reference control unit 204 determines the designated position 50 </ b> A by the finger based on the detection output of the operation detector 13. The display position control unit 220 causes the display position changing unit 500 to move the position of the aerial image 300 in the optical axis direction of the imaging optical system 12 based on the designated position 50A. The first calibration process is ended by the movement of the display position of the aerial image 300. In the subsequent aerial image operation mode, the aerial image 30 for the aerial image operation mode is displayed at the moved display position.
表示位置制御部２２０及び表示位置変更部５００による空中像３００の表示位置の移動は、次のように行われる。即ち、表示位置制御部２２０及び表示位置変更部５００は、指の到達位置５０または指定位置５０Ａが図３７（ａ）に示したように、検出基準４０よりも上方に位置する場合には、到達位置５０または指定位置５０Ａと検出基準４０との間隔ΔＨを算出して、空中像３００の表示位置を例えば間隔ΔＨだけ下方である点線で示した表示位置３００に移動させる。空中像３００は空間に表示しているため、視認性が悪く、ユーザによっては、空中像３００の表示位置が異なって見える場合がある。図３７（ａ）で示した例では、ユーザは空中像３００の表示位置が実際の位置よりも高い位置に空中像３００があると感じている。そのため、ユーザによる到達位置５０または指定位置５０Ａが、空中像３００の表示位置よりも上方の位置になっている。そこで、ユーザによる空中像３００の表示位置への操作を検出するために、空中像３００の表示位置を間隔ΔＨだけ下方に移動させる。そのため、ユーザは下方へ移動した空中像３００の表示位置を操作するようになり、到達位置５０または指定位置５０Ａがより下方になることが期待できる。到達位置５０または指定位置５０Ａがより下方になるため、到達位置５０または指定位置５０Ａが検出基準に到達し、ユーザによる空中像３００の表示位置への操作を検出できるようになる。このように、空中像３００の表示位置を移動させることにより、ユーザによる空中像３００の表示位置への操作を検出基準４０で検出することができるようになる。
また、表示位置制御部２２０及び表示位置変更部５００は、指の到達位置５０または指定位置５０Ａが図３７（ｂ）に示したように、検出基準４０よりも下方に位置する場合には、到達位置５０または指定位置５０Ａと検出基準４０との間隔ΔＨを算出して、空中像３００の表示位置を例えば間隔ΔＨだけ上方である点線の表示位置３００に移動させる。
更に、表示位置制御部２２０及び表示位置変更部５００は、指の到達位置５０または指定位置５０Ａが、検出基準４０に一致した場合、または検出基準４０の近傍位置に存在した場合には、空中像３００の表示位置を移動しない。
なお、表示位置制御部２２０及び表示位置変更部５００は、到達位置５０または指定位置５０Ａが検出基準４０よりも上方に位置する場合には、空中像３００の表示位置を下方向に移動させ、到達位置５０または指定位置５０Ａが検出基準４０よりも下方に位置する場合には、空中像３００の表示位置を上方向に移動させるが、その移動量は、上述のように到達位置５０または指定位置５０Ａと検出基準４０との間隔ΔＨに一致させる必要はなく、第１の実施の形態において説明したように、間隔ΔＨよりも大きくしてもまたは小さくしてもよい。
The display position of the aerial image 300 is moved by the display position control unit 220 and the display position changing unit 500 as follows. That is, the display position control unit 220 and the display position changing unit 500 reach the arrival position 50 or the designated position 50A of the finger when the position is higher than the detection reference 40 as shown in FIG. The distance ΔH between the position 50 or the designated position 50A and the detection reference 40 is calculated, and the display position of the aerial image 300 is moved to the display position 300 indicated by the dotted line below the distance ΔH, for example. Since the aerial image 300 is displayed in space, the visibility is poor, and depending on the user, the display position of the aerial image 300 may look different. In the example shown in FIG. 37A, the user feels that the aerial image 300 is at a position where the display position of the aerial image 300 is higher than the actual position. Therefore, the arrival position 50 or the designated position 50A by the user is a position above the display position of the aerial image 300. Therefore, in order to detect an operation to the display position of the aerial image 300 by the user, the display position of the aerial image 300 is moved downward by an interval ΔH. Therefore, the user comes to operate the display position of the aerial image 300 moved downward, and the arrival position 50 or the designated position 50A can be expected to be further downward. Since the arrival position 50 or the designated position 50A is further down, the arrival position 50 or the designated position 50A reaches the detection reference, and an operation to the display position of the aerial image 300 by the user can be detected. As described above, by moving the display position of the aerial image 300, the user can detect the operation of the display position of the aerial image 300 by the detection reference 40.
In addition, the display position control unit 220 and the display position change unit 500 reach when the finger arrival position 50 or the designated position 50A is located below the detection reference 40 as shown in FIG. The distance ΔH between the position 50 or the designated position 50A and the detection reference 40 is calculated, and the display position of the aerial image 300 is moved to the dotted display position 300 that is, for example, above the distance ΔH.
Further, the display position control unit 220 and the display position changing unit 500 are configured to display an aerial image when the finger arrival position 50 or the designated position 50A coincides with the detection reference 40 or exists near the detection reference 40. The display position of 300 is not moved.
When the arrival position 50 or the designated position 50A is located above the detection reference 40, the display position control unit 220 and the display position changing unit 500 move the display position of the aerial image 300 downward to reach the arrival position 50. When the position 50 or the designated position 50A is located below the detection reference 40, the display position of the aerial image 300 is moved upward. The amount of movement is the arrival position 50 or the designated position 50A as described above. And the detection reference 40 need not coincide with the interval ΔH, and may be larger or smaller than the interval ΔH as described in the first embodiment.
なお、空中像の移動量の算出方法の一例としては、多数のユーザに事前にキャリブレーション処理を実行してもらい、到達位置または指定位置と検出基準との距離ΔＨに対して空中像３００の表示位置を種々移動させたときの空中像の操作上、違和感の少ない空中像３００の移動量を求め、その空中像３００の移動量に対して統計的な処理を行って、距離ΔＨに対する空中像の移動量を決定する。
このような統計的処理による空中像の移動量は、例えば、全てのユーザに共通の値であってもよいし、ユーザの年齢層毎に異なった値であってもよいし、性別毎に異なった値であってもよい。なお、この統計的な処理による空中像の移動量の決定方法は、上述の第１の実施の形態において、到達位置または指定位置に基づいて検出基準を変更する際の検出基準の移動量を決定する場合にも適用することができる。
As an example of a method for calculating the amount of movement of the aerial image, a large number of users execute calibration processing in advance, and the aerial image 300 is displayed with respect to the distance ΔH between the arrival position or the designated position and the detection reference. The amount of movement of the aerial image 300 with less sense of incongruity is determined in the operation of the aerial image when the position is moved variously, and statistical processing is performed on the amount of movement of the aerial image 300 to obtain Determine the amount of movement.
The amount of movement of the aerial image by such statistical processing may be, for example, a value common to all users, a different value for each age group of users, or a difference for each gender. It may be a value. Note that the method for determining the aerial image movement amount by this statistical process determines the movement amount of the detection reference when the detection reference is changed based on the arrival position or the designated position in the first embodiment. It can also be applied to.
上記説明のキャリブレーション処理について、第１のキャリブレーション処理モードを例に挙げ、図３８に示すフローチャートを参照して説明する。なお、図３８のフローチャートはステップＳ３０１〜Ｓ３０８を示し、それ以降のステップは省略した。ステップＳ３０８以降の処理は、図６のステップＳ９以降の処理と同様である。
The calibration process described above will be described with reference to the flowchart shown in FIG. 38 taking the first calibration process mode as an example. The flowchart of FIG. 38 shows steps S301 to S308, and the subsequent steps are omitted. The processing after step S308 is the same as the processing after step S9 in FIG.
ステップＳ３０１〜Ｓ３０５の各処理は、図６に示したフローチャートにおけるステップＳ１〜Ｓ５の各処理と同様である。ステップＳ３０６において、表示位置制御部２０６は、空中像３００の表示位置を変更させる。すなわち、表示位置制御部２０６は、指の到達位置５０に基づき、表示位置変更部５００に空中像３００の表示位置を結像光学系１２の光軸方向に移動させてステップＳ３０７へ進む。ステップＳ３０７において、第１のキャリブレーション処理モードを終了して、ステップＳ３０８へ進む。ステップＳ３０８において、空中像操作モードを開始する。なお、ステップＳ３０３にて図１２、図１５、図１８に示す空中像３００を表示させた場合には、ステップＳ３０５にて指定位置５０Ａを判定し、ステップＳ３０６において指定位置５０Ａに基づいて空中像３００の表示位置を変更すればよい。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
Each process of steps S301 to S305 is the same as each process of steps S1 to S5 in the flowchart shown in FIG. In step S306, the display position control unit 206 changes the display position of the aerial image 300. That is, the display position control unit 206 moves the display position of the aerial image 300 to the display position changing unit 500 in the optical axis direction of the imaging optical system 12 based on the finger arrival position 50 and proceeds to step S307. In step S307, the first calibration processing mode is terminated, and the process proceeds to step S308. In step S308, the aerial image operation mode is started. If the aerial image 300 shown in FIGS. 12, 15, and 18 is displayed in step S303, the designated position 50A is determined in step S305, and the aerial image 300 is determined based on the designated position 50A in step S306. What is necessary is just to change the display position.
Note that the first calibration process mode has been described as an example of the calibration process, but the present invention can also be applied to the second calibration process mode.
以上のように、第５の実施の形態の表示装置は、キャリブレーション処理において到達位置または指定位置に基づき空中像の表示位置を変更して、空中像の表示位置と検出基準との位置関係を変更するものであり、ユーザの操作特性に適した空中像の表示位置と検出基準との位置関係を得ることができる。
また、キャリブレーション処理において空中像を移動することは、キャリブレーション処理において検出基準を変更する場合に変更後の検出基準が図３に示した操作検出器１３の検出範囲１３Ａの外に出てしまったり、検出範囲１３Ａの上限または下限付近に位置するといった事態になりそうな場合には、検出基準の変更の代わりに、空中像の移動を行えば、上記の事態を避けることができる。
As described above, the display device according to the fifth embodiment changes the display position of the aerial image based on the arrival position or the designated position in the calibration process, and determines the positional relationship between the display position of the aerial image and the detection reference. It is to be changed, and the positional relationship between the aerial image display position and the detection reference suitable for the user's operation characteristics can be obtained.
Further, the movement of the aerial image in the calibration process means that when the detection reference is changed in the calibration process, the changed detection reference goes out of the detection range 13A of the operation detector 13 shown in FIG. If the situation is likely to be in the vicinity of the upper limit or lower limit of the detection range 13A, the above situation can be avoided by moving the aerial image instead of changing the detection reference.
（第５の実施の形態の変形例１）
次に、第５の実施の形態の表示装置の変形例１を説明する。
第５の実施の形態の表示装置は、キャリブレーション処理において、到達位置または指定位置に基づき空中像の表示位置を変更したが、第５の実施の形態の表示装置の変形例１は、キャリブレーション処理において、到達位置または指定位置に基づき、表示位置制御部２２０及び表示位置変更部５００が空中像の表示位置を変更すると共に、検出基準制御部２０４が検出基準の位置を変更する。この空中像の表示位置の変更および検出基準の位置の変更によって、ユーザの操作特性に適した空中像の表示位置と検出基準との位置関係をうることができる。表示位置変更部５００が、到達位置または指定位置に基づいて決定される適正な表示位置に高精度に空中像を移動することが難しい場合には、表示位置変更部５００が空中像の表示位置を粗調整し、検出基準制御部２０４が検出基準を微調整することによって、空中像の表示位置と検出基準との位置関係を適正に設定することができる。
(Variation 1 of the fifth embodiment)
Next, a first modification of the display device according to the fifth embodiment will be described.
In the display device of the fifth embodiment, the display position of the aerial image is changed based on the arrival position or the specified position in the calibration process, but the first modification of the display device of the fifth embodiment is a calibration. In the processing, the display position control unit 220 and the display position changing unit 500 change the display position of the aerial image based on the arrival position or the designated position, and the detection reference control unit 204 changes the position of the detection reference. By changing the display position of the aerial image and changing the position of the detection reference, it is possible to obtain the positional relationship between the display position of the aerial image and the detection reference suitable for the operation characteristics of the user. When it is difficult for the display position changing unit 500 to move the aerial image with high accuracy to an appropriate display position determined based on the arrival position or the designated position, the display position changing unit 500 sets the display position of the aerial image. The positional relationship between the display position of the aerial image and the detection reference can be appropriately set by performing coarse adjustment and the detection reference control unit 204 finely adjusting the detection reference.
（第５の実施の形態の変形例２）
第５の実施の形態の表示装置の変形例２を以下に説明する。変形例２の表示装置は、表示位置制御部２２０及び表示位置変更部５００が空中像の表示位置を移動する際に、移動開始から移動終了の間に空中像の表示をフェードアウトしそれからフェードインする。即ち、空中像の移動開始に伴い表示の輝度を徐々に小さくし、その後、空中像の移動終了に向けて表示輝度を徐々に大きくする。キャリブレーション処理として空中像を移動させているが、ユーザが視認可能な空中像が移動すると、ユーザに違和感が生じる場合がある。そこで、空中像の移動開始に伴い表示の輝度を徐々に小さくすることにより、空中像の移動がユーザに視認されづらくなり、ユーザの違和感を軽減できる。
また、表示制御部２０２は、空中像の移動中、空中像の表示輝度やコントラストを下げたり、輝度やコントラストを下げた状態で空中像の表示を点滅させたり、更には空中像の表示を消したりすることができる。このように、表示位置変更部５００による空中像の移動を目立たなくする、即ち視認し難くすることで、ユーザの違和感を軽減できる。
また、逆に、空中像の移動に伴って空中像自体を目立たせるような表示態様を行っても良い。空中像を目立たせるような表示態様とは、空中像の移動中、空中像の表示輝度やコントラストを上げたり、空中像の表示を点滅させたりすること等である。このように、空中像自体を目立たせるような表示態様を行うことによって、空中像の移動を目立たさなくすることができ、ユーザは空中像の移動よりも空中像自体を注目するようになる。そのためユーザは、空中像の移動が気にならなくなり、ユーザの違和感を軽減できる。
上記のように空中像の移動時における空中像の表示態様の変更は、図３８のフローチャートにおけるステップＳ３０６の処理の最中に行われる。
このような空中像の移動中における空中像の表示を目立たなくしたり、目立つようにしたりすることは、空中像の全体に対して行うのではなく、空中像の一部、例えば、キャリブレーション処理用のアイコンに対して行うようにしてもよい。また、このような空中像の移動を目立たせるか否かは、ユーザの好みに応じて、選択することができるようにしてもよい。
(Modification 2 of the fifth embodiment)
Modification 2 of the display device according to the fifth embodiment will be described below. When the display position control unit 220 and the display position changing unit 500 move the display position of the aerial image, the display device of Modification 2 fades out the display of the aerial image between the start of movement and the end of movement, and then fades in. . That is, the display brightness is gradually decreased as the aerial image starts moving, and then the display brightness is gradually increased toward the end of the aerial image movement. Although the aerial image is moved as the calibration process, when the aerial image visible to the user moves, the user may feel uncomfortable. Therefore, by gradually reducing the luminance of the display as the aerial image starts moving, it becomes difficult for the user to visually recognize the movement of the aerial image, and the user's uncomfortable feeling can be reduced.
In addition, the display control unit 202 reduces the display brightness and contrast of the aerial image while the aerial image is moving, blinks the aerial image display with the brightness and contrast lowered, and further turns off the display of the aerial image. Can be. Thus, by making the movement of the aerial image by the display position changing unit 500 inconspicuous, that is, making it difficult to visually recognize, the user's uncomfortable feeling can be reduced.
Conversely, a display mode that makes the aerial image stand out as the aerial image moves may be performed. The display mode that makes the aerial image stand out includes raising the display brightness and contrast of the aerial image and blinking the aerial image display while the aerial image is moving. Thus, by performing a display mode that makes the aerial image itself stand out, the movement of the aerial image can be made inconspicuous, and the user pays attention to the aerial image itself rather than the movement of the aerial image. Therefore, the user does not care about the movement of the aerial image and can reduce the user's uncomfortable feeling.
As described above, the change of the display mode of the aerial image when the aerial image is moved is performed during the process of step S306 in the flowchart of FIG.
The display of the aerial image during the movement of the aerial image is not conspicuous or made conspicuous, but it is not performed on the entire aerial image, but for a part of the aerial image, for example, for calibration processing. It may be performed for the icon. Further, whether or not such aerial image movement is conspicuous may be selected according to the user's preference.
また先ほどの説明とは反対に、キャリブレーション処理の実行中に、空中像の移動をユーザに確認させるため、表示位置変更部５００による空中像の移動が目立つようにしてもよい。表示制御部２０２は、空中像の移動中、空中像の表示輝度やコントラストを上げたり、空中像の表示を点滅させたりしてもよい。上述の説明では、空中像の移動が目立たないようにしていたが、逆にユーザに対して空中像の移動を目立たせることによって、空中像の移動後の位置を明確にさせることができる。
なお上記のように空中像の移動時における空中像の表示輝度の変更は、図３８のフローチャートにおけるステップＳ３０６の処理の最中に行われる。
Contrary to the previous explanation, the movement of the aerial image by the display position changing unit 500 may be conspicuous so that the user can confirm the movement of the aerial image during the execution of the calibration process. The display control unit 202 may increase the display brightness and contrast of the aerial image or blink the display of the aerial image while the aerial image is moving. In the above description, the movement of the aerial image is made inconspicuous, but conversely, the position after the movement of the aerial image can be made clear by making the movement of the aerial image conspicuous to the user.
As described above, the change in the display brightness of the aerial image during the movement of the aerial image is performed during the process of step S306 in the flowchart of FIG.
（第５の実施の形態の変形例３）
第５の実施の形態の表示装置１の変形例３を以下に説明する。変形例３の表示装置１は、キャリブレーション処理の際にユーザの操作によって空中像の表示位置の変更を開始する。この場合、ユーザの操作が終了した後、表示位置制御部２２０は表示位置変更部５００を制御して、空中像の表示位置の変更を開始させる。
(Modification 3 of the fifth embodiment)
Modification 3 of the display device 1 according to the fifth embodiment will be described below. The display device 1 of Modification 3 starts changing the display position of the aerial image by a user operation during the calibration process. In this case, after the user's operation is completed, the display position control unit 220 controls the display position changing unit 500 to start changing the display position of the aerial image.
上記説明のキャリブレーション処理について、第１のキャリブレーション処理モードを例に挙げ、図３９に示すフローチャートを参照して説明する。なお、図３９のフローチャートはステップＳ３１１〜Ｓ３１９を示し、それ以降のステップは省略した。ステップＳ３１９以降の処理は、図６のステップＳ９以降の処理と同様である。
The calibration process described above will be described with reference to the flowchart shown in FIG. 39, taking the first calibration process mode as an example. The flowchart of FIG. 39 shows steps S311 to S319, and the subsequent steps are omitted. The processing after step S319 is the same as the processing after step S9 in FIG.
ステップＳ３１１〜Ｓ３１５の各処理は、図３８に示したフローチャートにおけるステップＳ３０１〜Ｓ３０５の各処理と同様である。ステップＳ３１６において、ユーザによる操作が終了したか否かを判定する。ステップＳ３１６において肯定判定された場合、すなわち、ユーザによる操作が終了したと判定された場合には、ステップＳ３１７へ進む。ステップＳ３１６において否定判定された場合には、ステップＳ３１４に戻る。ステップＳ３１７〜Ｓ３１９の各処理は、図３８に示したフローチャートにおけるステップＳ３０６〜Ｓ３０８の各処理と同様である。
Each process of steps S311 to S315 is the same as each process of steps S301 to S305 in the flowchart shown in FIG. In step S316, it is determined whether or not the operation by the user is finished. If an affirmative determination is made in step S316, that is, if it is determined that the user's operation has ended, the process proceeds to step S317. If a negative determination is made in step S316, the process returns to step S314. Each process of steps S317 to S319 is the same as each process of steps S306 to S308 in the flowchart shown in FIG.
なお、ユーザによる操作が終了したか否かを判定するステップＳ３１６は、空中像の表示位置を変更するか否かを決定するものである。従って、ユーザによる操作の終了は、到達位置または指定位置を判定したことをもってユーザの操作終了と判断してもよいし、到達位置または指定位置の判定後に、表示位置を変更するための特定のジェスチャー（ユーザの手の形状がパーからグーになるようなジェスチャー）の検出をもってユーザによる操作終了と判断してもよいし、到達位置または指定位置の判定後に、表示位置を変更するためのボタンが空中像に表示され、そのボタンがユーザによって押下されたことが検出されたことをもってユーザによる操作が終了したと判断してもよい。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
Note that step S316 for determining whether or not the user's operation is completed determines whether or not to change the display position of the aerial image. Therefore, the end of the operation by the user may be determined as the end of the user operation by determining the arrival position or the specified position, or a specific gesture for changing the display position after the determination of the arrival position or the specified position. It may be determined that the user has finished the operation by detecting (a gesture that changes the shape of the user's hand from par to goo), and a button for changing the display position after the determination of the arrival position or the specified position is in the air It may be determined that the operation by the user is completed when it is displayed on the image and it is detected that the button is pressed by the user.
Note that the first calibration process mode has been described as an example of the calibration process, but the present invention can also be applied to the second calibration process mode.
（第５の実施の形態の変形例４）
第５の実施の形態の表示装置１の変形例４を以下に説明する。変形例４の表示装置１は、キャリブレーション処理の際にユーザが空中像の表示位置の変更を開始するタイミングを発声により指定するものである。図４０は、変形例４における表示装置１の構成のうち、制御部２０によって制御される表示器１１および操作検出器１３を示したブロック図である。この表示装置１は、図１７に示す第１の実施の形態の変形例６における集音器１４を含み、制御部２０には音声検出部２０８が備えられる。
(Modification 4 of the fifth embodiment)
Modification 4 of the display device 1 according to the fifth embodiment will be described below. In the display device 1 according to the fourth modification, the timing at which the user starts changing the display position of the aerial image at the time of calibration processing is designated by utterance. FIG. 40 is a block diagram showing the display 11 and the operation detector 13 controlled by the control unit 20 in the configuration of the display device 1 according to the fourth modification. This display device 1 includes the sound collector 14 in the sixth modification of the first embodiment shown in FIG. 17, and the control unit 20 is provided with a sound detection unit 208.
表示装置１は、第１の実施の形態の場合と同様にして到達位置５０を判定する。表示制御部２０２は、空中像３００のキャリブレーション用アイコン３００Ｆに、たとえば図４１に示すように、メッセージ「キャリブレーションを実行します。「ハイ」と声を出してください」を重畳表示する。ユーザがキャリブレーション用アイコン３００Ｆのメッセージに従って「ハイ」と声を出すと、集音器１４はこの音声を集音し、音声データとして音声検出器２０８に出力する。音声検出器２０８が、音声データが「ハイ」に対応することを判定すると、表示位置制御部２２０は、表示位置変更部５００を制御して、空中像３００の表示位置を変更する。上記のような空中像の表示位置の変更は、図３９に示す第５の実施の形態の変形例３のフローチャートにおけるステップＳ３１６のユーザによる操作が終了したか否かの代わりに、ユーザが「ハイ」を発声したか否かを判定し、「ハイ」を発声したと判定した場合にはステップＳ３１６が肯定判定されてステップＳ３１７へ進むようにする。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
また、表示装置１が集音器１４を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしてもよい。
なお、以上のように、検出基準制御部２０４が指の到達位置または指定位置を判定したにも拘わらず、ユーザが「ハイ」と発声するまでは空中像を移動せずに、ユーザが「ハイ」と発声したことを検出して空中像を移動するようにすると、ユーザが「ハイ」と発声するまでの間に、空中像の表示位置に対する操作を複数回繰り返す場合がありうる。このような場合には、ユーザが「ハイ」と発声した時に、例えば、複数回の到達位置または指定位置の相加平均や相乗平均などの平均的な値に基づき、または複数の到達位置５０の中央値（メジアン）に基づいて、または複数の到達位置または指定位置のうち、最後の到達位置または指定位置に基づいて、空中像を移動する。
The display device 1 determines the arrival position 50 in the same manner as in the first embodiment. For example, as shown in FIG. 41, the display control unit 202 superimposes and displays the message “Calibration is performed. Please say“ High ”” on the calibration icon 300F of the aerial image 300. When the user speaks “high” in accordance with the message of the calibration icon 300F, the sound collector 14 collects this sound and outputs it to the sound detector 208 as sound data. When the sound detector 208 determines that the sound data corresponds to “high”, the display position control unit 220 controls the display position changing unit 500 to change the display position of the aerial image 300. The change in the display position of the aerial image as described above is performed by the user in place of whether or not the operation by the user in step S316 in the flowchart of the modification 3 of the fifth embodiment shown in FIG. ”Is determined. If it is determined that“ high ”is uttered, an affirmative determination is made in step S316 and the process proceeds to step S317.
Note that the first calibration process mode has been described as an example of the calibration process, but the present invention can also be applied to the second calibration process mode.
In addition, the display device 1 does not include the sound collector 14, and the sound data acquired by the external sound collector is input via wireless or wired, and the sound is detected using the sound data input from the external sound collector. The unit 208 may perform voice detection.
As described above, the aerial image is not moved until the user utters “high” even though the detection reference control unit 204 determines the arrival position or designated position of the finger, ”Is detected and the aerial image is moved, the operation for the display position of the aerial image may be repeated a plurality of times before the user utters“ high ”. In such a case, when the user utters “high”, for example, based on an average value such as an arithmetic average or a geometric average of a plurality of arrival positions or designated positions, or at a plurality of arrival positions 50. The aerial image is moved based on the median value (median) or based on the last arrival position or designated position among a plurality of arrival positions or designated positions.
（第５の実施の形態の変形例５）
第５の実施の形態の表示装置の変形例５を以下に説明する。変形例５の表示装置１は、ユーザが空中像を視認している場合には、空中像の移動を中止し、ユーザが空中像から目をそらした場合に、空中像の移動を行う。このために、表示装置１は、第１の実施の形態の変形例８のようにカメラなどの撮像装置を備え、撮像装置がキャリブレーション処理を実行中のユーザを撮影し、制御部２０が撮影された画像データを解析して、この解析結果に基づきユーザの顔の向き、またはユーザの身体の向きを判定して、ユーザが空中像を視認しているか否かを判定する。表示位置制御部２２０および表示位置変更部５００は、ユーザが空中像を視認していないときに、空中像を移動する。キャリブレーション処理として空中像を移動させているが、ユーザが視認可能な空中像が移動すると、ユーザに違和感が生じる場合がある。そこで、ユーザが空中像から目をそらした場合に、空中像の移動を行うことにより、空中像の移動がユーザに視認されず、ユーザの違和感を軽減できる。
(Modification 5 of the fifth embodiment)
Modification 5 of the display device according to the fifth embodiment will be described below. The display device 1 of Modification 5 stops the movement of the aerial image when the user is viewing the aerial image, and moves the aerial image when the user turns away from the aerial image. For this purpose, the display device 1 includes an imaging device such as a camera as in Modification 8 of the first embodiment, the imaging device captures a user who is executing the calibration process, and the control unit 20 captures the image. The analyzed image data is analyzed, and based on the analysis result, the orientation of the user's face or the orientation of the user's body is determined to determine whether the user is viewing the aerial image. The display position control unit 220 and the display position changing unit 500 move the aerial image when the user is not viewing the aerial image. Although the aerial image is moved as the calibration process, when the aerial image visible to the user moves, the user may feel uncomfortable. Therefore, when the user turns away from the aerial image, the aerial image is moved so that the movement of the aerial image is not visually recognized by the user, and the user's uncomfortable feeling can be reduced.
表示装置１は、撮像装置の代わりに、または撮像装置に加えて、ユーザの視線を検出する視線検出器を備え、この視線検出器の検出出力に基づき、表示位置制御部２２０および表示位置変更部５００は、ユーザが空中像を視認していないときに、ユーザの視線が空中像に向いていないときに空中像を移動する。上記のような空中像の表示位置の変更は、例えば、図３９に示す第５の実施の形態の変形例３のフローチャートにおけるステップＳ３１６のユーザによる操作が終了したか否かの判定の代わりに、ユーザが空中像を視認しているか否かを判定するようにする。ユーザが空中像を視認していると判定した場合にはステップＳ３１６が肯定判定されてステップＳ３１７へ進むようにする。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
なお、上述の視線検出器または撮像装置は、表示装置１に設けられてなくてもよい。視線線検出器は、表示装置１の外部に設置されていて、視線検出結果を無線通信またはケーブルを介して表示装置１に送信してもよい。また、撮像装置は、表示装置１の外部に設置されていて、撮像データを無線通信またはケーブルを介して表示装置１に送信してもよい。
なお、上述の説明では、ユーザが空中像を視認していると判定した場合に空中像の表示位置の変更をしたが、反対に、ユーザが空中像を視認している場合に、表示位置制御部２２０および表示位置変更部５００は、空中像の表示位置の変更をさせるような制御を行ってもよい。この場合には、ユーザが確実に空中像を視認しているため、どの程度空中像が移動したかをユーザは知覚できるため、ユーザに対して操作する位置の変更を促すことができる。
なお、上述の説明では、ユーザが空中像を視認していない場合に、空中像の表示位置の変更をさせるような制御を行ったが、ユーザの生体情報を取得し、生体情報の値に基づいて空中像の表示位置を変更させるような制御を行ってもよい。例えば、ユーザの生体情報としてユーザの脈拍数を取得する。ユーザの脈拍を取得する方法として、例えば、装置を利用する前にユーザの脈拍数を取得するための装置をユーザに取り付けさせる。そして、表示位置制御部２２０および表示位置変更部５００は、ユーザの脈拍数が大きくなった場合、空中像の表示位置の変更をさせるような制御を行ってもよい。ユーザの脈拍数が大きくなった場合、ユーザは操作がうまくいかずイライラしている場合がある。このような場合に、空中像の表示位置を変更することにより、ユーザに装置を快適に利用させることができる。
The display device 1 includes a line-of-sight detector that detects a user's line of sight instead of or in addition to the image pickup apparatus. Based on the detection output of the line-of-sight detector, the display position control unit 220 and the display position change unit 500 moves the aerial image when the user is not visually recognizing the aerial image and the user's line of sight is not facing the aerial image. For example, the change in the display position of the aerial image as described above is performed instead of determining whether or not the operation by the user in step S316 in the flowchart of the third modification of the fifth embodiment illustrated in FIG. It is determined whether or not the user is viewing the aerial image. When it is determined that the user is viewing the aerial image, an affirmative determination is made in step S316 and the process proceeds to step S317.
Note that the first calibration process mode has been described as an example of the calibration process, but the present invention can also be applied to the second calibration process mode.
Note that the above-described line-of-sight detector or imaging device may not be provided in the display device 1. The line-of-sight detector may be installed outside the display device 1 and may transmit the line-of-sight detection result to the display device 1 via wireless communication or a cable. Moreover, the imaging device may be installed outside the display device 1 and may transmit imaging data to the display device 1 via wireless communication or a cable.
In the above description, the display position of the aerial image is changed when it is determined that the user is viewing the aerial image. Conversely, the display position control is performed when the user is viewing the aerial image. The unit 220 and the display position changing unit 500 may perform control to change the display position of the aerial image. In this case, since the user is surely viewing the aerial image, the user can perceive how much the aerial image has moved, and therefore, the user can be prompted to change the operating position.
In the above description, the control is performed to change the display position of the aerial image when the user is not visually recognizing the aerial image. However, the user's biological information is acquired and the value of the biological information is used. Control may be performed to change the display position of the aerial image. For example, the user's pulse rate is acquired as the user's biological information. As a method for acquiring the user's pulse, for example, the user is attached with a device for acquiring the user's pulse rate before using the device. And the display position control part 220 and the display position change part 500 may perform control which changes the display position of an aerial image, when a user's pulse rate becomes large. When the user's pulse rate increases, the user may not be able to operate well and may be frustrated. In such a case, the user can comfortably use the device by changing the display position of the aerial image.
なお、以上のように、検出基準制御部が指の到達位置または指定位置を判定したにも拘わらず、ユーザが空中像を視認しているときには空中像を移動せずに、ユーザが空中像を視認しなくなったことを検出して空中像を移動するようにすると、ユーザは、空中像を視認しなくなるまでに、空中像の表示位置に対する操作を複数回繰り返す場合がありうる。このような場合には、ユーザが空中像を視認しなくなった時に、例えば、複数回の到達位置または指定位置の相加平均や相乗平均などの平均的な値に基づき、または複数の到達位置５０の中央値（メジアン）に基づいて、または複数の到達位置または指定位置のうち、最後の到達位置または指定位置に基づいて、空中像を移動する。
As described above, even when the detection reference control unit determines the arrival position or the designated position of the finger, when the user is visually recognizing the aerial image, the user does not move the aerial image. If the aerial image is moved by detecting that it is no longer visually recognized, the user may repeat the operation on the display position of the aerial image a plurality of times before the aerial image is no longer visually recognized. In such a case, when the user stops viewing the aerial image, for example, based on an average value such as an arithmetic average or a geometric average of a plurality of arrival positions or specified positions, or a plurality of arrival positions 50 The aerial image is moved based on the median value (median) of the two or based on the last arrival position or designated position among a plurality of arrival positions or designated positions.
（第５の実施の形態の変形例６）
第５の実施の形態の表示装置の変形例６を以下に説明する。変形例６の表示装置１は、キャリブレーション処理において、空中像の移動速度を変更することができる。表示装置１は、空中像を極めて高速度で移動させるか、または空中像を低速で移動させることができる。表示位置制御部２２０と表示位置変更部５００は、空中像を第１の所定値以上の極めて高速度で移動させるか、または空中像を第１の所定値よりも小さい第２の所定値以下の低速度で移動させる。このように、空中像を極めて高速度または低速度で移動させることによって、ユーザは、空中像の移動を視認し難くなる。また、空中像を極めて高速で移動させるか、低速度で移動させるかをユーザが選択スイッチなどによって選択することができるようにしてよい。表示位置制御部２２０と表示位置変更部５００とがこのような制御を行うことにより、ユーザは空中像の表示位置の移動を視認しづらくなる。そのため、空中像の移動がユーザに視認されづらくなり、ユーザの違和感を軽減することができる。また、空中像の表示位置を変更する距離が大きい場合、空中像の表示位置の変更がユーザに目立つ場合があるため、変更する距離に基づいて第１の所定値と第２の所定値とを変更してもよい。たとえば、空中像の表示位置を所定距離以上移動させる場合は、空中像の表示位置を所定距離以下移動させる場合と比較して、第１の所定値の速度を速くし、第２の所定値の速度を遅くしてもよい。
(Modification 6 of the fifth embodiment)
Modification 6 of the display device according to the fifth embodiment will be described below. The display device 1 according to the modification 6 can change the moving speed of the aerial image in the calibration process. The display device 1 can move the aerial image at a very high speed or move the aerial image at a low speed. The display position control unit 220 and the display position changing unit 500 move the aerial image at an extremely high speed equal to or higher than the first predetermined value, or move the aerial image to a second predetermined value lower than the first predetermined value. Move at low speed. Thus, by moving the aerial image at an extremely high speed or a low speed, it becomes difficult for the user to visually recognize the movement of the aerial image. In addition, the user may be able to select whether the aerial image is moved at a very high speed or at a low speed by a selection switch or the like. When the display position control unit 220 and the display position changing unit 500 perform such control, it becomes difficult for the user to visually recognize the movement of the display position of the aerial image. Therefore, it is difficult for the user to visually recognize the movement of the aerial image, and the user's uncomfortable feeling can be reduced. In addition, when the distance for changing the display position of the aerial image is large, the change in the display position of the aerial image may be noticeable to the user. Therefore, the first predetermined value and the second predetermined value are set based on the changed distance. It may be changed. For example, when the aerial image display position is moved by a predetermined distance or more, the speed of the first predetermined value is increased and the second predetermined value is compared with the case where the aerial image display position is moved by a predetermined distance or less. You may slow down.
なお、上述した第５の実施の形態やその変形例１〜６では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に挙げたが、制御部２０のみで構成された制御装置や、制御部２０と表示器１１とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と表示位置制御部２２０とを備えればよい。上述の第５の実施の形態または変形例１〜６に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
In the fifth embodiment and its modifications 1 to 6 described above, the display device 1 including at least the control unit 20, the display unit 11, and the operation detector 13 is taken as an example. The control apparatus comprised, and the control apparatus comprised by the control part 20 and the indicator 11 may be sufficient. The control unit 20 may include at least the calibration unit 203 and the display position control unit 220. In order to obtain the effects described in the fifth embodiment or the first to sixth modifications, a configuration may be appropriately added from the above-described configuration as necessary.
−第６の実施の形態−
次に第６の実施の形態の表示装置を、図４２を参照して説明する。説明する表示装置としては、図３５および図３６に示した第５の実施の形態の表示装置と同一の構成を備える。上述した第５の実施の形態の表示装置との差異は、図４２に示したように、空中像３０を挟んで、第１の検出基準４０ａと第２の検出基準４０ｂとが初期に設定されている点である。なお、図４２では、空中像３０が、第１および第２の検出基準４０ａ、４０ｂの間の中間に位置するように、即ち空中像３０と第１の検出基準４０ａとの距離が空中像３０と第２の検出基準４０ｂとの距離とが等しくなるように定められている。しかし、必ずしも空中像３０と第１の検出基準４０ａとの距離と、空中像３０と第２の検出基準４０ｂとの距離とを等しく設定しなくてもよい。また、空中像３０にはアイコン３０Ａが表示されている。
空中像操作モードで、指Ｆをアイコン３０Ａの方へ下降移動させると、操作検出器１３が指Ｆの下降移動を検出する。指Ｆが第１の検出基準４０ａに達すると、検出基準制御部２０４は操作検出器１３の検出出力に基づき、指Ｆが第１の検出基準４０ａに達したことを判定し、この判定に応じて、表示制御部２０２がアイコン３０Ａの表示態様を変化させる。この表示態様の変化は、表示の高輝度化や点滅表示などのハイライト表示でもよいし、表示の色を変えてもよい。このようなアイコン３０Ａの表示態様の変化によって、ユーザは、指がアイコン３０Ａを選択していることを確認することができる。
-Sixth embodiment-
Next, a display device according to a sixth embodiment will be described with reference to FIG. The display device to be described has the same configuration as the display device of the fifth embodiment shown in FIGS. The difference from the display device of the fifth embodiment described above is that, as shown in FIG. 42, the first detection reference 40a and the second detection reference 40b are initially set across the aerial image 30. It is a point. 42, the aerial image 30 is positioned in the middle between the first and second detection references 40a and 40b, that is, the distance between the aerial image 30 and the first detection reference 40a is the aerial image 30. And the second detection reference 40b are set to be equal to each other. However, the distance between the aerial image 30 and the first detection reference 40a is not necessarily set equal to the distance between the aerial image 30 and the second detection reference 40b. An aerial image 30 is displayed with an icon 30A.
When the finger F is moved downward toward the icon 30A in the aerial image operation mode, the operation detector 13 detects the downward movement of the finger F. When the finger F reaches the first detection reference 40a, the detection reference control unit 204 determines that the finger F has reached the first detection reference 40a based on the detection output of the operation detector 13, and responds to this determination. Thus, the display control unit 202 changes the display mode of the icon 30A. The change in the display mode may be a highlight display such as an increase in display brightness or a blinking display, or the display color may be changed. By such a change in the display mode of the icon 30A, the user can confirm that the finger has selected the icon 30A.
ユーザが指Ｆを更に降下移動させ、第２の検出基準４０ｂに達すると、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指Ｆが第２の検出基準４０ｂに達したことを判定し、この判定に応じて、表示制御部２０２は空中像３０の表示内容を切り替える。すなわち、第２の検出基準４０ｂは、上述の第５の実施の形態に記載された検出基準４０と同様の機能を果たす。なお、指Ｆが第２の検出基準４０ｂに達したことを判定し、この判定に応じて、表示制御部２０２は空中像３０の表示内容を切り替える例で説明をしたがこれに限られない。例えば、指Ｆが第２の検出基準４０ｂに達したことを判定し、この判定に応じて、表示制御部２０２は空中像３０として動画像を表示させ、動画像の再生を行う制御を行っても良い。また、指Ｆが第２の検出基準４０ｂに達したことを判定し、この判定に応じて、表示制御部２０２は空中像３０をスクロール制御しても良い。
When the user further moves the finger F downward to reach the second detection reference 40b, the detection reference control unit 204 determines that the finger F has reached the second detection reference 40b based on the detection output of the operation detector 13. In response to this determination, the display control unit 202 switches the display content of the aerial image 30. That is, the second detection reference 40b performs the same function as the detection reference 40 described in the fifth embodiment. Although it has been described that the finger F has reached the second detection criterion 40b and the display control unit 202 switches the display content of the aerial image 30 in accordance with this determination, the present invention is not limited to this. For example, it is determined that the finger F has reached the second detection criterion 40b, and in response to this determination, the display control unit 202 displays a moving image as the aerial image 30, and performs control to reproduce the moving image. Also good. Further, it may be determined that the finger F has reached the second detection reference 40b, and the display control unit 202 may perform scroll control of the aerial image 30 in accordance with this determination.
次に、第２のキャリブレーション処理モードを参考にして第６の実施の形態のキャリブレーションを説明する。図４３（ａ）において、第２のキャリブレーション処理で、ユーザは、指Ｆを空中像３０のアイコン３０Ａの方に下降移動させて、アイコン３０Ａに対する選択操作をしたと感じると、すなわち指Ｆが第１の検出基準４０ａに達しているとユーザが判断した場合、ユーザの指Ｆの下降が停止するなどが生じる。図３６に示した検出基準制御部２０４は、操作検出器１３の検出出力に基づき、ユーザの指Ｆの下降が停止等から指の到達位置５０または指定位置５０Ａを判定する。到達位置５０または指定位置５０Ａは、第１の検出基準４０ａよりも距離ΔＨだけ上方に位置している。
到達位置５０または指定位置５０Ａが第１の検出基準４０ａよりも距離ΔＨだけ、上方の位置に位置しているので、表示位置制御部２２０は、空中像３０の表示位置を距離ΔＨだけ下方の位置に、即ち点線で示した位置３０に移動する。
Next, calibration according to the sixth embodiment will be described with reference to the second calibration processing mode. In FIG. 43A, in the second calibration process, when the user feels that the user has moved the finger F downward toward the icon 30A of the aerial image 30 and has performed a selection operation on the icon 30A, that is, the finger F moves. When the user determines that the first detection reference 40a has been reached, the user's finger F is stopped from descending. Based on the detection output of the operation detector 13, the detection reference control unit 204 shown in FIG. The arrival position 50 or the designated position 50A is located above the first detection reference 40a by a distance ΔH.
Since the arrival position 50 or the designated position 50A is located at a position above the first detection reference 40a by a distance ΔH, the display position control unit 220 positions the display position of the aerial image 30 below the distance ΔH. That is, it moves to the position 30 indicated by the dotted line.
この空中像３０の下方移動によって、空中像３０と第１の検出基準４０ａとの位置関係がキャリブレーション処理される。このキャリブレーション処理によって空中像３０と第２の検出基準４０ｂとの距離が、空中像３０と第１の検出基準４０ａとの距離に比べて小さくなったので、検出基準制御部２０４は、図４３（ｂ）に示したように、第２の検出基準４０ｂを点線で示した位置４０ｂまで下方向に移動して、空中像３０と第２の検出基準４０ｂとの距離を、空中像３０と第１の検出基準４０ａとの距離に等しくする。空中像３０の下方移動によって、空中像３０の位置から第２の検出基準４０ｂの位置までの距離が短くなる。そのため、ユーザは空中像３０に触れたと思った後、すぐに第２の検出基準４０ｂに達してしまうため、操作しづらく感じることがある。このように、空中像３０と第２の検出基準４０ｂとの距離を適切な距離にすることにより、ユーザは操作しやすくなる。また、空中像３０と第２の検出基準４０ｂとの距離を空中像３０と第１の検出基準４０ａとの距離に等しくすると、空中像３０と第１の検出基準４０ａとの距離に基づいて、空中像３０と第２の検出基準４０ｂとの距離をユーザは簡単に把握することができる。
By the downward movement of the aerial image 30, the positional relationship between the aerial image 30 and the first detection reference 40a is calibrated. Since the distance between the aerial image 30 and the second detection reference 40b is smaller than the distance between the aerial image 30 and the first detection reference 40a due to this calibration processing, the detection reference control unit 204 is configured as shown in FIG. As shown in (b), the second detection reference 40b is moved downward to the position 40b indicated by the dotted line, and the distance between the aerial image 30 and the second detection reference 40b is set to the distance between the aerial image 30 and the second detection reference 40b. 1 to the detection reference 40a. The downward movement of the aerial image 30 shortens the distance from the position of the aerial image 30 to the position of the second detection reference 40b. Therefore, since the user reaches the second detection reference 40b immediately after thinking that the aerial image 30 is touched, it may be difficult to operate. Thus, the user can easily operate by setting the distance between the aerial image 30 and the second detection reference 40b to an appropriate distance. Further, if the distance between the aerial image 30 and the second detection reference 40b is equal to the distance between the aerial image 30 and the first detection reference 40a, based on the distance between the aerial image 30 and the first detection reference 40a, The user can easily grasp the distance between the aerial image 30 and the second detection reference 40b.
次に、図４４（ａ）に示したように到達位置５０または指定位置５０Ａが第１の検出基準４０ａよりも距離−ΔＨだけ下方の位置に位置する場合には、表示位置制御部２２０と表示位置変更部５００は、図４４（ｂ）に示したように空中像３０の表示位置を距離ΔＨだけ上方に移動する。この空中像３０の移動に伴い、検出基準制御部２０４は、図４４（ｃ）に示したように第２の検出基準４０ｂを点線で示した位置４０ｂまで上方移動する。これによって、空中像３０と第２の検出基準４０ｂとの距離を、空中像３０と第１の検出基準４０ａとの距離に等しくする。空中像３０の上方移動によって、空中像３０の位置から第２の検出基準４０ｂの位置までの距離が長くなる。そのため、ユーザは空中像３０に触れたと思った後、第２の検出基準４０ｂに達するまで距離があり、操作しづらく感じることがある。このように、空中像３０と第２の検出基準４０ｂとの距離を適切な距離にすることにより、ユーザは操作しやすくなる。また、空中像３０と第２の検出基準４０ｂとの距離を、空中像３０と第１の検出基準４０ａとの距離に等しくしているため、空中像３０と第１の検出基準４０ａとの距離に基づいて、空中像３０と第２の検出基準４０ｂとの距離をユーザは簡単に把握することができる。
第２のキャリブレーション処理モードの説明は、以上の通りであるが、第１のキャリブレーション処理モードも同様である。
Next, as shown in FIG. 44A, when the arrival position 50 or the designated position 50A is located at a position lower than the first detection reference 40a by the distance −ΔH, the display position control unit 220 and the display position are displayed. The position changing unit 500 moves the display position of the aerial image 30 upward by a distance ΔH as shown in FIG. As the aerial image 30 moves, the detection reference control unit 204 moves the second detection reference 40b upward to a position 40b indicated by a dotted line as shown in FIG. This makes the distance between the aerial image 30 and the second detection reference 40b equal to the distance between the aerial image 30 and the first detection reference 40a. The upward movement of the aerial image 30 increases the distance from the position of the aerial image 30 to the position of the second detection reference 40b. Therefore, after the user thinks that the aerial image 30 has been touched, there is a distance until the second detection reference 40b is reached, and it may be difficult to operate. Thus, the user can easily operate by setting the distance between the aerial image 30 and the second detection reference 40b to an appropriate distance. Further, since the distance between the aerial image 30 and the second detection reference 40b is equal to the distance between the aerial image 30 and the first detection reference 40a, the distance between the aerial image 30 and the first detection reference 40a. The user can easily grasp the distance between the aerial image 30 and the second detection reference 40b.
The description of the second calibration processing mode is as described above, but the same applies to the first calibration processing mode.
（第６の実施の形態の変形例１）
上述した第６の実施の形態の表示装置は、第１の検出基準４０ａと空中像３０との位置関係を空中像３０の移動によって変更し、この空中像３０の移動に伴い、第２の検出基準４０ｂを、空中像３０と第２の検出基準４０ｂとの距離が空中像３０と第１の検出基準４０ａとの距離にほぼ等しくなるように、移動するものであった。次に、この変形例１を説明する。この変形例１では、第１の検出基準４０ａと空中像３０との位置関係は、第６の実施の形態の表示装置と同様に空中像３０の移動によって変更するが、空中像３０と第２の検出基準４０ｂとの位置関係は、第２の検出基準に対する指の到達位置または指定位置に基づく第２の検出基準４０ｂの移動によって、変更するものである。
(Modification 1 of 6th Embodiment)
In the display device according to the sixth embodiment described above, the positional relationship between the first detection reference 40a and the aerial image 30 is changed by the movement of the aerial image 30, and the second detection is performed as the aerial image 30 moves. The reference 40b is moved so that the distance between the aerial image 30 and the second detection reference 40b is substantially equal to the distance between the aerial image 30 and the first detection reference 40a. Next, Modification 1 will be described. In the first modification, the positional relationship between the first detection reference 40a and the aerial image 30 is changed by the movement of the aerial image 30 as in the display device of the sixth embodiment. The positional relationship with the detection reference 40b is changed by the movement of the second detection reference 40b based on the arrival position or designated position of the finger with respect to the second detection reference.
この変形例１の表示装置は、第６の実施の形態の表示装置と同様に図４２に示した空中像３０を表示し、第１および第２の検出基準４０ａ、４０ｂを初期設定する。キャリブレーション処理を図４５（ａ）、（ｂ）、（ｃ）を用いて説明する。なお、図４５（ａ）は、図３９（ａ）と同一である。
図４５（ａ）において、例えば、ユーザは、指Ｆを空中像３０の第１のアイコン３０Ａの方に下降移動させて、アイコン３０Ａに対する選択操作をしたと感じると、すなわち指Ｆが第１の検出基準４０ａに達しているとユーザが判断した場合、ユーザの指Ｆの下降が停止するなどが生じる。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指の到達位置５０または指定位置５０Ａを判定する。到達位置５０または指定位置５０Ａが第１の検出基準４０ａよりも距離ΔＨだけ上方に位置しているので、表示位置制御部２２０は、空中像３０の表示位置を、例えば略距離ΔＨだけ下方の位置に、即ち点線で示した位置３０に移動する。この空中像３０の下方移動によって、空中像３０と第１の検出基準４０ａとの位置関係が変更、即ちキャリブレーション処理される。
Similar to the display device of the sixth embodiment, the display device of the first modification displays the aerial image 30 shown in FIG. 42 and initializes the first and second detection references 40a and 40b. The calibration process will be described with reference to FIGS. 45 (a), (b), and (c). FIG. 45 (a) is the same as FIG. 39 (a).
In FIG. 45 (a), for example, when the user feels that the finger F has been moved downward toward the first icon 30A of the aerial image 30 and the selection operation is performed on the icon 30A, that is, the finger F is the first icon. When the user determines that the detection standard 40a has been reached, the user's finger F is stopped from descending. The detection reference control unit 204 determines the finger arrival position 50 or the designated position 50A based on the detection output of the operation detector 13. Since the arrival position 50 or the designated position 50A is positioned above the first detection reference 40a by the distance ΔH, the display position control unit 220 sets the display position of the aerial image 30 to a position below the approximate distance ΔH, for example. That is, it moves to the position 30 indicated by the dotted line. By the downward movement of the aerial image 30, the positional relationship between the aerial image 30 and the first detection reference 40a is changed, that is, a calibration process is performed.
ユーザは、キャリブレーション処理を行った後に指Ｆを更に下降移動させて、アイコン３０Ａに対する実行操作をしたと感じると、すなわち指Ｆが第２の検出基準４０ｂに達しているとユーザが判断した場合、ユーザの指Ｆの下降が停止するなどが生じる。図４５（ｂ）に示したように、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、第２の検出基準４０ｂに対する指の到達位置５０または指定位置５０Ａを判定する。この指の到達位置５０または指定位置５０Ａが第２の検出基準４０ｂよりも距離ΔＨだけ上方に位置しているので、図３６の検出基準制御部２０４は、指の到達位置５０または指定位置５０Ａに基づき、第２の検出基準４０ｂを上方向に、例えば略距離ΔＨだけ、移動させる。こうして、第２の検出基準４０ｂは、図４５（ｃ）に示したように、上方向に点線位置４０ａまで移動される。この第２の検出基準４０ｂの上方向移動によって、空中像３０と第２の検出基準４０ｂとの位置関係が変更、即ちキャリブレーションされる。
When the user feels that the user has further moved the finger F downward after performing the calibration process and has performed an execution operation on the icon 30A, that is, the user determines that the finger F has reached the second detection reference 40b. The descent of the user's finger F stops. As shown in FIG. 45B, the detection reference control unit 204 determines the finger arrival position 50 or the designated position 50A with respect to the second detection reference 40b based on the detection output of the operation detector 13. Since the finger arrival position 50 or the designated position 50A is located above the second detection reference 40b by the distance ΔH, the detection reference control unit 204 in FIG. 36 moves the finger arrival position 50 or the designated position 50A to the finger arrival position 50 or the designated position 50A. Based on this, the second detection reference 40b is moved upward by, for example, a substantially distance ΔH. Thus, as shown in FIG. 45C, the second detection reference 40b is moved upward to the dotted line position 40a. By the upward movement of the second detection reference 40b, the positional relationship between the aerial image 30 and the second detection reference 40b is changed, that is, calibrated.
なお、第１の検出基準４０ａに対する指の到達位置５０または指定位置５０Ａが、第１の検出基準４０ａよりも下方の位置である場合には、図４４（ａ）、（ｂ）において説明した第６の実施の形態の表示装置の場合と同様に、表示位置制御部２２０は、指の到達位置５０または指定位置５０Ａに基づき、空中像３０を上方向に移動させる。この空中像３０の上方移動によって、空中像３０と第１の検出基準４０ａとの位置関係が、変更、即ちキャリブレーション処理される。
また、第２の検出基準４０ｂに対する指の到達位置５０または指定位置５０Ａが、第２の検出基準４０ｂよりも下方の位置である場合には、検出基準制御部２０４は指の到達位置５０または指定位置５０Ａに基づき、第２の検出基準４０ｂを下方向に移動する。この第２の検出基準４０ｂの下方向移動によって、空中像３０と第２の検出基準４０ｂとの位置関係が変更、キャリブレーションされる。このように、空中像３０の移動によって空中像３０と第１の検出基準４０ａとの位置関係を変更した後、第２の検出基準４０ｂの移動によって空中像３０と第２の検出基準４０ｂとの位置関係を変更することにより、空中像３０と第１の検出基準４０ａとの位置関係、空中像３０と第２の検出基準４０ｂとの位置関係の両方をともに適切な位置関係に変更することができる。
When the finger arrival position 50 or the designated position 50A with respect to the first detection reference 40a is a position below the first detection reference 40a, the second position described in FIGS. 44 (a) and 44 (b) is used. As in the case of the display device according to the sixth embodiment, the display position control unit 220 moves the aerial image 30 upward based on the finger arrival position 50 or the designated position 50A. By the upward movement of the aerial image 30, the positional relationship between the aerial image 30 and the first detection reference 40a is changed, that is, calibrated.
When the finger arrival position 50 or the designated position 50A with respect to the second detection reference 40b is a position below the second detection reference 40b, the detection reference control unit 204 performs the finger arrival position 50 or the designation position 50A. Based on the position 50A, the second detection reference 40b is moved downward. By the downward movement of the second detection reference 40b, the positional relationship between the aerial image 30 and the second detection reference 40b is changed and calibrated. As described above, after the positional relationship between the aerial image 30 and the first detection reference 40a is changed by the movement of the aerial image 30, the aerial image 30 and the second detection reference 40b are moved by the movement of the second detection reference 40b. By changing the positional relationship, both the positional relationship between the aerial image 30 and the first detection reference 40a and the positional relationship between the aerial image 30 and the second detection reference 40b can be changed to appropriate positional relationships. it can.
なお、上述の変形例１の制御とは異なり、第１の検出基準４０ａに対する指の到達位置５０または指定位置５０Ａに基づいて、空中像３０を移動させ、空中像３０と第１の検出基準４０ａとの位置関係を変更した後、第２の検出基準４０ｂに対する指の到達位置５０または指定位置５０Ａに基づいて、さらに空中像３０を移動させ、空中像３０と第２の検出基準４０ｂとの位置関係を変更してもよい。このように、空中像３０と第１の検出基準４０ａとの位置関係、空中像３０と第２の検出基準４０ｂとの位置関係を、空中像３０のみの移動によって決定できるため、簡単な制御で位置関係の変更をすることができる。
Note that, unlike the control of the first modification, the aerial image 30 is moved based on the finger arrival position 50 or the designated position 50A with respect to the first detection reference 40a, and the aerial image 30 and the first detection reference 40a. , The aerial image 30 is further moved based on the finger arrival position 50 or the designated position 50A with respect to the second detection reference 40b, and the position of the aerial image 30 and the second detection reference 40b. You may change the relationship. Thus, since the positional relationship between the aerial image 30 and the first detection reference 40a and the positional relationship between the aerial image 30 and the second detection reference 40b can be determined by the movement of only the aerial image 30, the control can be performed with simple control. The positional relationship can be changed.
（第６の実施の形態の変形例２）
次に、第６の実施の形態の表示装置の変形例２を説明する。上述の第６の実施の形態および変形例１との差異としては、空中像３０の移動のさせ方が異なる。即ち、ユーザの指の下降移動に合わせて、空中像３０の表示位置を移動させる。
変形例２は、空中像操作モードにおいてユーザの指がアイコン３０Ａの方に下降移動され、指が第１の検出基準４０ａに達し、これによって、アイコン３０Ａの表示態様が変化した後に、指が更に下降移動させ、空中像３０の表示位置に達すると、表示位置制御部２２０は、操作検出器１３の検出出力に基づき、指が空中像３０の表示位置に達したことを判定し、指の下降移動に合わせて空中像３０の表示位置を移動させる。表示位置制御部２２０は、空中像の表示位置と下降移動する指の位置とが所定の範囲に含まれるように空中像３０の表示位置を制御する。このように制御することによって、下降する指に追随しているように空中像３０の表示位置を下降移動させることができる。また、さらに下降する指よりも常に下方に位置するように空中像３０の表示位置を設定し、下降する指に合わせて空中像３０の表示位置を下降移動するように、表示位置制御部２２０が空中像３０の表示位置を制御することによって、ユーザの指が空中像３０を貫通することがなくなる。
指の下降移動およびそれに追随する空中像３０の下降移動によって、指と空中像３０とが第２の検出基準４０ｂに達すると、検出基準制御部２０４が指が第２の検出基準４０ｂに達したことを判定し、表示制御部２０２が再生画像の表示を行う。
このように、指が空中像３０に到達すると、空中像３０が指の下降移動に追随して下降移動するので、ユーザは、指の下降移動が空中像３０によって第２の検出基準４０ｂまで、案内されるように感じられ、第２の検出基準４０ｂに確実に達することができる。
(Modification 2 of the sixth embodiment)
Next, a second modification of the display device according to the sixth embodiment will be described. As a difference from the above-described sixth embodiment and Modification 1, the method of moving the aerial image 30 is different. That is, the display position of the aerial image 30 is moved in accordance with the downward movement of the user's finger.
In the second modification, after the user's finger is moved downward toward the icon 30A in the aerial image operation mode and the finger reaches the first detection reference 40a, thereby changing the display mode of the icon 30A, the finger is further moved. When the display position control unit 220 moves down and reaches the display position of the aerial image 30, the display position control unit 220 determines that the finger has reached the display position of the aerial image 30 based on the detection output of the operation detector 13. The display position of the aerial image 30 is moved in accordance with the movement. The display position control unit 220 controls the display position of the aerial image 30 so that the display position of the aerial image and the position of the finger that moves downward are included in a predetermined range. By controlling in this way, the display position of the aerial image 30 can be moved downward so as to follow the descending finger. Further, the display position control unit 220 sets the display position of the aerial image 30 so that it is always positioned below the lowering finger, and moves the display position of the aerial image 30 downward according to the lowering finger. Controlling the display position of the aerial image 30 prevents the user's finger from penetrating the aerial image 30.
When the finger and the aerial image 30 reach the second detection reference 40b due to the downward movement of the finger and the following downward movement of the aerial image 30, the detection reference control unit 204 reaches the second detection reference 40b. The display control unit 202 displays a reproduced image.
In this way, when the finger reaches the aerial image 30, the aerial image 30 moves downward following the downward movement of the finger, so that the user can move the downward movement of the finger to the second detection reference 40b by the aerial image 30. It feels like being guided and can reliably reach the second detection criterion 40b.
なお、上述した第６の実施の形態や変形例１、変形例２では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と表示器１１とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と表示位置制御部２２０と検出基準制御部２０４とを備えればよい。上述の第６の実施の形態または変形例１または変形例２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
In the above-described sixth embodiment, Modification 1 and Modification 2, the display device 1 including at least the control unit 20, the display 11, and the operation detector 13 has been described as an example. However, only the control unit 20 is described. Or a control device configured by the control unit 20 and the display 11 may be used. The control unit 20 may include at least a calibration unit 203, a display position control unit 220, and a detection reference control unit 204. In order to obtain the effects described in the sixth embodiment, the first modification, or the second modification, a configuration may be appropriately added as necessary from the above-described configuration.
−第７の実施の形態−
第７の実施の形態の表示装置について説明する。本実施の形態に係る表示装置は、図２９、図３１、図３２に示す第４の実施の形態の表示装置１００や、図３３、図３４に示す第４の実施の形態の変形例１の表示装置１００と同様の構成を有している。第７の実施の形態の表示装置１００においても、第５の実施の形態やその変形例１〜４や第６の実施の形態やその変形例１の表示装置１と同様に、空中像の表示位置を変更可能に構成される。
図４６に示す通り、本実施の形態に係る表示装置１００は、図２９に示す第４の実施の形態の表示装置１００の構成に加えて、表示位置変更部５００と表示位置制御部２２０とを備える。検出基準制御部２０４は、第５の実施の形態やその変形例１〜４や第６の実施の形態やその変形例１の場合と同様にして、操作検出器１３の検出出力に基づき、指の到達位置５０を判定する。表示位置制御部２０６は、指の到達位置５０に基づき、表示位置変更部５００に空中像３００の位置を結像光学系１２の光軸方向に移動させる。この場合、表示位置変更部５００は、表示器１１１をＸ方向に移動させることで、空中像３０をＺ方向に移動させる。すなわち表示器１１１をＸ方向＋側へ移動させることで空中像３０をＺ方向＋側へ移動させ、表示器１１１をＸ方向−側へ移動させることで空中像３０をＺ方向−側へ移動させることができる。勿論、表示位置変更部５００は、表示器１１１を移動させず、結像光学系１１２を平行移動させても良いし、結像光学系１１２と表示器１１１とを共に移動させても良い。
-Seventh embodiment-
A display device according to a seventh embodiment will be described. The display device according to the present embodiment is the same as that of the display device 100 of the fourth embodiment shown in FIGS. 29, 31, and 32, or the first modification of the fourth embodiment shown in FIGS. It has the same configuration as the display device 100. Also in the display device 100 according to the seventh embodiment, an aerial image is displayed in the same manner as the display device 1 according to the fifth embodiment and the modifications 1 to 4 and the sixth embodiment and the modification 1. The position can be changed.
As shown in FIG. 46, the display device 100 according to the present embodiment includes a display position changing unit 500 and a display position control unit 220 in addition to the configuration of the display device 100 according to the fourth embodiment shown in FIG. Prepare. In the same manner as in the fifth embodiment and its modified examples 1 to 4 and the sixth embodiment and its modified example 1, the detection reference control unit 204 performs finger detection based on the detection output of the operation detector 13. The arrival position 50 is determined. The display position control unit 206 causes the display position changing unit 500 to move the position of the aerial image 300 in the optical axis direction of the imaging optical system 12 based on the finger arrival position 50. In this case, the display position changing unit 500 moves the aerial image 30 in the Z direction by moving the display device 111 in the X direction. That is, the aerial image 30 is moved to the Z direction + side by moving the display 111 to the X direction + side, and the aerial image 30 is moved to the Z direction-side by moving the display 111 to the X direction-side. be able to. Of course, the display position changing unit 500 may move the imaging optical system 112 in parallel without moving the display 111, or may move both the imaging optical system 112 and the display 111 together.
上記説明の各実施の形態およびそれらの変形例においては、検出基準４０の位置を移動させる、また空中像３０の表示位置を移動させることにより、検出基準４０と空中像３０（あるいはアイコン３０Ａ等）との相対的位置関係を調整するようにキャリブレーション処理を行った。しかし、検出基準４０と空中像３０との相対的位置関係を調整するためには、検出基準４０と空中像３０との両方を移動させてもよい。
In each of the embodiments described above and their modifications, the detection reference 40 and the aerial image 30 (or the icon 30A, etc.) are moved by moving the position of the detection reference 40 and moving the display position of the aerial image 30. Calibration processing was performed so as to adjust the relative positional relationship between the two. However, in order to adjust the relative positional relationship between the detection reference 40 and the aerial image 30, both the detection reference 40 and the aerial image 30 may be moved.
なお、上述の第７の実施の形態では、制御部２０と表示器１１１と操作検出器１１３とを少なくとも含む表示装置１００を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と表示器１１１とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と表示位置制御部２２０とを備えればよい。上述の第７の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加すればよい。
In the seventh embodiment described above, the display device 100 including at least the control unit 20, the display device 111, and the operation detector 113 has been described as an example. However, a control device including only the control unit 20, A control device including the control unit 20 and the display 111 may be used. The control unit 20 may include at least the calibration unit 203 and the display position control unit 220. In order to obtain the effects described in the seventh embodiment, a configuration may be appropriately added as necessary from the configuration described above.
−第８の実施の形態−
以上の実施の形態及びその変形例は、キャリブレーション処理における指先の到達位置や指定位置に基づいて検出基準およびまたは空中像を制御または変更して、検出基準と空中像の表示位置との位置関係を変更するものであった。次に、キャリブレーション処理における所定の非接触操作が検出基準で検出されない場合に検出基準を変更する第８の実施の形態を説明する。
本実施の形態の表示装置１は、図１、図２に示す第１の実施の形態の表示装置１と同様の構成を備える。第８の実施の形態の表示装置１は、空中像操作モードにおいて、表示制御部２０２と表示器１１と結像光学系１２が図４７（ａ）および（ｂ）に示す空中像操作モード用の空中像３０を空中に表示する。図４７（ａ）において、空中像３０は、たとえば２個の矩形状のアイコン３０Ｄ、３０Ｅを含む。
-Eighth embodiment-
In the above embodiment and the modification thereof, the positional relationship between the detection reference and the display position of the aerial image is controlled or changed based on the arrival position or the specified position of the fingertip in the calibration process. Was to change. Next, an eighth embodiment in which the detection reference is changed when a predetermined non-contact operation in the calibration process is not detected by the detection reference will be described.
The display device 1 of the present embodiment has the same configuration as the display device 1 of the first embodiment shown in FIGS. In the display device 1 according to the eighth embodiment, in the aerial image operation mode, the display control unit 202, the display 11, and the imaging optical system 12 are used for the aerial image operation mode shown in FIGS. 47 (a) and 47 (b). The aerial image 30 is displayed in the air. 47A, the aerial image 30 includes, for example, two rectangular icons 30D and 30E.
検出基準制御部２０４は、図４７（ｂ）および図４７（ｃ）に示したように、空中像３０に含まれる２個のアイコン３０Ｄ、３０Ｅのそれぞれについて、直方体形状の検出基準４２を初期設定する。アイコン３０Ｄに対応する検出基準４２の横断面の大きさは、図４７に明示するように、アイコン３０Ｄの大きさに対応する。上下方向、即ちＺ方向の高さはＤ１である。即ち、直方体状の検出基準４２は、横断面の一辺の長さＷ１がアイコン３０Ｄの一辺の長さＷ１に等しく、横断面の他の一辺の長さＷ２がアイコン３０Ｄの他の一辺の長さＷ２に等しく定められている。
直方体状の検出基準４２について、その上面を上部基準面４２ａとし、下面を下部基準面４２ｂとし、長さＷ２とＤ１とで生成される側面を側部基準面４２ｃとし、長さＷ１とＤ１とで生成される側面を側部基準面４２ｄと称する。検出基準４２の外部を検出基準外４１と称する。
また、本実施の形態では、検出基準４２を直方体形状として説明するが、これに限定されるものではない。球状、円柱状や角柱状等でもよいし、それ以外の形状でもよい。
As shown in FIGS. 47 (b) and 47 (c), the detection reference control unit 204 initially sets a rectangular parallelepiped detection reference 42 for each of the two icons 30D and 30E included in the aerial image 30. To do. The size of the cross section of the detection reference 42 corresponding to the icon 30D corresponds to the size of the icon 30D as clearly shown in FIG. The height in the vertical direction, that is, the Z direction is D1. That is, in the rectangular parallelepiped detection reference 42, the length W1 of one side of the cross section is equal to the length W1 of one side of the icon 30D, and the length W2 of the other side of the cross section is the length of the other side of the icon 30D. It is set equal to W2.
For the rectangular parallelepiped detection reference 42, the upper surface is the upper reference surface 42a, the lower surface is the lower reference surface 42b, the side surface generated by the lengths W2 and D1 is the side reference surface 42c, and the lengths W1 and D1 are The side surface generated in the above is referred to as a side reference surface 42d. The outside of the detection reference 42 is referred to as a non-detection reference 41.
In the present embodiment, the detection reference 42 is described as a rectangular parallelepiped shape, but the present invention is not limited to this. A spherical shape, a cylindrical shape, a prismatic shape, or the like may be used.
空中像３０は、検出基準４２の上部基準面４２ａと下部基準面４２ｂとの中間に位置するように、即ち空中像３０と上部基準面４２ａとの距離と、空中像３０と下部基準面４２ｂとの距離とが等しくなるように定められている。なお、空中像３０は上部基準面４２ａと下部基準面４２ｂとの中間に位置するものに限定されず、空中像３０と上部基準面４２ａとの距離が空中像３０と下部基準面４２ｂとの距離とが等しくないものや、空中像３０が上部基準面４２ａよりも上方に位置するものや、空中像３０が下部基準面４２ｂの下方に位置するものでも良い。つまり、Ｚ軸方向から見て、空中像３０（アイコン３０Ｄ、３０Ｅ）と検出基準４２の基準面４２ａ、４２ｂとが重畳された状態であればよい。
なお、アイコン３０Ｅに対応する検出基準４２も、アイコン３０Ｄに対応する検出基準４２と同様に、横断面がアイコン３０Ｅの形状に対応し所定の高さを有する直方体形状であるとする。
The aerial image 30 is positioned between the upper reference surface 42a and the lower reference surface 42b of the detection reference 42, that is, the distance between the aerial image 30 and the upper reference surface 42a, the aerial image 30 and the lower reference surface 42b. Is set to be equal to the distance. Note that the aerial image 30 is not limited to the one located between the upper reference plane 42a and the lower reference plane 42b, and the distance between the aerial image 30 and the upper reference plane 42a is the distance between the aerial image 30 and the lower reference plane 42b. And the aerial image 30 may be positioned above the upper reference plane 42a, or the aerial image 30 may be positioned below the lower reference plane 42b. That is, it is only necessary that the aerial image 30 (icons 30D and 30E) and the reference surfaces 42a and 42b of the detection reference 42 are superimposed as viewed from the Z-axis direction.
It is assumed that the detection reference 42 corresponding to the icon 30E is also a rectangular parallelepiped shape having a predetermined height corresponding to the shape of the icon 30E, similarly to the detection reference 42 corresponding to the icon 30D.
空中像操作モードでは、ユーザが検出基準４２に対して、所定の非接触操作を行うことにより表示装置１はアイコン３０Ｄやアイコン３０Ｅに割り当てられた機能を実行する。図４８（ａ）〜（ｃ）に本実施の形態における所定の非接触操作６００Ａ〜６００Ｃ（総称する場合には所定の非接触操作６００と称する）の例を示す。図４８では、所定の非接触操作６００Ａ〜６００Ｃを指Ｆが移動する際の軌跡として矢印を用いて模式的に示す。図４８（ａ）に示す所定の非接触操作６００Ａは、ユーザが指Ｆを距離Ｌ１だけ下降移動した後にＵターンして、距離Ｌ１だけ上方に移動する操作である。即ち、この所定の非接触操作６００Ａは、下降移動距離と上昇移動距離とが等しいＵターン軌跡である。また、所定の非接触操作６００Ａは、Ｕターン、即ちＵ字の軌跡ではなく、Ｖ字の軌跡を描くものでも良く、また、指Ｆが距離Ｌ１だけ下降移動した後にその下降軌跡に沿って距離Ｌ１だけ上方に移動する操作であってもよい。更には、所定の非接触操作６００Ａは、下降移動距離Ｌ１と上昇移動距離Ｌ１とが等しくなく異なっていても良い。本実施の形態における所定の非接触操作６００Ａとは、指の下降移動に引き続き指の上昇移動がなされる操作であれば良い。
In the aerial image operation mode, when the user performs a predetermined non-contact operation on the detection reference 42, the display device 1 executes a function assigned to the icon 30D or the icon 30E. 48 (a) to 48 (c) show examples of predetermined non-contact operations 600A to 600C (referred to as a predetermined non-contact operation 600 when collectively referred to) in the present embodiment. In FIG. 48, predetermined non-contact operations 600A to 600C are schematically shown using arrows as trajectories when the finger F moves. The predetermined non-contact operation 600A shown in FIG. 48A is an operation in which the user makes a U-turn after moving the finger F downward by the distance L1, and moves upward by the distance L1. That is, the predetermined non-contact operation 600A is a U-turn locus in which the descending movement distance and the ascending movement distance are equal. Further, the predetermined non-contact operation 600A may be a U-turn, that is, a V-shaped trajectory instead of a U-shaped trajectory, and the distance along the descending trajectory after the finger F moves downward by a distance L1. It may be an operation of moving upward by L1. Furthermore, the predetermined non-contact operation 600A may be such that the downward movement distance L1 and the upward movement distance L1 are not equal. The predetermined non-contact operation 600A in the present embodiment may be an operation in which the finger moves up and down following the finger's downward movement.
図４８（ｂ）の所定の非接触操作６００Ｂは、ユーザが指Ｆを距離Ｌ１だけ下降移動した後、所定時間指Ｆを停止するものである。図４８（ｃ）の所定の非接触操作６００Ｃは、ユーザが指Ｆを距離Ｌ１だけ下降移動した後、指Ｆを横方向に少なくとも所定距離Ｌ２移動させる操作である。
所定の非接触操作６００は、上述した種々の指Ｆの移動軌跡で表されるものに限られず、その移動軌跡（指Ｆや手の移動軌跡）が操作検出器１３で検出することができるものであれば、その他の移動軌跡を描くものであっても良い。
The predetermined non-contact operation 600B in FIG. 48B is to stop the finger F for a predetermined time after the user moves the finger F downward by the distance L1. The predetermined non-contact operation 600C in FIG. 48C is an operation in which the user moves the finger F downward by a distance L1 and then moves the finger F at least a predetermined distance L2 in the lateral direction.
The predetermined non-contact operation 600 is not limited to that represented by the movement trajectories of the various fingers F described above, and the movement trajectory (finger F or hand movement trajectory) can be detected by the operation detector 13. If so, other movement trajectories may be drawn.
空中像操作モードでは、操作検出器１３によって所定の非接触操作６００が検出基準で検出されると、このユーザの指Ｆの移動を検出した操作検出器１３の検出出力に基づき、検出基準制御部２０４は、指Ｆがアイコンの表示位置を操作したと判定する。
図４９は、検出基準制御部２０４によって、前述の所定の非接触操作６００のうち非接触操作６００Ａが検出基準４２で行われたと判定される場合を例示する。所定の非接触操作６００Ａ１は、指Ｆが上部基準面４２ａから下方に距離Ｌ１移動し、引き続きＵターンし上方に距離Ｌ１移動して、指Ｆが上部基準面４２ａに達した場合を示す。所定の非接触操作６００Ａ２は、指Ｆが上部基準面４２ａと下部基準面４２ｂとの中間で指Ｆが下方に距離Ｌ１移動し、引き続きＵターンし上方に距離Ｌ１移動した場合を示す。所定の非接触処理６００Ａ３は指Ｆが下方に距離Ｌ１移動して下部基準面４２ｂにおいてＵターンし上方に距離Ｌ１移動した場合を示す。
以上のように、検出基準制御部２０４は、図４９に示されたように、所定の非接触操作６００Ａの距離Ｌ１の下降移動と、Ｕターンと、距離Ｌ１の上昇移動との全てが検出基準４２内で行われた場合に、所定の非接触操作６００Ａが検出基準４２で行われたと判定する。即ち、検出基準制御部２０４は、所定の非接触操作６００Ａを検出基準４２で検出する。
In the aerial image operation mode, when a predetermined non-contact operation 600 is detected by the operation detector 13 based on the detection reference, the detection reference control unit is based on the detection output of the operation detector 13 that detects the movement of the user's finger F. 204 determines that the finger F has operated the display position of the icon.
FIG. 49 illustrates a case where the detection reference control unit 204 determines that the non-contact operation 600 </ b> A is performed based on the detection reference 42 among the predetermined non-contact operations 600 described above. The predetermined non-contact operation 600A1 shows a case where the finger F moves the distance L1 downward from the upper reference plane 42a, continues to make a U-turn and moves the distance L1 upward, and the finger F reaches the upper reference plane 42a. The predetermined non-contact operation 600A2 shows a case where the finger F moves a distance L1 downward between the upper reference surface 42a and the lower reference surface 42b, and then continues to make a U-turn and move a distance L1 upward. The predetermined non-contact process 600A3 shows a case where the finger F moves downward by a distance L1 and makes a U-turn on the lower reference surface 42b and moves upward by a distance L1.
As described above, as shown in FIG. 49, the detection reference control unit 204 detects all of the downward movement of the distance L1 of the predetermined non-contact operation 600A, the U-turn, and the upward movement of the distance L1. If it is performed within 42, it is determined that the predetermined non-contact operation 600A is performed according to the detection standard 42. That is, the detection reference control unit 204 detects a predetermined non-contact operation 600 </ b> A with the detection reference 42.
以上では、所定の非接触操作６００Ａを例として、検出基準制御部２０４が、所定の非接触操作６００が検出基準４２で行われたか否かを判定する方法を説明した。他の所定の非接触操作６００Ｂ、６００Ｃ等についても同様である。検出基準制御部２０４は、所定の非接触操作６００の全体が検出基準４２で行われた場合に、所定の非接触操作６００が検出基準４２で行われたと判定する。所定の非接触操作６００の一部でも検出基準外４１で行われた場合には、所定の非接触操作６００が検出基準４２で行われたと判定しない。所定の非接触操作６００が上下方向に距離Ｌ１の移動を伴う操作である場合、検出基準４２の幅Ｄ１、即ち上部基準面４２ａと下部基準面４２ｂとの間隔（Ｚ方向の長さ）は、少なくとも距離Ｌ１以上必要であり、例えば距離Ｌ１の１．５倍〜３倍程度に定められる。
なお、図４９において検出基準外４１とは、検出基準４２の外側の外部空間である。詳述すると、図４７（ｃ）において、検出基準４２の上部基準面４２ａと、下部基準面４２ｂと、側部基準面４２ｃと、側部基準面４２ｄとで囲まれた空間以外の外側空間である。
The method for determining whether or not the predetermined non-contact operation 600 has been performed based on the detection reference 42 has been described above using the predetermined non-contact operation 600A as an example. The same applies to other predetermined non-contact operations 600B, 600C and the like. The detection reference control unit 204 determines that the predetermined non-contact operation 600 is performed based on the detection standard 42 when the entire predetermined non-contact operation 600 is performed based on the detection standard 42. If even a part of the predetermined non-contact operation 600 is performed outside the detection standard 41, it is not determined that the predetermined non-contact operation 600 is performed based on the detection standard 42. When the predetermined non-contact operation 600 is an operation accompanied by movement of the distance L1 in the vertical direction, the width D1 of the detection reference 42, that is, the distance between the upper reference surface 42a and the lower reference surface 42b (length in the Z direction) is At least the distance L1 is required, and is set to about 1.5 to 3 times the distance L1, for example.
In FIG. 49, the outside detection reference 41 is an external space outside the detection reference 42. Specifically, in FIG. 47C, in an outer space other than the space surrounded by the upper reference surface 42a, the lower reference surface 42b, the side reference surface 42c, and the side reference surface 42d of the detection reference 42. is there.
次に、所定の非接触操作６００が検出基準外４１で検出される場合を説明する。所定の非接触操作６００が検出基準外４１で検出される場合とは、所定の非接触操作６００の全体が検出基準外４１で検出される場合である。
以降、本実施の形態および変形例の説明においては、代表的に所定の非接触操作６００Ａを用いて説明するが、他の非接触操作６００Ｂ、６００Ｃ等においても同等の技術が適用されるものとする。
図５０は、所定の非接触操作６００Ａの全体が検出基準外４１で検出される場合の例を示したものである。図５０（ａ）において、指Ｆによる所定の非接触操作６００Ａの全体が検出基準４２の上部基準面４２ａの上方の位置で行われている。この場合には、所定の非接触操作６００Ａの全体が操作検出器１３と検出基準制御部２０４とによって、検出基準外４１で検出される。
図５０（ｂ）は、指Ｆによる所定の非接触操作６００Ａａの全体が検出基準４２の下部基準面４２ｂの下方の位置で行われ、また、指Ｆによる所定の非接触操作６００Ａｂの全体が検出基準４２の側部基準面４２ｃよりも外側の位置で行われている。これらの場合にも、所定の非接触操作６００Ａａの全体、６００Ａｂの全体が操作検出器１３と検出基準制御部２０４とによって、それぞれ検出基準外４１で検出される。操作検出器１３と検出基準制御部２０４とによって、検出基準外４１で所定の非接触操作６００を検出する方法を説明する。まず、操作検出器１３が指Ｆの移動を逐次検出する。次に、検出基準制御部２０４は操作検出器１３の検出出力に基づき、指Ｆの移動軌跡が所定の非接触操作６００に対応するか否かと、指Ｆの移動軌跡の位置（検出基準４２又は検出基準外４１又は検出基準４２と検出基準外４１との両方）を判定する。この判定結果に基づき、検出基準外４１で所定の非接触操作６００を検出できる。
Next, a case where the predetermined non-contact operation 600 is detected outside the detection reference 41 will be described. The case where the predetermined non-contact operation 600 is detected outside the detection reference 41 is a case where the entire predetermined non-contact operation 600 is detected outside the detection reference 41.
Hereinafter, in the description of the present embodiment and the modified example, the description will be made using the predetermined non-contact operation 600A as a representative, but the same technique is applied to other non-contact operations 600B, 600C, and the like. To do.
FIG. 50 shows an example in which the entire predetermined non-contact operation 600 </ b> A is detected outside the detection reference 41. In FIG. 50A, the entire predetermined non-contact operation 600 </ b> A with the finger F is performed at a position above the upper reference surface 42 a of the detection reference 42. In this case, the entire predetermined non-contact operation 600 </ b> A is detected outside the detection reference 41 by the operation detector 13 and the detection reference control unit 204.
In FIG. 50B, the entire predetermined non-contact operation 600Aa with the finger F is performed at a position below the lower reference surface 42b of the detection reference 42, and the entire predetermined non-contact operation 600Ab with the finger F is detected. The measurement is performed at a position outside the side reference surface 42c of the reference 42. Also in these cases, the entire predetermined non-contact operation 600 </ b> Aa and the entire 600 </ b> Ab are detected outside the detection reference 41 by the operation detector 13 and the detection reference control unit 204. A method of detecting a predetermined non-contact operation 600 outside the detection reference 41 by the operation detector 13 and the detection reference control unit 204 will be described. First, the operation detector 13 sequentially detects the movement of the finger F. Next, based on the detection output of the operation detector 13, the detection criterion control unit 204 determines whether or not the movement trajectory of the finger F corresponds to a predetermined non-contact operation 600 and the position of the movement trajectory of the finger F (the detection criterion 42 or Non-detection reference 41 or both detection reference 42 and non-detection reference 41). Based on the determination result, the predetermined non-contact operation 600 can be detected outside the detection reference 41.
次に、所定の非接触操作６００が検出基準外４１で検出される場合におけるキャリブレーション処理を図５１、図５２および図５３を参照して説明する。図５１は、所定の非接触操作６００Ａが検出基準外４１であって、検出基準４２の上部基準面４２ａよりも上方の位置で検出される場合である。なお、以下のキャリブレーション処理は、空中像操作用の空中像３０を使用して行うが、図４等に示したキャリブレーション処理用の空中像３００を使用しても良い。
図５１（ａ）において、ユーザが空中像３０のアイコン３０Ｄの表示位置を操作するために、指Ｆを下降移動させ、その指Ｆが操作検出器１３の検出範囲１３Ａの上限１３ａに達すると、操作検出器１３が指の下降移動を逐次検出し、その指の移動に伴う検出出力を順次、記憶部２０５に記憶する。検出基準制御部２０４は、記憶部２０５に記憶された操作検出器１３の検出出力に基づき、指Ｆの移動軌跡が所定の非接触操作６００Ａに対応するか否かを判定するとともに、その指Ｆの移動軌跡の全てが検出基準４２に存在するか否かを判定する。
Next, calibration processing when a predetermined non-contact operation 600 is detected outside the detection reference 41 will be described with reference to FIGS. 51, 52, and 53. FIG. FIG. 51 shows a case where the predetermined non-contact operation 600 </ b> A is outside the detection reference 41 and is detected at a position above the upper reference surface 42 a of the detection reference 42. The following calibration processing is performed using the aerial image 30 for manipulating the aerial image, but the aerial image 300 for calibration processing shown in FIG. 4 and the like may be used.
In FIG. 51A, in order for the user to operate the display position of the icon 30D of the aerial image 30, the finger F is moved downward, and when the finger F reaches the upper limit 13a of the detection range 13A of the operation detector 13, The operation detector 13 sequentially detects the downward movement of the finger and sequentially stores the detection output associated with the movement of the finger in the storage unit 205. Based on the detection output of the operation detector 13 stored in the storage unit 205, the detection reference control unit 204 determines whether or not the movement trajectory of the finger F corresponds to a predetermined non-contact operation 600A, and the finger F It is determined whether or not all the movement trajectories are present in the detection reference 42.
検出基準制御部２０４が、所定の非接触操作６００Ａが行われたことを判定し、かつ所定の非接触操作の全てが検出基準外４１で行われたと判定すると、検出基準制御部２０４は、記憶部２０５に記憶された操作検出器１３からの検出出力に基づいて、所定の非接触操作６００Ａの操作開始位置と上部基準面４２ａとの間隔ΔＨ１０を算出する。この間隔ΔＨ１０は、上述のように、所定の非接触操作６００Ａの操作開始位置と上部基準面４２ａの位置とから算出することができるが、以下の方法によっても算出することができる。即ち、所定の非接触操作６００Ａの最も低い位置、すなわち所定の非接触操作６００Ａの到達位置を記憶部２０５に記憶された操作検出器１３からの検出出力に基づいて求め、この所定の非接触操作６００Ａの到達位置と上部基準面４２ａの位置との間隔を算出し、この算出された間隔に所定の非接触操作６００Ａの距離Ｌ１を加算することによっても、間隔ΔＨ１０を算出することができる。
When the detection reference control unit 204 determines that the predetermined non-contact operation 600A has been performed and determines that all of the predetermined non-contact operations have been performed outside the detection reference 41, the detection reference control unit 204 stores Based on the detection output from the operation detector 13 stored in the unit 205, the interval ΔH10 between the operation start position of the predetermined non-contact operation 600A and the upper reference plane 42a is calculated. The interval ΔH10 can be calculated from the operation start position of the predetermined non-contact operation 600A and the position of the upper reference surface 42a as described above, but can also be calculated by the following method. That is, the lowest position of the predetermined non-contact operation 600A, that is, the arrival position of the predetermined non-contact operation 600A is obtained based on the detection output from the operation detector 13 stored in the storage unit 205, and this predetermined non-contact operation The interval ΔH10 can also be calculated by calculating the interval between the reaching position of 600A and the position of the upper reference surface 42a and adding the distance L1 of the predetermined non-contact operation 600A to the calculated interval.
間隔ΔＨ１０が算出されると、検出基準制御部２０４は、図５１（ｂ）に示すように距離ΔＨ１０に基づき、検出基準４２の全体を図中上方に移動する。移動された検出基準４２を一点鎖線で示す。検出基準４２の上方への移動量は、図５１（ｂ）に示したように距離ΔＨ１０と略等しくいてもよいし、距離ΔＨ１０よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外４１であって、検出基準４２よりも上方の位置で検出された場合には、検出基準４２の全体を、その所定の非接触操作がなされた位置に近付けるように上方向に移動させて、検出基準４２を変更する。その結果、ユーザの操作が検出基準４２に到達していないために操作が利かない場合、そのユーザの操作位置に合わせて検出基準４２が変更されるため、ユーザの操作上の違和感を緩和することができる。
When the interval ΔH10 is calculated, the detection reference control unit 204 moves the entire detection reference 42 upward in the drawing based on the distance ΔH10 as shown in FIG. 51 (b). The moved detection reference 42 is indicated by a one-dot chain line. The amount of upward movement of the detection reference 42 may be substantially equal to the distance ΔH10 as shown in FIG. 51B, or may be larger or smaller than the distance ΔH10. As described above, when the predetermined non-contact operation by the user is outside the detection reference 41 and is detected at a position above the detection reference 42, the entire detection reference 42 is moved to the predetermined non-contact operation. The detection reference 42 is changed by moving upward so as to approach the position where the error is made. As a result, if the user's operation does not reach the detection standard 42 and the operation is not effective, the detection standard 42 is changed according to the user's operation position, so that the user's uncomfortable feeling in operation is alleviated. Can do.
図５２は、所定の非接触操作６００Ａが検出基準外４１であって、検出基準４２の下部基準面４２ｂよりも下方の位置で検出される場合のキャリブレーション処理を説明する図である。図５２（ａ）において、検出基準制御部２０４が、記憶部２０５に記憶された操作検出器１３の検出出力に基づき所定の非接触操作６００Ａが行われたことを判定し、かつその所定の非接触操作が検出基準外で行われたと判定すると、検出基準制御部２０４は、所定の非接触操作６００Ａの移動軌跡の最も低い位置、すなわち所定の非接触操作６００Ａの到達位置と検出基準４２の下部基準面４２ｂとの間隔ΔＨ１０を算出する。この間隔ΔＨ１０が算出されると、検出基準制御部２０４は、図５２（ｂ）に示すように距離ΔＨ１０に基づき、検出基準４２の全体を図中下方に移動する。移動された検出基準４２を一点鎖線で示す。検出基準４２の下方への移動量は、図５２（ｂ）に示したように距離ΔＨ１０と略等しくいてもよいし、距離ΔＨ１０よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外４１であって、検出基準４２よりも下方の位置で検出された場合には、検出基準４２の全体を、所定の非接触操作がなされた位置に近付けるように下方向に移動させて、検出基準４２を変更する。その結果、ユーザの操作が検出基準４２を通り過ぎて操作しているために操作が利かない場合、そのユーザの操作位置に合わせて検出基準４２が変更されるので、ユーザの操作上の違和感を緩和することができる。
FIG. 52 is a diagram for explaining the calibration process when the predetermined non-contact operation 600A is detected outside the detection reference 41 and at a position below the lower reference surface 42b of the detection reference 42. In FIG. 52 (a), the detection reference control unit 204 determines that a predetermined non-contact operation 600A has been performed based on the detection output of the operation detector 13 stored in the storage unit 205, and the predetermined non-contact operation. If it is determined that the contact operation is performed outside the detection standard, the detection standard control unit 204 has the lowest position of the movement locus of the predetermined non-contact operation 600A, that is, the position where the predetermined non-contact operation 600A arrives and the lower part of the detection standard 42. An interval ΔH10 with respect to the reference surface 42b is calculated. When this interval ΔH10 is calculated, the detection reference control unit 204 moves the entire detection reference 42 downward in the drawing based on the distance ΔH10 as shown in FIG. 52 (b). The moved detection reference 42 is indicated by a one-dot chain line. The amount of downward movement of the detection reference 42 may be substantially equal to the distance ΔH10 as shown in FIG. 52B, or may be larger or smaller than the distance ΔH10. As described above, when the predetermined non-contact operation by the user is outside the detection reference 41 and is detected at a position below the detection reference 42, the entire detection reference 42 is subjected to the predetermined non-contact operation. The detection reference 42 is changed by moving downward so as to be close to the made position. As a result, when the user's operation passes through the detection standard 42 and the operation is not effective, the detection standard 42 is changed in accordance with the user's operation position, so that the user's uncomfortable feeling is alleviated. can do.
図５３は、非接触操作６００Ａが検出基準外４１であって、検出基準４２の側部基準面４２ｃの外側で行われたことが検出された場合のキャリブレーション処理を説明する図である。図５３（ａ）において、検出基準制御部２０４が、記憶部２０５に記憶された操作検出器１３の検出出力に基づき所定の非接触操作６００Ａが行われたことを判定し、かつその所定の非接触操作が側部基準面４２ｃの外側で行われたと判定すると、検出基準制御部２０４は、検出基準４２の側部基準面４２ｃと所定の非接触操作６００Ａの移動軌跡のうち、側部基準面４２ｃから最も離れた部分との距離ΔＨ１０を算出する。この距離ΔＨ１０が算出されると、検出基準制御部２０４は、図５３（ｂ）に示すように距離ΔＨ１０に基づき、検出基準４２の全体を図中の横方向、即ち所定の非接触操作６００Ａに近づく方向に移動させる。移動された検出基準４２を一点鎖線で示す。検出基準４２の横方向への移動量は、図５３（ｂ）に示したように距離ΔＨ１０と略等しくしてもよいし、距離ΔＨ１０よりも大きくしても小さくしてもよい。このように、ユーザによる所定の非接触操作が、検出基準外４１であって、検出基準４２の側部基準面４２ｃまたは４２ｄの外側の位置で検出された場合には、検出基準４２の全体を、所定の非接触操作がなされた位置に近付けるように移動し、検出基準４２を変更する。その結果、ユーザの操作が検出基準４２から外れて操作しているために操作が利かない場合、そのユーザの操作位置に合わせて検出基準４２が変更されるので、ユーザの操作上の違和感を緩和することができる。
FIG. 53 is a diagram for explaining a calibration process when it is detected that the non-contact operation 600A is outside the detection reference 41 and is performed outside the side reference surface 42c of the detection reference 42. In FIG. 53 (a), the detection reference control unit 204 determines that a predetermined non-contact operation 600A has been performed based on the detection output of the operation detector 13 stored in the storage unit 205, and the predetermined non-contact operation. When it is determined that the contact operation is performed outside the side reference surface 42c, the detection reference control unit 204 determines that the side reference surface of the side reference surface 42c of the detection reference 42 and the predetermined non-contact operation 600A moves. A distance ΔH10 from the portion farthest from 42c is calculated. When this distance ΔH10 is calculated, the detection reference control unit 204 moves the entire detection reference 42 in the horizontal direction in the drawing, that is, a predetermined non-contact operation 600A based on the distance ΔH10 as shown in FIG. 53 (b). Move it closer. The moved detection reference 42 is indicated by a one-dot chain line. The amount of movement of the detection reference 42 in the horizontal direction may be substantially equal to the distance ΔH10 as shown in FIG. 53B, or may be larger or smaller than the distance ΔH10. Thus, when a predetermined non-contact operation by the user is outside the detection reference 41 and is detected at a position outside the side reference surface 42c or 42d of the detection reference 42, the entire detection reference 42 is Then, the detection reference 42 is changed by moving so as to approach the position where the predetermined non-contact operation is performed. As a result, if the user's operation deviates from the detection standard 42 and the operation is not effective, the detection standard 42 is changed according to the user's operation position, so that the user's operational discomfort is alleviated. can do.
なお、図５１〜図５３においては、算出した変更量ΔＨ１０だけ検出基準４２を変更するものとしたが、間隔ΔＨ１０に所定量ｈを加算した値を変更量として検出基準４２を変更してもよい。所定量ｈは、所定の非接触操作６００の到達位置の差分（非接触操作の到達位置から検出基準４２の最も近い基準面までの差分）を平均した値や複数の非接触操作６００の開始位置の差分（非接触操作の開始位置から検出基準４２の最も近い基準面までの差分）を平均した値等があげられる。また、所定量ｈは、予め設定された固定の値でもよい。その場合、間隔ΔＨ１０にマージンとなる所定量ｈが加算された分だけ検出基準４２が移動することになる。そのため、キャリブレーション処理のときに行った非接触操作と厳密に同一の位置で非接触操作を行うことができない場合でも所定量ｈの範囲内での誤差であればユーザの非接触操作を検出基準４２で検出することができる。ユーザの非接触操作の開始位置や到達位置が操作毎に変動しても、ユーザの非接触操作を検出基準４２で検出できる。したがって、間隔ΔＨ１０に所定量ｈを加算した値を変更量とした場合、間隔ΔＨ１０の値を変更量とした場合よりも非接触操作を検出基準４２で検出する割合を高くすることができる。
51 to 53, the detection reference 42 is changed by the calculated change amount ΔH10. However, the detection reference 42 may be changed using a value obtained by adding the predetermined amount h to the interval ΔH10 as the change amount. . The predetermined amount h is a value obtained by averaging the difference in the arrival position of the predetermined non-contact operation 600 (difference from the arrival position of the non-contact operation to the closest reference plane of the detection reference 42) or the start position of the plurality of non-contact operations 600 And the like (average difference between the start position of the non-contact operation and the reference plane closest to the detection reference 42), and the like. The predetermined amount h may be a fixed value set in advance. In this case, the detection reference 42 moves by an amount corresponding to the addition of the predetermined amount h as a margin to the interval ΔH10. Therefore, even if the non-contact operation cannot be performed at the exact same position as the non-contact operation performed during the calibration process, if the error is within the range of the predetermined amount h, the user's non-contact operation is detected. 42 can be detected. Even if the start position or the arrival position of the user's non-contact operation varies for each operation, the user's non-contact operation can be detected by the detection reference 42. Therefore, when the value obtained by adding the predetermined amount h to the interval ΔH10 is used as the change amount, the rate at which the non-contact operation is detected by the detection reference 42 can be made higher than when the value of the interval ΔH10 is used as the change amount.
次に、所定の非接触操作６００とは異なる操作が、検出基準外４１で検出される場合を説明する。所定の非接触操作６００とは異なる操作が、検出基準外４１で検出される場合とは、所定の非接触操作６００の全てではなく、そのうちの一部分のみが、検出基準外４１で検出される場合である。
図５４は、所定の非接触操作６００Ａの一部が検出基準外４１で検出される場合の例を示したものである。図５４（ａ）において、指Ｆによる所定の非接触操作６００Ａの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４２の上部基準面４２ａよりも上方の位置で行われ、その残部が検出基準４２内で行われている。言い換えると、検出基準４２で検出された所定の非接触操作６００Ａの一部と、検出基準外４１で検出された所定の非接触操作６００Ａの一部とを合わせると、所定の非接触操作６００Ａになる。
この場合、所定の非接触操作６００Ａの一部が操作検出器１３と検出基準制御部２０４とによって、検出基準外４１で検出される。
図５４（ｂ）において、指Ｆによる所定の非接触操作６００Ａａの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４２の下部基準面４２ｂよりも下方の位置で行われ、その残部が検出基準４２内で行われている。言い換えると、検出基準４２で検出された所定の非接触操作６００Ａａの一部と、検出基準外４１で検出された所定の非接触操作６００ＡのＡａの一部とを合わせると、所定の非接触操作６００Ａａになる。
また、指Ｆによる所定の非接触操作６００Ａｂの一部、即ち距離ΔＨ１０に対応する部分が、検出基準４２の側部基準面４２ｃの外側で行われ、その残部が検出基準４２内で行われている。言い換えると、検出基準４２で検出された所定の非接触操作６００Ａｂの一部と、検出基準外４１で検出された所定の非接触操作６００Ａｂの一部とを合わせると、所定の非接触操作６００Ａｂになる。
これらの場合にも、所定の非接触操作６００Ａａの一部、またはＡｂの一部が操作検出器１３と検出基準制御部２０４とによって検出基準外４１で検出される。
Next, a case where an operation different from the predetermined non-contact operation 600 is detected outside the detection reference 41 will be described. The case where an operation different from the predetermined non-contact operation 600 is detected outside the detection reference 41 is a case where only a part of the predetermined non-contact operation 600 is detected outside the detection reference 41. It is.
FIG. 54 shows an example in which a part of the predetermined non-contact operation 600A is detected outside the detection reference 41. 54A, a part of the predetermined non-contact operation 600A by the finger F, that is, a part corresponding to the distance ΔH10 is performed at a position above the upper reference surface 42a of the detection reference 42, and the remaining part is detected. This is done within the standard 42. In other words, when a part of the predetermined non-contact operation 600A detected by the detection reference 42 and a part of the predetermined non-contact operation 600A detected by the non-detection reference 41 are combined, the predetermined non-contact operation 600A is obtained. Become.
In this case, a part of the predetermined non-contact operation 600 </ b> A is detected outside the detection reference 41 by the operation detector 13 and the detection reference control unit 204.
54B, a part of the predetermined non-contact operation 600Aa by the finger F, that is, a part corresponding to the distance ΔH10 is performed at a position below the lower reference surface 42b of the detection reference 42, and the remaining part is detected. This is done within the standard 42. In other words, when a part of the predetermined non-contact operation 600Aa detected by the detection reference 42 and a part of the predetermined non-contact operation 600A detected by the non-detection reference 41 are combined, the predetermined non-contact operation 600 Aa.
Further, a part of the predetermined non-contact operation 600Ab by the finger F, that is, a part corresponding to the distance ΔH10 is performed outside the side reference surface 42c of the detection reference 42, and the remaining part is performed in the detection reference 42. Yes. In other words, when a part of the predetermined non-contact operation 600Ab detected by the detection reference 42 and a part of the predetermined non-contact operation 600Ab detected by the non-detection reference 41 are combined, the predetermined non-contact operation 600Ab is obtained. Become.
Also in these cases, a part of the predetermined non-contact operation 600 </ b> Aa or a part of Ab is detected outside the detection reference 41 by the operation detector 13 and the detection reference control unit 204.
次に、所定の非接触操作６００と異なる操作が検出基準外４１で検出される場合におけるキャリブレーション処理を図５４を参照して説明する。
図５４（ａ）に示す所定の非接触操作６００Ａのように、所定の非接触操作６００Ａの一部が検出基準４２で行われ、その残部が上部基準面４２ａよりも上方の位置で行われた場合に関するキャリブレーション処理は、図５１の場合と同様である。即ち、距離ΔＨ１０に基づき、検出基準４２の全体を図中上方に移動する。
図５４（ｂ）に示す所定の非接触操作６００Ａａのように、所定の非接触操作６００Ａａの一部が検出基準４２で行われ、その残部が下部基準面４２ｂよりも下方の位置で行われた場合に関するキャリブレーション処理は、図５２の場合と同様である。即ち、距離ΔＨ１０に基づき、検出基準４２の全体を図中下方に移動する。
図５４（ｂ）に示す所定の非接触操作６００Ａｂのように、所定の非接触操作６００Ａｂの一部が検出基準４２で行われ、その残部が側部基準面４２ｃの外側の位置で行われた場合に関するキャリブレーション処理は、図５３の場合と同様である。即ち、距離ΔＨ１０に基づき、検出基準４２の全体を横に移動する。
Next, calibration processing when an operation different from the predetermined non-contact operation 600 is detected outside the detection reference 41 will be described with reference to FIG.
Like the predetermined non-contact operation 600A shown in FIG. 54A, a part of the predetermined non-contact operation 600A is performed on the detection reference 42, and the rest is performed at a position above the upper reference surface 42a. The calibration processing related to the case is the same as that in FIG. That is, the entire detection reference 42 is moved upward in the drawing based on the distance ΔH10.
Like the predetermined non-contact operation 600Aa shown in FIG. 54 (b), a part of the predetermined non-contact operation 600Aa was performed on the detection reference 42, and the rest was performed at a position below the lower reference surface 42b. The calibration process related to the case is the same as in the case of FIG. That is, the entire detection reference 42 is moved downward in the drawing based on the distance ΔH10.
Like the predetermined non-contact operation 600Ab shown in FIG. 54 (b), a part of the predetermined non-contact operation 600Ab is performed on the detection reference 42, and the remaining part is performed at a position outside the side reference surface 42c. The calibration process related to the case is the same as in FIG. That is, the entire detection reference 42 is moved horizontally based on the distance ΔH10.
上記説明のキャリブレーション処理について、第１のキャリブレーション処理モードを例に挙げ、図５５に示すフローチャートを参照して説明する。なお、図５５のフローチャートはステップＳ７０１〜Ｓ７０９を示し、ステップＳ７０９以降の処理は、図６のステップＳ９以降の処理と同様のためここでの記載は省略する。ステップＳ７０１〜Ｓ７０３の各処理は、図６に示したフローチャートにおけるステップＳ１〜Ｓ３の各処理と同様である。ステップＳ７０４において、操作検出器１３からの検出出力に基づいて、ユーザによる操作（より具体的にはユーザによる空中像３００のアイコン３００Ａの表示位置への操作）が所定の非接触操作であるか否かを判定する。所定の非接触操作である場合には、ステップＳ７０４が肯定判定されてステップＳ７０５へ進み、所定の非接触操作ではない場合には、ステップＳ７０４が否定判定されて肯定判定されるまで待機する。
The calibration process described above will be described with reference to the flowchart shown in FIG. 55 taking the first calibration process mode as an example. The flowchart in FIG. 55 shows steps S701 to S709, and the processing after step S709 is the same as the processing after step S9 in FIG. Each process of steps S701 to S703 is the same as each process of steps S1 to S3 in the flowchart shown in FIG. In step S704, based on the detection output from the operation detector 13, whether or not the operation by the user (more specifically, the operation to the display position of the icon 300A of the aerial image 300 by the user) is a predetermined non-contact operation. Determine whether. If the operation is a predetermined non-contact operation, an affirmative determination is made in step S704 and the process proceeds to step S705. If the operation is not a predetermined non-contact operation, the process waits until an affirmative determination is made in step S704.
ステップＳ７０５では、所定の非接触操作が検出基準４２で行われたか否かを判定する。図４９に示すように所定の非接触操作が検出基準４２で行われた場合には、ステップＳ７０５が肯定判定されて、後述するステップＳ７０８へ進む。所定の非接触操作が検出基準４２で検出されない場合、すなわち（１）所定の非接触操作の全部が検出基準外４１で検出された場合、または（２）所定の非接触操作の一部が検出基準４２で検出され他の一部が検出基準外４１で検出された場合には、ステップＳ７０５が否定判定されてステップＳ７０６へ進む。ステップＳ７０６では、所定の非接触操作と検出基準４２との位置関係に基づいて、検出基準４２の変更量を算出してステップＳ７０７へ進む。
In step S705, it is determined whether or not a predetermined non-contact operation has been performed based on the detection reference 42. As shown in FIG. 49, when the predetermined non-contact operation is performed based on the detection reference 42, an affirmative determination is made in step S705, and the process proceeds to step S708 described later. When a predetermined non-contact operation is not detected by the detection standard 42, that is, (1) when all the predetermined non-contact operations are detected outside the detection standard 41, or (2) a part of the predetermined non-contact operation is detected If the reference 42 is detected and the other part is detected outside the detection reference 41, a negative determination is made in step S705 and the process proceeds to step S706. In step S706, the change amount of the detection reference 42 is calculated based on the positional relationship between the predetermined non-contact operation and the detection reference 42, and the process proceeds to step S707.
ステップＳ７０７では、ステップＳ７０６で算出した変更量に基づいて検出基準４２の位置を変更してステップＳ７０８へ進む。ステップＳ７０８において、第１のキャリブレーション処理モードを終了して、ステップＳ７０９へ進む。ステップＳ７０９において、空中像操作モードを開始する。以上のように、ユーザの所定の非接触操作が検出基準で検出されなかった場合に、検出基準の位置が変更される。つまり、検出基準４２の上下方向の中心位置および／または左右方向の中心位置が変更される。この検出基準の位置の変更によって、ユーザにとって適した場所で操作が可能になる。また、検出基準と空中像との位置関係をユーザの操作に適した位置関係に変更することができる。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、図５５のフローチャートは第２のキャリブレーション処理モードにも適用できる。
In step S707, the position of the detection reference 42 is changed based on the change amount calculated in step S706, and the process proceeds to step S708. In step S708, the first calibration processing mode is terminated, and the process proceeds to step S709. In step S709, the aerial image operation mode is started. As described above, the position of the detection reference is changed when the predetermined non-contact operation of the user is not detected by the detection reference. That is, the vertical center position and / or the horizontal center position of the detection reference 42 is changed. By changing the position of the detection reference, an operation can be performed at a place suitable for the user. In addition, the positional relationship between the detection reference and the aerial image can be changed to a positional relationship suitable for the user's operation.
Note that, as an explanation of the calibration process, the first calibration process mode has been described as an example, but the flowchart of FIG. 55 can also be applied to the second calibration process mode.
なお、上述した第８の実施の形態では、検出基準４２は、各アイコン３０Ｄ、３０Ｅのそれぞれに対応して設定されるものとして説明したが、これに限られない。複数のアイコンに共通して検出基準４２が設定されるものであってもよいし、空中像３０の全域に１個の検出基準４２が設定されるものであってもよい。
In the above-described eighth embodiment, the detection reference 42 has been described as being set corresponding to each of the icons 30D and 30E, but is not limited thereto. The detection reference 42 may be set in common for a plurality of icons, or one detection reference 42 may be set in the entire area of the aerial image 30.
（第８の実施の形態の変形例１）
第８の実施の形態では、所定の非接触操作６００が検出された空間上での位置と検出基準４２との位置関係に基づいて、検出基準４２を上下方向および／または左右方向に変更した。すなわち検出基準４２の上下方向の中心位置および／または左右方向の中心位置を変更するものとして説明した。変形例１の表示装置１は、検出基準４２と所定の非接触操作６００との空間上における位置関係を変更する際に、検出基準４２の幅Ｄ１の大きさを変更してもよい。たとえば、図５０（ａ）に示すように、所定の非接触操作６００Ａが検出基準４２の上方の検出基準外４１で検出された場合には、下部基準面４２ｂの位置を変更することなく、上部基準面４２ａのみを変更量ΔＨ１０だけ上方に変更してもよい。すなわち、検出基準４２の幅Ｄ１を変更することにより、検出基準４２の上下方向の中心位置を変更しても良い。または、上部基準面４２ａを変更量ΔＨ１０だけ上方に変更し、下部基準面４２ｂを変更量ΔＨ１０だけ下方に変更してもよい。すなわち、検出基準４２の幅Ｄ１を上下方向に同一の変更量ΔＨ１０にて変更することにより、検出基準４２の上下方向の中心位置を変更することなく検出基準４２を変更しても良い。なお、図５０（ｂ）に示すように、検出基準４２の下方に所定の非接触操作６００Ａａが検出された場合には、下部基準面４２ｂの位置を変更量ΔＨ１０だけ下方に変更しても良いし、下部基準面４２ｂの位置を変更量ΔＨ１０だけ下方に変更するとともに上部基準面４２ａの位置を変更量ΔＨ１０だけ上方に変更しても良い。なお、検出基準４２の右側に所定の非接触操作６００Ａｂが検出された場合にも、同様に左右方向に側部基準面４２ｃの位置を変更しても良い。すなわち、検出基準４２の左右方向の中心位置を変更して検出基準４２を変更しても良いし、中心位置を変更することなく検出基準４２の幅を変更するようにしても良い。
(Modification 1 of 8th Embodiment)
In the eighth embodiment, the detection reference 42 is changed in the vertical direction and / or the horizontal direction based on the positional relationship between the position in the space where the predetermined non-contact operation 600 is detected and the detection reference 42. That is, the description has been given assuming that the vertical center position and / or the horizontal center position of the detection reference 42 is changed. The display device 1 of Modification 1 may change the size of the width D1 of the detection reference 42 when changing the positional relationship between the detection reference 42 and the predetermined non-contact operation 600 in the space. For example, as shown in FIG. 50 (a), when a predetermined non-contact operation 600A is detected outside the detection reference 41 above the detection reference 42, the position of the lower reference surface 42b is not changed. Only the reference plane 42a may be changed upward by the change amount ΔH10. That is, the vertical center position of the detection reference 42 may be changed by changing the width D1 of the detection reference 42. Alternatively, the upper reference surface 42a may be changed upward by the change amount ΔH10, and the lower reference surface 42b may be changed downward by the change amount ΔH10. That is, the detection reference 42 may be changed without changing the center position of the detection reference 42 in the vertical direction by changing the width D1 of the detection reference 42 in the vertical direction with the same change amount ΔH10. As shown in FIG. 50B, when a predetermined non-contact operation 600Aa is detected below the detection reference 42, the position of the lower reference surface 42b may be changed downward by the change amount ΔH10. Then, the position of the lower reference surface 42b may be changed downward by the change amount ΔH10 and the position of the upper reference surface 42a may be changed upward by the change amount ΔH10. Even when a predetermined non-contact operation 600Ab is detected on the right side of the detection reference 42, the position of the side reference surface 42c may be similarly changed in the left-right direction. That is, the detection reference 42 may be changed by changing the horizontal center position of the detection reference 42, or the width of the detection reference 42 may be changed without changing the center position.
（第８の実施の形態の変形例２）
変形例２の表示装置１について説明する。変形例２の表示装置１は、キャリブレーション処理のときに行われた所定の非接触操作６００が検出基準外４１で検出された場合、所定の非接触操作６００と検出基準４２との距離が所定の値以下の場合に、検出基準４２を変更する。図５０（ａ）に示すように所定の非接触操作６００Ａが検出基準４２の上方の検出基準外４１で検出された場合を例に挙げる。この場合、間隔ΔＨ１０が所定の値以下であると判定されると、すなわち所定の非接触操作６００Ａが検出基準４２の近傍にて行われたと判定されると、表示装置１はユーザが空中像の表示位置への操作を行う意図を有していたものと見なし、検出基準４２を変更する。間隔ΔＨ１０が所定の値より大きいと判定されると、すなわち所定の非接触操作６００Ａが検出基準４２から遠く離れた位置にて行われたと判定されると、表示装置１はユーザが空中像の表示位置への操作を行う意図を有していなかった、誤操作であった、または操作を途中で中断したものと見なし、検出基準４２を変更しない。
(Modification 2 of the eighth embodiment)
A display device 1 of Modification 2 will be described. When the predetermined non-contact operation 600 performed at the time of the calibration process is detected outside the detection reference 41, the display device 1 according to the second modification has a predetermined distance between the predetermined non-contact operation 600 and the detection reference 42. If the value is equal to or less than the value, the detection reference 42 is changed. As an example, a case where a predetermined non-contact operation 600A is detected outside the detection reference 41 above the detection reference 42 as shown in FIG. In this case, when it is determined that the interval ΔH10 is equal to or smaller than the predetermined value, that is, when it is determined that the predetermined non-contact operation 600A is performed in the vicinity of the detection reference 42, the display device 1 causes the user to display the aerial image. The detection reference 42 is changed by assuming that the user intends to operate the display position. When it is determined that the interval ΔH10 is greater than the predetermined value, that is, when it is determined that the predetermined non-contact operation 600A is performed at a position far from the detection reference 42, the display device 1 causes the user to display an aerial image. The detection reference 42 is not changed because the operation is not intended to be performed on the position, the operation is erroneous, or the operation is interrupted.
また、図５４に示すように、所定の非接触操作６００Ａの一部が検出基準外４１で検出される場合に、検出基準外４１にて検出された所定の非接触操作６００の一部の空間上の位置と検出基準４２との距離に基づいて、検出基準４２の位置を変更しても良い。たとえば、図５４（ａ）に示すように検出基準４２の上面基準面４２ａよりも上方で検出された非接触操作６００の一部、すなわち距離ΔＨ１０が所定の閾値以下か否かが判定される。距離ΔＨ１０が所定の閾値以下の場合には、図５６（ａ）に示すように、指Ｆの所定の非接触操作６００Ａの全体が検出基準４２で行われたものではないものの、所定の非接触操作６００Ａの大部分が検出基準４２で行われる。この場合、表示装置１は、ユーザが空中像の表示位置への操作を行う意図を有していたものと見なし、検出基準４２の位置が変更される。距離ΔＨ１０が所定の閾値を超える場合には、図５６（ｂ）に示すように、所定の非接触操作６００Ａの大部分が検出基準外４１で行われる。この場合、表示装置１はユーザが空中像の表示位置への操作を行う意図を有していなかった、誤操作であった、または操作を途中で中断したものと見なし、検出基準４２の位置を変更しない。
Further, as shown in FIG. 54, when a part of the predetermined non-contact operation 600A is detected outside the detection reference 41, a part of the space of the predetermined non-contact operation 600 detected outside the detection reference 41 The position of the detection reference 42 may be changed based on the distance between the upper position and the detection reference 42. For example, as shown in FIG. 54A, it is determined whether or not a part of the non-contact operation 600 detected above the upper surface reference surface 42a of the detection reference 42, that is, the distance ΔH10 is equal to or smaller than a predetermined threshold value. When the distance ΔH10 is equal to or smaller than the predetermined threshold, the entire predetermined non-contact operation 600A of the finger F is not performed based on the detection reference 42 as shown in FIG. Most of the operation 600A is performed on the detection reference 42. In this case, the display device 1 assumes that the user intended to operate the display position of the aerial image, and the position of the detection reference 42 is changed. When the distance ΔH10 exceeds the predetermined threshold value, most of the predetermined non-contact operation 600A is performed outside the detection reference 41 as shown in FIG. 56 (b). In this case, the display device 1 considers that the user did not intend to perform the operation to the display position of the aerial image, was an erroneous operation, or interrupted the operation, and changed the position of the detection reference 42. do not do.
（第８の実施の形態の変形例３）
第８の実施の形態の変形例３は、第１の実施の形態の変形例１のように、操作検出器１３の検出出力に基づき、ユーザの指先の速度あるいは加速度を算出し、算出した速度または加速度に基づき検出基準４２の位置を変更するものであってもよい。すなわち、所定の非接触操作６００の少なくとも一部の速さに基づいて、特に、所定の非接触操作６００の一部の速さが所定値よりも小さい場合に検出基準４２を変更する。図５７は変形例３の表示装置１のうち、制御部２０と、制御部２０によって制御される表示器１１および操作検出器１３とを示したブロック図である。
ここで所定の非接触操作６００の少なくとも一部の速さ、とは、所定の非接触操作６００のうち少なくとも一部の操作の速さ、を示すものである。所定の非接触操作６００のうちの少なくとも一部の操作、とは、例えば、所定の非接触操作６００が検出基準外４１の位置から検出基準４２に向けて操作された後、引き続き引き返す操作（所定の非接触操作６００Ａ）である場合において、その操作が検出基準外４１から検出基準４２に向かう際の少なくとも一部区間の操作を示す。あるいは、所定の非接触操作６００が検出基準４２のある位置から検出基準４２の一端に向けて操作された後、引き続き引き返す操作（所定の非接触操作６００Ａ）である場合において、その一端に向かう際の少なくとも一部区間を示す。
なお、所定の非接触操作６００の全操作（例えば所定の非接触操作６００Ａにおける下降開始してから引き続き上昇し終えるまでの操作）における速度（加速度）をモニターし、その速度（加速度）の平均値を算出して、その平均値に基づいて操作の強弱を判断し、次回以降の操作検出の際に検出基準４２を変更するようにしてもよい。例えば、操作速度が平均的に速い場合には検出基準４２を突き抜ける可能性があるので、次回以降の検出基準４２の幅を広げるよう制御してもよい。
(Modification 3 of the eighth embodiment)
In the third modification of the eighth embodiment, the speed or acceleration of the user's fingertip is calculated based on the detection output of the operation detector 13 as in the first modification of the first embodiment. Alternatively, the position of the detection reference 42 may be changed based on the acceleration. That is, based on the speed of at least a part of the predetermined non-contact operation 600, the detection reference 42 is changed particularly when the speed of a part of the predetermined non-contact operation 600 is smaller than a predetermined value. FIG. 57 is a block diagram showing the control unit 20, the display 11 and the operation detector 13 controlled by the control unit 20 in the display device 1 of the third modification.
Here, the speed of at least a part of the predetermined non-contact operation 600 indicates the speed of at least a part of the predetermined non-contact operation 600. The operation of at least a part of the predetermined non-contact operation 600 is, for example, an operation (predetermined) after the predetermined non-contact operation 600 is operated from the position outside the detection reference 41 toward the detection reference 42. In the case of the non-contact operation 600A), the operation of at least a part of the operation when the operation is directed from the detection reference non-41 to the detection reference 42 is shown. Alternatively, when the predetermined non-contact operation 600 is an operation that is operated from a position where the detection reference 42 is located toward one end of the detection reference 42 and then is subsequently turned back (predetermined non-contact operation 600A), Indicates at least a partial section.
It should be noted that the speed (acceleration) in all the operations of the predetermined non-contact operation 600 (for example, the operation from the start of the descent in the predetermined non-contact operation 600A until the completion of the subsequent increase) is monitored, and the average value of the speeds (acceleration) May be calculated, the strength of the operation may be determined based on the average value, and the detection reference 42 may be changed when the operation is detected next time. For example, when the operation speed is high on average, there is a possibility of penetrating the detection standard 42, so that the width of the detection standard 42 after the next time may be increased.
図５７に示す速度・加速度検出部２０６は、第１の実施の形態の変形例１と同様に、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出する。また、算出した速度から指の移動加速度を算出し、所定値を超えるか否かを判定する。操作予測部２１１は、速度・加速度検出部２０６により算出された移動速度および／または移動加速度が所定値以下の場合には、速度・加速度検出器２０６から出力される指の移動速度または加速度に基づき、指Ｆの移動軌跡を算出、すなわち予測する。検出基準制御部２０４は、操作予測部２１１により予測された指Ｆの移動軌跡に基づいて、検出基準４２を変更する。すなわち、予測された指Ｆの移動軌跡が検出基準４２にない場合、所定の非接触操作６００は検出基準４２で検出されないと判断する。その場合、第８の実施の形態の場合と同様にして、算出した変更量ΔＨ１０にて検出基準４２を変更する。また、予測された指Ｆの移動軌跡が検出基準４２にある場合、所定の非接触操作６００は検出基準４２で検出されると判断し、検出基準４２を変更しない。
また、操作予測部２１１は、速度・加速度検出部２０６により算出された移動速度および／または移動加速度が所定値以上の場合に、指Ｆの移動軌跡を予測し、検出基準４２を変更してもよい。即ち、指Ｆの移動速度および／または移動加速度が所定値以上の場合に予測された指Ｆの移動軌跡が、検出基準４２にない場合、所定の非接触操作６００は検出基準４２で検出されないと判断する。その場合、第８の実施の形態の場合と同様にして、算出した変更量ΔＨ１０にて検出基準４２を変更する。
As in the first modification of the first embodiment, the speed / acceleration detection unit 206 shown in FIG. 57 reads out the capacitance value detected by the operation detector 13 at predetermined time intervals. The moving speed of the finger is calculated from the change in capacitance value. Further, the moving acceleration of the finger is calculated from the calculated speed, and it is determined whether or not the predetermined value is exceeded. When the movement speed and / or movement acceleration calculated by the speed / acceleration detection unit 206 is equal to or less than a predetermined value, the operation prediction unit 211 is based on the finger movement speed or acceleration output from the speed / acceleration detector 206. The movement trajectory of the finger F is calculated, that is, predicted. The detection reference control unit 204 changes the detection reference 42 based on the movement trajectory of the finger F predicted by the operation prediction unit 211. That is, when the predicted movement trajectory of the finger F is not in the detection criterion 42, it is determined that the predetermined non-contact operation 600 is not detected by the detection criterion 42. In that case, as in the case of the eighth embodiment, the detection reference 42 is changed with the calculated change amount ΔH10. Further, when the predicted movement trajectory of the finger F is in the detection criterion 42, it is determined that the predetermined non-contact operation 600 is detected by the detection criterion 42, and the detection criterion 42 is not changed.
Further, the operation prediction unit 211 predicts the movement trajectory of the finger F and changes the detection reference 42 when the movement speed and / or movement acceleration calculated by the speed / acceleration detection unit 206 is equal to or greater than a predetermined value. Good. That is, if the detection path 42 does not have the movement trajectory of the finger F predicted when the movement speed and / or movement acceleration of the finger F is greater than or equal to a predetermined value, the predetermined non-contact operation 600 is not detected by the detection reference 42. to decide. In that case, as in the case of the eighth embodiment, the detection reference 42 is changed with the calculated change amount ΔH10.
次に、変形例３の表示装置１による第１のキャリブレーション処理モードを図５８及び図５９を参照して説明する。図５９のフローチャートにおいて、ステップＳ７６４からステップＳ７６６は、図５６のフローチャートと同一であるので、説明を省略する。図５８（ａ）に示したように、指Ｆが操作検出器１３の所定の検出範囲１３Ａ内に入ると、ステップＳ７６４において操作検出器１３が指Ｆの移動を静電容量値の変化として検出する。ステップＳ７６５では、速度・加速度検出部２０６が操作検出器１３の検出出力に基づき指先Ｆの移動速度及び加速度を算出する。ステップＳ７６５で、操作予測部２１１が速度・加速度検出部２０６によって算出された移動速度及び加速度が第１所定値以上第２所定値以下であるか否かを判定する。第１所定値は、検出基準４２の上方からの下方への指Ｆの移動が上部基準面４２ａに届かないことが予測される速度および加速度に対応して決定され、第２所定値は第１所定値よりも大きな値であって、指Ｆの下方への移動が下部基準面４２ｂを通過することが予測される速度および加速度に対応して決定されている。指先Ｆの移動速度及び加速度が第１所定値以上第２所定値以下の場合には、ステップＳ７６５が肯定判定されてステップＳ７７０へ進む。指Ｆの移動速度及び加速度が第１所定値より小さいまたは第２所定値より大きい場合には、ステップＳ７６５が否定判定されてステップＳ７６７へ進む。
Next, a first calibration processing mode by the display device 1 according to the third modification will be described with reference to FIGS. In the flowchart of FIG. 59, steps S764 to S766 are the same as those in the flowchart of FIG. As shown in FIG. 58A, when the finger F enters the predetermined detection range 13A of the operation detector 13, the operation detector 13 detects the movement of the finger F as a change in capacitance value in step S764. To do. In step S765, the speed / acceleration detection unit 206 calculates the moving speed and acceleration of the fingertip F based on the detection output of the operation detector 13. In step S765, the operation predicting unit 211 determines whether or not the moving speed and acceleration calculated by the speed / acceleration detecting unit 206 are not less than a first predetermined value and not more than a second predetermined value. The first predetermined value is determined corresponding to the speed and acceleration at which the movement of the finger F from the upper side to the lower side of the detection reference 42 is predicted not to reach the upper reference surface 42a, and the second predetermined value is the first predetermined value. The value is larger than the predetermined value, and is determined in correspondence with the speed and acceleration at which the downward movement of the finger F is predicted to pass through the lower reference surface 42b. When the moving speed and acceleration of the fingertip F are not less than the first predetermined value and not more than the second predetermined value, an affirmative determination is made in step S765 and the process proceeds to step S770. If the moving speed and acceleration of the finger F are smaller than the first predetermined value or larger than the second predetermined value, a negative determination is made in step S765 and the process proceeds to step S767.
ステップＳ７６７では、操作予測部２１１が速度・加速度検出部２０６が算出した移動速度及び加速度に基づき指先Ｆの移動軌跡を算出する。図５８（ｂ）において、移動速度、移動加速度が第１所定値以下の場合に操作予測部２１１が算出した、即ち予測した指Ｆの移動軌跡を破線６００Ａｃで示す。ステップＳ７６８において、検出基準制御部２０４は、図５１に示した場合と同様にして検出基準４２の変更量ΔＨ１０を算出し、検出基準４２を変更する。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。
なお、キャリブレーション処理の説明として第１のキャリブレーション処理モードを例として説明したが、第２のキャリブレーション処理モードにも適用できる。
In step S767, the operation prediction unit 211 calculates the movement locus of the fingertip F based on the movement speed and acceleration calculated by the speed / acceleration detection unit 206. In FIG. 58B, the movement trajectory of the finger F calculated by the operation prediction unit 211 when the movement speed and the movement acceleration are equal to or less than the first predetermined value, that is, the predicted movement path of the finger F is indicated by a broken line 600Ac. In step S768, the detection reference control unit 204 calculates the change amount ΔH10 of the detection reference 42 and changes the detection reference 42 in the same manner as shown in FIG. In order to predict the reaching position of the finger, both the moving speed and acceleration of the finger may be used, or one of them may be used.
Note that the first calibration process mode has been described as an example of the calibration process, but the present invention can also be applied to the second calibration process mode.
なお、上述の説明では、操作予測部２１１が指先Ｆの移動軌跡を算出するものとしたが、移動軌跡を算出しなくても良い。即ち、表示装置１の制御部２０は操作予測部２１１を備えず、速度・加速度検出部２０６によって算出された移動速度および移動加速度が所定値以下の場合には、予め決められた変更量だけ検出基準４２を変更しても良い。例えば、検出基準４２より所定距離だけ上の位置で、移動速度または移動加速度を検出し、検出された移動速度または移動加速度が所定値以下の場合には、指Ｆが検出基準４２に到達しないと予測し、検出基準４２を変更する。
また、なお、上述の説明では、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出したが、この方法に限られず、速度・加速度検出部２０６として撮像装置を用いてもよい。また、上述の説明では、ユーザの指の移動速度または加速度を算出したが、そのほかに、ユーザの足や肘、ユーザが所持しているスタイラスペンであってもよい。
In the above description, the operation prediction unit 211 calculates the movement trajectory of the fingertip F. However, the movement trajectory need not be calculated. That is, the control unit 20 of the display device 1 does not include the operation prediction unit 211, and detects only a predetermined change amount when the movement speed and the movement acceleration calculated by the speed / acceleration detection unit 206 are equal to or less than a predetermined value. The reference 42 may be changed. For example, if the moving speed or moving acceleration is detected at a position a predetermined distance above the detection reference 42 and the detected moving speed or moving acceleration is equal to or less than a predetermined value, the finger F must reach the detection reference 42. Predict and change detection criteria 42.
In the above description, the speed / acceleration detection unit 206 reads the capacitance value detected by the operation detector 13 every predetermined time, and specifies the change from the change in the capacitance value per predetermined time. The movement acceleration of the finger is calculated from the calculated speed. However, the present invention is not limited to this method, and an imaging device may be used as the speed / acceleration detection unit 206. In the above description, the movement speed or acceleration of the user's finger is calculated. However, the user's foot or elbow, or a stylus pen possessed by the user may be used.
（第８の実施の形態の変形例４）
第８の実施の形態およびその変形例１〜３に係る表示装置１は、一回のキャリブレーション処理において、所定の非接触操作６００Ａの空間上の位置と検出基準４２との位置関係に基づいて、検出基準４２の位置を変更した。即ち、１回のユーザ操作で、１回のキャリブレーション処理を行った。変形例４に係る表示装置１は、複数回のユーザ操作で、１回のキャリブレーション処理を行う。つまり、所定の非接触操作６００Ａが検出基準外４１で検出された回数又は所定の非接触操作６００Ａが検出基準４２で検出された回数に基づいて検出基準４２を変更する。
(Modification 4 of the eighth embodiment)
The display device 1 according to the eighth embodiment and the first to third modifications thereof is based on the positional relationship between the position of the predetermined non-contact operation 600A in space and the detection reference 42 in one calibration process. The position of the detection reference 42 was changed. That is, one calibration process was performed by one user operation. The display device 1 according to the modification 4 performs one calibration process by a plurality of user operations. That is, the detection reference 42 is changed based on the number of times that the predetermined non-contact operation 600A is detected outside the detection reference 41 or the number of times that the predetermined non-contact operation 600A is detected on the detection reference 42.
第１回目のユーザ操作において検出基準制御部２０４は、操作検出器１３の検出出力に基づき指Ｆが所定の非接触操作６００Ａを行ったか否かを判定し、所定の非接触操作６００Ａが行われたことを検出した場合にはその所定の非接触操作６００Ａが行われた空間上の位置を検出する。所定の非接触操作６００Ａが検出基準４２で行われたことを検出した場合には、検出基準制御部２０４は、第１回目のキャリブレーション処理は成功と判定し記憶部２０５に判定結果を記憶する。所定の非接触操作６００Ａが検出基準外４１で検出された場合には、検出基準制御部２０４は、第１回目のユーザ操作は失敗と判定し、第８の実施の形態と同様にして変更量ΔＨ１０を算出し、記憶部２０５に判定結果と変更量ΔＨ１０とを記憶する。引き続き、第２回目のユーザ操作において、操作成功または失敗の判定結果および／または変更量ΔＨ１０が記憶部２０５に記憶される。更に、引き続き第３回目のユーザ操作において、処理を行っても良い。
In the first user operation, the detection reference control unit 204 determines whether or not the finger F has performed the predetermined non-contact operation 600A based on the detection output of the operation detector 13, and the predetermined non-contact operation 600A is performed. If it is detected, the position on the space where the predetermined non-contact operation 600A is performed is detected. When it is detected that the predetermined non-contact operation 600A is performed based on the detection reference 42, the detection reference control unit 204 determines that the first calibration process is successful and stores the determination result in the storage unit 205. . When the predetermined non-contact operation 600A is detected outside the detection reference 41, the detection reference control unit 204 determines that the first user operation has failed, and the amount of change is the same as in the eighth embodiment. ΔH10 is calculated, and the determination result and the change amount ΔH10 are stored in the storage unit 205. Subsequently, in the second user operation, the operation success or failure determination result and / or the change amount ΔH10 is stored in the storage unit 205. Furthermore, processing may be performed in the third user operation.
上記のように、連続的に行われた複数回のユーザ操作において記憶部２０５に記憶された上述の複数の判定結果および／または変更量ΔＨ１０に基づいて検出基準４２を変更する。これら複数回のユーザ操作の判定結果および／または変更量ΔＨ１０に基づいて検出基準４２の変更を行うか否かを決定するには、種々の方法が考えられる。たとえば、連続した複数回のユーザ操作において、判定結果として失敗が記憶部２０５に連続で記憶されている場合、検出基準４２を変更する。具体的には、第１回目のユーザ操作と第２回目のユーザ操作とが共に失敗と判定されている場合に、検出基準４２を変更する。第１回目のユーザ操作は成功と判定され、第２回目のユーザ操作と第３回目のユーザ操作とが失敗と判定された場合に、検出基準４２を変更してもよい。また、複数回のユーザ操作のうち失敗と判定されたユーザ操作が所定回以上存在する場合に、検出基準４２を変更しても良い。具体的には、１０回のユーザ操作のうち、５回以上のユーザ操作が失敗と判定された場合に、検出基準４２を変更する。この場合、５回目にユーザ操作が失敗と判定された時点（失敗判定が５回累積された時点）で検出基準４２を変更してもよいし、１０回のユーザ操作の全てが終了した後、検出基準４２を変更しても良い。なお、検出基準外４１で所定の非接触操作６００Ａが検出される頻度が高い場合には、検出基準４２を変更する頻度を高くしても良い。即ち、１０回のユーザ操作のうち５回以上のユーザ操作が失敗と判定された場合に、検出基準４２を変更すると設定されている場合に、１０回のユーザ操作のうち８回のユーザ操作が失敗と判定されたとする。その場合には、次回以降は、５回のユーザ操作のうち３回以上のユーザ操作が失敗と判定された場合に検出基準４２を変更するようにしても良い。
As described above, the detection reference 42 is changed based on the plurality of determination results and / or the change amount ΔH10 stored in the storage unit 205 in a plurality of user operations performed continuously. Various methods are conceivable to determine whether or not to change the detection reference 42 based on the determination results of the plurality of user operations and / or the change amount ΔH10. For example, when failure is continuously stored in the storage unit 205 as a determination result in a plurality of consecutive user operations, the detection reference 42 is changed. Specifically, the detection reference 42 is changed when it is determined that both the first user operation and the second user operation have failed. When the first user operation is determined to be successful and the second user operation and the third user operation are determined to be unsuccessful, the detection criterion 42 may be changed. In addition, the detection reference 42 may be changed when a user operation determined to have failed among a plurality of user operations exists more than a predetermined number of times. Specifically, the detection reference 42 is changed when it is determined that five or more user operations have failed among ten user operations. In this case, the detection reference 42 may be changed when the user operation is determined to be failed for the fifth time (when the failure determination is accumulated five times), or after all the ten user operations are completed, The detection reference 42 may be changed. In addition, when the frequency with which the predetermined non-contact operation 600A is detected outside the detection standard 41 is high, the frequency of changing the detection standard 42 may be increased. That is, if it is determined that the detection reference 42 is changed when it is determined that five or more user operations have failed among the ten user operations, eight user operations out of the ten user operations are performed. Suppose that it is determined to have failed. In that case, after the next time, the detection reference 42 may be changed when it is determined that three or more of the five user operations have failed.
複数回のユーザ操作の結果を用いて検出基準４２を変更する場合、変更量ΔＨ１０は、第１の実施の形態の変形例２にて検出基準を決定する際の算出方法と同様の処理を行えば良い。すなわち、失敗判定が成されたユーザ操作にて算出された変更量を相加平均や相乗平均することにより、一つの変更量ΔＨ１０が算出されれば良い。この場合も、第１の実施の形態の変形例２にて説明したように、適当な重み付けを行って新たな変更量ΔＨ１０を算出することができる。
なお、複数回のユーザ操作の結果に基づいて検出基準４２を変更する場合、それぞれのユーザ操作にて算出された変更量ΔＨ１０の相加平均や相乗平均の値が所定の閾値を超える場合や、それぞれのユーザ操作にて算出された変更量ΔＨ１０が増加傾向にある場合に、検出基準４２を変更しても良い。
When the detection reference 42 is changed using the result of a plurality of user operations, the change amount ΔH10 is processed in the same manner as the calculation method when determining the detection reference in the second modification of the first embodiment. Just do it. That is, it is only necessary to calculate one change amount ΔH10 by arithmetically averaging or geometrically averaging the change amounts calculated by the user operation for which the failure determination has been made. Also in this case, as described in the second modification of the first embodiment, a new change amount ΔH10 can be calculated by performing appropriate weighting.
In addition, when changing the detection reference 42 based on the result of a plurality of user operations, when the arithmetic average or geometric mean value of the change amount ΔH10 calculated by each user operation exceeds a predetermined threshold, When the change amount ΔH10 calculated by each user operation tends to increase, the detection reference 42 may be changed.
なお、以上の説明では、所定の非接触操作６００Ａが検出基準外４１で検出された場合の回数に基づいて検出基準４２の位置を変更する例を挙げたが、所定の非接触操作６００Ａと異なる操作、すなわち所定の非接触操作６００Ａの一部が検出基準外４１で検出されたときのユーザ操作も失敗と見なしても良い。すなわち、複数回のユーザ操作のうち、連続して所定の非接触操作６００Ａの一部が検出基準外４１で検出された場合や、所定の非接触操作６００Ａの一部が検出基準外４１で所定回以上検出された場合も、検出基準４２が変更されても良い。
In the above description, the example in which the position of the detection reference 42 is changed based on the number of times when the predetermined non-contact operation 600A is detected outside the detection reference 41 has been described, but is different from the predetermined non-contact operation 600A. An operation, that is, a user operation when a part of the predetermined non-contact operation 600 </ b> A is detected outside the detection reference 41 may also be regarded as a failure. That is, among a plurality of user operations, when a part of the predetermined non-contact operation 600A is continuously detected outside the detection reference 41, or a part of the predetermined non-contact operation 600A is predetermined outside the detection reference 41 The detection reference 42 may be changed also when detected more than once.
（第８の実施の形態の変形例５）
上述の第８の実施の形態では、所定の非接触操作６００は、ユーザが表示位置１に向けて指Ｆを押し込む操作であった。例えば、図４８（ａ）に示すような指ＦがＵターンする操作であったが、これに限られない。所定の非接触操作６００は、表示位置において三本の指を出すことでもよいし、身体の前において指Ｆの表示位置１への移動動作であってもよい。また、所定の非接触操作６００は指Ｆの移動が所定の時間、例えば２０秒間停止する動作であってもよい。
上述の実施の形態では、検出基準制御部２０４が、所定の非接触操作６００が行われたか否かを、操作検出器１３の検出出力に基づき判定した。ところが、ユーザによっては、所定の非接触操作６００を正確に行わない場合、または上手く行うことができない場合がある。例えば、所定の非接触操作６００が、指の１０ｃｍの下降移動とそれに引き続く１０ｃｍの上昇移動である場合に、ユーザによっては、非接触操作として、指の５ｃｍの下降移動とそれに引き続く５ｃｍの上昇移動と、を行う場合がある。また、所定の非接触操作６００が表示位置１において三本の指を出すことである場合に、ユーザによっては三本目の指が上手く開かず、二本の指を出すことがある。また、所定の非接触操作６００が身体の前において指Ｆの表示位置への移動動作である場合に、ユーザによっては身体の横で指Ｆの表示位置への移動を行う場合がある。また、所定の非接触操作６００は指Ｆの移動が所定の時間、例えば２０秒間停止するである場合に、ユーザによっては２０秒に達する前に、例えば１５秒程度で指を動かしてしまう場合がある。
このような場合、例えば検出基準４２の中心位置や検出幅を変更することによって、ユーザ操作の全てを検出基準４２で検出できるようにしていたとしても、ユーザの実行している操作自体（ユーザの操作として検出される検出値自体）が「所定の非接触操作６００」（所定の非接触操作６００を示す基準値）と一致しなければ、たとえ検出基準４２（上述のような位置や幅）を設定（変更）したとしても、ユーザ操作を認識できない。このような場合、検出基準４２の変更として、所定の非接触操作６００を示す基準値を変更することによって、ユーザの操作を所定の非接触操作６００である、と認識することができる。
(Modification 5 of the eighth embodiment)
In the above-described eighth embodiment, the predetermined non-contact operation 600 is an operation in which the user pushes the finger F toward the display position 1. For example, the finger F is U-turned as shown in FIG. 48A, but the present invention is not limited to this. The predetermined non-contact operation 600 may be a case where three fingers are put out at the display position, or a movement operation of the finger F to the display position 1 in front of the body. Further, the predetermined non-contact operation 600 may be an operation in which the movement of the finger F stops for a predetermined time, for example, 20 seconds.
In the above-described embodiment, the detection reference control unit 204 determines whether or not the predetermined non-contact operation 600 has been performed based on the detection output of the operation detector 13. However, depending on the user, the predetermined non-contact operation 600 may not be performed accurately or may not be performed successfully. For example, when the predetermined non-contact operation 600 is a downward movement of 10 cm of the finger and a subsequent upward movement of 10 cm, depending on the user, as a non-contact operation, the downward movement of the finger by 5 cm and the subsequent upward movement of 5 cm are performed. And sometimes do. Further, when the predetermined non-contact operation 600 is to put out three fingers at the display position 1, depending on the user, the third finger may not be opened well and two fingers may be put out. Further, when the predetermined non-contact operation 600 is a movement operation to the display position of the finger F in front of the body, the user may move to the display position of the finger F on the side of the body. In addition, when the movement of the finger F is stopped for a predetermined time, for example, 20 seconds, the predetermined non-contact operation 600 may cause the user to move the finger in about 15 seconds before reaching 20 seconds. is there.
In such a case, for example, by changing the center position and detection width of the detection reference 42, even if all the user operations can be detected by the detection reference 42, the operation performed by the user itself (the user's operation) If the detection value itself detected as an operation) does not match the “predetermined non-contact operation 600” (a reference value indicating the predetermined non-contact operation 600), even if the detection reference 42 (position and width as described above) is used. Even if it is set (changed), the user operation cannot be recognized. In such a case, the user's operation can be recognized as the predetermined non-contact operation 600 by changing the reference value indicating the predetermined non-contact operation 600 as the change of the detection reference 42.
従って、ユーザが或る非接触操作を行った時に、その或る非接触操作が所定の非接触操作６００と同一ではないが、所定の非接触操作６００と類似の動作、または紛らわしい動作等である場合には、表示装置１は、ユーザが、所定の非接触操作６００を行っていると推測する。そして、表示装置１は、自身が記憶している、所定の非接触操作６００を示す基準値（所定の非接触操作６００の定義）を、ユーザの行っている操作そのもの（ユーザの操作として検出される検出値）に変更（更新）する。例えば、検出基準制御部２０４は、ユーザの非接触操作を検出し、検出したユーザの非接触操作の検出値と、所定の非接触操作６００を示す予め記憶されている基準値とを比較する。所定の非接触操作６００を示す基準値とは、表示装置１に予め記憶されている所定の非接触操作６００の定義やテンプレート等を示すものである。比較の結果、両者の類似度が所定の閾値を越えるとき、所定の非接触操作６００の基準値（予め記憶されている値）を、検出したユーザの非接触操作の検出値に基づいて変更する。これにより、ユーザの行っている非接触操作で操作が利くようにする。例えば、所定の非接触操作６００を示す基準値として、「指Ｆが１０ｃｍ下降する」ことを示す値が記憶されているとする。指Ｆが５ｃｍしか下降していないことを検出した場合、所定の非接触操作６００を示す基準値を「指Ｆが５ｃｍ下降する」ことを示す値に変更する。このように、所定の非接触操作６００を示す基準値を変更することで、所定の非接触操作６００と類似している非接触操作でも操作できるようになる。また、所定の非接触操作６００の基準値を、ユーザの非接触操作の操作量が少なくても操作が利くように変更することで、ユーザの操作の負担を軽減できる。
Accordingly, when the user performs a certain non-contact operation, the certain non-contact operation is not the same as the predetermined non-contact operation 600, but is an operation similar to the predetermined non-contact operation 600 or a confusing operation. In this case, the display device 1 estimates that the user is performing a predetermined non-contact operation 600. Then, the display device 1 detects the reference value (definition of the predetermined non-contact operation 600) stored in the display device 1 as the operation performed by the user (user operation). Change (update). For example, the detection reference control unit 204 detects the non-contact operation of the user, and compares the detected detection value of the non-contact operation of the user with a reference value stored in advance indicating the predetermined non-contact operation 600. The reference value indicating the predetermined non-contact operation 600 indicates the definition or template of the predetermined non-contact operation 600 stored in advance in the display device 1. As a result of comparison, when the similarity between the two exceeds a predetermined threshold, the reference value (prestored value) of the predetermined non-contact operation 600 is changed based on the detected value of the detected non-contact operation of the user. . As a result, the user can operate with a non-contact operation performed by the user. For example, it is assumed that a value indicating that “finger F is lowered by 10 cm” is stored as a reference value indicating a predetermined non-contact operation 600. When it is detected that the finger F is only lowered by 5 cm, the reference value indicating the predetermined non-contact operation 600 is changed to a value indicating that the finger F is lowered by 5 cm. In this way, by changing the reference value indicating the predetermined non-contact operation 600, it is possible to operate even with a non-contact operation similar to the predetermined non-contact operation 600. Further, by changing the reference value of the predetermined non-contact operation 600 so that the operation works even if the operation amount of the non-contact operation of the user is small, it is possible to reduce the burden on the user's operation.
また、所定の非接触操作を示す基準値として「身体の「前で」指を１０ｃｍ下降移動しそれに引き続き１０ｃｍ上昇移動する」という動作を示す値が記憶されているとする。ユーザが身体の「横で」指を１０ｃｍ下降移動しそれに引き続き１０ｃｍ上昇移動している場合、上記の所定の非接触操作６００を示す基準値を「身体の横で指を１０ｃｍ下降移動しそれに引き続き１０ｃｍ上昇移動する」という動作を示す値に変更する。これによって、身体の横で指を１０ｃｍ下降移動しそれに引き続き１０ｃｍ上昇移動する動作で表示装置１を操作できるようになる。
なお、ユーザの複数の操作に基づいて検出基準４２（所定の非接触操作６００を示す基準値）を変更してもよい。つまり、所定の非接触操作６００とは異なるが、類似した非接触操作が複数回行われた場合に、上記の所定の非接触操作６００を示す基準値を変更してもよい。
このように、所定の非接触操作６００を示す基準値を変更することが検出基準４２の変更に含まれる。
Also, it is assumed that a value indicating an operation of “moving the finger“ in front of the body 10 cm downward and subsequently moving 10 cm upward ”” is stored as a reference value indicating a predetermined non-contact operation. When the user moves his / her finger “next to the body” down 10 cm and then moves up 10 cm, the reference value indicating the predetermined non-contact operation 600 is set to “the finger moves down 10 cm next to the body and continues. The value is changed to a value indicating an operation of “moving upward 10 cm”. As a result, the display device 1 can be operated by moving the finger down 10 cm next to the body and subsequently moving up 10 cm.
Note that the detection reference 42 (a reference value indicating a predetermined non-contact operation 600) may be changed based on a plurality of user operations. That is, although different from the predetermined non-contact operation 600, when a similar non-contact operation is performed a plurality of times, the reference value indicating the predetermined non-contact operation 600 may be changed.
Thus, changing the reference value indicating the predetermined non-contact operation 600 is included in the change of the detection reference 42.
（第８の実施の形態の変形例６）
第８の実施の形態のおよびその変形例１〜５に係る表示装置１は、所定の非接触操作６００や所定の非接触操作６００の一部が検出基準外４１で検出された場合等に、検出基準４２を変更した。
検出基準４２の変更を指示する操作が検出基準４２で検出された場合に、検出基準４２を変更してもよい。この場合の検出基準４２の変更には、検出基準４２の位置や幅の変更、所定の非接触操作６００を示す基準値の変更が含まれる。例えば、変形例６では、キャリブレーションを指示するジェスチャーが表示装置１に記憶されており、ユーザが検出基準４２でキャリブレーションを指示するジェスチャーを行った場合、検出基準４２を変更してもよい。また、検出基準外４１でキャリブレーションを指示するジェスチャーを検出した場合にも、上述と同様にして検出基準４２を変更してもよい。
（第８の実施の形態の変形例７）
検出基準制御部２０４は、音に基づいて、検出基準４２を変更してもよい。この場合の検出基準４２の変更には、検出基準４２の位置や幅の変更、所定の非接触操作６００を示す基準値の変更が含まれる。例えば、表示装置１は、第１の実施の形態の変形例６と同様の集音器１４を有し、制御部２０は、集音器１４から入力した音声データを検出する音声検出部２０８を備える。なお、この場合において、音声検出部２０８は、「ハイ」以外も音声認識可能な周知の音声認識機能を備えるものである。ユーザが、「実行することができない」旨の発言や会話をした場合や、キャリブレーションして欲しい旨を発言した場合等に、変形例７の表示装置１は、音声認識機能を用いてこの会話や発言を検出して検出基準４２を変更する。具体的には、音（発言）を検出したときのユーザの指の位置が含まれるように、検出基準４２を移動してもよいし、検出基準４２の幅を変更してもよい。あるいは、音（発言）を検出したら、所定量、例えば１ｃｍ、ユーザに近づく方向に検出基準４２を移動してもよいし、検出基準４２の幅を変更してもよい。また、音（発言）を検出したときにユーザの操作として検出された検出値になるよう、所定の非接触操作６００を示す基準値を変更してもよい。また、音（発言）を検出したら、所定量だけ所定の非接触操作６００を示す基準値を変更してもよい。例えば、所定の非接触操作６００を示す基準値として、「１０ｃｍ下降する」操作を示す値が記憶されていた場合、音（発言）を検出したら「９ｃｍ下降する」という操作を示す値を、所定の非接触操作６００を示す基準値として変更（更新）してもよい。
なお、表示装置１が集音器１４を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしても良い。
(Modification 6 of the eighth embodiment)
In the display device 1 according to the eighth embodiment and the first to fifth modifications thereof, when the predetermined non-contact operation 600 or a part of the predetermined non-contact operation 600 is detected outside the detection reference 41, etc. The detection standard 42 was changed.
When an operation for instructing the change of the detection reference 42 is detected by the detection reference 42, the detection reference 42 may be changed. The change of the detection reference 42 in this case includes a change of the position and width of the detection reference 42 and a change of a reference value indicating a predetermined non-contact operation 600. For example, in the sixth modification, a gesture for instructing calibration is stored in the display device 1, and when the user performs a gesture for instructing calibration using the detection standard 42, the detection standard 42 may be changed. Even when a gesture for instructing calibration is detected outside the detection reference 41, the detection reference 42 may be changed in the same manner as described above.
(Modification 7 of the eighth embodiment)
The detection reference control unit 204 may change the detection reference 42 based on the sound. The change of the detection reference 42 in this case includes a change of the position and width of the detection reference 42 and a change of a reference value indicating a predetermined non-contact operation 600. For example, the display device 1 includes the sound collector 14 similar to that of the sixth modification of the first embodiment, and the control unit 20 includes a sound detection unit 208 that detects sound data input from the sound collector 14. Prepare. In this case, the voice detection unit 208 has a known voice recognition function capable of voice recognition other than “high”. When the user makes a statement or a conversation saying “cannot be executed” or a message that the user wants to be calibrated, the display device 1 according to the modified example 7 uses the voice recognition function to perform the conversation. And the detection reference 42 is changed by detecting a message. Specifically, the detection reference 42 may be moved or the width of the detection reference 42 may be changed so that the position of the user's finger when the sound (speech) is detected is included. Alternatively, when a sound (speech) is detected, the detection reference 42 may be moved in a direction approaching the user by a predetermined amount, for example, 1 cm, or the width of the detection reference 42 may be changed. Further, the reference value indicating the predetermined non-contact operation 600 may be changed so that the detected value is detected as a user operation when a sound (speech) is detected. When a sound (speech) is detected, the reference value indicating the predetermined non-contact operation 600 may be changed by a predetermined amount. For example, when a value indicating an operation “decrease 10 cm” is stored as a reference value indicating a predetermined non-contact operation 600, a value indicating an operation “decrease 9 cm” is detected when a sound (utterance) is detected. The reference value indicating the non-contact operation 600 may be changed (updated).
Note that the display device 1 does not include the sound collector 14, and the sound data acquired by the external sound collector is input via wireless or wired, and the sound is detected using the sound data input from the external sound collector. The unit 208 may perform voice detection.
（第８の実施の形態の変形例８）
検出基準制御部２０４は、時間に基づいて、検出基準４２を変更してもよい。この場合の検出基準４２の変更には、検出基準４２の位置や幅の変更、所定の非接触操作６００を示す基準値の変更が含まれる。例えば、所定の非接触操作６００が検出基準４２で所定の時間内に検出されなかった場合に、変形例８の表示装置１は検出基準４２を所定量だけ変更する。このために、制御部２０は、計時部を備え、表示装置１の電源スイッチがオンされて、所定の時間、アイコンなどに対する操作がない場合に、所定時間を計時した計時部の出力に基づき検出基準制御部２０４は検出基準４２を所定量だけ変更する。また、或るアイコンなどに対する操作が行われた後に、所定の時間経っても次のアイコンなどに対する操作が行われない場合には、所定の時間を計時した計時部の出力に基づき検出基準制御部２０４は検出基準４２を所定量だけ変更する。
変形例８において所定の時間の計時に基づき検出基準４２を変更する場合は、検出基準４２をユーザの方に近づく方向に所定量移動するように変更することが望ましい。例えば、所定時間にユーザの操作が検出されなかった場合、所定量、例えば１ｃｍ、ユーザに近づく方向に検出基準４２の中心位置（全体位置）を移動しても良いし、検出基準４２の幅を変更しても良い。また、所定時間経過時のユーザの指の位置が含まれるように検出基準４２の中心位置を移動しても良いし、検出基準４２の幅を変更しても良い。また、所定時間経過時にユーザの操作として検出された検出値になるよう、所定の非接触操作６００を示す基準値を変更しても良い。所定時間経過したら、所定量だけ所定の非接触操作６００を示す基準値を変更してもよい。例えば、所定の非接触操作６００を示す基準値として「１０ｃｍ下降する」という操作を示す値が記憶されていた場合、所定時間経過したら「９ｃｍ下降する」という操作を示す値を、所定の非接触操作６００を示す基準値として変更（更新）しても良い。
(Modification 8 of the eighth embodiment)
The detection reference control unit 204 may change the detection reference 42 based on time. The change of the detection reference 42 in this case includes a change of the position and width of the detection reference 42 and a change of a reference value indicating a predetermined non-contact operation 600. For example, when the predetermined non-contact operation 600 is not detected within a predetermined time by the detection standard 42, the display device 1 of the modification 8 changes the detection standard 42 by a predetermined amount. For this purpose, the control unit 20 is provided with a time measuring unit, and when the power switch of the display device 1 is turned on and there is no operation for a predetermined time, an icon or the like, the control unit 20 detects based on the output of the time measuring unit that timed the predetermined time. The reference control unit 204 changes the detection reference 42 by a predetermined amount. In addition, when an operation for a certain icon or the like is performed and then an operation for the next icon or the like is not performed after a predetermined time, the detection reference control unit is based on the output of the time measuring unit that clocks the predetermined time. 204 changes the detection reference 42 by a predetermined amount.
When the detection reference 42 is changed based on the measurement of a predetermined time in the modified example 8, it is desirable to change the detection reference 42 so as to move a predetermined amount in a direction approaching the user. For example, when a user operation is not detected at a predetermined time, the center position (overall position) of the detection reference 42 may be moved in a direction approaching the user by a predetermined amount, for example, 1 cm, and the width of the detection reference 42 may be increased. It may be changed. Further, the center position of the detection reference 42 may be moved so as to include the position of the user's finger when the predetermined time has elapsed, or the width of the detection reference 42 may be changed. Further, the reference value indicating the predetermined non-contact operation 600 may be changed so that the detected value is detected as a user operation when a predetermined time has elapsed. When the predetermined time has elapsed, the reference value indicating the predetermined non-contact operation 600 may be changed by a predetermined amount. For example, when a value indicating an operation “down 10 cm” is stored as a reference value indicating the predetermined non-contact operation 600, a value indicating an operation “down 9 cm” after a predetermined time has elapsed The reference value indicating the operation 600 may be changed (updated).
（第８の実施の形態の変形例９）
検出基準制御部２０４は、ユーザの顔に基づいて、検出基準４２を変更してもよい。この場合の検出基準４２の変更には、検出基準４２の位置や幅の変更、所定の非接触操作６００を示す基準値の変更が含まれる。例えば、変形例９の表示装置１に設けられたカメラによって、ユーザの顔を撮像し、制御部２０においてその撮像画像を解析して、ユーザの顔の所定の表情を検出（いわゆる顔認識機能による所定表情の認識）すると、検出基準４２を変更する。なお、所定の表情は、例えばユーザが上手く操作を行うことができない場合の困った顔などであり、ユーザの困った顔を検出した場合、検出基準４２を変更する。
例えば、表示装置１の顔認識機能を用いて、ユーザが困っていることを検出すると、所定量（例えば１ｃｍ）ユーザに近づく方向に検出基準４２を移動しても良いし、検出基準４２の幅を変更しても良い。また、困っている顔を認識する直前にユーザが行っていた操作を示す検出値を記憶しておき、その記憶しておいた検出値に基づいて、所定の非接触操作６００を示す基準値を変更しても良い。
(Modification 9 of the eighth embodiment)
The detection criterion control unit 204 may change the detection criterion 42 based on the user's face. The change of the detection reference 42 in this case includes a change of the position and width of the detection reference 42 and a change of a reference value indicating a predetermined non-contact operation 600. For example, the user's face is imaged by the camera provided in the display device 1 of the modification 9, and the control unit 20 analyzes the captured image to detect a predetermined facial expression of the user's face (using a so-called face recognition function). When the predetermined facial expression is recognized, the detection reference 42 is changed. The predetermined facial expression is, for example, a troubled face when the user cannot perform an operation well, and the detection reference 42 is changed when a troubled face of the user is detected.
For example, when it is detected that the user is in trouble by using the face recognition function of the display device 1, the detection reference 42 may be moved in a direction approaching the user by a predetermined amount (for example, 1 cm), or the width of the detection reference 42 May be changed. Further, a detection value indicating an operation performed by the user immediately before recognizing the face in trouble is stored, and a reference value indicating a predetermined non-contact operation 600 is set based on the stored detection value. It may be changed.
（第８の実施の形態の変形例１０）
検出基準制御部２０４は、ユーザによるジェスチャー操作が検出基準４２で検出されない場合に、検出基準４２（検出基準４２の位置や幅、所定の非接触操作を示す基準値）を変更してもよい。例えば、所定の非接触操作６００としてのユーザによるジェスチャー操作が、例えば、手によるグー、チョキ、パーなどの動作、または指Ｆの下降移動に引き続く横方向移動の動作の何れかであった場合に、変形例１０の表示装置１は、それら各動作の特徴情報（特徴を示す基準値）をそれぞれ記憶部２０５に予め記憶しておく。そして、表示装置１は、ユーザのジェスチャー操作を検出し、その検出されたジェスチャー操作と、記憶部２０５に記憶されている複数の特徴情報の中から選択された何れか一つの特徴情報とを比較して、そのジェスチャー操作が上記何れか一つの所定の非接触操作に相当するか否かを判定する。表示装置１は、ユーザのジェスチャー操作が検出基準４２で検出されなかった場合に、検出基準４２を変更する。この場合の検出基準４２の変更は、所定の非接触操作６００を示す基準値の選択の変更である。すなわち、例えば表示装置１が、最初はグーを示す特徴情報を検出基準４２での検出の際に使用する基準値として選択しているとする。表示装置１は、その検出基準４２ではユーザ操作を検出できなかった場合に、基準値を、グーを示す特徴情報から、グーとは別の操作（上述の複数のジェスチャー操作における別の操作、例えばチョキ）を示す特徴情報に選択変更する。
(Modification 10 of the eighth embodiment)
The detection reference control unit 204 may change the detection reference 42 (the position and width of the detection reference 42 and a reference value indicating a predetermined non-contact operation) when the gesture operation by the user is not detected by the detection reference 42. For example, when the gesture operation by the user as the predetermined non-contact operation 600 is, for example, one of movements such as goo, choki, and par with a hand, or a lateral movement following a downward movement of the finger F The display device 1 according to the modified example 10 stores the feature information (reference value indicating the feature) of each operation in the storage unit 205 in advance. Then, the display device 1 detects the user's gesture operation, and compares the detected gesture operation with any one of the feature information selected from the plurality of feature information stored in the storage unit 205. Then, it is determined whether or not the gesture operation corresponds to any one of the predetermined non-contact operations. The display device 1 changes the detection criterion 42 when the user's gesture operation is not detected by the detection criterion 42. The change of the detection reference 42 in this case is a change of the selection of the reference value indicating the predetermined non-contact operation 600. That is, for example, it is assumed that the display device 1 initially selects feature information indicating goo as a reference value to be used for detection by the detection reference 42. When the user operation cannot be detected by the detection reference 42, the display device 1 uses a reference value based on feature information indicating goo as an operation different from goo (another operation in the above-described plurality of gesture operations, for example, Select and change to feature information indicating “Chioki”.
（第８の実施の形態の変形例１１）
所定の非接触操作６００が指Ｆの位置が所定の位置に一致する動作である場合には、その所定の位置が検出基準４２の中にある場合や、所定の位置が検出基準外４１にある場合や、所定の位置がアイコンの表示位置に一致する場合や、所定の位置が検出基準４２の位置である場合等がある。所定の位置が検出基準４２の中にある場合には、指が検出基準４２に存在するときに所定の非接触操作６００が行われたと判定する。所定の位置が検出基準外４１にある場合には、指が検出基準外４１にあるときに所定の非接触操作６００が行われたと判定する。所定の位置がアイコンの表示位置に一致する場合には、指Ｆが空中像のアイコンの表示位置に一致したとき、またはアイコンの表示位置を操作したときに所定の非接触操作６００が行われたと判定する。所定の位置が検出基準４２の位置である場合には、指Ｆが検出基準４２と検出基準外４１との境界を通過するときに、または、指が上記の境界を通過し、再度境界を通過するときに、所定の非接触操作６００が行われたと判定する。
(Modification 11 of the eighth embodiment)
When the predetermined non-contact operation 600 is an operation in which the position of the finger F coincides with the predetermined position, the predetermined position is in the detection reference 42 or the predetermined position is outside the detection reference 41. In some cases, the predetermined position matches the display position of the icon, or the predetermined position is the position of the detection reference 42. When the predetermined position is in the detection reference 42, it is determined that the predetermined non-contact operation 600 has been performed when the finger is present on the detection reference 42. When the predetermined position is outside the detection reference 41, it is determined that the predetermined non-contact operation 600 has been performed when the finger is outside the detection reference 41. When the predetermined position matches the icon display position, the predetermined non-contact operation 600 is performed when the finger F matches the display position of the aerial image icon or when the icon display position is operated. judge. When the predetermined position is the position of the detection reference 42, when the finger F passes the boundary between the detection reference 42 and the non-detection reference 41, or the finger passes the boundary and passes the boundary again. It is determined that a predetermined non-contact operation 600 has been performed.
（第８の実施の形態の変形例１２）
第８の実施の形態およびその変形例１〜１１では、検出基準４２は上下方向に幅Ｄ１を有するものとして説明したが、第１の実施の形態の検出基準４０のように面で構成されても良い。図６０（ａ）、（ｂ）に示すように、検出基準４０から下方に向かって距離Ｌ１または距離Ｌ１以上の位置にてＵターンを行う所定の非接触操作６００Ａが行われた場合に、検出基準４０にて所定の非接触操作６００Ａが行われたことが検出される。図６１（ａ）に示すように検出基準４０の上方（静電容量検出範囲１３Ａ内）にて所定の非接触操作６００Ａが行われた場合には、検出基準外４１にて、操作検出器１３を用いて所定の非接触操作６００Ａが検出され、図６１（ｂ）に示すように、検出基準４０を通過して所定の非接触操作６００Ａが行われた場合に、所定の非接触操作６００Ａの一部が検出基準外４１にて操作検出器１３を用いて検出される。図６１（ａ）、（ｂ）の場合には、検出基準４０からの距離に基づいて変位量ΔＨ１０を算出し、この変位量ΔＨ１０にて検出基準４０の位置（図６１中のＺ方向の位置）を変更すれば良い。
(Modification 12 of the eighth embodiment)
In the eighth embodiment and its modifications 1 to 11, the detection reference 42 has been described as having a width D1 in the vertical direction. However, the detection reference 42 is configured by a surface like the detection reference 40 of the first embodiment. Also good. As shown in FIGS. 60A and 60B, the detection is performed when a predetermined non-contact operation 600A for making a U-turn is performed downward from the detection reference 40 at a position of the distance L1 or the distance L1 or more. Based on the reference 40, it is detected that a predetermined non-contact operation 600A has been performed. When a predetermined non-contact operation 600A is performed above the detection reference 40 (within the capacitance detection range 13A) as shown in FIG. When the predetermined non-contact operation 600A is detected and the predetermined non-contact operation 600A is performed by passing through the detection reference 40 as shown in FIG. 61 (b), the predetermined non-contact operation 600A is detected. A part is detected using the operation detector 13 at a detection criterion 41. In the case of FIGS. 61A and 61B, the displacement amount ΔH10 is calculated based on the distance from the detection reference 40, and the position of the detection reference 40 (the position in the Z direction in FIG. 61) is calculated based on the displacement amount ΔH10. ) Should be changed.
第８の実施の形態およびその変形例１〜１２を、第４の実施の形態やその変形例１や第７の実施の形態において説明した表示装置１００により行うことができる。
また、第８の実施の形態およびその変形例１〜１２では、空中像の表示位置への操作に対する所定の非接触操作６００を行う場合について説明したが、この例に限定されない。例えば、第８の実施の形態およびその変形例１〜１２の表示装置の表示器１１に表示された画像に対して空間上で所定の非接触操作６００を行う場合にも、所定の非接触操作６００の空間上の位置と検出基準４２との位置関係に基づいて、検出基準４２の位置を変更して良い。
The eighth embodiment and its modifications 1 to 12 can be performed by the display device 100 described in the fourth embodiment, its modification 1 and the seventh embodiment.
In the eighth embodiment and its modifications 1 to 12, the case where the predetermined non-contact operation 600 for the operation to the display position of the aerial image has been described, but the present invention is not limited to this example. For example, even when the predetermined non-contact operation 600 is performed in space on the image displayed on the display 11 of the display device according to the eighth embodiment and the modifications 1 to 12 thereof, the predetermined non-contact operation is performed. The position of the detection reference 42 may be changed based on the positional relationship between the position 600 in space and the detection reference 42.
なお、上述の第８の実施の形態とその変形例１〜１２では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置、制御部２０と表示器１１とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と検出基準制御部２０４とを備えればよい。
In the above-described eighth embodiment and its modifications 1 to 12, the display device 1 including at least the control unit 20, the display unit 11, and the operation detector 13 has been described as an example. The control apparatus comprised by the comprised control apparatus and the control part 20 and the indicator 11 may be sufficient. The control unit 20 may include at least the calibration unit 203 and the detection reference control unit 204.
以上で説明した各実施形態とその変形例において、表示装置１については、表示器１１に表示された像を結像光学系１２により空中像として生成するという構成を説明した。また、表示装置１００については、表示器１１１に表示された像を結像光学系１１２により空中像として生成するという構成を説明した。しかし、空中像を生成する構成は上記構成に限られず、以下に説明する方法も含まれる。言うまでもなく、以下に説明する構成は一例であり、それ以外の空中像を生成する方法も含まれる。
In each of the embodiments described above and the modifications thereof, the display device 1 has been described with the configuration in which the image displayed on the display 11 is generated as an aerial image by the imaging optical system 12. In the display device 100, the configuration in which the image displayed on the display 111 is generated as an aerial image by the imaging optical system 112 has been described. However, the configuration for generating the aerial image is not limited to the above configuration, and includes a method described below. Needless to say, the configuration described below is an example, and other methods for generating an aerial image are also included.
表示装置において、空中像を生成する構成の例としては、表示装置の表示器に、右目で視認する画像と、右目で視認する画像とは視差を有する左目で視聴する画像とを表示させることにより、ユーザには表示器によって表示されている画像と異なる奥行に感じられる画像を生成方法がある。この方式によれば、ユーザは、表示器に表示された画像に対応する画像が、空中に表示されているように認識する。
As an example of a configuration for generating an aerial image in a display device, an image viewed with the right eye and an image viewed with a left eye having a parallax are displayed on the display device of the display device. The user has a method of generating an image that feels different in depth from the image displayed on the display. According to this method, the user recognizes that an image corresponding to the image displayed on the display device is displayed in the air.
また、表示装置として透過型のヘッドマウントディスプレイ（ＨＭＤ）を用い、これをユーザに装着させることもできる。ＨＭＤに画像を表示させると、ユーザは、表示された画像が実際の視界に重畳されることで、ＨＭＤに表示された画像があたかも空中に像が表示されているように感じる。
In addition, a transmissive head-mounted display (HMD) can be used as a display device and can be attached to the user. When an image is displayed on the HMD, the user feels as if the image displayed on the HMD is displayed in the air because the displayed image is superimposed on the actual field of view.
なお、空中像を生成する方法としては、虚像を投影する方法やユーザの網膜に画像を直接結像させる方法なども挙げられる。また、空中像を生成する方法として、レーザ光を空中に集光して空気を構成する分子をプラズマ化して空中で光を発光させ、空中に像を形成するものであってもよい。この場合、レーザ光の集光位置を３次元空間中に自由に制御することで空中に実像として３次元画像が生成される。また、空中像を生成する方法として、プロジェクタ機能に加えて空気中に霧を発生させる機能を有する表示装置を用い、空気中に霧を発生させたてスクリーンを形成し、この霧によるスクリーンに画像を投影する（フォグディスプレイ）ことで、空中に像を生成してもよい。
Examples of a method for generating an aerial image include a method of projecting a virtual image and a method of directly forming an image on the user's retina. Further, as a method for generating an aerial image, a laser beam may be collected in the air, and molecules constituting the air may be turned into plasma to emit light in the air to form an image in the air. In this case, a three-dimensional image is generated as a real image in the air by freely controlling the condensing position of the laser light in the three-dimensional space. Moreover, as a method for generating an aerial image, a display device having a function of generating mist in the air in addition to the projector function is used, and a screen is formed by generating mist in the air. An image may be generated in the air by projecting (fog display).
表示装置１や１００を用いてキャリブレーションを実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものであってもよい。
A program for executing calibration using the display device 1 or 100 may be recorded on a computer-readable recording medium, and the program may be read into a computer system to execute calibration. The “computer system” herein may include an OS (Operating System) and hardware such as peripheral devices.
なお、上記「コンピュータシステム」は、ＷＷＷシステムを利用したホームページ提供環境（あるいは表示環境）も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含む。
The “computer system” includes a homepage providing environment (or display environment) using the WWW system. The “computer-readable recording medium” includes a flexible disk, a magneto-optical disk, a ROM, a writable non-volatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device. Further, the above-mentioned “computer-readable recording medium” is a volatile memory (for example, DRAM (Dynamic DRAM)) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc. that hold a program for a certain period of time.
上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
The “program” may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
なお、上述した各実施の形態および各変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置であって、所定の非接触操作を検出基準で検出する検出部と、操作を検出する検出基準と表示との位置関係を変更し、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である検出装置の構成をとっても良い。この検出装置の制御部は、さらに音に基づいて検出基準を変更してもよい。また、この検出装置の制御部はさらに、時間に基づいて検出基準を変更しても良い。また、この検出装置の制御部はさらに、使用者の顔に基づいて検出基準を変更しても良い。また、この検出装置の制御部はさらに、所定の非接触操作として、所定の動きが検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作として押下する操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作としてジェスチャー操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この検出装置の制御部はさらに、所定の非接触操作として、非接触操作を行う操作物体の形が所定の形と一致しなかった場合、検出基準を変更してもよい。また、上述した各実施の形態および各変形例を組み合わせ、空中の表示に対する使用者の操作を検出装置であって、非接触操作を検出する検出基準を備える検出部と、非接触操作を検出する検出基準と表示との位置関係を変更し、検出基準外で検出された非接触操作に基づき、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である検出装置の構成をとっても良い。
The above-described embodiments and modifications are combined to detect a user's operation on an aerial display, and a detection unit that detects a predetermined non-contact operation based on a detection criterion, and detects the operation A control unit that changes the positional relationship between the detection criterion and the display to change the detection criterion when a predetermined non-contact operation is not detected by the detection criterion, and the control unit can change the positional relationship by the user The configuration of the detection device may be taken. The control unit of the detection apparatus may further change the detection reference based on the sound. Further, the control unit of the detection device may further change the detection reference based on time. Further, the control unit of the detection apparatus may further change the detection reference based on the user's face. Moreover, the control part of this detection apparatus may change a detection reference | standard, when predetermined | prescribed movement is further not detected by a detection reference | standard as predetermined | prescribed non-contact operation. In addition, the control unit of the detection device may further change the detection reference when an operation to be pressed as a predetermined non-contact operation is not detected by the detection reference. Moreover, the control part of this detection apparatus may change a detection reference | standard, when gesture operation is not detected by a detection reference | standard as predetermined non-contact operation further. Further, the control unit of the detection apparatus may further change the detection reference when the shape of the operation object that performs the non-contact operation does not match the predetermined shape as the predetermined non-contact operation. In addition, the above-described embodiments and modifications are combined to detect a user's operation on an aerial display, a detection unit including a detection criterion for detecting a non-contact operation, and a non-contact operation is detected. A control unit that changes the positional relationship between the detection criterion and the display and changes the detection criterion based on a non-contact operation detected outside the detection criterion, and the control unit can detect the positional relationship can be changed by the user The configuration of the apparatus may be taken.
なお、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者の操作に基づいて位置関係を変更する検出装置の構成をとっても良い。また、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者の情報に基づいて位置関係を変更する検出装置の構成をとってもよい。また、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は使用者による検出装置の周辺の環境変化に基づいて位置関係を変更する検出装置の構成をとってもよい。
In addition, a combination of the above-described embodiments and modifications, a detection unit that detects a predetermined non-contact operation based on a detection standard, and a control unit that changes the detection standard when the predetermined non-contact operation is not detected based on the detection standard And the control unit may have a configuration of a detection device that changes the positional relationship based on a user's operation. In addition, a combination of the above-described embodiments and modifications, a detection unit that detects a predetermined non-contact operation with a detection criterion, and a control unit that changes the detection criterion when the predetermined non-contact operation is not detected with a detection criterion The control unit may take the configuration of a detection device that changes the positional relationship based on user information. In addition, a combination of the above-described embodiments and modifications, a detection unit that detects a predetermined non-contact operation with a detection criterion, and a control unit that changes the detection criterion when the predetermined non-contact operation is not detected with a detection criterion The control unit may have a configuration of a detection device that changes the positional relationship based on a change in the environment around the detection device by a user.
なお、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置であって、所定の非接触操作を検出基準で検出する検出部と、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は表示を制御し位置関係を変更する検出装置の構成をとっても良い。
It is to be noted that the above-described embodiments and modifications are combined to provide a detection device that detects a user's operation on an aerial display, a detection unit that detects a predetermined non-contact operation based on a detection criterion, and a predetermined non-contact And a control unit that changes the detection reference when the operation is not detected by the detection reference, and the control unit may have a configuration of a detection device that controls the display and changes the positional relationship.
なお、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者の操作に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。また、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者の情報に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。また、上述した各実施の形態および変形例を組み合わせ、空中の表示に対する使用者の操作を検出する検出装置と表示との位置関係を、使用者による検出装置の周辺の環境変化に基づいて、表示を制御して変更する制御部を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。
In addition, by combining the above-described embodiments and modifications, the positional relationship between the display and the detection device that detects the user's operation on the display in the air is changed by controlling the display based on the user's operation. A control unit may be provided, and the control unit may have a configuration of a control device in which the positional relationship can be changed by the user. Further, by combining the above-described embodiments and modifications, the positional relationship between the display and the detection device that detects the user's operation on the display in the air is changed by controlling the display based on the user's information. A control unit may be provided, and the control unit may have a configuration of a control device in which the positional relationship can be changed by the user. In addition, by combining the above-described embodiments and modifications, the positional relationship between the display and the detection device that detects the user's operation on the display in the air is displayed based on the environmental change around the detection device by the user. The control unit may be configured to control and change the control unit, and the control unit may change the positional relationship by the user.
なお、上述した各実施の形態および各変形例を組み合わせ、所定の非接触操作を検出基準で検出する検出部と、空中の表示に対する使用者の操作を検出する検出基準と表示との位置関係を表示を制御して変更し、所定の非接触操作が検出基準で検出されない場合、検出基準を変更する制御部と、を備え、制御部は、位置関係を使用者によって変更可能である制御装置の構成をとってもよい。この制御装置の制御部はさらに、音に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、時間に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、使用者の顔に基づいて検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、所定の動きが検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、押下する操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、非接触操作としてジェスチャー操作が検出基準で検出されない場合、検出基準を変更してもよい。また、この制御装置の制御部はさらに、所定の非接触操作として、非接触操作を行う操作物体の形が所定の形と一致しなかった場合、検出基準を変更してもよい。また、上述した各実施の形態および各変形例を組み合わせ、非接触操作を検出する検出基準を備える検出部と、空中の表示に対する使用者の操作を検出する検出基準と表示との位置関係を表示を制御して変更し、検出基準外で検出された非接触操作に基づき、検出基準を変更する制御部とを備え、制御部は位置関係を使用者によって変更可能である制御装置の構成をとっても良い。
The above-described embodiments and modifications are combined, and a positional relationship between a detection unit that detects a predetermined non-contact operation with a detection criterion, and a detection criterion that detects a user's operation with respect to an aerial display, and the display. And a control unit that changes the detection reference when a predetermined non-contact operation is not detected by the detection reference, and the control unit is a control device that can change the positional relationship by the user. A configuration may be taken. The control unit of the control device may further change the detection reference based on the sound. Moreover, the control part of this control apparatus may change a detection reference further based on time. Further, the control unit of the control device may further change the detection reference based on the user's face. Moreover, the control part of this control apparatus may change a detection reference | standard when predetermined | prescribed movement is further not detected by a detection reference | standard as predetermined | prescribed non-contact operation. In addition, the control unit of the control device may further change the detection reference as a predetermined non-contact operation when the pressing operation is not detected by the detection reference. Moreover, the control part of this control apparatus may change a detection reference | standard, when gesture operation is not detected by a detection reference | standard as non-contact operation further. Further, the control unit of the control device may further change the detection reference as a predetermined non-contact operation when the shape of the operation object that performs the non-contact operation does not match the predetermined shape. In addition, the above-described embodiments and modifications are combined to display a detection unit including a detection reference for detecting a non-contact operation, and a positional relationship between the detection reference for detecting a user operation with respect to an aerial display and the display. And a control unit that changes the detection reference based on a non-contact operation detected outside the detection reference, and the control unit has a configuration of a control device whose positional relationship can be changed by the user. good.
本発明の特徴を損なわない限り、本発明は上記実施の形態や上記変形例に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、本発明は上記実施例の形態や上記変形例を適宜組み合わせてもよい。
The present invention is not limited to the above-described embodiment and the above-described modifications, as long as the characteristics of the present invention are not impaired. The scope of the present invention also includes other forms conceivable within the scope of the technical idea of the present invention. Contained within. Moreover, you may combine suitably the form of the said Example and the said modification for this invention.
