JP2017120488A - 表示装置、表示システム、表示装置の制御方法、及び、プログラム - Google Patents
表示装置、表示システム、表示装置の制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP2017120488A JP2017120488A JP2015256139A JP2015256139A JP2017120488A JP 2017120488 A JP2017120488 A JP 2017120488A JP 2015256139 A JP2015256139 A JP 2015256139A JP 2015256139 A JP2015256139 A JP 2015256139A JP 2017120488 A JP2017120488 A JP 2017120488A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- image
- user
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は上記事情に鑑みてなされたものであり、頭部装着型の表示装置を装着する使用者が、容易に、表示装置に対する操作を行えるようにすることを目的とする。
本発明によれば、表示部に指示体を接近させることにより、表示部に接触することなく容易に表示装置を操作できる。例えば、作業中に操作を行う場合等の利便性の向上を図ることができる。また、表示部周辺に対する2以上の操作に対応付けられた処理を実行することにより、誤操作を防止できる。
本発明によれば、より確実に誤操作を防止できる。
本発明によれば、表示装置を様々な態様で操作でき、誤操作を防止できる。
本発明によれば、2つの位置で指示体を接近させる操作に応じて、表示部に表示される操作制御命令画像を、指示体の動きに対応する方向に動かすことができる。これにより、位置指示や方向指示等の操作を、2つの指示体で容易に行うことができる。
本発明によれば、表示部に接触することなく位置入力を行うことができる。
また、上記表示装置において、前記制御部は、前記検出部によって物体が回転する操作を検出した場合に、前記表示部の表示領域における表示を回転させる構成であってもよい。
また、上記表示装置において、前記制御部は、前記検出部によって2点に対する操作が検出され、検出された2点の操作位置間の距離が変化した場合に、当該距離の変化に対応して前記表示部の表示領域における表示を拡大または縮小させる構成であってもよい。
本発明によれば、表示部に対する操作により、容易に撮像を実行させることができ、誤操作を防止できる。
本発明によれば、接近による操作を行う近接操作モードと通常動作モードとを切り替えることで誤操作を防止できる。
本発明によれば、表示部周辺への指示体の接近の接近をより確実に検出し、表示に反映させることができる。
本発明によれば、表示部の周辺に配置される近接センサーによって、表示部の周辺に対する指示体の接近をより確実に検出し、表示に反映させることができる。
本発明によれば、表示部の周囲に配置される近接センサーによって検出される指示体の動きを利用して、例えばGUI(Graphical User Interface)として機能する操作制御命令画像を用いて操作を行うことが可能となり、操作性の向上を図ることができる。
本発明によれば、外光を透過して実物体を視認可能であって画像を視認させる表示部を装着した使用者には、実物体と画像とが重なって視認される。そして、この視認される画像に対し、表示部に指示体を接近させる操作を行うことができる。これにより、実物体に関連する表示を、表示部に指示体を接近させる簡単な操作によって、容易に制御できる。
本発明の制御方法を実行することにより、表示部に接触することなく容易に表示装置を操作でき、例えば作業中に操作を行う場合等の利便性の向上を図ることができる。また、表示部に対する2以上の操作に対応付けられた処理を実行することにより、誤操作を防止できる。
本発明のプログラムをコンピューターが実行することにより、表示部に接触することなく容易に表示装置を操作でき、例えば作業中に操作を行う場合等の利便性の向上を図ることができる。また、表示部に対する2以上の操作に対応付けられた処理を実行することにより、誤操作を防止できる。
図1及び図2は、本発明を適用した実施形態に係るHMD100の外観構成を示す説明図である。
HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる表示装置であり、眼鏡型の形状である。図1は正面側から見た斜視図であり、図2は裏面側から見た斜視図である。なお、図2においては説明の便宜のために右保持部31及び左保持部32の図示を省略する。
また、フレーム3の中央位置には、HMD100の装着状態においてフレーム3を使用者の鼻において指示する鼻当部37、38が設けられる。また、鼻当部37、38が設けられる中央位置は、使用者の眉間の前に位置し、この位置にはカメラ61が設けられる。
カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、ステレオカメラで構成してもよい。カメラ61は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景(実空間)を撮像する。別の表現では、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ61の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右導光部26、左導光部28を通して視認する外界を含む。さらに、右導光部26及び左導光部28を通した使用者の視界の全体を撮像できるようにカメラ61の撮像範囲が設定されているとより好ましい。
カメラ61は、制御部140が備える撮像制御部161(図5)の制御に従って撮像を実行し、撮像画像データを撮像制御部161に出力する。
右導光部26は、周囲をリム3aに囲まれてフレーム3に指示される。リム3aは溝形状を有し、右導光部26はリム3aに嵌めこまれる。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」と呼ぶ)、投写光学系251,252等を含む。
右導光部26及び左導光部28は、光透過性の樹脂等によって形成され、表示駆動部22,24が出力する画像光を、使用者の眼に導く。
ハーフミラー262Aで反射した画像光Lは左眼LEに向けて左導光部28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー261Aで反射した画像光Lは右眼REに向けて右導光部26から射出され、この画像光Lが右眼REの網膜に像を結び、使用者に画像を視認させる。
本実施形態において、右導光部26及び左導光部28は実像を結像させる構成ではなく、虚像を形成して、使用者に画像を視認させるものであるが、結果として使用者に画像を認識させる意味で、本実施形態では「画像を表示する」と表現する。言い換えれば、HMD100は、実像であるか虚像であるかを問わず画像を構成する画像光Lを使用者に向けて出射し、使用者に画像を認識させるものであればよい。
外部センサー400は、右センサー部410、及び、左センサー部420を含んで構成される。
タッチパッド401、402は、HMD100の装着状態においてHMD100の側方に面して配置される。より詳細には、タッチパッド401は、右保持部31においてフレーム3の外側の面に配置され、タッチパッド402は、左保持部32においてフレーム3の外側の面に配置される。タッチパッド401、402は、それぞれ、右保持部31と左保持部32の形状に合わせて、長手形状であってもよいし、矩形であってもよい。HMD100の装着状態で、使用者は、例えば右手でタッチパッド401を操作し、左手でタッチパッド402を操作できる。
タッチパッド401、402は、接触操作を検出して操作位置を特定する操作部(操作受付部)であり、例えば静電容量式あるいは感圧式のタッチパッドである。
右センサー部410は、センサー411、412、413で構成される。センサー411、412、413は、右導光部26の周囲に配置される。詳細には、センサー411は右導光部26の上方に位置し、Z方向に延びるように配置され、横長の検出領域を有する。また、センサー412は右導光部26の側方に、Y方向に延びるように配置され、縦長の検出領域を有する。また、センサー413は、右導光部26の下方において、Z方向に延びるように配置され、横長の検出領域を有する。
右センサー部410の各センサーは、右導光部26を透過する外光OLを遮らないように、右導光部26に重ならないように配置されることが好ましい。なお、センサー411、412、413が外光OLを透過可能である場合、センサー411、412、413が右導光部26に重なってもよい。
右センサー部410は、右導光部26の周辺に対応する検出部を構成し、左センサー部420は、左導光部28の周辺に対応する検出部を構成する。
また、右導光部26の下方に位置するセンサー413は、矢印A31で示すようにフレーム3の前方から接近する操作体を検出できる。また、矢印A33で示すようにフレーム3の後方から接近する操作体を検出可能な構成としてもよい。また、矢印A32で示すように下方から接近する操作体を検出できる。つまり、センサー413は、X方向、及びY方向に接近する物体を検出可能である。センサー423も同様である。
HMD100は、大別して、処理部10及び画像表示部20を備える。
画像表示部20は、右表示駆動部22及び左表示駆動部24を含み、右導光部26及び左導光部28に対して画像光を供給する。画像表示部20は、フレーム3に配置される構成部を含み、具体的には、カメラ61、9軸センサー66、外部センサー400、タッチパッド401、402を含む。例えば、図1には、右表示駆動部22がフレーム端部35に収められ、左表示駆動部24がフレーム端部36に収められる構成例を示す。画像表示部20を構成する他の部位は、フレーム3のフレーム端部35、36、或いは、フレーム3の前面を含む部分に配置してもよい。
例えば、インターフェイス25は、表示制御部190が出力する制御信号を、右表示駆動部22及び左表示駆動部24に出力する。また、インターフェイス25は、表示制御部190から送信される制御信号を、対応する右バックライト制御部201又は左バックライト制御部202に出力する。
また、インターフェイス25は、カメラ61、9軸センサー66、外部センサー400、及びタッチパッド401、402のそれぞれを、制御部140に接続する。
右バックライト制御部201は、表示制御部190が送信する制御信号に従って、右バックライト221を駆動する。右LCD制御部211は、画像処理部160が送信する信号及び表示制御部190が送信する信号に基づいて、右LCD241を駆動する。
なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して、左の「画像光生成部」とも呼ぶ。
外部センサー400は、入力検出部162の制御に従って、所定の周期(サンプリング周波数)で検出を実行し、検出値を入力検出部162に出力する。
ここで、タッチパッド401、402が、検出値を解析する検出回路(図示略)を備え、この検出回路がインターフェイス25に接続される構成としてもよい。この場合、タッチパッド401、402は検出回路の制御により検出を実行し、検出回路は、タッチパッド401、402で接触操作を検出し、操作位置を特定し、操作位置を示すデータを入力検出部162に出力する。また、入力検出部162が、タッチパッド401、402から入力される検出値に基づき、接触操作を検出し、操作位置を特定してもよい。
処理部10を構成する各部は、例えば、フレーム3のフレーム端部35、36に収容される。また、処理部10の全部または一部を、右保持部31や左保持部32に収容してもよいし、フレーム3とは別体として構成される筐体に納めてもよい。この場合、当該筐体とフレーム3の内部の画像表示部20とを、ケーブルで有線接続してもよいし、無線通信により接続してもよい。
入力情報取得部110は、操作部111に接続される。入力情報取得部110は、操作部111から入力される信号に基づき、使用者の操作を受け付ける。入力情報取得部110は、操作部111における操作内容を示すデータを制御部140に出力する。
記憶部120は、設定データ121を記憶する。設定データ121は、制御部140が使用する各種の設定値を含む。設定データ121が含む設定値は、予め操作部111の操作で入力された値であってもよいし、通信部117を介して外部の機器(図示略)または他の装置(図示略)から設定値を受信して記憶してもよい。
また、記憶部120は、入力解析データ122、及び、画像データ123を記憶する。
また、画像処理部160は、必要に応じて、画像データの解像度を右表示駆動部22及び左表示駆動部24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部160は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、或いは2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部160は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して送信する。
また、制御部140は、右導光部26及び左導光部28(図1)を透過する外光OLにより使用者が視認する実空間に重ねて、画像表示部20に画像を表示させてもよい。この場合、制御部140は、カメラ61の撮像画像に基づいて実空間の対象物(実物体)を検出し、検出した対象物を使用者が視認する位置を特定する。制御部140は、対象物を使用者が視認する位置に対応する右LCD241及び左LCD242上の表示位置を求め、この表示位置にテキストや画像を表示する。これにより、画像表示部20で表示するテキストや画像は、実空間の対象物に対応する位置に表示され、いわゆるAR(Augmented Reality:拡張現実)効果を奏する画像(以下、AR画像という)として機能する。
また、HMD100を、コンテンツの供給元となる種々の外部の機器(図示略)に接続してもよい。この場合、外部の機器を接続するインターフェイスは、通信部117を用いてもよいし、その他のインターフェイスを設けてもよい。例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを備えてもよい。外部の機器としては、HMD100に画像を供給する画像供給装置が挙げられ、例えば、パーソナルコンピューター(PC)、携帯電話端末、携帯型ゲーム機等である。
具体的には、入力解析部163は、右センサー部410が備えるセンサー411、412、413の検出値に基づいて、外部センサー400の検出範囲内に位置する物体を検出する。また、入力解析部163は、左センサー部420のセンサー421、422、423の検出値に基づいて、HMD100の左眼側表示部に対する操作を検出する。これにより、入力解析部163は、使用者の手や使用者が使用する操作用具(例えば、手袋、指示棒、筆記具など)を含む操作体がフレーム3に接近し、或いは接触したことを検出し、これらの操作体による操作を検出する。
ここで、入力解析部163は、HMD100の右眼側表示部に対する操作と左眼側表示部に対する操作とを個別に検出してもよい。或いは、HMD100の右眼側表示部に対する操作の検出結果と、左眼側表示部に対する操作の検出結果とに基づき、HMD100全体に対する操作を検出してもよい。例えば、操作体をセンサー411とセンサー421との両方が検出した場合、入力解析部163は、一つの操作体による操作であることを特定可能な構成としてもよい。
入力解析部163は、外部センサー400の各センサーの検出値の変化を求めることにより、検出範囲内の物体の動きを、例えば仮想的に設定されるXYZ直交座標系を用いて検出してもよい。この場合、入力解析部163は、例えば、図1にX、Y、Zで示す方向における物体の動きを算出する。X方向、Y方向、及びZ方向は、図1を参照して説明した通りである。
入力解析部163は、外部センサー400の検出範囲内における物体の動きについて、X方向、Y方向、Z方向のそれぞれにおける移動速度及び/または移動量を算出し、算出した移動速度及び/または移動量を示すデータを生成する。ここで、入力解析部163は、各方向における移動が正方向か逆方向かを示すデータを生成してもよい。
また、入力解析データ122は、タッチパッド401、402の検出値から、接触操作の操作位置や操作位置の軌跡を求める処理に用いられるパラメーターを含んでもよい。
処理実行部164が実行する処理は、例えば、設定データ121により指定できる。この場合、設定データ121は、入力解析部163が検出する操作と、処理実行部164が実行する処理とを対応付けるデータを含む。
近接操作モードにおいては、右センサー部410及び左センサー部420の検出範囲に位置する物体を検出し、上述した入力検出部162及び入力解析部163の動作によって操作を検出する。
外部センサー400が物体の接近を検出する距離、すなわち検出範囲は、具体的には、センサー411、412、413及びセンサー421、422、423が、接触していない物体を検出する範囲であり、各センサーからの距離で表すことができる。この距離は固定的であってもよいし可変であってもよい。また、近接操作モードで接近を検出するセンサーにタッチパッド401、402を含んでもよい。
GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、処理部10の現在位置を算出する。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御部140が計時する時刻を修正させる機能を備えてもよい。
HMD100の電源がオンされた後、制御部140は、通常動作モードで動作を開始する(ステップS11)。
制御部140は、入力検出部162がタッチパッド401、402に対する操作を検出すると(ステップS12)、入力解析部163が操作を解析して操作状態を特定する(ステップS13)。ここで、処理実行部164は、入力解析部163が特定した操作状態が、動作モードの切り替えを指示する操作に該当するか否かを判定する(ステップS14)。
動作モードの切り替えを指示する操作に該当しない場合(ステップS14;NO)、処理実行部164は、設定データ121を参照して、ステップS13で入力解析部163が特定した操作状態に対応する処理に関する設定を取得する(ステップS15)。処理実行部164は、設定された処理を実行し(ステップS16)、その後、制御部140は動作を終了するか否かを判定する(ステップS17)。例えば電源スイッチが操作された場合など動作を終了すると判定した場合(ステップS17;YES)、制御部140は本処理を終了する。また、動作を終了しない場合(ステップS17;NO)、ステップS12に戻る。
動作モードの切り替えを指示する操作に該当しない場合(ステップS21;NO)、処理実行部164は、設定データ121を参照して、ステップS20で入力解析部163が特定した操作状態に対応する処理に関する設定を取得する(ステップS22)。処理実行部164は、設定された処理を実行し(ステップS23)、その後、制御部140は動作を終了するか否かを判定する(ステップS24)。動作を終了すると判定した場合(ステップS24;YES)、制御部140は本処理を終了する。また、動作を終了しない場合(ステップS24;NO)、ステップS19に戻る。
また、通常動作モードにおいては、外部センサー400の操作に対応する処理を行わないが、動作モードの切り替えを指示する外部センサー400の操作のみ検出し、動作モードの切り替えを行ってもよい。
図7は、HMD100に対する操作の態様と表示の具体例を示す図である。図7(A)は操作の一例を示し、図7(B)は図7(A)の操作に対応する表示例を示す。また、図7(C)は操作の別の例を示し、図7(D)は図7(C)の操作に対応する表示例を示す。
図7(A)及び(B)に符号Dで示すように、外部センサー400の検出範囲Dは、右導光部26、左導光部28の前方および上下左右に拡がる空間に位置する。
処理実行部164は、表示領域VAにY方向ガイドGYを表示させ、入力解析部163が操作体RH及び操作体LHの上方向Uへの移動を検出した場合、この上方向Uの移動に追従するように、Y方向ガイドGYを上方向Uに移動させる。また、入力解析部163が操作体RH及び操作体LHの下方向Dへの移動を検出した場合、この下方向Dの移動に追従するように、Y方向ガイドGYを下方向Dに移動させる。入力解析部163が検出する操作体RH、操作体LHの移動量と、Y方向ガイドGYの移動量との対応は、予め設定データ121に設定される。
図7(D)では使用者の視野VRにおいて、表示領域VAにX方向ガイドGXが表示される。X方向ガイドGXは、横方向すなわちX方向における位置を入力する操作を行うためのガイドであり、例えば表示領域VAに縦方向に延びる直線である。
処理実行部164は、表示領域VAにX方向ガイドGXを表示させ、入力解析部163が操作体RH及び操作体LHの右方向Rへの移動を検出した場合、この右方向Rの移動に追従するように、X方向ガイドGXを右方向Rに移動させる。また、入力解析部163が操作体RH及び操作体LHの左方向Lへの移動を検出した場合、この左方向Lの移動に追従するように、X方向ガイドGXを左方向Lに移動させる。入力解析部163が検出する操作体RH、操作体LHの移動量と、X方向ガイドGXの移動量との対応は、予め設定データ121に設定される。
また、Y方向ガイドGY及びX方向ガイドGXを表示させて位置入力を開始するトリガーを、2つの物体の接触を外部センサー400が検出することや、2つの物体の接触を検出した後でいずれか一方の物体の接触が解除されることとしてもよい。つまり、外部センサー400に操作体を接触させる操作と、外部センサー400の検出範囲において操作体を近接させる操作との組み合わせに対応して、処理実行部164が処理を実行してもよい。また、Y方向ガイドGY、X方向ガイドGXを表示する場合に、処理実行部164の制御により、操作方法を案内するテキストや画像を表示してもよい。
処理実行部164は、図7(D)に示すように、X方向ガイドGXが表示された状態で、2つの操作体(右手の人差し指と中指)を左右(図1のZ方向)に動かす操作を検出し、この操作に対応して、X方向ガイドGXを左右に移動させる。入力解析部163が検出する2つの操作体の移動量と、X方向ガイドGXの移動量との対応は、予め設定データ121に設定される。そして、入力解析部163が、2つの操作体のいずれかがフレーム3から所定距離以上、離隔したことを検出した場合に、X方向の位置を確定する。
また、この操作は、2つの操作体を図1のX方向に移動させた場合に、フレーム3を通してみる使用者の視界の奥行き方向における位置入力に適用してもよい。
図8(A)に符号Dで示すように、外部センサー400の検出範囲Dは、右導光部26、左導光部28の前方および上下左右に拡がる空間に位置する。
図8(B)、(C)には使用者の視野VRにおいて、表示画像V1が表示される。処理実行部164は、入力解析部163が外部センサー400の操作として、2つの物体が離隔する操作を検出した場合に、表示中の画像を拡大する。例えば、処理実行部164は、図8(C)の表示状態から表示画像V1の表示倍率を変更し、図8(B)の表示状態に移行させる。また、処理実行部164は、入力解析部163が外部センサー400の操作として、2つの物体が接近隔する操作を検出した場合に、表示中の画像を縮小する。例えば、処理実行部164は、図8(B)の表示状態から表示画像V1の表示倍率を変更し、図8(C)の表示状態に移行させる。
1.拡大/縮小回転:外部センサー400に2点で接触または近接を検出させ、フレーム3に対し右回転させながらいずれか1点を右センサー部410のいずれかのセンサーに接触させる。ここで、さらに別の1点でいずれかのセンサーに接触または近接を検出させる。この操作に対応して、処理実行部164は、表示画像V1を拡大させながら回転させる。上記操作で左回転させることで表示画像V1を縮小しながら回転させる動作を行ってもよい。
2.拡大/縮小回転:外部センサー400に2点で接触または近接を検出させて表示画像V1を拡大/縮小させる場合に、視野VRの外側に他の操作体を位置させ、この操作体の回転の角度または速度に応じた回転量で表示画像V1を回転させる。
3.外部センサー400の検出範囲において、操作体を外部センサー400に接近させる操作に応じて、表示画像V1を拡大し、操作体Hを外部センサー400から離隔させる操作に応じて、表示画像V1を縮小してもよい。操作体を外部センサー400に接近または離隔させる操作を、他の操作体を外部センサー400のセンサーに接触させる操作と組み合わせてもよい。
例えば、使用者の手等の操作体により、右センサー部410または左センサー部420を覆う操作により、第1状態と第2状態とを切り替えてもよい。この場合、入力解析部163は、右センサー部410の各センサーがほぼ同時に物体を検出した検出値、又は、左センサー部420の各センサーがほぼ同時に物体を検出した検出値に基づき、右センサー部410又は左センサー部420を覆う操作を検出する。また、タッチパッド401、402に対するダブルタップの操作で第1状態と第2状態とを切り替えてもよい。
また、図9(A)で仮想キーボードVKBを使用して文字入力が行われた後、入力された文字または文字列を、アプリケーションプログラムに転送して処理してもよい。転送するアプリケーションプログラムの選択や転送実行の指示をする操作として、外部センサー400に操作体を接近させる操作、外部センサー400の検出範囲内において操作体を所定の態様で動かす操作等が挙げられる。
また、仮想キーボードVKBの表示開始時、仮想キーボードVKBとアプリケーション画面VAPの表示時または切り替え時に、操作を案内する画像やテキストを、ポップアップ表示またはバルーン表示してもよい。
仮想リモートコントローラーVRCの操作用スイッチを位置入力操作によって選択すると、処理実行部164は、通信部117を制御して、仮想リモートコントローラーVRCが操作対象とする外部の機器に信号を送信する。操作対象の外部の機器は、例えば、上述したように家庭用電化製品やAV機器であるが、無線信号により制御または操作可能な装置であれば限定されない。また、通信部117は、処理実行部164の制御に従って、無線LAN、Bluetooth等の無線信号を送信してもよい。また、通信部117が、赤外線信号を送信するIR送信機(図示略)を備える場合、処理実行部164の制御により、通信部117が操作対象の機器に赤外線信号を送信してもよい。
具体的には、外部センサー400に操作体を所定時間以上接触させる操作、或いは、右センサー部410又は左センサー部420を覆う操作に応じて、処理実行部164は、カメラ61のフォーカス調整を指示する。入力解析部163は、外部センサー400が備える所定数以上のセンサーがほぼ同時に接触または近接を検出した場合に、右センサー部410または左センサー部420を覆う操作を検出すればよい。この操作の後で、同様の操作が行われた場合に、カメラ61のシャッター(撮影実行)を行ってもよい。また、表示画像V1を拡大、縮小する上記の操作により、カメラ61のズーム調整を行ってもよい。
また、操作アイコンA3は外部センサー400の検出領域の左下隅に対応する。外部センサー400の検出範囲の左下隅に操作体を接触または近接する操作が、操作アイコンA3を選択する操作として検出される。操作アイコンA3は、その後の操作体の移動に伴って、X、Y、Z方向に移動する。
操作アイコンA4、A5は外部センサー400の検出領域の右上隅に対応する。外部センサー400の検出範囲の左右上隅に操作体を接触または近接する操作が、操作アイコンA4、A5を選択する操作として検出される。操作アイコンA4、A5は、その後の操作体の移動に伴って、X、Y、Z方向に移動する。使用者の片手の2本の指で操作アイコンA4、A5を操作する態様も可能である。
また、ガイド表示B3は、例えば確定指示を行うアイコンであり、外部センサー400の検出領域の左下隅に対応する。外部センサー400の検出範囲の左下隅に操作体を接触または近接する操作が、ガイド表示B3を選択する操作として検出される。
このHMD100の構成、及び、HMD100の制御方法によれば、使用者は、フレーム3に接触することなく容易にHMD100を操作でき、例えば作業中に操作を行う場合等の利便性の向上を図ることができる。また、フレーム3に対する2以上の操作に、実行する処理が対応付けられるので、誤操作を防止できる。
また、ガイドの表示位置を、検出位置に対応または一致する位置でなく、操作体RH、LHの検出時のガイドの位置、または、使用者が視認しやすい位置としてもよい。この場合、マウス等の相対位置を入力する入力デバイスのような操作性を実現できる。
制御部140は、外部センサー400によって回転する操作を検出した場合に、画像表示部20の表示領域における表示を回転させる構成であってもよい。
制御部140は、外部センサー400によって2点に対する操作が検出され、検出された2点の操作位置間の距離が変化した場合に、当該距離の変化に対応して画像表示部20の表示領域における表示を拡大または縮小させる構成であってもよい。
また、制御部140は、外部センサー400で検出した操作体の操作と操作制御命令画像とに対応する処理を実行してもよく、この場合、操作内容が判るGUIの表示等を行ってもよい。
図12は、本発明を適用した第2実施形態に係るHMD100Aの構成を示す外観図である。
図12に示すHMD100Aは、上記第1実施形態のHMD100において、使用者の眼に面する位置に視線センサー65を有する。視線センサー65は、使用者の右眼、及び、左眼のそれぞれに対応するように、右導光部26と左導光部28との中央位置に一対、設けられる。視線センサー65は、例えば、使用者の右眼と左眼とをそれぞれ撮像する一対のカメラで構成される。視線センサー65は、制御部140の制御に従って撮像を行い、制御部140が、撮像画像データから右眼RE及び左眼LEの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。
その他の動作について、HMD100Aは、HMD100と同様に動作を実行できる。
図13は、本発明を適用した第3実施形態に係るHMD100Bの構成を示す外観図である。
図13に示すHMD100Bは、上記第1実施形態に係るHMD100において、タッチパッド401、402を持たない。HMD100Bは、カメラ61の下方に方向キー67、及び確定キー68を備える。
また、方向キー67の中央に位置する確定キー68は、押下操作によって確定を指示するキーとして機能する。
制御部140は、通常動作モードにおいて、方向キー67及び確定キー68の操作に従って、表示態様を変更する。
その他の動作について、HMD100Bは、HMD100と同様に動作を実行できる。
図14は、本発明を適用した第4実施形態に係るHMD100Cの構成を示す外観図である。
図14に示すHMD100Cは、上記第1実施形態に係るHMD100が有するセンサー411、412、413、421、422、423に代えて、センサー451〜456、462〜466を備える。
これらのいずれの場合も、センサーの検出値を入力解析部163が適宜に解析することにより、使用者が操作体を用いて行う操作を適切に検出できる。
図15は、本発明を適用した第5実施形態に係るHMD100Dの構成を示す外観図である。
HMD100Dは、使用者の頭部に装着された状態で使用者に虚像を視認させる表示装置の別の態様であり、眼鏡型の形状である。図15は正面側から見た斜視図である。
透過表示部337は全体として板状であり、透過表示部337の下端中央には、使用者の鼻に当接可能な凹部である鼻当部338が形成される。透過表示部337は、HMD100Dを使用者が装着する状態で、使用者の両眼の前に位置し、使用者の眼に画像を視認させる。
右透過部301Aは、右表示部301に相当し、外光OLを透過して使用者の右眼に外景を視認させるとともに、画像光Lを使用者の右眼に導いて、画像を視認させる。左透過部302Aは、左表示部302に相当し、外光OLを透過して使用者の左眼に外景を視認させるとともに、画像光Lを使用者の左眼に導いて、画像を視認させる。
ケース333は、例えば、右表示駆動部22を収容し、ケース334は、例えば、左表示駆動部24を収容する。
また、画像表示部21を構成する他の部位は、フレーム300の右収容部335及び左収容部336等に配置してもよい。
また、フレーム300には、処理部10(図4)を構成する各部が配置される。
左センサー部420を構成するセンサー421は、左透過部302Aの上方に配置され、センサー422は左透過部302Aよりも左保持部332側に配置され、センサー423は左透過部302Aの下方に配置される。
また、走査される光を受ける虚像形成面に代えて、回折格子を用いて使用者の眼に画像光を導く構成であってもよい。つまり、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/又は反射させて導く機能のみを有するものであってもよい。
また、上記各実施形態において、使用者の眼に画像を視認させる構成として、ホログラム素子を利用して眼に画像光を導く構成であってもよい。
Claims (16)
- 使用者の頭部に装着された状態で、前記使用者が実空間を視認可能に画像を表示する表示部と、
前記表示部周辺への指示体の接近を検出する検出部と、
前記検出部の検出結果に対応して、前記表示部の表示を伴う処理を実行する制御部と、を備え、
前記検出部が検出する前記表示部周辺に対する2以上の操作に対応付けて前記制御部が実行する処理が設定され、前記制御部は、前記検出部によって前記表示部周辺に対する2以上の操作が検出された場合に、設定された処理を実行すること、
を特徴とする表示装置。 - 前記表示部は、前記使用者の頭部に装着された状態で前記使用者の左眼側に位置する左眼用表示部、及び、右眼側に位置する右眼用表示部を備え、
前記検出部が検出する前記左眼用表示部に対する操作と前記右眼用表示部に対する操作との組み合わせに対応付けて、前記制御部が実行する処理が設定されること、
を特徴とする請求項1記載の表示装置。 - 前記検出部は、前記左眼用表示部に対し物体を接近させる操作と接触操作、及び、前記右眼用表示部に対し物体を接近させる操作と接触操作のそれぞれを検出すること、
を特徴とする請求項2記載の表示装置。 - 前記制御部は、前記検出部により2つの位置における接近が検出された場合に、2つの位置に対する接近に対応する操作制御命令画像を表示させ、
前記操作制御命令画像が表示された状態で、前記検出部により検出される前記指示体の所定方向の動きに、前記表示部が表示する前記操作制御命令画像の前記所定方向の動きを対応付けること、
を特徴とする請求項2記載の表示装置。 - 前記制御部は、前記検出部によって、前記右眼用表示部及び前記左眼用表示部の両方において、前記使用者の頭を基準として上下方向または左右方向に物体が移動する操作を検出した場合に、前記表示部の表示領域における上下方向または左右方向の位置入力を受け付けること、
を特徴とする請求項2から4のいずれかに記載の表示装置。 - 前記検出部は、前記表示部の外表面への接触、及び、前記表示部の外側からの物体の接近を検出すること、
を特徴とする請求項1から5のいずれかに記載の表示装置。 - 前記制御部は、前記検出部によって物体が回転する操作を検出した場合に、前記表示部の表示領域における表示を回転させること、
を特徴とする請求項1から6のいずれかに記載の表示装置。 - 前記制御部は、前記検出部によって2点に対する操作が検出され、検出された2点の操作位置間の距離が変化した場合に、当該距離の変化に対応して前記表示部の表示領域における表示を拡大または縮小させること、
を特徴とする請求項1から7のいずれかに記載の表示装置。 - 撮像部を備え、
前記制御部は、前記検出部によって前記表示部の表面に所定時間以上接触する操作、または前記表示部の所定以上の面積を物体により覆う操作を検出した場合に、前記撮像部による撮像を実行させること、
を特徴とする請求項1から8のいずれかに記載の表示装置。 - 操作を受け付ける操作部を備え、
前記制御部は、前記操作部により受け付けられた操作に対応して処理を行う通常動作モードと、前記検出部の検出結果に対応して前記表示部の表示を伴う処理を実行する近接操作モードと、を切り替えて実行すること、
を特徴とする請求項1から9のいずれかに記載の表示装置。 - 前記検出部は、前記表示部、或いは、前記表示部を構成する光学部品を保持する保持部への指示体の接近を検出すること、
を特徴とする請求項1から10のいずれかに記載の表示装置。 - 前記検出部は、前記表示部の周囲に配置された近接センサーを有し、前記近接センサーにより検出される前記指示体の動きに基づき前記表示と操作制御を対応させること、
を特徴とする請求項1から10のいずれかに記載の表示装置。 - 前記制御部は、前記近接センサーにより前記表示部周辺への前記指示体の接近を検出した場合に、前記表示部によって操作制御命令画像を表示させ、前記操作部による操作と前記操作制御命令画像とを対応付けること、
を特徴とする請求項12記載の表示装置。 - 前記表示部は、外光を透過させることにより前記実物体を視認可能に構成され、前記実物体と重ねて視認されるように画像を表示すること、
を特徴とする請求項1から13のいずれかに記載の表示装置。 - 使用者の頭部に装着された状態で、前記使用者が実空間を視認可能に画像を表示する表示部と、操作を受け付ける操作部とを備える表示装置の制御方法であって、
前記表示部周辺に対する2以上の操作に対応付けて実行する処理が設定され、
前記表示部周辺への指示体の接近を検出し、
前記表示部周辺に対する2以上の操作が検出された場合に、設定された処理を実行すること、
を特徴とする表示装置の制御方法。 - 使用者の頭部に装着された状態で、前記使用者が実空間を視認可能に画像を表示する表示部と、操作を受け付ける操作部とを備える表示装置を制御するコンピューターが実行可能なプログラムであって、
前記表示部周辺に対する2以上の操作に対応付けて実行する処理が設定された場合に、
前記表示部周辺への指示体の接近を検出し、
前記表示部周辺に対する2以上の操作が検出された場合に、設定された処理を実行するためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015256139A JP6638392B2 (ja) | 2015-12-28 | 2015-12-28 | 表示装置、表示システム、表示装置の制御方法、及び、プログラム |
US15/372,079 US10133407B2 (en) | 2015-12-28 | 2016-12-07 | Display apparatus, display system, method for controlling display apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015256139A JP6638392B2 (ja) | 2015-12-28 | 2015-12-28 | 表示装置、表示システム、表示装置の制御方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017120488A true JP2017120488A (ja) | 2017-07-06 |
JP6638392B2 JP6638392B2 (ja) | 2020-01-29 |
Family
ID=59272091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015256139A Active JP6638392B2 (ja) | 2015-12-28 | 2015-12-28 | 表示装置、表示システム、表示装置の制御方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6638392B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101987050B1 (ko) * | 2018-08-01 | 2019-06-10 | 양영용 | Vr드론실기실감체험 형성장치 |
JP2019121102A (ja) * | 2017-12-28 | 2019-07-22 | トヨタ自動車株式会社 | 車載機器操作装置 |
JP2019133342A (ja) * | 2018-01-30 | 2019-08-08 | Dynabook株式会社 | ウェアラブル機器及びその操作方法 |
JP7039672B1 (ja) | 2020-10-29 | 2022-03-22 | ソフトバンク株式会社 | 制御装置、プログラム、及び制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013150118A (ja) * | 2012-01-18 | 2013-08-01 | Sony Corp | ヘッドマウントディスプレイ |
WO2013136696A1 (ja) * | 2012-03-13 | 2013-09-19 | ソニー株式会社 | ヘッドマウントディスプレイ |
WO2014088971A1 (en) * | 2012-12-06 | 2014-06-12 | Microsoft Corporation | Multi-touch interactions on eyewear |
JP2014142751A (ja) * | 2013-01-23 | 2014-08-07 | Seiko Epson Corp | 表示装置、頭部装着型表示装置および表示装置の制御方法 |
-
2015
- 2015-12-28 JP JP2015256139A patent/JP6638392B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013150118A (ja) * | 2012-01-18 | 2013-08-01 | Sony Corp | ヘッドマウントディスプレイ |
WO2013136696A1 (ja) * | 2012-03-13 | 2013-09-19 | ソニー株式会社 | ヘッドマウントディスプレイ |
WO2014088971A1 (en) * | 2012-12-06 | 2014-06-12 | Microsoft Corporation | Multi-touch interactions on eyewear |
JP2014142751A (ja) * | 2013-01-23 | 2014-08-07 | Seiko Epson Corp | 表示装置、頭部装着型表示装置および表示装置の制御方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019121102A (ja) * | 2017-12-28 | 2019-07-22 | トヨタ自動車株式会社 | 車載機器操作装置 |
JP2019133342A (ja) * | 2018-01-30 | 2019-08-08 | Dynabook株式会社 | ウェアラブル機器及びその操作方法 |
JP6995650B2 (ja) | 2018-01-30 | 2022-01-14 | Dynabook株式会社 | ウェアラブル機器及びその操作方法 |
KR101987050B1 (ko) * | 2018-08-01 | 2019-06-10 | 양영용 | Vr드론실기실감체험 형성장치 |
JP7039672B1 (ja) | 2020-10-29 | 2022-03-22 | ソフトバンク株式会社 | 制御装置、プログラム、及び制御方法 |
JP2022072285A (ja) * | 2020-10-29 | 2022-05-17 | ソフトバンク株式会社 | 制御装置、プログラム、及び制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6638392B2 (ja) | 2020-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10133407B2 (en) | Display apparatus, display system, method for controlling display apparatus, and program | |
US10635182B2 (en) | Head mounted display device and control method for head mounted display device | |
EP4172726A1 (en) | Augmented reality experiences using speech and text captions | |
JP6123365B2 (ja) | 画像表示システム及び頭部装着型表示装置 | |
US10261327B2 (en) | Head mounted display and control method for head mounted display | |
JP2018101019A (ja) | 表示装置及び表示装置の制御方法 | |
JP6264871B2 (ja) | 情報処理装置および情報処理装置の制御方法 | |
US20170289533A1 (en) | Head mounted display, control method thereof, and computer program | |
JP6554948B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP6303274B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6638392B2 (ja) | 表示装置、表示システム、表示装置の制御方法、及び、プログラム | |
JP6776578B2 (ja) | 入力装置、入力方法、コンピュータープログラム | |
JP2017134575A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016024208A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6740613B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
US11429200B2 (en) | Glasses-type terminal | |
JP2018206080A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2018022426A (ja) | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 | |
JP2018042004A (ja) | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 | |
US20180260068A1 (en) | Input device, input control method, and computer program | |
JP2018091882A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
US20240089362A1 (en) | Terminal Device | |
JP7031112B1 (ja) | 眼鏡型端末 | |
JP2018092206A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6669183B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6638392 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |