JP2016139174A - ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム - Google Patents
ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム Download PDFInfo
- Publication number
- JP2016139174A JP2016139174A JP2015012140A JP2015012140A JP2016139174A JP 2016139174 A JP2016139174 A JP 2016139174A JP 2015012140 A JP2015012140 A JP 2015012140A JP 2015012140 A JP2015012140 A JP 2015012140A JP 2016139174 A JP2016139174 A JP 2016139174A
- Authority
- JP
- Japan
- Prior art keywords
- touch sensor
- image
- display
- unit
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】操作しやすいヘッドマウントディスプレイを提供する。
【解決手段】ユーザーの眼前に画像を表示する表示部30と、表示部の周の少なくとも一部に沿って設けられたタッチセンサー41、43と、タッチセンサーが検出した操作に応じて画像を変化させる制御部と、を備えるヘッドマウントディスプレイとしてのスマートグラス1を構成する。タッチセンサーは、第一タッチセンサーと、第一タッチセンサーと表示部を挟む位置関係にある第二タッチセンサーとを含み、制御部は、第一タッチセンサーが検出した第一タッチ位置の第一方向への移動と、第二タッチセンサーが検出した第二タッチ位置の第一方向とは逆の第二方向への移動と、で表される操作に応じて、画像を回転させる。
【選択図】図1
【解決手段】ユーザーの眼前に画像を表示する表示部30と、表示部の周の少なくとも一部に沿って設けられたタッチセンサー41、43と、タッチセンサーが検出した操作に応じて画像を変化させる制御部と、を備えるヘッドマウントディスプレイとしてのスマートグラス1を構成する。タッチセンサーは、第一タッチセンサーと、第一タッチセンサーと表示部を挟む位置関係にある第二タッチセンサーとを含み、制御部は、第一タッチセンサーが検出した第一タッチ位置の第一方向への移動と、第二タッチセンサーが検出した第二タッチ位置の第一方向とは逆の第二方向への移動と、で表される操作に応じて、画像を回転させる。
【選択図】図1
Description
本発明は、ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラムに関する。
従来、眼鏡型のヘッドマウントディスプレイ(所謂スマートグラス)が知られている(例えば特許文献1)。
スマートグラスの操作方法として、従来はスマートグラスとは別体のタッチパッドに対して操作を行う方法や、特許文献1に記載されているように指先にタッチセンサーを装着した状態で指と指とを合わせる等のジェスチャーをする方法等があった。しかし従来の操作方法では、直観的な操作がしづらいという問題があった。
本発明は、操作しやすいヘッドマウントディスプレイを提供することを目的とする。
本発明は、操作しやすいヘッドマウントディスプレイを提供することを目的とする。
上記目的を達成するためのヘッドマウントディスプレイは、ユーザーの眼前に画像を表示する表示部と、前記表示部の周の少なくとも一部に沿って設けられたタッチセンサーと、前記タッチセンサーが検出した操作に応じて前記画像を変化させる制御部と、を備える。
本発明のヘッドマウントディスプレイは、表示部の周に沿って設けられたタッチセンサー上でユーザーが指等のオブジェクトを接触させることで表示部に表示されている画像を変化させることができる。表示部と操作対象部とが従来の構成と比較して近く、ユーザーが表示部を目視しながら操作対象部に対する自身の指等の動きを認識することができるため、従来の構成と比較して操作しやすい。また、例えば空中での指等のジェスチャーによって指示を入力する(ジェスチャーを撮影した画像を解析して指示内容を取得する)構成と比較すると、本発明の構成は実体のある物体に対して操作を行うことができるため、安定感がありユーザーにとって操作しやすい。
本発明のヘッドマウントディスプレイは、表示部の周に沿って設けられたタッチセンサー上でユーザーが指等のオブジェクトを接触させることで表示部に表示されている画像を変化させることができる。表示部と操作対象部とが従来の構成と比較して近く、ユーザーが表示部を目視しながら操作対象部に対する自身の指等の動きを認識することができるため、従来の構成と比較して操作しやすい。また、例えば空中での指等のジェスチャーによって指示を入力する(ジェスチャーを撮影した画像を解析して指示内容を取得する)構成と比較すると、本発明の構成は実体のある物体に対して操作を行うことができるため、安定感がありユーザーにとって操作しやすい。
表示部は、ユーザーがヘッドマウントディスプレイを頭部に装着した状態でユーザーの眼前に位置するように構成され、ユーザーの眼前において画像を表示させる。ヘッドマウントディスプレイが眼鏡型である場合は、表示部は眼鏡のレンズに相当する部分である。表示部は両目用に二つ設けられていてもよいし、片方の目用に一つ設けられていてもよい。ある態様によれば、表示部は薄板状(湾曲していてもよい)の形態を有しており、表示部の周とは、例えば、薄板状の部分の厚みを規定する面によって構成される部分である。タッチセンサーは表示部の周の少なくとも一部に沿って設けられるが、これは、表示部に直接タッチセンサーが設けられる場合と、表示部の縁を支持する枠(フレーム)等の支持体にタッチセンサーが設けられる場合の両方を含む。いずれにしても、タッチセンサーは表示部の周方向に延びるように設けられる。そしてタッチセンサーは少なくとも表示部の周方向におけるオブジェクトの接触位置を検出することができればよい。
制御部は、タッチセンサーがユーザーの操作を検出したことに応じて表示部に表示している画像を変化させるが、これは、表示部に表示している画面全体を変化させる態様や、画面内の一部の表示要素を変化させる態様を含む。タッチセンサーに対するユーザーの操作としては、後述する回転、ピンチイン、ピンチアウト、スライド等の操作の他にも、シングルタップ、ダブルタップ、長押し等、タッチセンサーやタッチパネルに対する操作として周知の様々な操作を想定してよい。
さらに、上記目的を達成するためのヘッドマウントディスプレイにおいて、前記制御部は、二つのタッチ位置が前記周に沿って互いに異なる方向に移動する前記操作に応じて前記画像を変化させてもよい。
ユーザーが表示部の周に沿って指等のオブジェクトを二か所において接触させ、接触させたまま互いに異なる方向にタッチ位置が移動するように指等のオブジェクトを移動(スライド)させることで、表示部に表示された画像を変化させることができる。ユーザーは、タッチ位置とタッチ位置の移動方向とで画像の変化態様をヘッドマウントディスプレイに対して指示することができる。
ユーザーが表示部の周に沿って指等のオブジェクトを二か所において接触させ、接触させたまま互いに異なる方向にタッチ位置が移動するように指等のオブジェクトを移動(スライド)させることで、表示部に表示された画像を変化させることができる。ユーザーは、タッチ位置とタッチ位置の移動方向とで画像の変化態様をヘッドマウントディスプレイに対して指示することができる。
さらに、上記目的を達成するためのヘッドマウントディスプレイにおいて、前記タッチセンサーは、第一タッチセンサーと、前記第一タッチセンサーと前記表示部を挟む位置関係にある第二タッチセンサーとを含んでもよい。その場合に前記制御部は、前記第一タッチセンサーが検出した第一タッチ位置の第一方向への移動と、前記第二タッチセンサーが検出した第二タッチ位置の前記第一方向とは逆の第二方向への移動と、で表される前記操作に応じて、前記画像を回転させてもよい。
第一タッチ位置と第二タッチ位置とを互いに異なる方向に移動(スライド)させる操作に応じて、表示部に表示された画像を回転させる処理を制御部が行うように構成されていることにより、画像を回転させるための直観的な操作方法をユーザーに提供できる。
さらに、上記目的を達成するためのヘッドマウントディスプレイにおいて、前記制御部は、前記二つのタッチ位置が互いに近づくように移動する前記操作に応じて前記画像を縮小させてもよい。また、前記二つのタッチ位置が互いに遠ざかるように移動する前記操作に応じて前記画像を拡大させてもよい。
表示部の周に沿って設けられたタッチセンサー上で二つのオブジェクトを近づける操作(所謂ピンチイン操作)と、画像を縮小表示する処理とを対応づけることで、直観的な操作方法をユーザーに提供することができる。また、タッチセンサー上で二つのオブジェクトを遠ざける操作(所謂ピンチアウト操作)と、画像を拡大表示する処理とを対応づけることで、直観的な操作方法をユーザーに提供することができる。なお、直接的な画像の拡大縮小以外でも、例えばピンチイン操作に応じて表示されている情報の集約化がなされてもよいし、ピンチアウト操作に応じて表示されている情報の詳細化がなされてもよい。
さらに、上記目的を達成するためのヘッドマウントディスプレイにおいて、前記制御部は、一つのタッチ位置が前記周に沿うように移動する前記操作に応じて前記画像の表示位置を移動させてもよい。
表示部の周に沿って設けられたタッチセンサー上でオブジェクトを周方向に移動(スライド)させる操作をユーザーが行うことで、表示部に表示されている画像の表示位置を移動させることができる。
表示部の周に沿って設けられたタッチセンサー上でオブジェクトを周方向に移動(スライド)させる操作をユーザーが行うことで、表示部に表示されている画像の表示位置を移動させることができる。
なお、上述のように、表示部の周の少なくとも一部に沿って設けられたタッチセンサーが検出した操作に応じて表示部に表示されている画像を変化させる手法は、ヘッドマウントディスプレイの制御方法の発明や制御プログラムの発明としても成立する。また請求項に記載された各部の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各部の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
以下、本発明の実施の形態を添付図面を参照しながら以下の順に説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
1.第一実施形態:
1−1.構成:
図1は、本発明にかかるヘッドマウントディスプレイ(Head Mounted Display、HMD)としてのスマートグラス1の外観構成を示す説明図である。図2は、スマートグラス1の構成を機能的に示すブロック図である。本実施形態のスマートグラス1は、ユーザーが、表示部に表示された画像(表示画像)を視認すると同時に外景も直接視認可能な光学透過型のHMDである。
1.第一実施形態:
1−1.構成:
図1は、本発明にかかるヘッドマウントディスプレイ(Head Mounted Display、HMD)としてのスマートグラス1の外観構成を示す説明図である。図2は、スマートグラス1の構成を機能的に示すブロック図である。本実施形態のスマートグラス1は、ユーザーが、表示部に表示された画像(表示画像)を視認すると同時に外景も直接視認可能な光学透過型のHMDである。
スマートグラス1は、ユーザーの頭部に装着された状態においてユーザーに表示画像を視認させる装着体200と、装着体200を制御するコントローラー100と、を備えている。装着体200は、本実施形態では眼鏡形状を有している。装着体200は、眼鏡のレンズに相当する部分である表示部30と、表示部30の縁を支持する枠部33と、枠部33と接続し装着時にユーザーの耳に掛け持たれる保持部50と、表示駆動部20と、第二操作部40と、外景撮像カメラカメラ61と、を含む。なお、本明細書において「上下左右」は、装着体200をユーザーの頭部に装着した状態において当該ユーザーにとっての上下左右を意味する。
表示部30は右光学像表示部31および左光学像表示部32を含む。右光学像表示部31および左光学像表示部32は、それぞれ、ユーザーが装着体200を装着した際にユーザーの右および左の眼前に位置するように配置されている。右光学像表示部31および左光学像表示部32は縁が枠部33に固定されている。保持部50は右保持部51および左保持部52を含む。右保持部51および左保持部52は、眼鏡のテンプルのようにして、ユーザーの頭部に装着体200を保持させる。表示駆動部20は右表示駆動部21および左表示駆動部22を含む。右表示駆動部21と左表示駆動部22とは、保持部50の内側、すなわち保持部50の、ユーザーが装着体200を装着した際のユーザーの頭部に対向する側に配置されている。
右表示駆動部21は、光源として機能する右バックライト(BL)制御部211および右BL212と、表示素子として機能する右LCD制御部213および右LCD214と、右投写光学系215と、を含んでいる。右投写光学系215は、右LCD214から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部31は、右導光板310と、図示しない調光板とを含んでいる。右導光板310は、右投写光学系215から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼REに導く。
左表示駆動部22は、光源として機能する左バックライト(BL)制御部221および左BL222と、表示素子として機能する左LCD制御部223および左LCD224と、左投写光学系225と、を含んでいる。左投写光学系225は、左LCD224から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部32は左導光板320と図示しない調光板とを含む。左導光板320は、左投写光学系225から出力された画像光を、所定の光路に沿って反射させつつユーザーの左眼LEに導く。
右導光板310および左導光板320は、光透過性の樹脂材料等によって形成されている。調光板は、薄板状の光学素子であり、ユーザーの眼の側とは反対の側である装着体200の表側を覆うように配置されている。調光板は、導光板310,320を保護し、導光板310,320の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、ユーザーの眼に入る外光量を調整して表示画像の視認のしやすさを調整できる。なお、調光板は省略可能である。
第二操作部40は、上タッチセンサー41と下タッチセンサー43とを含む。上タッチセンサー41は、右光学像表示部31の周のうちの上部(周を上下左右の4つに区分した場合の上部。上とは、装着体200を装着した場合のユーザーの頭頂部側)に沿うように枠部33の表面に設けられている。下タッチセンサー43は、右光学像表示部31の周のうちの下部(装着体200を装着した場合のユーザーの顎側)に沿うように枠部33の表面に設けられている。また、上タッチセンサー41と下タッチセンサー43のそれぞれと接続する図示しないタッチセンサーI/F部が枠部33内に内蔵されている。
上タッチセンサー41に対して接触操作がなされた場合に、上タッチセンサー41のタッチセンサーI/F部が接触位置を示す信号を制御部10に出力する。同様に下タッチセンサー43に対して接触操作がなされた場合に、下タッチセンサー43のタッチセンサーI/F部が接触位置を示す信号を制御部10に出力する。本実施形態においては、上タッチセンサー41および下タッチセンサー43には、右光学像表示部31の周方向における接触位置を検出できればよいため、1次元座標を検出するタッチセンサーが用いられる。
外景撮像カメラ61は、ユーザーが装着体200を装着した際のユーザーの眉間に対応する位置に配置されている。外景撮像カメラ61は、外部の景色である外景を撮像し、外景画像を取得する。本実施形態における外景撮像カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。
装着体200はさらに、装着体200をコントローラー100に接続するための接続部70を有している。接続部70は、コントローラー100に接続される本体コード78と、本体コード78から分岐した右コード72および左コード74と、連結部材76と、を含んでいる。右コード72は、右保持部51の先端から右保持部51の筐体内に挿入され、右表示駆動部21やタッチセンサーI/F部に接続されている。左コード74は、左保持部52の先端から左保持部52の筐体内に挿入され、左表示駆動部22に接続されている。連結部材76は、本体コード78と、右コード72および左コード74と、の分岐点に設けられ、イヤホンプラグ80を接続するためのジャックを有している。イヤホンプラグ80からは、右イヤホン81および左イヤホン82が延伸している。装着体200とコントローラー100とは、接続部70を介して各種信号の伝送を行なう。本体コード78における連結部材76とは反対側の端部にはコネクターが設けられており、コントローラー100に対して脱着可能である。
コントローラー100は、スマートグラス1を制御するための装置である。コントローラー100は、制御部10と、電源11と、第一操作部12と、通信I/F部13と、を含んでいる。制御部10は、CPU,RAM,ROM等を含み、ROMやRAMに記録された制御プログラムを、RAM等を用いてCPUが実行することによってスマートグラス1を制御する。制御プログラムには、オペレーティングシステムや、後述する操作受付処理プログラムや、表示制御プログラム、画像処理プログラム、音声処理プログラム等が含まれる。
第一操作部12は、決定キー121、トラックパッド124、方向キー126、電源スイッチ128等を含む。決定キー121は、押下操作されると、コントローラー100で行われた操作や第二操作部40で行われた操作内容を決定する信号を出力するキーである。トラックパッド124は、トラックパッド124の操作面上でのユーザーの指等の操作を検出して、検出内容に応じた信号を出力する。方向キー126は、上下左右方向に対応するキーへの押下操作がなされると、検出内容に応じた信号を出力するキーである。電源スイッチ128は、スイッチのスライド操作がなされると、スマートグラス1の電源投入状態を切り替えるスイッチである。
通信I/F部13は、コンテンツサーバー、テレビ、パーソナルコンピューター等の外部の機器との間で有線通信(例えばUSB等)または無線通信(例えばWi-Fi(登録商標)、Bluetooth(登録商標)等)を行なうためのインターフェース回路を備えている。
表示制御プログラムは、左右の表示駆動部21,22のそれぞれによる画像光の生成および射出を制御する機能を制御部10に実現させる。具体的には、右LCD制御部213による右LCD214の駆動ON/OFF、右BL制御部211による右BL212の駆動ON/OFF、左LCD制御部223による左LCD224の駆動ON/OFF、左BL制御部221による左BL222の駆動ON/OFFなど、を個別に制御する機能を実現させる。
画像処理プログラムは、表示対象データに含まれる画像信号に基づいて右目用画像データと左目用画像データを生成し、右表示駆動部21と左表示駆動部22にそれぞれ送信する機能を制御部10に実現させる。音声処理プログラムは、再生対象データに含まれる音声信号を取得し、取得した音声信号を図示しない増幅器によって増幅させ、左右のイヤホン71,72内の図示しないスピーカーに供給する機能を制御部10に実現させる。操作受付プログラムは、第一操作部12に対する操作や第二操作部40に対する操作がなされたことを示す情報を取得した場合に、当該操作に応じた処理を実行させる機能を制御部10に実現させる。
制御部10がオペレーティングシステムや表示制御プログラムや画像処理プログラムや操作受付プログラムを実行することにより、スマートグラス1はユーザーの操作に応じた処理を実行できるとともに表示部30に表示される情報を変化させてユーザーに案内することができる。
1−2:操作内容と表示画像の変化:
上述したように、スマートグラス1は、コントローラー100の第一操作部12に加えてさらに第二操作部40を備えており、ユーザーは第二操作部40を用いて次のような操作を行うことができる。
上述したように、スマートグラス1は、コントローラー100の第一操作部12に加えてさらに第二操作部40を備えており、ユーザーは第二操作部40を用いて次のような操作を行うことができる。
図3A,図3Cおよび図3Eは、表示部30(左右の導光板310,320)に表示されユーザーが視認する画面を示している。スマートグラス1では外景撮像カメラ61によって画像を撮影することができる。例えば図3A,3C,3Eは、外景撮像カメラ61を用いて撮影された画像の一覧表示画面であって、複数の画像のうちの3つの画像が画面上に表示されることを示している。また、枠が強調表示されている画像は選択された画像であることを示している。複数の画像データは制御部10によって双方向の連結リスト形式で管理されている。すなわち、表示対象の画像データを昇順または降順の順序に従って切り替えることができるように管理されている。
図3Aは、複数の画像のうちの画像i1〜i3が表示されていることを示している。画面に表示させる3つの画像は次の操作で変更させることができる。例えば、図3Aに示す画面が表示されている状態で、ユーザーが上タッチセンサー41上で図3Bに示すように指を左導光板320に近づくようにスライドさせたことを上タッチセンサー41が検出すると、制御部10は表示中の3つの画像i1,i2,i3の表示位置を一つずつ左導光板320側にずらし、図3Cに示すように画像i2以降の3つの画像i2,i3,i4を表示させる。すなわち制御部10は、タッチ位置の移動方向に画像を移動させる。
もちろん、図3Cに示す画面が表示されている状態で図3Bに示す方向と逆方向に指がスライドされたことを検出すると制御部10は図3Aに示す画面に戻す。なお、指をスライドさせる量に応じて画像の移動量(表示位置をずらす量)が異なってもよい。また、指をスライドさせる速度に応じて画像の移動量や移動速度が異なってもよい。
選択画像を示す枠は、例えば次のような操作で移動させることができる。図3Cに示すように3つの画像のうちの中央の画像i3が選択されている状態で、例えば図3Dに示すように右導光板310における画像i4の表示位置と重なる上タッチセンサー41上の位置413がシングルタップされたことを検出すると、図3Eに示すように制御部10は3つの画像のうち右側の画像を選択画像とし、当該画像の枠を強調表示させる。なお、右導光板310における画面の表示位置は、制御部10および右表示駆動部21によって制御されており、画面内の表示要素の表示位置と上タッチセンサー41上の対応位置との関係を制御部10は予め認識済である。
また、ユーザーは上下のタッチセンサーを用いて次の操作をすることで表示画像を回転させることができる。例えば、制御部10は選択画像を回転表示することができる。具体的には例えば図4Aに示すように画像i3が選択された状態で、ユーザーが図4Bに示すように、上タッチセンサー41上で例えば人差し指を左導光板320に接近するように移動させるとともに、下タッチセンサー43上で例えば親指を左導光板320から遠ざかるように移動させたことを検出すると、制御部10は、タッチ位置の移動方向に対応する回転方向、すなわちこの場合は図4Cに示すように画像i3を反時計回りの方向に90度回転させて表示させる。詳細には、制御部10は、画像の回転中心を中心とした仮想円と、タッチ位置の移動方向と平行な仮想線との接点が、仮想円周上において仮想線が示す向きに移動する場合の回転方向と同じ方向に、画像を回転させる。
一旦指を上下のタッチセンサーから離して再び同じ操作(図4Bに示す操作)がなされたことを検出すると、制御部10は図4Eに示すように反時計回りにさらに90度、画像i3を回転させて表示する。なお、一度の操作(上下のタッチセンサーに指を接触させてからスライドさせ指を離すまでの操作)での画像の回転角度は90度単位でなくてもよい。例えば指をスライドさせる量に応じて回転角が異なってもよい。また、指をスライドさせる速度に応じて画像の回転角や回転速度が異なってもよい。
また、図4Eに示す状態でユーザーが上タッチセンサー41上で人差し指を左導光板320から遠ざかるように移動させるとともに、下タッチセンサー43上で親指を左導光板320に接近するように移動させたことを検出すると、制御部10は選択画像i3を時計回りに90度回転させて表示する(図4Cに示す表示に戻る)。なお、上述のように表示部を挟んだ二つのタッチ位置の両方が互いに異なる方向に移動する場合のみならず、一方のタッチ位置は移動せず他方のタッチ位置のみが移動する場合にも画像の回転表示がなされてもよい。例えば、ユーザーが上タッチセンサー41に対して接触させている指(例えば人差し指)は移動させずに下タッチセンサー43に対して接触させている指(例えば親指)を移動させた場合も、制御部10は下タッチセンサー43におけるタッチ位置の移動方向に対応する回転方向に画像を回転して表示させてもよい。
このように、表示部30の周の一部に上タッチセンサー41または下タッチセンサー43が設けられていることで、ユーザーは、二つの指で表示部30の上下を挟み、その少なくとも一方の指をスライドさせる操作をすることができる。この操作の場合、表示部30を挟む両方の指のうち少なくとも他方の指で表示部30を支えることができるため、ユーザーの目に対する表示部30のずれを少なくすることができる。そしてこのような二つの指で表示部30の上下を挟んで行う操作は、眼鏡の掛け心地を調整する際等に通常行われる動作に似ていることから、奇異でない。そのためユーザーは周囲に違和感を与えることなく操作を行うことができる。表示部30の周のうち左右の部分にタッチセンサーが設けられている場合も、同様である。
また、ユーザーは次のような操作をすることで表示画像を拡大または縮小することができる。具体的には例えば、図5Aに示す画面が表示されている状態で、図5Bに示すようにユーザーが上タッチセンサー41上で二本の指(例えば人差し指と中指)を互いに遠ざけるように移動させたことを検出すると制御部10は、表示中の画面全体を図5Cに示すように拡大表示させる。また、逆に図5Cに示す画面が表示されている状態で、ユーザーが人差し指と中指を互いに近づけるように移動させたことを検出すると、制御部10は図5Eに示すように表示中の画像を縮小表示させる。なお、選択画像のみを拡大縮小表示する仕様であってももちろんよい。
なお、上述したような複数の画像の一覧表示から、例えば選択中の画像に対応する上タッチセンサー41上の位置に対するダブルタップ操作が検出されると、制御部10は当該画像を全面表示してもよい。また、1つの画像が画面に全面表示された状態で図3Bに示すスライド操作や、図4Bおよび図4Dに示す回転操作や、図5Bおよび図5Dに示す拡大縮小操作が有効とされてもよい。例えば、1つの画像が画面に全面表示された状態で図5Bに示す拡大操作が行われると制御部10は全面表示された1つの画像を拡大し、拡大された状態で図3Bに示すスライド操作が行われると制御部10は拡大された画像内の表示対象位置を移動させてもよい。また例えば、1つの画像が画面に全面表示された状態で図4Bに示す回転操作が行われると制御部10は画像を回転させて表示させてもよい。再び上タッチセンサー41へのダブルタップ操作が検出されると制御部10は画像の一覧表示に戻すようにしてもよい。
以上のように、従来コントローラー100の第一操作部12だけでは直観的に操作しづらかった場面においても、本実施形態のように装着体200の表示部の周に沿って設けられたタッチセンサーを使用することにより、直観的な操作を可能にすることができる。なお、もちろん、コントローラー100のタッチパッド124や方向キー126や決定キー121等を操作することによっても、上述の操作と同様の結果を得ることができてよい。
2.他の実施形態:
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、スライド、ピンチイン、ピンチアウト、回転、シングルタップ、ダブルタップ以外にも長押し等の操作になんらかの処理が対応付けられていてもよい。例えば選択画像に対応する上タッチセンサー41の位置の長押し操作が検出されると制御部10は選択画像に対する操作メニューやプロパティーを表示するようにしてもよい。また、上記実施形態では表示位置の移動や拡大縮小に上タッチセンサー41を使用していたがもちろん下タッチセンサー43で同様の操作が行われてもよいし、上タッチセンサー41に対する操作と下タッチセンサー43に対する操作の組み合わせによって表示要素の移動や拡大縮小が実現されてもよい。また、上記実施形態で挙げた操作内容と処理内容との対応関係は一例であって、他の対応関係が採用されてもよい。例えば上記実施形態では、指をタッチセンサーの一か所に接触させそのままスライドさせる操作には画像の表示位置の移動の処理が対応づけられていたが、当該操作が画像の回転表示処理に対応づけられていてもよい。
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、スライド、ピンチイン、ピンチアウト、回転、シングルタップ、ダブルタップ以外にも長押し等の操作になんらかの処理が対応付けられていてもよい。例えば選択画像に対応する上タッチセンサー41の位置の長押し操作が検出されると制御部10は選択画像に対する操作メニューやプロパティーを表示するようにしてもよい。また、上記実施形態では表示位置の移動や拡大縮小に上タッチセンサー41を使用していたがもちろん下タッチセンサー43で同様の操作が行われてもよいし、上タッチセンサー41に対する操作と下タッチセンサー43に対する操作の組み合わせによって表示要素の移動や拡大縮小が実現されてもよい。また、上記実施形態で挙げた操作内容と処理内容との対応関係は一例であって、他の対応関係が採用されてもよい。例えば上記実施形態では、指をタッチセンサーの一か所に接触させそのままスライドさせる操作には画像の表示位置の移動の処理が対応づけられていたが、当該操作が画像の回転表示処理に対応づけられていてもよい。
また、例えば制御部10は、上タッチセンサー41または下タッチセンサー43への操作に応じて、アプリケーションプログラムのアイコン画像の一つを選択し、選択されたアイコン画像の表示態様を変化させてもよい。また、制御部10は、上タッチセンサー41または下タッチセンサー43への操作に応じて、選択されたアイコン画像に対応するアプリケーションプログラムまたはその一部の機能を起動してもよい。アプリケーションプログラムが起動されると、制御部10は、表示部30が表示する画像(表示内容)を変化させてもよい。上タッチセンサー41または下タッチセンサー43への操作に応じて変化する画像は、表示部30に表示された内容の一部に対応することもあるし、表示部30に表示された内容の全体に対応することもある。
また、上記実施形態では、表示部30の周に沿って上タッチセンサー41と下タッチセンサー43の二つのタッチセンサーが設けられているが、その他の部分にタッチセンサーが設けられていてももちろんよい。例えば上記実施形態のように右光学像表示部31に上タッチセンサーと下タッチセンサーが設けられている場合、さらに右光学像表示部31の右端部に上下方向に沿って右タッチセンサーが設けられていてもよい。そして、右タッチセンサーの上下方向におけるスライド操作で画像の表示位置を上下方向において移動させることができてもよい。さらには、例えば上タッチセンサーと右タッチセンサーとで画面内のカーソルの二次元座標内の位置を移動させることができてもよい。
また、例えば上タッチセンサーに接触させた第一の指(例えば人差し指)と右タッチセンサーに接触させた第二の指(例えば親指)とを互いに遠ざけるようにスライドさせると画像を拡大表示し、逆に第一の指と第二の指とを互いに近づけるようにスライドさせると画像を縮小表示する仕様であってもよい。
また、上記実施形態では、右光学像表示部31側にタッチセンサーが設けられていたが、もちろん左光学像表示部32側に設けられていてもよいし、左右両方に設けられていてもよい。また、左右両方に設けられている場合は、左右対称に同じ役割のタッチセンサーが設けられていてもよいし、左右非対称にタッチセンサーが設けられてもよい。非対称に設けられる例としては、例えば、上下方向に延びるタッチセンサーは左光学像表示部32の左端部に沿って設けられ、上タッチセンサーと下タッチセンサーとは右光学像表示部31側に設けられる等の仕様であってもよい。
1…スマートグラス、10…制御部、11…電源、12…第一操作部、13…通信I/F部、20…表示駆動部、21…右表示駆動部、22…左表示駆動部、30…表示部、31…右光学像表示部、32…左光学像表示部、33…枠部、40…第二操作部、41…上タッチセンサー、43…下タッチセンサー、50…保持部、51…右保持部、52…左保持部、61…外景撮像カメラ、70…接続部、71,72…イヤホン、72…右コード、74…左コード、76…連結部材、78…本体コード、80…イヤホンプラグ、81…右イヤホン、82…左イヤホン、10…コントローラー、12…決定キー、124…トラックパッド、126…方向キー、128…電源スイッチ、200…装着体、211…右BL制御部、212…右BL、213…右LCD制御部、214…右LCD、215…右投写光学系、221…左BL制御部、222…左BL、223…左LCD制御部、224…左LCD、225…左投写光学系、310…右導光板、320…左導光板
Claims (7)
- ユーザーの眼前に画像を表示する表示部と、
前記表示部の周の少なくとも一部に沿って設けられたタッチセンサーと、
前記タッチセンサーが検出した操作に応じて前記画像を変化させる制御部と、
を備えるヘッドマウントディスプレイ。 - 前記制御部は、二つのタッチ位置が前記周に沿って互いに異なる方向に移動する前記操作に応じて前記画像を変化させる、
請求項1に記載のヘッドマウントディスプレイ。 - 前記タッチセンサーは、第一タッチセンサーと、前記第一タッチセンサーと前記表示部を挟む位置関係にある第二タッチセンサーとを含み、
前記制御部は、前記第一タッチセンサーが検出した第一タッチ位置の第一方向への移動と、前記第二タッチセンサーが検出した第二タッチ位置の前記第一方向とは逆の第二方向への移動と、で表される前記操作に応じて、前記画像を回転させる、
請求項2に記載のヘッドマウントディスプレイ。 - 前記制御部は、前記二つのタッチ位置が互いに近づくように移動する前記操作に応じて前記画像を縮小させ、前記二つのタッチ位置が互いに遠ざかるように移動する前記操作に応じて前記画像を拡大させる、
請求項2に記載のヘッドマウントディスプレイ。 - 前記制御部は、一つのタッチ位置が前記周に沿うように移動する前記操作に応じて前記画像の表示位置を移動させる、
請求項1に記載のヘッドマウントディスプレイ。 - ユーザーの眼前に画像を表示する表示部と、
前記表示部の周の少なくとも一部に沿って設けられたタッチセンサーと、
を備えたヘッドマウントディスプレイにおいて、
前記タッチセンサーが検出した操作に応じて前記画像を変化させる、
ヘッドマウントディスプレイの制御方法。 - ユーザーの眼前に画像を表示する表示部と、
前記表示部の周の少なくとも一部に沿って設けられたタッチセンサーと、
を備えたヘッドマウントディスプレイにおいて、
前記タッチセンサーが検出した操作に応じて前記画像を変化させる機能をヘッドマウントディスプレイに実現させる制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015012140A JP2016139174A (ja) | 2015-01-26 | 2015-01-26 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム |
US15/000,548 US20160216792A1 (en) | 2015-01-26 | 2016-01-19 | Head mounted display, and control method and control program for head mounted display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015012140A JP2016139174A (ja) | 2015-01-26 | 2015-01-26 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016139174A true JP2016139174A (ja) | 2016-08-04 |
Family
ID=56559259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015012140A Pending JP2016139174A (ja) | 2015-01-26 | 2015-01-26 | ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016139174A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109891364A (zh) * | 2016-10-25 | 2019-06-14 | 索尼公司 | 信息处理装置、方法和程序 |
JP2023170588A (ja) * | 2022-05-19 | 2023-12-01 | スマートニュース株式会社 | プログラム、携帯端末の制御方法、携帯端末、及び情報処理装置 |
-
2015
- 2015-01-26 JP JP2015012140A patent/JP2016139174A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109891364A (zh) * | 2016-10-25 | 2019-06-14 | 索尼公司 | 信息处理装置、方法和程序 |
CN109891364B (zh) * | 2016-10-25 | 2022-05-03 | 索尼公司 | 信息处理装置、方法和程序 |
JP2023170588A (ja) * | 2022-05-19 | 2023-12-01 | スマートニュース株式会社 | プログラム、携帯端末の制御方法、携帯端末、及び情報処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10133407B2 (en) | Display apparatus, display system, method for controlling display apparatus, and program | |
US9804682B2 (en) | Systems and methods for performing multi-touch operations on a head-mountable device | |
US20160216792A1 (en) | Head mounted display, and control method and control program for head mounted display | |
EP2980628B1 (en) | Wearable glasses and a method of displaying image via the wearable glasses | |
US20130021374A1 (en) | Manipulating And Displaying An Image On A Wearable Computing System | |
JP6251957B2 (ja) | 表示装置、頭部装着型表示装置および表示装置の制御方法 | |
KR20160139727A (ko) | 글래스타입 단말기 및 이의 제어방법 | |
US10191282B2 (en) | Computer display device mounted on eyeglasses | |
US20130021269A1 (en) | Dynamic Control of an Active Input Region of a User Interface | |
US20150193098A1 (en) | Yes or No User-Interface | |
EP3370102B1 (en) | Hmd device and method for controlling same | |
TWI671552B (zh) | 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體 | |
JP2018142857A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6036217B2 (ja) | 表示装置、頭部装着型表示装置および表示装置の制御方法 | |
JP2012108723A (ja) | 指示受付装置 | |
US8766940B1 (en) | Textured linear trackpad | |
JP6303274B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6776578B2 (ja) | 入力装置、入力方法、コンピュータープログラム | |
US20160026244A1 (en) | Gui device | |
JP6638392B2 (ja) | 表示装置、表示システム、表示装置の制御方法、及び、プログラム | |
JP6740613B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2016149587A (ja) | ヘッドマウントディスプレイ、およびその制御方法と制御プログラム | |
JP2016139174A (ja) | ヘッドマウントディスプレイ、ヘッドマウントディスプレイの制御方法および制御プログラム | |
JP2012194626A (ja) | 表示装置 | |
WO2016006070A1 (ja) | 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ |