JP2018082363A - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Download PDF

Info

Publication number
JP2018082363A
JP2018082363A JP2016224597A JP2016224597A JP2018082363A JP 2018082363 A JP2018082363 A JP 2018082363A JP 2016224597 A JP2016224597 A JP 2016224597A JP 2016224597 A JP2016224597 A JP 2016224597A JP 2018082363 A JP2018082363 A JP 2018082363A
Authority
JP
Japan
Prior art keywords
head
display device
mounted display
unit
vibrators
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016224597A
Other languages
English (en)
Inventor
由貴 藤巻
Yuki Fujimaki
由貴 藤巻
高野 正秀
Masahide Takano
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2016224597A priority Critical patent/JP2018082363A/ja
Priority to US15/801,929 priority patent/US10838205B2/en
Publication of JP2018082363A publication Critical patent/JP2018082363A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3652Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】頭部装着型表示装置において、バイブレーターを用いて複雑な情報を報知可能とする。【解決手段】頭部装着型表示装置は、頭部に取り付けられ、画像を表示する表示部20を有する装置本体部に配設された複数の振動子72、73と、複数の振動子を個別に制御する制御部と、を備える。装置本体部に配設された複数の振動子の振動を制御することによって、単純でない複雑な情報を報知する。さらに、頭部装着型表示装置は、方向を含む情報についての使用者への通知性能を高める。【選択図】図3

Description

本発明は、頭部装着型表示装置と、頭部装着型表示装置の制御方法と、コンピュータープログラムと、に関する。
近年、使用者の眼前で画像を表示することのできる頭部装着型表示装置が普及しつつある。従来の頭部装着型表示装置では、ユーザーの目を含む領域を撮像し、撮像結果に基づいてユーザーが居眠り状態であるか否かを判定し、居眠り状態であるときに、音や振動でユーザーに警告を発することが行われていた(特許文献1参照)。
特開2014−123883号公報
特許文献1に記載された頭部装着型表示装置では、一つのバイブレーターを振動/停止することによって、居眠りの有無をユーザーに報知することができる。しかしながら、この頭部装着型表示装置では、居眠りの有無といった単純な情報しか報知できない。そのため、頭部装着型表示装置において、バイブレーターを用いて複雑な情報を報知することのできる技術が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、頭部に取り付けられ、画像を表示する表示部を有する装置本体部に配設された複数の振動子と、前記複数の振動子を個別に制御する制御部と、を備える。この形態の頭部装着型表示装置によれば、装置本体部に配設された複数の振動子の振動を制御することによって、単純でない複雑な情報を報知することができる。
(2)前記頭部装着型表示装置において、前記制御部は、前記頭部装着型表示装置を基準とした方向を含む情報を取得し、前記取得した情報に基づいて、前記複数の振動子の振動パターンを制御してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置を基準とした方向を含む情報を複数の振動子によって報知することができる。したがって、前記頭部装着型表示装置によれば、方向を含む情報についての使用者への通知性能を高めることができる。
(3)前記頭部装着型表示装置において、前記方向を含む情報は、ナビゲーション装置による経路探索によって探索された経路と、前記頭部装着型表示装置の現在位置と、から求まる曲がり角の情報であってもよい。この形態の頭部装着型表示装置によれば、探索された経路の曲がり角を複数の振動子によって報知することができる。したがって、前記頭部装着型表示装置によれば、探索された経路の曲がり角についての使用者への通知性能を高めることができる。
(4)前記頭部装着型表示装置において、前記方向を含む情報は、前記頭部装着型表示装置と無線通信を行う無線通信機の現在位置と、前記頭部装着型表示装置の現在位置および向きと、から求まる前記無線通信機の方角を示す情報であってもよい。この形態の頭部装着型表示装置によれば、無線通信機を使用する者の現在位置の方角を複数の振動子によって報知することができる。したがって、前記頭部装着型表示装置によれば、無線通信機を使用する者の方角についての使用者への通知性能を高めることができる。
(5)前記頭部装着型表示装置において、前記制御部は、使用者からの入力操作を取得し、前記取得した入力操作に基づいて、前記複数の振動子の振動パターンを制御してもよい。この形態の頭部装着型表示装置によれば、使用者からの入力操作を複数の振動子によって報知することができる。このため、使用者は、入力操作を行ったことを、振動によって確認できる。
(6)前記頭部装着型表示装置において、前記制御部は、使用者の入力操作を受け付ける入力項目が複数、予め定められた方向に配置された入力画面を、前記表示部に表示し、 前記入力操作が受け付けられた入力項目に応じて、前記振動パターンの制御を行ってもよい。この形態の頭部装着型表示装置によれば、入力画面に並んだ複数の入力項目のいずれに入力操作がなされたかを、複数の振動子によって報知することができる。このため、使用者は、複数の入力項目のいずれに入力操作を行なったかを、振動によって確認できる。
(7)前記頭部装着型表示装置において、前記入力操作は、操作要素の移動方向を切り替えるものであり、前記制御部は、前記移動方向に応じて、前記振動パターンの制御を行ってもよい。この形態の頭部装着型表示装置によれば、使用者による操作要素の移動方向を切り替える入力操作を複数の振動子によって報知することができる。このため、使用者は、操作要素をいずれの移動方向に切り替えたかを、振動によって確認できる。
(8)前記形態の頭部装着型表示装置において、前記複数の振動子のうちの一つは、前記装置本体部の左右方向において中心より右側に設けられ、前記複数の振動子のうちの一つは、前記装置本体部の左右方向において中心より左側に設けられてもよい。この構成によれば、左右の方向性を明確に認めることができる。
(9)前記形態の頭部装着型表示装置において、前記装置本体部は、眼鏡形状を有し、前記複数の振動子のうちの一つは、鼻パット部に設けられ、前記複数の振動子のうちの一つは、右側のヨロイ部に設けられ、前記複数の振動子のうちの一つは、左側のヨロイ部に設けられてもよい。この構成によれば、左右の方向性を明確に認めることができる。
(10)前記形態の頭部装着型表示装置において、前記装置本体部は、眼鏡形状を有し、前記複数の振動子のうちの一つは、右側のモダン部に設けられ、前記複数の振動子のうちの一つは、左側のモダン部に設けられてもよい。この構成によれば、左右の方向性を明確に認めることができる。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置の備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等で実現できる。
本発明の第1実施形態における情報処理システムの概略構成を示す説明図である。 画像表示部が備える光学系の構成を示す要部平面図である。 使用者から見た画像表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 HMDの構成を機能的に示すブロック図である。 制御装置の構成を機能的に示すブロック図である。 HMDによる拡張現実感表示の一例を示す説明図である。 経路案内処理ルーチンを示すフローチャートである。 使用者によって視認される視野の一例を示す説明図である。 振動パターンAと振動パターンBとを示す説明図である。 本発明の第2実施形態における情報処理システムの概略構成を示す説明図である。 使用者から見た画像表示部の要部構成を示す図である。 制御装置の構成を機能的に示すブロック図である。 捜索処理ルーチンを示すフローチャートである。 使用者によって視認される視野の一例を示す説明図である。 Aゾーン、Bゾーン、Cゾーンを示す説明図である。 使用者によって視認される視野の一例を示す説明図である。 使用者によって視認される視野の一例を示す説明図である。 変形例1としての頭部装着型画像表示装置の備える画像表示部を示す説明図である。 変形例2としての頭部装着型画像表示装置の備える画像表示部を示す説明図である。 変形例3としての頭部装着型画像表示装置の備える画像表示部を示す説明図である。 変形例の画像表示部が備える光学系の構成を示す要部平面図である。
A.第1実施形態:
A−1.情報処理システムの全体構成:
図1は、本発明の第1実施形態における情報処理システムの概略構成を示す説明図である。情報処理システムは、頭部装着型表示装置100と、ナビゲーション装置300と、を備えている。頭部装着型表示装置100は、通信キャリアBSを介して無線通信でインターネットINTに接続されている。ナビゲーション装置300は、有線通信でインターネットINTに接続されている。この結果、頭部装着型表示装置100とナビゲーション装置300とは、互いにインターネットINTによって接続される。通信キャリアBSは、送受信アンテナや、無線基地局、交換局を含む。以下、頭部装着型表示装置100およびナビゲーション装置300について詳細に説明する。
A−2.頭部装着型表示装置の構成:
頭部装着型表示装置100は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型(透過型)の頭部装着型表示装置である。
HMD100は、使用者に画像を視認させる画像表示部20と、画像表示部20を制御する制御装置(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する支持体に、右表示ユニット22と、左表示ユニット24と、右導光板26と、左導光板28とを備える。右表示ユニット22、左表示ユニット24、右導光板26、および左導光板28が、[発明の概要]の欄に記載した本発明の一形態における「表示部」に相当する。画像表示部20が、[発明の概要]の欄に記載した本発明の一形態における「装置本体部」に相当する。
右保持部21および左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部23は、前部フレーム27の端部ELから、画像表示部20の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
右導光板26および左導光板28は、前部フレーム27に設けられている。右導光板26は、画像表示部20の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。この連結位置は、画像表示部20の装着状態における使用者の眉間の位置に対応する。前部フレーム27には、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部21と左保持部23とによって、画像表示部20を使用者の頭部に保持できる。また、右保持部21および左保持部23に対して、画像表示部20の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部20を使用者の頭部に強固に保持できる。
右表示ユニット22は、右導光板26による画像の表示を行う。右表示ユニット22は、右保持部21に設けられ、画像表示部20の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を行う。左表示ユニット24は、左保持部23に設けられ、画像表示部20の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット22および左表示ユニット24を総称して「表示駆動部」とも呼ぶ。
本実施形態の右導光板26および左導光板28は、光透過性の樹脂等によって形成される光学部(例えばプリズム)であり、右表示ユニット22および左表示ユニット24が出力する画像光を使用者の眼に導く。なお、右導光板26および左導光板28の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム27の表面(使用者の眼と対向する面とは反対側の面)を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26および左導光板28に入射し、右導光板26および左導光板28を透過する外光の光量を調整できる。
画像表示部20は、右表示ユニット22および左表示ユニット24がそれぞれ生成する画像光を、右導光板26および左導光板28に導き、この画像光によって画像(拡張現実感(AR)画像)を使用者に視認させる(これを「画像を表示する」とも呼ぶ)。使用者の前方から右導光板26および左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。
このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板26および左導光板28を保護し、右導光板26および左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、あるいは、右導光板26および左導光板28のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
カメラ61は、画像表示部20の前部フレーム27に配置されている。カメラ61は、前部フレーム27の前面において、右導光板26および左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61は、前部フレーム27の端部ER側に配置されている。カメラ61は、前部フレーム27の端部EL側に配置されていてもよく、右導光板26と左導光板28との連結部に配置されていてもよい。
カメラ61は、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ61は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ61は、HMD100の表側方向、換言すれば、画像表示部20の装着状態において使用者が視認する視界方向の、少なくとも一部の外景(実空間)を撮像する。換言すれば、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ61の画角の広さは適宜設定できる。本実施形態では、カメラ61の画角の広さは、使用者が右導光板26および左導光板28を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ61は、制御機能部150(図5)の制御に従って撮像を実行し、得られた撮像データを制御機能部150へ出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム27の右導光板26と左導光板28との連結部分に配置することができる。測距センサーの測定方向は、MD100の表側方向(カメラ61の撮像方向と重複する方向)とすることができる。測距センサーは、例えば、LEDやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ61と同様に、制御機能部150により制御され、検出結果を制御機能部150へ出力する。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。説明の便宜上、図2には使用者の右眼REおよび左眼LEを図示する。図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成されている。
右眼REに画像(AR画像)を視認させる構成として、右表示ユニット22は、OLED(Organic Light Emitting Diode)ユニット221と、右光学系251とを備える。OLEDユニット221は、画像光を発する。右光学系251は、レンズ群等を備え、OLEDユニット221が発する画像光Lを右導光板26へと導く。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光し、R(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されている。
OLED駆動回路225は、制御機能部150(図5)の制御に従って、OLEDパネル223が備える発光素子の選択および通電を実行し、発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー217(図5)が実装される。なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加えて、W(白)の光を放射する発光素子を備えるWRGB構成のOLEDパネル223が採用されてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射後、右導光板26から右眼REへと射出され、この画像光Lが右眼REの網膜で像を結ぶことで、使用者に画像を視認させる。
左眼LEに画像(AR画像)を視認させる構成として、左表示ユニット24は、OLEDユニット241と、左光学系252とを備える。OLEDユニット241は画像光を発する。左光学系252は、レンズ群等を備え、OLEDユニット241が発する画像光Lを左導光板28へと導く。OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245を有する。各部の詳細は、OLEDユニット221、OLEDパネル223、OLED駆動回路225と同じである。OLEDパネル243の裏面に固定される基板には、温度センサー239が実装される。また、左光学系252の詳細は右光学系251と同じである。
以上説明した構成によれば、HMD100は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。使用者の左眼LEには、ハーフミラー281で反射した画像光Lと、左導光板28を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板26および左導光板28を透かして外景(実世界)が見えると共に、この外景に重なるようにして画像光Lによる画像(AR画像)が視認される。
なお、ハーフミラー261およびハーフミラー281は、右表示ユニット22および左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系251および右導光板26を総称して「右導光部」とも呼び、左光学系252および左導光板28を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図1において、制御装置10と画像表示部20とは、接続ケーブル40によって接続される。接続ケーブル40は、制御装置10の下部に設けられるコネクターに着脱可能に接続され、左保持部23の先端ALから、画像表示部20内部の各種回路に接続する。接続ケーブル40には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル40にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル40の途中には、コネクター46が設けられている。
コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図1に示す本実施形態の例では、コネクター46には、ステレオヘッドホンを構成する右イヤホン32および左イヤホン34と、マイク63を有するヘッドセット30とが接続されている。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置されている。マイク63は、音声を集音し、音声信号を音声インターフェース182(図5)に出力する。マイク63は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
制御装置10は、HMD100を制御するための装置である。制御装置10は、点灯部12と、タッチパッド14と、方向キー16と、決定キー17と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。
タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー17は、押下操作を検出して、制御装置10において操作された内容を決定するための信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図3は、使用者から見た画像表示部20の要部構成を示す図である。図3では、接続ケーブル40、右イヤホン32、左イヤホン34の図示を省略している。図3の状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者は、これらハーフミラー261、281を含む左右の導光板26、28の全体を透過して外景を視認すると共に、ハーフミラー261、281の位置に矩形の表示画像を視認する。
図4は、カメラ61の画角を説明するための図である。図4では、カメラ61と、使用者の右眼REおよび左眼LEとを平面視で模式的に示すと共に、カメラ61の画角(撮像範囲)をθで示す。なお、カメラ61の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
上述のようにカメラ61は、画像表示部20において右側の端部に配置され、使用者の視線の方向(すなわち使用者の前方)を撮像する。このためカメラ61の光軸は、右眼REおよび左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中の符号RD、LDに示すように、対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4mであることがより多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められHMD100にプリセットされていてもよいし、使用者が設定してもよい。カメラ61の光軸および画角は、このような通常使用時における対象物OBまでの距離が、設定された上限および下限の目安に相当する場合において対象物OBが画角に含まれるように設定されることが好ましい。
なお、一般的に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされる。そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45〜70度程度とされている。この場合、注視点が対象物OB(図4)であるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45〜70度程度が安定注視野である。使用者が画像表示部20を透過して右導光板26および左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
本実施形態のカメラ61の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ61の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ61の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ61には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ61には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
図5は、HMD100の構成を機能的に示すブロック図である。制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部130とを備える。メインプロセッサー140には、これらの記憶部、入出力部、センサー類、インターフェース、電源部130がそれぞれ接続されている。メインプロセッサー140は、制御装置10が内蔵しているコントローラー基板120に実装されている。
記憶部には、メモリー118と、不揮発性記憶部121とが含まれている。メモリー118は、メインプロセッサー140によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するコンピュータープログラムや、メインプロセッサー140によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板120に実装されている。
入出力部には、タッチパッド14と、操作部110とが含まれている。操作部110には、制御装置10に備えられた方向キー16と、決定キー17と、電源スイッチ18とが含まれる。メインプロセッサー140は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
センサー類には、6軸センサー111と、磁気センサー113と、GPS(Global Positioning System)レシーバー115とが含まれている。6軸センサー111は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、これらセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。GPSレシーバー115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。これらセンサー類(6軸センサー111、磁気センサー113、GPSレシーバー115)は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー140へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー140からの指示に応じてもよい。
インターフェースには、無線通信部117と、音声コーデック180と、外部コネクター184と、外部メモリーインターフェース186と、USB(Universal Serial Bus)コネクター188と、センサーハブ192と、FPGA194と、インターフェース196とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部117は、HMD100と外部機器との間における無線通信を実行する。無線通信部117は、図示しないアンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部117は、例えば、Bluetooth(登録商標)、Wi−Fi(登録商標)を含む無線LAN等の規格に準拠した無線通信を行う。
音声コーデック180は、音声インターフェース182に接続され、音声インターフェース182を介して入出力される音声信号のエンコード/デコードを行う。音声インターフェース182は、音声信号を入出力するインターフェースである。音声コーデック180は、アナログ音声信号からデジタル音声データへの変換を行うA/Dコンバーター、および、その逆の変換を行うD/Aコンバーターを備えてもよい。本実施形態のHMD100は、音声を右イヤホン32および左イヤホン34から出力し、マイク63により集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース182を介して出力する。また、音声コーデック180は、音声インターフェース182に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140に対して、メインプロセッサー140と通信する外部装置(例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等)を接続するためのコネクターである。外部コネクター184に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー140が実行するコンピュータープログラムのデバッグや、HMD100の動作ログの収集に使用できる。外部コネクター184は種々の態様を採用できる。外部コネクター184としては、例えば、USBインターフェース、マイクロUSBインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線LANインターフェース、Bluetoothインターフェース等の無線接続に対応したインターフェースを採用できる。
外部メモリーインターフェース186は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース186は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。USBコネクター188は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。
USBコネクター188は、例えば、USB規格に準拠したコネクターと、インターフェース回路とを含む。USBコネクター188のサイズ、形状、USB規格のバージョン等は適宜選択できる。
センサーハブ192およびFPGA194は、インターフェース(I/F)196を介して画像表示部20に接続されている。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得して、メインプロセッサー140に出力する。FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信されるデータの処理およびインターフェース196を介した伝送を実行する。インターフェース196は、画像表示部20の右表示ユニット22と、左表示ユニット24とに対してそれぞれ接続されている。本実施形態の例では、左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24とのそれぞれが、制御装置10のインターフェース196に接続される。
電源部130には、バッテリー132と、電源制御回路134とが含まれている。電源部130は、制御装置10が動作するための電力を供給する。バッテリー132は、充電可能な電池である。電源制御回路134は、バッテリー132の残容量の検出と、OS143への充電の制御を行う。電源制御回路134は、メインプロセッサー140に接続され、バッテリー132の残容量の検出値や、バッテリー132の電圧の検出値をメインプロセッサー140へと出力する。なお、電源部130が供給する電力に基づいて、制御装置10から画像表示部20へと電力を供給してもよい。電源部130から制御装置10の各部および画像表示部20への電力の供給状態を、メインプロセッサー140により制御可能な構成としてもよい。
右表示ユニット22は、表示ユニット基板210と、OLEDユニット221と、カメラ61と、照度センサー65と、LEDインジケーター67と、温度センサー217とを備える。表示ユニット基板210には、インターフェース196に接続されるインターフェース(I/F)211と、受信部(Rx)213と、EEPROM(Electrically Erasable Programmable Read-Only Memory)215とが実装されている。受信部213は、インターフェース211を介して制御装置10から入力されるデータを受信する。受信部213は、OLEDユニット221で表示する画像の画像データを受信した場合に、受信した画像データをOLED駆動回路225(図2)へと出力する。
EEPROM215は、各種のデータをメインプロセッサー140が読み取り可能な態様で記憶する。EEPROM215は、例えば、画像表示部20のOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22または左表示ユニット24のセンサー特性に関するデータ等を記憶する。具体的には、例えば、OLEDユニット221、241のガンマ補正に係るパラメーター、後述する温度センサー217、239の検出値を補償するデータ等を記憶する。これらのデータは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれる。出荷後は、メインプロセッサー140がEEPROM215のデータを読み込んで各種の処理に利用する。
カメラ61は、インターフェース211を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置10へと出力する。照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するように配置される。照度センサー65は、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は主としてOLEDパネル223の温度を検出する。なお、温度センサー217は、OLEDパネル223あるいはOLED駆動回路225に内蔵されてもよい。例えば、OLEDパネル223がSi−OLEDとしてOLED駆動回路225と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー217を実装してもよい。
左表示ユニット24は、表示ユニット基板230と、OLEDユニット241と、温度センサー239とを備える。表示ユニット基板230には、インターフェース196に接続されるインターフェース(I/F)231と、受信部(Rx)233と、6軸センサー235と、磁気センサー237とが実装されている。受信部233は、インターフェース231を介して制御装置10から入力されるデータを受信する。受信部233は、OLEDユニット241で表示する画像の画像データを受信した場合に、受信した画像データをOLED駆動回路245(図2)へと出力する。
6軸センサー235は、3軸加速度センサーおよび3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。6軸センサー235と磁気センサー237は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部20の向き、すなわち、使用者の視界が特定される。
温度センサー239は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は主としてOLEDパネル243の温度を検出する。温度センサー239は、OLEDパネル243あるいはOLED駆動回路245に内蔵されてもよい。詳細は温度センサー217と同様である。
また、画像表示部20は、3つのバイブレーター71〜73(71、73は図3を参照)を備える。各バイブレーター71〜73は、図示しないモーターと、偏芯した回転子等を備え、制御装置10の制御に従って振動を発生する。制御装置10は、各バイブレーター71〜73を個別に制御する。本実施形態では、振動周波数は、人体に感度の高い250Hz以下とした。振動強度は、接触部の皮膚変位が0.1μm以上になるように調整されている。画像表示部20における各バイブレーター71〜73の配設位置や、振動の態様については、後ほど詳述する。各バイブレーター71〜73が、[発明の概要]の欄に記載した本発明の一形態における「振動子」に相当する。
右表示ユニット22のカメラ61、照度センサー65、温度センサー217と、左表示ユニット24の6軸センサー235、磁気センサー237、温度センサー239は、制御装置10のセンサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ192は、予め設定されたタイミングで、右表示ユニット22および左表示ユニット24が備える各センサーの検出値をメインプロセッサー140へ出力する。センサーハブ192は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ192は、各センサーの検出値の信号形式やデータ形式の変換機能(例えば、統一形式への変換機能)を備えてもよい。
FPGA194は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始および停止させることで、LEDインジケーター67を点灯または消灯させる。また、FPGA194は、メインプロセッサー140の制御に従ってバイブレーター71〜73への通電を開始および停止させることで、各バイブレーター71〜73を振動または停止させる。
図3に戻り、画像表示部20に備えられる3つのバイブレーター71〜73の配設位置について説明する。図3に示すように、3つのバイブレーター71〜73は、使用者から見て、正面側と右側と左側とに配設されている。具体的には、正面側のバイブレーター71は、鼻パット29に埋設されている。詳しくは、正面側バイブレーター71は、鼻パット29の中央部分、すなわち、左側アーム部29aと右側アーム部29aとの間の部分に埋設されている。
右側のバイブレーター72は、前部フレーム27の右側の端部ER(眼鏡に例えるなら右側のヨロイ部)に埋設されている。左側のバイブレーター73は、前部フレーム27の左側の端部EL(眼鏡に例えるなら左側のヨロイ部)に埋設されている。なお、右側バイブレーター72は、端部ERに換えて、右保持部21の先端ARの近く(眼鏡に例えるなら右側のモダン部)に設ける構成としてもよい。左側バイブレーター73は、端部ELに換えて、左保持部23の先端ALの近く(眼鏡に例えるなら左側のモダン部)に設ける構成としてもよい。
図6は、制御装置10の構成を機能的に示すブロック図である。制御装置10は、機能的には、記憶機能部122と、制御機能部150とを備える。記憶機能部122は、不揮発性記憶部121(図5)により構成される論理的な記憶部である。記憶機能部122は、記憶機能部122のみを使用する構成に替えて、不揮発性記憶部121に組み合わせてEEPROM215やメモリー118を使用する構成としてもよい。制御機能部150は、メインプロセッサー140がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。
記憶機能部122には、制御機能部150における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部122には、設定データ123と、コンテンツデータ124とが記憶されている。設定データ123は、HMD100の動作に係る各種の設定値を含む。例えば、設定データ123には、制御機能部150がHMD100を制御する際のパラメーター、行列式、演算式、LUT(Look Up Table)等が含まれている。
コンテンツデータ124には、制御機能部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデータ(画像データ、映像データ、音声データ等)が含まれている。なお、コンテンツデータ124には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部110によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部150が実行し、処理内容に応じたコンテンツを画像表示部20に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。
制御機能部150は、記憶機能部122が記憶しているデータを利用して各種処理を実行することにより、OS143、画像処理部145、表示制御部147、撮像制御部149、入出力制御部151、通信制御部153、ナビゲーション処理部155としての機能を実行する。本実施形態では、OS143以外の各機能部は、OS143上で実行されるコンピュータープログラムとして構成されている。
画像処理部145は、画像表示部20により表示する画像/映像の画像データに基づいて、右表示ユニット22および左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部145は、メインプロセッサー140がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
なお、画像処理部145は、必要に応じて、解像度変換処理、画像調整処理、2D/3D変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット22および左表示ユニット24に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。2D/3D変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部145は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル40を介して画像表示部20へと送信する。
表示制御部147は、右表示ユニット22および左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22および左表示ユニット24のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づいて、OLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
撮像制御部149は、カメラ61を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部122に一時的に記憶させる。また、カメラ61が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は、撮像画像データをカメラ61から取得して、記憶機能部122に一時的に記憶させる。
入出力制御部151は、タッチパッド14(図1)と、方向キー16と、決定キー17とを適宜、制御して、これらから入力指令を取得する。取得した指令は、OS143、またはOS143と共にOS143上で動作するコンピュータープログラムに出力される。また、入出力制御部151は、ナビゲーション処理部155からの指示を受けて、各バイブレーター71〜73を制御する制御信号を生成し、この制御信号により、各バイブレーター71〜73を振動させる。通信制御部153は、無線通信部117を制御して、例えばナビゲーション装置300との間で無線通信を行う。
ナビゲーション処理部155は、OS143上で動作するアプリケーションプログラムに従って実現される機能である。ナビゲーション処理部155は、入出力制御部151や、画像処理部145、表示制御部147、入出力制御部151と協調して、出発地から目的地までの経路を案内する。具体的には、ナビゲーション処理部155は、ナビゲーション装置300に対して経路探索を要求する経路探索要求部155aとしての機能と、ナビゲーション装置300から送られてくる経路を案内する経路案内部155bとしての機能と、を実行する。経路探索要求部155aは、使用者によって入力された出発地(例えば現在地)と目的地とを含む経路探索要求をナビゲーション装置300に送る。経路案内部155bは、ナビゲーション装置300から送られてくる経路を画像処理部145に表示させるとともに、入出力制御部151に各バイブレーター71〜73を制御する制御信号を生成させる。経路案内部155bについては、後ほど詳述する。
A−3.ナビゲーション装置の構成:
図1に示すように、ナビゲーション装置300は、制御部310と地図データベース320とを備える。地図データベース320には、交差点や行き止まりを表すノードと、道路を表すリンクと、によって道路のつながり状態が表された道路ネットワークデータが記憶されている。
制御部310は、CPUやメモリーを備えており、ナビゲーション装置300の動作全体を制御する。制御部310は、メモリーに記憶されたコンピュータープログラムがCPUによって実行されることにより、経路探索を行う。具体的には、制御部310は、インターネットINTを通じてHMD100から経路探索要求を受信した場合に、地図データベース320に記憶された道路ネットワークデータを用いて、周知のダイクストラ法を応用した経路探索を行う。そして、探索された経路を表す経路情報を、インターネットINTを通じてHMD100に送信する。
A−4.拡張現実感表示について:
図7は、HMD100による拡張現実感表示の一例を示す説明図である。図7では、使用者の視界VRを例示している。上述のようにして、HMD100の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感(AR)としての画像AIを視認する。図7の例では、画像AIは、HMD100のOSのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「ナビゲーション」の各アプリケーションプログラムを起動するためのアイコンが含まれる。また、右左の導光板26,28が外景SCからの光を透過することで、使用者は外景SCを視認する。このように、本実施形態のHMDの使用者は、視界VRのうち画像VIが表示された部分については、外景SCに重なるようにして画像AIを見ることができる。また、視界VRのうち画像AIが表示されていない部分については、外景SCだけを見ることができる。
A−5.経路案内処理について:
図8は、経路案内処理ルーチンを示すフローチャートである。この経路案内処理ルーチンは、経路案内部155b(図6)に対応している。経路案内処理ルーチンは、不揮発性記憶部121(図5)に格納されている所定のコンピュータープログラム(アプリケーションプログラム)に従う処理ルーチンで、HMD100のメインプロセッサー140によって実行される。図7に例示したメニュー画面の「ナビゲーション」のアイコンが方向キー16(図1)と決定キー17(図1)によって指示されたことを受けて、ナビゲーション処理が実行されるが、そのナビゲーション処理の一部として、経路案内処理ルーチンは実行される。具体的には、経路案内処理ルーチンは、ナビゲーション装置300によって探索された経路を提示する案内の開始を方向キー16や決定キー17によって指示されたことを受けて実行される。
処理が開始されると、HMD100のメインプロセッサー140は、まず、ナビゲーション装置300から送られてくる経路情報を取得する(ステップS110)。経路情報は、ナビゲーション装置300において、経路探索によって探索された経路を表す情報である。すなわち、経路情報は、HMD100の位置を基準とした進行方向を含む情報である。この経路を表す情報が、[発明の概要]の欄に記載した本発明の一形態における「頭部装着型表示装置を基準とした方向を含む情報」に相当する。
次いで、メインプロセッサー140は、画像表示部20に設けられた6軸センサー235と磁気センサー237との各検出信号を取得し、これら検出信号から画像表示部20の現在位置と向きを特定する(ステップS120)。
続いて、メインプロセッサー140は、ステップS110によって取得した経路情報と、ステップS120によって特定した現在位置と向きとに基づいて、取得した経路情報によって示される経路の中で、使用者の画像表示部20を通した視界内に含まれる部分を特定し、その特定された部分を示す道筋画像を画像表示部20に表示させる(ステップS130)。
図9は、使用者によって視認される視野VRの一例を示す説明図である。図示するように、使用者には、画像表示部20の光学像表示部26,28を透過した外景SCが視認されている。外景SCには、例えば、街の風景が含まれている。そして、図8のステップS130の結果、外景SCに道筋画像STが重ね合わせて表示される。道筋画像STは、目的地に向かう道順を示す。
続いて、メインプロセッサー140は、視界内に含まれる道筋画像RSで示される経路において、現在位置から右折曲がり角が近いか否かを判定する(ステップS140)。近いか否かは、予め定められた距離(例えば、5m)以内であるか否かによって判定する。ステップS140で、右折曲がり角が近くないと判定された場合には、メインプロセッサー140は、視界内に含まれる道筋画像STで示される経路において、現在位置から左折曲がり角が近いか否かを判定する(ステップS150)。
ステップS150で、左折曲がり角が近くないと判定された場合には、メインプロセッサー140は、ステップS160に処理を進めて、目的地に到着したか否かを判定する。ここで、目的地に到着していないと判定されると、スメインプロセッサー140は、ステップS120に処理を戻して、ステップS120以降の処理を繰り返し実行する。一方、ステップS160で、目的地に到着したと判定した場合には、メインプロセッサー140は、この経路案内ルーチンを終了する。
ステップS140で、右折する曲がり角が近いと判定された場合に、メインプロセッサー140は、右折マークを画像表示部20に表示させる(ステップS142)。図9において、MKが右折するマークである。
その後、メインプロセッサー140は、所定時間(例えば、30ms)の遅延を行った後、画像表示部20に設けられた3つのバイブレーター71〜73を振動パターンAで振動する処理を行う(ステップS144)。所定時間の遅延を行うのは、視覚は、触覚に対して約30ms遅れるために、ステップS142の表示とステップS142の振動とを使用者が同時に感じるようにするためである。
図10は、振動パターンAと振動パターンBとを示す説明図である。図示するように、振動パターンAは、下記の(a1)〜(a6)をこの順で実行し、それを右折するまで繰り返し実行するものである。
(a1)左側バイブレーター73を、所定時間(例えば、0.3秒)だけ振動させる。
(a2)所定時間(例えば、0.2秒)、インターバルを置く。
(a3)正面側バイブレーター71を、所定時間(例えば、0.3秒)だけ振動させる。
(a4)所定時間(例えば、0.2秒)、インターバルを置く。
(a5)右側バイブレーター72を、所定時間(例えば、0.3秒)だけ振動させる。
(a6)所定時間(例えば、0.2秒)、インターバルを置く。
振動パターンAによれば、左側バイブレーター73、正面側バイブレーター71、右側バイブレーター72が、この順で、繰り返し振動される。使用者は、頭部の左側から正面を介して右側へ流れるように、振動を感じることができる。すなわち、ステップS140からステップS130からステップS150までの処理によって、使用者は、右折曲がり角を視野に捉えながら、左側から正面を介して右側へ流れる振動を受けることになり、視覚と触覚により、右折曲がり角に近いことを知ることができる。振動パターンAの振動は、所定の期間が経過したときに終了する。所定の期間は、予め定められた繰り返しの回数、あるいは、現在位置が右折曲がり角に侵入した時までである。ステップS145の実行後、メインプロセッサー140は、ステップS160に処理を進める。
ステップS150で、左折する曲がり角が近いと判定された場合に、メインプロセッサー140は、左折マークを画像表示部20に表示させる(ステップS152)。
その後、メインプロセッサー140は、所定時間(例えば、30ms)の遅延を行った後、画像表示部20に設けられた3つのバイブレーター71〜73を振動パターンBで振動する処理を行う(ステップS155)。所定時間の遅延を行うのは、ステップS142の表示とステップS142の振動とを使用者が同時に感じるようにするためである。
図10に示すように、振動パターンBは、下記の(b1)〜(b6)をこの順で実行し、それを右折するまで繰り返し実行するものである。
(b1)右側バイブレーター72を、所定時間(例えば、0.3秒)だけ振動させる。
(b2)所定時間(例えば、0.2秒)、インターバルを置く。
(b3)正面側バイブレーター71を、所定時間(例えば、0.3秒)だけ振動させる。
(b4)所定時間(例えば、0.2秒)、インターバルを置く。
(b5)左側バイブレーター73を、所定時間(例えば、0.3秒)だけ振動させる。
(b6)所定時間(例えば、0.2秒)、インターバルを置く。
振動パターンBによれば、右側バイブレーター72、正面側バイブレーター71、左側バイブレーター73が、この順で、繰り返し振動される。使用者は、頭部の右側から正面を介して左側へ流れるように、振動を感じることができる。すなわち、ステップS140からステップS130からステップS150までの処理によって、使用者は、左折曲がり角を視野に捉えながら、右側から正面を介して左側へ流れる振動を受けることになり、視覚と触覚により、左折曲がり角に近いことを知ることができる。所定の期間は、予め定められた繰り返しの回数、あるいは、現在位置が右折曲がり角に侵入した時までである。ステップS155の実行後、メインプロセッサー140は、ステップS160に処理を進める。
A−6.実施形態の効果について:
以上のように構成された第1実施形態のHMD100によれば、ナビゲーション装置300によって探索された経路を示す道筋画像STが画像表示部20に表示されるとともに、探索された経路によって定まる曲がり角が近いときには、その曲がる方向に応じた振動パターンで、正面側バイブレーター71、右側バイブレーター72、および左側バイブレーター73が振動される。このため、使用者は、曲がる方向を画像表示部20の表示とバイブレーター71〜73の振動とによって確認できる。したがって、このHMD100によれば、曲がる方向についての使用者への通知性能を高めることができる。特に、このHMD100によれば、振動する部分が曲がる方向に流れるように移行することから、方向についての通知性能をより高めることができる。
前記第1実施形態のHMD100では、右折する曲がり角が近いことを示す振動パターンAを、左側バイブレーター73、正面側バイブレーター71、右側バイブレーター72が、この順で繰り返し振動されるものとした。これに対して、変形例として、振動パターンAを右側バイブレーター72が振動する(例えば、インターバルを入れて複数回、振動する)だけの構成としてもよい。また、第1実施形態のHMD100では、左折する曲がり角が近いことを示す振動パターンBを、右側バイブレーター72、正面側バイブレーター71、左側バイブレーター73が、この順で繰り返し振動されるものとした。これに対して、変形例として、振動パターンBを右側バイブレーター72が振動する(例えば、インターバルを入れて複数回、振動する)だけの構成としてもよい。
B.第2実施形態:
図11は、本発明の第2実施形態における情報処理システムの概略構成を示す説明図である。情報処理システムは、HMD400と、携帯型無線機500と、を備えている。携帯型無線機500は、HMD400と無線通信を行うことができる。携帯型無線機500は、HMD400の使用者と相違する者によって、例えばHMD400から遠く離れた遠隔地で使用される。
携帯型無線機500は、GPSレシーバー510を備えている。GPSレシーバー510は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、携帯型無線機500の現在位置の座標(緯度と経度)を検出する。携帯型無線機500は、検出した緯度と経度をHMD400に送信することが可能となっている。具体的には、携帯型無線機500は、HMD400と音声通話を行う通話モード以外に、特定の簡単操作で、現在位置の座標をHMD400に送信することができる。
第2実施形態におけるHMD400は、第1実施形態におけるHMD100と比べて、画像表示部420に設けられているバイブレーターの数と、制御装置410の制御機能部450(図13)によって実現される一部の機能が相違する。本実施形態のHMD400における残余の構成は、第1実施形態のHMD100と同一であり、第1実施形態と同一の符号を付けて、その説明は省略する。
図12は、使用者から見た画像表示部420の要部構成を示す図である。図12は、第1実施形態における図3に対応した図である。HMD400の画像表示部420には、5つのバイブレーターが設けられている。5つのバイブレーターのうちの3つは、第1実施形態のバイブレーター71〜73と同じで、第1実施形態と同じ位置に設けられている。すなわち、画像表示部420には、正面側バイブレーター71と、右側バイブレーター72と、左側バイブレーター73と、が設けられている。さらに、右保持部21の先端ARの近く(眼鏡に例えるなら右側のモダン部)にはバイブレーター474(以下、「右後方側バイブレーター474」と呼ぶ)が設けられ、左保持部23の先端ALの近く(眼鏡に例えるなら左側のモダン部)にはバイブレーター475(以下、「左後方側バイブレーター475」と呼ぶ)が設けられている。
図13は、制御装置410の構成を機能的に示すブロック図である。制御装置410の制御機能部450は、第1実施形態における制御機能部150(図6)と比較して、ナビゲーション処理部155に換えて、無線通信部455と、捜索処理部457と、を備えることが相違する。無線通信部455は、音声通話を行う。捜索処理部457は、携帯型無線機500の使用者(以下、「通信者」と呼ぶ)の捜索を行う。
図14は、捜索処理ルーチンを示すフローチャートである。この捜索処理ルーチンは、捜索処理部457(図13)に対応している。捜索処理ルーチンは、不揮発性記憶部に格納されている所定のコンピュータープログラム(アプリケーションプログラム)に従う処理ルーチンで、HMD400のメインプロセッサー140によって実行される。具体的には、捜索処理ルーチンは、通信者の捜索を行うことを開始する旨を方向キー16や決定キー17によって指示されたことを受けて実行される。
処理が開始されると、HMD400のメインプロセッサー140は、まず、携帯型無線機500から送られてくる、携帯型無線機500の現在位置の座標を示す通信者位置情報取得する(ステップS210)。次いで、メインプロセッサー140は、HMD100の現在位置の座標(緯度と経度)を示す位置情報(以下、「HMD位置情報」と呼ぶ)を、GPSレシーバー115から取得する(ステップS220)。
次いで、メインプロセッサー140は、取得した通信者位置情報とHMD位置情報とに基づいて、HMD400の位置を基準とした通信者の居る方角(方向)を求める(ステップS230)。この方角が、[発明の概要]の欄に記載した本発明の一形態における「頭部装着型表示装置を基準とした方向を含む情報」に相当する。
続いて、メインプロセッサー140は、画像表示部20に設けられた6軸センサー235と磁気センサー237との各検出信号を取得し、これら検出信号から画像表示部20の向き、すなわち、使用者の視界を特定する(ステップS240)。
ステップS240の実行後、メインプロセッサー140は、ステップS230によって求めたHMDに対する通信者の方角が、ステップS240によって特定した視界の範囲内か否かを判定する(ステップS250)。ここで、通信者の方角が視界の範囲内であると判定された場合には、方角に対応する画面位置に受信アイコンを表示する処理を行う(ステップS260)。
図15は、使用者によって視認される視野VRの一例を示す説明図である。図示するように、使用者には、画像表示部20の光学像表示部26,28を透過した外景SCが視認されている。外景SCには、例えば、山の風景が含まれている。そして、ステップS260の結果、外景SCに重ね合わせて受信アイコンRIが表示される。受信アイコンRIの表示位置は、通信者が居る方角を指し示す位置である。
図14に戻り、ステップS260の実行後、ステップS230によって求めたHMDに対する通信者の方角が、ステップS240によって特定した視界の範囲内に予め定めたAゾーン、Bゾーン、Cゾーンのいずれの範囲に含まれるかを判定する(ステップS270)。
図16は、Aゾーン、Bゾーン、Cゾーンを示す説明図である。図示するように、水平面において画像表示部20を通して見える視界の範囲内には、Aゾーン、Bゾーン、Cゾーンが予め定められている。Aゾーン、Bゾーン、Cゾーンのそれぞれは、同じ大きさの角度範囲であり、例えば、40度の大きさを有する。40度という例示は、理解を容易にするために簡単な数値を当てはめたもので、実際は、画像表示部20を通して視認しうる視界範囲の3分の1の大きさである。Aゾーンは真正面JFを中心とする前側の範囲であり、Bゾーンは右前方側の範囲であり、Cゾーンは左前方側の範囲である。
図14のステップS270で、通信者の方角がAゾーンに含まれると判定された場合には、正面側バイブレーター71を所定時間(例えば、0.3秒)だけ振動させ、次いで、所定時間(例えば、0.2秒)、インターバルを置くことを、複数回(例えば、3〜5回)、繰り返し実行する(ステップS272)。繰り返しの回数は、3〜5回に限る必要はなく、2回、6回以上の回数等、いずれの回数であってもよい。また、1回だけでもよい。
ステップS270で、通信者の方角がBゾーンに含まれると判定された場合には、右側バイブレーター72を所定時間(例えば、0.3秒)だけ振動させ、次いで、所定時間(例えば、0.2秒)、インターバルを置くことを、複数回(例えば、3〜5回)、繰り返し実行する(ステップS274)。繰り返しの回数は、3〜5回に限る必要はなく、2回、6回以上の回数等、いずれの回数であってもよい。また、1回だけでもよい。
ステップS270で、通信者の方角がCゾーンに含まれると判定された場合には、左側バイブレーター73を所定時間(例えば、0.3秒)だけ振動させ、次いで、所定時間(例えば、0.2秒)、インターバルを置くことを、複数回(例えば、3〜5回)、繰り返し実行する(ステップS276)。繰り返しの回数は、3〜5回に限る必要はなく、2回、6回以上の回数等、いずれの回数であってもよい。また、1回だけでもよい。
ステップS272、ステップS274、ステップS276の各処理は、ステップS260の表示の実行後、所定時間(例えば、30ms)の遅延を行った後に実行する構成としてもよい。所定時間の遅延を行うのは、視覚は、触覚に対して約30ms遅れるために、ステップS142の表示とステップS142の振動とを使用者が同時に感じるようにするためである。
ステップS272の実行後、ステップS274の実行後、またはステップS276の実行後、捜索を終了するか否かを判定する(ステップS280)。具体的には、通信者の捜索を終了する旨が方向キー16や決定キー17によって指示されたか否かから、上記の判定を行う。ここで、捜索を終了しないと判定された場合には、ステップS220に処理を戻し、ステップS220以降の処理を繰り返し実行する。
ステップS250で、通信者の方角が視界の範囲の外側にあると判定された場合には、画像表示部20の向き、すなわち、使用者の向きを他方向に切り替える旨のメッセージを画像表示部20に表示させる(ステップS290)。続いて、通信者の方角が、視界の範囲の外側に予め定めたDゾーン、Eゾーンのいずれの範囲に含まれるかを判定する(ステップS292)。
図16に示すように、水平面における視界の範囲の外側(視界範囲外)には、Dゾーン、Eゾーンが予め定められている。Dゾーンは使用者の右後方であり、Eゾーンは使用者の左後方である。Dゾーン、Eゾーンのそれぞれは、同じ大きさの角度範囲であり、例えば、120度の大きさを有する。120度という例示は、理解を容易にするために簡単な数値を当てはめたものである。
ステップS292で、通信者の方角がDゾーンに含まれると判定された場合には、右後方側バイブレーター474を所定時間(例えば、0.3秒)だけ振動させ、次いで、所定時間(例えば、0.2秒)、インターバルを置くことを、複数回(例えば、3〜5回)、繰り返し実行する(ステップS294)。繰り返しの回数は、3〜5回に限る必要はなく、2回、6回以上の回数等、いずれの回数であってもよい。また、1回だけでもよい。
ステップS292で、通信者の方角がEゾーンに含まれると判定された場合には、左後方側バイブレーター475を所定時間(例えば、0.3秒)だけ振動させ、次いで、所定時間(例えば、0.2秒)、インターバルを置くことを、複数回(例えば、3〜5回)、繰り返し実行する(ステップS296)。繰り返しの回数は、3〜5回に限る必要はなく、2回、6回以上の回数等、いずれの回数であってもよい。また、1回だけでもよい。ステップS294の実行後、またはステップS296の実行後、ステップS280に処理を進める。
以上のように構成された第2実施形態のHMD400によれば、携帯型無線機500で通信を行う通信者の居る方角を示す受信アイコンRIが画像表示部20に表示されるとともに、その方角に対応した位置に配置されたバイブレーター71,72,73,474,475が振動される。このため、使用者は、通信者の居る方角を画像表示部20の表示とバイブレーター71,72,73,474,475の振動とによって確認できる。したがって、このHMD100によれば、通信者の居る方角についての使用者への通知性能を高めることができる。
C.第3実施形態:
本発明の第3実施形態におけるHMDは、第1実施形態におけるHMD100と比べて、制御装置の制御機能部によって実現される一部の機能が相違する。第1実施形態では、制御機能部150(図6)は、ナビゲーション処理部155を備えていた。これに対して、第3実施形態では、ナビゲーション処理部155に換えて、入力補助部(図示せず)を備える。第3実施形態におけるHMDにおける残余の構成は、第1実施形態と同一であり、第1実施形態と同一の符号を付けて、その説明は省略する。
図17は、使用者によって視認される視野VRの一例を示す説明図である。図示するように、使用者には、画像表示部20の光学像表示部26,28を透過した外景SCが視認されている。そして、外景SCに重ね合わせて入力画面としての入力フィールドFDが表示される。
入力フィールドFDには、使用者の入力操作を受け付ける入力項目TMが3つ設けられている。本実施形態では、入力項目TMはラジオボタンである。「A」,「B」,「C」の各入力項目TMは、この順に、左側から右側に向けて横方向に配列されている。先に説明したように、外景は透過して視認可能であることから、使用者は、視界の中に手HDの指先を差し出すことによって、指先によって入力項目TMをタップすることができる。図17においては、「C」の入力項目TMが選択された場合が示されている。
本実施形態では、左側に位置する「A」の入力項目TMは左側バイブレーター73に予め対応付けられており、中央に位置する「B」の入力項目TMは正面側バイブレーター71に予め対応付けられており、右側に位置する「C」の入力項目TMは右側バイブレーター72に予め対応付けられている。入力補助部は、「A」の入力項目TMがタップされたときに左側バイブレーター73を振動させ(例えば、インターバルを入れて複数回、振動させ)、「B」の入力項目TMがタップされたときに正面側バイブレーター71を振動させ(例えば、インターバルを入れて複数回、振動させ)、「C」の入力項目TMがタップされたときに右側バイブレーター72を振動させ(例えば、インターバルを入れて複数回、振動させ)る。
以上のように構成された第3実施形態のHMDによれば、入力画面に並んだ複数の入力項目のいずれに入力操作がなされたかを、複数の振動子によって報知することができる。このため、使用者は、複数の入力項目のいずれに入力操作を行なったかを、振動によって確認できる。特に、画像表示部20によって表示された画面上の入力フィールドFDの操作は、指先に触覚を得ることができないことから、使用者にとって実感に乏しいものである。これに対して、本実施形態では、使用者は、振動による触覚を得ることができる。したがって、このHMDによれば、入力操作がなされたことについての使用者への通知性能を高めることができる。
前記第3実施形態のHMDでは、入力項目TMがラジオボタンであった。これに対して、変形例として、入力項目TMを、チェックボックス、テキストボックス、プルダウン型選択メニュー等、他のタイプのものとしてもよい。また、入力項目TMの数は、バイブレーターの数と必ずしも同一でなくても、例えば、6つの入力項目を3つのグループに分けて、各グループを3つのバイブレーターに対応付ける構成としてもよい。
D.第4実施形態:
本発明の第4実施形態におけるHMDは、第1実施形態におけるHMD100と比べて、制御装置の制御機能部によって実現される一部の機能が相違する。第1実施形態では、制御機能部150(図6)は、ナビゲーション処理部155を備えていた。これに対して、第4実施形態では、ナビゲーション処理部155に換えて、電子書籍リーダー部(図示せず)を備える。第4実施形態におけるHMDにおける残余の構成は、第1実施形態と同一であり、第1実施形態と同一の符号を付けて、その説明は省略する。
図18は、使用者によって視認される視野VRの一例を示す説明図である。図示するように、使用者には、画像表示部20の光学像表示部26,28を透過した外景SCが視認されている。そして、外景SCに重ね合わせて電子書籍BKが表示される。この電子書籍BKを表示する機能が、電子書籍リーダー部に該当する。
先に説明したように外景は透過して視認可能であることから、使用者は、視界の中に手HDの指先(操作要素)を差し出し、電子書籍BKのページの面に指先を当て(重ね)、矢印FLに示すようにフリック(移動)することによって、ページをめくることができる。電子書籍リーダー部は、指先を右側にフリックする操作がなされたことを検出したときに右側バイブレーター72を振動させ(例えば、インターバルを入れて複数回、振動させ)、ページを左側にフリックする操作がなされたことを検出したときに左側バイブレーター73を振動させ(例えば、インターバルを入れて複数回、振動させ)る。
以上のように構成された第4実施形態のHMDによれば、右側にフリックする操作がなされたことと、左側にフリックする操作がなされたこととを、複数の振動子によって報知することができる。したがって、このHMDによれば、入力操作がなされたことについての使用者への通知性能を高めることができる。
前記第4実施形態では、使用者の入力操作における操作要素が指先であったが、これに換えて、手の平としてもよい。これにより、手めくりによってページをめくることができる。第4実施形態のHMDは、第1実施形態のHMDと同様に、正面側バイブレーター71、右側バイブレーター72、および左側バイブレーター73を備えていた。これに対して、変形例として、正面側バイブレーター71を備えない構成としてもよい。電子書籍リーダー部で、正面側バイブレーター71を使用していないためである。
E.変形例:
なお、この発明は第1〜第4実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
・変形例1:
図19は、変形例1としての頭部装着型画像表示装置(HMD)の備える画像表示部720を示す説明図である。各実施形態およびそれらの変形例では、HMDは、両眼タイプの透過型ヘッドマウントディスプレイであるものとした。これに対して、変形例1として、図19に示すように、単眼タイプのヘッドマウントディスプレイとしてもよい。図示の例では、画像表示部720に、第1実施形態のHMDと同様に、正面側バイブレーター771、右側バイブレーター772、および左側バイブレーター773が設けられている。
・変形例2:
図20は、変形例2としての頭部装着型画像表示装置の備える画像表示部を示す説明図である。画像表示部820は、使用者(図示せず)の頭部に装着されるヘッドバンド830と、ヘッドバンド830の両端側にそれぞれ取り付けられた左右のヘッドホン840,845と、左右のヘッドホン840,845の一方(図示の例では、右側のヘッドホン840)に支持されたディスプレイアーム850と、ディスプレイアーム850に取り付けられ、使用者の眼の前方に配置されるディスプレイ(表示部)860と、を備える。
ディスプレイアーム850の先端側の上部には、正面側バイブレーター871が設けられている。右側のヘッドホン840には、右側バイブレーター872が設けられている。左側のヘッドホン845には、左側バイブレーター873が設けられている。ヘッドバンド830の中央には、上側バイブレーター874が設けられている。この構成の頭部装着型画像表示装置では、上方向を含む情報の入力があったときに、上側バイブレーター874が振動される。したがって、第1実施形態に比べて、変形例2では、より複雑な情報を振動によって通知することができる。また、第1、第3、第4実施形態のHMDはバイブレーターを3つ備え、第2実施形態のHMDはバイブレーターを5つ備え、変形例2のHMDはバイブレーターを4つ備えていたが、変形例として、これらの数以外の複数のバイブレーターを備える構成としてもよい。なお、バイブレーターを多数、設ける場合には、各バイブレーター間の距離を二点弁別閾以上の長さである。二点弁別閾は、体表面上の2点に機械的刺激をあたえたときに、視覚によらずにこれらが別々の刺激によるものであると識別できる最小の距離である。また、各バイブレーターの取り付け位置は、使用者の肌に直接接触する部分であってもよいし、直接は接触しないが振動が伝わる部分であってもよい。
・変形例3:
図21は、変形例3としての頭部装着型画像表示装置の備える画像表示部を示す説明図である。画像表示部920は、第1実施形態における画像表示部20と比較して、右側バイブレーターおよび左側バイブレーターを備えないことと、正面側バイブレーターに換えてバイブレーターユニット971を備えることが相違する。変形例3のHMDにおける残余の構成は、第1実施形態のHMD100と同一であり、第1実施形態と同一の符号を付けて、その説明は省略する。
バイブレーターユニット971は、2つのバイブレーター(振動子)971a,971bを内蔵する。2つのバイブレーター(振動子)971a,971bは、バイブレーターユニット971の長手方向に沿って、予め定めた距離Sだけ離して配置される。この変形例3では、バイブレーターユニット971は、画像表示部20における前部フレーム27の中央部分に、長手方向が左右方向となるように配設されている。距離Sは、二点弁別閾以上の長さである。二点弁別閾は前額部では2cm弱であることから、本変形例3では、距離Sは2cmとした。
この変形例3では、右折する曲がり角が近いと判定された場合に実行される振動パターンAを、次の通りとした。下記の(c1)〜(c4)をこの順で実行し、それを右折するまで繰り返す。
(c1)左側のバイブレーター971bを、所定時間(例えば、0.3秒)だけ振動させる。
(a2)所定時間(例えば、0.2秒)、インターバルを置く。
(a3)右側のバイブレーター971bを、所定時間(例えば、0.3秒)だけ振動させる。
(a4)所定時間(例えば、0.2秒)、インターバルを置く。
左折する曲がり角が近いと判定された場合に実行される振動パターンBを、次の通りとした。下記の(d1)〜(d4)をこの順で実行し、それを左折するまで繰り返す。
(c1)右側のバイブレーター971bを、所定時間(例えば、0.3秒)だけ振動させる。
(a2)所定時間(例えば、0.2秒)、インターバルを置く。
(a3)左側のバイブレーター971bを、所定時間(例えば、0.3秒)だけ振動させる。
(a4)所定時間(例えば、0.2秒)、インターバルを置く。
以上のように構成された変形例3によれば、ナビゲーション装置によって探索された経路によって定まる曲がり角が近いときに、その曲がる方向に応じて右側から左側(あるいは左側から右側)へ流れる振動を使用者は受けることになる。したがって、この変形例3によれば、第1実施形態と同様に、曲がる方向についての通知性能をより高めることができる。なお、この変形例では、一つのユニットに2つのバイブレーターを備える構成としたが、これに換えて、3つ以上の数のバイブレーターを備える構成としてもよい。
・変形例4:
各実施形態および変形例において、複数のバイブレーターを振動する振動パターンは、各バイブレーターの振動の強度を一定とし、各バイブレーターを振動させる時間を組合せたものであった。これに対して、変形例として、各バイブレーターの振動の強度を個別に変化させる構成としてもよい。また、各バイブレーターの振動の強度はデフォルト(初期値)を有し、使用者が個別にカスタマイズできる構成としてもよい。頭部装着型表示装置は、装着した場合のかけ心地に個人差があることから、振動の強度の好みが個人によって相違する。各バイブレーターの振動の強度をカスタマイズできる構成とすることによって、個人の振動強度の好みに対応することが可能となる。
・変形例5:
前記第3および第4実施形態では、視界の中に手HDの指先を差し出し、指先の移動によって入力操作を行うものとした。これに対して、変形例として、ウェアラブルデバイスから入力操作を行うものとしてもよい。ウェアラブルデバイスとしては、ウオッチ型、ペン型、リング型、衣服などの他のタイプのものでもよい。さらに、第5実施形態の変形例として、ウェアラブルデバイスに換えて、PDA 携帯電話 スマートフォンとしてもよい。
・変形例6:
前記第3実施形態では、ラジオボタンのいずれの項目に入力操作がなされたかを、複数の振動子によって報知することができる構成とした。これに対して、変形例として、GUIとしてのプッシュボタンに対してオンとオフのいずれの操作がなされたかを、複数の振動子によって報知することができる構成としてもよい。具体的には、プッシュボタンがオフからオンに切り替えられたときには右側バイブレーターを振動させ、プッシュボタンがオンからオフに切り替えられたときには左側バイブレーターを振動させる。この構成によれば、プッシュボタンに対して入力操作がなされたことについての使用者への通知性能を高めることができる。さらに、ラジオボタンやプッシュボタンに限る必要もなく、トグルボタン等の他のタイプのGUIに対して入力操作がなされたことを複数の振動子によって報知する構成としてもよい。
・変形例7:
前記第1実施形態では、HMDを装着した使用者が曲がる方向を複数の振動子の振動パターンによって通知する構成とし、前記第2実施形態では、HMDと無線通信を行う無線通信器の方角を複数の振動子の振動パターンによって通知する構成とした。これに対して、変形例として、HMDの前方を撮影するカメラ61以外に、HMDの左方向を撮影するカメラと、HMDの右方向を撮影するカメラと、HMDの後方を撮影するカメラとをHMDに搭載し、HMDを装着した使用者に対して、車、自転車等の衝突の危険がそれらのカメラから検出されたときに、複数の振動子の振動パターンによって、使用者に危険が差し迫った方向を報知する構成としてもよい。具体的には、右方向から衝突の危険が差し迫ったときには右側バイブレーターを振動させ、左方向から衝突の危険が差し迫ったときには左側バイブレーターを振動させる。上記HMDの後方を撮影するカメラは、例えば、左保持部23の先端AL(眼鏡に例えるなら左側のモダン部の先端)、または、右保持部21の先端AR(眼鏡に例えるなら右側のモダン部の先端)に、HMDの後方に向いて取り付けられている。この変形例によれば、HMDを装着した使用者に対して衝突の危険が差し迫ったことを振動によって通知することが可能となる。
・変形例8:
第1実施形態、第2実施形態、変形例7では、複数の振動子の振動によって種々の通知を行う構成であった。これに対して、変形例として、複数の振動子の振動とともに、音声によってもそれらの通知を行う構成としてもよい。
・変形例9:
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。
・変形例10:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、右導光板26および左導光板28が外光を透過する、いわゆる透過型のHMD100について説明した。しかし、本発明は、例えば、外景を透過しないで画像を表示する、いわゆる非透過型のHMD100に適用することもできる。また、非透過型のHMD100には、カメラで外景を撮像して、その撮像画像を表示部に表示すれば良い。これらのHMD100では、上記実施形態で説明した実空間に重畳して画像を表示するAR(Augmented Reality)表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するMR(Mixed Reality)表示、あるいは、仮想空間を表示するVR(Virtual Reality)表示を行うこともできる。
上記実施形態では、制御装置10および画像表示部20の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置10に記憶機能部122および制御機能部150を搭載し、画像表示部20には表示機能のみを搭載する態様。制御装置10と画像表示部20との両方に、記憶機能部122および制御機能部150を搭載する態様。制御装置10と画像表示部20とを一体化した態様。この場合、例えば、画像表示部20に制御装置10の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置10の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置10と画像表示部20とを無線通信により接続し、接続ケーブル40を配した態様。この場合、例えば、制御装置10や画像表示部20に対する給電についても無線で実施してよい。
・変形例11:
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、制御装置10が備える入力手段の一例について説明した。しかし、制御装置10は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置10は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置10は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部20の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ61により経時的に撮影された画像を画像解析することにより実現できる。
上記実施形態では、制御機能部150は、メインプロセッサー140が記憶機能部122内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部150は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部122に代えて、または記憶機能部122と共に、不揮発性記憶部121、EEPROM215、メモリー118、他の外部記憶装置(各種インターフェースに挿入されているUSBメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む)に格納されていてもよい。また、制御機能部150の各機能は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit)を用いて実現されてもよい。
・変形例12:
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
図22は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼REに対応したOLEDユニット221aと、左眼LEに対応したOLEDユニット241aと、が設けられている。右眼REに対応したOLEDユニット221aは、白色で発色するOLEDパネル223aと、OLEDパネル223aを駆動して発光させるOLED駆動回路225とを備えている。OLEDパネル223aと右光学系251との間には、変調素子227(変調装置)が配置されている。変調素子227は、例えば、透過型液晶パネルで構成され、OLEDパネル223aが発する光を変調して画像光Lを生成する。変調素子227を透過して変調された画像光Lは、右導光板26によって右眼REに導かれる。
左眼LEに対応したOLEDユニット241aは、白色で発光するOLEDパネル243aと、OLEDパネル243aを駆動して発光させるOLED駆動回路245とを備えている。OLEDパネル243aと左光学系252との間には、変調素子247(変調装置)が配置されている。変調素子247は、例えば、透過型液晶パネルで構成され、OLEDパネル243aが発する光を変調して画像光Lを生成する。変調素子247を透過して変調された画像光Lは、左導光板28によって左眼LEに導かれる。変調素子227、247は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路(変調装置駆動部)は、例えば変調素子227、247の近傍に配置される基板に実装される。
変形例の画像表示部によれば、右表示ユニット22および左表示ユニット24は、それぞれ、光源部としてのOLEDパネル223a、243aと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子227、247と、を備える映像素子として構成される。なお、OLEDパネル223a、243aが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のHMD100としてもよい。
上記実施形態では、眼鏡型の画像表示部20について説明したが、画像表示部20の態様は任意に変更することができる。例えば、画像表示部20を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部20を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるHUD(Head Up Display)として構成してもよい。
上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板26および左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板26および左導光板28の全面(または大部分)を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー261、281を有する右導光板26および左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品(例えば、回折格子、プリズム、ホログラフィー等)を用いる限り任意の態様を採用できる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
1…情報処理システム、10…制御装置、12…点灯部、14…タッチパッド、16…方向キー、17…決定キー、18…電源スイッチ、19…バイブレーター、20…画像表示部、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…コネクター、61…カメラ、63…マイク、65…照度センサー、67…LEDインジケーター、71…正面側バイブレーター、72…右側バイブレーター、73…左側バイブレーター、100…頭部装着型表示装置(HMD)、110…操作部、111…6軸センサー、113…磁気センサー、115…GPSレシーバー、117…無線通信部、118…メモリー、120…コントローラー基板、121…不揮発性記憶部、122…記憶機能部、123…設定データ、124…コンテンツデータ、130…電源部、132…バッテリー、134…電源制御回路、140…メインプロセッサー、145…画像処理部、147…表示制御部、149…撮像制御部、150…制御機能部、151…入出力制御部、153…通信制御部、155…ナビゲーション処理部、155a…経路探索要求部、155b…経路案内部、180…音声コーデック、182…音声インターフェース、184…外部コネクター、186…外部メモリーインターフェース、188…USBコネクター、192…センサーハブ、196…インターフェース、210…表示ユニット基板、211…インターフェース、213…受信部、215…EEPROM、217…温度センサー、221、221a…OLEDユニット、223、223a…OLEDパネル、225…OLED駆動回路、227…変調素子、230…表示ユニット基板、231…インターフェース、233…受信部、235…6軸センサー、237…磁気センサー、239…温度センサー、241、241a…OLEDユニット、243、243a…OLEDパネル、245…OLED駆動回路、247…変調素子、251…右光学系、252…左光学系、261…ハーフミラー、281…ハーフミラー、410…制御装置、420…画像表示部、450…制御機能部、455…無線通信部、457…捜索処理部、474…右後方側バイブレーター、475…左後方側バイブレーター、500…携帯型無線機、510…GPSレシーバー、720…画像表示部、771…正面側バイブレーター、772…右側バイブレーター、773…左側バイブレーター、820…画像表示部、830…ヘッドバンド、840…ヘッドホン、845…ヘッドホン、850…ディスプレイアーム、871…正面側バイブレーター、872…右側バイブレーター、873…左側バイブレーター、874…上側バイブレーター、920…画像表示部、971…バイブレーターユニット、971b…バイブレーター

Claims (14)

  1. 頭部装着型表示装置であって、
    頭部に取り付けられ、画像を表示する表示部を有する装置本体部に配設された複数の振動子と、
    前記複数の振動子を個別に制御する制御部と、
    を備える頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、
    前記制御部は、
    前記頭部装着型表示装置を基準とした方向を含む情報を取得し、
    前記取得した情報に基づいて、前記複数の振動子の振動パターンを制御する、頭部装着型表示装置。
  3. 請求項2に記載の頭部装着型表示装置であって、
    前記方向を含む情報は、
    ナビゲーション装置による経路探索によって探索された経路と、前記頭部装着型表示装置の現在位置と、から求まる曲がり角の情報である、頭部装着型表示装置。
  4. 請求項2に記載の頭部装着型表示装置であって、
    前記方向を含む情報は、
    前記頭部装着型表示装置と無線通信を行う無線通信機の現在位置と、前記頭部装着型表示装置の現在位置および向きと、から求まる前記無線通信機の方角を示す情報である、頭部装着型表示装置。
  5. 請求項1に記載の頭部装着型表示装置であって、
    前記制御部は、
    使用者からの入力操作を取得し、
    前記取得した入力操作に基づいて、前記複数の振動子の振動パターンを制御する、頭部装着型表示装置。
  6. 請求項5に記載の頭部装着型表示装置であって、
    前記制御部は、
    使用者の入力操作を受け付ける入力項目が複数、予め定められた方向に配置された入力画面を、前記表示部に表示し、
    前記入力操作が受け付けられた入力項目に応じて、前記振動パターンの制御を行う、頭部装着型表示装置。
  7. 請求項5に記載の頭部装着型表示装置であって、
    前記入力操作は、操作要素の移動方向を切り替えるものであり、
    前記制御部は、前記移動方向に応じて、前記振動パターンの制御を行う、頭部装着型表示装置。
  8. 請求項1から請求項7までのいずれか一項に記載の頭部装着型表示装置であって、
    前記複数の振動子のうちの一つは、前記装置本体部の左右方向において中心より右側に設けられ、
    前記複数の振動子のうちの一つは、前記装置本体部の左右方向において中心より左側に設けられた、頭部装着型表示装置。
  9. 請求項8に記載の頭部装着型表示装置であって、
    前記装置本体部は、眼鏡形状を有し、
    前記複数の振動子のうちの一つは、鼻パット部に設けられ、
    前記複数の振動子のうちの一つは、右側のヨロイ部に設けられ、
    前記複数の振動子のうちの一つは、左側のヨロイ部に設けられた、頭部装着型表示装置。
  10. 請求項8に記載の頭部装着型表示装置であって、
    前記装置本体部は、眼鏡形状を有し、
    前記複数の振動子のうちの一つは、右側のモダン部に設けられ、
    前記複数の振動子のうちの一つは、左側のモダン部に設けられた、頭部装着型表示装置。
  11. 頭部に取り付けられ、画像を表示する表示部を有する装置本体部を備えた頭部装着型表示装置の制御方法であって、
    前記頭部装着型表示装置は、前記装置本体部に複数の振動子が配設され、
    前記制御方法は、
    前記頭部装着型表示装置を基準とした方向を含む情報を取得する工程と、
    前記取得した情報に基づいて、前記複数の振動子の振動パターンを制御する工程と、
    を備える、頭部装着型表示装置の制御方法。
  12. 頭部に取り付けられ、画像を表示する表示部を有する装置本体部を備えた頭部装着型表示装置の制御方法であって、
    前記頭部装着型表示装置は、前記装置本体部に複数の振動子が配設され、
    前記制御方法は、
    使用者からの入力操作を取得する工程と、
    前記取得した入力操作に基づいて、前記複数の振動子の振動パターンを制御する工程と、
    を備える、頭部装着型表示装置の制御方法。
  13. 頭部に取り付けられ、画像を表示する表示部を有する装置本体部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記頭部装着型表示装置は、前記装置本体部に複数の振動子が配設され、
    前記コンピュータープログラムは、
    前記頭部装着型表示装置を基準とした方向を含む情報を取得する機能と、
    前記取得した情報に基づいて、前記複数の振動子の振動パターンを制御する機能と、
    をコンピューターに実現させる、コンピュータープログラム。
  14. 頭部に取り付けられ、画像を表示する表示部を有する装置本体部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記頭部装着型表示装置は、前記装置本体部に複数の振動子が配設され、
    前記コンピュータープログラムは、
    使用者からの入力操作を取得する機能と、
    前記取得した入力操作に基づいて、前記複数の振動子の振動パターンを制御する機能と、
    をコンピューターに実現させる、コンピュータープログラム。
JP2016224597A 2016-11-18 2016-11-18 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Withdrawn JP2018082363A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016224597A JP2018082363A (ja) 2016-11-18 2016-11-18 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US15/801,929 US10838205B2 (en) 2016-11-18 2017-11-02 Head mounted display, control method thereof, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016224597A JP2018082363A (ja) 2016-11-18 2016-11-18 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Publications (1)

Publication Number Publication Date
JP2018082363A true JP2018082363A (ja) 2018-05-24

Family

ID=62147582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016224597A Withdrawn JP2018082363A (ja) 2016-11-18 2016-11-18 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Country Status (2)

Country Link
US (1) US10838205B2 (ja)
JP (1) JP2018082363A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020178960A1 (ja) * 2019-03-04 2020-09-10
WO2023106063A1 (ja) * 2021-12-06 2023-06-15 株式会社Jvcケンウッド 通知装置、通知方法およびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016007015T5 (de) * 2016-07-29 2019-03-21 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren
US11408749B2 (en) * 2017-05-30 2022-08-09 Stephen Wesley Schad, JR. Personal navigation system haptic device
US10715746B2 (en) * 2017-09-06 2020-07-14 Realwear, Inc. Enhanced telestrator for wearable devices
CN112684603B (zh) * 2019-10-17 2023-03-28 杭州海康威视数字技术股份有限公司 智能眼镜
JP2021105783A (ja) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 表示システム、表示方法、及び、プログラム
CN111552076B (zh) * 2020-05-13 2022-05-06 歌尔科技有限公司 一种图像显示方法、ar眼镜及存储介质
US11711332B2 (en) 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management
EP4231615A1 (en) * 2022-02-18 2023-08-23 Nokia Technologies Oy User device notifications
CN114760418B (zh) * 2022-04-24 2024-06-18 蒂姆维澳(上海)网络技术有限公司 一种360度全视角ar监控方法、系统及ar眼镜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147946A1 (ja) * 2013-03-21 2014-09-25 ソニー株式会社 加速度感覚呈示装置、加速度感覚呈示方法および加速度感覚呈示システム
JP2014194767A (ja) * 2013-03-15 2014-10-09 Immersion Corp ウェアラブル触覚装置
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
WO2016170717A1 (ja) * 2015-04-23 2016-10-27 ソニー株式会社 ウェアラブルディスプレイ、情報処理システム及び制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160187654A1 (en) * 2011-02-28 2016-06-30 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
JP2014123883A (ja) 2012-12-21 2014-07-03 Nikon Corp 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
US10019070B2 (en) * 2015-11-03 2018-07-10 GM Global Technology Operations LLC Vehicle-wearable device interface and methods for using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース
JP2014194767A (ja) * 2013-03-15 2014-10-09 Immersion Corp ウェアラブル触覚装置
WO2014147946A1 (ja) * 2013-03-21 2014-09-25 ソニー株式会社 加速度感覚呈示装置、加速度感覚呈示方法および加速度感覚呈示システム
WO2016170717A1 (ja) * 2015-04-23 2016-10-27 ソニー株式会社 ウェアラブルディスプレイ、情報処理システム及び制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020178960A1 (ja) * 2019-03-04 2020-09-10
WO2020178960A1 (ja) * 2019-03-04 2020-09-10 マクセル株式会社 リモート操作指示システム、及びマウント型デバイス
US11915339B2 (en) 2019-03-04 2024-02-27 Maxell, Ltd. Remote operation instructing system, and mount type device
WO2023106063A1 (ja) * 2021-12-06 2023-06-15 株式会社Jvcケンウッド 通知装置、通知方法およびプログラム

Also Published As

Publication number Publication date
US10838205B2 (en) 2020-11-17
US20180143433A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US10838205B2 (en) Head mounted display, control method thereof, and computer program
US11310483B2 (en) Display apparatus and method for controlling display apparatus
JP7087481B2 (ja) 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
US20150009309A1 (en) Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
US10976836B2 (en) Head-mounted display apparatus and method of controlling head-mounted display apparatus
US10718948B2 (en) Head-mounted display apparatus, display control method, and computer program
US11668936B2 (en) Head-mounted type display device and method of controlling head-mounted type display device
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018151851A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2018160735A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2018142168A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018148257A (ja) 頭部装着型表示装置およびその制御方法
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
US10884498B2 (en) Display device and method for controlling display device
JP2018055416A (ja) 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム
JP2017146726A (ja) 移動支援装置、及び、移動支援方法
JP6932917B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2019053644A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2017182413A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2017182460A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2017134630A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2018067160A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6693160B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20210128