JP6393986B2 - 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法 - Google Patents

頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法 Download PDF

Info

Publication number
JP6393986B2
JP6393986B2 JP2013269065A JP2013269065A JP6393986B2 JP 6393986 B2 JP6393986 B2 JP 6393986B2 JP 2013269065 A JP2013269065 A JP 2013269065A JP 2013269065 A JP2013269065 A JP 2013269065A JP 6393986 B2 JP6393986 B2 JP 6393986B2
Authority
JP
Japan
Prior art keywords
image
user
head
marker
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013269065A
Other languages
English (en)
Other versions
JP2015126352A (ja
Inventor
総志 木村
総志 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2013269065A priority Critical patent/JP6393986B2/ja
Priority to US14/564,635 priority patent/US9805262B2/en
Priority to CN201410820769.8A priority patent/CN104749778B/zh
Publication of JP2015126352A publication Critical patent/JP2015126352A/ja
Priority to US15/718,744 priority patent/US10445579B2/en
Application granted granted Critical
Publication of JP6393986B2 publication Critical patent/JP6393986B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)

Description

本発明は、頭部装着型表示装置に関する。
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。また、バーコード等を利用したピッキングシステムにおいて、頭部装着型表示装置による虚像によって情報を使用者に視認させることで、ピッキング作業の効率化が行なわれている。
特許文献１には、頭部装着型表示装置を装着した使用者が陳列棚に収納された商品を取得するピッキング作業を行なう場合に、使用者に視認される陳列棚の棚番号に加えて、棚番号に対応する商品の画像を頭部装着型表示装置によって使用者に視認させる技術が開示されている。また、特許文献２には、商品の関連情報を提供するシステムにおいて、複数の商品名が記載された目次の所定の商品名を、使用者が一定時間以上視認した場合に、視認した商品名に関連する情報を画像として使用者に視認させる技術について開示されている。また、特許文献３には、使用者の視線方向を撮像するカメラによって、物品の収納場所に配置された複数のコードが撮像された場合に、予め記憶された情報に基づいて、複数のコードの内から選択された１つのコードに基づく画像を使用者に視認させる物品のピッキング作業の支援システムについて開示されている。
特開平１０−１４７４１１号公報 特開２００８−１５６３４号公報 特許第５３３４１４５号公報
しかし、特許文献１に記載された技術では、陳列棚に配置された棚番号が小さく、使用者と棚番号とが離れている場合には、棚番号が認識されずに商品の画像を使用者に視認させることができないという課題があった。また、商品の画像だけでは、効率的なピッキング作業を行なうことができないという課題があった。また、特許文献２に記載された技術では、使用者は、商品名に関連する画像を視認したい場合に、目次の商品名を一定時間以上視認する必要があり、画像を視認するのに時間がかかってしまうという課題があった。また、特許文献３に記載された技術では、コードに基づく画像を使用者が視認するためには、事前の情報の登録が必要であり、使い勝手の向上の余地があった。なお、上記課題は、ピッキングシステムの分野に限られず、例えば、目的場所への経路案内等、その他の分野において共通する課題であった。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
［形態１］
頭部装着型表示装置であって、
使用者の頭部に装着された状態において、画像データに基づいて画像光を虚像として使用者に視認させると共に外景を使用者に視認させる画像表示部と、
前記外景を撮像する撮像部と、
撮像された撮像画像に特定の印の画像である印画像が含まれる場合に、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられた特定の前記虚像を、前記画像表示部を用いて使用者に視認させる制御部と、を備え、
前記特定の虚像は、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられており、
前記制御部は、
第１の所定の時間、前記印画像が前記撮像画像内に撮像され続けた場合に、前記特定の虚像を、前記画像表示部を用いて使用者に視認させ、
前記画像表示部を用いて使用者に前記特定の虚像を視認させることを開始した後に、前記画像表示部と前記印画像との位置関係が変化しない場合には、前記開始した時点から第２の所定の時間が経過した場合に、使用者に前記特定の虚像を視認させることを終了する、頭部装着型表示装置。
この形態の頭部装着型表示装置によれば、撮像された印画像の形状に応じて特定された使用者と撮像された特定の印との位置関係に対応する特定の虚像が使用者に視認されるため、使用者は、撮像される特定の印の種類や位置関係に応じて最適な虚像を視認でき、視認する虚像に基づく各種作業を効率的に行なうことができる。またこの形態の頭部装着型表示装置によれば、撮像画像に特定の印が含まれるだけでは、特定の虚像を使用者に視認させる印画像として検出されないため、頭部装着型表示装置の処理の負荷を軽減できる。また、使用者が意図しない印画像の検出が抑制されるため、精度の高い各種作業に対応する特定の虚像を使用者に視認させることができる。
（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着された状態において、画像データに基づいて画像光を虚像として使用者に視認させると共に外景を使用者に視認させる画像表示部と；前記外景を撮像する撮像部と；撮像された撮像画像に特定の印の画像である印画像が含まれる場合に、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられた特定の前記虚像を、前記画像表示部を用いて使用者に視認させる制御部と、を備える。この形態の頭部装着型表示装置によれば、撮像された印画像の形状に応じて特定された使用者と撮像された特定の印との位置関係に対応する特定の虚像が使用者に視認されるため、使用者は、撮像される特定の印の種類や位置関係に応じて最適な虚像を視認でき、視認する虚像に基づく各種作業を効率的に行なうことができる。
（２）上記形態の頭部装着型表示装置において、前記特定の虚像は、前記印画像の種類と、前記印画像の形状としての前記印画像の大きさと、の組み合わせに対応付けられていてもよい。この形態の頭部装着型表示装置によれば、同じ特定の印が撮像された場合でも、特定された距離に応じて複数の特定の虚像を使用者に視認させることができ、１つの特定の印でも、使用者との位置関係に適したより多くの情報を使用者に提供できる。
（３）上記形態の頭部装着型表示装置において、前記制御部は、前記画像表示部から前記特定の虚像が結像される位置までの距離が前記印画像の種類と前記印画像の大きさとの組み合わせに基づいて特定される前記画像表示部から前記特定の印までの距離と同じになるように設定してもよい。この形態の頭部装着型表示装置によれば、使用者が虚像を視認しやすい位置に特定の虚像を結像できるため、迅速に使用者に特定の虚像を認識させることができる。
（４）上記形態の頭部装着型表示装置において、前記特定の虚像は、複数の前記撮像画像ごとに含まれる１つの前記印画像が撮像された順番と前記印画像の種類と前記印画像の形状との組み合わせに対応付けられていてもよい。この形態の頭部装着型表示装置によれば、複数の印画像の内から、撮像された順番に沿った特定の印に対応する特定の虚像のみを使用者に視認させるため、順番の異なる各種作業に関連する虚像を使用者に視認させることがなく、使用者に効率的な作業を行なわせることができる。
（５）上記形態の頭部装着型表示装置において、前記制御部は、前記撮像画像における所定の領域に対応する領域虚像を、前記画像表示部を用いて使用者に視認させ、前記所定の領域に含まれる前記印画像の前記組み合わせに対応付けられた前記特定の虚像を、前記画像表示部を用いて使用者に視認させてもよい。この形態の頭部装着型表示装置によれば、撮像画像に特定の印が含まれるだけでは、特定の虚像を使用者に視認させる印画像として検出されないため、頭部装着型表示装置の処理の負荷を軽減できる。また、使用者が意図しない印画像の検出が抑制されるため、精度の高い各種作業に対応する特定の虚像を使用者に視認させることができる。
（６）上記形態の頭部装着型表示装置において、前記制御部は、前記撮像画像に複数の前記印画像が含まれる場合に、複数の前記印画像の内で大きさが最大の前記印画像の前記組み合わせに対応付けられた前記特定の虚像を、前記画像表示部を用いて使用者に視認させてもよい。この形態の頭部装着型表示装置によれば、複数の印画像の内から最大の印画像を自動的に検出するため、使用者に最も近い特定の印を自動的に検出でき、使用者の利便性を向上させることができる。
（７）上記形態の頭部装着型表示装置において、前記制御部は、前記撮像画像に複数の前記印画像が含まれる場合に、前記特定の印に設定された優先度に基づいて選択された１つの前記印画像の前記組み合わせに対応付けられた前記特定の虚像を、前記画像表示部を用いて使用者に視認させてもよい。この形態の頭部装着型表示装置によれば、撮像範囲に含まれる複数の印画像から、予め記憶された印画像に対応する特定の虚像が自動的に使用者に視認されるため、使用者に誤った各種作業の特定の虚像を視認させることを低減し、使用者に効率的な作業を行なわせることができる。
（８）上記形態の頭部装着型表示装置において、前記特定の虚像は、前記印画像が前記撮像画像に含まれている時間と前記印画像の種類と前記印画像の形状との組み合わせに対応付けられていてもよい。この形態の頭部装着型表示装置によれば、撮像画像に特定の印が含まれるだけでは、特定の虚像を使用者に視認させる印画像として検出されないため、頭部装着型表示装置の処理の負荷を軽減できる。また、使用者が意図しない印画像の検出が抑制されるため、精度の高い各種作業に対応する特定の虚像を使用者に視認させることができる。
（９）上記形態の頭部装着型表示装置において、前記特定の印は、形状と色との組み合わせによって構成されてもよい。この形態の頭部装着型表示装置によれば、複数の色が用いられた特定の印が作成されるため、より小さい特定の印によって、より多くの情報を使用者に提供できる。
（１０）上記形態の頭部装着型表示装置において、前記特定の印は、正方形の外枠の内部が白色と黒色とに色分けされている複数の領域で構成される２次元の印であってもよい。この形態の頭部装着型表示装置によれば、作成される特定の印が複雑でないため、撮像された印画像によって対応する画像を表示させる制御を簡便に行なうことができる。また、特定の印が黒色と白色のみから構成されるため、誤検出の少ない制御が行なわれる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、画像表示部と、撮像部と、制御部と、の３つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、使用者の頭部に装着された状態において、画像データに基づいて画像光を虚像として使用者に視認させると共に外景を使用者に視認させてもよい。撮像部は、例えば、前記外景を撮像してもよい。制御部は、例えば、撮像された撮像画像に特定の印の画像である印画像が含まれる場合に、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられた特定の前記虚像を、前記画像表示部を用いて使用者に視認させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、画像表示システムおよび頭部装着型表示システム、画像表示システムおよび頭部装着型表示システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
頭部装着型表示装置の外観構成を示す説明図である。 頭部装着型表示装置の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 指示画像表示処理の流れを示す説明図である。 マーカーの一例を示す説明図である。 物流センターにおいて使用者が通る通路についての概略図である。 出発地点においてマーカーが検出された場合の使用者の視野を示す説明図である。 出発地点において指示画像が表示された場合の使用者の視野を示す説明図である。 中継地点において指示画像が表示された場合の使用者の視野を示す説明図である。 棚の正面にいる使用者の視野を示す説明図である。 変形例におけるマーカーの一例を示す説明図である。 変形例におけるマーカーの一例を示す説明図である。 変形例におけるマーカーの一例を示す説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。
Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。カメラ６１は、請求項における撮像部に相当する。
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、トラックパッド１４と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。
トラックパッド１４は、操作面上における使用者の指の接触操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。
図２は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、操作部１３５と、電源１３０と、記憶部１２０と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８から構成されている。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０は、後述するマーカー判定部１６５によって検出されるマーカーと、マーカーのそれぞれに対応付けられた画像表示部２０に表示させる画像を表す画像データと、を予め記憶している。記憶部１２０は、後述する指示画像表示処理の作業指示に関連するマーカーについて記憶している。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、画像処理部１６０、音声処理部１７０、および、マーカー判定部１６５として機能する。
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
マーカー判定部１６５は、画像表示部２０の光学像表示部２６，２８において使用者に虚像を視認させることができる画像表示最大領域ＰＮ（以下、単に「表示領域ＰＮ」とも呼ぶ）に、一定の領域を示す領域画像を表示させる。なお、領域画像は、請求項における領域虚像に相当する。マーカー判定部１６５は、カメラ６１の撮像画像において領域画像内に対応する範囲に、記憶部１２０に記憶されたマーカーの画像があるか否かを判定する。なお、マーカー判定部１６５は、撮像画像にマーカーの画像が含まれていても、領域画像内にマーカー全体の画像が含まれていない場合には、撮像画像にマーカーの画像が含まれていないと判定する。また、マーカー判定部１６５は、領域画像内にマーカーが含まれると判定した場合に、記憶部１２０に記憶されたマーカーと照合することで、撮像されたマーカーが後述する指示画像表示処理の作業指示に関連するマーカーであるか否かを判定する。なお、マーカーとしては、１次元や２次元で表されるバーコードやＱＲコード（登録商標）といった識別子である。マーカーとして、例えば、ＡＲマーカー、ＩＤマーカー、ＮｙＩＤマーカー、ＤａｔａＭａｔｒｉｘマーカー、フレームマーカー、分割マーカー、これらの識別子に色を加えて情報量を増やしたマーカー、および、多次元コードよって作成されたマーカー、ＯＣＲ等で読み取ることができる文字が用いられる。マーカーは、請求項における特定の印に相当する。
マーカー判定部１６５は、領域画像の範囲に撮像画像にマーカーの画像が含まれると判定した場合には、撮像画像に含まれるマーカーの種類を特定し、マーカーの画像の形状を特定する。撮像されるマーカーが同じ種類の場合でも、マーカーの画像は、カメラ６１との位置関係によって、画像の大小が異なる場合や、画像の外枠の形状が異なる場合がある。例えば、撮像されるマーカーとカメラ６１との距離が離れている場合には、離れていない場合に比べて、撮像されるマーカーの画像の大きさが小さくなる。また、撮像されるマーカーがカメラ６１の斜め前方に位置する場合には、奥行きを伴った画像として撮像されるため、例えば、マーカーの外枠が正方形である場合には、マーカーの画像の外枠が台形の画像として撮像される。このように、撮像されるマーカーとカメラ６１との位置関係によって、マーカーの画像の形状が異なるため、マーカー判定部１６５は、マーカーの画像によって、使用者と撮像されるマーカーとの距離や使用者の視線方向に対する撮像されるマーカーの位置などを特定できる。マーカー判定部１６５は、特定したマーカーの種類とマーカーの画像の形状との組み合わせに対応する画像を表示領域ＰＮに表示させる。使用者は、表示領域ＰＮに表示された画像によって、情報を得たりして、種々の判断を行なうことができる。なお、撮像されるマーカーの画像は、請求項における印画像に相当する。
また、マーカー判定部１６５は、輻輳角を制御することにより、使用者に視認させる虚像を結像する位置を設定する。すなわち、マーカー判定部１６５は、使用者に視認させる虚像を、使用者から所定の距離だけ離れた位置に存在するように視認させる。本実施形態では、マーカー判定部１６５は、画像表示部２０から虚像が結像される位置までの距離を、カメラ６１から撮像されるマーカーまでの距離に同じになるように設定する。なお、請求項において、画像表示部から特定の虚像が結像されるまでの位置が画像表示部から特定の印までの距離と同じであるとは、各距離が全く同じという意味に限定されず、撮像部と特定の印との距離を中心値としてプラスマイナス１０％内の範囲の距離も含む。例えば、カメラ６１から撮像されるマーカーまでの距離が５メートル（ｍ）だった場合には、光学像表示部２６，２８から虚像が結像される位置までの距離が４．５ｍ以上５．５ｍ以下までであれば、請求項における同じ距離に相当する。
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
インターフェイス１８０（図２）は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、を備えている。
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
Ａ−２．指示画像表示処理：
図４は、指示画像表示処理の流れを示す説明図である。指示画像表示処理は、検出されたマーカーに対応し、予め設定された作業指示に沿って、画像表示部２０の表示領域ＰＮに作業指示を示す指示画像が順番に表示される処理である。本実施形態では、多数の工業製品が保管されている物流センターに配置された複数の異なるマーカーが検出されることにより、マーカーの画像に対応した作業指示の画像が表示領域ＰＮに表示される。図５は、マーカーの一例を示す説明図である。図５に示すように、本実施形態で用いられるマーカーＭＫ１は、正方形の外枠の中に、マーカーごとに異なる画像が形成されている。マーカーＭＫ１において、正方形の中に形成される画像は、白色の領域と黒色の領域とによって構成されている。なお、記憶部１２０に記憶されているマーカーの画像データにおける外枠の大きさは、マーカーごとに異なる。
図６は、物流センター３００において使用者が通る通路についての概略図である。図６には、物流センター３００の全体の概略が示されている。初めに、使用者は、物流センター３００の入り口の近くである出発地点ＳＴにいて、物流センター３００内の方向ＤＲ１を向いている。使用者は、物流センター３００の各所に配置されたマーカーが検出されることで、検出されたマーカーの画像に対応して表示される指示画像に従い、図６に示す矢印の方向に進行して、目的地である棚ＳＨまで移動する。棚ＳＨまで移動すると、作業指示として予め記憶された通りに、棚ＳＨに保管されている部品を取得する。なお、図６に示す、中継地点ＬＣと方向ＤＲ２との詳細については後述する。
指示画像表示処理では、初めに、カメラ６１が外景の撮像を開始する（図４のステップＳ１０）。次に、マーカー判定部１６５は、表示領域ＰＮに領域画像を表示させる（ステップＳ１２）。次に、マーカー判定部１６５は、領域画像内におけるマーカーの画像の検出を監視する（ステップＳ１４）。領域画像内にマーカーの画像が検出されない場合には（ステップＳ１４：ＮＯ）、マーカー判定部１６５は、引き続き、マーカーの画像の検出を監視する（ステップＳ１４）。本実施形態では、マーカー判定部１６５は、所定の時間、領域画像内にマーカーが撮像され続けた場合に、マーカーとして検出する。そのため、瞬間的に領域画像内に含まれるマーカーは、マーカーとしては検出されない。ステップＳ１４の処理において、領域画像内にマーカーの画像が検出された場合には（ステップＳ１４：ＹＥＳ）、マーカー判定部１６５は、検出されたマーカーの種類を特定する（ステップＳ１６）。
図７は、出発地点ＳＴにおいてマーカーが検出された場合の使用者の視野ＶＲを示す説明図である。図７には、出発地点ＳＴにいる使用者が方向ＤＲ１を向いているときに、使用者に視認される視野ＶＲが示されている。この場合に、使用者の視野ＶＲには、画像表示部２０の光学像表示部２６，２８を透過した外景ＳＣと、画像表示部２０によって表示された領域画像ＡＩと、が含まれている。外景ＳＣには、物流センター３００内に配置されたマーカーＭＫ１が含まれている。領域画像ＡＩ内にマーカーとしてのマーカーＭＫ１が検出されているため、マーカー判定部１６５は、マーカーＭＫ１のマーカーの種類を特定する。なお、画像表示部２０は、図５に示す表示領域ＰＮの内側の範囲に画像を表示させることができる。図５では、便宜上、表示領域ＰＮを示す範囲を破線で表したが、表示領域ＰＮを示す破線は、表示されないため、使用者には視認されない。
マーカーとしてのマーカーＭＫ１の種類が特定されると（図４のステップＳ１６）、マーカー判定部１６５は、マーカーＭＫ１が予め頭部装着型表示装置１００に記憶された作業指示に関連するマーカーであるか否かを判定する（ステップＳ１８）。本実施形態では、予め記憶された作業指示の順序に沿って関連するマーカーが検出された場合に、マーカー判定部１６５は、検出されたマーカーに対応する画像を表示させる。そのため、検出されたマーカーが、作業指示と関連がない場合や、作業指示と関連していても作業指示の順序に則していない場合には、検出されたマーカーを作業指示とは関連しないマーカーであると判定する。また、マーカー判定部１６５は、領域画像ＡＩに複数のマーカーの画像が含まれる場合には、作業指示の順序に沿って関連するマーカーのみを検出する。ステップＳ１８の処理において、マーカーＭＫ１が記憶された作業指示に関連するマーカーではないと判定されると（ステップＳ１８：ＮＯ）、マーカー判定部１６５は、再び、マーカーＭＫ１とは異なるマーカーの画像を検出する（ステップＳ１４）。
ステップＳ１８の処理において、マーカーＭＫ１が作業指示に関連するマーカーであると判定された場合には（ステップＳ１８：ＹＥＳ）、マーカー判定部１６５は、マーカーＭＫ１の形状を特定することで、画像表示部２０と物流センター３００に配置されたマーカーＭＫ１との位置関係を特定する（ステップＳ２０）。次に、マーカー判定部１６５は、特定した位置関係に対応する作業指示の指示画像を画像表示部２０に表示させる（図４のステップＳ２２）。
図８は、出発地点ＳＴにおいて指示画像ＩＭ１が表示された場合の使用者の視野ＶＲを示す説明図である。図８には、マーカーＭＫ１に対応する指示画像ＩＭ１が表示され、出発地点ＳＴにいる使用者が方向ＤＲ１を向いているときに、使用者に視認される視野ＶＲが示されている。この場合に、図７に示す視野ＶＲと異なり、使用者は、指示画像ＩＭ１を視認する。マーカー判定部１６５は、予め記憶されているマーカーＭＫ１の画像データと、撮像されたマーカーＭＫ１の画像と、における外枠の形状を比較する。図５および図８に示すように、マーカーＭＫ１の画像データおよび撮像されたマーカーＭＫ１の画像の外枠は、正方形である。そのため、マーカー判定部１６５は、画像表示部２０のマーカーＭＫ１との位置関係として、カメラ６１の真正面にマーカーＭＫ１が存在すると特定する。また、マーカー判定部１６５は、マーカーＭＫ１の画像データと撮像されたマーカーＭＫ１の画像との大きさを比較することで、画像表示部２０とマーカーＭＫ１との位置関係として、画像表示部２０と物流センター３００に配置されたマーカーＭＫ１との距離を特定する。次に、マーカー判定部１６５は、特定した位置関係に応じて、予め記憶された指示画像ＩＭ１を画像表示部２０に表示させる。出発地点ＳＴにいる使用者が方向ＤＲ１を向いているときには（図６）、マーカー判定部１６５は、指示画像ＩＭ１として、「左に曲がれ」という文字画像と左を向いている矢印とを、マーカーＭＫ１と同じ距離だけ離れた位置に視認されるように表示させる。なお、指示画像ＩＭ１，および，後述する指示画像ＩＭ２，指示画像ＩＭ３は、請求項における特定の画像に相当する。
指示画像ＩＭ１が表示されると（図４のステップＳ２２）、マーカー判定部１６５は、使用者の位置や向きが変更されることにより、検出していたマーカーＭＫ１を検出していない非検出の状態に変化するかを監視する（ステップＳ２４）。引き続き、マーカーＭＫ１が検出されている場合には（ステップＳ２４：ＮＯ）、マーカー判定部１６５は、画像表示部２０と物流センター３００に配置されたマーカーＭＫ１との位置関係が変化した否かを判定する（ステップＳ２６）。例えば、使用者が方向ＤＲ１を向いたままで、出発地点ＳＴよりももっと方向ＤＲ１に沿ってマーカーＭＫ１に近い位置に移動して、画像表示部２０とマーカーＭＫ１との位置関係が変化していると判定される場合には（ステップＳ２６：ＹＥＳ）、マーカー判定部１６５は、画像表示部２０とマーカーＭＫ１との位置関係を特定する（ステップＳ２０）。特定された位置関係として、画像表示部２０とマーカーＭＫ１との距離が所定の値よりも小さくなった場合には、マーカー判定部１６５は、指示画像ＩＭ１の画像を非表示にして、予め記憶された別の指示画像として、新たに「戻れ」の文字画像を表示させる（ステップＳ２２）。マーカー判定部１６５は、新たな文字画像である「戻れ」を表示させることで、使用者に対して、後退を促す。使用者が新たに表示された文字画像に従い、棚ＳＨに向かって物流センター３００内を通行し、マーカーが検出されていた状態から検出されていない状態へと変化した場合には（ステップＳ２４：ＹＥＳ）、マーカー判定部１６５は、指示画像を非表示にする。その後、再度、マーカー判定部１６５は、領域画像ＡＩ内におけるマーカーの検出を監視する（ステップＳ１４）。
次に、ステップＳ１４からステップＳ２４までの処理が繰り返されることによって、図６に示す中継地点ＬＣにいる使用者が方向ＤＲ２を向いている場合について説明する。図９は、中継地点ＬＣにおいて指示画像ＩＭ２が表示された場合の使用者の視野ＶＲを示す説明図である。図９には、マーカーＭＫ２に対応する指示画像ＩＭ２が表示され、中継地点ＬＣにいる使用者が方向ＤＲ２を向いているときに、使用者に視認される視野ＶＲが示されている。指示画像ＩＭ２は、マーカー判定部１６５によって特定された画像表示部２０とマーカーＭＫ２とに応じて表示された指示画像である。図９に示すように、指示画像ＩＭ２は、使用者が取得すべき部品が保管された棚ＳＨを指す矢印の画像と「この棚」という文字画像とによって構成されている。マーカー判定部１６５は、指示画像ＩＭ２を、マーカーＭＫ２と同じ距離だけ離れた位置に視認されるように表示させる。使用者は、指示画像ＩＭ２や指示画像ＩＭ１を含む指示画像によって、物流センター３００の棚ＳＨまで導かれる。
図１０は、棚ＳＨの正面にいる使用者の視野ＶＲを示す説明図である。図１０に示すように、使用者は、棚ＳＨに置かれているケースＣＡに保管された複数のボルトＢＯと、マーカーＭＫ３と、指示画像ＩＭ３と、を視認する。指示画像ＩＭ３は、撮像されたマーカーＭＫ３の画像と予め記憶されたマーカーＭＫ３の画像データとに基づいて特定された画像表示部２０とマーカーＭＫ３との位置関係に応じて表示される画像である。マーカー判定部１６５は、指示画像ＩＭ３として「ボルトを３個取れ」の文字画像を表示させる。マーカー判定部１６５は、指示画像ＩＭ３を、マーカーＭＫ３と同じ距離だけ離れた位置に視認されるように表示させる。
図４のステップＳ２２の処理において、指示画像ＩＭ３が表示され、引き続き、マーカーＭＫ３が検出されている場合には（ステップＳ２４：ＹＥＳ）、マーカー判定部１６５は、画像表示部２０とマーカーＭＫ３との位置関係の変化を監視する（ステップＳ２６）。位置関係が変化しない場合には（ステップＳ２６：ＮＯ）、マーカー判定部１６５は、指示画像ＩＭ３が表示された状態で予め定められた所定の時間の経過を監視する（ステップＳ２８）。所定の時間が経過した場合には（ステップＳ２８：ＹＥＳ）、マーカー判定部１６５は、指示画像ＩＭ３を非表示にする（ステップＳ３０）。本実施形態では、所定の時間が経過した後に、指示画像ＩＭ３を非表示にすることで、使用者がより広い外景ＳＣを視認できるようにする。ステップＳ２８の処理において所定の時間が経過していない場合（ステップＳ２８：ＮＯ）、または、指示画像ＩＭ３が非表示になった場合には（ステップＳ３０）、マーカー判定部１６５は、指示画像表示処理を終了するか否かの判定を行なう（ステップＳ３２）。指示画像表示処理が終了されない場合には（ステップＳ３２：ＮＯ）、ステップＳ２６以降の処理が行なわれる。操作部１３５が指示画像表示処理を終了する所定の操作を受け付ける、または、予め記憶された作業指示が終了した場合には、マーカー判定部１６５は、指示画像表示処理を終了する（ステップＳ３２：ＹＥＳ）。
以上説明したように、本実施形態における頭部装着型表示装置１００では、カメラ６１が外景を撮像して撮像画像を取得し、マーカー判定部１６５は、撮像画像にマーカーが含まれる場合には、検出されたマーカーの種類との画像の形状との組み合わせに対応する画像を画像表示部２０の表示領域ＰＮに表示させる。そのため、本実施形態の頭部装着型表示装置１００では、検出されたマーカーの形状に応じて特定された使用者と検出されたマーカーとの位置関係に対応する画像が表示されるため、使用者は、検出されるマーカーの種類や位置関係に応じて最適な指示画像を視認でき、ピッキング作業等を効率的に行なうことができる。
また、本実施形態における頭部装着型表示装置１００では、マーカー判定部１６５は、マーカーＭＫ１の画像データと検出されたマーカーＭＫ１の画像との大きさを比較することで、画像表示部２０とマーカーＭＫ１との位置関係として、画像表示部２０と物流センター３００に配置されたマーカーＭＫ１との距離を特定する。マーカー判定部１６５は、特定したマーカーの種類とマーカーの画像の大きさとの組み合わせに対応する画像を表示領域ＰＮに表示させる。そのため、本実施形態の頭部装着型表示装置１００では、同じマーカーＭＫ１が撮像された場合でも、特定された距離に応じて複数の画像を使用者に視認させることができ、１つのマーカーでも、使用者との位置関係に適したより多くの情報を使用者に提供できる。
また、本実施形態における頭部装着型表示装置１００では、マーカー判定部１６５は、光学像表示部２６，２８から虚像が結像される位置までの距離を、カメラ６１から撮像されるマーカーまでの距離に同じになるように設定する。そのため、本実施形態の頭部装着型表示装置１００では、使用者が虚像を視認しやすい位置に虚像を結像できるため、表示領域ＰＮに表示される画像を迅速に使用者に認識させることができる。
また、本実施形態における頭部装着型表示装置１００では、予め記憶された作業指示の流れの順序に沿って関連するマーカーが検出された場合に、マーカー判定部１６５は、検出されたマーカーに対応する画像を表示させる。そのため、本実施形態の頭部装着型表示装置１００では、物流センター３００に配置された複数のマーカーの内から、作業指示の順序に沿った関連するマーカーのみが検出されるため、順序が異なるような使用者に誤った作業指示を行なうことを低減し、使用者に効率的な作業を行なわせることができる。
また、本実施形態における頭部装着型表示装置１００では、マーカー判定部１６５は、カメラ６１の撮像画像において領域画像内に対応する範囲に、記憶部１２０に記憶されたマーカーの画像があるか否かを判定する。マーカー判定部１６５は、撮像画像にマーカーの画像が含まれていても、領域画像内にマーカー全体の画像が含まれていない場合には、撮像画像にマーカーの画像が含まれていないと判定する。また、本実施形態における頭部装着型表示装置１００では、マーカー判定部１６５は、所定の時間、領域画像内にマーカーが撮像され続けた場合に、マーカーとして検出し、瞬間的に領域画像内に含まれるマーカーをマーカーとして検出しない。そのため、本実施形態の頭部装着型表示装置１００では、撮像画像にマーカーが含まれるだけでは、対応した画像を表示するマーカーとして検出されないため、頭部装着型表示装置１００の処理の負荷を軽減できる。また、本実施形態の頭部装着型表示装置１００では、使用者が意図しないマーカーの検出が抑制されるため、精度の高い作業指示を使用者に促すことができる。
また、本実施形態における頭部装着型表示装置１００では、マーカー判定部１６５は、撮像範囲における領域画像ＡＩに複数のマーカーの画像が含まれる場合には、予め記憶された作業指示の順序に沿った関連するマーカーのみを検出する。そのため、本実施形態の頭部装着型表示装置１００では、撮像範囲に含まれる複数のマーカーから、予め記憶された作業指示に適したマーカーに対応する画像が自動的に表示されるため、使用者に誤った作業指示を行うことを低減し、使用者に効率的な作業を行なわせることができる。
また、本実施形態における頭部装着型表示装置１００では、マーカーＭＫ１において、正方形の中に形成される画像は、白色の領域と黒色の領域とによって構成されているため、検出されるマーカーＭＫ１が複雑ではなく、マーカーＭＫ１の検出によって対応する画像を表示させる制御を簡便に行なうことができる。また、マーカーＭＫ１が黒色と白色とのみから構成されるため、誤検出の少ない制御が行なわれる。
Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
Ｂ１．変形例１：
上記実施形態では、物流センター３００に配置されたマーカーが使用者の正面に位置して、マーカーの外枠の形状が正方形として検出される場合を例に挙げて説明したが、必ずしも、マーカーが使用者の正面に位置しなくてもよい。例えば、カメラ６１の斜め前方にマーカーが検出され、使用者に向きの変更を促す画像を表示させ、使用者が向きを変えてマーカーの正面に位置した場合に、作業指示の画像が表示されてもよい。また、使用者の正面に位置しないマーカーが検出されない設定であってもよい。
上記実施形態では、図４のステップＳ２５およびステップＳ３２の処理において、検出されたマーカーに対応する指示画像が表示された後に非表示にされたが、必ずしも指示画像が非表示にされる必要はない。例えば、上記実施形態における指示画像表示処理において、作業指示の順序に沿って表示された指示画像が非表示にされるのではなく、表示領域ＰＮの隅に縮小した指示画像が残されていてもよい。この変形例では、既に表示された指示画像を常に使用者に視認させることができ、使用者が行なう作業指示における誤りを少なくできる。また、指示画像を非表示にする際に、あと何秒で画像が非表示になるのかを示すカウントダウンの数字を合わせて表示させてもよい。また、指示画像の表示と非表示との切替や、表示された指示画像が非表示になるまでの時間が使用者によって設定されてもよい。
上記実施形態では、画像表示部２０から虚像が結像される位置までの距離がカメラ６１から検出されるマーカーまでの距離と同じになるように設定されたが、画像表示部２０から虚像が結像される位置までの距離の設定については、種々変形可能である。例えば、検出されるマーカーにかかわらず、マーカーに対応する虚像が結像される位置が画像表示部２０から無限遠の位置に設定されてもよい。また、マーカーに対応する虚像が結像される位置は、使用者が操作部１３５を操作することによって自由に設定されてもよい。また、カメラ６１とは異なるカメラによって使用者の視線方向が撮像されて、視線方向に基づいて特定された使用者の視線の輻輳角に基づいて、マーカーに対応する虚像が結像される位置が設定されてもよい。また、検出されたマーカーの種類とマーカーの画像の外枠の形状によって、画像表示部２０と使用者との距離が特定されずに、マーカーと使用者の視線方向との向きに関する位置関係のみが特定されて、検出されたマーカーに対応する画像が表示されてもよい。画像表示部２０からマーカーまでの距離や、マーカーと使用者の視線方向との向きに関する位置関係の設定が使用者によって設定されてもよい。
上記実施形態では、作業指示の順序に沿っていないマーカーが検出された場合には、検出されたマーカーに対応する画像は表示されなかったが、マーカーに対応する画像の表示と非表示との設定については、種々変形可能である。例えば、作業指示に関連するマーカーと関連しないマーカーとが区別されておらず、予め記憶された作業指示の内容にかかわらず、検出されたマーカーに対応する画像が表示されてもよい。この変形例では、予め作業指示が記憶部１２０に記憶されていなくても、使用者にマーカーに対応する画像を視認させることができる。また、指示画像表示処理において、マーカー判定部１６５によって作業指示に関連するマーカーであるか否かの判定が行なわれなくてもよいため、頭部装着型表示装置１００の処理の負荷を軽減できる。また、対応する画像が表示されるマーカーは、作業指示の順序以外の条件によって設定されてもよい。例えば、検出されるマーカーとして、予め料金を支払った頭部装着型表示装置１００の使用者のみに対応する画像を表示させるマーカーであってもよい。
また、上記実施形態では、マーカーに対応する画像が表示されることによって、使用者の作業指示が行なわれる物流センター３００を例に挙げて説明したが、マーカーを用いた画像を表示するシステムは、これに限られず、種々変形可能である。例えば、博物館において、絵画や彫刻を閲覧するための順路が予め定められており、通路に配置されたマーカーが検出されることで、使用者の順路が示されてもよい。また、これらのシステムは、博物館ではなく、遊園地といったレジャー施設やショッピングモールにおいて、用いられてもよい。
上記実施形態では、マーカーの画像に対応して表示領域ＰＮに表示される作業指示の画像として、マーカーＭＫ１に対応する指示画像ＩＭ１の「左に曲がれ」や「戻れ」などを例に挙げて説明したが、撮像されたマーカーの画像に対応する画像については、種々変形可能である。例えば、博物館の順路におけるＴ字路に配置され、右への順路を頭部装着型表示装置１００の使用者に促すマーカーの画像が撮像されたときに、マーカーの画像が検出される検出範囲におけるマーカーの画像の位置とマーカーの画像の外枠の形状とによって、画像表示最大領域ＰＮに表示される画像が異なっていてもよい。この場合に、検出範囲においてマーカーの画像が右側に検出され、正方形の外枠のマーカーの画像の外枠が台形の画像で検出された場合には、使用者がＴ字路を左折して進もうとしているため、マーカーの画像に対応する文字画像として「逆です」が表示領域ＰＮに表示されてもよい。また、逆に、検出範囲においてマーカーの画像が左側に検出され、マーカーの画像の外枠が台形の画像で検出された場合には、使用者が右折して進もうとしているため、文字画像として「その順路で合っています」が表示領域ＰＮに表示されてもよい。
Ｂ２．変形例２：
上記実施形態では、領域画像ＡＩにマーカー全体の画像が含まれる場合に、マーカーが検出されたが、マーカーの検出の方法については、種々変形可能である。例えば、領域画像ＡＩが表示されずに、カメラ６１によって撮像された撮像画像に含まれているマーカーが検出されてもよい。また、撮像画像にマーカーが含まれた後に、領域画像ＡＩが表示されてもよい。また、領域画像ＡＩ内の範囲の形状は、使用者によって設定されてもよい。
また、マーカー判定部１６５は、撮像画像に複数のマーカーが含まれている場合に、マーカーの画像の外枠の大きさが最大のマーカーを検出して、最大のマーカーに対応する画像を表示し、その他のマーカーに対応する画像を表示しない態様であってもよい。この変形例では、複数のマーカーの内から最大のマーカーの画像を自動的に検出するため、使用者に最も近いマーカーを自動的に検出でき、使用者の利便性を向上させることができる。
図１１ないし図１３は、変形例におけるマーカーの一例を示す説明図である。図１１には、マーカーとして検出されるバーコードの一例が示されている。図１２には、マーカーとして検出されるＱＲコード（登録商標）の一例が示されている。図１３には、マーカーとして検出されるＩＤマーカーの一例が示されている。マーカー判定部１６５は、図１１ないし図１３に示されたマーカーを検出してもよいし、また、物流センターごとに独自に作成されたマーカーを検出してもよい。
また、上記実施形態では、マーカーＭＫ１は、正方形の中に白色の領域と黒色の領域とで構成される画像としたが、マーカーについては、これに限られず、種々変形可能である。例えば、マーカーの外枠は、長方形や円であってもよい。また、マーカーとして、白色と黒色以外の色（例えば、赤）などが用いられてもよい。この変形例では、白色と黒色以外の色が用いられたマーカーが作成されるため、白色と黒色のみで構成されるマーカーと比較して、小さいマーカーであっても、より多くの情報を使用者に提供できる。
Ｂ３．変形例３：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に形成されたが、カメラ６１が画像表示部２０とは別体に形成され、外景を撮像できてもよい。
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置１００に対して本発明を適用することも可能である。
また、例えば、頭部装着型表示装置１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、頭部装着型表示装置１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。
また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。
Ｂ４．変形例４：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。
図１４は、変形例における頭部装着型表示装置の外観構成を示す説明図である。図１４（Ａ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点とである。右光学像表示部２６ａは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者の左眼の斜め上に配置されている。図１４（Ｂ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点とである。右光学像表示部２６ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様の頭部装着型表示装置１００として実現できる。
また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（撮像部）
１００…頭部装着型表示装置
１２０…記憶部
１３０…電源
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…マーカー判定部（制御部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…物流センター
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
ＩＬ…照明光
ＰＬ…画像光
ＡＰ…先端部
ＥＬ…端部
ＥＲ…端部
ＲＥ…右眼
ＬＥ…左眼
ＯＡ…外部機器
ＶＲ…視野
ＳＣ…外景
ＳＴ…出発地点
ＬＣ…中継地点
ＳＨ…棚
ＡＩ…領域画像（領域虚像）
ＰＮ…表示領域
ＣＡ…ケース
ＢＯ…ボルト
ＭＫ１，ＭＫ２，ＭＫ３，ＭＫ２０，ＭＫ３０，ＭＫ４０…マーカー（特定の印）
ＩＭ１，ＩＭ２，ＩＭ３…指示画像（特定の虚像）
ＤＲ１，ＤＲ２…方向

Claims (13)

  1. 頭部装着型表示装置であって、
    使用者の頭部に装着された状態において、画像データに基づいて画像光を虚像として使用者に視認させると共に外景を使用者に視認させる画像表示部と、
    前記外景を撮像する撮像部と、
    撮像された撮像画像に特定の印の画像である印画像が含まれる場合に、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられた特定の前記虚像を、前記画像表示部を用いて使用者に視認させる制御部と、を備え、
    前記特定の虚像は、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられており、
    前記制御部は、
    第１の所定の時間、前記印画像が前記撮像画像内に撮像され続けた場合に、前記特定の虚像を、前記画像表示部を用いて使用者に視認させ、
    前記画像表示部を用いて使用者に前記特定の虚像を視認させることを開始した後に、前記画像表示部と前記印画像との位置関係が変化しない場合には、前記開始した時点から第２の所定の時間が経過した場合に、使用者に前記特定の虚像を視認させることを終了する、頭部装着型表示装置。
  2. 請求項１に記載の頭部装着型表示装置であって、
    前記特定の虚像は、前記印画像の種類と、前記印画像の形状としての前記印画像の大きさと、の組み合わせに対応付けられている、頭部装着型表示装置。
  3. 請求項２に記載の頭部装着型表示装置であって、
    前記制御部は、前記画像表示部から前記特定の虚像が結像される位置までの距離が前記印画像の種類と前記印画像の大きさとの組み合わせに基づいて特定される前記画像表示部から前記特定の印までの距離と同じになるように設定する、頭部装着型表示装置。
  4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
    前記特定の虚像は、複数の前記撮像画像ごとに含まれる１つの前記印画像が撮像された順番と前記印画像の種類と前記印画像の形状との組み合わせに対応付けられている、頭部装着型表示装置。
  5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
    前記制御部は、前記撮像画像における所定の領域に対応する領域虚像を、前記画像表示部を用いて使用者に視認させ、前記所定の領域に含まれる前記印画像の前記組み合わせに対応付けられた前記特定の虚像を、前記画像表示部を用いて使用者に視認させる、頭部装着型表示装置。
  6. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
    前記制御部は、前記撮像画像に複数の前記印画像が含まれる場合に、複数の前記印画像の内で大きさが最大の前記印画像の前記組み合わせに対応付けられた前記特定の虚像を、前記画像表示部を用いて使用者に視認させる、頭部装着型表示装置。
  7. 請求項１から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、
    前記制御部は、前記撮像画像に複数の前記印画像が含まれる場合に、前記特定の印に設定された優先度に基づいて選択された１つの前記印画像の前記組み合わせに対応付けられた前記特定の虚像を、前記画像表示部を用いて使用者に視認させる、頭部装着型表示装置。
  8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
    前記特定の印は、形状と色との組み合わせによって構成される、頭部装着型表示装置。
  9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
    前記特定の印は、正方形の外枠の内部が白色と黒色とに色分けされている複数の領域で構成される２次元の印である、頭部装着型表示装置。
  10. 請求項１から請求項９までのいずれか一項に記載の頭部装着型表示装置であって、
    前記制御部は、前記虚像を視認させることを終了するまでの時間を表す数字を、前記画像表示部を用いて使用者に視認させる、頭部装着型表示装置。
  11. 請求項１から請求項１０までのいずれか一項に記載の頭部装着型表示装置であって、
    前記制御部は、
    前記画像表示部と前記印画像との距離が所定の値よりも小さくなった場合に、前記印画像に対応付けられた前記特定の虚像を使用者に視認させることを終了し、予め定められた別の虚像を、前記画像表示部を用いて使用者に視認させ、
    前記別の虚像は、使用者に後退を促すための文字画像である、頭部装着型表示装置。
  12. 画像表示システムであって、
    複数の特定の印と、
    使用者の頭部に装着された状態において、画像データに基づいて画像光を虚像として使用者に視認させると共に外景を使用者に視認させる画像表示部と、
    前記外景を撮像する撮像部と、
    撮像された撮像画像に前記特定の印である印画像が含まれる場合に、前記特定の印の種類と撮像された前記特定の印の画像の形状とに基づいて決定される前記虚像を、前記画像表示部を用いて使用者に視認させる制御部と、を備え、
    前記特定の虚像は、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられており、
    前記制御部は、
    第１の所定の時間、前記印画像が前記撮像画像内に撮像され続けた場合に、前記特定の虚像を、前記画像表示部を用いて使用者に視認させ、
    前記画像表示部を用いて使用者に前記特定の虚像を視認させることを開始した後に、前記画像表示部と前記印画像との位置関係が変化しない場合には、前記開始した時点から第２の所定の時間が経過した場合に、使用者に前記特定の虚像を視認させることを終了する、画像表示システム。
  13. 使用者の頭部に装着された状態において、画像データに基づいて画像光を虚像として使用者に視認させると共に外景を使用者に視認させる画像表示部と、前記外景を撮像する撮像部と、を備える、頭部装着型表示装置の制御方法であって、
    撮像された撮像画像に特定の印の画像である印画像が含まれる場合に、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられた特定の前記虚像を、前記画像表示部を用いて使用者に視認させる工程を備え、
    前記特定の虚像は、前記印画像の種類と前記印画像の形状との組み合わせに対応付けられており、
    前記視認させる工程は、
    第１の所定の時間、前記印画像が前記撮像画像内に撮像され続けた場合に、前記特定の虚像を、前記画像表示部を用いて使用者に視認させる工程と、
    前記画像表示部を用いて使用者に前記特定の虚像を視認させることを開始した後に、前記画像表示部と前記印画像との位置関係が変化しない場合には、前記開始した時点から第２の所定の時間が経過した場合に、使用者に前記特定の虚像を視認させることを終了する工程とを含む、制御方法。
JP2013269065A 2013-12-26 2013-12-26 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法 Active JP6393986B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013269065A JP6393986B2 (ja) 2013-12-26 2013-12-26 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
US14/564,635 US9805262B2 (en) 2013-12-26 2014-12-09 Head mounted display device, image display system, and method of controlling head mounted display device
CN201410820769.8A CN104749778B (zh) 2013-12-26 2014-12-24 图像显示系统、头部佩戴型显示装置及其控制方法
US15/718,744 US10445579B2 (en) 2013-12-26 2017-09-28 Head mounted display device, image display system, and method of controlling head mounted display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013269065A JP6393986B2 (ja) 2013-12-26 2013-12-26 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法

Publications (2)

Publication Number Publication Date
JP2015126352A JP2015126352A (ja) 2015-07-06
JP6393986B2 true JP6393986B2 (ja) 2018-09-26

Family

ID=53482155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013269065A Active JP6393986B2 (ja) 2013-12-26 2013-12-26 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法

Country Status (3)

Country Link
US (2) US9805262B2 (ja)
JP (1) JP6393986B2 (ja)
CN (1) CN104749778B (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6299234B2 (ja) * 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
US9659411B2 (en) 2015-01-14 2017-05-23 Oculus Vr, Llc Passive locators for a virtual reality headset
EP3335418A1 (en) * 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
US20170076428A1 (en) * 2015-09-14 2017-03-16 Canon Kabushiki Kaisha Information processing apparatus
CN106918908B (zh) * 2015-12-25 2020-09-18 深圳市酷浪云计算有限公司 一种智能作业指导眼镜
WO2017148532A1 (de) * 2016-03-04 2017-09-08 Ubimax Gmbh Verfahren zur technischen unterstützung eines manuellen kommissioniervorgangs
JP2017183829A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
JP6696331B2 (ja) * 2016-07-06 2020-05-20 富士ゼロックス株式会社 情報処理装置、画像形成システムおよびプログラム
US10339497B2 (en) * 2016-07-21 2019-07-02 Ebay Inc. System and method for dynamic inventory management
JP7098870B2 (ja) * 2016-07-25 2022-07-12 富士フイルムビジネスイノベーション株式会社 測色システム、画像生成装置、および、プログラム
CN107944781A (zh) * 2016-10-12 2018-04-20 菜鸟智能物流控股有限公司 提供存放对象提示信息的方法及装置
EP3370367A1 (en) 2017-03-03 2018-09-05 Iristick nv System comprising a headset and a communication unit
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
WO2019236344A1 (en) * 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
CN109035853A (zh) * 2018-08-16 2018-12-18 安徽超清科技股份有限公司 基于视频结构化的城市泊车诱导系统
CN111200725B (zh) * 2018-11-19 2023-09-26 中强光电股份有限公司 投影机及投影机开机方法
CN109449169B (zh) * 2018-12-06 2021-04-13 京东方科技集团股份有限公司 阵列基板及其制造方法、显示装置
CN110764264B (zh) * 2019-11-07 2022-02-15 中勍科技有限公司 一种ar智能眼镜
USD959447S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959477S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959476S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
US11205296B2 (en) * 2019-12-20 2021-12-21 Sap Se 3D data exploration using interactive cuboids
US11374808B2 (en) * 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5334145B2 (ja) 1975-03-07 1978-09-19
JP3324945B2 (ja) 1996-11-15 2002-09-17 日本輸送機株式会社 ピッキング作業方法
JP2939230B1 (ja) * 1998-03-05 1999-08-25 株式会社ナムコ 画像生成装置及び情報記憶媒体
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
SE525826C2 (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
WO2006062204A1 (ja) * 2004-12-10 2006-06-15 Nissan Motor Co., Ltd. バイポーラ電池
JP2007093694A (ja) * 2005-09-27 2007-04-12 Yokogawa Electric Corp ヘッド・マウント・ディスプレイ装置
US7400517B2 (en) * 2006-07-03 2008-07-15 Semiconductor Components Industries, L.L.C. Power factor correction circuit and method therefor
JP5225561B2 (ja) 2006-07-03 2013-07-03 生活協同組合コープさっぽろ 商品関連情報提供システム、及び商品関連情報提供方法
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5156571B2 (ja) 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
WO2010050301A1 (ja) * 2008-10-27 2010-05-06 コニカミノルタオプト株式会社 映像表示システム
US20110187731A1 (en) * 2009-07-10 2011-08-04 Yasuhiro Tsuchida Marker display control device, integrated circuit, and marker display control method
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP5329480B2 (ja) * 2010-05-18 2013-10-30 富士フイルム株式会社 ヘッドマウントディスプレイ装置
EP2393056A1 (en) * 2010-06-02 2011-12-07 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interests
WO2011155118A1 (ja) * 2010-06-07 2011-12-15 パナソニック株式会社 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法
JP5149939B2 (ja) * 2010-06-15 2013-02-20 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP5597837B2 (ja) * 2010-09-08 2014-10-01 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及び、画像生成装置
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
US20120223968A1 (en) * 2010-10-12 2012-09-06 Kazutoshi Kashimoto Display processing device, display method, and program
US8670183B2 (en) * 2011-03-07 2014-03-11 Microsoft Corporation Augmented view of advertisements
JP5331146B2 (ja) * 2011-03-22 2013-10-30 株式会社東芝 単眼ヘッドマウントディスプレイ
US8581738B2 (en) * 2011-08-25 2013-11-12 Sartorius Stedim Biotech Gmbh Assembling method, monitoring method, and augmented reality system used for indicating correct connection of parts
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
JP2013120992A (ja) * 2011-12-06 2013-06-17 Sharp Corp ３次元ディスプレイ装置、テレビジョン装置及び３次元ディスプレイ装置の制御方法
JP5971700B2 (ja) * 2012-05-17 2016-08-17 アルパイン株式会社 表示装置
JP5334145B1 (ja) 2012-06-29 2013-11-06 トーヨーカネツソリューションズ株式会社 物品のピッキング作業の支援システム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking

Also Published As

Publication number Publication date
US20180018521A1 (en) 2018-01-18
CN104749778B (zh) 2019-07-26
US20150186728A1 (en) 2015-07-02
US10445579B2 (en) 2019-10-15
CN104749778A (zh) 2015-07-01
JP2015126352A (ja) 2015-07-06
US9805262B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
JP6393986B2 (ja) 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
JP6232763B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6066037B2 (ja) 頭部装着型表示装置
JP6375591B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
KR101791494B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US20150168729A1 (en) Head mounted display device
JP5834439B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6155622B2 (ja) 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
US9792710B2 (en) Display device, and method of controlling display device
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160021360A1 (en) Display device, method of controlling display device, and program
JP6268778B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6337534B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6135162B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20150168728A1 (en) Head mounted display device
JP6428024B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2015087523A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6375662B2 (ja) 頭部装着型表示装置
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
JP6004053B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016031373A (ja) 表示装置、表示方法、表示システム、及び、プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180813

R150 Certificate of patent or registration of utility model

Ref document number: 6393986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150