JP2016142887A - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Download PDF

Info

Publication number
JP2016142887A
JP2016142887A JP2015018090A JP2015018090A JP2016142887A JP 2016142887 A JP2016142887 A JP 2016142887A JP 2015018090 A JP2015018090 A JP 2015018090A JP 2015018090 A JP2015018090 A JP 2015018090A JP 2016142887 A JP2016142887 A JP 2016142887A
Authority
JP
Japan
Prior art keywords
image
color
unit
head
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015018090A
Other languages
English (en)
Inventor
明生 山▲崎▼
Akio Yamazaki
明生 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015018090A priority Critical patent/JP2016142887A/ja
Priority to US15/007,705 priority patent/US9870048B2/en
Publication of JP2016142887A publication Critical patent/JP2016142887A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)

Abstract

【課題】ＡＲ画像が外界の色に埋没してしまい、使用者にとってＡＲ画像が見えにくくなることを抑制する。
【解決手段】外界を透過視認可能な表示部を備えた頭部装着型表示装置である。この頭部装着型表示装置は、表示部に、透過して視認される外界に重ね合わせて所定の画像を表示させる重畳画像表示制御部と、前記透過して視認される外界のうちの所定範囲を少なくとも撮像する撮像部と、撮像部によって得られた撮像画像から、前記所定の画像と位置が対応する所定範囲の部分画像を特定する部分画像特定部と、前記特定された部分画像についての色情報に応じて、重畳画像表示制御部によって表示される所定の画像の見え方を補正する視認性補正部と、を備える。
【選択図】図５

Description

本発明は、外界を透過視認可能な表示部を備えた頭部装着型表示装置およびその制御方法、並びにコンピュータープログラムに関する。
近年、現実空間の物体に対してコンピューターによる情報を付加する拡張現実（ＡＲ、Augmented Reality）と呼ばれる技術が注目されている。拡張現実を実現する手法の一つとして、外界を透過視認可能なシースルー型の頭部装着型表示装置がある。シースルー型の頭部装着型表示装置によれば、液晶パネル等の光変調素子によって生成された画像光を、使用者の眼前に配置した光学系等で反射させることによって、透過して視認される外界に、拡張現実としての画像を浮かび上がらせることができる（例えば、特許文献１）。
特開２０１３−１８６６４１号公報
しかしながら、前記従来の技術では、透過して視認される外界の色と、拡張現実としての画像（以下、「ＡＲ画像」と呼ぶ）の色とが似通っている場合に、ＡＲ画像が外界の色に埋没してしまい、使用者にとってＡＲ画像が見えにくいという問題が発生した。そのほか、従来の頭部装着型表示装置においては、使用者の利便性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
（１）本発明の一形態は、外界を透過視認可能な表示部を備えた頭部装着型表示装置である。この頭部装着型表示装置は、前記表示部に、透過して視認される外界に重ね合わせて所定の画像を表示させる重畳画像表示制御部と、前記透過して視認される外界のうちの所定範囲を少なくとも撮像する撮像部と、前記撮像部によって得られた撮像画像から、前記所定の画像と位置が対応する所定範囲の部分画像を特定する部分画像特定部と、前記特定された部分画像についての色情報に応じて、前記重畳画像表示制御部によって表示される所定の画像の見え方を補正する視認性補正部と、を備える。この形態の頭部装着型表示装置によれば、透過して視認される外界に重ね合わせて所定の画像を表示させる際に、所定の画像と位置が対応する所定範囲の外界の色に基づいて、所定の画像の見え方が補正される。このために、所定の画像が外界の色に埋没して、使用者にとって見えにくくなることを抑制できる。
（２）前記形態の頭部装着型表示装置において、前記部分画像として特定する所定範囲は、前記所定の画像と位置が重なり合う領域のうちの少なくとも一部分であってもよい。この形態の頭部装着型表示装置によれば、所定の画像と位置が重なり合う領域のうちの少なくとも一部分の色に基づいて、所定の画像の見え方が補正される。このために、使用者にとって所定の画像が見えにくくなることを、より抑制できる。
（３）前記形態の頭部装着型表示装置において、前記視認性補正部は、前記部分画像についての色と前記所定の画像の表示色との間の色差が、所定値未満であるか否かを判定する判定部と、前記判定部によって前記色差が所定値未満であると判定されたときに、前記所定の画像の見え方を補正してもよい。この形態の頭部装着型表示装置によれば、所定の画像が、所定範囲の色と色差が小さい場合に、所定の画像を見えやすくすることできる。
（４）前記形態の頭部装着型表示装置において、前記所定の画像の見え方の補正として、前記所定の画像の表示色を補正してもよい。この形態の頭部装着型表示装置によれば、所定の画像の表示色を、所定範囲の色とかけ離れた色に補正することが可能となる。このために、使用者にとって所定の画像が見えにくくなることを、より抑制できる。
（５）前記形態の頭部装着型表示装置において、前記所定の画像の表示色を補正することとして、前記部分画像についての色と補色の関係にある色への変更を行うようにしてもよい。この形態の頭部装着型表示装置によれば、補色とすることで所定の画像の表示色と所定範囲の色とを容易に目立たせことが可能となる。このために、使用者にとって所定の画像が見えにくくなることを、より抑制できる。
（６）前記形態の頭部装着型表示装置において、前記部分画像についての色と前記所定の画像の表示色とが共に、彩度が所定値未満である低彩度である場合に、前記表示色を、白色および黒色のうちの見やすい色に変更してもよい。この形態の頭部装着型表示装置によれば、所定の画像の表示色と所定範囲の色とが共に低彩度である場合にも、所定の画像を見やすくすることができる。このために、使用者にとって所定の画像が見えにくくなることを、より抑制できる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、表示部と、重畳画像表示制御部と、撮像部と、部分画像特定部と、視認性補正部と、の５つの要素の内の一つ以上の要素を備えた装置として実現可能である。すなわち、この装置は、表示部を有していてもよく、有していなくてもよい。また、装置は、重畳画像表示制御部を有していてもよく、有していなくてもよい。また、装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、部分画像特定部を有していてもよく、有していなくてもよい。また、装置は、視認性補正部表示部を有していてもよく、有していなくてもよい。表示部は、例えば、外界を透過視認可能なものとしてもよい。重畳画像表示制御部は、例えば、表示部に、透過して視認される外界に重ね合わせて所定の画像を表示させるようにしてもよい。撮像部は、例えば、撮像部によって得られた撮像画像から、所定の画像と位置が対応する所定範囲の部分画像を特定してもよい。部分画像特定部は、例えば、撮像部によって得られた撮像画像から、前記所定の画像と位置が対応する所定範囲の部分画像を特定してもよい。視認性補正部は、例えば、特定された部分画像についての色情報に応じて、重畳画像表示制御部によって表示される所定の画像の見え方を補正してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、使用者の利便性の向上や、検出精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置の制御方法、表示装置の制御方法、頭部装着型表示システム、表示システム、頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現できる。
本発明の第１実施形態における頭部装着型表示装置（ＨＭＤ）の概略構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 ＨＭＤによる拡張現実表示の一例を示す説明図である。 ＨＭＤによる拡張現実表示の他の例を示す説明図である。 拡張現実表示制御処理を示すフローチャートである。 色分類テーブルを示す説明図である。 第２実施形態における拡張現実表示制御処理を示すフローチャートである。 変形例１を示す説明図である。 その他の変形例におけるＨＭＤの外観の構成を示す説明図である。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の基本構成：
図１は、本発明の第１実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型の頭部装着型表示装置である。
ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を区別せず「保持部」として説明する。同様に、右表示駆動部２２および左表示駆動部２４を区別せず「表示駆動部」として説明し、右光学像表示部２６および左光学像表示部２８を区別せず「光学像表示部」として説明する。
表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６と反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。
図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。
電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部１３２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、ｉＢｅａｃｏｎ（登録商標）といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、自身の現在位置を検出する。
ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、表示制御部１６２、重畳画像表示制御部１６４、部分画像特定部１６６、視認性補正部１６８、および音声処理部１７０として機能する。
画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデータの画像データＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。
一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データＤａｔａに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データＤａｔａ１」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部１６２は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１６２は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１６２は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。同様に、表示制御部１６２は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。
重畳画像表示制御部１６４は、光学像表示部２６、２８を透過して視認される外界の位置に対応づけて拡張現実としての画像を表示させる。重畳画像表示制御部１６４は、部分画像特定部１６６および視認性補正部１６８と協調して、本発明を実現する。重畳画像表示制御部１６４、部分画像特定部１６６、および視認性補正部１６８の構成については、後ほど詳述する。
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１（図１も参照）と、９軸センサー６６と、を備えている。
カメラ６１は、ＲＧＢカメラであり、使用者が画像表示部２０を装着した際の使用者の鼻根部に対応する位置に配置されている。そのため、カメラ６１は、ＨＭＤ１００の所定の向き、すなわち、使用者が画像表示部２０を頭部に装着した状態において使用者が向いている方向の外界をカラー撮像する。なお、カメラ６１は、ＲＧＢカメラに換えて、白黒カメラとすることができる。
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーであり、本実施形態では使用者の眉間に対応する位置に配置されている。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。
右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、ＨＭＤ１００が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右ＬＣＤ２４１と同様に、左ＬＣＤ２４２は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左ＬＣＤ２４２を透過する光の透過率を変化させることにより、左バックライト２２２から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
Ａ−２．拡張現実表示について：
図３は、ＨＭＤ１００による拡張現実表示の一例を示す説明図である。図３では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実（ＡＲ）としての画像ＶＩを視認する。図３の例では、画像ＶＩは、ＨＭＤ１００のＯＳの待ち受け画面である。また、光学像表示部２６、２８が外界ＳＣからの光を透過することで、使用者は外界ＳＣを視認する。このように、本実施形態のＨＭＤの使用者は、視界ＶＲのうち画像ＶＩが表示された部分については、画像ＶＩと、画像ＶＩの背後に外界ＳＣと、を見ることができる。また、視界ＶＲ１のうち画像ＶＩが表示されていない部分については、外界ＳＣだけを見ることができる。
図４は、ＨＭＤ１００による拡張現実表示の他の例を示す説明図である。図示は、図３と同様に、使用者の視界ＶＲを例示するものである。視認される外界には、五重塔Ｐ１と、森林Ｐ２とが含まれる。使用者は、この外界に重ね合わせて、五重塔Ｐ１についての説明文（例えば、名称）Ａ１を拡張現実として視認することができる。例えば、観光案内のアプリケーションを駆動させた状態で、五重塔Ｐ１を見学している最中に、観光案内のアプリケーションから説明文Ａ１の提示を受けることができる。
説明文Ａ１の表示位置は、透過して視認される外界の対象物である五重塔Ｐ１の位置に対応づけられる。制御部１０は、カメラ６１の撮像画像から外界を認識する。このため、外界の位置と、画像表示部２０における表示位置との間で高精度の位置合わせが必要となる。本実施形態では、次の方法で位置合わせを行っている。ＣＰＵ１４０が、画像表示部２０にキャリブレーション用画像を表示させながら、キャリブレーション用画像に対応した参照実物体を、カメラ６１を介して認識し、追跡する。この状態で、使用者が、ユーザーインターフェイス（トラックパッド１４等）を介してキャリブレーション用画像の位置を画像表示部２０上で移動させる。そして、使用者が、画像表示部２０を介して、キャリブレーション用画像と参照実物体とが重なる（位置、大きさ、向きの少なくとも１つがほぼ一致する）ように知覚したタイミングにて、ユーザーインターフェイスを介してＣＰＵ１４０へ通知する。ＣＰＵ１４０は、取得した通知に応じて、当該タイミングでの参照実物体の検出結果（撮像画像における位置等）および画像表示部２０上でのキャリブレーション用画像の表示位置に対応したパラメーターを取得し、当該パラメーターに基づいて位置あわせを行う。
図４の例示では、説明文Ｐ１は、五重塔Ｐ１に対応づけられており、森林Ｐ２に重ね合わされて表示されている。説明文Ｐ１の文字色は、規定色、例えば黒色であるが、黒色である場合に、説明文Ｐ１は、森林Ｐ２の深緑の色に埋没されてしまう。この結果、既定色のままでは、使用者にとって、説明文Ｐ１は見え方の悪いものであった。このため、本実施形態では、制御部１０は、説明文Ｐ１の文字色を変更することで、説明文Ｐ１の見え方を補正することを行なっている。この色の変更は、重畳画像表示制御部１６４、部分画像特定部１６６、および視認性補正部１６８が協働して実現される。各部１６４〜１６８は、記憶部１２０に記憶されている所定のプログラムをＣＰＵ１４０が実行することで、機能的に実現される。所定のプログラムの詳細について、以下に説明する。
図５は、拡張現実表示制御処理を示すフローチャートである。この拡張現実表示制御処理は、上記所定のプログラムに対応するもので、拡張現実としての画像（ＡＲ画像）を表示する要求があったときに、ＣＰＵ１４０によって実行される。処理が開始されると、ＣＰＵ１４０は、まず、他のアプリケーションから送られてくるＡＲ画像を表示するための表示情報を取得する（ステップＳ１１０）。表示情報としては、ＡＲ画像の内容（文字、記号、図形、写真や絵等）、表示サイズ、表示色、表示位置等を含む。本実施形態では、ＡＲ画像の内容は、文字列を構成する文字のデータである。表示色は、ＲＧＢによって規定されるデータである。本実施形態では、表示色は文字色である。表示位置は、光学像表示部２６、２８を透過して見た二次元空間における二次元位置座標によって、表示領域を規定するデータである。本実施形態では、表示領域は矩形とし、矩形の対角の頂点を示す二次元位置座標によって表示位置が規定される。そして、矩形で定まる範囲のうち、文字以外の部分は、視覚的に透明な部分として定義されている。また、本実施形態では、文字列に亘って共通の表示色が割り当てられているが、文字ごとに文字色が異なってもよい。
次いで、ＣＰＵ１４０は、カメラ６１からＲＧＢ画像を取得する（ステップＳ１２０）。続いて、取得したＲＧＢ画像から、ステップＳ１１０によって取得された表示位置に対応する範囲の部分画像を特定する（ステップＳ１３０）。カメラ６１は、前述したように、画像表示部２０を装着した使用者が視認している外界を撮像するものであることから、ステップＳ１２０によって特定される部分画像は、視認される外界においてＡＲ画像と位置が重なり合う領域の全体を表すものとなる。本実施形態では、ＡＲ画像の表示位置は前述したように矩形であり、この矩形の全体が部分画像として特定される。図４の例示では、破線で記述した範囲が部分画像として特定される。
続いて、ＣＰＵ１４０は、ステップＳ１３０によって特定された部分画像の平均色を算出する（ステップＳ１４０）。平均色は、部分画像を構成する画素毎のＲＧＢ値の平均値である。ＲＧＢ値の平均値は、ＲＧＢそれぞれの平均値である。
続いて、ＣＰＵ１４０は、ステップＳ１１０によって取得したＡＲ画像の表示色と、ステップＳ１４０によって算出した部分画像の平均色と間の色差を算出する（ステップＳ１５０）。本実施形態では、ＡＲ画像の表示色であるＲＧＢ値と、部分画像の平均色であるＲＧＢ値を、Ｌ＊ａ＊ｂ＊表色系のＬ＊ａ＊ｂ＊値にそれぞれ変換した上で、両者の間の色差であるΔＥ＊ａｂを求める。上記Ｌ＊ａ＊ｂ＊値への変換方法、および色差ΔＥ＊ａｂを求める方法については、周知の構成であることから，詳しい説明は省略する。
本実施形態では、色差を求めるために、ＲＧＢ値をＬ＊ａ＊ｂ＊値に変換した上で、色差であるΔＥ＊ａｂを求めるようにしたが、これに換えて、ＲＧＢ値をＬ＊Ｃ＊ｈ＊値に変換した上で色差を求めるようにしてもよい。要は、ＡＲ画像の表示色値と部分画像の平均色との間の色差を求めることができれば、いずれの構成に換えることもできる。
続いて、ＣＰＵ１４０は、ステップＳ１１０によって算出した色差ΔＥ＊ａｂが所定値未満であるか否かを判定する（ステップＳ１６０）。所定値は、人が２つの色を見たときに、両者の判別が容易でないと認識する閾値に相当し、本実施形態では、予め実験によって求めた値である。
ステップＳ１６０で、色差ΔＥ＊ａｂが所定値未満であると判定された場合には、ＣＰＵ１４０は、ステップＳ１１０によって取得したＡＲ画像の表示色と、ステップＳ１４０によって算出した部分画像の平均色とが共に、低彩度か否かを判定する（ステップＳ１７０）。Ｌ＊ａ＊ｂ＊表色系においては、彩度はａ＊値とｂ＊値とによって示されることから、ａ＊値とｂ＊値とを用いることで、彩度が所定値未満である低彩度であるか否かの判定が可能となる。低彩度は、グレーに近い色であり、判定の閾値である所定値は、予め実験によって求めた値である。
ステップＳ１７０で、ＡＲ画像の表示色、部分画像の平均色ともに低彩度であるということがない、すなわち、ＡＲ画像の表示色と部分画像の平均色との内の少なくとも一方が低彩度でないと判定されたときには、ＡＲ画像の表示色を補色に変更する（ステップＳ１８０）。「補色」とは、色相環で正反対に位置する関係の色の組合せであり、互いの色を最も目立たせることが可能となる。このため、ＡＲ画像の表示色を補色に変更することで、外界の背景にＡＲ画像が埋没することを防止することができる。但し、補色であっても、ＡＲ画像、背景ともに低彩度の場合には、実際は「見やすい色」とはならないため、本実施形態では、ステップＳ１６０によってＡＲ画像、部分画像の少なくとも一方が低彩度でないと判定された場合（「ＮＯ」判定）に限り、補色への変更を行う。
一方、ステップＳ１７０で、ＡＲ画像の表示色と部分画像の平均色とが共に低彩度であると判定されたときには、ＣＰＵ１４０は、ＡＲ画像の表示色を、白色および黒色の内の見やすい色に変更する（ステップＳ１９０）。白色か黒色かの選択は、部分画像の明度に対して明度差が大きくなる方を選ぶ。ここで、部分画像の明度とは、部分画像を構成する画素毎の明度の平均値である。ステップＳ１９０の処理により、ＡＲ画像は部分画像に対して明度差が際立ったものとなり、外界の背景にＡＲ画像が埋没することがない。
ステップＳ１８０またはステップＳ１９０の実行後、ＣＰＵ１４０は、ＡＲ画像を表示する（ステップＳ１９５）。詳しくは、表示色についてはステップＳ１８０またはＳ１９０で変更後の色を用い、表示色以外はステップＳ１１０によって取得した表示情報を用いることによって、ＡＲ画像の表示を行う。ＡＲ画像の表示後、拡張現実表示制御処理を終了する。
ステップＳ１６０で、色差ΔＥ＊ａｂが所定値以上であると判定された場合には、直ちにステップＳ１９５に処理を進めて、ＡＲ画像の表示を行う。すなわち、ＡＲ画像の表示色の変更を行うことなく、ＡＲ画像の表示を行う。
以上のように構成された拡張現実表示制御処理において、ステップＳ１１０およびＳ１９５の処理が重畳画像表示制御部１６４に対応し、ステップＳ１２０およびＳ１３０の処理が部分画像特定部１６６に対応し、ステップＳ１４０からステップＳ１９０までの処理が視認性補正部１６８に対応している。
Ａ−３．実施形態の効果について：
以上のように構成された第１実施形態のＨＭＤ１００によれば、光学像表示部２６、２８を透過して視認される外界に重ね合わせてＡＲ画像を表示させる際に、その表示位置に対応する所定範囲の外界の色に基づいて、ＡＲ画像の色が補正される。このために、ＡＲ画像の色が外界の色に埋没して、使用者にとって見えにくくなることを抑制できる。特に本実施形態では、ＡＲ画像の表示色と部分画像の平均色が共に低彩度であると判定されたときには、ＡＲ画像の表示色を白色および黒色の内の見やすい色に変更し、ＡＲ画像の表示色と部分画像の平均色との内の少なくとも一方が低彩度でないと判定されたときには、ＡＲ画像の表示色を補色に変更していることから、ＡＲ画像の部分画像に対する視認性がより高くなる。
例えば、図４の例示では、説明文Ｐ１の文字色が白色となって、森林Ｐ２の深緑の色に対して視認性が向上する。したがって、第１実施形態のＨＭＤ１００によれば、使用者にとってＡＲ画像が見えにくくなることを、より抑制できる。
Ｂ．第２実施形態：
本発明の第２実施形態を次に説明する。第２実施形態の頭部装着型表示装置は、第１実施形態の頭部装着型表示装置と比較して、色分類テーブルを有することと、拡張現実表示制御処理の内容とが相違し、残余の点では同一である。同一の部分については、第１実施形態と同一の符号を付し、その説明を省略する。
図６は、色分類テーブルＴＢＬを示す説明図である。図示するように、色分類テーブルＴＢＬには、Ｒ値、Ｇ値、Ｂ値の各値で規定される全ての色データが登録されている。各色データは、ｎ（２以上の整数）個のグループＧ１，Ｇ２，…，Ｇｎに分類されている。分類は、似通った色データとなるようになされている。「似通った色データ」とは、２つの色データの間の色差が所定値未満となるようなデータである。「色差」および「所定値」は、第１実施形態の拡張現実表示制御処理（図５）のステップＳ１５０およびＳ１６０と同様な手法によって求めることができる。
各グループＧ１〜Ｇｎには、重ねたときに見やすい色（ＲＧＢ値）がそれぞれ対応づけられている。見やすい色は、予め実験によって求めることができる。色分類テーブルＴＢＬは、記憶部１２０に格納されている。
図７は、第２実施形態における拡張現実表示制御処理を示すフローチャートである。この拡張現実表示制御処理は、第１実施形態と同様に、ＡＲ画像の表示する要求があったときに、ＣＰＵ１４０によって実行される。処理が開始されると、ＣＰＵは、第１実施形態の拡張現実表示制御処理（図５）と同一のステップＳ１１０ないしＳ１４０の処理を実行する。次いで、ＣＰＵは、ステップＳ１１０によって取得したＡＲ画像の表示色と、ステップＳ１４０によって算出した部分画像の平均色とが似通った色データであるか否かを判定する（ステップＳ２５０）。この判定は、色分類テーブルＴＢＬを参照して、ＡＲ画像の表示色のＲＧＢ値と、部分画像の平均色のＲＧＢ値が同一のグループに属するか否かによって行う。
ステップＳ２５０で、同一のグループに属し、似通った色データであると判定されたときには、色分類テーブルＴＢＬを参照することによって、そのグループに対応づけられた見やすい色（ＲＧＢ値）を求め、この求めた見やすい色にＡＲ画像の表示色を変更する（ステップＳ２６０）。その後、ＣＰＵ１４０は、第１実施形態と同様に、ＡＲ画像を表示する（ステップＳ１９５）。詳しくは、表示色についてはステップＳ２６０で変更後の色を用い、表示色以外はステップＳ１１０によって取得した表示情報を用いることによって、ＡＲ画像の表示を行う。ＡＲ画像の表示後、拡張現実表示制御処理を終了する。
一方、ステップＳ２５０で、ＡＲ画像の表示色と部分画像の平均色とは、同一のグループに属さずに、似通った色データでないと判定されたときには、直ちにステップＳ１９５に処理を進めて、ＡＲ画像の表示を行う。すなわち、ＡＲ画像の表示色の変更を行うことなく、ＡＲ画像の表示を行う。
以上のように構成された第２実施形態のＨＭＤによれば、第１実施形態と同様に、ＡＲ画像の色が外界の色に埋没して、使用者にとって見えにくくなることを抑制できる。
この第２実施形態の第１変形例として、ステップＳ２５０の処理を第１実施形態におけるステップＳ１５０およびＳ１６０に換えてもよい。また、第２実施形態の第２変形例として、ステップＳ２６０の処理を第１実施形態における図５のステップＳ１７０からＳ１９０までの処理に換えてもよい。
Ｃ．変形例：
なお、この発明は前記第１および第２実施形態およびその変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
Ｃ−１．変形例１：
第１および第２実施形態では、ＡＲ画像の表示色と色比較を行う部分画像は、視認される外界においてＡＲ画像と位置が重なり合う領域の全体であったが、これに限る必要はなく、ＡＲ画像と位置が対応する所定範囲であればいずれの位置とすることもできる。例えば、図８（ａ）に示すように、ＡＲ画像と位置が重なり合う領域ＥＡの外周部分（ハッチ部分）Ｅ１であってもよい。また、図８（ｂ）に示すように、ＡＲ画像と位置が重なり合う領域ＥＡの内側の一部分（ハッチ部分）Ｅ２であってもよい。図８（ｃ）に示すように、ＡＲ画像と位置が重なり合う領域ＥＡの一部分と自身の一部分が重なる領域（ハッチ部分）Ｅ３であってもよい。図８（ｄ）に示すように、ＡＲ画像と位置が重なり合う領域ＥＡを内部に含む領域（ハッチ部分）Ｅ４であってもよい。図８（ｅ）に示すように、ＡＲ画像と位置が重なり合う領域ＥＡを外側から取り囲む矩形の枠領域（ハッチ部分）Ｅ５であってもよい。
Ｃ−２．変形例２：
第１および第２実施形態では、ＡＲ画像の表示色を変更することによって、外界に対するＡＲ画像の見え方を補正することを行なっているが、これに換えて、ＡＲ画像を点滅表示することによって、ＡＲ画像の見え方を補正するようにしてもよい。また、ＡＲ画像の周縁、例えば文字の周縁だけを色変更するようにしてもよい。要は、外界に対するＡＲ画像の見え方を補正するものであれば、いずれの構成とすることもできる。
Ｃ−３．変形例３：
第１および第２実施形態では、拡張現実として外界に重ね合わせるＡＲ画像を、文字データとしたが、これに換えて記号データ、ピクトグラムまたはアイコンなどの図形データ、絵や写真の静止画データとしてもよい。さらに、これらの静止画データに換えて動画データとしてもよい。ＡＲ画像が複数の表示色を含む場合、または、ＡＲ画像が複数の色の画素からなる場合には、図５の処理および図７の処理を、ＡＲ画像の画素または画素ブロックごとに行ってもよく、また、動画データの場合には、動画を構成するフレームごとに図５の処理、または図７の処理を行ってもよい。
Ｃ−４．変形例４：
第１および第２実施形態では、部分画像についての色情報を部分画像の平均色としていたが、これに換えて、部分画像を構成する各画素の中から最も数が多いＲＧＢ値を求めて、この数が多いＲＧＢ値を部分画像についての色情報としてもよい。要は、部分画像の全体としての色に対応する色情報であれば、いずれの値としてもよい。
Ｃ−５．その他の変形例：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（ｉ）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、上記実施形態で示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。
図９は、変形例におけるＨＭＤの外観の構成を示す説明図である。図９（Ａ）の例の場合、画像表示部２０ｘは、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘと左光学像表示部２８ｘとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め上にそれぞれ配置されている。図９（Ｂ）の例の場合、画像表示部２０ｙは、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙと左光学像表示部２８ｙとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤとして実現することもできる。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。
例えば、画像処理部、表示制御部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。
例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていてもよい。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としてもよい。例えば、表示駆動部は、ＬＣＤに代えてＤＭＤ（デジタル・マイクロミラー・デバイス）等を用いることもできる。例えば、表示駆動部は、ＲＧＢの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、ＭＥＭＳミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ＥＬやＤＭＤやＭＥＭＳミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス（表示駆動部）における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、使用者の網膜へ出射する１つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー（表示駆動部）におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ
１００…頭部装着型表示装置（ＨＭＤ）
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１６０…画像処理部
１６２…表示制御部
１６４…重畳画像表示制御部
１６６…部分画像特定部
１６８…視認性補正部
１７０…音声処理部
１８０…インターフェイス
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板

Claims (8)

  1. 外界を透過視認可能な表示部を備えた頭部装着型表示装置であって、
    前記表示部に、透過して視認される外界に重ね合わせて所定の画像を表示させる重畳画像表示制御部と、
    前記透過して視認される外界のうちの所定範囲を少なくとも撮像する撮像部と、
    前記撮像部によって得られた撮像画像から、前記所定の画像と位置が対応する所定範囲の部分画像を特定する部分画像特定部と、
    前記特定された部分画像についての色情報に応じて、前記重畳画像表示制御部によって表示される所定の画像の見え方を補正する視認性補正部と、
    を備える頭部装着型表示装置。
  2. 請求項１に記載の頭部装着型表示装置であって、
    前記部分画像として特定する所定範囲は、前記所定の画像と位置が重なり合う領域のうちの少なくとも一部分である、頭部装着型表示装置。
  3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
    前記視認性補正部は、
    前記部分画像についての色と前記所定の画像の表示色との間の色差が、所定値未満であるか否かを判定する判定部と、
    前記判定部によって前記色差が所定値未満であると判定されたときに、前記所定の画像の見え方を補正する、頭部装着型表示装置。
  4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
    前記所定の画像の見え方の補正として、前記所定の画像の表示色を補正する、頭部装着型表示装置。
  5. 請求項４に記載の頭部装着型表示装置であって、
    前記表示色を補正することとして、前記部分画像についての色と補色の関係にある色への変更を行う、頭部装着型表示装置。
  6. 請求項４に記載の頭部装着型表示装置であって、
    前記部分画像についての色と前記所定の画像の表示色とが共に、彩度が所定値未満である低彩度である場合に、前記表示色を、白色および黒色のうちの見やすい色に変更する、頭部装着型表示装置。
  7. 外界を透過視認可能な表示部を備えた頭部装着型表示装置の制御方法であって、
    前記表示部に、透過して視認される外界に重ね合わせて所定の画像を表示させる工程と、
    前記透過して視認される外界のうちの所定範囲を少なくとも撮像する工程と、
    前記撮像する工程によって得られた撮像画像から、前記所定の画像と位置が対応する所定範囲の部分画像を特定する工程と、
    前記特定された部分画像についての色情報に応じて、前記表示させる工程によって表示される所定の画像の見え方を補正する工程と、
    を備える、頭部装着型表示装置の制御方法。
  8. 外界を透過視認可能な表示部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記表示部に、透過して視認される外界に重ね合わせて所定の画像を表示させる機能と、
    前記透過して視認される外界のうちの所定範囲を少なくとも撮像する機能と、
    前記撮像する機能によって得られた撮像画像から、前記所定の画像と位置が対応する所定範囲の部分画像を特定する機能と、
    前記特定された部分画像についての色情報に応じて、前記表示させる機能によって表示される所定の画像の見え方を補正する機能と、
    をコンピューターに実現させる、コンピュータープログラム。
JP2015018090A 2015-02-02 2015-02-02 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Pending JP2016142887A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015018090A JP2016142887A (ja) 2015-02-02 2015-02-02 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US15/007,705 US9870048B2 (en) 2015-02-02 2016-01-27 Head-mounted display device, method of controlling the same, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015018090A JP2016142887A (ja) 2015-02-02 2015-02-02 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Publications (1)

Publication Number Publication Date
JP2016142887A true JP2016142887A (ja) 2016-08-08

Family

ID=56554563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015018090A Pending JP2016142887A (ja) 2015-02-02 2015-02-02 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Country Status (2)

Country Link
US (1) US9870048B2 (ja)
JP (1) JP2016142887A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180105402A (ko) * 2017-03-15 2018-09-28 삼성전자주식회사 투명 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP2020534584A (ja) * 2017-09-21 2020-11-26 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
JP2020537757A (ja) * 2017-09-29 2020-12-24 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 頭部装着型拡張現実ディスプレイ
US11651567B2 (en) 2018-12-13 2023-05-16 Maxell, Ltd. Display terminal, display control system and display control method
US12050318B2 (en) 2018-09-26 2024-07-30 Magic Leap, Inc. Eyewear with pinhole and slit cameras

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878775B2 (en) * 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US10689955B1 (en) 2019-03-05 2020-06-23 SWM International Inc. Intelligent downhole perforating gun tube and components
US11078762B2 (en) 2019-03-05 2021-08-03 Swm International, Llc Downhole perforating gun tube and components
US11268376B1 (en) 2019-03-27 2022-03-08 Acuity Technical Designs, LLC Downhole safety switch and communication protocol
US11049330B2 (en) * 2019-06-27 2021-06-29 Facebook Technologies, Llc Color reference for overlaid images
CN112837422A (zh) * 2019-11-25 2021-05-25 苹果公司 基于来自物理环境的光叠加修改显示器操作参数
US11619119B1 (en) 2020-04-10 2023-04-04 Integrated Solutions, Inc. Downhole gun tube extension

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5762892B2 (ja) * 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
JP5970872B2 (ja) 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180105402A (ko) * 2017-03-15 2018-09-28 삼성전자주식회사 투명 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR102349384B1 (ko) * 2017-03-15 2022-01-11 삼성전자주식회사 투명 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP2020534584A (ja) * 2017-09-21 2020-11-26 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
JP2023011663A (ja) * 2017-09-21 2023-01-24 マジック リープ， インコーポレイテッド 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
JP7280250B2 (ja) 2017-09-21 2023-05-23 マジック リープ， インコーポレイテッド 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
JP7535087B2 (ja) 2017-09-21 2024-08-15 マジック リープ， インコーポレイテッド 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
JP2020537757A (ja) * 2017-09-29 2020-12-24 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 頭部装着型拡張現実ディスプレイ
JP7210482B2 (ja) 2017-09-29 2023-01-23 グーグル エルエルシー 頭部装着型拡張現実ディスプレイ
US12050318B2 (en) 2018-09-26 2024-07-30 Magic Leap, Inc. Eyewear with pinhole and slit cameras
US11651567B2 (en) 2018-12-13 2023-05-16 Maxell, Ltd. Display terminal, display control system and display control method
US11972532B2 (en) 2018-12-13 2024-04-30 Maxell, Ltd. Display terminal, display control system and display control method

Also Published As

Publication number Publication date
US20160225190A1 (en) 2016-08-04
US9870048B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
US9823473B2 (en) Head-mounted display device and control method for head-mounted display device
JP2016142887A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6232763B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
JP5970872B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016063504A1 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US9971155B2 (en) Head mounted display device and control method for head mounted display device
JP6645096B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016173693A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6488629B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2016133399A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
US20150168728A1 (en) Head mounted display device
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6428024B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2017138609A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP5742355B2 (ja) 頭部装着型表示装置
JP2016009056A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6273677B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6394174B2 (ja) 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム
JP6375662B2 (ja) 頭部装着型表示装置