JP2010079121A - シースルー型ディスプレイ装置 - Google Patents

シースルー型ディスプレイ装置 Download PDF

Info

Publication number
JP2010079121A
JP2010079121A JP2008249442A JP2008249442A JP2010079121A JP 2010079121 A JP2010079121 A JP 2010079121A JP 2008249442 A JP2008249442 A JP 2008249442A JP 2008249442 A JP2008249442 A JP 2008249442A JP 2010079121 A JP2010079121 A JP 2010079121A
Authority
JP
Japan
Prior art keywords
virtual image
image
observation state
observer
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008249442A
Other languages
English (en)
Inventor
Hironori Yada
裕紀 矢田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2008249442A priority Critical patent/JP2010079121A/ja
Publication of JP2010079121A publication Critical patent/JP2010079121A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Lenses (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】表示すべき画像を虚像として観察者に表示するとともに、その観察者が、その表示された虚像を、観察者の前方に存在する現実外界の実像に重ねて観察することを可能にするシースルー型ディスプレイ装置であって、観察者が実像と虚像との双方を正常に観察することを容易にするものを提供する。
【解決手段】実像の観察中にその実像上に設定される観察者の視点までの距離の長さに基づき、虚像(「Warning!」)が強調されて表示される程度である強調度を、前記距離が設定値より長い遠位置観察状態においては、前記設定値以下である近位置観察状態より増加するように制御する。
【選択図】図6

Description

本発明は、表示すべき画像を虚像として観察者に表示するとともに、その観察者が、その表示された虚像を、観察者の前方に存在する現実外界の実像に重ねて観察することを可能にするシースルー型ディスプレイ装置に関するものである。
画像を光学的に表示する技術として、例えば、表示すべき画像を表す画像光を直接的に観察者の網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にする技術が存在する。
さらに、光源からの光を、表示すべき画像を表す画像光に変換する技術として、例えば、光源から一斉に入射した面状の光を、LCD等、空間変調素子を用いて、各画素ごとに空間的に変調し、それにより、面状の画像光を形成する技術や、光源から入射したビーム状の光であって各画素ごとに強度変調されたものを、スキャナを用いて、2次元方向に走査することによって面状の画像光に変換する技術が存在する。
特許文献1は、画像を光学的に表示する装置としてのヘッドマウントディスプレイ装置を開示している。このヘッドマウントディスプレイ装置は、表示すべき画像を表す画像光を直接的に網膜上に投影し、それにより、観察者が画像を虚像として観察することを可能にする技術と、光源から一斉に入射した面状の光を、LCD等、空間変調素子を用いて、各画素ごとに空間的に変調する技術とを採用している。
特開平9−297282号公報
実像の観察中にその実像上に設定される観察者の視点までの距離は常に一定であるとは限らない。すなわち、観察者が実像を観察する状態として、前記距離が長い遠位置観察状態と、前記距離が短い近位置観察状態とが択一的に存在するのである。
しかし、本発明者の研究により、遠位置観察状態であるか近位置観察状態であるかを問わず、観察者によって実像と一緒に観察される虚像を同じ態様で表示すると、遠位置観察状態であるか近位置観察状態であるかに応じて観察者が実像と虚像との双方を正常に観察すること(すなわち、観察者が虚像を見逃すことも、その虚像によって実像の観察が邪魔されることもないこと)が困難であることに気が付いた。
特に、緊急時等、警告メッセージ等の画像表示を強調する場合(急に表示画像を出現させたり、点滅させたり、大きさを変化させたりする場合)、遠位置観察状態では、画像表示を強調しても、その強調に観察者が気づき難く、一方、近位置観察状態では、画像表示を強調すると、それが観察者にとって過剰であるように感じられ、そのため、驚いた拍子に二次災害を誘発するおそれがあった。
以上説明した知見に基づき、本発明は、表示すべき画像を虚像として観察者に表示するとともに、その観察者が、その表示された虚像を、観察者の前方に存在する現実外界の実像に重ねて観察することを可能にするシースルー型ディスプレイ装置であって、遠位置観察状態であるか近位置観察状態であるかを問わず、観察者が実像と虚像との双方を正常に観察することを容易にするものを提供することを課題としてなされたものである。
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると解釈すべきではない。すなわち、下記の態様には記載されていないが本明細書には記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用することは妨げられないと解釈すべきなのである。
さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げることを意味するわけではなく、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能であると解釈すべきである。
(1) 表示すべき画像を虚像として観察者に表示するとともに、その観察者が、その表示された虚像を、観察者の前方に存在する現実外界の実像に重ねて観察することを可能にするシースルー型ディスプレイ装置であって、
前記実像の観察中にその実像上に設定される観察者の視点までの距離を測定する測定部と、
画像信号に基づき、前記虚像を表示するための画像光を発生させる画像光発生部と、
前記測定部によって測定された距離の長さに基づき、前記虚像が強調されて表示される程度である強調度を、前記距離が設定値より長い遠位置観察状態においては、前記設定値以下である近位置観察状態より増加するように制御する第1強調度制御部と
を含むシースルー型ディスプレイ装置。
本発明者の研究により、観察者が画像を観察する際の視覚的特性(以下、「観察特性」という。)が、遠位置観察状態と近位置観察状態とで異なることが判明した。具体的には、遠位置観察状態においては、観察者の注意が視界全体にわたって分散し易いのに対し、近位置観察状態においては、観察者の注意が視界内の一点(例えば、視界の中央位置)に集中し易い。
そのため、遠位置観察状態においては、ある虚像が、観察者の注意が散漫な状態で出現しても、その虚像を観察者が速やかに認知することができない可能性がある。これに対し、近位置観察状態においては、観察者が別の画像に集中している(通常、観察者は緊張している)最中に突然、ある虚像が出現すると、観察者の観察および集中が邪魔されるうえに、観察者が驚いてしまう。
以上説明した知見を背景にして、本項に係るディスプレイ装置によれば、虚像が、観察者の注意が視界全体にわたって分散し易い遠位置観察状態においては、観察者の注意が視界内の一点(例えば、視界の中央位置)に集中し易い近位置観察状態より強調されて表示される。
したがって、このディスプレイ装置によれば、虚像が、遠位置観察状態においては、高い強調度で表示されるため、観察者の注意が散漫になり易い遠位置観察状態であるにもかかわらず、観察者が当該虚像をより確実に認知することが容易となる。
また、このディスプレイ装置によれば、虚像が、近位置観察状態においては、低い強調度で表示されるため、観察者の注意が一点に集中し易い近位置観察状態であるにもかかわらず、観察者が、当該虚像とは別の画像を観察中に、その観察が当該虚像によって邪魔されることなく、観察者は、当該虚像を認知することが容易となる。
このように、このディスプレイ装置によれば、遠位置観察状態と近位置観察状態とで観察者の観察特性(視覚的注意力)が異なるという事実を踏まえて、その観察特性の変化に適応するように、虚像の強調度が制御される。
ところで、シースルー型ディスプレイ装置の中には、被写界深度が通常より深いために、観察者に対し、いずれの距離においても、虚像のピントが合う形式のディスプレイ装置が存在する。この種のディスプレイ装置を使用する場合には、観察者は、遠位置観察状態でも近位置観察状態でも、実像の位置に応じて観察者の眼の焦点位置が変化しても、虚像のピントは合ったままであるため、虚像に対する違和感が生じず、その結果、虚像を実像から区別して認識することが困難である。
これに対し、本項に係るディスプレイ装置によれば、それの被写界深度が深くても、虚像の強調度が、観察者の観察特性に応じて制御されるため、虚像を実像から区別して認識することが容易となる。
本項における「測定部」は、例えば、観察者の視界の中心位置(当該ディスプレイ装置に対する幾何学的な相対位置が一義的に決まる位置)にその観察者の視点(注視点)があると仮定して、その中心位置と当該ディスプレイ装置との距離を、電磁波(音波や光)を用いて、その到達時間や位相差により、または、三角法により測定するいわゆる距離センサとして構成することが可能である。
これに代えて、「測定部」は、観察者の両眼のそれぞれの視線の向きから、両眼の輻輳点(両眼の視線の交点)を計算して、前記距離を測定する態様で構成することも可能である。さらに、これに代えて、「測定部」は、観察者の眼底写真を撮影し、その写真における、眼底の像から、前記距離を測定する態様で構成することも可能である。
本項における「第1強調度制御部」は、例えば、強調度が遠位置観察状態においては近位置観察状態より増加するように、画像信号を選択、作成または修正する手段を含む態様で実施することが可能である。
(2) 前記第1強調度制御部は、前記虚像を、前記遠位置観察状態においては、前記近位置観察状態より大きく表示し、一方、前記近位置観察状態においては、前記遠位置観察状態より小さく表示する第1手段を含む(1)項に記載のシースルー型ディスプレイ装置。
同じ虚像が大きく表示される場合には、小さく表示される場合より高い強調度で、その虚像が観察者に認識される。
この知見に基づき、本項に係るディスプレイ装置によれば、虚像が、遠位置観察状態においては、近位置観察状態より大きく表示され、一方、近位置観察状態においては、遠位置観察状態より小さく表示される。
(3) 前記第1手段は、前記遠位置観察状態においては、前記虚像の表示開始後、前記虚像の大きさを時間の経過につれて減少させ、一方、前記近位置観察状態においては、前記虚像の表示開始後、前記虚像の大きさを時間の経過につれて増加させる(2)項に記載のシースルー型ディスプレイ装置。
観察者が、虚像を遠位置観察状態において認識し始めた後においては、観察者は、その虚像の存在を知っているため、その虚像の大きさを時間の経過につれて減少させても(例えば、その虚像が、観察者が他の画像を観察することを邪魔しないようにするために)、観察者がその虚像を見失うことはない。
一方、観察者が、虚像を近位置観察状態において認識し始めた後においては、観察者は、その虚像の存在を知っているため、その虚像の大きさを時間の経過につれて増加させても(例えば、観察者が当該虚像をより正確に認識できるようにするために)、観察者が注意を乱されたり、驚いたりすることはない。
以上説明した知見に基づき、本項に係るディスプレイ装置によれば、遠位置観察状態においては、虚像の表示開始後、その虚像の大きさが時間の経過につれて減少させられ、一方、近位置観察状態においては、虚像の表示開始後、その虚像の大きさが時間の経過につれて増加させられる。
さらに、このディスプレイ装置によれば、実像の観察中、虚像の属性(それの一例が虚像の大きさであり、他の属性としては、表示位置、色の鮮やかさ、輝度、連続表示か点滅表示かの違いなどがある)が、観察中の実像から独立して、時間の経過につれて変化させられるため、実像が静止しているか、または変化するとしても虚像とは異なる態様で変化する場合には、観察者が、虚像を実像から区別して認識することが容易となる。
(4) 前記第1強調度制御部は、前記虚像を、前記遠位置観察状態においては、観察者の視界の中心位置に表示し、一方、前記近位置観察状態においては、観察者の視界の中心位置から離れた所定位置に表示する第2手段を含む(1)ないし(3)項のいずれかに記載のシースルー型ディスプレイ装置。
同じ虚像が観察者の視界の中心位置に表示される場合には、その中心位置から離れた位置に表示される場合より高い強調度で、その虚像が観察者に認識される。
この知見に基づき、本項に係るディスプレイ装置によれば、虚像が、遠位置観察状態においては、観察者の視界の中心位置に表示され、一方、近位置観察状態においては、観察者の視界の中心位置から離れた所定位置(例えば、視界の縁の部分)に表示される。
(5) 前記第2手段は、前記遠位置観察状態においては、前記虚像の表示開始後、前記虚像の位置を、時間の経過につれて前記中心位置から離れる向きに移動させ、一方、前記近位置観察状態においては、前記虚像の表示開始後、前記虚像の位置を、時間の経過につれて前記中心位置に向かって移動させる(4)項に記載のシースルー型ディスプレイ装置。
観察者が、虚像を遠位置観察状態において認識し始めた後においては、観察者は、その虚像の存在を知っているため、その虚像の位置を時間の経過につれて前記中心位置から離れる向きに移動させても(例えば、その虚像が、観察者が他の画像を観察することを邪魔しないようにするために)、観察者がその虚像を見失うことはない。
一方、観察者が、虚像を近位置観察状態において認識し始めた後においては、観察者は、その虚像の存在を知っているため、その虚像の位置を時間の経過につれて前記中心位置に向かって移動させても(例えば、観察者が当該虚像をより正確に認識できるようにするために)、観察者が注意を乱されたり、驚いたりすることはない。
以上説明した知見に基づき、本項に係るディスプレイ装置によれば、遠位置観察状態においては、虚像の表示開始後、その虚像の位置が、時間の経過につれて前記中心位置から離れる向きに移動させられ、一方、近位置観察状態においては、虚像の表示開始後、その虚像の位置が、時間の経過につれて前記中心位置に向かって移動させられる。
(6) 前記第1強調度制御部は、前記虚像を、前記遠位置観察状態においては、前記近位置観察状態より鮮やかな色で表示し、一方、前記近位置観察状態においては、前記遠位置観察状態より淡い色で表示する第3手段を含む(1)ないし(5)項のいずれかに記載のシースルー型ディスプレイ装置。
同じ虚像が鮮やかな色(例えば、赤)で表示される場合には、淡い色(例えば、灰赤色)で表示される場合より高い強調度で、その虚像が観察者に認識される。
この知見に基づき、本項に係るディスプレイ装置によれば、虚像が、遠位置観察状態においては、近位置観察状態より鮮やかな色で表示され、一方、近位置観察状態においては、遠位置観察状態より淡い色で表示される。
(7) 前記第3手段は、前記遠位置観察状態においては、前記虚像の表示開始後、前記虚像の色を、時間の経過につれて鮮やかさが減少するように変化させ、一方、前記近位置観察状態においては、前記虚像の表示開始後、前記虚像の色を、時間の経過につれて鮮やかさが増加するように変化させる(6)項に記載のシースルー型ディスプレイ装置。
観察者が、虚像を遠位置観察状態において認識し始めた後においては、観察者は、その虚像の存在を知っているため、その虚像の色を、時間の経過につれて鮮やかさ(彩度)が減少するように変化させても(例えば、その虚像が、観察者が他の画像を観察することを邪魔しないようにするために)、観察者がその虚像を見失うことはない。
一方、観察者が、虚像を近位置観察状態において認識し始めた後においては、観察者は、その虚像の存在を知っているため、その虚像の色を、時間の経過につれて鮮やかさ(彩度)が増加するように変化させても(例えば、観察者が当該虚像をより正確に認識できるようにするために)、観察者が注意を乱されたり、驚いたりすることはない。
以上説明した知見に基づき、本項に係るディスプレイ装置によれば、遠位置観察状態においては、虚像の表示開始後、その虚像の色の彩度が時間の経過につれて減少させられ、一方、近位置観察状態においては、虚像の表示開始後、その虚像の色の彩度が時間の経過につれて増加させられる。
(8) 前記第1強調度制御部は、前記虚像を、前記遠位置観察状態においては、前記近位置観察状態より高い輝度で表示し、一方、前記近位置観察状態においては、前記遠位置観察状態より低い輝度で表示する第4手段を含む(1)ないし(7)項のいずれかに記載のシースルー型ディスプレイ装置。
同じ虚像が高い輝度で表示される場合には、低い輝度で表示される場合より高い強調度で、その虚像が観察者に認識される。
この知見に基づき、本項に係るディスプレイ装置によれば、虚像が、遠位置観察状態においては、近位置観察状態より高い輝度で表示され、一方、近位置観察状態においては、遠位置観察状態より高い輝度で表示される。
(9) 前記第4手段は、前記遠位置観察状態においては、前記虚像の表示開始後、前記虚像の輝度を時間の経過につれて低下させ、一方、前記近位置観察状態においては、前記虚像の表示開始後、前記虚像の輝度を時間の経過につれて増加させる(8)項に記載のシースルー型ディスプレイ装置。
観察者が、虚像を遠位置観察状態において認識し始めた後においては、観察者は、その虚像の存在を知っているため、その虚像の輝度を時間の経過につれて低下させても(例えば、その虚像が、観察者が他の画像を観察することを邪魔しないようにするために)、観察者がその虚像を見失うことはない。
一方、観察者が、虚像を近位置観察状態において認識し始めた後においては、観察者は、その虚像の存在を知っているため、その虚像の輝度を時間の経過につれて増加させても(例えば、観察者が当該虚像をより正確に認識できるようにするために)、観察者が注意を乱されたり、驚いたりすることはない。
以上説明した知見に基づき、本項に係るディスプレイ装置によれば、遠位置観察状態においては、虚像の表示開始後、その虚像の輝度が時間の経過につれて低下させられ、一方、近位置観察状態においては、虚像の表示開始後、その虚像の輝度が時間の経過につれて増加させられる。
(10) さらに、
前記強調度を、前記虚像によって表される情報の意味の重要度が高いほど増加するように制御する第2強調度制御部を含む(1)ないし(9)項のいずれかに記載のシースルー型ディスプレイ装置。
このディスプレイ装置によれば、虚像の強調度が、前記距離に適応させられることになるのみならず、その虚像によって表される情報の意味の重要度にも適応させられることになる。
したがって、このディスプレイ装置によれば、前記距離が同じであっても、虚像によって表される情報の意味の重要度が高い場合には、低い場合より、その虚像が強調されて表示されるため、観察者は、その虚像によって表される情報の意味の重要度が高い場合に、その情報を確実に認知することが容易となる。
(11) 前記測定部は、前記実像までの距離を測定する距離センサを含む(1)ないし(10)項のいずれかに記載のシースルー型ディスプレイ装置。
本項における「距離センサ」は、例えば、観察者の視界の中心位置(当該ディスプレイ装置に対する幾何学的な相対位置が一義的に決まる位置)にその観察者の視点(注視点)があると仮定して、その中心位置と当該ディスプレイ装置との距離を測定するセンサとして構成することが可能である。
(12) さらに、
前記画像信号を前記画像光発生部に出力する処理装置であって、前記画像信号によって表される前記虚像が、前記実像の観察中に観察者が置かれている環境と、前記実像の観察中における観察者の動作との少なくとも一方である観察者状況の時間的変化に関連付けて時間的に変化するように、前記画像信号を作成するものを含む(1)ないし(11)項のいずれかに記載のシースルー型ディスプレイ装置。
(13) 前記処理装置は、複数の候補画像から、前記観察者状況に対応するものを選択し、その選択された候補画像を表示するための前記画像信号を前記画像光発生部に出力する(12)項に記載のシースルー型ディスプレイ装置。
(14) 表示すべき画像を虚像として観察者に表示するとともに、その観察者が、その表示された虚像を、観察者の前方に存在する現実外界の実像に重ねて観察することを可能にするシースルー型ディスプレイ装置を制御する方法であって、
前記実像の観察中にその実像上に設定される観察者の視点までの距離を測定する測定工程と、
その測定工程によって測定された距離の長さに基づき、前記虚像が強調されて表示される程度である強調度を、前記距離が設定値より長い遠位置観察状態においては、前記設定値以下である近位置観察状態より増加するように制御する第1強調度制御工程と
を含むシースルー型ディスプレイ装置の制御方法。
本項に係る制御方法によれば、前記(1)項に係るディスプレイ装置と基本的に共通する知見および原理に従い、虚像が、観察者の注意が視界全体にわたって分散し易い遠位置観察状態においては、観察者の注意が視界内の一点(例えば、視界の中央位置)に集中し易い近位置観察状態より強調されて表示される。
したがって、この制御方法によれば、虚像が、遠位置観察状態においては、高い強調度で表示されるため、観察者の注意が散漫になり易い遠位置観察状態であるにもかかわらず、観察者が当該虚像をより確実に認知することが容易となる。
また、この制御方法によれば、虚像が、近位置観察状態においては、低い強調度で表示されるため、観察者の注意が一点に集中し易い近位置観察状態であるにもかかわらず、観察者が、当該虚像とは別の画像を観察中に、その観察を当該虚像が邪魔することなく、観察者は、当該虚像を認知することが容易となる。
(15) さらに、
前記強調度を、前記虚像によって表される情報の意味の重要度が高いほど増加するように制御する第2強調度制御工程を含む(14)項に記載のシースルー型ディスプレイ装置の制御方法。
この制御方法によれば、前記(10)項に係るディスプレイ装置と基本的に同じ原理に従い、虚像の強調度が、前記距離に適応させられることになるのみならず、その虚像によって表される情報の意味の重要度にも適応させられることになる。
(16) (14)または(15)項に記載の方法を実行するためにコンピュータによって実行されるプログラム。
このプログラムがコンピュータにより実行されれば、前記(14)または(15)項に係る方法と基本的に同じ原理に従い、同様な作用効果が実現され得る。
本項に係るプログラムは、例えば、それの機能を果たすためにコンピュータにより実行される指令の組合せを意味するように解釈したり、それら指令の組合せのみならず、各指令に従って処理されるファイルやデータをも含むように解釈することが可能であるが、それらに限定されない。
また、このプログラムは、それ単独でコンピュータにより実行されることにより、所期の目的を達するものとしたり、他のプログラムと共にコンピュータにより実行されることにより、所期の目的を達するものとすることができるが、それらに限定されない。後者の場合、本項に係るプログラムは、データを主体とするものとすることができるが、それに限定されない。
(17) (16)項に記載のプログラムをコンピュータ読取り可能に記録した記録媒体。
この記録媒体に記録されているプログラムがコンピュータにより実行されれば、前記(14)または(15)項に係る方法と同じ作用効果が実現され得る。
この記録媒体は種々な形式を採用可能であり、例えば、フレキシブル・ディスク等の磁気記録媒体、CD、CD−ROM等の光記録媒体、MO等の光磁気記録媒体、ROM等のアンリムーバブル・ストレージ等のいずれかを採用し得るが、それらに限定されない。
以下、本発明のさらに具体的な実施の形態のうちの1つを図面に基づいて詳細に説明する。
図1には、本発明の一実施形態に従うシースルー型ディスプレイ装置(以下、単に「ディスプレイ装置」という。)10のハードウエア構成がブロック図で概念的に表されている。この種のディスプレイ装置の一例が米国特許出願公開公報第2003/0142086号に開示されており、この公報は、全体的に、引用により、本明細書に合体させられる。
このディスプレイ装置10は、光学系として、複数の光源20,22,24を備えている。それら光源20,22,24は、赤色のレーザ光を発生させるR光源20と、緑色のレーザ光を発生させるG光源22と、青色のレーザ光を発生させるB光源24とを備えている。
それら光源20,22,24は、光源制御回路30によって制御される。具体的には、各光源20,22,24ごとに、発光タイミングと、発光時におけるレーザ光の輝度(強度)とが制御され、それにより、表示すべき画像を表す画像光(目標画像光)が3原色のレーザ光の合成によって生成される。
それら光源20,22,24からそれぞれ発生させられた3原色のレーザ光は、それらに共通の合波部34に入射し、その合波部34は、それら3原色のレーザ光を単一のレーザ光に合成する。これにより、3原色の成分レーザ光が単一の合成レーザ光に変換される。合波部34から出射したレーザ光は、スキャナ40に入射し、そのスキャナ40は、それに入射したレーザ光を2次元的に走査する。これにより、合波部34から出射したレーザ光が走査光に変換される。スキャナ40は、スキャナ駆動回路42によって駆動される。
スキャナ40から出射した走査光は、結像光学系50および接眼光学系52に順次入射する。接眼光学系52からの出射光は、観察者の眼60の瞳孔62を通過して網膜64上に達し、やがてその網膜64上に結像する。したがって、このディスプレイ装置10は、表示すべき画像を表す画像光を直接的に観察者の網膜64上に投影し、それにより、観察者が画像を虚像として観察することを可能にする。
このディスプレイ装置10は、観察者の頭部に装着されて使用されるヘッドマウント型である。このディスプレイ装置10は、接眼光学系52からの出射光を、そのユーザである観察者の瞳孔62に向けて反射するためのハーフミラー70を有する。観察者は、そのハーフミラー70を通して、観察者の前方に存在する現実外界の実像を観察することが可能である。この種のディスプレイ装置の一例が米国特許出願公開公報第2006/0146125号に開示されており、この公報は、全体的に、引用により、本明細書に合体させられる。
以上、このディスプレイ装置10のうちの光学系を説明したが、次に、電気系を説明する。
図1に示すように、このディスプレイ装置10は、画像処理回路80を備えている。その画像処理回路80は、コンピュータ82を主体として構成されている。そのコンピュータ82は、よく知られているように、図示しないが、プロセッサとメモリとがバスによって互いに接続されることによって構成されている。
画像処理回路80は、映像信号入力部86に接続されている。その映像信号入力部86は、外部装置としてのパーソナルコンピュータ(以下、「PC」という。)90に有線または無線で接続されている。PC90は、ディスプレイ装置10によって表示すべき画像を定義するための映像信号(前述の「画像信号」の一例である。)を映像信号入力部86に供給する。その映像信号は、各々輝度信号であるR信号、G信号およびB信号と、SYNC信号とを含んでいる。映像信号入力部86は、PC90から供給された映像信号を画像処理回路80に転送する。
画像処理回路80は、光源制御回路30とスキャナ駆動回路42とに電気的に接続されている。画像処理回路80は、映像信号のうちのR信号、G信号およびB信号、すなわち、輝度信号を光源制御回路30に、各色に関連付けて出力する。光源制御回路30は、入力された各輝度信号に基づき、3つの光源20,22,24のうち対応するものを駆動する。
さらに、画像処理回路80は、映像信号のうちのSYNC信号を、上述の輝度信号と同期するように、スキャナ駆動回路42に出力する。その結果、スキャナ40から出射する走査光が、再現すべき映像を光学的に表現する画像光として機能することになる。
画像処理回路80には、さらに、距離センサ100も電気的に接続されている。その距離センサ100は、実像の観察中にその実像上に設定される観察者の視点までの距離を測定するために使用される。
具体的には、この距離センサ100は、観察者の視界の中心位置(ディスプレイ装置10に対する幾何学的な相対位置が一義的に決まる位置)にその観察者の視点(注視点)があると仮定して、その中心位置とディスプレイ装置10との距離を、電磁波(音波や光)を用いて、その到達時間や位相差により、または、三角法により測定するいわゆる距離センサとして構成することが可能である。この距離センサ100は、前記距離を測定するために、視界の中心位置をターゲットとして、電磁波を送出する。
画像処理回路80は、映像信号によって定義される虚像を、観察者がハーフミラー70を通して観察している実像に重ねて表示するという画像表示を行う。その画像表示には、通常表示と追加表示とがある。
通常表示は、PC90からの通常表示開始トリガの供給に応答して起動し、ユーザによる一連の作業を行う際に参照すべき作業マニュアルを第1の通常表示コンテンツとして、かつ、虚像として表示するとともに、その作業においてユーザが加工すべき部品のリストを第2の通常表示コンテンツとして、かつ、虚像として表示する。
これに対し、追加表示は、PC90からの追加表示トリガの供給に応答して起動し、上記作業中に、ユーザの注意を喚起するためにそのユーザに告知すべき警告メッセージを追加表示コンテンツとして、かつ、虚像として、かつ、第1および第2通常表示コンテンツと一緒に、かつ、同期的に表示する。
通常表示を実行するために、画像処理回路80は、PC90からの通常表示開始トリガの供給に応答して、PC90から映像信号を取り込み、その取り込まれた映像信号のうちの輝度信号を光源制御回路30を介して各光源20,22,24に出力するとともに、その取り込まれた映像信号のうちのSYNC信号をスキャナ駆動回路42に同期的に出力する。
これに対し、追加表示を実行するために、画像処理回路80は、PC90からの追加表示トリガの供給に応答して、PC90から映像信号を取り込み、その取り込まれた映像信号のうちの輝度信号を元画像信号として取り込み、その取り込まれた元画像信号を、距離センサ100からの出力信号(すなわち、観察者の視点までの距離)と、表示すべき虚像によって表される情報(上記警告メッセージ)の意味の重要度(例えば、緊急度や危険度)とに基づいて修正し、その修正された画像信号を光源制御回路30を介して各光源20,22,24に出力する。
さらに、画像処理回路80は、PC90からの追加表示トリガの供給に応答して、PC90から取り込まれた映像信号のうちのSYNC信号をスキャナ駆動回路42に同期的に出力する。この追加表示の詳細は、後述する。
なお、PC90は、ディスプレイ装置10に通常表示および追加表示を行わせるために、作業支援プログラムを実行し、それにより、必要な情報を画像処理回路80に供給する。その作業支援プログラムは後に詳述する。
図2には、以上説明した通常表示および追加表示を行うために(すなわち、虚像を表示するために)、画像処理回路80のコンピュータ82によって実行される画像表示プログラムが概念的にフローチャートで表されている。その画像表示プログラムは、コンピュータ82のメモリに予め記憶されており、必要に応じ、そのメモリから読み出されてプロセッサによって実行される。
この画像表示プログラムがコンピュータ82によって実行されると、まず、ステップS1において、この画像表示を行うために用いられる各種データの初期化が行われる。次に、ステップS2において、距離センサ100を用いて前記距離を測定するために必要な設定が行われる。この処理には、距離センサ100が接続されているか否かの判定や、距離センサ100が接続されている場合にその距離センサ100の動作が正常であるか否かの判定(自己診断)が含まれる。
続いて、ステップS3において、PC90から前記通常表示開始トリガを受信したか否かが判定される。今回は、通常表示開始トリガを受信しなかったと仮定すれば、ステップS3の判定がNOとなり、直ちにこの画像表示プログラムの今回の実行が終了する。
これに対し、今回は、通常表示開始トリガを受信したと仮定すれば、ステップS3の判定がYESとなり、ステップS4において、今回の通常表示が開始される。
このステップS4においては、具体的には、PC90から、前記第1および第2の通常表示コンテンツを表示するための映像信号を受信し、その受信した映像信号を光源制御回路30とスキャナ駆動回路42とに同期的に出力することにより、第1および第2の通常表示コンテンツを虚像として(例えば、参照用の画像として)表示する。
このステップS4においては、第1および第2の通常表示コンテンツが、例えば、今回の通常表示が終了するまで(すなわち、今回の画像表示が終了するまで)、連続的に表示される。これにより、ユーザは、それら通常表示コンテンツを、作業中、随時、参照することが可能となる。
その後、ステップS5において、PC90から前記追加表示トリガを受信したか否かが判定される。今回は、追加表示トリガを受信しなかったと仮定すれば、ステップS5の判定がNOとなり、ステップS6がスキップされる。
これに対し、今回は、追加表示トリガを受信したと仮定すれば、ステップS5の判定がYESとなり、ステップS6において、追加表示が行われる。
このステップS6においては、具体的には、PC90から、追加表示の対象である警告メッセージを表示するための映像信号を受信し、受信した映像信号を光源制御回路30とスキャナ駆動回路42とに同期的に出力することにより、警告メッセージを虚像として(例えば、参照用の画像として)表示する。このステップS6においては、同じ警告メッセージが所定時間、連続的に表示される。このステップS6の詳細が、図3に追加表示ルーチンとしてフローチャートで概念的に表されており、これについては、後述する。
その後、ステップS7において、今回の画像表示を終了させるべきか否かが判定される。具体的には、PC90から表示終了指令を受信したか否かが判定される。今回は、表示終了指令を受信しなかったと仮定すれば、ステップS7の判定がNOとなり、ステップS5に戻る。これに対し、今回は、表示終了指令を受信したと仮定すれば、ステップS7の判定がYESとなり、ステップS8において、所定の終了処理が行われる。以上で、この画像表示プログラムの今回の実行が終了する。
ここで、図3に示す追加表示ルーチンを参照することにより、図2におけるステップS6、すなわち、追加表示の詳細を説明する。
この追加表示ルーチンが実行されると、まず、ステップS101において、距離センサ100がオン状態にあるか否かが判定される。距離測定が可能であるか否かが判定されるのである。今回は、距離センサ100がオン状態にあると仮定すると、ステップS101の判定がYESとなり、距離センサ100からの出力信号に基づき、前記距離が測定される。これに対し、今回は、距離センサ100がオン状態にはないと仮定すると、ステップS101の判定がNOとなり、ステップS103において、前記距離が、デフォールト距離(例えば、3m)に設定される。
いずれの場合にも、その後、ステップS104において、PC90から受信された警告メッセージについて重要度が設定されているか否かが判定される。画像処理回路80がPC90から警告メッセージを受信する場合、その警告メッセージに、それの意味の重要度が設定されている場合には、その重要度を表す重要度表示データも、PC90から受信する。しかし、重要度が予め設定されていない警告メッセージも存在する。
今回は、警告メッセージに重要度が設定されていると仮定すると、ステップS104の判定がYESとなり、ステップS105において、今回の警告メッセージに付随する重要度表示データに基づき、その警告メッセージの重要度が取得される。これに対し、今回は、警告メッセージに重要度が設定されていないと仮定すると、ステップS104の判定がNOとなり、ステップS106において、今回の警告メッセージの重要度が、デフォールト重要度(例えば、重要度が「大」、「中」および「小」の3段階である場合には、「中」の重要度)に設定される。
いずれの場合にも、その後、ステップS107において、映像信号のうち、今回の警告メッセージを表す輝度信号が元画像信号として取り込まれる。続いて、ステップS108において、前記測定された距離と、前記取得された重要度との組合せに応じて、今回の警告メッセージの表示方法(表示サイズ、表示位置、彩度および輝度)が選択される。この選択は、例えば、図4に示す割り当てルールに従って行われる。このステップS108の詳細は、後述する。
その後、ステップS109において、その選択された表示方法が実現されるように、前記取り込まれた元画像信号が修正され、それにより、表示されるべき警告メッセージ(虚像)の属性(表示サイズ、表示位置、彩度および輝度)が通常の内容から変更される。
その後、ステップS110において、その修正された画像信号が光源制御回路30を介して各光源に出力される。その結果、警告メッセージ(虚像)の表示態様が、通常の態様から、前記距離と重要度とを反映した態様に変更される。以上で、この追加表示ルーチンの今回の実行が終了する。
ここで、ステップS108の詳細を図4ないし図8を参照して説明する。
図4には、距離と重要度との組合せと、警告メッセージの表示方法(表示態様、強調度)との関係の一例が表形式で表されている。この例においては、距離が、「近い(近位置観察状態)」と、「遠い(遠位置観察状態)」という2つのレベルに分類され、また、重要度が、「小」と、「中」と、「大」という3つのレベルに分類され、また、表示方法が、「さりげなく」と、「普通」と、「強調」という3つのレベルに分類されている。
この例によれば、例えば、距離が「近い」場合であり、かつ、重要度が「小」または「中」である場合には、表示方法として「さりげなく」が選択され、また、重要度が「大」である場合には、距離の如何を問わず、表示方法として「強調」が選択され、また、距離が「遠い」場合には、重要度が「小」であれば、表示方法として「普通」が選択されるが、重要度が「中」であれば、表示方法として「強調」が選択される。
なお、距離が「近い」場合であり、かつ、重要度が「大」である場合には、距離が「遠い」である場合との距離の違いを反映するために、表示方法として、「強調」ではなく、「普通」を選択してもよい。
図5には、3種類の表示方法のそれぞれの内容が、警告メッセージ(虚像)の表示サイズ、位置、彩度(鮮やかさ)および輝度に関して表形式で表されている。
警告メッセージ(図6ないし図8に示す例においては、「Warning!」)の表示サイズについて説明すれば、表示方法が「さりげなく」である場合には、最小サイズ、すなわち、「1/4画面以下」の大きさが選択され、また、表示方法が「普通」である場合には、通常サイズ、すなわち、「1/3画面以下」の大きさが選択され、また、表示方法が「強調」である場合には、最大サイズ、すなわち、「1/2画面以上」の大きさが選択される。ここに、「画面」は、例えば、図7および図8に示すように、観察者の視界に相当する矩形の領域として定義される。
また、警告メッセージの表示位置について説明すれば、表示方法が「さりげなく」である場合には、画面のうちそれの中心位置から最も離れた位置、すなわち、画面の端(例えば、図6(a)に示すように、警告メッセージが表示される位置)が選択され、また、表示方法が「普通」である場合には、通常位置、すなわち、画面の左下または右下の位置(ただし、例えば、図6(b)に示すように、画面の端から少し内側に位置する位置)が選択され、また、表示方法が「強調」である場合には、画面の中央位置(例えば、図6(c)に示すように、警告メッセージが表示される位置)が選択される。
また、警告メッセージの色の彩度(鮮やかさ)について説明すれば、表示方法が「さりげなく」である場合には、淡い色(例えば、灰色)が選択され、また、表示方法が「普通」である場合には、デフォールト色(例えば、薄赤色)が選択され、また、表示方法が「強調」である場合には、鮮やかな色(例えば、赤色)が選択される。
また、警告メッセージの輝度について説明すれば、表示方法が「さりげなく」である場合には、低い輝度が選択され、また、表示方法が「普通」である場合には、デフォールト輝度が選択され、また、表示方法が「強調」である場合には、高い輝度が選択される。
本実施形態においては、観察者の観察中、ある警告メッセージの表示が開始されると、表示方法が「さりげなく」または「強調」である場合には、その警告メッセージの表示態様が、時間の経過につれて変化するようになっている。すなわち、図6に示すように、表示方法が「さりげなく」または「強調」である場合には、警告メッセージがアニメーション表示されるようになっているのである。
具体的には、表示方法が「さりげなく」である場合には、図6(a)に示すように、警告メッセージの表示サイズが時間の経過につれて拡大し、最終的に通常サイズに一致する。また、表示方法が「強調」である場合には、図6(c)に示すように、警告メッセージの表示サイズが時間の経過につれて縮小し、最終的に通常サイズに一致する。
なお付言するに、本実施形態においては、警告メッセージの属性のうち、アニメーション表示によって変化するものは、表示サイズのみであるが、それに代えて、またはそれに加えて、警告メッセージの表示位置、色の彩度および輝度のうちの少なくとも1つが時間の経過につれて変化し、最終的に、表示方法が「普通」である場合のレベルに一致するようにしてもよいことはいうまでもない。
図7に示す例は、観察者が、現実外界を遠位置において観察する場合に観察者によって認識される画像である。この例においては、現実外界が、複数の加工機が設置された工場内の景色である。
この例においては、前述のように、「Warning!」という文字列が警告メッセージとして虚像として表示される。この例においては、警告メッセージは、強調されて表示されている。すなわち、警告メッセージが大きく、しかも、画面の中央位置に表示されているのである。
図8に示す例は、観察者が、現実外界を近位置において観察する場合に観察者によって認識される画像である。この例においては、現実外界が、加工機としてのボール盤である。
この例においても、前述のように、「Warning!」という文字列が警告メッセージとして虚像として表示される。この例においては、警告メッセージは、さりげなく(例えば、画面の中央位置を注目している観察者を驚かせたりして観察者の注意を乱すことも散漫にしたりすることがないように)表示されている。すなわち、警告メッセージが小さく、しかも、画面の端に表示されているのである。
図9には、PC90がディスプレイ装置10に通常表示および追加表示を行わせるためにPC90によって実行される前述の作業支援プログラムが概念的にフローチャートで表されている。
なお、作業者は、ディスプレイ装置10を装着して作業を行うため、作業者は、作業中、随時、必要な知識や情報(例えば、前述の作業マニュアルや部品リスト)をそのディスプレイ装置10を介して取得することが可能である。
また、PC90は、作業者の、作業中における行動を図示しないカメラやセンサ(例えば、モーションキャプチャ)を用いてモニタし、必要に応じて、画像解析を行って作業者の位置や行動、作業者が掴んでいる物などを判別する。
図9に示す作業支援プログラムがPC90によって起動されると、まず、ステップS201において、作業者が一連の作業を開始したか否かが判定される。作業者は、例えば、作業開始に先立ち、特定のスイッチを操作したり特定のアイコンをクリックすることにより、作業が開始されたことをPC90に入力する。
作業が開始されたと仮定すると、ステップS201の判定がYESとなり、ステップS202において、前記通常表示開始トリガが、ディスプレイ装置10に向けて出力される。その結果、図2におけるステップS3の判定がYESとなる。
続いて、ステップS203において、図示しないメモリから前記第1および第2の通常表示コンテンツを表すデータが読み出され、それが、ディスプレイ装置10に向けて出力される。図2におけるステップS4は、そのデータを用いて、通常表示を行うことになる。その結果、作業者は、手を使うことなく、前述の作業マニュアルや部品リストを参照しつつ、作業を継続することが可能となる。
その後、ステップS204において、作業者が実際に掴んだ部品が、指示された部品とは異なること、すなわち、部品間違いが発生したか否かが判定される。今回は、部品間違いが発生したと仮定すると、ステップS204の判定がYESとなり、ステップS205において、前記追加表示トリガがディスプレイ装置10に向かって出力される。その結果、図2におけるステップS5の判定がYESとなる。
続いて、ステップS206において、「部品間違い」という警告メッセージを表示するための映像信号がディスプレイ装置10に向かって、作業者の実際の行動に同期するように、リアルタイムで出力される。その結果、図3におけるステップS107が、その出力された映像信号を元画像信号として取り込む。
ステップS204の判定がYESである場合もNOである場合も、その後、ステップS207において、図示しない自動搬送機が作業者に接近しているか否かが判定される。今回は、自動搬送機が作業者に接近していると仮定すると、ステップS207の判定がYESとなり、ステップS208において、前記追加表示トリガがディスプレイ装置10に向かって出力される。その結果、図2におけるステップS5の判定がYESとなる。
続いて、ステップS209において、作業者が自動搬送機に注意することを促すために、「自動搬送機 注意」という警告メッセージを表示するための映像信号がディスプレイ装置10に向かって、作業者の実際の行動に同期するように、リアルタイムで出力される。その結果、図3におけるステップS107が、その出力された映像信号を元画像信号として取り込む。
ステップS207の判定がYESである場合もNOである場合も、その後、ステップS210において、作業者が図示しない加工機(例えば、図8に示すボール盤)を用いて加工を開始したか否かが判定される。今回は、作業者が作業を開始したと仮定すると、ステップS210の判定がYESとなり、ステップS211において、前記追加表示トリガがディスプレイ装置10に向かって出力される。その結果、図2におけるステップS5の判定がYESとなる。
続いて、ステップS212において、作業者が前記加工機の回転数(作業中に作業者が注目すべき作業条件の一例)に注意することを促して加工条件が危険になることを予防するために、「回転数 注意」という警告メッセージを表示するための映像信号がディスプレイ装置10に向かって、作業者の実際の行動に同期するように、リアルタイムで出力される。その結果、図3におけるステップS107が、その出力された映像信号を元画像信号として取り込む。
ステップS210の判定がYESである場合もNOである場合も、その後、ステップS213において、作業者の左手の位置が、前記加工機の位置との関係において、異常であるか否かが判定される。今回は、左手の位置が異常であると仮定すると、ステップS213の判定がYESとなり、ステップS214において、前記追加表示トリガがディスプレイ装置10に向かって出力される。その結果、図2におけるステップS5の判定がYESとなる。
続いて、ステップS215において、作業者が自身の左手の位置(作業中に作業者が注目すべき作業条件の一例)に注意することを促して加工条件が危険になることを予防するために、「左手位置 注意」という警告メッセージを表示するための映像信号がディスプレイ装置10に向かって、作業者の実際の行動に同期するように、リアルタイムで出力される。その結果、図3におけるステップS107が、その出力された映像信号を元画像信号として取り込む。
ステップS213の判定がYESである場合もNOである場合も、その後、ステップS216において、作業者による作業が終了したか否かが判定される。作業者は、例えば、作業終了の直後、特定のスイッチを操作したり特定のアイコンをクリックすることにより、作業が終了したことをPC90に入力する。今回は、作業が終了したと仮定すると、ステップS216の判定がYESとなり、ステップS217において、前記追加表示トリガがディスプレイ装置10に向かって出力される。その結果、図2におけるステップS5の判定がYESとなる。
続いて、ステップS219において、作業者の今回の作業内容を確認することを可能にするために、「予定通り 時間遅れなし」という警告メッセージを表示するための映像信号がディスプレイ装置10に向かって、作業者の実際の行動に同期するように、リアルタイムで出力される。その結果、図3におけるステップS107が、その出力された映像信号を元画像信号として取り込む。
その後、ステップS219において、前記表示終了指令がPC90に対して出力される。その結果、図2におけるステップS7の判定がYESとなる。以上で、この作業支援プログラムの今回の実行が終了する。
図10には、複数の警告メッセージのそれぞれにつき、表示方法と、距離と、重要度とが表形式で例示されている。
警告メッセージが「部品間違い」である場合には、距離が「近く」、しかも、重要度が「中」であるため、図4に示す割り当てルールに従い、表示方法に「さりげなく」が割り当てられる。また、警告メッセージが「自動搬送機 注意」である場合には、距離が「遠く」、しかも、重要度が「大」であるため、図4に示す割り当てルールに従い、表示方法に「強調」が割り当てられる。
また、警告メッセージが「回転数 注意」である場合には、距離が「近く」、しかも、重要度が「小」であるため、図4に示す割り当てルールに従い、表示方法に「さりげなく」が割り当てられる。また、警告メッセージが「左手位置 注意」である場合には、距離が「近く」、しかも、重要度が「大」であるため、図4に示す割り当てルールに従い、表示方法に「強調」が割り当てられる。また、警告メッセージが「予定通り 時間遅れなし」である場合には、距離が「遠く」、しかも、重要度が「小」であるため、図4に示す割り当てルールに従い、表示方法に「普通」が割り当てられる。
以上の説明から明らかなように、本実施形態においては、説明の便宜上、距離センサ100が前記(1)項における「測定部」の一例を構成し、R光源20、G光源22およびB光源24、合波部34ならびにスキャナ40が互いに共同して、同項における「画像光発生部」の一例を構成し、コンピュータ82のうち、図3のステップS108のうち距離に応じて表示方法を選択する部分(図4参照)を実行する部分が、同項における「第1強調度制御部」の一例を構成していると考えることが可能である。
さらに、本実施形態においては、説明の便宜上、コンピュータ82のうち、図3のステップS108のうち距離に応じて警告メッセージの表示サイズを変更する部分(図5参照)を実行する部分が、前記(2)および(3)項のそれぞれにおける「第1手段」の一例を構成していると考えることが可能である。
さらに、本実施形態においては、説明の便宜上、コンピュータ82のうち、図3のステップS108のうち距離に応じて警告メッセージの表示位置を変更する部分(図5参照)を実行する部分が、前記(4)および(5)項のそれぞれにおける「第2手段」の一例を構成していると考えることが可能である。
さらに、本実施形態においては、説明の便宜上、コンピュータ82のうち、図3のステップS108のうち距離に応じて警告メッセージの彩度を変更する部分(図5参照)を実行する部分が、前記(6)および(7)項のそれぞれにおける「第3手段」の一例を構成していると考えることが可能である。
さらに、本実施形態においては、説明の便宜上、コンピュータ82のうち、図3のステップS108のうち距離に応じて警告メッセージの輝度を変更する部分(図5参照)を実行する部分が、前記(8)および(9)項のそれぞれにおける「第4手段」の一例を構成していると考えることが可能である。
さらに、本実施形態においては、説明の便宜上、コンピュータ82のうち、図3のステップS108のうち重要度に応じて表示方法を変更する部分(図4参照)を実行する部分が、前記(10)項における「第2強調度制御部」の一例を構成していると考えることが可能である。
さらに、本実施形態においては、説明の便宜上、PC90が前記(12)および(13)項のそれぞれにおける「処理装置」の一例を構成していると考えることが可能である。
以上、本発明の一実施形態を図面に基づいて詳細に説明したが、これは例示であり、前記[発明の開示]の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
本発明の一実施形態に従うシースルー型ディスプレイ装置10の構成を概念的に表すブロック図である。 図1に示す画像処理回路80のコンピュータ82によって実行される画像表示プログラムを概念的に表すフローチャートである。 図2におけるステップS6の詳細を追加表示ルーチンとして概念的に表すフローチャートである。 図3におけるステップS108の実行のために使用される割り当てルールを表形式で示す図である。 図4に示す複数の表示方法のそれぞれの内容を表形式で示す図である。 図4に示す複数の表示方法のそれぞれの内容を図である。 図1に示すディスプレイ装置10を用いて観察者によって認識される画像の一例であって、遠位置観察状態で観察される現実外界と、当該画像の中央位置に虚像として表示される警告メッセージとを含むものを示す図である。 図1に示すディスプレイ装置10を用いて観察者によって認識される画像の別の例であって、近位置観察状態で観察される現実外界と、当該画像の左下位置に虚像として表示される警告メッセージとを含むものを示す図である。 図1に示すPC90によって実行される作業支援プログラムを概念的に表すフローチャートである。 図9に示す複数の警告メッセージのそれぞれに割り当てられる表示方法を、各警告メッセージに対応する距離および重要度と共に表形式で示す図である。
符号の説明
10 シースルー型ディスプレイ装置
20 R光源
22 G光源
24 B光源
80 画像処理回路
82 コンピュータ
90 パーソナルコンピュータ(PC)
100 距離センサ

Claims (13)

  1. 表示すべき画像を虚像として観察者に表示するとともに、その観察者が、その表示された虚像を、観察者の前方に存在する現実外界の実像に重ねて観察することを可能にするシースルー型ディスプレイ装置であって、
    前記実像の観察中にその実像上に設定される観察者の視点までの距離を測定する測定部と、
    画像信号に基づき、前記虚像を表示するための画像光を発生させる画像光発生部と、
    前記測定部によって測定された距離の長さに基づき、前記虚像が強調されて表示される程度である強調度を、前記距離が設定値より長い遠位置観察状態においては、前記設定値以下である近位置観察状態より増加するように制御する第1強調度制御部と
    を含むシースルー型ディスプレイ装置。
  2. 前記第1強調度制御部は、前記虚像を、前記遠位置観察状態においては、前記近位置観察状態より大きく表示し、一方、前記近位置観察状態においては、前記遠位置観察状態より小さく表示する第1手段を含む請求項1に記載のシースルー型ディスプレイ装置。
  3. 前記第1手段は、前記遠位置観察状態においては、前記虚像の表示開始後、前記虚像の大きさを時間の経過につれて減少させ、一方、前記近位置観察状態においては、前記虚像の表示開始後、前記虚像の大きさを時間の経過につれて増加させる請求項2に記載のシースルー型ディスプレイ装置。
  4. 前記第1強調度制御部は、前記虚像を、前記遠位置観察状態においては、観察者の視界の中心位置に表示し、一方、前記近位置観察状態においては、観察者の視界の中心位置から離れた所定位置に表示する第2手段を含む請求項1ないし3のいずれかに記載のシースルー型ディスプレイ装置。
  5. 前記第2手段は、前記遠位置観察状態においては、前記虚像の表示開始後、前記虚像の位置を、時間の経過につれて前記中心位置から離れる向きに移動させ、一方、前記近位置観察状態においては、前記虚像の表示開始後、前記虚像の位置を、時間の経過につれて前記中心位置に向かって移動させる請求項4に記載のシースルー型ディスプレイ装置。
  6. 前記第1強調度制御部は、前記虚像を、前記遠位置観察状態においては、前記近位置観察状態より鮮やかな色で表示し、一方、前記近位置観察状態においては、前記遠位置観察状態より淡い色で表示する第3手段を含む請求項1ないし5のいずれかに記載のシースルー型ディスプレイ装置。
  7. 前記第3手段は、前記遠位置観察状態においては、前記虚像の表示開始後、前記虚像の色を、時間の経過につれて鮮やかさが減少するように変化させ、一方、前記近位置観察状態においては、前記虚像の表示開始後、前記虚像の色を、時間の経過につれて鮮やかさが増加するように変化させる請求項6に記載のシースルー型ディスプレイ装置。
  8. 前記第1強調度制御部は、前記虚像を、前記遠位置観察状態においては、前記近位置観察状態より高い輝度で表示し、一方、前記近位置観察状態においては、前記遠位置観察状態より低い輝度で表示する第4手段を含む請求項1ないし7のいずれかに記載のシースルー型ディスプレイ装置。
  9. 前記第4手段は、前記遠位置観察状態においては、前記虚像の表示開始後、前記虚像の輝度を時間の経過につれて低下させ、一方、前記近位置観察状態においては、前記虚像の表示開始後、前記虚像の輝度を時間の経過につれて増加させる請求項8に記載のシースルー型ディスプレイ装置。
  10. さらに、
    前記強調度を、前記虚像によって表される情報の意味の重要度が高いほど増加するように制御する第2強調度制御部を含む請求項1ないし9のいずれかに記載のシースルー型ディスプレイ装置。
  11. 前記測定部は、前記実像までの距離を測定する距離センサを含む請求項1ないし10のいずれかに記載のシースルー型ディスプレイ装置。
  12. さらに、
    前記画像信号を前記画像光発生部に出力する処理装置であって、前記画像信号によって表される前記虚像が、前記実像の観察中に観察者が置かれている環境と、前記実像の観察中における観察者の動作との少なくとも一方である観察者状況の時間的変化に関連付けて時間的に変化するように、前記画像信号を作成するものを含む請求項1ないし11のいずれかに記載のシースルー型ディスプレイ装置。
  13. 前記処理装置は、複数の候補画像から、前記観察者状況に対応するものを選択し、その選択された候補画像を表示するための前記画像信号を前記画像光発生部に出力する請求項12に記載のシースルー型ディスプレイ装置。
JP2008249442A 2008-09-29 2008-09-29 シースルー型ディスプレイ装置 Pending JP2010079121A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008249442A JP2010079121A (ja) 2008-09-29 2008-09-29 シースルー型ディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008249442A JP2010079121A (ja) 2008-09-29 2008-09-29 シースルー型ディスプレイ装置

Publications (1)

Publication Number Publication Date
JP2010079121A true JP2010079121A (ja) 2010-04-08

Family

ID=42209606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008249442A Pending JP2010079121A (ja) 2008-09-29 2008-09-29 シースルー型ディスプレイ装置

Country Status (1)

Country Link
JP (1) JP2010079121A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221236A (ja) * 2010-04-08 2011-11-04 Sony Corp 頭部装着型ディスプレイにおける画像表示方法
JP2012073859A (ja) * 2010-09-29 2012-04-12 Konica Minolta Business Technologies Inc 画像形成装置、表示方法、および表示プログラム
JP2013540278A (ja) * 2010-07-14 2013-10-31 ツー スリーズ フォトニクス リミテッド 2次元/3次元ホログラフィ表示システム
JP2014095903A (ja) * 2013-11-20 2014-05-22 Sony Corp 頭部装着型ディスプレイにおける画像表示方法
JP2014132305A (ja) * 2013-01-07 2014-07-17 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2015019273A (ja) * 2013-07-11 2015-01-29 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015177404A (ja) * 2014-03-17 2015-10-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016010200A1 (en) * 2014-07-17 2016-01-21 Lg Electronics Inc. Wearable display device and control method thereof
JP2017050725A (ja) * 2015-09-02 2017-03-09 株式会社東芝 電子機器および表示方法
WO2017138212A1 (ja) * 2016-02-08 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019244670A1 (ja) * 2018-06-18 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021167967A (ja) * 2020-08-11 2021-10-21 株式会社東芝 電子機器および表示方法
WO2022003752A1 (ja) * 2020-06-29 2022-01-06 株式会社青電社 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム
JP2022040118A (ja) * 2020-08-26 2022-03-10 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム
JP2022089884A (ja) * 2020-08-11 2022-06-16 株式会社東芝 電子機器および表示方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221236A (ja) * 2010-04-08 2011-11-04 Sony Corp 頭部装着型ディスプレイにおける画像表示方法
US9311752B2 (en) 2010-04-08 2016-04-12 Sony Corporation Image displaying method for a head-mounted type display unit
JP2013540278A (ja) * 2010-07-14 2013-10-31 ツー スリーズ フォトニクス リミテッド 2次元/3次元ホログラフィ表示システム
JP2012073859A (ja) * 2010-09-29 2012-04-12 Konica Minolta Business Technologies Inc 画像形成装置、表示方法、および表示プログラム
US8621388B2 (en) 2010-09-29 2013-12-31 Konica Minolta Business Technologies, Inc. Image forming apparatus for displaying information on screen
JP2014132305A (ja) * 2013-01-07 2014-07-17 Seiko Epson Corp 表示装置、および、表示装置の制御方法
JP2015019273A (ja) * 2013-07-11 2015-01-29 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014095903A (ja) * 2013-11-20 2014-05-22 Sony Corp 頭部装着型ディスプレイにおける画像表示方法
JP2015177404A (ja) * 2014-03-17 2015-10-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016010200A1 (en) * 2014-07-17 2016-01-21 Lg Electronics Inc. Wearable display device and control method thereof
JP2017050725A (ja) * 2015-09-02 2017-03-09 株式会社東芝 電子機器および表示方法
WO2017138212A1 (ja) * 2016-02-08 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2017138212A1 (ja) * 2016-02-08 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11037532B2 (en) 2016-02-08 2021-06-15 Sony Corporation Information processing apparatus and information processing method
WO2019244670A1 (ja) * 2018-06-18 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022003752A1 (ja) * 2020-06-29 2022-01-06 株式会社青電社 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム
JP7418870B2 (ja) 2020-06-29 2024-01-22 株式会社青電社 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム
JP2021167967A (ja) * 2020-08-11 2021-10-21 株式会社東芝 電子機器および表示方法
JP7055925B2 (ja) 2020-08-11 2022-04-18 株式会社東芝 電子機器および表示方法
JP2022089884A (ja) * 2020-08-11 2022-06-16 株式会社東芝 電子機器および表示方法
JP7245376B2 (ja) 2020-08-11 2023-03-23 株式会社東芝 電子機器および表示方法
JP2022040118A (ja) * 2020-08-26 2022-03-10 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム
JP7285904B2 (ja) 2020-08-26 2023-06-02 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム

Similar Documents

Publication Publication Date Title
JP2010079121A (ja) シースルー型ディスプレイ装置
AU2017232175B2 (en) Display system and method
JP5262688B2 (ja) プレゼンテーションシステム及びそのプログラム
JP6349660B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP2010139575A (ja) シースルー型ヘッドマウント表示装置
JP2011075956A (ja) ヘッドマウントディスプレイ
JP2010206673A (ja) ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP2012108379A (ja) 情報表示システム、装置、方法及びプログラム
JP2010161152A (ja) 画像表示装置
JP6143242B1 (ja) 画像表示装置
JP2017161759A (ja) 網膜投影型表示装置、画像表示方法、及びプログラム
JP2010212899A (ja) ヘッドマウントディスプレイ
JP4926300B1 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
WO2024084764A1 (ja) 制御装置
JP6268704B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2007256431A (ja) 画像重畳表示装置