JP2012035745A - 表示装置、画像データ生成装置及び画像データ生成プログラム - Google Patents
表示装置、画像データ生成装置及び画像データ生成プログラム Download PDFInfo
- Publication number
- JP2012035745A JP2012035745A JP2010177414A JP2010177414A JP2012035745A JP 2012035745 A JP2012035745 A JP 2012035745A JP 2010177414 A JP2010177414 A JP 2010177414A JP 2010177414 A JP2010177414 A JP 2010177414A JP 2012035745 A JP2012035745 A JP 2012035745A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- viewer
- traveling direction
- moving body
- external object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004907 flux Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims description 198
- 238000012545 processing Methods 0.000 claims description 22
- 230000002123 temporal effect Effects 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 11
- 241000255777 Lepidoptera Species 0.000 claims 1
- 239000011521 glass Substances 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 description 67
- 238000000034 method Methods 0.000 description 42
- 238000004364 calculation method Methods 0.000 description 34
- 230000000694 effects Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 16
- 238000013459 approach Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Instrument Panels (AREA)
- Processing Or Creating Images (AREA)
- Navigation (AREA)
Abstract
【課題】表示情報をより分かり易く認識させる表示装置、画像データ生成装置及び画像データ生成プログラムを提供する。
【解決手段】実施形態によれば、画像データを生成する画像データ生成部と、前記画像データ生成部によって生成された前記画像データに基づく映像を含む光束を移動体のフロントガラス部に反射させて前記移動体に搭乗する観視者に向けて投影する映像投影部と、を備えた表示装置が提供される。前記画像データ生成部は、前記移動体の外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む外界オブジェクトを含む前記画像データを生成するに当たり、前記観視者から見たときの前記外界オブジェクトの位置と、前記観視者から見たときの前記ターゲット領域の前記実景の位置と、のずれを、前記ターゲット領域と前記移動体との間の距離に基づいて変更する。
【選択図】図1
【解決手段】実施形態によれば、画像データを生成する画像データ生成部と、前記画像データ生成部によって生成された前記画像データに基づく映像を含む光束を移動体のフロントガラス部に反射させて前記移動体に搭乗する観視者に向けて投影する映像投影部と、を備えた表示装置が提供される。前記画像データ生成部は、前記移動体の外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む外界オブジェクトを含む前記画像データを生成するに当たり、前記観視者から見たときの前記外界オブジェクトの位置と、前記観視者から見たときの前記ターゲット領域の前記実景の位置と、のずれを、前記ターゲット領域と前記移動体との間の距離に基づいて変更する。
【選択図】図1
Description
本発明の実施形態は、表示装置、画像データ生成装置及び画像データ生成プログラムに関する。
表示情報と、車両の外界の実景と、を同時に視認させるヘッドアップディスプレイ(HUD:Head-Up Display)が開発されている。例えば、ウインドシールドディスプレイにおける運転者の視野内に、車両の進むべき方向を示す動画像の矢印を表示する際、車両の走行状態や車両の周囲の交通状況に応じて、矢印の表示態様を動的に変更する技術が知られている。
このようなHUDにおいて、表示情報をより分かり易く提示することが望まれる。
このようなHUDにおいて、表示情報をより分かり易く提示することが望まれる。
本発明の実施形態は、表示情報をより分かり易く認識させる表示装置、画像データ生成装置及び画像データ生成プログラムを提供する。
本発明の実施形態によれば、画像データを生成する画像データ生成部と、前記画像データ生成部によって生成された前記画像データに基づく映像を含む光束を移動体のフロントガラス部に反射させて前記移動体に搭乗する観視者に向けて投影する映像投影部と、を備えた表示装置が提供される。前記画像データ生成部は、前記移動体の外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む外界オブジェクトを含む前記画像データを生成するに当たり、前記観視者から見たときの前記外界オブジェクトの位置と、前記観視者から見たときの前記ターゲット領域の前記実景の位置と、のずれを、前記ターゲット領域と前記移動体との間の距離に基づいて変更する。
本発明の別の実施形態によれば、画像データを生成する画像データ生成部と、前記画像データ生成部によって生成された前記画像データに基づく映像を含む光束を移動体のフロントガラス部に反射させて前記移動体に搭乗する観視者に向けて投影する映像投影部と、を備えた表示装置が提供される。前記画像データ生成部は、前記移動体に関して定められた進行経路に基づいて前記移動体の進行方向が変更されると推定される進行方向変更地点と、前記移動体と、の間の距離が第3距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示す第3進行方向オブジェクトを含む第3画像データを生成する。前記画像データ生成部は、前記進行方向変更地点と、前記移動体と、の間の距離が前記第3距離よりも短い第4距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示し、前記第3進行方向オブジェクトの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有し、前記観視者から見たときの前記進行方向変更地点の実景に重畳させて配置される第4進行方向オブジェクトを含む第4画像データを生成する。
本発明の別の実施形態によれば、移動体に搭乗する観視者に前記移動体の外界の実景に重畳させて提示すべき映像を含む画像データを生成する画像データ生成装置が提供される。前記画像データ生成装置は、前記移動体の前記外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む表示オブジェクトを、前記観視者から見たときに前記ターゲット領域の前記実景に重畳して表示できないときに、前記表示オブジェクトを前記観視者から見たときに前記ターゲット領域の前記実景の位置とは異なる位置に配置した前記表示オブジェクトを生成するに当たり、前記画像データ生成装置は、前記移動体の前記ターゲット領域の実景に関する情報を含むベース表示オブジェクトに、前記観視者から見たときの前記表示オブジェクトの前記配置される位置と、前記観視者から見たときの前記ターゲット領域の前記実景の前記位置と、の間のずれ量に基づいて前記映像内における移動、拡大縮小及び回転の少なくともいずれかの画像処理を施す。
以下に、本発明の各実施の形態について図面を参照しつつ説明する。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
(第1の実施の形態)
本実施形態に係る表示装置は、例えば、車両などの移動体用の表示装置である。以下では、例として本実施形態に係る表示装置が、移動体用の表示装置であるHUDとして応用される場合として説明する。ここで、移動体は、二輪車、三輪車、四輪車、列車などの車輪を有する乗り物の他、船舶、航空機、ヘリコプタなど、人が搭乗する任意の乗り物の全てを含む。以下では、移動体が車両である場合として説明する。
本実施形態に係る表示装置は、例えば、車両などの移動体用の表示装置である。以下では、例として本実施形態に係る表示装置が、移動体用の表示装置であるHUDとして応用される場合として説明する。ここで、移動体は、二輪車、三輪車、四輪車、列車などの車輪を有する乗り物の他、船舶、航空機、ヘリコプタなど、人が搭乗する任意の乗り物の全てを含む。以下では、移動体が車両である場合として説明する。
図1(a)〜図1(e)は、第1の実施形態に係る表示装置の動作を例示する模式図である。
図2は、第1の実施形態に係る表示装置の構成を例示する模式図である。
図3は、第1の実施形態に係る表示装置における座標系を例示する模式図である。
図4は、第1の実施形態に係る表示装置の特性を例示する模式図である。
図5(a)及び図5(b)は、表示装置の動作を例示する模式図である。
図2は、第1の実施形態に係る表示装置の構成を例示する模式図である。
図3は、第1の実施形態に係る表示装置における座標系を例示する模式図である。
図4は、第1の実施形態に係る表示装置の特性を例示する模式図である。
図5(a)及び図5(b)は、表示装置の動作を例示する模式図である。
まず、図2により、本実施形態に係る表示装置10の構成の概要について説明する。
図2に表したように、表示装置10は、画像データ生成装置530(画像データ生成部130)と、表示部540(映像投影部115)と、を備える。表示装置10はHUDである。
画像データ生成部130は、画像データを生成する。画像データ生成部130は、例えばコンピュータを含む。
図2に表したように、表示装置10は、画像データ生成装置530(画像データ生成部130)と、表示部540(映像投影部115)と、を備える。表示装置10はHUDである。
画像データ生成部130は、画像データを生成する。画像データ生成部130は、例えばコンピュータを含む。
映像投影部115は、画像データ生成部130によって生成された画像データに基づく映像を含む光束112を車両730のフロントガラス部710(反射部)に反射させて車両730に搭乗する観視者100(ユーザ)に向けて投影する。
フロントガラス部710は、車両730のフロントガラスを含む。また、フロントガラス部710は、例えば、車両730のフロントガラスに設けられる反射体711(例えばコンバイナ)を含んでも良い。この場合には、光束112は、車両730のフロントガラスに設けられる反射体711によって反射されて、観視者100に向けて反射される。なお、反射体711は、フロントガラスよりも車両730の室内側にフロントガラスから離間して設けられても良い。このように、フロントガラスから離間して設けられる反射体711も、フロントガラス部710の一部と見なされる。
画像データ生成部130は、コンテンツ(表示オブジェクト180)を含む画像データを生成する。
すなわち、光束112に含まれる映像は、コンテンツ(表示オブジェクト180)を含む。表示オブジェクト180は、表示装置10が観視者100に提示する映像に設けられるものである。表示オブジェクト180は、車両730の外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む外界オブジェクト、及び、車両730の進行すると推定される方向を示す進行方向オブジェクトの少なくともいずれかを含む。
すなわち、光束112に含まれる映像は、コンテンツ(表示オブジェクト180)を含む。表示オブジェクト180は、表示装置10が観視者100に提示する映像に設けられるものである。表示オブジェクト180は、車両730の外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む外界オブジェクト、及び、車両730の進行すると推定される方向を示す進行方向オブジェクトの少なくともいずれかを含む。
外界オブジェクトは、例えば、車両730が進行すると推定される道の境界などを含む。外界オブジェクトは、例えば、交差点等の形状を示す図形等を含むことができる。
進行方向オブジェクトは、車両730の進行方向が変更されると推定される進行方向変更地点における車両730の進行方向を示す矢印(曲がる矢印)、及び、車両730の進行方向が変更されないときの進行方向を示す矢印(直進の矢印)の少なくともいずれかを含むことができる。
図2に例示したように、表示装置10の映像投影部115は、例えば車両730の中、すなわち、例えば、操作者(運転者)である観視者100から見て車両730のダッシュボード720の奥に設けられることができる。
なお、画像データ生成部130は、必ずしも映像投影部115と一体的に設けられなくても良く、例えば、ダッシュボード720の内部ではなく、車両730の任意の場所に設置しても良い。画像データ生成部130から出力される画像データは、電気信号や光信号などの有線または無線の方式により、映像投影部115に供給される。
映像投影部115から出射された光束112は、フロントガラス部710で反射され、観視者100の頭部105に入射する。
このとき、光束112の発散角が制御されており、光束112が、観視者100の片方の目101に入射するように設計できる。これにより、観視者100は、例えば、光束112に含まれる映像を片方の目101で観視することができる。これにより、フロントガラス部710で反射する表示オブジェクト180の像181を両眼で観察したときの両眼視差による見難さが解消される。
なお、フロントガラス部710は、観視者100からの距離が21.7cm以上の位置に配置される。これにより、観視者100が知覚する奥行き感が増強され、また、表示オブジェクト180を所望の奥行き位置に知覚させ易くできる。
ただし、実施形態は、これに限らず、場合によっては、映像投影部115から出射された光束112が、観視者100の両目に入射されても良い。
光束112は、表示装置10から出射した後、車両730のフロントガラス部710で反射して、観視者100の目に到る。観視者100は、フロントガラス部710を介して、像形成位置181aの位置に形成された表示オブジェクト180の像181(虚像)を知覚する。このように、表示装置10は、HUDとして使用できる。
図2に表したように、表示装置10は、車両730に関する情報、車両730に搭乗する観視者100に関する情報、及び、車両730の外界に関する情報の少なくともいずれか含む情報を入手する情報入手部520をさらに備えることができる。情報入手部520によって入手された情報は画像データ生成部130に供給され、画像データ生成部130は、情報入手部520で取得された情報を基に画像データを生成することができる。情報入手部520は、画像データ生成部130の内部に設けられても良い。
映像投影部115の構成の例に関しては後述する。
映像投影部115の構成の例に関しては後述する。
ここで、図3に表したように、表示装置10が搭載される車両730の後から前に向かう方向をZ軸方向とする。そして、車両730における左から右に向かう方向をX軸方向とする。そして、Z軸とX軸とに垂直な方向をY軸とする。例えば、車両730の進行方向はZ軸方向となる。観視者100から見て奥行き方向がZ軸方向となる。
観視者100は、例えばフロントガラス部710の反射体711で反射した光束112の映像712に含まれる表示オブジェクト180を観視する。反射体711(フロントガラス部710)で反射した映像712の面をX1−Y1平面とする。説明を簡単にするために、X1−Y1平面は、X−Y平面と平行であるものとする。X1軸方向とY1軸方向とに垂直なZ1軸方向は、Z軸方向と平行となる。
観視者100が、表示オブジェクト180を観視したときに、表示オブジェクト180の像181は、車両730の外界の実景340に重畳して観視される。図3に示した例では、車両730の前方の交差点735の実景340に、進行方向を示す矢印の表示オブジェクト180が重畳されている。例えば、表示オブジェクト180が映像712内において配置される位置(X1−Y1平面内の位置)は、表示オブジェクト180が重畳させられるターゲットの位置PTと、観視者100の片方の目101の位置P0と、の間のZ軸方向に沿った距離と、フロントガラス部710の位置P1と、観視者100の片方の目101の位置P0と、の間のZ軸方向に沿った距離と、に基づいて(例えば比例の関係)、定められる。これにより、観視者100に、表示オブジェクト180に基づく像181を実景340の任意のターゲットの位置に重畳して知覚させることができる。
このとき、図3に表したように、光束112を反射させるフロントガラス部710(例えば反射体711)の大きさには制限がある。例えば、縦方向(Y1軸方向、すなわち、Y軸方向)に沿ったフロントガラス部710(反射体711)の長さは有限である。一方、車両730内における観視者100の頭部105(片方の目101)の位置は、所定の範囲内に設定されている。そして、映像投影部115から出射する光束112の投影位置114aも一定の範囲内に設定されている。
図4に表したように、観視者100から見たときに、表示オブジェクト180を外界の実景340の位置に重畳できる領域が一定の範囲内に制限される。例えば、観視者100からの距離が距離Ld1よりも遠い外界の実景340には、表示オブジェクト180は重畳できない。また、観視者100からの距離が距離Ld2よりも近い外界の実景340には、表示オブジェクト180は重畳できない。距離Ld1から距離Ld2までの範囲である実景重畳可能範囲Ld3に、表示オブジェクト180は重畳される。
例えば、距離Ld1は、例えば約2m程度であり、距離Ld2は、例えば約50m程度である。この場合には、車両730からの距離が2m以上50m以下の範囲の実景340に対応する外界オブジェクトは、実景340に重畳して表示することができるが、車両730からの距離が50mよりも遠い実景340には外界オブジェクトを重畳して表示することはできない。なお、上記の距離Ld1及びLd2の値は一例であり、実施形態はこれに限らず、距離Ld1及びLd2の値は任意である。
図5(a)及び図5(b)は、観視者100がフロントガラス部710を介して、車両730の外界の実景340と、表示オブジェクト180と、を見たときに観視者100が知覚する映像712を模式的に表したものである。この例では、観視者100から見える実景340に2つの交差点、すなわち、観視者100から見て遠い遠方交差点741及び観視者100から見て近い近接交差点742が存在している。近接交差点742は、実景重畳可能範囲Ld3内に位置しており、遠方交差点741は、実景重畳可能範囲Ld3から外れている。図5(a)は、近接交差点742が、車両730の進行方向を変更する進行方向変更地点750である場合に対応し、図5(b)は、遠方交差点741が進行方向変更地点750である場合に対応している。
例えば、車両730と近接交差点742との距離は約40mであり、車両730と遠方交差点741との距離は約80mである。上記の値は一例であり、実施形態はこれに限らず、車両730と近接交差点742との距離及び車両730と遠方交差点741との距離は任意である。
図5(a)に表したように、進行方向変更地点750が実景重畳可能範囲Ld3内の近接交差点742である場合は、進行方向を変更することを示す表示オブジェクト180(矢印)を、外界の実景340における進行方向変更地点750に重畳して表示することができる。これにより、観視者100は、進行方向変更地点750が容易に認識でき、その地点における進行方向の変更の方向も容易に認識することができる。
一方、図5(b)に表したように、進行方向変更地点750が実景重畳可能範囲Ld3内から外れている遠方交差点741である場合は、進行方向を変更することを示す表示オブジェクト180(矢印)を、外界の実景340における進行方向変更地点750に重畳して表示することができない。このとき、例えば、進行方向を変更することを示す表示オブジェクト180(矢印)を、進行方向変更地点750に重畳しないで表示すると、表示オブジェクト180(矢印)で示そうとしている場所と実景340との相関が分かり難い。また、車両730が遠方交差点741に接近し、遠方交差点741が実景重畳可能範囲Ld3内に入ってから進行方向を変更することを示す表示オブジェクト180(矢印)を表示すると、観視者100が進行方向を判断するための時間が短くなり、目的とする運転支援が不十分になることがある。
なお、上記においては、実景重畳可能範囲Ld3が、観視者100から見た上下方向に対応する範囲である場合として説明したが、実景重畳可能範囲Ld3は、観視者100から見て左右方向に対応する範囲を含むことができる。さらに、実景重畳可能範囲Ld3が車両730からの距離に関係する範囲である場合について説明したが、実景重畳可能範囲Ld3は、車両730が走行している道の勾配や、道の曲がりや、道の近傍に存在する建造物などにさらに関係する範囲であっても良い。実施形態に係る表示装置10においては、このような種々の条件に基づいて定まる実景重畳可能範囲Ld3についても対象にすることができる。以下では、説明を簡単にするために、車両730からの距離に基づいて実景重畳可能範囲Ld3が定まる場合について説明する。
このように、HUDにおいて、外界の実景340に重畳して表示オブジェクト180を提示する際に、ハードウェア上の制約、及び、安全を考慮した規制などによって表示オブジェクト180を実景340に重畳して提示できる領域が実景重畳可能範囲Ld3に制限される。実景重畳可能範囲Ld3の実景340には表示オブジェクト180を重畳して提示することができるが、実景重畳可能範囲Ld3を外れた実景340には表示オブジェクト180を重畳して提示できない。
発明者は、表示装置10において実景重畳可能範囲Ld3が存在し、これにより、表示オブジェクト180を目的とするターゲット領域の実景340に重畳して表示できない場合に表示が分かり難くなることに着目した。実施形態に係る表示装置10は、この新たに見出された課題の解決に取り組むものである。
図1(a)〜図1(d)は、表示装置10の動作を例示する模式図であり、観視者100(図示せず)の前方に2つの交差点(遠方交差点741及び近接交差点742)が存在している場合に対応する。近接交差点742及び遠方交差点741は、観視者100から観視可能である。
表示装置10において、表示の目的とするターゲット領域は、第1領域341と第2領域342とを含む。第1領域341は車両730から遠い領域であり、第2領域342は車両730から近い領域である。すなわち、第2領域342と車両730との間の第2距離は、第1領域341と車両730との間の第1距離よりも短い。
遠方交差点741は第1領域341に含まれ、近接交差点742が第2領域342に含まれるものとする。第1領域341及び第2領域342は、観視者100から観視可能である。
遠方交差点741は第1領域341に含まれ、近接交差点742が第2領域342に含まれるものとする。第1領域341及び第2領域342は、観視者100から観視可能である。
図1(a)〜図1(d)に表したように、第1領域341は、実景重畳可能範囲Ld3を外れており、第2領域342は、実景重畳可能範囲Ld3内である。
第1領域341及び第2領域342に対応させて表示オブジェクト180が表示される。
第1領域341及び第2領域342に対応させて表示オブジェクト180が表示される。
図1(a)〜図1(d)は、時間の経過に伴う表示オブジェクト180の変化を例示しており、図1(b)は図1(a)よりも後に対応し、図1(c)は図1(b)よりも後に対応し、図1(d)は図1(c)よりも後に対応する。
この例では、近接交差点742では進行方向を変更せず直進し、遠方交差点741において進行方向を変更する。すなわち、第1領域341は、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750を含む例である。すなわち、第1領域341は、車両730が進行方向を変える交差点を含む。そして、第2領域342は、進行経路に基づいて車両730の進行方向が変更されないと推定される地点を含む例である。すなわち、第2領域342は、車両730が直進すると推定される交差点を含む。
図1(a)〜図1(d)に表したように、画像データの表示オブジェクト180には、第1領域341の実景340(第1実景)に関する情報を含む第1外界オブジェクト341aと、第2領域342の実景340(第2実景)に関する情報を含む第2外界オブジェクト342aと、が設けられている。第1外界オブジェクト341aは、第1領域341に含まれる交差点(遠方交差点741)の形状などを示す図形を含む。第2外界オブジェクト342aは、第2領域342に含まれる交差点(近接交差点742)の形状などを示す図形を含む。
図1(a)に表したように、第2外界オブジェクト342aは、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置されている。さらに表示オブジェクト180には、直進を示す第2進行方向オブジェクト332aが設けられている。
すなわち、画像データは、進行経路に基づいて推定される第2領域342における車両730の進行方向(この場合は直進)を示し、画像データの映像712内に配置された第2進行方向オブジェクト332aをさらに含む。
すなわち、画像データは、進行経路に基づいて推定される第2領域342における車両730の進行方向(この場合は直進)を示し、画像データの映像712内に配置された第2進行方向オブジェクト332aをさらに含む。
このとき、進行方向変更地点750(遠方交差点741)に相当する第1領域341は、実景重畳可能範囲Ld3を外れているため、第1領域341での進行方向を示す矢印は表示されていない。
この後、図1(b)に表したように、第2領域342に重畳されて表示されていた第2外界オブジェクト342aは、映像712内で下方向に移動される。すなわち、第2外界オブジェクト342aの位置が、第2領域342の実景340の位置からシフトされる。そして、第1領域341の実景340(第1実景)に関する情報を含む第1外界オブジェクト341aの一部が、第1領域341の実景340の位置とは異なる位置に表示される。第1外界オブジェクト341aの全体が表示されていないこの状態においては、第1領域341における車両730の進行方向を示す表示オブジェクト180は表示されておらず、第2領域342における車両730の進行方向(この場合は直進)を示す第2進行方向オブジェクト332aが表示されている。
この後、図1(c)に表したように、第2領域342に対応する第2外界オブジェクト342aは、映像712内でさらに下方向に移動される。そして、第1領域341の実景340(第1実景)に関する情報を含む第1外界オブジェクト341aが、第1領域341の実景340の位置とは異なる位置に表示される。観視者100から見たときの第1外界オブジェクト341aの位置と、観視者100から見たときのターゲット領域(第1領域341)の実景340の位置と、のずれは、ターゲット領域(第1領域341)と車両730との間の距離に基づいて変更される。
これにより、観視者100は、実景重畳可能範囲Ld3を外れた第1領域341に含まれる遠方交差点741が認識できる。すなわち、観視者100は、遠方交差点741に対応する実景340の位置が、実景重畳可能範囲Ld3よりも前方であることが推定できる。すなわち、表示情報をより分かり易く認識させることができる。
このとき、例えば、第1領域341(遠方交差点741)における車両730の進行方向を示す第1進行方向オブジェクト331a(進行方向を変更する矢印)が、第1外界オブジェクト341aの画像データの映像712内の位置に基づいて表示される。すなわち、進行方向を変更する矢印(第1進行方向オブジェクト331a)は、進行方向変更地点750(遠方交差点741)の第1領域341の実景340(第1実景)に重畳されるのではなく(重畳することができず)、進行方向を変更する矢印(第1進行方向オブジェクト331a)は、第1領域341の実景340(第1実景)に関する情報を含む第1外界オブジェクト341aの表示位置に対応して表示される。
これにより、観視者100は、2つ目の交差点である遠方交差点741で進行方向を変更することが容易に認識できる。すなわち、観視者100は、実景重畳可能範囲Ld3を外れた遠方交差点741(進行方向変更地点750)を示す第1外界オブジェクト341aと、第1外界オブジェクト341aの表示位置に対応して表示される進行方向を変更する矢印(第1進行方向オブジェクト331a)と、を観視でき、矢印(第1進行方向オブジェクト331a)の示す位置が、実景重畳可能範囲Ld3を外れた遠方交差点741であることが推定できる。
この後、図1(d)に表したように、第2領域342に対応する第2外界オブジェクト342aは、映像712内でさらに下方向に移動され、実景重畳可能範囲Ld3から消える。そして、第1領域341の実景340(第1実景)に関する情報を含む第1外界オブジェクト341aが、映像712内で下方向に移動される。この場合も、第1外界オブジェクト341aは、第1領域341の位置とは異なる位置に表示される。そして、第1外界オブジェクト341aの位置の移動に伴って、進行方向を変更する矢印(第1進行方向オブジェクト331a)が、第1外界オブジェクト341aの表示位置に対応させて表示される。
これにより、観視者100は、2つ目の交差点で進行方向を変更することがさらに容易に認識できる。
これにより、観視者100は、2つ目の交差点で進行方向を変更することがさらに容易に認識できる。
このように、表示装置10においては、表示オブジェクト180をターゲット領域の実景340に重畳して表示できる第2領域342に関する表示の場合は、第2領域342の実景340に重畳させて第2外界オブジェクト342aを表示し、表示オブジェクト180をターゲット領域の実景340に重畳して表示できない第1領域341に関する表示の場合は、第1領域341の実景340からずれた位置に第1外界オブジェクト341aを表示する。そして、第1外界オブジェクト341aのその表示位置に基づいて、第1領域341(進行方向変更地点750)における進行方向を変更する矢印(第1進行方向オブジェクト331a)を表示する。
これにより、観視者100に表示情報をより分かり易く認識させることができる。すなわち、観視者100からは見えているが実景340に重畳できない位置(第1領域341)における進行方向の矢印を、実景340からずらした位置に表示される第1外界オブジェクト341aの位置に合わせて表示することで、第1領域341における進行方向を認識し易くなる。
このとき、実景340に重畳できる第2領域342に対応する第2外界オブジェクト342aを第2領域342の実景340に重畳させて表示し(例えば図1(a)に例示した状態)、その後、第2外界オブジェクト342aを第2領域342の実景340の位置からずらして表示しつつ、第1外界オブジェクト341aを表示する(例えば図1(b)〜図1(d)に例示した状態)ことで、実景340内における第1領域341の位置を観視者100は推定し易くなる。これにより、観視者100は、第1領域341における進行方向を示す矢印(第1進行方向オブジェクト331a)の実景340内における位置を推定し易くなる。すなわち、第1進行方向オブジェクト331aに対応する空間の位置と、実景340内における第1領域341と、の対応付けが容易になる。
なお、図1(a)〜図1(d)に例示した動作を繰り返して実施することができる。これにより、上記の対応付けがさらに容易になる。
なお、図1(a)〜図1(d)に例示した動作を繰り返して実施することができる。これにより、上記の対応付けがさらに容易になる。
図1(e)は、図1(a)〜図1(d)に例示した時刻よりも後に対応している。図1(e)は、車両730が近接交差点742を通過し、車両730が遠方交差点741に近づいたときに対応している。
図1(e)に表したように、進行方向変更地点750である遠方交差点741が、実景重畳可能範囲Ld3内に位置している。このときは、実景重畳可能範囲Ld3内の第2領域342が遠方交差点741(進行方向変更地点750)含むようになる。
図1(e)に表したように、進行方向変更地点750である遠方交差点741が、実景重畳可能範囲Ld3内に位置している。このときは、実景重畳可能範囲Ld3内の第2領域342が遠方交差点741(進行方向変更地点750)含むようになる。
このとき、第2領域342に対応する第2外界オブジェクト342aは、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置される。
そして、進行方向変更地点750における進行方向を示す矢印(実景重畳進行方向オブジェクト332b)が、進行方向変更地点750に対応する第2領域342の実景340に重畳して表示される。
このように、第2領域342が、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750を含むときは、画像データは、第2領域342における車両730の進行方向を示し、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置された実景重畳進行方向オブジェクト332bをさらに含むことができる。
このように、進行方向変更地点750(この場合は遠方交差点741)が実景重畳可能範囲Ld3内に位置しているときには、進行方向変更地点750を含む第2領域342に対応する第2外界オブジェクト342aと、進行方向を示す矢印(実景重畳進行方向オブジェクト332b)と、が、実景340に重畳して配置されるため、観視者100は、進行方向変更地点750とその場所における進行方向とを容易に認識することができる。
このように、表示装置10においては、画像データ生成部130は、表示の目的とするターゲット領域(例えば第1領域341及び第2領域342)の実景340に関する情報を含む外界オブジェクト(例えば第1外界オブジェクト341a及び第2外界オブジェクト342a)を含む画像データを生成する。画像データ生成部130は、観視者100から見たときの外界オブジェクトの位置と、観視者100から見たときのターゲット領域の実景340の位置と、のずれを、ターゲット領域と車両730との間の距離に基づいて変更する。
すなわち、第2領域342と車両730との距離である第2距離は、第1領域341と車両730との距離である第2距離よりも短い。
このときに、画像データ生成部130は、観視者100から見たときの第1外界オブジェクト341aの位置と、観視者100から見たときの第1領域341の実景340(第1実景)の位置と、のずれを、観視者100から見たときの第2外界オブジェクト342aの位置と、観視者100から見たときの第2領域342の実景340(第2実景)の位置と、のずれよりも大きくする。例えば、図1(d)に例示した状態における第1外界オブジェクト341aの位置と第1領域341の実景340(第2実景)の位置と、のずれは、図1(d)に例示した状態における第2外界オブジェクト342aの位置と第2領域342の実景340(第2実景)の位置と、のずれよりも大きい。
このときに、画像データ生成部130は、観視者100から見たときの第1外界オブジェクト341aの位置と、観視者100から見たときの第1領域341の実景340(第1実景)の位置と、のずれを、観視者100から見たときの第2外界オブジェクト342aの位置と、観視者100から見たときの第2領域342の実景340(第2実景)の位置と、のずれよりも大きくする。例えば、図1(d)に例示した状態における第1外界オブジェクト341aの位置と第1領域341の実景340(第2実景)の位置と、のずれは、図1(d)に例示した状態における第2外界オブジェクト342aの位置と第2領域342の実景340(第2実景)の位置と、のずれよりも大きい。
観視者100から遠い第1領域341の実景340の位置と第1外界オブジェクト341aの位置とのずれは大きく、観視者100から近い第2領域342の実景340の位置と第2外界オブジェクト342aの位置とのずれは小さい。
観視者100から近い第2領域342は、例えば、実景重畳可能範囲Ld3内である。一方、観視者100から遠い第1領域341は、実景重畳可能範囲Ld3から外れている。すなわち、第1領域341は、観視者100からフロントガラス部710を介して観視可能な位置であり、第1領域341は、観視者100から見たときに、フロントガラス部710における光束112が反射する領域に重ならない。
画像データ生成部130は、観視者100から遠く実景重畳可能範囲Ld3から外れている第1領域341に対応する第1外界オブジェクト341aを、観視者100から見たときの第1領域341の実景340(第1実景)よりも下側に配置する。すなわち、第1外界オブジェクト341aは、第1領域341の実景340(第1実景)よりも、観視者100に近い位置に配置される。
そして、画像データ生成部130は、観視者100から近く実景重畳可能範囲Ld3内の第2領域342に対応する第2外界オブジェクト342aを、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置する。
これにより、観視者100は、実景340に重畳できない第1領域341の外界の様子を、第1外界オブジェクト341aにより推定できる。
上記においては、車両730の進行すると推定される進行方向を例えば矢印の進行方向オブジェクト(例えば第1進行方向オブジェクト331a、第2進行方向オブジェクト332a及び実景重畳進行方向オブジェクト332bなど)によって示す例であるが、進行方向オブジェクトは必ずしも表示されなくても良く、例えば、第1外界オブジェクト341a及び第2外界オブジェクト342aの画像特性を制御することで、第1領域341及び第2領域342における進行すべき方向を観視者100に認識させることができる。
図6(a)〜図6(e)は、第1の実施形態に係る別の表示装置の動作を例示する模式図である。
これらの図は、実施形態に係る別の表示装置11の動作を例示している。表示装置11の構成は、表示装置10と同様とすることができるので説明を省略する。
これらの図は、実施形態に係る別の表示装置11の動作を例示している。表示装置11の構成は、表示装置10と同様とすることができるので説明を省略する。
この場合も、図6(a)〜図6(d)は、時間の経過に伴う表示オブジェクト180の変化を例示しており、図6(b)は図6(a)よりも後に対応し、図6(c)は図6(b)よりも後に対応し、図6(d)は図6(c)よりも後に対応する。
この例でも、第2領域342の近接交差点742では進行方向を変化させず直進し、第1領域341の遠方交差点741において進行方向を変化させる。
この例でも、第2領域342の近接交差点742では進行方向を変化させず直進し、第1領域341の遠方交差点741において進行方向を変化させる。
図6(a)に表したように、第2外界オブジェクト342aは、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置されている。
この後、図6(b)に表したように、第2領域342に重畳されて表示されていた第2外界オブジェクト342aは、映像712内で下方向に移動される。そして、第1領域341の実景340(第1実景)に関する情報を含む第1外界オブジェクト341aの一部が、第1領域341の実景340の位置とは異なる位置に表示される。
このとき、図6(b)に表したように、第1外界オブジェクト341aは、濃度(彩度でも良い)の高い部分と低い部分とを有する。これにより、第1外界オブジェクト341aに対応する第1領域341で進行方向を変更することが観視者100によって認識できる。すなわち、第1外界オブジェクト341aの画像特性を、第2外界オブジェクト342aの画像特性とは異ならせることで、第1外界オブジェクト341aの第1領域341が進行方向変更地点750であること、及び、その場所での進行方向を観視者100に認識させることができる。
ここで、外界オブジェクトの画像特性は、外界オブジェクトの色、明るさ、透過度(不透明度)、及び、輪郭部階調度、並びに、色の時間変化、明るさの時間変化、透過度(不透明度)の時間変化、及び、輪郭部階調度の時間変化の少なくともいずれかを含む。輪郭部階調度は、外界オブジェクトの輪郭の明瞭さ(または不明瞭さ)であり、例えば、外界オブジェクトのエッジのぼかしなどを含む。
この後、図6(c)に表したように、第2外界オブジェクト342aは、映像712内でさらに下方向に移動される。そして、第1外界オブジェクト341aが、第1領域341の実景340の位置とは異なる位置に表示される。そして、このときの第1外界オブジェクト341aの画像特性は、図6(b)に例示したときの第1外界オブジェクト341aの画像特性から変更されている。すなわち、第1外界オブジェクト341aの濃度の高い部分と低い部分との間隔が、図6(b)に例示した状態から短くされている。このように、画像特性を時間的に変化させることで、第1外界オブジェクト341aが含んでいる進行方向の変更に関する情報を、観視者100がより認識し易くなる。
この後、図6(d)に表したように、第2外界オブジェクト342aは、映像712内でさらに下方向に移動され、実景重畳可能範囲Ld3から消える。そして、第1外界オブジェクト341aが、映像712内で下方向に移動される。この場合も、第1外界オブジェクト341aは、第1領域341の位置とは異なる位置に表示される。そして、このときの第1外界オブジェクト341aの画像特性は、図6(c)に例示したときの第1外界オブジェクト341aの画像特性から変更されている。すなわち、第1外界オブジェクト341aの濃度の高い部分と低い部分との間隔が、図6(c)に例示した状態から短くなっている。外界オブジェクトを時間的に変化させることで、第1外界オブジェクト341aが含んでいる進行方向の変更に関する情報を、観視者100がより認識し易くなる。
これにより、観視者100は、2つ目の交差点で進行方向を変更することがさらに容易に認識できる。
このように、進行方向オブジェクトを用いず、例えば、第1外界オブジェクト341a及び第2外界オブジェクト342aの画像特性を制御することで、第1領域341及び第2領域342における進行すべき方向を観視者100に認識させることができる。
なお、図6(a)〜図6(d)に例示した動作を繰り返して実施しても良い。これにより、進行すべき方向の認識がより容易になる。
このように、進行方向オブジェクトを用いず、例えば、第1外界オブジェクト341a及び第2外界オブジェクト342aの画像特性を制御することで、第1領域341及び第2領域342における進行すべき方向を観視者100に認識させることができる。
なお、図6(a)〜図6(d)に例示した動作を繰り返して実施しても良い。これにより、進行すべき方向の認識がより容易になる。
図6(e)は、図6(a)〜図6(d)に例示した時刻よりも後に対応している。図6(e)は、車両730が近接交差点742を通過し、車両730が遠方交差点741に近づいたときに対応している。
図6(e)に表したように、進行方向変更地点750である遠方交差点741が、実景重畳可能範囲Ld3内に位置している。このときは、実景重畳可能範囲Ld3内の第2領域342が遠方交差点741(進行方向変更地点750)含むようになる。
図6(e)に表したように、進行方向変更地点750である遠方交差点741が、実景重畳可能範囲Ld3内に位置している。このときは、実景重畳可能範囲Ld3内の第2領域342が遠方交差点741(進行方向変更地点750)含むようになる。
このとき、第2領域342に対応する第2外界オブジェクト342aは、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置される。そして、この例では、第2外界オブジェクト342aの濃度の高い部分及び低い部分の位置が時間的に変化させられている。このように、第2外界オブジェクト342aを時間的に変化させることで、第2外界オブジェクト342aの第2領域342が進行方向変更地点750であること、及び、その場所での進行方向を観視者100に認識させることができる。
図7(a)〜図7(e)は、第1の実施形態に係る別の表示装置の動作を例示する模式図である。
これらの図は、実施形態に係る別の表示装置12の動作を例示している。表示装置12の構成は、表示装置10と同様とすることができるので説明を省略する。
これらの図は、実施形態に係る別の表示装置12の動作を例示している。表示装置12の構成は、表示装置10と同様とすることができるので説明を省略する。
図7(a)〜図7(e)に表したように、表示装置12においては、車両730の進行すると推定される進行方向が例えば矢印の進行方向オブジェクト(例えば第1進行方向オブジェクト331a、第2進行方向オブジェクト332a及び実景重畳進行方向オブジェクト332bなど)によって示されている。
表示装置12においては、第1外界オブジェクト341aの色が、第2外界オブジェクト342aの色とは異なっている。
すなわち、図7(a)に例示した状態においては、第2領域342に重畳して表示される第2外界オブジェクト342aの濃度(彩度でも良い)が低い。すなわち、第2外界オブジェクト342aの実景340に対する透過度が高い。
すなわち、図7(a)に例示した状態においては、第2領域342に重畳して表示される第2外界オブジェクト342aの濃度(彩度でも良い)が低い。すなわち、第2外界オブジェクト342aの実景340に対する透過度が高い。
図7(b)に例示した状態においては、第2領域342に重畳されて表示されていた第2外界オブジェクト342aは、映像712内で下方向に移動される。そして、第1外界オブジェクト341aの一部が、第1領域341の実景340の位置とは異なる位置に表示される。このときの第1外界オブジェクト341a(及び第2外界オブジェクト342a)の濃度は、図7(a)に例示した状態の第2外界オブジェクト342aの濃度よりも高くされている。すなわち、第1外界オブジェクト341a(及び第2外界オブジェクト342a)の透過度は、図7(a)に例示した状態の第2外界オブジェクト342aの透過度よりも低くされている。
図7(c)に例示した状態においては、第2外界オブジェクト342aは、映像712内でさらに下方向に移動される。そして、第1外界オブジェクト341aが、第1領域341の実景340の位置とは異なる位置に表示される。このときの第1外界オブジェクト341a(及び第2外界オブジェクト342a)の濃度は、図7(b)に例示した状態の第2外界オブジェクト342aの濃度よりも高くされている。
図7(d)に表したように、第2外界オブジェクト342aは、映像712内でさらに下方向に移動され、実景重畳可能範囲Ld3から消える。そして、第1外界オブジェクト341aが、映像712内で下方向に移動される。この場合も、このときの第1外界オブジェクト341a(及び第2外界オブジェクト342a)の濃度は、図7(c)に例示した状態の第2外界オブジェクト342aの濃度よりも高くされている。
このように、図7(a)に例示した状態における第2外界オブジェクト342aの濃度と、図7(b)、図7(c)及び図7(d)に示す外界オブジェクトの濃度と、を異ならせることで、図7(b)、図7(c)及び図7(d)で示された状態が、実景340に重畳されて外界オブジェクトが表示されているのではなく、実景340とは異なる位置に外界オブジェクトが表示されていることを観視者100に認識させることができる。特に、図7(a)から図7(d)への時間の経過と共に、外界オブジェクトの濃度を変化させることで、観視者100はその変化を自然に認識でき、より見易い表示ができる。
このように、第1外界オブジェクト341aの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、及び、輪郭部階調度の時間変化少なくともいずれかを含む画像特性を、第2外界オブジェクト342aの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、及び、輪郭部階調度の時間変化少なくともいずれかを含む画像特性とは異ならせることができる。これにより、実景340に重畳されて外界オブジェクトが表示されている状態、または、実景340とは異なる位置に外界オブジェクトが表示されている状態かを観視者100に認識し易くさせることができる。
なお、図7(a)〜図7(d)に例示した動作を繰り返して実施しても良い。これにより、外界オブジェクトと実景340との対応付けをより容易にできる。
なお、図7(a)〜図7(d)に例示した動作を繰り返して実施しても良い。これにより、外界オブジェクトと実景340との対応付けをより容易にできる。
図7(e)は、図7(a)〜図7(d)に例示した時刻よりも後に対応している。図7(e)は、車両730が近接交差点742を通過し、車両730が遠方交差点741に近づいたときに対応している。
図7(e)に表したように、進行方向変更地点750である遠方交差点741が、実景重畳可能範囲Ld3内に位置している。このときは、実景重畳可能範囲Ld3内の第2領域342が遠方交差点741(進行方向変更地点750)含むようになる。
図7(e)に表したように、進行方向変更地点750である遠方交差点741が、実景重畳可能範囲Ld3内に位置している。このときは、実景重畳可能範囲Ld3内の第2領域342が遠方交差点741(進行方向変更地点750)含むようになる。
図7(e)に例示した状態においては、第2領域342に対応する第2外界オブジェクト342aは、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置される。この例では、第2外界オブジェクト342aの濃度は、図7(e)に例示した第2外界オブジェクト342aの濃度と同様に低く設定されている。そして、進行方向変更地点750における進行方向を示す矢印(実景重畳進行方向オブジェクト332b)が、進行方向変更地点750に対応する第2領域342の実景340に重畳して表示される。
表示装置12によれば、観視者100は、実景重畳可能範囲Ld3を外れた第1領域341を容易に推定でき、第1領域341における進行方向の変更方向が容易に認識できる。そして、進行方向変更地点750が実景重畳可能範囲Ld3内に入ったときには、実景340に重畳された矢印(実景重畳進行方向オブジェクト332b)により進行方向の変更方向が容易に認識できる。
図8(a)〜図8(c)は、第1の実施形態に係る別の表示装置の動作を例示する模式図である。
これらの図は、実施形態に係る別の表示装置12aの動作を例示している。表示装置12aの構成は、表示装置10と同様とすることができるので説明を省略する。
これらの図は、実施形態に係る別の表示装置12aの動作を例示している。表示装置12aの構成は、表示装置10と同様とすることができるので説明を省略する。
表示装置12aの動作においては、第2領域342に重畳した表示が可能な第2外界オブジェクト342aの透過度を高く設定し、観視者100が第2外界オブジェクト342aを実質的に認識できない期間が設けられている。
図8(a)が示している時刻は、図7(a)が示している時刻に相当し、図8(c)が示している時刻は、図7(b)が示している時刻に相当する。そして、図8(b)が示している時刻は、図7(a)が示している時刻と図7(b)が示している時刻との間の時刻に相当する。
図8(a)に例示した状態においては、第2外界オブジェクト342aが第2領域342に重畳して表示されている期間のうちの少なくとも一部の期間において、第2外界オブジェクト342aの濃度が低い。例えば、第2外界オブジェクト342aの実景340に対する透過度が高く、観視者100は第2外界オブジェクト342aを実質的に知覚できない。このとき、第2領域342における進行方向は、第2進行方向オブジェクト332a(この場合は直進の矢印)によって示されており、観視者100は、第2領域342における進行方向を認識できる。
図8(b)に例示した状態においては、観視者100から見たときに、第2領域342から少しずれた位置(少し下側の位置)に第2外界オブジェクト342aが表示されている。このとき、第1領域342に対応する第1外界オブジェクト341aはまだ表示されていない。
この後、図8(c)に例示した状態においては、図7(b)に例示した状態と同様に、第2外界オブジェクト342aは、映像712内でさらに下方向に移動される。そして、第1外界オブジェクト341aの一部が、第1領域341の実景340の位置とは異なる位置に表示される。このときの第1外界オブジェクト341a(及び第2外界オブジェクト342a)の濃度は、図8(b)に例示した状態の第2外界オブジェクト342aの濃度よりも高くされている。すなわち、第1外界オブジェクト341a(及び第2外界オブジェクト342a)の透過度は、図8(b)に例示した状態の第2外界オブジェクト342aの透過度よりも低くされている。
この後、図7(c)〜図7(e)に関して説明した表示が行われる。
このとき、図7(e)に例示した状態では、図8(a)に例示した状態と同様に、第2外界オブジェクト342aが第2領域342に重畳して表示されている期間のうちの少なくとも一部の期間において、第2外界オブジェクト342aの実景340に対する透過度を高くして、観視者100は第2外界オブジェクト342aを実質的に知覚できないようにしても良い。なお、このとき、第2領域342における進行方向は、実景重畳進行方向オブジェクト332bによって示されており、観視者100は、進行方向を認識できる。
このとき、図7(e)に例示した状態では、図8(a)に例示した状態と同様に、第2外界オブジェクト342aが第2領域342に重畳して表示されている期間のうちの少なくとも一部の期間において、第2外界オブジェクト342aの実景340に対する透過度を高くして、観視者100は第2外界オブジェクト342aを実質的に知覚できないようにしても良い。なお、このとき、第2領域342における進行方向は、実景重畳進行方向オブジェクト332bによって示されており、観視者100は、進行方向を認識できる。
このように、第2領域342に対応する第2外界オブジェクト342aが、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置されている期間の少なくとも一部の期間において、第2外界オブジェクト342aが観視者100から知覚されない状態に設定されても良い。
すなわち、例えば、第2外界オブジェクト342aの透過度を実質的に100%に設定した場合は、第2外界オブジェクト342aは観視者100によって実質的に認識できない。このように、第2外界オブジェクト342aが観視者100から見たときに第2領域342の実景340(第2実景)に重畳して配置されている期間の少なくとも一部の期間において、第2外界オブジェクト342aを観視者100から見えなくし(この瞬間には、例えば矢印だけが見えている)、第2外界オブジェクト342aが観視者100から見たときに第2領域342の実景340(第2実景)の位置からから若干ずれているときに、第2外界オブジェクト342aを観視者100に観視させることもできる。この場合においても、観視者100は、第2領域342に対応する第2外界オブジェクト342aが、第2領域342の実景340に実質的に重畳されているように知覚できる。
このように、第2外界オブジェクト342aは、観視者100から見たときの第2領域342の実景340(第2実景)に必ずしも重畳して配置されていなくても良い。観視者100から見たときの第1外界オブジェクト341aの位置と、観視者100から見たときの第1領域341の実景340(第1実景)の位置と、のずれが、観視者100から見たときの第2外界オブジェクト342aの位置と、観視者100から見たときの第2領域342の実景340(第2実景)の位置と、のずれよりも大きく設定されても、見易い表示が提供できる。
すなわち、本実施形態に係る表示装置(表示装置10、11、12及び12aを含む)においては、観視者100から見たときの外界オブジェクトの位置と、観視者100から見たときの表示の目的とするターゲット領域の実景340の位置と、のずれが、ターゲット領域と車両730との間の距離に基づいて変更されれば良い。
さらに、図1(a)〜図1(e)などに例示したように、第1外界オブジェクト341aに含まれる輪郭線の延長線の少なくとも一部は、第2外界オブジェクト342aに含まれる輪郭線の延長線の少なくとも一部と重なることが望ましい。これにより、実景重畳可能範囲Ld3を外れた第1領域341に対応する第1外界オブジェクト341aと、実景重畳可能範囲Ld3内の第2領域342に対応する第2外界オブジェクト342aと、が連続して知覚され、第1外界オブジェクト341aに対応する実景340(すなわち、第1領域341)がより分かり易くなる。
画像データ生成部130における第1外界オブジェクト341aを含む画像データの生成は、第1外界オブジェクト341aの基となる図形に画像処理を施すことによって実施できる。すなわち、第1外界オブジェクト341aを含む画像データの生成は、第1領域341の実景340(第1実景)に関する情報を含み第1外界オブジェクトの基となるベース外界オブジェクトに、第1距離(車両730と第1領域341との距離)に基づいて、画像データの映像712内における移動(シフト)、拡大縮小(スケーリング)及び回転の少なくともいずれかを含む画像処理を施すことを含む。これにより、効率的に第1外界オブジェクト341aを生成することができる。
このとき、画像データ生成部130は、第1領域341と車両730との間の第1距離の変化に基づいて、上記の画像処理の程度を連続的に変化させることができる。これにより、観視者100の違和感が低減でき、より見易い表示が可能となる。
図9(a)〜図9(e)は、第1の実施形態に係る別の表示装置の動作を例示する模式図である。
これらの図は、実施形態に係る別の表示装置13の動作を例示している。表示装置13の構成は、表示装置10と同様とすることができるので説明を省略する。
これらの図は、実施形態に係る別の表示装置13の動作を例示している。表示装置13の構成は、表示装置10と同様とすることができるので説明を省略する。
図9(a)〜図9(e)に表したように、表示装置13においても、進行方向オブジェクト(例えば第1進行方向オブジェクト331a、第2進行方向オブジェクト332a及び実景重畳進行方向オブジェクト332bなど)が用いられている。
この例でも、第2領域342の近接交差点742では進行方向を変化させず直進し、第1領域341の遠方交差点741において進行方向を変化させる。この例は、遠方交差点741において進行方向が直進から左方向に変更される。
この例でも、第2領域342の近接交差点742では進行方向を変化させず直進し、第1領域341の遠方交差点741において進行方向を変化させる。この例は、遠方交差点741において進行方向が直進から左方向に変更される。
表示装置13においては、第1外界オブジェクト341aは、実景340を基準にしたベース外界オブジェクトに、移動(シフト)及び拡大縮小(スケーリング)の画像処理が施されて生成されている。また、この例では、外界オブジェクトの濃度(例えば透過度)も変更される。
すなわち、図9(a)に例示した状態においては、第2外界オブジェクト342aは第2領域342に重畳して表示されている。第2外界オブジェクト342aの濃度は低く、第2外界オブジェクト342aの実景340に対する透過度が高い。
図9(b)に例示した状態においては、第2領域342に重畳されて表示されていた第2外界オブジェクト342aは、映像712内の右側部分において下方向に移動される。そして、第1外界オブジェクト341aの一部が、第1領域341の実景340の位置とは異なる位置に表示される。第1外界オブジェクト341aの一部が、映像712内の右側部分に表示される。この第1外界オブジェクト341aは、実景340を基準にしたベース外界オブジェクトに、移動及び拡大縮小の画像処理が施されて生成されている。さらに、このときの第1外界オブジェクト341a(及び第2外界オブジェクト342a)の濃度は、図9(a)に例示した状態の第2外界オブジェクト342aの濃度よりも高くされている。
図9(c)に例示した状態においては、第2外界オブジェクト342aは、映像712内でさらに下方向に移動される。そして、第1外界オブジェクト341aが、第1領域341の実景340の位置とは異なる位置に表示される。すなわち、第1外界オブジェクト341aが、映像712内の右側部分に表示される。この第1外界オブジェクト341aの生成の際の画像処理(例えば移動及び拡大縮小)の程度は、図9(b)に例示した状態から変更されている。また、このときの第1外界オブジェクト341a(及び第2外界オブジェクト342a)の濃度は、図9(b)に例示した状態の第2外界オブジェクト342aの濃度よりも高くされている。
そして、第1領域341(遠方交差点741)における車両730の進行方向を示す第1進行方向オブジェクト331aが、第1外界オブジェクト341aの画像データの映像712内の位置に基づいて表示される。遠方交差点741における進行方向の左方向への変更を示す第1進行方向オブジェクト331aを観視者100が見ると、観視者100は前方の左側の実景340を注視し易くなる。このため、図9(b)及び図9(c)に例示したように、この例では、第1外界オブジェクト341aは、映像712内の右側部分に配置されている。これにより、観視者100においては、観視者100は前方の左側の実景340と、映像712の右側部分の第1外界オブジェクト341aと、を認識し易くなる。なお、図9(b)及び図9(c)に例示したように、第2外界オブジェクト342aも第1外界オブジェクト341aの映像712内での配置に連動させて映像712において右側部分に配置されている。これにより、観視者100の表示の見易さが向上する。
図9(d)に表したように、第2外界オブジェクト342aは、映像712内でさらに下方向に移動され、実景重畳可能範囲Ld3から消える。そして、第1外界オブジェクト341aが、映像712内で下方向に移動される。すなわち、第1外界オブジェクト341aが、映像712内の右側部分に表示される。この第1外界オブジェクト341aの生成の際の画像処理(例えば移動及び拡大縮小)の程度は、図9(c)に例示した状態から変更されている。この場合も、このときの第1外界オブジェクト341a(及び第2外界オブジェクト342a)の濃度は、図9(c)に例示した状態の第2外界オブジェクト342aの濃度よりも高くされている。
このように、図9(a)に例示した状態においては、第2外界オブジェクト342aを第2領域342に重畳して表示し、図9(b)〜図9(d)に例示した状態においては、第1外界オブジェクト341aが、実景340を基準にして移動、拡大縮小及び色の変更の画像処理が施されて、第1領域341の実景340の位置とは異なる位置に表示される。これにより、より見易さが向上した表示を提供できる。
なお、図9(a)〜図9(d)に例示した動作を繰り返して実施しても良い。これにより、表示情報をより認識し易くできる。
なお、図9(a)〜図9(d)に例示した動作を繰り返して実施しても良い。これにより、表示情報をより認識し易くできる。
図9(e)は、図9(a)〜図9(d)に例示した時刻よりも後に対応している。図9(e)は、車両730が近接交差点742を通過し、車両730が遠方交差点741に近づいたときに対応している。
図9(e)に表したように、進行方向変更地点750である遠方交差点741が、実景重畳可能範囲Ld3内に位置している。このときは、実景重畳可能範囲Ld3内の第2領域342が遠方交差点741(進行方向変更地点750)含むようになる。
図9(e)に例示した状態においては、第2領域342に対応する第2外界オブジェクト342aは、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置される。
図9(e)に表したように、進行方向変更地点750である遠方交差点741が、実景重畳可能範囲Ld3内に位置している。このときは、実景重畳可能範囲Ld3内の第2領域342が遠方交差点741(進行方向変更地点750)含むようになる。
図9(e)に例示した状態においては、第2領域342に対応する第2外界オブジェクト342aは、観視者100から見たときの第2領域342の実景340(第2実景)に重畳して配置される。
このように、実施形態によれば、例えば、実景重畳可能範囲Ld3を外れた第1領域341の実景340(第1実景)に関する情報を含む第1外界オブジェクト341aを実景340とは異なる位置に表示し、実景重畳可能範囲Ld3内の第2領域342の実景340(第2実景)に関する情報を含む第2外界オブジェクト342aを実景340に重畳して表示することで、実景重畳可能範囲Ld3を外れた遠方交差点741における進行方向を観視者100に推定させることが容易になる。
これにより、例えば、進行方向の変更に関する観視者100の判断の遅れが抑制される。これにより、安全性が向上する。
そして、実景重畳可能範囲Ld3を外れた第1領域341に対応する第1外界オブジェクト341aを、実景340を基準にした移動、拡大縮小及び回転の少なくともいずれかを含む画像処理によって生成することにより、第1外界オブジェクト341aと実景340との対応付けが容易になる。例えば、観視者100は、第1外界オブジェクト341aを観視したときに、第1外界オブジェクト341aが示す交差点が実景340の中のどの位置に対応するかが容易に認識できる。これにより、観視者100は、短時間で情報を認識でき、安全性の向上に繋がる。また、観視者100の疲労も抑制できる。
以下、本実施形態に係る表示装置10の表示部540(映像投影部115)の構成の例について説明する。
図2に例示した表示部540(映像投影部115)の構成は、表示装置10の具体例の1つである。図2に表したように、映像投影部115は、映像光形成部110と、光束投影部120と、を有する。
映像光形成部110は、例えば、光源111と、映像形成部117と、を有する。
図2に例示した表示部540(映像投影部115)の構成は、表示装置10の具体例の1つである。図2に表したように、映像投影部115は、映像光形成部110と、光束投影部120と、を有する。
映像光形成部110は、例えば、光源111と、映像形成部117と、を有する。
光源111は、光束112の基となる光を出射する。光源111には、LED(Light Emitting Diode)や高圧水銀ランプ、ハロゲンランプ、レーザなど各種のものを用いることができる。光源111にLEDを用いることで、消費電力を低減でき、また装置を軽量化でき、小型化できる。
映像形成部117には、例えば、液晶表示装置(LCD)などの光スイッチを用いることができる。そして、映像形成部117には、画像データ生成部130から画像データが供給され、映像形成部117は、その画像データに基づいて、映像712を含む光束112を生成する。
本具体例では、映像光形成部110は、光源111と映像形成部117との間に設けられたテーパライトガイド116をさらに有している。光源111から出射された光は、テーパライトガイド116において発散角がある程度の範囲に制御される。そして、その光は、映像形成部117を経ることで、映像712を含む光束112となり、この光束112の発散角はある程度の範囲に制御される。
光束投影部120は、映像光形成部110から出射した光束112を車両730のフロントガラス部710で反射させて、観視者100に向けて投影する。光束投影部120には、例えば、各種のレンズ、ミラー、及び、発散角(拡散角)を制御する各種の光学素子が用いられる。
本具体例では、光束投影部120は、光源側レンズ123と、アパーチャ124と、出射側レンズ125と、出射側ミラー126と、を含む。
本具体例では、光束投影部120は、光源側レンズ123と、アパーチャ124と、出射側レンズ125と、出射側ミラー126と、を含む。
光束112の進行方向に沿って、映像光形成部110と出射側ミラー126との間に光源側レンズ123が配置され、光源側レンズ123と出射側ミラー126との間にアパーチャ124が配置され、アパーチャ124と出射側ミラー126との間に出射側レンズ125が配置される。
本具体例では、出射側ミラー126は、凹面状であり、これにより、光束112に含まれる映像712の像を拡大して観視者100に投影できる。そして、出射側ミラー126は可動式とすることができ、例えば、観視者100の頭部105の位置や動きに合わせて、手動で、または、自動で、出射側ミラー126の位置や角度を調節し、光束112を観視者100の片方の目101に適切に投影させることができる。
この構成により、光束112の発散角が制御され、観視者100の位置において、光束112の投影領域114は一定の範囲に制御される。
観視者100の両目(瞳)の間隔は、例えば、60ミリメートル(mm)〜75mmであるので、片方の目101で観視させる場合には、観視者100の位置における光束112の投影領域114の大きさ(左右方向の幅)は、例えば、60mm〜75mm程度以下に設定される。この投影領域114の大きさは、主に光束投影部120に含まれる光学素子によって制御される。
なお、観視者100の位置における光束112の投影位置114aは、例えば、映像投影部115の設置位置や角度を変えることで制御することができる。例えば、映像光形成部110の設置位置、映像光形成部110の角度、光束投影部120の設置位置、及び光束投影部120の角度の少なくともいずれかを変えることで、投影位置114aが制御できる。
映像光形成部110及び光束投影部120のそれぞれの構成は、種々の変形が可能である。映像光形成部110に含まれる要素と、光束投影部120に含まれる要素と、の配置は任意であり、例えば、光束投影部120に含まれる要素どうしの間に、映像光形成部110(及びそれに含まれる要素)が挿入されていても良い。
映像投影部115は、上記の具体例の他に、各種の変形が可能である。
映像投影部115は、上記の具体例の他に、各種の変形が可能である。
実施形態に係る表示装置10に用いられる映像投影部115の構成は任意である。そして、上記においては、光束112が、観視者100の片方の目101に入射されることで、両眼視差による見難さが解消され、また、観視者100が知覚する奥行き感が増強されるため、本実施形態に係る上記の特性をより効果的に発揮できる。
なお、実施形態に係る表示装置10において、映像形成部117としては、LCDの他に、DMD(Digital Micromirror Device)、及び、MEMS(Micro-electro-mechanical System)等の各種光スイッチを用いることができる。また、映像光形成部110には、レーザプロジェクタやLEDプロジェクタなどを用いることもでき、その場合は、レーザビームやLEDからの光により映像を形成する。
(第2の実施の形態)
図10(a)〜図10(c)は、第2の実施形態に係る表示装置の動作を例示する模式図である。
これらの図は、本実施形態に係る表示装置14の動作を例示している。表示装置14の構成は、表示装置10と同様とすることができるので説明を省略する。以下では、表示装置14の動作について説明する。
図10(a)〜図10(c)は、第2の実施形態に係る表示装置の動作を例示する模式図である。
これらの図は、本実施形態に係る表示装置14の動作を例示している。表示装置14の構成は、表示装置10と同様とすることができるので説明を省略する。以下では、表示装置14の動作について説明する。
図10(a)〜図10(c)は、時間の経過に伴う表示オブジェクト180の変化を例示しており、図10(b)は図10(a)よりも後に対応し、図10(c)は図10(b)よりも後に対応する。
図10(a)に表したように、遠方交差点741は、実景重畳可能範囲Ld3から外れており、近接交差点742は実景重畳可能範囲Ld3内に位置している。そして、遠方交差点741が進行方向変更地点750であり、近接交差点742では、進行方向は変更せず直進する場合とする。
図10(a)に表したように、遠方交差点741は、実景重畳可能範囲Ld3から外れており、近接交差点742は実景重畳可能範囲Ld3内に位置している。そして、遠方交差点741が進行方向変更地点750であり、近接交差点742では、進行方向は変更せず直進する場合とする。
図10(a)に表したように、進行方向変更地点750における車両730の進行方向を示す第3進行方向オブジェクト333aが表示される。この第3進行方向オブジェクト333aは、進行方向変更地点750の実景340には重畳されない(重畳できない)。この例では、第3進行方向オブジェクト333aは、2つの要素図形(矢印など)を有している。1つ目(映像712内で最も下側)の要素図形は直進の矢印であり、これにより、1つ目の矢印に対応する1つ目の交差点における進行方向は直進であることが示される。2つ目(映像内での下から2番目)の要素図形は左折の矢印であり、これにより、2つ目の矢印に対応する2つ目の交差点(進行方向変更地点750)において、進行方向を左方向に変更することが示される。
本具体例では、1つ目の要素図形(矢印)の色と、2つ目の要素図形(矢印)の色とが異なっている。これにより、1つ目の要素図形に対応する交差点は、実景重畳可能範囲Ld3内に位置する近接交差点742に対応し、2つ目の要素図形に対応する交差点が、実景重畳可能範囲Ld3を外れた遠方交差点741に対応することが直感的に認識される。 なお、要素図形の形は、矢印に限らず、三角形など、方向性を認識させる任意の図形を用いることができる。
図10(c)に表したように、その後時間が経過し、車両730が進行方向変更地点750に近づき、進行方向変更地点750が実景重畳可能範囲Ld3内に位置する状態となる。このとき、進行方向変更地点750における進行方向を示す第4進行方向オブジェクト334aが表示される。第4進行方向オブジェクト334aは、進行方向変更地点750の実景340に重畳される。例えば、この第4進行方向オブジェクト334aの色は、第3進行方向オブジェクト333aの色とは異なる。これにより、第4進行方向オブジェクト334aが示す交差点が、実景重畳可能範囲Ld3内に位置しており、第4進行方向オブジェクト334aが実景重畳可能範囲Ld3内の進行方向変更地点750に重畳されていることが直感的に認識できる。
このように、本実施形態においては、画像データ生成部130は、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750と、車両730と、の間の距離が第3距離のときに、進行方向変更地点750における車両730の進行方向を示す第3進行方向オブジェクト333aを含む第3画像データを生成する。これにより、図10(a)に例示した映像712が得られる。
そして、画像データ生成部130は、進行方向変更地点750と、車両730と、の間の距離が第3距離よりも短い第4距離のときに、進行方向変更地点750における車両730の進行方向を示し、観視者100から見たときの進行方向変更地点750の実景340に重畳させて配置される第4進行方向オブジェクト334aを含む第4画像データを生成する。第4進行方向オブジェクト334aは、第3進行方向オブジェクト333aの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有する。これにより、図10(c)に例示した映像712が得られる。
これにより、実景重畳可能範囲Ld3を外れた遠方交差点741における進行方向を観視者100に推定させることが容易になり、表示情報をより分かり易く認識させることができる。
さらに、図10(b)に表したように、進行方向変更地点750と、車両730と、の間の距離が第3距離と第4距離との間の距離のときに、図10(a)に例示した映像712と図10(c)に例示した映像712との中間の映像712を表示することができる。
すなわち、図10(b)に表したように、図10(a)に例示した状態よりも、進行方向変更地点750は車両730に近づいている。ただし、図10(b)の状態においても、遠方交差点741は、実景重畳可能範囲Ld3から外れている。
この状態に対応して、進行方向変更地点750における車両730の進行方向を示す第5進行方向オブジェクト335aが表示される。この第5進行方向オブジェクト335aは、進行方向変更地点750の実景340には重畳されない(重畳できない)。第5進行方向オブジェクト335aは、2つの要素図形(矢印など)を有している。第5進行方向オブジェクト335aにおける1つ目の要素図形は、第3進行方向オブジェクト333aにおける1つ目の要素図形と実質的に同じである。一方、第5進行方向オブジェクト335aにおける2つ目の要素図形の色は、第3進行方向オブジェクト333aにおける2つ目の要素図形の色とは異なっている。これにより、第5進行方向オブジェクト335aが示している進行方向変更地点750が、図10(a)に例示した状態から車両730に近づいていることが観視者100に認識させることができる。
このように、画像データ生成部130は、進行方向変更地点750と車両730との間の距離が第3距離と第4距離との間の第5距離のときに、進行方向変更地点750における車両730の進行方向を示す第5進行方向オブジェクト335aを含む第5画像データをさらに生成することができる。第5進行方向オブジェクト335aは、第3進行方向オブジェクト333a及び第4進行方向オブジェクト334aの色、明るさ、透過度、輪郭部階調度、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有する。
例えば、第5進行方向オブジェクト335aは、第3進行方向オブジェクト333aの画像特性と第4進行方向オブジェクト334aの画像特性との中間の画像特性を有することができる。これにより、実景重畳可能範囲Ld3を外れた遠方交差点741における進行方向を観視者100により分かり易く推定させることができる。
図11(a)〜図11(c)は、第2の実施形態に係る別の表示装置の動作を例示する模式図である。
これらの図は、本実施形態に係る表示装置15の動作を例示している。表示装置15の構成は、表示装置10と同様とすることができるので説明を省略する。以下では、表示装置15の動作について説明する。
これらの図は、本実施形態に係る表示装置15の動作を例示している。表示装置15の構成は、表示装置10と同様とすることができるので説明を省略する。以下では、表示装置15の動作について説明する。
図11(a)〜図11(c)に表したように、表示装置15においては、表示装置14に関して説明した第3進行方向オブジェクト333a、第4進行方向オブジェクト334a及び第5進行方向オブジェクト335aに加えて、第1の実施形態に関して説明した第1外界オブジェクト341a及び第2外界オブジェクト342aを表示している。
これにより、実景重畳可能範囲Ld3を外れた遠方交差点741における進行方向を観視者100により分かり易く推定させることができる。
本実施形態においても、映像投影部115は、光束112を観視者100の片方の目101に投影することができる。これにより、両眼視差による見難さが解消され、また、観視者100が知覚する奥行き感が増強されるため、本実施形態に係る上記の特性がより効果的に発揮できる。
(第3の実施の形態)
第3の実施形態に係る画像データ生成装置530(画像データ生成部130)は、例えば車両730などの移動体用の表示装置に用いられる画像データ生成装置である。
画像データ生成装置530は、車両730に搭乗する観視者100に車両730の外界の実景に重畳させて提示すべき映像を含む画像データを生成する。
第3の実施形態に係る画像データ生成装置530(画像データ生成部130)は、例えば車両730などの移動体用の表示装置に用いられる画像データ生成装置である。
画像データ生成装置530は、車両730に搭乗する観視者100に車両730の外界の実景に重畳させて提示すべき映像を含む画像データを生成する。
図12は、第3の実施形態に係る画像データ生成装置の動作を例示するフローチャート図である。
図12に表したように、画像データ生成装置530は、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む外界オブジェクトを含む画像データを生成するにあたり、観視者100から見たときの外界オブジェクトの位置と、観視者100から見たときのターゲット領域の実景340の位置と、のずれを、ターゲット領域と車両730との間の距離に基づいて変更する(ステップSA1)。
図12に表したように、画像データ生成装置530は、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む外界オブジェクトを含む画像データを生成するにあたり、観視者100から見たときの外界オブジェクトの位置と、観視者100から見たときのターゲット領域の実景340の位置と、のずれを、ターゲット領域と車両730との間の距離に基づいて変更する(ステップSA1)。
すなわち、画像データ生成装置530は、例えば、図1(a)〜図1(e)、図6(a)〜図6(e)、図7(a)〜図7(e)、図8(a)〜図8(c)、図9(a)〜図9(e)に関して説明した動作を実施する。
例えば、ターゲット領域は、車両730との距離が第1距離である第1領域341と、車両730との距離が第1距離よりも短い第2距離である領域342と、を含む。
第1領域341の少なくとも一部は、観視者100からフロントガラス部710を介して観視可能である。第1領域341の少なくとも一部は、観視者100から見たときに、フロントガラス部710における光束112が反射する領域に重ならない。すなわち、第1領域341は、実景重畳可能範囲Ld3を外れている。
一方、第2領域342は、実景重畳可能範囲Ld3内である。すなわち、第2領域342の少なくとも一部は、観視者100からフロントガラス部710を介して観視可能であり、第2領域342の少なくとも一部は、観視者100から見たときに、フロントガラス部710における光束112が反射する領域に重なる。
画像データは、第1領域341の第1実景に関する情報を含む第1外界オブジェクト341aと、第2領域342の第2実景に関する情報を含む第2外界オブジェクト342aと、を含む。
画像データ生成装置530は、観視者100から見たときの第1外界オブジェクト341aの位置と、観視者100から見たときの第1実景の位置と、のずれを、観視者100から見たときの第2外界オブジェクト342aの位置と、観視者100から見たときの第2実景の位置と、のずれよりも大きく設定する。
画像データ生成装置530は、例えば、第1外界オブジェクト341aを、観視者100から見たときの第1領域341の第1実景よりも下側に配置し、第2外界オブジェクト342aを、観視者100から見たときの第2領域342の第2実景に重畳して配置する。
第1領域341は、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750を含むことができる。画像データ生成装置530は、第1領域341における車両730の進行方向を示す第1進行方向オブジェクト331aを、第1外界オブジェクト341aの画像データの映像712内の位置に基づいて映像712内に配置する。
画像データ生成装置530は、進行経路に基づいて推定される第2領域342における車両730の進行方向を示す第2進行方向オブジェクト332aを、画像データの映像712内に配置する。
第2領域342は、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750を含むことができる。画像データ生成装置530は、第2領域342における車両730の進行方向を示す実景重畳進行方向オブジェクト332bを、観視者100から見たときの第2領域342の第2実景に重畳して配置する。
これにより、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む表示オブジェクト180(例えば第1外界オブジェクト341a)を、観視者100から見たときにターゲット領域の実景340に重畳して表示できないときにおいても、表示オブジェクト180(第1外界オブジェクト341a)を観視者100から見たときにターゲット領域の実景340の位置とは異なる位置に配置して、観視者100に分かり易く提示することができる。このように、実施形態によれば、表示情報をより分かり易く認識させることができる。
図13は、第3の実施形態に係る画像データ生成装置の別の動作を例示するフローチャート図である。
図13に表したように、画像データ生成装置530は、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750と、車両730と、の間の距離が第3距離のときに、進行方向変更地点750における車両730の進行方向を示す第3進行方向オブジェクト333aを含む第3画像データを生成する(ステップSB1)。
図13に表したように、画像データ生成装置530は、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750と、車両730と、の間の距離が第3距離のときに、進行方向変更地点750における車両730の進行方向を示す第3進行方向オブジェクト333aを含む第3画像データを生成する(ステップSB1)。
さらに、画像データ生成装置530は、進行方向変更地点750と車両730との間の距離が第3距離よりも短い第4距離のときに、進行方向変更地点750における車両730の進行方向を示し、第3進行方向オブジェクト333aの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有し、観視者100から見たときの進行方向変更地点750の実景340に重畳させて配置される第4進行方向オブジェクト334aを含む第4画像データを生成する(ステップSB2)。
さらに、画像データ生成装置530は、進行方向変更地点750と車両730との間の距離が第3距離と第4距離との間の第5距離のときに、進行方向変更地点750における車両の進行方向を示し、第3進行方向オブジェクト333a及び第4進行方向オブジェクト334aの色、明るさ、透過度、輪郭部階調度、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有する第5進行方向オブジェクト335aを含む第5画像データをさらに生成しても良い。
すなわち、例えば、図10(a)〜図10(c)関して説明した動作を実施する。さらに、図11(a)〜図11(c)関して説明したように、第1外界オブジェクト341a及び第2外界オブジェクト342aをさらに生成しても良い。
これにより、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む表示オブジェクト180(例えば第3進行方向オブジェクト333a)を、観視者100から見たときにターゲット領域の実景340に重畳して表示できないときにおいても、表示オブジェクト180(第3進行方向オブジェクト333a)を観視者100から見たときにターゲット領域の実景340の位置とは異なる位置に配置し、観視者100に分かり易く提示することができる。このとき、第3進行方向オブジェクト333aの画像特性を、実景340に重畳して配置される第4進行方向オブジェクト334aの画像特性とは異ならせることで、観視者100は、第3進行方向オブジェクト333aがターゲット領域の実景340とは異なる位置に配置されていることを容易に認識できる。実施形態によれば、表示情報をより分かり易く認識させることができる。
なお、ステップSB1に含まれる処理の少なくとも一部、及び、ステップSB2に含まれる処理の少なくとも一部は、技術的に可能な範囲で同時に実施されることができる。また、ステップSB1に含まれる処理の少なくとも一部、及び、ステップSB2に含まれる処理の少なくとも一部の順序は、技術的に可能な範囲で入れ替えが可能である。
図12に関して説明した動作、及び、図13に関して説明した動作は、以下に説明する動作により実施することができる。
図14は、第3の実施形態に係る画像データ生成装置の別の動作を例示するフローチャート図である。
図14に表したように、画像データ生成装置530は、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む表示オブジェクト180(外界オブジェクト及び進行方向オブジェクトの少なくともいずれかを含む)を、観視者100から見たときにターゲット領域の実景340に重畳して表示できないときに、表示オブジェクト180を観視者100から見たときにターゲット領域の実景340の位置とは異なる位置に配置した表示オブジェクト180を生成するにあたり、画像データ生成装置530は、車両730のターゲット領域の実景340に関する情報を含むベース表示オブジェクトに、観視者100から見たときの表示オブジェクト180の配置される位置と、観視者100から見たときのターゲット領域の実景340の位置と、の間のずれ量に基づいて映像712内における移動、拡大縮小及び回転の少なくともいずれかの画像処理を施す(ステップSC1)。
図14は、第3の実施形態に係る画像データ生成装置の別の動作を例示するフローチャート図である。
図14に表したように、画像データ生成装置530は、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む表示オブジェクト180(外界オブジェクト及び進行方向オブジェクトの少なくともいずれかを含む)を、観視者100から見たときにターゲット領域の実景340に重畳して表示できないときに、表示オブジェクト180を観視者100から見たときにターゲット領域の実景340の位置とは異なる位置に配置した表示オブジェクト180を生成するにあたり、画像データ生成装置530は、車両730のターゲット領域の実景340に関する情報を含むベース表示オブジェクトに、観視者100から見たときの表示オブジェクト180の配置される位置と、観視者100から見たときのターゲット領域の実景340の位置と、の間のずれ量に基づいて映像712内における移動、拡大縮小及び回転の少なくともいずれかの画像処理を施す(ステップSC1)。
これにより、例えば、上記で説明した第1外界オブジェクト341aが生成される。ずれ量が実質的にない場合として、第2外界オブジェクト342aが生成される。また、第1外界オブジェクト341aと第2外界オブジェクト342aとの中間の状態の外界オブジェクトが生成できる。
さらに、第1進行方向オブジェクト331aを生成することができる。ずれ量が実質的にない場合として、第2進行方向オブジェクト332a及び実景重畳進行方向オブジェクト332bが生成される。また、上記の第3進行方向オブジェクト333aを生成することができる。ずれ量が実質的にない場合として、第4進行方向オブジェクト334aが生成される。さらに、第3進行方向オブジェクト333aと第4進行方向オブジェクト334aの中間の状態として、第5進行方向オブジェクト335aが生成される。
画像データ生成装置530は、表示オブジェクト180の色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、及び、輪郭部階調度の時間変化の少なくともいずれかを含む画像特性を、上記のずれ量に基づいて変更することができる。
以下、画像データ生成装置530の動作の例について具体的に説明する。
図15は、第3の実施形態に係る画像データ生成装置の動作を例示する模式図である。 図15に表したように、画像データ生成装置530は、提示情報取得部P01と、実景情報取得部P02と、提示条件取得部P03と、生成条件算出部P04と、ずれ量算出部P05と、表示オブジェクト生成部P06と、画像データ出力部P07と、を備える。
図15は、第3の実施形態に係る画像データ生成装置の動作を例示する模式図である。 図15に表したように、画像データ生成装置530は、提示情報取得部P01と、実景情報取得部P02と、提示条件取得部P03と、生成条件算出部P04と、ずれ量算出部P05と、表示オブジェクト生成部P06と、画像データ出力部P07と、を備える。
提示情報取得部P01、実景情報取得部P02、提示条件取得部P03、生成条件算出部P04、ずれ量算出部P05、表示オブジェクト生成部P06及び画像データ出力部P07は、画像データ生成装置530で実施される処理に対応するものであり、画像データ生成装置530内の同じ部分が、複数の処理を実施しても良く、また、画像データ生成装置530内の異なる部分が、複数の処理のいずれかを実施しても良い。
提示情報取得部P01は、実景340に重畳して提示される、表示の目的とする提示情報を取得する。提示情報は、例えば、車両730の進行経路に関するナビゲーション情報などを含む。
実景情報取得部P02は、車両730の外界の実景340に関する実景情報を取得する。実景情報は、例えば、車両730が進行している道の境界の位置、車線の位置、及び、曲がり角の位置の少なくともいずれかを含む。外界の実景340に関する情報は、例えば、車両730に搭載されるイメージセンサに基づく情報、GPS(Global Positioning System)情報、及び、地図情報などから得られる。
提示条件取得部P03は、表示オブジェクト180を提示する際の提示条件を取得する。提示条件は、提示できる領域、提示できる時間、及び、提示できる色の少なくともいずれかを含む。
生成条件算出部P04は、提示情報取得部P01で取得された提示情報、実景情報取得部P02で取得された実景情報、及び、提示条件取得部P03で取得された提示条件に基づいて、表示オブジェクト180を生成する際に用いられる生成条件を算出する。
ずれ量算出部P05は、生成条件算出部P04で算出された生成条件に基づいて、観視者100から見たときの実景340の位置と、観視者100から見たときの表示オブジェクト180の位置と、のずれ量を算出する。すなわち、ずれ量が推定される。
表示オブジェクト生成部P06は、生成条件算出部P04で算出された生成条件と、ずれ量算出部P05で算出されたずれ量と、に基づいて表示オブジェクト180を生成する。
画像データ出力部P07は、表示オブジェクト生成部P06で生成された表示オブジェクト180を含む画像データを出力する。出力された画像データは、例えば、車両730に搭載される表示部540に入力される。
提示情報取得部P01において取得される提示情報は、例えば、実景340に重畳されて提示されたときに、車両730の外界の実際の風景の位置と、提示情報の位置と、の関係を示す。これにより、観視者100は、これらの位置どうしの関係により情報を認識することができる。提示情報は、例えば、車両730のフロントガラス部710に重畳して表示されるナビゲーション情報を含む。また、提示情報は、観光地などにおいてシースルーガラスに重畳して表示される観光案内情報を含むことができる。提示情報は、博物館や美術館などにおいてシースルーガラスに重畳して表示される展示品の内容説明情報などを含むことができる。
提示情報は、例えば、実景情報で得られるオブジェクトと対応付けされるID情報、実景情報で得られるオブジェクトの内容を示す属性情報、及び、実景340に重畳して提示する内容を示す提示内容情報などを含む。例えば、道案内を行うアプリケーションにおいては、提示情報は、「ID情報:353301_1394135_90、属性情報:道路及び交差点、並びに、提示内容情報:左折案内」を含む。
道案内を行うアプリケーションにおいて、ID情報は、緯度経度及び視線の角度の情報を含むことができる。ID情報は、地図情報を管理するアプリケーションに含まれる独自の情報及び座標情報を含むことができる。このとき、実景情報で得られるオブジェクトに関しても同様のID情報が含まれる。提示情報は、例えば、カーナビゲーションシステム及び携帯端末などで利用されているナビゲーション情報を受信することによって取得される。
取得された提示情報(提示情報に基づく情報を含む)は、画像データ生成装置530の内部または外部に設けられるデータ格納部に格納されることができる。
実景情報取得部P02は、上記の提示情報と対応付けされる実景情報を取得する。例えば、車両730に搭載されるカメラなどによって撮影した実景340に関するデータに基づいて、エッジ検出などによる画像認識処理が行われ、車両730の前に存在する道路の道幅、車線の位置、曲がり角の位置などが検出される。このような検出結果を、GPS情報及び地図情報などと照合し、提示情報で用いられているID情報と関連付けることによって、実景情報が得られる。
取得された実景情報(実景情報に基づく情報を含む)は、画像データ生成装置530の内部または外部に設けられるデータ格納部に格納されることができる。
提示条件取得部P03は、例えば、実景重畳可能範囲Ld3に対応する画像データ上の範囲の座標情報を取得する。この範囲が矩形領域である場合は、例えば、この矩形領域の4つの頂点の座標が取得される。または、この範囲の1つの頂点(基準点)の座標とこの範囲の幅や高さの情報と、が取得される。
さらに、実景重畳可能範囲Ld3の領域内に含まれる3次元空間の実景340の範囲を算出する際に用いられる、車両730の位置情報、車両730の姿勢(向いている角度)の情報、俯角情報、画角(パース)情報などの情報が取得される。
アプリケーションによっては、安全性、及び、実景340との親和性の観点に基づいて定められる提示する時間(タイミング)、提示する色、提示する透過度、提示する輝度などを含む条件がさらに取得される。
取得された提示条件(提示条件に基づく情報を含む)は、画像データ生成装置530の内部または外部に設けられるデータ格納部に格納されることができる。
生成条件算出部P04においては、表示オブジェクト180(コンテンツ)を生成する際に用いられる生成条件として、例えば、コンテンツ変換の有無の判断、コンテンツ変換方法の決定、コンテンツ変換パラメータの算出、アニメーション方法の決定、及び、コンテンツの色や提示タイミングを含む提示特性の算出を行う。
コンテンツ変換の有無の判定においては、実景340とコンテンツとの間で、位置、スケール及び回転角度とがマッチした状態から、シフト、スケーリング及び回転などによってコンテンツを変換する処理を実施するか実施しないかの判定を行う。例えば、実景情報取得部P02で取得され実景情報、及び、提示条件取得部P03で取得され提示条件に基づいて、3次元空間である実景340のどの領域に対して、コンテンツを重畳して提示できるかが算出される。提示情報取得部P01で取得され提示情報に基づくコンテンツ(道案内など)に対応するターゲット領域の実景340が、実景重畳可能範囲Ld3内に存在するかしないかによって、コンテンツ変換の有無が判定される。
ターゲット領域の実景340が実景重畳可能範囲Ld3内に存在する場合は、コンテンツ変換は「無」と判定される。ターゲット領域の実景340が、実景重畳可能範囲Ld3を外れている場合は、コンテンツ変換は「有」と判定される。
実景重畳可能範囲Ld3を基準としたコンテンツ変換の有無の判定に加え、観視者100の注視の程度に基づいて指定される領域を基準としたコンテンツ変換の有無の判定を行っても良い。また、提示情報の重要度に基づいて、コンテンツ変換の有無の判定を行っても良い。
コンテンツ変換が「有」と判定された場合、コンテンツ変換の方法が決定される。コンテンツ変換の方法として、位置を変換するシフト、スケールを変換するスケーリング、及び、回転角度を変換する回転の少なくとも1つが選択される。
進行方向が実質的に一定であり、その進行方向に沿った位置に提示する際には、進行方向とは逆の方向へのシフトが採用される。映像712内に、全体の風景の縮小図を提示する際には、シフトとスケーリングとを組み合わせた方法が採用される。映像712内に全体の風景を真上から見下ろした2次元の縮小図として提示させる際には、シフトとスケーリングと回転とを組み合わせた方法が採用される。
コンテンツ変換方法の決定は、例えば、画像データ生成装置530の内部に設定された変換方法を採用することを含むことができる。コンテンツ変換方法の決定は、例えば、ユーザから入力された変換方法及び外部装置などから入力された変換方法の少なくともいずれか採用することを含むことができる。また、コンテンツ変換方法の決定は、例えば、シフト、スケーリング及び回転を比較してアニメーションの動線が最小となる(後述するコンテンツ変換パラメータが小さくなる)方法を採用することを含むことができる。
コンテンツ変換パラメータの算出においては、実景340にマッチした状態のコンテンツに施されるコンテンツ変換における、シフト、スケーリング及び回転の程度に対応するコンテンツ変換パラメータが算出される。コンテンツ変換パラメータCCPは、例えば以下のように表される。
CCP=(dx,dy,dz,sx,sy,sz,θx,θy,θz)
ここで、dx、dy及びdzは、それぞれ3次元座標のx軸、y軸及びz軸に関するシフト量であり、sx、sy及びszは、それぞれ3次元座標のx軸、y軸及びz軸に関するスケーリング量であり、θx、θy及びθzは、それぞれ3次元座標のx軸、y軸及びz軸に関する回転量(度またはラジアン)である。
CCP=(dx,dy,dz,sx,sy,sz,θx,θy,θz)
ここで、dx、dy及びdzは、それぞれ3次元座標のx軸、y軸及びz軸に関するシフト量であり、sx、sy及びszは、それぞれ3次元座標のx軸、y軸及びz軸に関するスケーリング量であり、θx、θy及びθzは、それぞれ3次元座標のx軸、y軸及びz軸に関する回転量(度またはラジアン)である。
ここで、実景340にマッチした状態のコンテンツを基準とする。すなわち、基準状態において、コンテンツ変換パラメータCCPは(0,0,0,0,0,0,0,0,0)である。そして、コンテンツ変換後のコンテンツの状態が基準の状態に対して、どれだけシフト、スケーリング及び回転しているかによって、コンテンツ変換パラメータCCPが算出される。
コンテンツ変換後の状態は、決定された変換方法を用いて変換を実施した後のコンテンツの状態である。変換後には、例えば、コンテンツは、実景重畳可能範囲Ld3の内側(例えば実景重畳可能範囲Ld3の中心)に配置される。
また、例えば道案内の1つである左折案内の場合には、左側の曲がり角の実景340を観視者100が見易くなるように、コンテンツは映像712内の右側部分に配置される。右折案内の場合には、右側の曲がり角の実景を観視者100が見易くなるように、コンテンツは映像712内の左側部分に配置される。
アニメーション方法の決定においては、コンテンツ変換前の状態と、コンテンツ変換後の状態と、の間のアニメーションの方法が決定される。
アニメーションにおいては、例えば、一定時間で、コンテンツ変換前の状態とコンテンツ変換後の状態とを線形補間する処理が行われる。つまりコンテンツ変換前の状態とコンテンツ変換後の状態をキーフレームとして、キーフレームアニメーションが行われる。コンテンツ変換前の状態とコンテンツ変換後の状態とのどちらを始点にしてどちらを終点にするかは、使用状態に基づいて変更することができる。
コンテンツ変換前の状態を始点としコンテンツ変換後の状態を終点とすると、初めの段階では、コンテンツは実景340とマッチした状態で重畳されており、コンテンツは実景重畳可能範囲Ld3を外れた位置に配置されており、観視者100はコンテンツを観視できない。その後、徐々にコンテンツ変換後の状態に近づくにつれて、提示したいコンテンツは実景重畳可能範囲Ld3内に配置され、観視者100はコンテンツを見える状態となる。観視者100は、実景340のコピーが剥ぎ取られ浮き上がって見えてくるように知覚する。
コンテンツ変換後の状態を始点としコンテンツ変換前の状態を終点とすると、初めの段階では、コンテンツは観視者100に見えているが、コンテンツが実景340からずれて配置されているため、コンテンツが実景340のどの部分に対応するのかが分かり難い。その後、コンテンツ変換前の状態に近づくにつれて、コンテンツが実景340にマッチするように変化し、最終的にはコンテンツが実景340にマッチする。観視者100は、剥ぎ取られた実景340のコピーが徐々に実景340に溶け込んでいくように知覚する。
提示特性の算出では、コンテンツの色や提示タイミングなどを含む提示特性が算出される。例えば、提示条件取得部P03で取得された提示条件に基づいて、提示できる時間(タイミング)、提示できる色、透過度、及び、輝度などの条件がコンテンツの生成条件とされる。例えば、車両730の前方を走行する他車と車両730との車間距離が一定距離以下である期間は、コンテンツを表示しないという条件が設定されている場合は、その期間にはコンテンツを生成しない。また、例えば、コンテンツに赤系の色を使用しないという条件や、輝度に関する条件がある場合には、その条件がコンテンツの生成条件として採用される。
ずれ量算出部P05においては、生成条件算出部P04で算出された生成条件に基づいて、実景340の位置と、コンテンツの位置と、のずれ量が算出される。ずれ量の算出においては、例えば、変換前と変換後との割合でずれ量を算出する方法、及び、最大値からの割合でずれ量を算出する方法、の少なくともいずれかが採用できる。
変換前と変換後との割合でずれ量を算出する方法では、例えば、コンテンツ変換前の状態のずれ量を0とし、コンテンツ変換後の状態のずれ量を1とすると、アニメーションにおける線形補間された状態は、その補間率がずれ量として利用される。例えば、コンテンツ変換前の状態からコンテンツ変換後の状態までアニメーションさせる場合において、20%のアニメーション状態ではずれ量は0.2とされ、70%のアニメーション状態ではずれ量は0.7とされる。コンテンツ変換後の状態を最大のずれ量とし、途中の状態においては、変換の程度の割合によってずれ量が求められる。
最大値からの割合ですれ量を算出する方法では、例えば、画像データ生成装置530において、ずれ量が最大となるパラメータが設定されている。例えば、ずれ量が最大となるパラメータPmaxは以下ように設定される。
Pmax=(dxm,dym,dzm,sxm,sym,szm,θxm,θym,θzm)
ここで、dxm、dym及びdzmは、それぞれ3次元座標のx軸、y軸及びz軸に関するシフト量の最大値であり、sxm、sym及びszmは、それぞれ3次元座標のx軸、y軸及びz軸に関するスケーリング量の最大値であり、θxm、θym及びθzmは、それぞれ3次元座標のx軸、y軸及びz軸に関する回転量(度またはラジアン)の最大値である。
アニメーション中のコンテンツのコンテンツ変換パラメータCCPが(dx,dy,dz,sx,sy,sz,θx,θy,θz)であるとき、ずれ量gは、
g=((dx/dxm)2+(dy/dym)2+(dz/dzm)2+
+(sx/sxm)2+(sy/sym)2+(sz/szm)2+
+(θx/θxm)2+(θy/θym)2+(θz/θzm)2)/9
の式で表される。
g=((dx/dxm)2+(dy/dym)2+(dz/dzm)2+
+(sx/sxm)2+(sy/sym)2+(sz/szm)2+
+(θx/θxm)2+(θy/θym)2+(θz/θzm)2)/9
の式で表される。
このようにして、ある規定の最大ずれ量を基準としたときの割合によって、ずれ量が算出される。
表示オブジェクト生成部P06では、生成条件算出部P04で算出された生成条件、及び、ずれ量算出部P05で算出されたずれ量に基づいて、表示オブジェクト180(コンテンツ)を生成する。例えば、コンテンツ変換パラメータCCPから算出されたずれ量に基づいて、エフェクトが付加され、表示オブジェクト180が生成される。
例えば、コンテンツに付加されるエフェクトが決定される。例えば、エフェクトは、透過度、色、及び、エッジのぼかし(輪郭部階調度)の少なくともいずれかを含む。エフェクトは、ずれ量に基づいて変更される。透過度及びエッジのぼかしなどを変化させることによって、実景340にコンテンツが溶け込んでいるような表現から、コンテンツをくっきりと提示して実景340からコンテンツが剥ぎ取られて浮き上がってくるような表現に変化させることができる。また、色を変化させ、実景340に類似した色から実景340とは異なる色に変化させたり、低い輝度から高い輝度に変化させたりすることによって、実景340にコンテンツが溶け込んでいるような表現から、実景340からコンテンツが剥ぎ取られ浮き上がってくるような表現に変化させることができる。
エフェクトの決定は、例えば、画像データ生成装置530の内部に設定されたエフェクトの方法を採用することを含むことができる。エフェクトの決定は、例えば、ユーザから入力されたエフェクトの方法及び外部装置などから入力されたエフェクトの方法の少なくともいずれか採用することを含むことができる。また、エフェクトの決定は、提示情報に付与された属性情報に基づいてエフェクトを決定することを含むことができる。
コンテンツへのエフェクトの付加においては、例えば、提示情報に付与された属性情報及び提示内容情報の少なくともいずれかに基づいて、エフェクトがコンテンツに付加される。すなわち、道案内を行う矢印などのコンテンツが生成され、ずれ量算出部P05で算出されたずれ量に基づいて、エフェクトが付加される。例えば、透過度(不透明度)α、エッジのぼかし量(ガウスの半径)r、及び、色c=(R,G,B)が、ずれ量gに基づいて、
α=g
r=(1.0−g)×100
C=(128×g+128,128、128)
のように設定される。
α=g
r=(1.0−g)×100
C=(128×g+128,128、128)
のように設定される。
透過度(不透明度)αを変更することにより、コンテンツが実景340にマッチしている状態ではコンテンツは透明であり、コンテンツが実景340からずれるほどコンテンツは不透明となり、コンテンツが現れる。エッジのぼかし量(ガウスの半径)rを変更することにより、コンテンツが実景340にマッチしている状態ではコンテンツのエッジがぼけた状態であり、コンテンツが実景340からずれるほどコンテンツのエッジが明瞭になる。色Cを変更することにより、コンテンツが実景340にマッチしている状態ではコンテンツは灰色であり、コンテンツが実景340からずれるほど、コンテンツの赤色の成分が強くなり、コンテンツは観視者100がより注視し易い色に変化する。
以上のようなエフェクトの決定及びエフェクトの付加を行い、コンテンツ(表示オブジェクト180)を生成することにより、観視者100は、実景340からのずれ量を直感的に把握できる。すなわち、表示オブジェクト180と、表示オブジェクト180に対応する実景340との対応付けが容易になる。
画像データ出力部P07においては、表示オブジェクト生成部P06で生成された表示オブジェクトを含む画像データを、例えば、単位時間毎のデータとして出力する。例えば、30fps(frames per second)のフレームレートで画像データを再生する場合は、画像データ出力部P07は、1/30秒毎のデータとして画像データを出力する。なお、表示オブジェクト生成部P06で生成された表示オブジェクト180は、付与されたアニメーションに基づいて、スムーズに変化させながら再生されることができる。また、提示条件取得部P03で取得された提示条件として、提示できる時間(タイミング)に関する制約がある場合には、その時間は画像データが出力されないように制御される。
図16は、第3の実施形態に係る画像データ生成装置の動作を例示するフローチャート図である。
図16に表したように、提示情報を取得する(ステップS01)。この処理は、提示情報取得部P01において実行される。ナビゲーション情報などのような実景340に重畳して提示される提示情報が取得される。
図16に表したように、提示情報を取得する(ステップS01)。この処理は、提示情報取得部P01において実行される。ナビゲーション情報などのような実景340に重畳して提示される提示情報が取得される。
提示情報取得部P01は、実景340に重畳して提示される、表示の目的とする提示情報を取得する。提示情報は、例えば、車両730の進行経路に関するナビゲーション情報などを含む。
実景情報を取得する(ステップS02)。この処理は、実景情報取得部P02において実行される。例えば、車両730に搭載されるイメージセンサに基づく情報、GPS情報、及び、地図情報などから得られ、道の境界の位置、車線の位置、及び、曲がり角の位置の少なくともいずれかなどを含む実景情報が取得される。
提示条件を取得する(ステップS03)。この処理は、提示条件取得部P03において実行される。ここでは、提示できる領域、提示できる時間、及び、提示できる色の少なくともいずれかを含む、コンテンツを提示する上での制約条件を含む提示条件が取得される。
次に、表示オブジェクト180の生成条件が算出される(ステップS04)。この処理は、生成条件算出部P04において実行される。提示情報取得部P01で取得された提示情報、実景情報取得部P02で取得された実景情報、及び、提示条件取得部P03で取得された提示条件に基づいて、表示オブジェクト180を生成する際に用いられる生成条件が算出される。
ずれ量を算出する(ステップS05)。この処理は、ずれ量算出部P05において実行される。生成条件算出部P04で算出され生成条件に基づいて、観視者100から見たときの実景340の位置と、観視者100から見たときの表示オブジェクト180の位置と、のずれ量を算出する。
表示オブジェクト180を生成する(ステップS06)。この処理は、表示オブジェクト生成部P06において実行される。生成条件算出部P04で算出された生成条件と、ずれ量算出部P05で算出されたずれ量と、に基づいて表示オブジェクト180が生成される。
表示オブジェクト180を含む画像データを出力する(ステップS07)。この処理は、画像データ出力部P07において実行される。出力された画像データは、例えば、車両730に搭載される表示部540に入力される。
このような動作により、ターゲット領域の実景340に関する情報を含む表示オブジェクト180を観視者100から見たときにターゲット領域の実景340に重畳して表示できないときに、表示オブジェクト180をターゲット領域の実景340の位置とは異なる位置に配置して、観視者100に分かり易く提示することができる。実施形態によれば、表示情報をより分かり易く認識させることができる。
なお、上記のステップS01〜ステップS07は、技術的に可能な範囲で同時に実施されることができる。上記のステップS01〜ステップS07の順序は、技術的に可能な範囲で入れ替えることができる。上記のステップは、繰り返して実施されることができる。
画像データ生成装置530は、例えば、コンテンツの位置、スケール及び回転角度を、コンテンツが実景340にマッチした状態からずらす。すなわち、画像データ生成装置530は、例えば、コンテンツをシフト、スケーリング及び回転させるような変換を行う。さらに、画像データ生成装置530は、上記のマッチした状態と、ずらした状態と、の間をスムーズにアニメーションさせる。これにより、実景340にマッチした状態からのずれ量を明示する。さらに、アニメーション中のコンテンツの実景340からのずれ量に基づいて、コンテンツの透過度、色、エッジのぼかしの少なくともいずれかを含むエフェクトを変更することによって、コンテンツの実景からのずれ量をより直感的にユーザに伝えることができる。
例えば、図1(a)〜図1(d)に例示した画像データを生成し、さらに、スムーズにアニメーションすることによって、実景にマッチした状態からのずれ量を理解することがより容易になる。また、図1(a)の状態におけるコンテンツの透過度を高く設定し、図1(a)の状態から図1(d)の状態に進むに従ってコンテンツの透過度を低下させることで、ずれ量をより直感的に理解させることができる。例えば、ユーザは、実際の速度より速く進んだとき(先回りしたとき)の景色が事前に見えてくるように知覚する。
例えば、図9(a)〜図9(d)に例示した画像データを生成し、さらに、スムーズにアニメーションすることによって、実景にマッチした状態からのずれ量を理解することがより容易になる。また、図9(a)の状態におけるコンテンツの透過度を高く設定し、図9(a)の状態から図9(d)の状態に進むに従ってコンテンツの透過度を低下させることで、ずれ量をより直感的に理解させることができる。例えば、ユーザは、実景のコピーが剥ぎ取られ、コンテンツとして浮き上がってくるように知覚する。
図17は、第3の実施形態に係る画像データ生成装置の別の動作を例示する模式図である。
図17に表したように、画像データ生成装置530は、既に説明した提示情報取得部P01、実景情報取得部P02、提示条件取得部P03、生成条件算出部P04、ずれ量算出部P05、表示オブジェクト生成部P06及び画像データ出力部P07に加え、車両情報取得部P08と、ユーザ情報取得部P09と、をさらに備える。車両情報取得部P08及びユーザ情報取得部P09の少なくともいずれかをさらに設けても良い。
図17に表したように、画像データ生成装置530は、既に説明した提示情報取得部P01、実景情報取得部P02、提示条件取得部P03、生成条件算出部P04、ずれ量算出部P05、表示オブジェクト生成部P06及び画像データ出力部P07に加え、車両情報取得部P08と、ユーザ情報取得部P09と、をさらに備える。車両情報取得部P08及びユーザ情報取得部P09の少なくともいずれかをさらに設けても良い。
これにより、生成条件算出部P04において、車両情報やユーザ情報に基づいて生成条件を変更することによって、より適切なコンテンツを生成することができる。
提示情報取得部P01、実景情報取得部P02、提示条件取得部P03、生成条件算出部P04、ずれ量算出部P05、表示オブジェクト生成部P06、画像データ出力部P07、車両情報取得部P08及びユーザ情報取得部P09は、画像データ生成装置530で実施される処理に対応するものであり、画像データ生成装置530内の同じ部分が、複数の処理を実施しても良く、また、画像データ生成装置530内の異なる部分が、複数の処理のいずれかを実施しても良い。
車両情報取得部P08は、車両730に関する情報(車両情報)を取得する。車両情報は、車両730の速度及び方向指示器の状態(ウインカのオン/オフ)の少なくともいずれかを含む。
ユーザ情報取得部P09は、ユーザ(観視者100)に関するユーザ情報を取得する。ユーザ情報は、ユーザの頭部105の位置、視点の位置及び視線方向の少なくともいずれかを含む。
生成条件算出部P04は、提示情報取得部P01で取得された提示情報、実景情報取得部P02で取得されや実景情報、提示条件取得部P03で取得された提示条件、車両情報取得部P08で取得された車両情報、及び、ユーザ情報取得部P09で取得されたユーザ情報に基づいて、表示オブジェクト180を生成する際に用いられる生成条件を算出する。
以下、車両情報に基づく生成条件の算出、及び、ユーザ情報に基づく生成条件の算出に関して説明する。
例えば、車両730の速度が変化するとコンテンツの見え方が変化するため、車速の変化に基づいてコンテンツの生成条件を変更すると効果的である。例えば、速度が速ければ、実景重畳可能範囲Ld3よりも前方のターゲット領域に車両730がより早く到達してしまうため、コンテンツの提示もより早めに行う。そのため、例えば、コンテンツ変換前の状態とコンテンツ変換後の状態の間を補間するアニメーションの速度を比較的早めに設定する。例えば、コンテンツ変換前の状態とコンテンツ変換後の状態とのずれ量を可能な限り小さくする。例えば、コンテンツ変換後の状態を実景重畳可能範囲Ld3の中央に設定するのではなく、端のほうに設定することもできる。
ウインカがオン状態であるときは、ユーザが進行方向を変更することを意思表示していることを意味する。例えば、ウインカがオン状態であるときは、コンテンツのアニメーションを停止し、コンテンツ変換後の状態を静止状態で提示しても良い。これにより、アニメーションによって必要以上にコンテンツが過度に認識され、コンテンツがユーザの実景340の観視の邪魔になることが抑制される。
ユーザ情報を基にしてコンテンツの生成条件を変更することで、例えば、ユーザの注視点を外れた位置にコンテンツ変換後の位置を設定することができる。例えば、車両730を運転する際に、ユーザが実景340を主に注視したい場合において、提示するコンテンツをユーザの注視を外れた位置に配置することで、コンテンツがユーザの実景340の観視の邪魔になることが抑制できる。例えば、ユーザが道の左側の風景を見えているときには、コンテンツをお映像712の右側部分に配置し、ユーザが道の右側の風景を見ているときには、コンテンツを映像712内の左側部分に配置することができる。ユーザの注視点を外れた位置にコンテンツが配置され、ユーザはコンテンツを注視しない状態で知覚する。
または、ユーザ情報を基にしてコンテンツの生成条件を変更することで、例えば、ユーザの注視点にコンテンツ変換後の位置を設定することができる。これにより、ユーザの視線を、コンテンツが示す領域に追従させ誘導することができる。例えば、実景重畳可能範囲Ld3の中心付近に注視点を置いているユーザに対して、実景重畳可能範囲Ld3よりも前方の進行方向変更地点750を注目させたい場合において、ユーザの視線移動に合わせ、徐々にコンテンツ変換後の位置を実景重畳可能範囲Ld3の上方向にシフトさせていくことによって、ユーザは進行方向の先にある進行方向変更地点750の方向に注目し易くなる。また、最終的にユーザの視線が目的の場所に到達していることを判定し、この判定結果に基づいてコンテンツ変換を「無」に設定し、実景340からずらしたコンテンツ提示を停止することもできる。
図18は、第3の実施形態に係る画像データ生成装置の別の動作を例示するフローチャート図である。
図18に表したように、本具体例においては、既に説明したステップS01〜S07に加え、以下のステップS08及びステップS09が実施される。
図18に表したように、本具体例においては、既に説明したステップS01〜S07に加え、以下のステップS08及びステップS09が実施される。
車両情報を取得する(ステップS08)。この処理は、車両情報取得部P08において実行される。車両730の速度及び方向指示器の状態(ウインカのオン/オフ)の少なくともいずれかを含む車両情報が取得される。
ユーザ情報を取得する(ステップS09)この処理は、ユーザ情報取得部P09において実行される。ユーザの頭部105の位置、視点の位置及び視線方向の少なくともいずれかを含むユーザ情報が取得される。
生成条件の算出(ステップS04)においては、ステップS01、S02、S03、S08及びP09でそれぞれ取得された提示情報、実景情報、提示条件、車両情報及びユーザ情報に基づいて、表示オブジェクト180を生成する際に用いられる生成条件が算出される。
そして、ステップS05〜ステップS07が実施される。
そして、ステップS05〜ステップS07が実施される。
このような処理を行うことによって、車両情報やユーザ情報に基づくより適切なコンテンツ生成及び提示を実現することができ、実景とコンテンツとのずれをより直感的に認識することができる。
本実施形態に係る画像データ生成装置は、自動車等の車両の他、列車、飛行機、ヘリコプタ、船舶等、各種の移動体におけるヘッドアップディスプレイに応用することができる。また、移動体に限らず実景重畳が必要となるナビゲーションもしくはシミュレーションなどのような様々なシーンに応用することができる。
(第4の実施の形態)
第4の実施形態に係る画像データ生成プログラムは、コンピュータに、移動体(車両730)に搭乗する観視者100に移動体の外界の実景340に重畳させて提示すべき映像を含む画像データを生成させる画像データ生成プログラムである。
第4の実施形態に係る画像データ生成プログラムは、コンピュータに、移動体(車両730)に搭乗する観視者100に移動体の外界の実景340に重畳させて提示すべき映像を含む画像データを生成させる画像データ生成プログラムである。
画像データ生成プログラムは、コンピュータ(例えば画像データ生成部130)に、図12に例示した処理を実施させる。
すなわち、画像データ生成プログラムは、コンピュータに、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む外界オブジェクトを含む画像データを生成させるにあたり、観視者100から見たときの外界オブジェクトの位置と、観視者100から見たときのターゲット領域の実景340の位置と、のずれは、ターゲット領域と車両730との間の距離に基づいて変更させる(ステップSA1)。
すなわち、画像データ生成プログラムは、コンピュータに、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む外界オブジェクトを含む画像データを生成させるにあたり、観視者100から見たときの外界オブジェクトの位置と、観視者100から見たときのターゲット領域の実景340の位置と、のずれは、ターゲット領域と車両730との間の距離に基づいて変更させる(ステップSA1)。
また、本実施形態に係る別の画像データ生成プログラムは、コンピュータに、例えば、図13に例示した処理を実行させる。
すなわち、画像データ生成プログラムは、コンピュータに、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750と、車両730と、の間の距離が第3距離のときに、進行方向変更地点750における車両730の進行方向を示す第3進行方向オブジェクト333aを含む第3画像データを生成させる(ステップSB1)。
すなわち、画像データ生成プログラムは、コンピュータに、車両730に関して定められた進行経路に基づいて車両730の進行方向が変更されると推定される進行方向変更地点750と、車両730と、の間の距離が第3距離のときに、進行方向変更地点750における車両730の進行方向を示す第3進行方向オブジェクト333aを含む第3画像データを生成させる(ステップSB1)。
さらに、本画像データ生成プログラムは、コンピュータに、進行方向変更地点750と車両730との間の距離が第3距離よりも短い第4距離のときに、進行方向変更地点750における車両730の進行方向を示し、第3進行方向オブジェクト333aの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有し、観視者100から見たときの進行方向変更地点750の実景340に重畳させて配置される第4進行方向オブジェクト334aを含む第4画像データを生成させる(ステップSB2)。
さらに、本実施形態に係る別の画像データ生成プログラムは、コンピュータに、例えば、図14に例示した処理を実行させる。
すなわち、画像データ生成プログラムは、コンピュータに、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む表示オブジェクトを、観視者100から見たときにターゲット領域の実景340に重畳して表示できないときに、表示オブジェクトを観視者100から見たときにターゲット領域の実景340の位置とは異なる位置に配置した表示オブジェクトを生成させるにあたり、画像データ生成プログラムは、コンピュータに、車両730のターゲット領域の実景340に関する情報を含むベース表示オブジェクトに、観視者100から見たときの表示オブジェクトの配置される位置と、観視者100から見たときのターゲット領域の実景340の位置と、の間のずれ量に基づいて映像712内における移動、拡大縮小及び回転の少なくともいずれかの画像処理を実施させる(ステップSC1)。
すなわち、画像データ生成プログラムは、コンピュータに、車両730の外界のうちの表示の目的とするターゲット領域の実景340に関する情報を含む表示オブジェクトを、観視者100から見たときにターゲット領域の実景340に重畳して表示できないときに、表示オブジェクトを観視者100から見たときにターゲット領域の実景340の位置とは異なる位置に配置した表示オブジェクトを生成させるにあたり、画像データ生成プログラムは、コンピュータに、車両730のターゲット領域の実景340に関する情報を含むベース表示オブジェクトに、観視者100から見たときの表示オブジェクトの配置される位置と、観視者100から見たときのターゲット領域の実景340の位置と、の間のずれ量に基づいて映像712内における移動、拡大縮小及び回転の少なくともいずれかの画像処理を実施させる(ステップSC1)。
このような画像データ生成プログラムにより、ターゲット領域の実景340に関する情報を含む表示オブジェクト180を観視者100から見たときにターゲット領域の実景340に重畳して表示できないときに、表示オブジェクト180をターゲット領域の実景340の位置とは異なる位置に配置して、観視者100に分かり易く提示することができる。実施形態によれば、表示情報をより分かり易く認識させることができる。
このような本実施形態に係る上記の画像データ生成プログラムは、磁気的記録方式、光学的記録方式及び電気的記録方式の少なくともいずれかの記録方式による任意の記録媒体に記録されることができる。
(第5の実施の形態)
第5の実施形態に係る移動体(車両730)には、実施形態に係る表示装置が搭載される。
例えば図2に表したように、本実施形態に係る移動体として、車両730(移動体)が採用される。
第5の実施形態に係る移動体(車両730)には、実施形態に係る表示装置が搭載される。
例えば図2に表したように、本実施形態に係る移動体として、車両730(移動体)が採用される。
移動体(例えば車両730)は、実施形態に係る表示装置(例えば表示装置10)と、表示装置から出射される光束112を観視者100に向けて反射させる反射部(例えばフロントガラス部710)と、を備える。
なお、反射部(フロントガラス部710)には、反射体711が付設されても良く、フロントガラス部710は、反射体711を含む。
本実施形態に係る移動体(例えば車両730)によれば、表示情報をより分かり易く認識させることができる移動体用の表示が実現できる。
なお、実施形態に係る表示装置及び画像データ生成蔵置が搭載される車両730(移動体)は、四輪車だけでなく、二輪車でも良い。また、実施形態に係る表示装置及び画像データ生成装置は、鉄道車両やバスなどに搭載されても良い。さらに、実施形態に係る表示装置及び画像データ生成装置は、車両だけでなく、航空機(ヘリコプタなどを含む)及び船舶などを含めた任意の移動体に搭載され、同様の動作を行うことで同様の効果が得られる。
また、本実施形態に係る表示装置及び画像データ生成装置は、例えば、観光地における観光案内、及び、博物館や美術館における展示品の内容説明などにも利用することができ、実景と重畳して画像データに基づく表示映像を提示する任意の装置に利用することができる。
実施形態によれば、表示情報をより分かり易く認識させる表示装置、画像データ生成装置及び画像データ生成プログラムが提供できる。
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、表示装置に含まれる映像投影部、映像光生成部、光束投影部、画像データ生成部(画像データ生成装置)などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
その他、本発明の実施の形態として上述した表示装置、画像データ生成装置及び画像データ生成プログラムを基にして、当業者が適宜設計変更して実施し得る全ての表示装置、画像データ生成装置及び画像データ生成プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10、11、12、12a、13、14、15…表示装置、 100…観視者(ユーザ)、 101…目、 105…頭部、 110…映像光形成部、 111…光源、 112…光束、 114…投影領域、 114a…投影位置、 115…映像投影部、 116…テーパライトガイド、 117…映像形成部、 120…光束投影部、 123…光源側レンズ、 124…アパーチャ、 125…出射側レンズ、 126…出射側ミラー、 130…画像データ生成部、 180…表示オブジェクト(コンテンツ)、 181…像、 181a…像形成位置、 331a…第1進行方向オブジェクト、 332a…第2進行方向オブジェクト、 332b…実景重畳進行方向オブジェクト、 333a…第3進行方向オブジェクト、 334a…第4進行方向オブジェクト、 335a…第5進行方向オブジェクト、 340…実景、 341…第1領域、 341a…第1外界オブジェクト、 342…第2領域、 342a…第2外界オブジェクト、 520…情報入手部、 530…画像データ生成装置、 540…表示部、 710…フロントガラス部、 711…反射体、 712…映像、 720…ダッシュボード、 730…車両、 735…交差点、 741…遠方交差点、 742…近接交差点、 750…進行方向変更地点、 Ld1、Ld2…距離、 Ld3…実景重畳可能範囲、 P0、P1、PT…位置、 P01…提示情報取得部、 P02…実景情報取得部、 P03…提示条件取得部、 P04…生成条件算出部、 P05…ずれ量算出部、 P06…表示オブジェクト生成部、 P07…画像データ出力部、 P08…車両情報取得部、 P09…ユーザ情報取得部、 S01〜S09、SA1、SB1、SB2、SC1…ステップ
Claims (20)
- 画像データを生成する画像データ生成部と、
前記画像データ生成部によって生成された前記画像データに基づく映像を含む光束を移動体のフロントガラス部に反射させて前記移動体に搭乗する観視者に向けて投影する映像投影部と、
を備え、
前記画像データ生成部は、前記移動体の外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む外界オブジェクトを含む前記画像データを生成するにあたり、前記観視者から見たときの前記外界オブジェクトの位置と、前記観視者から見たときの前記ターゲット領域の前記実景の位置と、のずれを、前記ターゲット領域と前記移動体との間の距離に基づいて変更することを特徴とする表示装置。 - 前記ターゲット領域は、前記移動体との距離が第1距離である第1領域と、前記移動体との距離が前記第1距離よりも短い第2距離の第2領域と、を含み、
前記画像データは、前記第1領域の第1実景に関する情報を含む第1外界オブジェクトと、前記第2領域の第2実景に関する情報を含む第2外界オブジェクトと、を含み、
前記画像データ生成部は、前記観視者から見たときの前記第1外界オブジェクトの位置と、前記観視者から見たときの前記第1実景の位置と、のずれを、前記観視者から見たときの前記第2外界オブジェクトの位置と、前記観視者から見たときの前記第2実景の位置と、のずれよりも大きくすることを特徴とする請求項1記載の表示装置。 - 前記画像データ生成部は、
前記第1外界オブジェクトを、前記観視者から見たときの前記第1領域の前記第1実景よりも下側に配置し、
前記第2外界オブジェクトを、前記観視者から見たときの前記第2領域の前記第2実景に重畳して配置することを特徴とする請求項2記載の表示装置。 - 前記第1領域は、前記移動体に関して定められた進行経路に基づいて前記移動体の進行方向が変更されると推定される進行方向変更地点を含み、
前記画像データ生成部は、
前記第1領域における前記移動体の前記進行方向を示し、前記第1外界オブジェクトの前記画像データの映像内の位置に基づいて前記映像内に配置された第1進行方向オブジェクトをさらに含む前記画像データを生成することを特徴とする請求項2または3記載の表示装置。 - 前記画像データ生成部は、
前記進行経路に基づいて推定される前記第2領域における前記移動体の前記進行方向を示し、前記画像データの前記映像内に配置された第2進行方向オブジェクトをさらに含む前記画像データを生成することを特徴とする請求項2〜4のいずれか1つに記載の表示装置。 - 前記第2領域は、前記移動体に関して定められた進行経路に基づいて前記移動体の進行方向が変更されると推定される進行方向変更地点を含み、
前記画像データ生成部は、前記第2領域における前記移動体の前記進行方向を示し、前記観視者から見たときの前記第2領域の前記第2実景に重畳して配置された実景重畳進行方向オブジェクトをさらに含む前記画像データを生成することを特徴とする請求項2〜4のいずれか1つに記載の表示装置。 - 前記第1領域の少なくとも一部は、前記観視者から前記フロントガラス部を介して観視可能であり、
前記第1領域の少なくとも一部は、前記観視者から見たときに、前記フロントガラス部における前記光束が反射する領域に重ならないことを特徴とする請求項2〜6のいずれか1つに記載の表示装置。 - 前記第1外界オブジェクトに含まれる輪郭線の延長線の少なくとも一部は、前記第2外界オブジェクトに含まれる輪郭線の延長線の少なくとも一部と重なることを特徴とする請求項2〜7のいずれか1つに記載の表示装置。
- 前記第1外界オブジェクトを含む前記画像データの前記生成は、前記第1領域の前記第1実景に関する情報を含み前記第1外界オブジェクトの基となるベース外界オブジェクトに、前記第1距離に基づいて、前記画像データの前記映像内における移動、拡大縮小及び回転の少なくともいずれかを含む画像処理を施すことを含むことを特徴とする請求項2〜8のいずれか1つに記載の表示装置。
- 前記第1外界オブジェクトの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、及び、輪郭部階調度の時間変化の少なくともいずれかを含む画像特性は、前記第2外界オブジェクトの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、及び、輪郭部階調度の時間変化の少なくともいずれかを含む画像特性とは異なることを特徴とする請求項2〜9記載の表示装置。
- 画像データを生成する画像データ生成部と、
前記画像データ生成部によって生成された前記画像データに基づく映像を含む光束を移動体のフロントガラス部に反射させて前記移動体に搭乗する観視者に向けて投影する映像投影部と、
を備え、
前記画像データ生成部は、
前記移動体に関して定められた進行経路に基づいて前記移動体の進行方向が変更されると推定される進行方向変更地点と、前記移動体と、の間の距離が第3距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示す第3進行方向オブジェクトを含む第3画像データを生成し、
前記進行方向変更地点と、前記移動体と、の間の距離が前記第3距離よりも短い第4距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示し、前記第3進行方向オブジェクトの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有し、前記観視者から見たときの前記進行方向変更地点の実景に重畳させて配置される第4進行方向オブジェクトを含む第4画像データを生成することを特徴とする表示装置。 - 前記画像データ生成部は、
前記進行方向変更地点と前記移動体との間の距離が前記第3距離と前記第4距離との間の第5距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示し、前記第3進行方向オブジェクト及び前記第4進行方向オブジェクトの色、明るさ、透過度、輪郭部階調度、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有する第5進行方向オブジェクトを含む第5画像データをさらに生成することを特徴とする請求項11記載の表示装置。 - 前記映像投影部は、前記光束を前記観視者の片目に投影することを特徴とする請求項1〜12のいずれか記載の表示装置。
- 移動体に搭乗する観視者に前記移動体の外界の実景に重畳させて提示すべき映像を含む画像データを生成する画像データ生成装置であって、
前記移動体の前記外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む外界オブジェクトを含む前記画像データを生成するに当たり、前記観視者から見たときの前記外界オブジェクトの位置と、前記観視者から見たときの前記ターゲット領域の前記実景の位置と、のずれを、前記ターゲット領域と前記移動体との間の距離に基づいて変更することを特徴とする画像データ生成装置。 - 移動体に搭乗する観視者に前記移動体の外界の実景に重畳させて提示すべき映像を含む画像データを生成する画像データ生成装置であって、
前記移動体に関して定められた進行経路に基づいて前記移動体の進行方向が変更されると推定される進行方向変更地点と、前記移動体と、の間の距離が第3距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示す第3進行方向オブジェクトを含む第3画像データを生成し、
前記進行方向変更地点と前記移動体との間の距離が前記第3距離よりも短い第4距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示し、前記第3進行方向オブジェクトの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有し、前記観視者から見たときの前記進行方向変更地点の実景に重畳させて配置される第4進行方向オブジェクトを含む第4画像データを生成することを特徴とする画像データ生成装置。 - 移動体に搭乗する観視者に前記移動体の外界の実景に重畳させて提示すべき映像を含む画像データを生成する画像データ生成装置であって、
前記移動体の前記外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む表示オブジェクトを、前記観視者から見たときに前記ターゲット領域の前記実景に重畳して表示できないときに、前記表示オブジェクトを前記観視者から見たときに前記ターゲット領域の前記実景の位置とは異なる位置に配置した前記表示オブジェクトを生成するにあたり、
前記移動体の前記ターゲット領域の実景に関する情報を含むベース表示オブジェクトに、前記観視者から見たときの前記表示オブジェクトの前記配置される位置と、前記観視者から見たときの前記ターゲット領域の前記実景の前記位置と、の間のずれ量に基づいて前記映像内における移動、拡大縮小及び回転の少なくともいずれかの画像処理を施すことを特徴とする画像データ生成装置。 - 前記画像データ生成装置は、前記表示オブジェクトの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、及び、輪郭部階調度の時間変化の少なくともいずれかを含む画像特性を前記ずれ量に基づいて変更することを特徴とする請求項16記載の画像データ生成装置。
- コンピュータに、移動体に搭乗する観視者に前記移動体の外界の実景に重畳させて提示すべき映像を含む画像データを生成させる画像データ生成プログラムであって、
コンピュータに、
前記移動体の前記外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む外界オブジェクトを含む前記画像データを生成させるに当たり、
前記観視者から見たときの前記外界オブジェクトの位置と、前記観視者から見たときの前記ターゲット領域の前記実景の位置と、のずれを、前記ターゲット領域と前記移動体との間の距離に基づいて変更させることを特徴とする画像データ生成プログラム。 - コンピュータに、移動体に搭乗する観視者に前記移動体の外界の実景に重畳させて提示すべき映像を含む画像データを生成させる画像データ生成プログラムであって、
コンピュータに、
前記移動体に関して定められた進行経路に基づいて前記移動体の進行方向が変更されると推定される進行方向変更地点と、前記移動体と、の間の距離が第3距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示す第3進行方向オブジェクトを含む第3画像データを生成させ、
前記進行方向変更地点と前記移動体との間の距離が前記第3距離よりも短い第4距離のときに、前記進行方向変更地点における前記移動体の前記進行方向を示し、前記第3進行方向オブジェクトの色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性とは異なり、色、明るさ、透過度、輪郭部階調度、色の時間変化、明るさの時間変化、透過度の時間変化、輪郭部階調度の時間変化、及び、含まれる要素図形の数の少なくともいずれかを含む画像特性を有し、前記観視者から見たときの前記進行方向変更地点の実景に重畳させて配置される第4進行方向オブジェクトを含む第4画像データを生成させることを特徴とする画像データ生成プログラム。 - コンピュータに、移動体に搭乗する観視者に前記移動体の外界の実景に重畳させて提示すべき映像を含む画像データを生成させる画像データ生成プログラムであって、
コンピュータに、
前記移動体の前記外界のうちの表示の目的とするターゲット領域の実景に関する情報を含む表示オブジェクトを、前記観視者から見たときに前記ターゲット領域の前記実景に重畳して表示できず、前記表示オブジェクトを前記観視者から見たときに前記ターゲット領域の前記実景の位置とは異なる位置に配置した前記表示オブジェクトを生成させるにあたり、
前記移動体の前記ターゲット領域の実景に関する情報を含むベース表示オブジェクトに、前記観視者から見たときの前記表示オブジェクトの前記配置される位置と、前記観視者から見たときの前記ターゲット領域の前記実景の前記位置と、の間のずれ量に基づいて前記映像内における移動、拡大縮小及び回転の少なくともいずれかの画像処理を実施させることを特徴とする画像データ生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010177414A JP2012035745A (ja) | 2010-08-06 | 2010-08-06 | 表示装置、画像データ生成装置及び画像データ生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010177414A JP2012035745A (ja) | 2010-08-06 | 2010-08-06 | 表示装置、画像データ生成装置及び画像データ生成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012035745A true JP2012035745A (ja) | 2012-02-23 |
Family
ID=45848235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010177414A Pending JP2012035745A (ja) | 2010-08-06 | 2010-08-06 | 表示装置、画像データ生成装置及び画像データ生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012035745A (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014194383A (ja) * | 2013-03-29 | 2014-10-09 | Aisin Aw Co Ltd | 交差点案内システム、方法およびプログラム |
KR101510954B1 (ko) * | 2013-11-04 | 2015-04-09 | 한국오므론전장주식회사 | 헤드업 디스플레이를 이용한 주행 가이드 장치 및 방법 |
JP5937246B1 (ja) * | 2015-03-01 | 2016-06-22 | 真人 田村 | 交通安全システム |
JP2017004426A (ja) * | 2015-06-15 | 2017-01-05 | 真人 田村 | ヘッドアップディスプレーを備えた交通安全システム |
JP2017024664A (ja) * | 2015-07-27 | 2017-02-02 | 日本精機株式会社 | 車両用表示装置 |
JP2017211370A (ja) * | 2016-05-20 | 2017-11-30 | 株式会社リコー | Hud装置、車両装置、情報表示方法。 |
WO2018134897A1 (ja) * | 2017-01-17 | 2018-07-26 | マクセル株式会社 | 位置姿勢検出装置、ar表示装置、位置姿勢検出方法およびar表示方法 |
WO2018216053A1 (ja) * | 2017-05-22 | 2018-11-29 | 三菱電機株式会社 | 表示制御装置及び表示制御方法 |
WO2019131113A1 (ja) * | 2017-12-26 | 2019-07-04 | 本田技研工業株式会社 | 鞍乗型車両の情報提供装置、鞍乗型車両、及び鞍乗型車両のための情報提供方法 |
US10409062B2 (en) | 2015-02-24 | 2019-09-10 | Nippon Seiki Co., Ltd. | Vehicle display device |
JP2019156153A (ja) * | 2018-03-13 | 2019-09-19 | パイオニア株式会社 | 表示制御装置 |
CN111247394A (zh) * | 2017-10-24 | 2020-06-05 | 索尼半导体解决方案公司 | 信息处理装置和信息处理方法 |
JP2020112541A (ja) * | 2019-01-16 | 2020-07-27 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
US11215819B2 (en) | 2016-11-11 | 2022-01-04 | Nippon Seiki Co., Ltd. | Head-up display |
US11320652B2 (en) | 2016-12-28 | 2022-05-03 | Ricoh Company, Ltd. | Display device, object apparatus and display method |
US12122408B2 (en) | 2017-10-24 | 2024-10-22 | Sony Semiconductor Solutions Corporation | Information processing apparatus and information processing method |
-
2010
- 2010-08-06 JP JP2010177414A patent/JP2012035745A/ja active Pending
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014194383A (ja) * | 2013-03-29 | 2014-10-09 | Aisin Aw Co Ltd | 交差点案内システム、方法およびプログラム |
KR101510954B1 (ko) * | 2013-11-04 | 2015-04-09 | 한국오므론전장주식회사 | 헤드업 디스플레이를 이용한 주행 가이드 장치 및 방법 |
US10409062B2 (en) | 2015-02-24 | 2019-09-10 | Nippon Seiki Co., Ltd. | Vehicle display device |
JP5937246B1 (ja) * | 2015-03-01 | 2016-06-22 | 真人 田村 | 交通安全システム |
JP2017004426A (ja) * | 2015-06-15 | 2017-01-05 | 真人 田村 | ヘッドアップディスプレーを備えた交通安全システム |
CN107848417B (zh) * | 2015-07-27 | 2021-05-11 | 日本精机株式会社 | 车辆用显示装置 |
JP2017024664A (ja) * | 2015-07-27 | 2017-02-02 | 日本精機株式会社 | 車両用表示装置 |
CN107848417A (zh) * | 2015-07-27 | 2018-03-27 | 日本精机株式会社 | 车辆用显示装置 |
WO2017018400A1 (ja) * | 2015-07-27 | 2017-02-02 | 日本精機株式会社 | 車両用表示装置 |
US10185152B2 (en) | 2015-07-27 | 2019-01-22 | Nippon Seiki Co., Ltd. | Vehicle display device |
US11333521B2 (en) | 2016-05-20 | 2022-05-17 | Ricoh Company, Ltd. | Head-up display, vehicle device, and information display method |
JP2020073869A (ja) * | 2016-05-20 | 2020-05-14 | 株式会社リコー | Hud装置、車両装置、表示方法及びプログラム。 |
JP2017211370A (ja) * | 2016-05-20 | 2017-11-30 | 株式会社リコー | Hud装置、車両装置、情報表示方法。 |
US11215819B2 (en) | 2016-11-11 | 2022-01-04 | Nippon Seiki Co., Ltd. | Head-up display |
US11320652B2 (en) | 2016-12-28 | 2022-05-03 | Ricoh Company, Ltd. | Display device, object apparatus and display method |
WO2018134897A1 (ja) * | 2017-01-17 | 2018-07-26 | マクセル株式会社 | 位置姿勢検出装置、ar表示装置、位置姿勢検出方法およびar表示方法 |
JPWO2018216053A1 (ja) * | 2017-05-22 | 2019-11-07 | 三菱電機株式会社 | 表示制御装置及び表示制御方法 |
WO2018216053A1 (ja) * | 2017-05-22 | 2018-11-29 | 三菱電機株式会社 | 表示制御装置及び表示制御方法 |
JP7571829B2 (ja) | 2017-08-31 | 2024-10-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、および移動体 |
CN111247394A (zh) * | 2017-10-24 | 2020-06-05 | 索尼半导体解决方案公司 | 信息处理装置和信息处理方法 |
CN111247394B (zh) * | 2017-10-24 | 2024-03-26 | 索尼半导体解决方案公司 | 信息处理装置和信息处理方法 |
US12122408B2 (en) | 2017-10-24 | 2024-10-22 | Sony Semiconductor Solutions Corporation | Information processing apparatus and information processing method |
WO2019131113A1 (ja) * | 2017-12-26 | 2019-07-04 | 本田技研工業株式会社 | 鞍乗型車両の情報提供装置、鞍乗型車両、及び鞍乗型車両のための情報提供方法 |
JP2019156153A (ja) * | 2018-03-13 | 2019-09-19 | パイオニア株式会社 | 表示制御装置 |
JP2020112541A (ja) * | 2019-01-16 | 2020-07-27 | 株式会社デンソー | 表示制御装置及び表示制御プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012035745A (ja) | 表示装置、画像データ生成装置及び画像データ生成プログラム | |
US7952808B2 (en) | Display system for vehicle and display method | |
JP5173031B2 (ja) | 表示装置及び表示方法 | |
JP5155915B2 (ja) | 車載用表示システム、表示方法及び車両 | |
US8730319B2 (en) | Display device, image data generating device, image data generating program, and display method | |
JP5275963B2 (ja) | 表示装置、表示方法及び移動体 | |
JP2010143520A (ja) | 車載用表示システム及び表示方法 | |
JP6883759B2 (ja) | 表示システム、表示システムの制御方法、プログラム、及び移動体 | |
JP2015069656A (ja) | 3次元(3−d)ナビゲーション | |
JP6899082B2 (ja) | ヘッドアップディスプレイ | |
WO2018207566A1 (ja) | 表示装置及び表示制御方法 | |
JP2013123970A (ja) | 表示装置 | |
WO2019097762A1 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
KR20190012630A (ko) | 이미지 처리 방법 및 이미지 처리 장치 | |
JP2018077400A (ja) | ヘッドアップディスプレイ | |
JP2021075219A (ja) | 表示制御装置及び表示制御プログラム | |
JP2012066646A (ja) | 表示装置 | |
WO2019131296A1 (ja) | ヘッドアップディスプレイ装置 | |
JP6864580B2 (ja) | ヘッドアップディスプレイ装置、ナビゲーション装置 | |
KR101611167B1 (ko) | 운전시야 지원장치 | |
JP2011121402A (ja) | 表示装置、表示方法及び移動体 | |
WO2019031291A1 (ja) | 車両用表示装置 | |
JP2020158014A (ja) | ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム | |
JP2019207632A (ja) | 表示装置 | |
JP7516954B2 (ja) | ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130401 |