JP2010070117A - 画像照射システムおよび画像照射方法 - Google Patents
画像照射システムおよび画像照射方法 Download PDFInfo
- Publication number
- JP2010070117A JP2010070117A JP2008241266A JP2008241266A JP2010070117A JP 2010070117 A JP2010070117 A JP 2010070117A JP 2008241266 A JP2008241266 A JP 2008241266A JP 2008241266 A JP2008241266 A JP 2008241266A JP 2010070117 A JP2010070117 A JP 2010070117A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- vehicle
- irradiation system
- monocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000001678 irradiating effect Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 12
- 241001465754 Metazoa Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000002834 transmittance Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
Abstract
【課題】背景の視認性の阻害を低減した画像を照射する画像照射システムおよび画像照射方法を提供する。
【解決手段】画像照射システムは,枠とこの枠よりも輝度の低い内部とを有する図形を含む画像を生成する画像生成部と,前記画像生成部で生成された画像を前記車両の運転者の単眼に照射する照射部と,を具備する。
【選択図】図1
【解決手段】画像照射システムは,枠とこの枠よりも輝度の低い内部とを有する図形を含む画像を生成する画像生成部と,前記画像生成部で生成された画像を前記車両の運転者の単眼に照射する照射部と,を具備する。
【選択図】図1
Description
本発明は,画像照射システムおよび画像照射方法に関する。
車両の周囲の画像を表示するヘッドアップディスプレイ(HUD)が開発されている。ここで,HUDの視認性が良好なことが好ましい。このため,車外景色状態を認識して,認識された車外風景状態に対してHUDユニット22の表示形態が同化しないように表示形態(表示色や透過度)を変更する技術が公開されている(例えば,特許文献1参照)。
特開平10−311732号公報
ところで,HUDに図形を表示する場合,フロントガラスを通して認識される背景の視認が困難となる可能性がある。
上記に鑑み,本発明は,背景の視認性の阻害を低減した画像を照射する画像照射システムおよび画像照射方法を提供することを目的とする。
上記に鑑み,本発明は,背景の視認性の阻害を低減した画像を照射する画像照射システムおよび画像照射方法を提供することを目的とする。
本発明の一態様に係る画像照射システムは,枠とこの枠よりも輝度の低い内部とを有する図形を含む画像を生成する画像生成部と,前記画像生成部で生成された画像を前記車両の運転者の単眼に照射する照射部と,を具備することを特徴とする。
本発明の一態様に係る画像照射方法は,枠とこの枠よりも輝度の低い内部とを有する図形を含む画像を生成するステップと,前記画像生成部で生成された画像を前記車両の運転者の単眼に照射するステップと,を具備することを特徴とする。
本発明によれば,背景の視認性の阻害を低減した画像を照射する画像照射システムおよび画像照射方法を提供できる。
以下,図面を参照して,本発明の実施形態を詳細に説明する。
図1は,本発明の一実施形態に係る画像照射システム1の構成図である。この画像照射システム1は,前方監視装置10,車両位置検出装置20,進行方向検出装置30,撮像装置40,中央演算処理部50,記憶装置60,照射装置70を具備する。
以下,各構成について詳細に説明する。
図1は,本発明の一実施形態に係る画像照射システム1の構成図である。この画像照射システム1は,前方監視装置10,車両位置検出装置20,進行方向検出装置30,撮像装置40,中央演算処理部50,記憶装置60,照射装置70を具備する。
以下,各構成について詳細に説明する。
前方監視装置10は,車両の前方を監視する。前方監視装置10として,ステレオカメラ(可視光用,遠赤外線用),ミリ波レーダ,レーザレーダのいずれかあるいはこれらの組み合わせを利用できる。なお,ステレオカメラ,ミリ波レーダ,レーザレーダは,物体までの距離を測定する測定部として機能する。
ステレオカメラは,車両の前方を撮像する一対の撮像装置で構成できる。一対の撮像装置を用いることで,撮像装置間での視差による対象物(例えば,障害物,車両,路上の白線)までの距離の算出が可能となる(1種の三角測量)。
ここで,ステレオカメラを構成する撮像装置の一方を運転者80の単眼801からの標準的な視線方向に合わせておくことが好ましい。この撮像装置からの画像を用いて,画像信号生成部506で画像生成を行うことで,運転者80から見て,より違和感の無い画像を生成できる。
ステレオカメラには,可視光用,遠赤外光用のいずれもが利用できる。ステレオカメラに遠赤外線用を用いると,体温により人,動物等を検出できる。
ミリ波レーダは,例えば,76GHz帯の電波(ミリ波)を発信し,対象物(例えば,障害物,車両,路上の白線)に反射して戻ってくる電波を受信することで,対象物およびその距離を監視できる。霧中等の有視界距離が短い場合においても,前方の物体を監視することができる。
レーザレーダは,レーザ光を発射し,対象物(例えば,障害物,車両,路上の白線)に反射して戻ってくる電波を受信することで,対象物およびその距離を監視できる。路側に沿って車止めポールを設置しておくと,レーザレーダを用いた路側からの距離の検出が可能となる。
車両位置検出装置20は,車両の位置を検出するものであり,車両の位置を検出する位置検出部として機能する。車両位置検出装置20として,例えば,GPS(Global Positioning System)を利用できる。即ち,3つ以上のGPS衛星からの電波を受信し,発信から受信までの時刻差に電波の伝播速度を掛けることで,各衛星からの距離,ひいては車両の位置を検出できる。なお,RTK(Real Time Kinematic)等,車両以外の基準点で受信した電波を利用することで,0.01〜0.05m程度の位置精度を確保できる。
車両位置検出装置20として,GPSに加え,磁気マーカセンサ,電波マーカセンサを利用できる。即ち,車線に沿った路面内に磁気マーカや電波マーカを一定間隔で埋め込み,その存在を磁気マーカセンサ(磁気センサ),電波マーカセンサ(電波センサ)で検出する。このようにすることで,車線に対する車両の相対的位置を検知し,より高精度な車両位置の検出が可能となる。
進行方向検出装置30は,車両の進行方向を検出するものであり,方向検出部として機能する。この検出には,車両位置検出装置20での検出結果を利用できる。即ち,車両位置検出装置20で車両の位置を連続的に検出し,これらの位置の差分を算出することで,車両の移動方向および移動速度を検出することができる。
また,進行方向検出装置30をステアリングセンサにより構成しても良い。即ち,ステアリングセンサにより,ハンドルの角度(操舵角)を取得する。進行方向の初期値が判っていれば,これに取得した操舵角を積算することで,現在の進行方向を算出できる。なお,速度センサにより車両の移動速度を取得してもよい。
撮像装置40は,カメラ401,カメラ402を具備する。カメラ401は,運転者80の略正面に設置され,予め決められた時間間隔で運転者80の顔を撮像する。カメラ402は,運転者80の略真上に設置され,予め決められた時間間隔で運転者80の頭部を撮像する。カメラ401,402は,撮像した運転者80の各画像を中央演算処理部50へと出力する。
中央演算処理部50は,地図情報抽出部501,対象検知部502,有視界距離決定部503,走行ライン予測部504,危険判断部505,画像信号生成部506,位置算出部507,照射位置決定部508,駆動制御部509を具備する。
地図情報抽出部501は,車両位置検出装置20および進行方向検出装置30での検出結果(車両位置情報,進行方向情報)に基づき,記憶装置60から地図情報を抽出する。後述のように,記憶装置60には,道路,建造物の他に,道路上の標識(距離看板等),白線,センターライン,路側線,ガードレール,水平線等を含む3次元の地図情報が記憶されている。地図情報抽出部501は,その車両の位置および進行方向に対応するように,この地図情報の一部を抽出する。運転者80から見た車両前方方向の画像を生成するためである。
対象検知部502は,車両の前方の物体を検出する物体検出部として機能し,前方監視装置10,例えば,ステレオカメラ(可視光用,遠赤外線用),ミリ波レーダ,レーザレーダから対象物(車両・障害物,人間・動物,白線)を検出する。具体的には,ステレオカメラ等から出力される画像と,記憶装置60に記憶される標準画像とを比較することで,対象物に対応する画像を検出,分類する。具体的には,次のように対象物(車両・障害物,人間・動物,白線)が検出される。即ち,対象検知部502は,物体を類別する類別部としても機能する。
なお,対象検知部502は,ステレオカメラ,ミリ波レーダ,レーザレーダにより算出される物体との距離の時間的変化により物体の移動を検出する。即ち,対象検知部502は,移動検出部としても機能する。
(1)車両
ステレオカメラ(可視光用,遠赤外線用)を用いることで前方の対象物の大きさと距離を測定できる。前方の対象物が白線内にあり,車両の大きさと判断された場合,車両とする。また,ミリ波レーダ,レーザレーダのいずれかで得られる対象物との距離および相対速度などから,自車両の前方に存在し車両の大きさである対象物を車両として検出する。
ステレオカメラ(可視光用,遠赤外線用)を用いることで前方の対象物の大きさと距離を測定できる。前方の対象物が白線内にあり,車両の大きさと判断された場合,車両とする。また,ミリ波レーダ,レーザレーダのいずれかで得られる対象物との距離および相対速度などから,自車両の前方に存在し車両の大きさである対象物を車両として検出する。
(2)障害物
(1)と同様にステレオカメラ,ミリ波レーダ,レーザレーダのいずれかで得られる対象物との距離および相対速度等などによって,障害物を検出する。所定サイズ(例えば,数cm)以上の大きさを有し,かつ進行方向検出装置30で検出される車両の進行方向に存在するとき,障害物とすることも出来る。なお,障害物と車両とは移動の有無により識別できる。対象物の大きさが車両に対応していても,移動していない場合には,障害物とする。
(1)と同様にステレオカメラ,ミリ波レーダ,レーザレーダのいずれかで得られる対象物との距離および相対速度等などによって,障害物を検出する。所定サイズ(例えば,数cm)以上の大きさを有し,かつ進行方向検出装置30で検出される車両の進行方向に存在するとき,障害物とすることも出来る。なお,障害物と車両とは移動の有無により識別できる。対象物の大きさが車両に対応していても,移動していない場合には,障害物とする。
(3)人間,動物
遠赤外線もしくは近赤外線のステレオカメラ(単一の撮像素子でも良い)を用いると,人間,動物の体温など周囲に対して温度が異なる画像が取得できる。この画像を基に人物もしくは動物の特徴形状とのパターンマッチングを行い,人間あるいは動物を検出する。この特徴形状は,標準画像の一種として記憶装置60に記憶される。
遠赤外線もしくは近赤外線のステレオカメラ(単一の撮像素子でも良い)を用いると,人間,動物の体温など周囲に対して温度が異なる画像が取得できる。この画像を基に人物もしくは動物の特徴形状とのパターンマッチングを行い,人間あるいは動物を検出する。この特徴形状は,標準画像の一種として記憶装置60に記憶される。
(4)白線
ステレオカメラ(可視光用,遠赤外線用),レーザレーダの測定結果から,路上に配置された直線もしくは破線の組を画像認識で検出し,地平線方向に向かって消失点を持って変化する対象物を白線とする。実際に消失点が存在しなくても線の延長上に消失点が存在すればよい。
ステレオカメラ(可視光用,遠赤外線用),レーザレーダの測定結果から,路上に配置された直線もしくは破線の組を画像認識で検出し,地平線方向に向かって消失点を持って変化する対象物を白線とする。実際に消失点が存在しなくても線の延長上に消失点が存在すればよい。
走行ライン予測部504は,進行方向検出装置30で検出された車両の進行方向から地図上での車両の走行ライン(予測される走行の軌跡)を予測する。
危険判断部505は,対象検知部502での検知結果に基づき,危険の有無(注意喚起の要否),その種別を判断する。危険判断部505は,物体に対する注意喚起の必要性の有無を判断する判断部として機能する。
(1)対象物
走行ライン予測部504で予測される走行ライン上およびその近傍に対象物(人間,動物および障害物)が配置されるときに,危険と判断する。また,対象物との距離により,危険の程度を判断できる。
走行ライン予測部504で予測される走行ライン上およびその近傍に対象物(人間,動物および障害物)が配置されるときに,危険と判断する。また,対象物との距離により,危険の程度を判断できる。
(2)車両
走行ライン予測部504で予測される走行ライン上およびその近傍に車両が配置され,かつその車両との距離が近づくときに,危険と判断する。車両に近づく速さにより,危険の程度を判断できる。
走行ライン予測部504で予測される走行ライン上およびその近傍に車両が配置され,かつその車両との距離が近づくときに,危険と判断する。車両に近づく速さにより,危険の程度を判断できる。
画像信号生成部506は,運転者80に提示する画像を生成する。この画像は次の情報に基づく。後述のように生成される画像には,オブジェクト(フレーム(枠)と内部とを有する図形)が適宜に含まれる。
(1)地図情報
地図情報抽出部501によって抽出された地図情報に基づき画像が生成される。この画像には,距離感を強調することのできる空間認知情報(距離看板表示,水平線,ガードレール,路側線,センターライン)が含まれる。
これらの空間認知情報は3次元画像によりリアルに重畳表示するだけではなく,デフォルメして特徴のみを強調表示する場合もある。
地図情報抽出部501によって抽出された地図情報に基づき画像が生成される。この画像には,距離感を強調することのできる空間認知情報(距離看板表示,水平線,ガードレール,路側線,センターライン)が含まれる。
これらの空間認知情報は3次元画像によりリアルに重畳表示するだけではなく,デフォルメして特徴のみを強調表示する場合もある。
(2)検知結果
対象検知部502で検知,分類された対象物(車両・障害物,人間・動物,白線)の画像が生成される。また,必要に応じて,対象物との距離を表示しても良い。
対象検知部502で検知,分類された対象物(車両・障害物,人間・動物,白線)の画像が生成される。また,必要に応じて,対象物との距離を表示しても良い。
既述のように,ステレオカメラを構成する撮像装置の一方を運転者80の単眼801からの標準的な視線方向に合わせ,この撮像装置からの画像を用いて,検知結果に対応する画像を生成することが好ましい。運転者80から見て,より違和感の無い画像を生成できる。なお,位置算出部507で算出される運転者80の単眼801の位置(視点)を利用して,対象物に対応する画像を表示する位置を調節しても良い。
(3)車両の走行情報
走行情報は,車両の走行状態を表し,例えば,車両の速度,走行ラインの情報が含まれる。
・車両の速度
・走行ライン:走行ライン予測部504で予測される走行ライン
走行情報は,車両の走行状態を表し,例えば,車両の速度,走行ラインの情報が含まれる。
・車両の速度
・走行ライン:走行ライン予測部504で予測される走行ライン
(4)危険情報
危険判断部505の判断結果に基づく,危険情報が表示される。
危険判断部505の判断結果に基づく,危険情報が表示される。
(5)表示画像(オブジェクト)
以上の地図情報,検知結果,車両情報,危険情報はオブジェクト(フレーム(枠)と内部とを有する図形)として表示できる。例えば,ステレオカメラ等で撮像された像に換え,対象物それぞれをオブジェクト(フレーム(枠)と内部とを有する図形)として表示できる。
以上の地図情報,検知結果,車両情報,危険情報はオブジェクト(フレーム(枠)と内部とを有する図形)として表示できる。例えば,ステレオカメラ等で撮像された像に換え,対象物それぞれをオブジェクト(フレーム(枠)と内部とを有する図形)として表示できる。
1)オブジェクトの内部をフレームより低輝度とすることで,フロントグラス708越しの実背景や地図情報に基づく背景画像の視認をより良好にすることができる。オブジェクトが表示されている部分でも背景や背後のオブジェクトが透けて見え,その特徴点や動体視差がより良く見えるため,視認性や距離感が向上する。
図2は,検出された車両を矢印のオブジェクトJ1で表し,その内部を比較的低輝度とした場合を表す模式図である。オブジェクトJ1が実背景中の樹木,車両の視認を妨げないことが判る。矢印の方向が車両の進行方向を表す。即ち,車両の進行方向が検出され,この進行方向に対応して矢印の方向が選択されている。
2)複数のオブジェクトが重なる場合,手前側のオブジェクトの内部の透過率を低減する等して,オフジェクトのフレームの表示を妨げないことが好ましい。図3は,複数のオブジェクトが重なっている状態を表す模式図である。図3のAでは,車両を表す矢印のオブジェクトの角が隠れているため,矢印の全体形状(ひいては距離感)の認識が困難となる。これに対して,図3のBでは,矢印のオブジェクトのフレームの全体が表され,その全体形状(ひいては距離感)の認識が容易である。後述のように,図3では距離に応じて,オブジェクトの大きさが変化している。
3)オブジェクトが表す物体までの距離に応じて,オブジェクトの大きさ,形状,内部の輝度を異ならせることができる。既述の図3では,距離が大きくなるに応じてオブジェクトの大きさを小さくする(さらに透過率を上げる)ことで,距離感を高めている。
4)対象物の類別に応じて,オブジェクトを異ならせることが好ましい。さらに,オブジェクトとして,文字(例えば,漢字一文字),標識,アイコン等を用いることで,オブジェクトに意味を持たせることができる。オブジェクト自体に意味を持たせることで」運転者がオブジェクトの意味を理解するまでの時間を短縮し,事故に至るまでの時間的な余裕を増加させ,事故の回避率を向上できる。
図4は,人間の検出に対応して,「人」の文字を表すオブジェクトJ2を表す画面を示す模式図である。文字によって,オブジェクトの意味の伝達が容易となり,危険回避がより容易となる。
5)対象物の移動速度に対応してオブジェクトの内部を時間的に変化しても良い。例えば,オブジェクト内部のグラデーションを連続的に移動させて表示する。オブジェクト内部のグラデーションを変化させることで,オブジェクト自体を静止させておいても,運転者からの動きの認識が容易となる。
図5は,車両を矢印のオブジェクトJ3で表す図を示す模式図である。車両の移動をオブジェクトJ3内部のグラデーション(濃淡)の時間的変化で表している。具体的には,グラデーションがオブジェクトJ3のフレームに対して右方向に移動することで,車両が左方向に移動することを表している。
6)注意の喚起
既述のように,危険判断部505の判断結果に基づく,危険情報が表示される。このとき,オブジェクトの大きさ,輝度,および位置の少なくともいずれかを時間的に変化させることで,注意を喚起することが考えられる。
既述のように,危険判断部505の判断結果に基づく,危険情報が表示される。このとき,オブジェクトの大きさ,輝度,および位置の少なくともいずれかを時間的に変化させることで,注意を喚起することが考えられる。
既述のように,一般に,遠いオブジェクトは小さく,透過率を上げて表示することが考えられる。しかし,注意喚起を要する場合は,オブジェクトを時間的に変化させる。例えば,近距離側に大きさを大きく,透過率をあげた状態でオブジェクトを表示する。また,その一定時間後に,距離に応じて大きさを縮小させ,透過率を下げながら,オブジェクトを背景に重畳させた位置(本来の位置)へと移動させる。
距離に応じて大きさ・透過率を変化させる場合で注意喚起を要する時のみ,一度大きく注意を引く表示をした後,目標の距離まで移動させることで注意喚起と邪魔にならない表示とを両立できる。
距離に応じて大きさ・透過率を変化させる場合で注意喚起を要する時のみ,一度大きく注意を引く表示をした後,目標の距離まで移動させることで注意喚起と邪魔にならない表示とを両立できる。
なお,オブジェクトとして,文字(例えば,漢字一文字),標識,アイコン等を用いることと組み合わせることができる。このようにすると,オブジェクトに画数の多い漢字を使用した場合でも,背景の視認性の向上を図ることができる。
位置算出部507は,カメラ401,402から入力される撮像毎に運転者80の単眼801の三次元での位置を算出する。位置算出部507は,カメラ401での画像に基づき,車両の進行方向に対して垂直な平面(以下,YZ面と称す)上での単眼801の位置を算出する。位置算出部507は,カメラ402での画像に基づき,XY面での頭部の中心802の位置を算出する。位置算出部507は,これらYZ面,XY面での位置から,単眼801の三次元での位置を算出する。
図6は,単眼801のYZ面上での位置を算出する方法を表す図である。図3のY軸は水平方向,Z軸は垂直方向を表す。図3に示すように,カメラ401のY軸方向の画角をθ1,カメラ401と単眼801との距離をL1,カメラ401のY軸方向の画素数をn,単位画素当たりのY軸上の距離をΔYとすると,次の(1)式が成り立つ。
ΔY=(2×L1×tan(θ1/2))/n…(1)
ΔY=(2×L1×tan(θ1/2))/n…(1)
位置算出部507は,この(1)式を用いてYZ面での単眼801の位置を算出する。具体的には,YZ面でのゼロ点を決めておき,このゼロ点と単眼801の位置との間の画素数を計算する。次に,計算した画素数を(1)式に乗算する。カメラ401のY軸方向の画角をθ1とカメラ401と単眼801との距離をL1は予め測定できる。このため単眼801の画像上の位置からYZ面における単眼801の位置を算出できる。
なお,この第1の実施形態では,運転者80の単眼801はY軸方向にのみ移動することを前提としており,単眼801のZ軸方向への移動はなく,Z軸上の位置は固定であるとしている。
位置算出部507は,カメラ402から入力される撮像毎に運転者80の頭部の中心位置802を検出する。位置算出部507は,検出した頭部の中心位置802の画像上の画素位置から鉛直方向に対して垂直な平面(以下,XY面と称す)上での単眼801の位置を算出する。
図7は,頭部の中心802のYX面上での位置を算出する方法を表す図である。図7のX軸は車両の進行方向,Y軸は図2と同じ水平方向を表す。図7に示すように,カメラ102のX軸方向の画角をθ2,カメラ102と頭部の中心位置802との距離をL2,カメラ102のX軸方向の画素数をm,単位画素当たりのX軸上の距離をΔXとすると,次の(2)式が成り立つ。
ΔX=(2×L2×tan(θ2/2))/m…(2)
ΔX=(2×L2×tan(θ2/2))/m…(2)
位置算出部507は,この(2)式を用いてXY面での頭部の中心位置802の位置を算出する。具体的な算出方法は,YZ面上での位置の算出方法と同様であるため重複した説明を省略する。次に,位置算出部507は,この算出されたXY面での頭部の中心802の位置から,XY面での単眼801の位置を算出する。具体的には,あらかじめXY面上での単眼801の位置(X2,Y2)と頭部の中心位置802(X1,Y1)との差(X2―X1,Y2―Y1)(以下,オフセットと称す)を測定しておく。次に,この算出されたXY面での頭部の中心802にオフセットを加算してXY面での単眼801の位置を算出する。
なお,カメラ402と頭部の中心位置802との距離L2は,運転者80によって異なる。このため,予めカメラ402と運転席までの距離を測定しておき,運転者80に座高を入力させてカメラ402と頭部の中心位置802との距離L2を算出しても良い。また,この距離L2値からZ軸上での単眼801の位置も算出できる。
位置算出部507は,算出された単眼801のYZ面での位置およびXY面での単眼801の位置から,XYZ空間での単眼801の位置を算出する。
照射位置決定部508は,位置算出部507で算出された単眼801の位置から画像を照射する位置を決定する。
駆動制御部509は,照射位置決定部508で決定された照射位置へ画像が照射されるよう駆動部706へ制御信号を出力する。
なお,カメラ401で撮像した画像から単眼801の位置を算出して,該位置へ画像が照射されるまでには一定の時間がかかる。このため,単眼801が移動している場合,画像を照射した位置と実際の単眼801の位置との間に差が生じる可能性がある。そこで,単眼801が移動している場合,位置算出部507で算出された位置よりも単眼801の移動方向に任意の距離だけ進んだ位置へ画像を照射するよう構成しても良い。このようにすれば,単眼801の位置が移動している場合でも,画像を照射した位置と実際の単眼801の位置との誤差を低減できる。
記憶装置60には,地図情報および標準画像が記憶されている。記憶装置60としては,半導体メモリ,磁気ディスク,光ディスクなどが使用できる。地図情報には,空間認知情報(距離看板表示,水平線,ガードレール,路側線,センターライン)の三次元情報が含まれる。標準画像は,例えば,車両の標準画像であり,対象検知部502での対象物の検出に用いられる。記憶装置60は,地図情報を記憶する記憶部として機能する。
照射装置70は,光束生成装置701,照射レンズ702,照射範囲制御部703,照射位置制御部704,画像拡大部705,駆動部706,反射部材707を具備する。
光束生成装置(画像生成部)701は,運転者80の単眼801に照射する画像を生成し,照射レンズ702を介して生成した画像を照射する。光束生成装置701として,液晶パネル,マイクロミラーを用いたデジタルマイクロミラーデバイス(DMD)パネル,発光ダイオード(LED)光源プロジェクタなどを使用できる。
照射範囲制御部703は,光束生成装置701で生成された画像の照射範囲を制御する。照射される画像の幅は,6cm程度に制御することが望ましい。成人の両眼の間隔は約6cm程度である。照射される画像の幅を6cm程度に制御することで,画像が両眼に照射されることを効果的に防止できる。照射範囲制御部703として,レンチキュラースクリーンまたは拡散角度を制御した拡散板などを使用できる。
照射位置制御部704は,水平方向および垂直方向に回転可能なステージと,このステージに設置されたミラーとを具備する。照射位置制御部704は,ステージの回転によりミラーの角度を制御して,光束生成装置701で生成された画像の照射位置を制御する。
駆動部706は,照射位置制御部704が具備するステージを駆動するモータである。駆動部706は,駆動制御部509からの制御信号に応じてモータを駆動し,照射位置制御部704のステージを回転動作させる。駆動制御部509は,運転者80の単眼801へ画像を照射するように,駆動部706を制御する。
画像拡大部705は,照射位置制御部704からの画像の照射サイズを拡大する。反射部材(コンバイナ)707は,画像拡大部705で拡大された画像を反射する。反射部材707で反射された画像は運転者80の単眼801へ照射される。反射部材707は,車両のフロントガラス708に貼られた半透明性の部材であるため,運転者80は,反射部材707を介して前方の風景が視認できる。なお,画像を照射する単眼801は,運転者80の右目または左目のどちらでも良い。
(画像照射システム1の動作)
次に,画像照射システム1の動作について説明する。
図8は,画像照射システム1による画像生成動作の手順を表すフローチャートである。
次に,画像照射システム1の動作について説明する。
図8は,画像照射システム1による画像生成動作の手順を表すフローチャートである。
車両位置検出装置20および進行方向検出装置30により,車両の位置および進行方向が検出される(ステップS11)。
前方監視装置10および対象検知部502により,前方の対象物の検出,分類がなされる(ステップS12)。
検知結果に基づいて,画像が生成される(ステップS13)。即ち,対象検知部502で検知された対象物の画像(対象物画像)が生成される。また必要に応じて,車両の位置および進行方向に基づいて,地図情報が抽出され,背景画像が生成される。
前方監視装置10からの情報を元に危険判断部506にて危険判断が行われ、危険と判断した場合には危険情報が生成される。
前方監視装置10からの情報を元に危険判断部506にて危険判断が行われ、危険と判断した場合には危険情報が生成される。
生成された画像が単眼801に照射される(ステップS14)。即ち,位置算出部507によって単眼801の位置が算出され,この位置に画像が照射される。
ここで,画像の生成,単眼801の位置の算出および画像の照射は連続的に行われ,単眼801の位置から見て適正な画像が生成され,単眼801に照射される。
ここで,画像の生成,単眼801の位置の算出および画像の照射は連続的に行われ,単眼801の位置から見て適正な画像が生成され,単眼801に照射される。
(その他の実施形態)
本発明の実施形態は上記の実施形態に限られず拡張,変更可能であり,拡張,変更した実施形態も本発明の技術的範囲に含まれる。
本発明の実施形態は上記の実施形態に限られず拡張,変更可能であり,拡張,変更した実施形態も本発明の技術的範囲に含まれる。
10…前方監視装置,20…車両位置検出装置,30…進行方向検出装置,40…撮像装置,401…カメラ,402…カメラ,50…中央演算処理部,501…地図情報抽出部,502…対象検知部,503…有視界距離決定部,504…走行ライン予測部,505…危険判断部,506…画像信号生成部,507…位置算出部,508…照射位置決定部,509…駆動制御部,60…記憶装置,70…照射装置,701…光束生成装置,702…照射レンズ,703…照射範囲制御部,704…照射位置制御部,705…画像拡大部,706…駆動部,707…反射部材,708…フロントガラス,80…運転者,801…単眼,802…中心位置
Claims (14)
- 枠とこの枠よりも輝度の低い内部とを有する図形を含む画像を生成する画像生成部と,
前記画像生成部で生成された画像を前記車両の運転者の単眼に照射する照射部と,
を具備することを特徴とする画像照射システム。 - 前記画像生成部によって生成される図形が前記車両前方の物体,地図上の対象物,前記車両の走行情報の少なくともいずれかに対応する
ことを特徴とする請求項1記載の画像照射システム。 - 前記画像生成部が,複数の図形を含む画像を生成する
ことを特徴とする請求項1または2に記載の画像照射システム。 - 前記画像上で一の図形が他の図形の背後に配置される場合に,前記一の図形の枠が前記他の図形の内部を通して表される
ことを特徴とする請求項3記載の画像照射システム。 - 車両の前方の物体を検出する物体検出部,をさらに具備し,
前記画像生成部によって生成される図形が前記物体検出部によって検出される物体に対応する
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像照射システム。 - 前記物体までの距離を測定する測定部,をさらに具備し,
前記測定部で測定される距離に対応して,前記画像生成部が前記画像中の前記図形の形状または内部の輝度を変化させる
ことを特徴とする請求項5記載の画像照射システム。 - 前記物体に対する注意喚起の必要性の有無を判断する判断部をさらに具備し,
前記判断部が注意喚起の必要性が有ると判断した場合,前記画像生成部が前記画像上で,前記図形の大きさ,輝度,および位置の少なくともいずれかを時間的に変化させる
ことを特徴とする請求項5または6に記載の画像照射システム。 - 前記物体を類別する類別部をさらに具備し,
前記画像生成部が,前記類別部での類別結果に対応する図形を含む画像を生成する
ことを特徴とする請求項4乃至7のいずれか1項に記載の画像照射システム。 - 前記図形が類別結果に対応する文字を表す
ことを特徴とする請求項8記載の画像照射システム。 - 前記物体の移動を検出する移動検出部と,
前記検出部によって検出された移動に対応して,前記図形の内部が時間的に変化する
ことを特徴とする請求項4乃至9のいずれか1項に記載の画像照射システム。 - 前記検出部によって検出された移動に対応して,前記図形の内部の濃淡が時間的に変化する
ことを特徴とする請求項10に記載の画像照射システム。 - 車両の進行方向に基づき,前記車両の走行ラインを予測する予測部と,
前記車両の前方の車両または障害物を検出する車両・障害物検出部と,
前記予測部で予測される前記走行ラインと,前記車両・障害物検出部で検出された車両または障害物の位置に基づき,危険の有無を判断する第2の判断部と,をさらに具備し,
前記画像生成部によって生成される図形が前記第2の判断部の判断結果に対応する
ことを特徴とする請求項1乃至11のいずれか1項に記載の画像照射システム。 - 車両の運転者を撮像する撮像装置と,
前記撮像装置で撮像された画像から前記運転者の単眼位置を算出する位置算出部と,
前記照射部から照射される画像が前記位置算出部で算出された単眼位置に照射されるように照射部の照射方向を制御する制御部と,
を具備することを特徴とする請求項1乃至12のいずれか1項に記載の画像照射システム。 - 枠とこの枠よりも輝度の低い内部とを有する図形を含む画像を生成するステップと,
前記画像生成部で生成された画像を前記車両の運転者の単眼に照射するステップと,
を具備することを特徴とする画像照射方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008241266A JP2010070117A (ja) | 2008-09-19 | 2008-09-19 | 画像照射システムおよび画像照射方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008241266A JP2010070117A (ja) | 2008-09-19 | 2008-09-19 | 画像照射システムおよび画像照射方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010070117A true JP2010070117A (ja) | 2010-04-02 |
Family
ID=42202291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008241266A Withdrawn JP2010070117A (ja) | 2008-09-19 | 2008-09-19 | 画像照射システムおよび画像照射方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010070117A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8842262B2 (en) | 2011-05-24 | 2014-09-23 | Denso Corporation | Radar apparatus and light scan apparatus |
WO2016203793A1 (ja) * | 2015-06-16 | 2016-12-22 | 株式会社Jvcケンウッド | 虚像提示システム、画像投射装置および虚像提示方法 |
WO2018061444A1 (ja) | 2016-09-30 | 2018-04-05 | ソニー株式会社 | 反射板、情報表示装置および移動体 |
JP2018132420A (ja) * | 2017-02-15 | 2018-08-23 | 日本信号株式会社 | 距離画像センサ |
WO2020137089A1 (ja) * | 2018-12-27 | 2020-07-02 | スズキ株式会社 | 自動車の情報表示装置および情報表示方法 |
WO2020152737A1 (ja) * | 2019-01-21 | 2020-07-30 | 三菱電機株式会社 | 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 |
-
2008
- 2008-09-19 JP JP2008241266A patent/JP2010070117A/ja not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8842262B2 (en) | 2011-05-24 | 2014-09-23 | Denso Corporation | Radar apparatus and light scan apparatus |
WO2016203793A1 (ja) * | 2015-06-16 | 2016-12-22 | 株式会社Jvcケンウッド | 虚像提示システム、画像投射装置および虚像提示方法 |
JP2017003946A (ja) * | 2015-06-16 | 2017-01-05 | 株式会社Jvcケンウッド | 虚像提示システム、画像投射装置および虚像提示方法 |
WO2018061444A1 (ja) | 2016-09-30 | 2018-04-05 | ソニー株式会社 | 反射板、情報表示装置および移動体 |
US10668857B2 (en) | 2016-09-30 | 2020-06-02 | Sony Corporation | Reflector, information display apparatus, and movable body |
JP2018132420A (ja) * | 2017-02-15 | 2018-08-23 | 日本信号株式会社 | 距離画像センサ |
WO2020137089A1 (ja) * | 2018-12-27 | 2020-07-02 | スズキ株式会社 | 自動車の情報表示装置および情報表示方法 |
JP2020104714A (ja) * | 2018-12-27 | 2020-07-09 | スズキ株式会社 | 自動車の情報表示装置および情報表示方法 |
JP7125713B2 (ja) | 2018-12-27 | 2022-08-25 | スズキ株式会社 | 自動車の情報表示装置および情報表示方法 |
WO2020152737A1 (ja) * | 2019-01-21 | 2020-07-30 | 三菱電機株式会社 | 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 |
JPWO2020152737A1 (ja) * | 2019-01-21 | 2021-09-09 | 三菱電機株式会社 | 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10600250B2 (en) | Display system, information presentation system, method for controlling display system, computer-readable recording medium, and mobile body | |
WO2010029707A2 (ja) | 画像照射システム及び画像照射方法 | |
KR102089036B1 (ko) | 정보 디스플레이 장치, 정보 제공 시스템, 이동체 디바이스, 정보 디스플레이 방법 및 기록 매체 | |
US10699486B2 (en) | Display system, information presentation system, control method of display system, storage medium, and mobile body | |
EP1961613B1 (en) | Driving support method and driving support device | |
US8144076B2 (en) | Display apparatus for displaying virtual image to driver | |
JP4715325B2 (ja) | 情報表示装置 | |
JP6379779B2 (ja) | 車両用表示装置 | |
US11361553B2 (en) | Method and apparatus for tracking an at least partially occluded object, vehicle and computer-program product thereof | |
US11198398B2 (en) | Display control device for vehicle, display control method for vehicle, and storage medium | |
US10649207B1 (en) | Display system, information presentation system, method for controlling display system, recording medium, and mobile body | |
US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
WO2019003929A1 (ja) | 表示システム、情報提示システム、表示システムの制御方法、プログラムと記録媒体、及び移動体装置 | |
JP2016112984A (ja) | 車両用虚像表示システム、ヘッドアップディスプレイ | |
JP2010070117A (ja) | 画像照射システムおよび画像照射方法 | |
JP2020032866A (ja) | 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム | |
JP2010073032A (ja) | 画像照射システムおよび画像照射方法 | |
KR101935853B1 (ko) | 라이다 및 레이더를 이용한 나이트 비전 시스템 | |
JP2020126478A (ja) | 表示制御装置及び表示制御プログラム | |
JP7318431B2 (ja) | 表示制御装置及び表示制御プログラム | |
WO2024128060A1 (ja) | 視界支援表示装置、視界支援表示システム、および視界支援表示方法 | |
US20240221389A1 (en) | System and method for deep learning based lane curvature detection from 2d images | |
JP2004355341A (ja) | 移動物体報知装置 | |
JP2021160409A (ja) | 表示制御装置、画像表示装置、及び方法 | |
CN118279852A (zh) | 用于基于深度学习的2d图像车道曲率检测的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111206 |