JP2005286577A - 撮像装置、表示方法、および車両 - Google Patents

Abstract

【課題】車両の前方を撮像する撮像装置、表示方法、および車両を提供する。
【解決手段】車両の前方を撮像する撮像装置であって、前照灯が照射する車両の前方の領域を連続して撮像する可視光カメラと、車両の前方において、前照灯が照射しない領域を撮像する赤外線カメラと、可視光カメラが連続して撮像した可視光画像を用いて、可視光画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、可視光カメラが撮像した可視光画像を、移動ベクトル算出手段が算出した移動ベクトルを用いて変位させた可視光画像を算出する可視光画像変位手段と、赤外線カメラが撮像した赤外線画像に、可視光画像変位手段が変位させた可視光画像を合成する画像合成手段とを備える。
【選択図】 図３

Description

本発明は、撮像装置、表示方法、および車両に関する。特に、本発明は、車両の前方を撮像する撮像装置、表示方法、および車両に関する。

従来、車両の前方を赤外線カメラにより撮像し、撮像された画像を運転手へ表示することにより夜間や濃霧時の運転支援を行う、運転支援装置が提案されている（例えば特許文献１参照）。

特開平１０−２３０８０５号公報

しかしながら赤外線カメラによって得られる画像はモノクロ画像であるため、運転手は、表示された赤外線画像の中に存在するオブジェクトを判別しづらい場合がある。

そこで本発明は、上記の課題を解決することのできる撮像装置、表示方法、および車両を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

即ち、本発明の第１の形態によると、前照灯が照射する車両の前方の領域を連続して撮像する可視光カメラと、車両の前方において、前照灯が照射しない領域を撮像する赤外線カメラと、可視光カメラが連続して撮像した可視光画像を用いて、可視光画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、可視光カメラが撮像した可視光画像を、移動ベクトル算出手段が算出した移動ベクトルを用いて変位させた可視光画像を算出する可視光画像変位手段と、赤外線カメラが撮像した赤外線画像に、可視光画像変位手段が変位させた可視光画像を合成する画像合成手段とを備える撮像装置を提供する。これにより、赤外線カメラによって撮像された赤外線画像を可視光画像として見やすく運転手へ表示することができる。

上記の撮像装置は、車両の走行状況の変化に基づいて、移動ベクトル算出手段が算出した移動ベクトルの大きさを修正する移動ベクトル修正手段を更に備え、可視光画像変位手段は、移動ベクトル修正手段が修正した移動ベクトルを用いて、可視光カメラが撮像した可視光画像を変位させてもよい。これにより、車両の走行状況が変化した場合であっても、オブジェクトを正しい位置に表示することができる。

上記の撮像装置は、移動ベクトル算出手段が移動ベクトルを算出するのに用いた可視光画像を撮像した後の車両の速度の変化率を算出する速度変化検知手段を更に備え移動ベクトル修正手段は、速度変化検知手段が算出した速度の変化率を移動ベクトル算出手段が算出した移動ベクトルに乗じることにより、移動ベクトルを修正してもよい。これにより、車両の速度が変化した場合であっても、オブジェクトを正しい位置に表示することができる。

移動ベクトル算出手段が移動ベクトルを算出するために用いた可視光画像を撮像した時の車両の速度を算出する速度変化検知手段と、移動ベクトル算出手段が移動ベクトルを算出するのに用いた可視光画像を撮像した時の舵角と、その後の舵角の変化の大きさを算出する舵角変化検知手段とを更に備え、移動ベクトル修正手段は、舵角変化検知手段が算出した舵角の変化の大きさに、速度変化検知手段が検知した車両の速度を乗じることにより車両の旋回速度を算出し、当該旋回速度から算出される旋回移動ベクトルを、移動ベクトル算出手段が算出した移動ベクトルに加えてもよい。これにより、車両の舵角が変化した場合であってもオブジェクトを正しい位置に表示することができる。

上記の撮像装置は、赤外線カメラが撮像した赤外線画像のエッジと、可視光画像変位手段が変位させた可視光画像のエッジとを抽出するエッジ抽出手段と、エッジ抽出手段が抽出した赤外線画像のエッジに可視光画像のエッジの位置を合わせるべく、可視光画像を再度変位させる位置合わせ手段とを更に備え、画像合成手段は、赤外線カメラが撮像した赤外線画像に、位置合わせ手段が再度変位させた可視光画像を合成してもよい。ここでオブジェクトが移動体であり、その速度や移動方向が変化した場合には、移動ベクトルに基づいて変位させた可視光画像のオブジェクトの位置には誤差が生じる。しかしながら本発明では、赤外線画像の位置にあわせるべく可視光画像を再度変位させるので、可視光画像に含まれるオブジェクトを正しい位置に表示することができる。

位置合わせ手段は、赤外線画像のエッジと可視光画像のエッジとが予め定めた大きさ以上離れているオブジェクトを、可視光画像から除外し、画像合成手段は、位置合わせ手段によって除外されたオブジェクト以外の可視光画像を合成してもよい。ここで、可視光画像に含まれるオブジェクトの位置の誤差が大きい場合には、変位させるべき位置が定まらない場合があるが、本発明ではこのような大きな誤差が生じたオブジェクトは除外して赤外線画像を表示するので、運転手にとって見やすい画像を提供することができる。

本発明の第２の形態によると、前照灯が照射する車両の前方の領域を可視光カメラにより連続して撮像するステップと、車両の前方において、前照灯が照射しない領域を赤外線カメラにより撮像するステップと、可視光カメラが連続して撮像した可視光画像を用いて、可視光画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出ステップと、可視光カメラが撮像した可視光画像を、移動ベクトル算出ステップが算出した移動ベクトルを用いて変位させた可視光画像を算出する可視光画像変位ステップと、赤外線カメラが撮像した赤外線画像に、可視光画像変位ステップが変位させた可視光画像を合成する画像合成ステップとを備えた表示方法を提供する。

本発明の第３の形態によると、車両の前方を照射する前照灯と、前照灯が照射する領域を連続して撮像する可視光カメラと、車両の前方において、前照灯が照射しない領域を撮像する赤外線カメラと、可視光カメラが連続して撮像した可視光画像を用いて、可視光画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、可視光カメラが撮像した可視光画像を、移動ベクトル算出手段が算出した移動ベクトルを用いて変位させた可視光画像を算出する可視光画像変位手段と、赤外線カメラが撮像した赤外線画像に、可視光画像変位手段が変位させた可視光画像を合成する画像合成手段とを備えた車両を提供する。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明に係る撮像装置１００を搭載した車両１０の構成の一例を示す。車両１０は、前照灯１２および赤外線ランプ１４を備え、撮像装置１００は、可視光カメラ２０および赤外線カメラ３５を有する。前照灯１２は、車両１０の前方へ光を照射する。赤外線ランプ１４は、車両１０の前方に、前照灯１２が光を照射する前照灯照射領域２００を含み、かつ前照灯照射領域２００よりも広い領域である赤外線照射領域２０２に赤外線を照射する。可視光カメラ２０は、赤外線カットフィルタ２６を有しており、前照灯照射領域２００を撮像することにより可視光画像を生成する。赤外線カメラ３５は、前照灯照射領域２００を含む赤外線照射領域２０２を撮像することにより、赤外線画像を生成する。

ここで従来、車両の前方を赤外線カメラにより撮像し、撮像された画像を運転手へ表示することにより夜間や濃霧時の運転を支援する運転支援装置が提案されている。しかしながら赤外線カメラによって得られる画像はモノクロの画像であるため、運転手は、表示された赤外線画像の中に存在するオブジェクトを判別しづらい場合がある。そこで本発明は、上記課題を解決する撮像装置１００を提供することを目的とする。

図２は、本発明の撮像装置１００が表示する画像を説明する図である。本例における可視光カメラ２０、赤外線カメラ３５、前照灯１２、および赤外線ランプ１４のそれぞれは、それぞれの光軸が略同一となるように車両１０に配置される。

図２（ａ）は、可視光カメラ２０が撮像する可視光画像３０４を説明する図である。可視光カメラ２０は、車両１０の前方を撮像することにより可視光画像３０４を得る。この場合、前照灯照射領域２００（図１参照）には前照灯１２による光と赤外線ランプ１４による赤外線とが照射されるが、可視光カメラ２０は赤外カットフィルタ２６（図１参照）を有するので、可視光カメラ２０は赤外線の影響を受けない画像領域３００を取得する。

ここで可視光カメラ２０が、予め定められたタイミングで連続して撮像を行うと、可視光画像３０４に含まれるオブジェクト３５０は、タイミング毎に画像領域３００を移動する。この様子を図２（ａ）に示す。本発明では、可視光画像３０４において、タイミングｔ１で撮像されたオブジェクト３５０の位置と、次のタイミングｔ２で撮像されたオブジェクト３５２の位置に基づいて、タイミングｔ１から次のタイミングｔ２へのオブジェクトの移動ベクトル３７０を算出する。この場合、通常、オブジェクト３５０の移動ベクトル（オプティカルフロー）は、オブジェクト３５０が光軸の中心近傍では小さく、光軸から離れると大きくなる。しかしながら、車両１０の走行状況の変化に応じた移動ベクトルの大きさおよび方向の変化を予め算出して格納しておくことができるので、移動ベクトル３７０の変化の割合に基づいて、次の移動ベクトル３７２を算出することができる。これにより、次のタイミングｔ２におけるオブジェクト３５２の位置と、算出した移動ベクトル３７２を用いて、更に次のタイミングｔ３におけるオブジェクト３５４の位置を求めることができる。そして、算出されたオブジェクト３５４が赤外線のみが照射された領域の画像である画像領域３０２に位置する場合には、後述の合成処理が行なわれる。

図２（ｂ）は、赤外線カメラ３５が撮像する赤外線画像３１０を説明する図である。赤外線カメラ３５は、可視光カメラ２０と同様に、赤外線照射領域２０２（図１参照）を撮像した画像領域３０６と、赤外線照射領域２０２から前照灯照射領域２００を除いた領域を撮像した画像領域３０８とを含む赤外線画像３１０を取得する。この場合、前照灯照射領域２００には前照灯１２および赤外線ランプ１４の光が重なるので、赤外線カメラ３５は、画像領域３０６を、画素値が上限の濃度を示す値へとほぼ飽和した画像として取得する。そして、タイミングｔ３で撮像された画像領域３０８にはオブジェクト３５６が撮像される。

図２（ｃ）は、合成画像３１６を説明する図である。撮像装置１００は、画像領域３０８のオブジェクト３５６に画像領域３０２のオブジェクト３５４が重なるようにオブジェクト３５４を変位させることで、可視光画像である画像領域３１４を生成すると共に、画像領域３０６を画像領域３００に置き換えることで、合成画像３１６を合成する。この場合、合成画像３１６は、タイミングｔ３におけるオブジェクト３５８を可視光画像として含む。このように本発明の撮像装置１００は、前照灯照射領域２００および赤外線照射領域２０２を、１つの可視光画像として運転手へ表示する。

図３は、撮像装置１００の機能構成の一例を示す。撮像装置１００は、図１で説明した可視光カメラ２０および赤外線カメラ３５に加えて、速度変化検知手段２５、舵角変化検知手段３０、タイミング発生器４０、移動ベクトル算出手段４５、移動ベクトル修正手段５０、可視光画像変位手段５５、エッジ抽出手段６０、位置合わせ手段６５、画像合成手段７０、および表示手段７５を有する。

タイミング発生器４０は、所定の間隔でタイミングを生成し、生成したタイミングを可視光カメラ２０、速度変化検知手段２５、舵角変化検知手段３０、および赤外線カメラ３５へ出力する。可視光カメラ２０は、タイミング発生器４０から与えられたタイミングで車両１０の前方を撮像し、得られた可視光画像を移動ベクトル算出手段４５、および可視光画像変位手段５５へ出力する。

移動ベクトル算出手段４５は、可視光カメラ２０により連続して撮像された可視光画像を用いて、可視光画像に含まれるオブジェクトの移動ベクトルを算出し、算出した移動ベクトルを移動ベクトル修正手段５０へ出力する。本例の移動ベクトル算出手段４５は、可視光画像におけるオブジェクトの特徴点に着目して、オブジェクトの移動ベクトルを算出する。なお他の例において移動ベクトル算出手段４５は、可視光画像をマクロブロック等の微小な面積を持つ矩形領域に区切り、連続する可視光画像において各矩形領域に対応する移動ベクトルのそれぞれを、オブジェクトの移動ベクトルとして算出してもよい。この場合、オブジェクトの移動ベクトルは、オブジェクトに含まれる各矩形領域の移動ベクトルの集合や、オブジェクトに含まれる各矩形領域の移動ベクトルを平均したベクトルであってよい。

速度変化検知手段２５は、タイミング発生器４０より受け取ったタイミングにおける車両１０の速度を算出する。そして速度変化検知手段２５は、受け取ったタイミングにおける速度を、前のタイミングにおいて算出した速度で割ることにより速度の変化率を算出し、算出した速度の変化率を移動ベクトル修正手段５０へ出力する。また舵角変化検知手段３０は、タイミング発生器４０より受け取ったタイミングにおける車両１０の舵角を算出する。そして、舵角変化検知手段３０は、受け取ったタイミングにおける舵角と、前のタイミングにおいて算出した舵角との差分から舵角の変化の大きさを算出し、算出した舵角の変化の大きさを移動ベクトル修正手段５０へ出力する。ここで速度変化検知手段２５および舵角変化検知手段３０は、移動ベクトル算出手段４５がオブジェクトの移動ベクトルを算出した次のタイミングにおける速度の変化率、および舵角の大きさの変化を、移動ベクトル修正手段５０へそれぞれ出力する。

移動ベクトル修正手段５０は、速度変化検知手段２５より受け取った速度の変化率、および舵角変化検知手段３０より受け取った舵角の変化の大きさに基づいて、移動ベクトル算出手段４５によって算出された移動ベクトルを修正し、修正した移動ベクトルを可視光画像変位手段５５へ出力する。なお、移動ベクトル修正手段５０の詳細な動作は後述する。

可視光画像変位手段５５は、移動ベクトル修正手段５０より受け取った修正された移動ベクトルを用いて、可視光カメラ２０より受け取った可視光画像を変位させる。そして可視光画像変位手段５５は、変位させた可視光画像をエッジ抽出手段６０へ出力する。

赤外線カメラ３５は、タイミング発生器４０から与えられたタイミングで赤外線照射領域２０２を撮像し、撮像した赤外線画像を、エッジ抽出手段６０へ出力する。エッジ抽出手段６０は、赤外線画像および可視光画像を受け取ると、赤外線画像におけるエッジと、可視光画像変位手段５５が変位させた可視光画像のエッジとをそれぞれ抽出する。この場合、エッジ抽出手段６０は、変位させられた可視光画像および赤外線画像のそれぞれに含まれるオブジェクトの境界をエッジとして抽出する。そしてエッジ抽出手段６０は、抽出したエッジの位置を示す情報を位置合わせ手段６５へ出力する。

位置合わせ手段６５は、エッジ抽出手段６０が抽出した赤外線画像のエッジに、可視光画像のエッジの位置をあわせるべく、可視光画像を再度変位させる。この場合、位置合わせ手段６５は、例えば赤外画像のエッジの角などの特徴点の位置に可視光画像のエッジの特徴点の位置を合わせることにより、可視光画像を変位させる。そして、赤外線画像のエッジと可視光画像のエッジとが予め定められた大きさよりも離れている場合には、位置合わせ手段６５は、エッジ内の領域を可視光画像から除外する。これにより位置合わせ手段６５は、赤外線画像のエッジと可視光画像のエッジとが予め定められた大きさよりも離れているオブジェクトを可視画像から除外する。そして位置合わせ手段６５は、再度変位させた可視光画像を画像合成手段７０へ出力する。

画像合成手段７０は、赤外線カメラ３５によって撮像された赤外線画像、および位置合わせ手段６５によって再度変位させられた可視光画像を受け取る。また本例の画像合成手段７０は、可視光カメラ２０から可視光画像を更に受け取る。ここで、赤外線カメラ３５によって撮像された赤外線画像には、前照灯１２および赤外線ランプ１４の光が重なることで、画素値が上限の濃度へほぼ飽和した画像が含まれる。そこで本例の画像合成手段７０は、赤外線画像に再度変位させられた可視光画像を重ね合わせるとともに、画素値が上限の濃度へほぼ飽和した画像を、可視光カメラ２０から受け取った可視光画像に置き換えることで１つの可視光画像を合成する。そして画像合成手段７０は、合成した画像を表示手段７５へ出力する。表示手段７５は、例えばモニタであって、画像合成手段７０により合成された画像を車両１０の運転手へ表示する。

このように本発明の撮像装置１００においては、赤外線カメラ３５によって撮像された赤外線画像を、可視光画像として見やすく運転手へ表示することができる。また、オブジェクト自体が移動体であり、その速度や移動方向が変化した場合には、変位させた可視光画像に含まれるオブジェクトの位置には誤差が生じる。しかしながら本発明では、赤外線画像の位置にあわせるべく可視光画を再度変位させるので、可視光画像に含まれるオブジェクトを正しい位置に表示することができる。更には、可視光画像に含まれるオブジェクトの位置の誤差が大きい場合には、変位させるべき位置が定まらない場合があるが、本発明ではこのような大きな誤差が生じたオブジェクトは除外して赤外線画像として表示を行うので、運転手にとって見やすい画像を提供できる。

図４は、撮像装置１００の動作の一例を示すフローチャートである。タイミング発生器４０は、所定のタイミングを生成し、生成したタイミングを可視光カメラ２０、速度変化検知手段２５、舵角変化検知手段３０、および赤外線カメラ３５へ出力する。可視光カメラ２０は、受け取ったタイミングに基づいて、前照灯１２が照射する領域を連続して撮像し（Ｓ１００）、得られた可視光画像を移動ベクトル算出手段４５へ出力する。

移動ベクトル算出手段４５は、可視光カメラ２０より受け取った可視光画像を用いて、可視光画像に含まれる移動ベクトルを算出し（Ｓ１０２）、算出した移動ベクトルを移動ベクトル修正手段５０へ出力する。

速度変化検知手段２５は、タイミング発生器４０より受け取ったタイミングにおける車両１０の速度を算出する。ここで速度変化検知手段２５は、受け取ったタイミングにおける速度を、前のタイミングに算出した速度で割ることにより速度の変化率を算出する（Ｓ１０４）。また舵角変化検知手段３０は、タイミング発生器４０より受け取ったタイミングにおける車両１０の舵角を算出する。そして、舵角変化検知手段３０は、受け取ったタイミングにおける舵角と、前のタイミングに算出した舵角の差分から舵角の変化の大きさを算出する（Ｓ１０６）。速度変化検知手段２５および舵角変化検知手段３０は、算出した速度の変化率、および舵角の大きさの変化を、移動ベクトル修正手段５０へそれぞれ出力する。

移動ベクトル修正手段５０は、車両１０の走行状況の変化に基づいて、タイミング発生器４０によって算出された移動ベクトルを修正する（Ｓ１０８）。ここで移動ベクトル修正手段５０は、速度変化検知手段２５より受け取った速度の変化率、および舵角変化検知手段３０より受け取った舵角の変化の大きさに基づいて、移動ベクトル算出手段４５により算出された移動ベクトルを修正し、修正した移動ベクトルを可視光画像変位手段５５へ出力する。

可視光画像変位手段５５は、可視光カメラ２０より受け取った可視光画像を、移動ベクトル修正手段５０が修正した移動ベクトルを用いて変位させる（Ｓ１１０）。そして可視光画像変位手段５５は、変位させた可視光画像をエッジ抽出手段６０へ出力する。

赤外線カメラ３５は、タイミング発生器４０より受け取ったタイミングに基づいて、前照灯１２が照射しない領域を撮像し（Ｓ１１２）、撮像した赤外線画像をエッジ抽出手段６０へ出力する。エッジ抽出手段６０は、赤外線カメラ３５により撮像された赤外線画像と可視光画像変位手段５５により変位させられた可視光画像とを受け取ると、赤外線画像におけるエッジと可視光画像のエッジを抽出する（Ｓ１１４）。そしてエッジ抽出手段６０は、抽出したそれぞれのエッジの位置を示す情報を、位置合わせ手段６５へ出力する。

ここで、赤外線画像のエッジの位置に対して可視光画像のエッジの位置が、予め定めた大きさよりも離れている場合（Ｓ１１６：ＹＥＳ）、位置合わせ手段６５は赤外線画像のエッジと可視光画像のエッジとが予め定めた大きさ以上離れているオブジェクトを除外する（Ｓ１１８）。そして、本フローチャートはステップＳ１２０へ進む。

赤外線画像のエッジの位置に対して可視光画像のエッジの位置が、予め定めた大きさよりも離れていない場合（Ｓ１１６：ＮＯ）、位置合わせ手段６５は、可視光画像のエッジの位置が、赤外線画像のエッジの位置に合うように、可視光画像を再度変位させる（Ｓ１２０）。本例の位置合わせ手段６５は、赤外画像のエッジの角などの特徴点の位置に、可視光画像のエッジの特徴点の位置を合わせることにより、可視光画像を変位させる。そして、変位させた可視光画像と、赤外線カメラ３５から取得した赤外線画像とを画像合成手段７０へ出力する。

画像合成手段７０は、赤外線カメラ３５から取得した赤外線画像に、位置合わせ手段６５によって再度変位させられた可視光画像を合成する（Ｓ１２２）。なお、本例の画像合成手段７０は、可視光カメラ２０から可視光画像を更に受け取る。そして画像合成手段７０は、受け取った赤外線画像に、再度変位させられた可視光画像を重ね合わせるとともに、前照灯１２と赤外線ランプ１４の光が重なって照射された画像を、可視光カメラ２０から受け取った可視光画像に置き換えることで１つの可視光画像を合成する。表示手段７５は、合成された画像を例えば運転手へ表示する（Ｓ１２４）。これにより本発明の撮像装置１００は、可視光カメラ２０の前方の前照灯照射領域２００および赤外線照射領域２０２を、１つの可視光画像として運転手へ見やすく表示することができる。

図５は、ステップＳ１０８における移動ベクトル修正手段５０の詳細な動作の一例を示すフローチャートである。本例では可視光カメラ２０の光軸は、車両１０の舵角が略零度の場合における車両１０の進行方向と一致するように配置される。そしてオブジェクトが静止している場合、車両１０の速度の変化は、可視光カメラ２０が撮像する可視光画像内のある特徴点の移動ベクトルの大きさの変化に比例し、車両１０の舵角の変化の大きさは、可視光画像内における特徴点の左右方向への移動量に比例する。

速度変化検知手段２５から速度の変化率を受け取ると、移動ベクトル修正手段５０は、速度変化検知手段２５から受け取った速度の変化率を、移動ベクトル算出手段４５が算出した移動ベクトルに乗じる（Ｓ２００）。また舵角変化検知手段３０から舵角の変化の大きさを受け取ると、移動ベクトル修正手段５０は、舵角変化検知手段３０から受け取った舵角の変化の大きさを車両１０の速度に乗じることにより、車両１０の旋回速度の変化を算出する（Ｓ２０２）。

ここで、車両１０が所定の速度および所定の舵角で走行中に舵角を変化させた場合、可視光画像内の特徴点は、舵角を変化させた方向、舵角の変化の大きさ、および車両１０の速度に応じて、舵角の変化が生じた微小時間内に右または左へ所定の移動量だけ移動する。この時に生じた移動量を、本明細書では旋回移動ベクトルと呼ぶ。そして旋回移動ベクトルの大きさは、舵角の変化の大きさに車両１０の速度を乗じた車両１０の旋回速度に比例し、旋回移動ベクトルの向きは舵角の変化が生じた方向とは逆方向に生じる。

移動ベクトル修正手段５０は、車両１０の旋回速度の変化から旋回移動ベクトルを算出する（Ｓ２０４）。そして移動ベクトル修正手段５０は、算出した旋回移動ベクトルを、速度の変化率を乗じた移動ベクトルへ加える（Ｓ２０６）。これにより、移動ベクトル修正手段５０は、修正された移動ベクトルを算出する。この修正された移動ベクトルを用いて可視光画像を変位させることによって、本発明の撮像装置１００は、車両の速度、および車両の舵角が変化した場合であっても、オブジェクトを正しい位置に表示できる。

なお本例の撮像装置１００は赤外線カメラ３５を有したが、他の例において撮像装置１００は、赤外線カメラ３５に代えて可視光カメラを有してもよい。この場合、可視光カメラは、可視光カットフィルタを持たない。これにより、車両１０の前方を撮像する場合、赤外線ランプ１４が照射する赤外光および車両１０の周囲に存在する外光のそれぞれの反射光を検知することができるので、可視光カメラは、赤外線画像に比べて、より明るい画像を得ることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明に係る撮像装置１００を搭載した車両１０の構成の一例を示す図である。 本発明の撮像装置１００が合成する画像を説明する図である。（ａ）は、可視光カメラ２０が撮像する可視光画像３０４を説明する図である。（ｂ）は、赤外線カメラ３５が撮像する赤外線画像３１０を説明する図である。（ｃ）は、合成画像３１６を説明する図である。 撮像装置１００の機能構成の一例を示す図である。 撮像装置１００の動作の一例を示すフローチャートである。 ステップＳ１０８における移動ベクトル修正手段５０の詳細な動作の一例を示すフローチャートである。

符号の説明

１０・・・車両、１２・・・前照灯、１４・・・赤外線ランプ、２０・・・可視光カメラ、２６・・・赤外線カットフィルタ、３５・・・赤外線カメラ、２５・・・速度変化検知手段、３０・・・舵角変化検知手段、４０・・・タイミング発生器、４５・・・移動ベクトル算出手段、５０・・・移動ベクトル修正手段、５５・・・可視光画像変位手段、６０・・・エッジ抽出手段、６５・・・位置合わせ手段、７０・・・画像合成手段、７５・・・表示手段、１００・・・撮像装置、２００・・・前照灯照射領域、２０２・・・赤外線照射領域、３００、３０２、３０６、３０８、３１４・・・画像領域、３０４・・・可視光画像、３１０・・・赤外線画像、３１６・・・合成画像、３５０、３５２、３５４、３５６、３５８・・・オブジェクト、３７０、３７２・・・移動ベクトル

Claims (8)

1. 前照灯が照射する車両の前方の領域を連続して撮像する可視光カメラと、
   前記車両の前方において、前記前照灯が照射しない領域を撮像する赤外線カメラと、
   前記可視光カメラが連続して撮像した可視光画像を用いて、前記可視光画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、
   前記可視光カメラが撮像した前記可視光画像を、前記移動ベクトル算出手段が算出した前記移動ベクトルを用いて変位させた可視光画像を算出する可視光画像変位手段と、
   前記赤外線カメラが撮像した赤外線画像に、前記可視光画像変位手段が変位させた前記可視光画像を合成する画像合成手段と
   を備えた撮像装置。
2. 前記車両の走行状況の変化に基づいて、前記移動ベクトル算出手段が算出した前記移動ベクトルの大きさを修正する移動ベクトル修正手段を更に備え、
   前記可視光画像変位手段は、前記移動ベクトル修正手段が修正した前記移動ベクトルを用いて、前記可視光カメラが撮像した前記可視光画像を変位させる請求項１に記載の撮像装置。
3. 前記移動ベクトル算出手段が前記移動ベクトルを算出するのに用いた前記可視光画像を撮像した後の前記車両の速度の変化率を算出する速度変化検知手段を更に備え、
   前記移動ベクトル修正手段は、前記速度変化検知手段が算出した前記速度の変化率を前記移動ベクトル算出手段が算出した前記移動ベクトルに乗じることにより、前記移動ベクトルを修正する請求項２に記載の撮像装置。
4. 前記移動ベクトル算出手段が前記移動ベクトルを算出するために用いた前記可視光画像を撮像した時の前記車両の速度を算出する速度変化検知手段と、
   前記移動ベクトル算出手段が前記移動ベクトルを算出するのに用いた前記可視光画像を撮像した時の舵角と、その後の舵角の変化の大きさを算出する舵角変化検知手段と
   を更に備え、
   前記移動ベクトル修正手段は、前記舵角変化検知手段が算出した舵角の変化の大きさに、前記速度変化検知手段が検知した前記車両の前記速度を乗じることにより前記車両の旋回速度を算出し、当該旋回速度から算出される旋回移動ベクトルを、前記移動ベクトル算出手段が算出した前記移動ベクトルに加える請求項２に記載の撮像装置。
5. 前記赤外線カメラが撮像した前記赤外線画像のエッジと、前記可視光画像変位手段が変位させた前記可視光画像のエッジとを抽出するエッジ抽出手段と、
   前記エッジ抽出手段が抽出した前記赤外線画像の前記エッジに前記可視光画像の前記エッジの位置を合わせるべく、前記可視光画像を再度変位させる位置合わせ手段と
   を更に備え、
   前記画像合成手段は、前記赤外線カメラが撮像した前記赤外線画像に、前記位置合わせ手段が再度変位させた前記可視光画像を合成する請求項２に記載の撮像装置。
6. 前記位置合わせ手段は、前記赤外線画像の前記エッジと前記可視光画像の前記エッジとが予め定めた大きさ以上離れているオブジェクトを、前記可視光画像から除外し、
   前記画像合成手段は、前記位置合わせ手段によって除外された前記オブジェクト以外の前記可視光画像を合成する請求項５に記載の撮像装置。
7. 前照灯が照射する車両の前方の領域を可視光カメラにより連続して撮像するステップと、
   前記車両の前方において、前記前照灯が照射しない領域を赤外線カメラにより撮像するステップと、
   前記可視光カメラが連続して撮像した可視光画像を用いて、前記可視光画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出ステップと、
   前記可視光カメラが撮像した前記可視光画像を、前記移動ベクトル算出ステップが算出した前記移動ベクトルを用いて変位させた可視光画像を算出する可視光画像変位ステップと、
   前記赤外線カメラが撮像した赤外線画像に、前記可視光画像変位ステップが変位させた前記可視光画像を合成する画像合成ステップと
   を備えた表示方法。
8. 車両の前方を照射する前照灯と、
   前記前照灯が照射する領域を連続して撮像する可視光カメラと、
   前記車両の前方において、前記前照灯が照射しない領域を撮像する赤外線カメラと、
   前記可視光カメラが連続して撮像した可視光画像を用いて、前記可視光画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、
   前記可視光カメラが撮像した前記可視光画像を、前記移動ベクトル算出手段が算出した前記移動ベクトルを用いて変位させた可視光画像を算出する可視光画像変位手段と、
   前記赤外線カメラが撮像した赤外線画像に、前記可視光画像変位手段が変位させた前記可視光画像を合成する画像合成手段と
   を備えた車両。

Images