JP2011153994A

JP2011153994A - 車両周辺監視装置

Info

Publication number: JP2011153994A
Application number: JP2010017162A
Authority: JP
Inventors: Yuji Yokochi; 裕次横地; Naoto Akutsu; 直人阿久津; Masaki Negoro; 昌樹根來; Atsuo Eguchi; 敦央江口; Toshifumi Suzuki; 敏文鈴木; Morimichi Nishigaki; 守道西垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-01-28
Filing date: 2010-01-28
Publication date: 2011-08-11
Anticipated expiration: 2030-01-28
Also published as: JP5215329B2

Abstract

【課題】赤外線撮像素子の構造の改良に依らずに、赤外線カメラの撮像画像に残像が生じることを防止した車両周辺監視装置を提供する。
【解決手段】画像入力回路から出力される今回の制御周期における各画素の輝度値Ｉ_k(x、y)に対して、前回の制御周期における同一位置の画素の輝度値Ｉ_k-1(x、y)に、赤外線カメラ１の赤外線撮像素子の赤外線吸収膜の熱容量と熱コンダクタンスに基づく熱時定数τを用いて設定された変数ｅ^-t/τを乗じた輝度値を減じる第１の補正を行う輝度補正部１２を備え、輝度補正部１２は第１の補正がなされた各画素の輝度値Ｓb^(x、y)のデータを用いて、補正撮像画像Ｉm(k)_cを生成する。
【選択図】図１

Description

本発明は、車両に取り付けられた赤外線カメラの撮像画像により、車両周辺を監視する車両周辺監視装置に関する。

従来より、夜間走行時における運転者による歩行者等の監視対象物の発見を容易にするために、赤外線カメラにより車両の周辺を撮像して、その撮像画像から監視対象物を検知して運転者に報知するようにした車両周辺監視装置が知られている。

このような車両周辺監視装置で用いられる赤外線カメラの赤外線撮像素子は、入射される赤外線を熱に変換して吸収し、吸収した熱量に応じて電気抵抗が変化する赤外線吸収膜を用いて構成されている（例えば、特許文献１参照）。そして、赤外線撮像素子は、赤外線吸収膜に定電流を流したときの電圧降下分を、入射熱量に応じた赤外線検出信号として出力する。

特許第３９２１３２０号公報

上述したように、赤外線カメラの赤外線撮像素子に用いられる赤外線吸収膜は、吸収した熱量に応じた検出信号を出力するものであり、赤外線吸収膜の熱容量を大きくすることで赤外線撮像素子の感度を高めることができる。しかし、一旦赤外線吸収膜に吸収された熱が放熱されるまでには、赤外線吸収膜の熱容量Ｃ及び周囲回路の熱コンダクタンスＧにより定まる熱時定数τに依存した時間を要する。

そのため、赤外線吸収膜の熱容量を大きくすると、赤外線吸収膜に入力される赤外線のレベルの変化に対する赤外線検出信号の応答遅れの影響が大きくなる。その結果、赤外線カメラの撮像画像に、前回の撮像画像が残像として重なる現象が生じ、撮像画像の信頼性が低下するという不都合がある。そこで、上述した特許文献１においては、赤外線撮像素子の構造を改良することによって、赤外線吸収膜の熱容量の増加を抑えて赤外線撮像素子の感度を高めている。

しかし、このように、赤外線撮像素子の構造を改良する場合には、赤外線撮像素子の構造が複雑になって製造コストが高くなるという不都合がある。

そこで、本発明は、赤外線撮像素子の構造の改良に依らずに、赤外線カメラの撮像画像に残像が生じることを防止した車両周辺監視装置を提供することを目的とする。

課題を解決するための部

本発明は上記目的を達成するためになされたものであり、入射される赤外線を熱に変換して吸収すると共に吸収した熱量に応じて電気抵抗が変化する赤外線吸収膜を用いて構成され、各画素の検出領域に入射される赤外線のレベルに応じた赤外線検出信号を出力する赤外線撮像素子を有し、該赤外線検出信号を輝度信号に変換して出力する赤外線カメラと、車両に搭載された前記赤外線カメラから、所定の制御周期毎に出力される１フレーム分の輝度信号により、各制御周期における撮像画像のデータを生成する撮像画像生成部と、前記撮像画像を用いて、車両周辺の対象物を検知する対象物検知部とを備えた車両周辺監視装置に関する。

そして、前記赤外線カメラから出力される今回の制御周期における各画素の輝度信号による輝度値に対して、前回の制御周期における同一位置の画素の輝度信号による輝度値と、前記赤外線吸収膜の熱容量と熱コンダクタンスに基づく熱時定数とを用いて算出した、前回の制御周期で前記赤外線吸収膜に吸収された熱量の残留分による輝度の推定値を減じる第１の補正を行う輝度補正部を備え、前記撮像画像生成部は、前記第１の補正がなされた各画素の輝度値により、前記撮像画像のデータを生成することを特徴とする。

かかる本発明によれば、前記輝度補正部により、今回の制御周期における各画素の輝度信号による輝度値に対して、前回の制御周期で前記赤外線吸収膜に吸収された熱量の残留分による輝度の推定値を減じる前記第１の補正が行われる。そして、前記撮像画像生成部により、前記第１の補正がなされた各画素の輝度を用いて撮像画像が生成される。そのため、前記赤外線撮像素子の構造の改良に依らずに、今回の制御周期での撮像画像に、前回の制御周期で入射された赤外線による熱量の残存分によって、前回の制御周期での撮像画像の残像が生じることを抑制することができる。

また、前記輝度補正部は、前記第１の補正がなされた各画素の輝度値に対して、今回の制御周期における前記赤外線吸収膜への赤外線の入射に応じた、前記熱時定数に基づく前記輝度信号の収束曲線による補正変数で除する第２の補正を行い、前記撮像画像生成部は、前記第１の補正及び前記第２の補正がなされた各画素の輝度値により、前記撮像画像のデータを生成することを特徴とする。

かかる本発明によれば、前記第１の補正がなされた各画素の輝度値に対して、前記第２の補正を行うことにより、今回の制御周期における赤外線の入射量の変化に対する輝度データの応答遅れの影響を低減することができる。

また、前記輝度補正部は、車両の走行速度が所定速度以上であるときに前記第１の補正を行い、車両の走行速度が該所定速度よりも低いときには、前記第１の補正を行わないことを特徴とする。

かかる本発明によれば、制御周期間の撮像画像の変化の度合いが大きくなるために、撮像画像に残像が表示されるおそれが大きくなる高速走行時に、前記第１の補正を行うことによって、撮像画像に残像が現れることをより確実に防止することができる。また、制御周期間の撮像画像の変化の度合いが小さくなるために、撮像画像に残像が表示されるおそれが低くなる低速走行時には、前記第１の補正を行わないようにすることによって、車両周辺監視装置における演算負担を低減することができる。

車両周辺監視装置の構成図。各画素の輝度値を補正する処理の説明図。赤外線撮像素子の構成図。輝度値の補正及びこの補正による効果の説明図。

本発明の実施の形態について、図１〜図４を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置は、車両に設けられた赤外線カメラ１から出力されるアナログの赤外線検出信号（Psig，映像信号）を処理する画像処理ユニット１０と、画像処理ユニット１０から出力される画像データ等を表示する表示部２と、画像処理ユニット１０から出力される音声データ等を出力するスピーカ３とを備えている。

画像処理ユニット１０は、ＣＰＵ、メモリ等により構成された電子ユニットであり、赤外線カメラ１から出力されるアナログの赤外線検出信号（Psig)をデジタルの輝度信号に変換して、所定の制御周期毎に赤外線カメラ１の原撮像画像Ｉm(k)（ｋは制御周期の時系列番号を示す）のデータ（ｍ×ｎ個の画素分の輝度値のデータ）を、画像メモリ１４に書き込む画像入力回路１１（本発明の撮像画像生成部に相当する）と、原撮像画像Ｉm(k)を補正して生成した補正撮像画像Ｉm(k)_cのデータ（ｍ×ｎ個の画素分の輝度値のデータ）を、画像メモリ１４に書込む輝度補正部１２と、原撮像画像Ｉm(k)又は補正撮像画像Ｉm(k)_cから歩行者等の監視対象物を検知して、表示部２及びスピーカ３による報知を行なう対象物検知部１５とを備えている。

なお、ＣＰＵは、メモリに保持された画像処理用のプログラムを実行することによって、輝度補正部１２及び対象物検知部１５として機能する。

次に、図２〜図４を参照して、輝度補正部１２による補正処理について説明する。輝度補正部１２は、図２に示したように、ｍ×ｎ個の画素から成る今回の制御周期（ｋ番目の制御周期）での原撮像画像Ｉm(k)と前回の制御周期（ｋ−１番目の制御周期）での原画像Ｉm(k-1)との間で、同一位置の各画素の輝度値Ｉ_k(x,y)，Ｉ_k-1(x,y) （x=0,1,…,m、y=0,1,…,n）間の補正演算を行う。そして、輝度補正部１２は、この補正演算により得られた輝度値Ｓb^(x、y)を画素データとする補正撮像画像Ｉm(k)_cを生成する。

ここで、赤外線カメラ１の赤外線撮像素子は、図３に示したように、赤外線吸収膜３０を、支持脚３１によりトランジスタ３２に接続すると共に、支持脚３３により出力信号線３４に接続し、トランジスタ制御線３５に出力されるトランジスタ３２のオン／オフ制御信号によって、赤外線吸収膜３０への熱量検出用電流の供給／遮断を切換える構成となっている。

そして、赤外線吸収膜３０は、赤外線Ｉnを吸収して熱に変換し、吸収した熱量に応じてその電気抵抗が変化するため、トランジスタ３２をオン状態として赤外線吸収膜３０に一定電流を供給したときの出力信号線の電圧値を、赤外線吸収膜３０に入射された赤外線のレベルに応じた赤外線検出信号として読み出すことができる。

このように、赤外線吸収膜３０に入射される赤外線のレベルが変化すると、赤外線吸収膜３０の熱吸収量が変化するが、赤外線吸収膜３０が有する熱容量Ｃ（赤外線吸収膜３０の面積、厚さ等に依存する）及び支持脚３１，３３の熱コンダクタンスＧ（支持脚３１，３３の長さ、太さ等に依存する）により定まる熱時定数τ（＝Ｃ／Ｇ）に応じて、赤外線撮像素子から出力される赤外線検出信号の応答遅れが生じる。

そして、この応答遅れに起因して、前回の制御周期での熱量が赤外線吸収膜３０に残存していると、画像入力回路１１により生成される今回の制御周期での撮像画像に、前回の撮像画像の残像が生じてしまう。そこで、輝度補正部１２は、このような残像が生じることを抑制するために第１の補正及び第２の補正を行っている。

図４（ａ）及び図４（ｂ）は、輝度補正部１２により補正を行うことによる効果を示した説明図である。図４（ａ）は赤外線撮像素子への赤外線の入力レベルがＳaからＳbに増大（入射される熱量が増大）した場合、図４（ｂ）は赤外線撮像素子への赤外線の入力レベルがＳaからＳbに減少（入射される熱量が減少）した場合を、縦軸を入力レベルに設定し、横軸を時間に設定して示したものである。

図４（ａ）では、赤外線の入力レベルがＳaからＳbに変化したｔ₀から、画像入力回路１１から出力される画素の輝度値Ｉ_k(x,y)が増加している。また、図４（ｂ）では、赤外線の入力レベルがＳaからＳbに変化したｔ₀から、画像入力回路１１から出力される画素値Ｉ_k(x,y)が減少している。

そして、これらの輝度値Ｉ_k(x,y)は、前回の制御周期での入力レベルＩ_k-1(x,y)（＝Ｓa）とｔ₀以降の入力レベルＳbを用いて、以下の式（１）によりモデル化することができる。

但し、Ｉ_k(x,y)：今回の原撮像画像の(x,y)位置の画素の輝度値、Ｉ_k-1(x,y)：前回の原撮像画像の(x,y)位置の画素の輝度値、ｔ：１フレームの周期、τ：赤外線カメラ１の赤外線撮像素子の熱時定数、ｅ^-t/τ：前回の原撮像画像の各画素の輝度値の減少曲線、(1-ｅ^-t/τ)：今回の入力による輝度値の収束曲線。

そのため、上記式を今回の入力レベルについて表した以下の式（２）により、今回の入力信号のレベルＳbの推定値Ｓb^を算出することができる。

但し、Ｓb^(x,y)：補正撮像画像の(x,y)位置の画素の輝度値、Ｉ_k(x,y)：今回の原撮像画像の(x,y)位置の画素の輝度値、Ｉ_k-1(x,y)：前回の原撮像画像の(x,y)位置の画素の輝度、ｔ：１フレームの周期、τ：赤外線カメラ１の赤外線撮像素子の熱時定数、Ｉ_k-1(x,y) ｅ^-t/τ：前回の制御周期で赤外線吸収膜に吸収された熱量の残留分による輝度値の推定値。

なお、上記式（２）において、右辺の分子で今回の原撮像画像の(x,y)位置の画素の輝度値Ｉ_k(x,y)から、原撮像画像の(x,y)位置の画素の輝度値Ｉ_k-1(x,y)にｅ^-t/τを乗じた前回の制御周期で赤外線吸収膜に吸収された熱量の残留分による輝度の推定値を減じる処理が第１の補正となる。また、上記式（２）おける右辺の(１-ｅ^-t/τ)で除する処理が第２の補正となる。

輝度補正部１２は、図２を参照して上述したように、今回の制御周期（ｋ番目の制御周期）の原撮像画像Ｉm(k)と前回の制御周期（ｋ−１番目の制御周期）の原撮像画像Ｉm(k-1)の、同一位置の各画素の輝度値Ｉ_k(x,y)、Ｉ_k-1(x,y)を上記式（２）に適用してＳb^(x,y)を算出する。そして、輝度補正部１２は、各画素の輝度値をＳb^(x,y)とした補正撮像画像Ｉm(k)_cを生成する。これにより、今回の撮像画像Ｉm(k)から、残像を生じさせる前回の撮像画像Ｉm(k-1)の輝度値の残留分を排除した補正撮像画像Ｉm(k)_cを得ることができる。

そして、対象物検知部１５は、補正撮像画像Ｉm(k)_c（グレースケール画像）或いは補正撮像画像Ｉm(k)_cの２値画像から、歩行者等の監視対象物の画像を探索して、車両周辺の対象物を監視する。そのため、残像の影響による歩行者の誤検知等を抑制することができる。

なお、車両の走行速度が低いときには、今回の撮像画像と前回の撮像画像間での変化が少ないため、残像の影響が少なくなる。また、車両の走行速度が低いほど、車両から所定距離をもって所在する対象物に、車両が到達するまでの時間が長くなる。そこで、車速センサ（図示しない）により検出される走行速度が所定速度以下である低速域では、輝度補正部１２による補正処理を禁止し、該所定速度を超える高速域でのみ輝度補正部１２による補正処理を行う構成として、低速域での画像処理ユニット１０の演算負荷を低減させてもよい。

また、本実施の形態では、上記式（２）により、(１-ｅ^-t/τ)で除する第２の補正を行うことで今回の入力に対する輝度値の応答遅れの影響を低減させたが、(１-ｅ^-t/τ)で除することをせずに、前回の入力分による輝度値Ｉ_k-1(x,y)ｅ^-t/τを減じる演算のみを行う場合であっても、残像の発生を抑制するという効果を得ることができる。

また、本実施の形態では、上記式（２）により、前回の原撮像画像の各画素の輝度Ｉ_k-1(x、y)にｅ^-t/τを乗じて、前回の制御周期で赤外線吸収膜に吸収された熱量の残留分による輝度値の推定値を算出したが、該輝度値の推定値と前回の原撮像画像の各画素の輝度Ｉ_k-1(x、y)との対応マップを予め用意して、この対応マップに各画素の輝度Ｉ_k-1(x、y)を適用して該輝度値の推定値を求める等、他の構成によって該輝度値の推定値を求めるようにしてもよい。

なお、監視対象物を歩行者や四足動物とした場合に、その存在可能性が低い状況下では、輝度補正部１２による補正処理を禁止してもよい。ここで、存在可能性が低い状況とは、例えば、グレースケール画像又は２値化画像中に高輝度の画像部分が存在しない、グレースケール画像の輝度分散が所定値以下、高速道路走行中（高速道路を走行中であることは、車両に装備されたナビゲーション装置等により認識することができる）等の状況が挙げられる。

１…赤外線カメラ、１０…画像処理ユニット、１１…画像入力回路、１２…輝度補正部、１４…画像メモリ、１５…対象物検知部。

Claims

入射される赤外線を熱に変換して吸収すると共に吸収した熱量に応じて電気抵抗が変化する赤外線吸収膜を用いて構成され、各画素の検出領域に入射される赤外線のレベルに応じた赤外線検出信号を出力する赤外線撮像素子を有し、該赤外線検出信号を輝度信号に変換して出力する赤外線カメラと、
車両に搭載された前記赤外線カメラから、所定の制御周期毎に出力される１フレーム分の輝度信号により、各制御周期における撮像画像のデータを生成する撮像画像生成部と、
前記撮像画像を用いて、車両周辺の対象物を検知する対象物検知部と
を備えた車両周辺監視装置において、
前記赤外線カメラから出力される今回の制御周期における各画素の輝度信号による輝度値に対して、前回の制御周期における同一位置の画素の輝度信号による輝度値と、前記赤外線吸収膜の熱容量と熱コンダクタンスに基づく熱時定数とを用いて算出した、前回の制御周期で前記赤外線吸収膜に吸収された熱量の残留分による輝度の推定値を減じる第１の補正を行う輝度補正部を備え、
前記撮像画像生成部は、前記第１の補正がなされた各画素の輝度値により、前記撮像画像のデータを生成することを特徴とする車両周辺監視装置。
請求項１記載の車両周辺監視装置において、
前記輝度補正部は、前記第１の補正がなされた各画素の輝度値に対して、今回の制御周期における前記赤外線吸収膜への赤外線の入射に応じた、前記熱時定数に基づく前記輝度信号の収束曲線による補正変数で除する第２の補正を行い、
前記撮像画像生成部は、前記第１の補正及び前記第２の補正がなされた各画素の輝度値により、前記撮像画像のデータを生成することを特徴とする車両周辺監視装置。
請求項１又は請求項２記載の車両周辺監視装置において、
前記輝度補正部は、車両の走行速度が所定速度以上であるときに前記第１の補正を行い、車両の走行速度が該所定速度よりも低いときには、前記第１の補正を行わないことを特徴とする車両周辺監視装置。