JP2008183933A - 赤外線暗視装置 - Google Patents

Abstract

【課題】近赤外線照射の良し悪しによらず生体の存在を認識でき、誤認識をし難い赤外線暗視装置を提供する。
【解決手段】近赤外線カメラ１４は近赤外線により撮像を行い、遠赤外線カメラ１６は生体からの遠赤外線を検出して生体の検知を行い、生体領域塗り潰し部２８ａは、近赤外線画像上において、遠赤外線カメラ１６が検知した生体領域を塗り潰して強調表示する。これにより、温度差を利用する方式である遠赤外線カメラ１６により確実に生体の検知を行い、確実に生体が存在する領域を強調表示するため、近赤外線照射の良し悪しによらず生体の存在を認識でき、誤認識をし難いものとできる。また、画像が自然に近い状態で見える近赤外線による画像の長所を活かすことができる。
【選択図】図１

Description

本発明は赤外線暗視装置に関し、特に、歩行者等の生体の存在を認識するための赤外線暗視装置に関するものである。

従来、赤外線を利用して歩行者等の生体の存在を認識するための赤外線暗視装置が用いられている。例えば、特許文献１では、車両用周辺監視装置として、近赤外線を照射する赤外線投光器と赤外線カメラとを備え、赤外線カメラで撮影した車両前方の赤外画像を車両運転者に表示するＨＵＤを備えた構成により、車両運転者の視覚を補助する技術が提案されている。
特開２００５−２７５８５０号公報

しかしながら、上記の技術では、近赤外線照射強度が低いエリアでは歩行者の有無を発見しにくい場合がある。また、看板等の歩行者でないものを歩行者であると誤認する可能性もある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、近赤外線照射の良し悪しによらず生体の存在を認識でき、誤認識もしにくい赤外線暗視装置を提供することにある。

本発明は、近赤外線を投射して撮像を行う近赤外線式暗視手段と、生体からの遠赤外線を検出して生体の検知を行う遠赤外線式暗視手段と、近赤外線式暗視手段が撮像した画像上において、遠赤外線式暗視手段が検知した生体が存在する領域を強調表示する強調表示手段と、を備えた赤外線暗視装置である。

この構成によれば、近赤外線式暗視手段が近赤外線を投射して撮像を行い、遠赤外線式暗視手段が生体からの遠赤外線を検出して生体の検知を行い、強調表示手段は、近赤外線式暗視手段が撮像した画像上において、遠赤外線式暗視手段が検知した生体が存在する領域を強調表示するため、温度差を利用する方式である遠赤外線式暗視手段により確実に生体の検知を行い、確実に生体が存在する領域を強調表示するため、近赤外線照射の良し悪しによらず生体の存在を認識でき、誤認識をし難いものとできる。また、画像が自然に近い状態で見える近赤外線による画像の長所を活かすことができる。

この場合、強調表示手段は、近赤外線式暗視手段が撮像した画像上において、遠赤外線暗視手段が検知した生体が存在する領域に外接する長方形に内接する楕円形の領域内の画素に対し、楕円形の中心ほど輝度が高くなるように楕円形の領域内の画素値を修正する処理を行うことが好適である。

この構成によれば、強調表示手段は、近赤外線式暗視手段の撮像画像上において、遠赤外線暗視手段が検知した生体が存在する領域に外接する長方形に内接する楕円形の領域内の画素に対し、楕円形の中心ほど輝度が高くなるように楕円形の領域内の画素値を修正する処理を行うため、自然に近い状態のままで生体の存在を強調表示することができる。

一方、生体までの距離を測定する距離測定手段をさらに備え、強調表示手段は、距離測定手段が測定した生体までの距離に応じて遠赤外線式暗視手段が検知した生体が存在する領域を強調表示することが好適である。

この構成によれば、強調表示手段は、距離測定手段が測定した生体までの距離に応じて遠赤外線式暗視手段が検知した生体が存在する領域を強調表示するため、例えば、距離が近い生体ほど強調度合いを大きくし、距離が近く注目すべき生体の優先度を認識可能とすることができる。

この場合、距離測定手段は、近赤外線式暗視手段と、近赤外線式暗視手段とは異なる位置に備えられた遠赤外線式暗視手段とからなり、近赤外線式暗視手段による撮像結果と、遠赤外線式暗視手段による検知結果と、近赤外線式暗視手段と遠赤外線式暗視手段との位置関係とに基づいて生体までの距離を測定するものとできる。

この構成によれば、距離測定手段は、近赤外線式暗視手段と、近赤外線式暗視手段とは異なる位置に備えられた遠赤外線式暗視手段とからなり、近赤外線式暗視手段による撮像結果と、遠赤外線式暗視手段による検知結果と、近赤外線式暗視手段と遠赤外線式暗視手段との位置関係とに基づいて生体までの距離を測定するステレオ方式をとるため、生体までの距離を測定するために個別の計測手段が不要であり、装置を簡便なものとできる。

本発明の赤外線暗視装置によれば、近赤外線照射の良し悪しによらず生体の存在を認識でき、誤認識をし難いものとできる。また、本発明の赤外線暗視装置によれば、画像が自然に近い状態で見える近赤外線による画像の長所を活かすことができる。

以下、本発明の実施の形態に係る赤外線暗視装置について添付図面を参照して説明する。

図１は、第１実施形態に係る赤外線暗視装置の構成を示すブロック図である。本実施形態の赤外線暗視装置は、車載用の暗視装置等において夜間に歩行者等の生体の検知を行い、運転者に注意を促すためのものである。図１に示すように、本実施形態の赤外線暗視装置１は、近赤外線投射部１２及び近赤外線カメラ１４からなる近赤外線暗視部１０、遠赤外線カメラ１６、近赤外線画像取得部１８、遠赤外線画像取得部２０、生体検知部２２、生体領域対応付け部２４、座標交換テーブル格納部２６、生体領域塗り潰し部２８ａ及びディスプレイ３０を備えている。

近赤外線投射部１２は、波長０．７〜２．５μｍの近赤外線を車両前方に投射するためのもので、具体的には赤外線ランプ、赤外線ＬＥＤ等を適用することができる。近赤外線カメラ１４は、近赤外線投射部１２により投射された近赤外線の反射光により撮像を行うためのもので、具体的には、近赤外線まで感度分布を持つＣＣＤカメラ等を適用することができる。近赤外線投射部１２及び近赤外線カメラ１４からなる近赤外線暗視部１０は、特許請求の範囲に記載の近赤外線式暗視手段として機能する。

遠赤外線カメラ１６は、生体から放射される波長４〜１０００μｍの遠赤外線を感知することにより生体の存在を検出するためのもので、具体的にはボロメータ型撮像素子を用いた映像装置及び量子型撮像素子を用いた映像装置のいずれも用いることができる。遠赤外線カメラ１６は、特許請求の範囲に記載の遠赤外線式暗視手段として機能する。

なお、上記近赤外線カメラ１４及び遠赤外線カメラ１６は別個に分離して設置されているものでも、近赤外線／遠赤外線一体型カメラであっても良い。

近赤外線画像取得部１８及び遠赤外線画像取得部２０は、それぞれ近赤外線カメラ１４及び遠赤外線カメラ１６が取得した画像信号から近赤外線画像及び遠赤外線画像を取得するためのものであり、取得した近赤外線画像及び遠赤外線画像を所定の時間だけ蓄積できるようになっている。

生体探知部２２は、遠赤外線画像取得部が取得した遠赤外線画像を利用して、遠赤外線画像上における歩行者等の生体が存在する領域（以下、生体領域あるいは歩行者領域と呼ぶ）を検出するためのものである。生体探知部２２による遠赤外線画像上の生体領域の検出は、既存のサーモグラフィー等の手法を適用することができる。

生体領域対応付け部２４は、近赤外線カメラ１４と遠赤外線カメラ１６の設置位置の違いによる取得画像の相違を、座標変換テーブル格納部２６に格納された座標変換テーブルを参照して、遠赤外線画像の生体領域を近赤外線画像の座標と整合するように座標変換するためのものである。座標変換テーブル格納部２６は、遠赤外線画像の生体領域を近赤外線画像の座標に整合させるための座標変換データである座標変換テーブルを格納するためのものである。

生体領域塗り潰し部２８ａは、近赤外線画像における遠赤外線画像の生体領域に対応する領域内を一定の色（例えば白色）で塗りつぶして描画することにより、近赤外線画像上において、遠赤外線カメラ１６が検知した生体領域を強調表示するためのものである。生体領域塗り潰し部２８ａは、特許請求の範囲に記載の強調表示手段として機能する。

ディスプレイ３０は、生体領域塗り潰し部２８ａにより描画された画像をユーザに表示するためのものであり、車載用の暗視装置においてはカーナビゲーションシステムのディスプレイを適用することができる。

次に、図２及び３を参照して、本実施形態の赤外線暗視装置の動作について説明する。図２は第１実施形態に係る赤外線暗視装置の動作を示すフロー図であり、図３は第１実施形態に係る近赤外線画像と遠赤外線画像とを重畳し強調表示を行う様子を示す図である。図２に示すように、近赤外線画像取得部１８は近赤外線カメラ１４の撮像画像から近赤外線画像を取得し（Ｓ１０）、遠赤外線画像取得部２０は遠赤外線カメラ１６の検出結果から遠赤外線画像を取得する（Ｓ１２）。

図２及び３に示すように、生体検知部２２は、遠赤外線画像取得部２０が取得した遠赤外線画像を利用し、既存のサーモグラフィー等の手法により歩行者領域を検出する（Ｓ１４）。生体領域対応付け部２４は、近赤外線カメラ１４と遠赤外線カメラ１６の設置位置の違いによる取得画像の相違を、座標変換テーブル格納部２６に格納された座標変換テーブルを参照して、遠赤外線画像の歩行者領域を近赤外線画像の座標と整合するように座標変換する（Ｓ１６）。

図２及び３に示すように、生体領域塗り潰し部２８ａは、近赤外線画像における遠赤外線画像の歩行者領域に対応する領域内を白色で塗り潰して描画する（Ｓ１８ａ）。ディスプレイ３０は、歩行者領域を強調して描画された近赤外線画像をユーザに表示する（Ｓ２０）。

本実施形態によれば、近赤外線カメラ１４が近赤外線により撮像を行い、遠赤外線カメラ１６が生体からの遠赤外線を検出して生体の検知を行い、生体領域塗り潰し部２８ａは、近赤外線画像上において、遠赤外線カメラ１６が検知した生体領域を塗り潰して強調表示するため、温度差を利用する方式である遠赤外線カメラ１６により確実に生体の検知を行い、確実に生体が存在する領域を強調表示するため、近赤外線照射の良し悪しによらず生体の存在を認識でき、誤認識をし難いものとできる。また、画像が自然に近い状態で見える近赤外線による画像の長所を活かすことができる。

すなわち、図３に示すように、近赤外線画像は画像が自然に近いものの、歩行者の存在を見分けることが難しい。車載式の暗視装置の場合、車両前方に投射される近赤外線は車両の挙動や道路構造に関わらず一定の方向を向いているため、カーブなどを走行中は近赤外線の照射強度が低くなる可能性があり、照射強度の低い領域の歩行者が見え難くなる。また、近赤外線画像は、対向車によるハレーションにより歩行者が見え難くなる場合や、歩行者の着衣と背景との近赤外線の反射率が同程度のときに歩行者と背景とのコントラストの低下が生じて歩行者が見え難くなる場合がある。このため、看板等を歩行者と誤認識する場合がある。

また、従来の近赤外線式の暗視装置は、図４に示すように、近赤外線画像を点滅あるいは常灯する注意喚起刺激枠ＦＦで囲ったり、近赤外線画像上の歩行者を常灯する歩行者検知枠Ｆで囲うことにより、ユーザに歩行者の存在を知らしめている。しかし、このような装置では、歩行者身長に相当する画素数等の歩行者検知結果をベースとして歩行者検知枠Ｆを作成しているため、歩行者の姿勢や近赤外線の照射強度次第で、歩行者の身長に相当する画素が数画素ずれ、生成する歩行者検知枠Ｆの大きさが変化し、歩行者検知枠Ｆが小刻みに揺れているように見える場合がある。これは、歩行者検知自体は、近赤外線画像内の形状及び輝度値に基づいたパターン認識をベースにしているためである。

一方、歩行者が放射する遠赤外線による遠赤外線画像は、歩行者の存在は見分けやすいものの、背景の画像が不自然であり、カメラがどこを撮像しているのか不明確であるという欠点がある。

そこで、本実施形態では、近赤外線画像上において、遠赤外線方式により検知した歩行者領域を塗り潰して強調表示するものとした。このため、近赤外線照射の良し悪しによらず生体の存在を認識でき、歩行者の存在位置を強調表示してユーザに提示できる。また、本実施形態では、生体の大きさによらず、実際の生体の領域をユーザに提示するため、小刻みに振動する歩行者検知枠を利用しなくともすみ、ユーザに与える違和感を低減できる。すなわち、本実施形態では、動画として歩行者を捕らえることになるため、歩行者の輪郭を含む領域も動画的に刻々と変化することになり、人間の感覚により合致したものとなる。さらに、本実施形態では、遠赤外線による生体検知を行うことにより、看板等の歩行者に似た形状を誤認識することなく歩行者を検出でき、誤検知を低減することができる。

以下、本発明の第２実施形態について説明する。図５は、第２実施形態に係る赤外線暗視装置の構成を示すブロック図である。図５に示すように、本実施形態の赤外線暗視装置２は、上記第１実施形態の生体領域塗り潰し部２８ａの替わりに、近赤外線画像における遠赤外線画像の生体領域に対応する領域内を塗り潰すのではなく当該領域の輪郭を一定の色（例えば白色）で描画する生体領域輪郭描画部２８ｂを備えている。

図６に示すように、本実施形態の赤外線暗視装置２の動作中においては、ステップ１８ｂにおいて、生体領域輪郭描画部２８ｂが近赤外線画像の歩行者領域の輪郭を描画する。このため、本実施形態では図７に示すように、生体領域の輪郭のみに描画することにより生体領域を強調表示するため、より自然に近い状態で、ユーザに生体の存在を強調した画像を提示することができる。

以下、本発明の第３実施形態について説明する。図８は、第３実施形態に係る赤外線暗視装置の構成を示すブロック図である。図８に示すように、本実施形態の赤外線暗視装置３は、上記第１実施形態の生体領域塗り潰し部２８ａの替わりに、近赤外線画像における遠赤外線画像の生体領域に対応する領域内を塗り潰すのではなく当該領域の輝度を中央ほど高くなるように修正する生体領域コントラスト強調部２８ｃを備え、さらに輝度の調整のために生体領域コントラスト強調部２８ｃが参照するためのガウス関数等のコントラスト強調関数を格納したコントラスト強調関数格納部３２を備えている。

図９及び１０に示すように、本実施形態の赤外線暗視装置３の動作中においては、ステップ１８ｃにおいて、生体領域コントラスト強調部２８ｃが、歩行者領域の外接矩形の高さ及び幅を計算し、それぞれを楕円の長径及び短径として楕円を生成する。この楕円の生成は、図１１に示すように、生体領域に外接する長方形Ｒに内接する楕円Ｅとなるように生成する。次に、図９及び１０に示すように、ステップ１８ｄにおいて、生体領域コントラスト強調部２８ｃが、コントラスト強調関数格納部３２のコントラスト強調関数を参照しつつ、当該楕円形の領域内の画素について中央ほど輝度が高くなるように画素値を修正する。この画素値の修正は、図１２に示すように、楕円Ｅの中心をガウス関数の頂点とし、楕円中心を通る全方位に対してガウス関数等のコントラスト強調関数に対応するように画素の輝度を修正することにより行う。この結果、図１０に示すように、生体領域の輝度が強調され、生体領域が画像上から浮き上がるように表示される。

本実施形態では、生体領域コントラスト強調部２８ｃは、近赤外線画像上において、遠赤外線カメラ１６が検知した生体領域に外接する長方形に内接する楕円形の領域内の画素に対し、楕円形の中心ほど輝度が高くなるように楕円形の領域内の画素値を修正する処理を行うため、自然に近い状態のままで生体の存在を強調表示することができる。

以下、本発明の第４実施形態について説明する。図１３は、第４実施形態に係る赤外線暗視装置の構成を示すブロック図である。図１３に示すように、本実施形態の赤外線暗視装置４は、近赤外線画像取得部１８に近赤外線画像中の生体領域を検出する近赤生体探知部３４が接続されており、遠赤外線画像取得部２０に遠赤外線画像中の生体領域を検出する遠赤生体探知部３６が接続されている。また、本実施形態の赤外線暗視装置４は、近赤生体探知部３４及び遠赤生体探知部３６それぞれが探知結果と、カメラ外部パラメータ格納部４０に格納された近赤外線カメラ１４及び遠赤外線カメラ１６の位置関係とに基づいて生体までの距離を測定する距離測定部３８を備える。近赤外線カメラ１４、遠赤外線カメラ１６、距離測定部３８及びカメラ外部パラメータ格納部４０は、特許請求の範囲に記載の距離測定手段として機能する。

さらに、本実施形態の赤外線暗視装置４は、距離測定部３８により測定された生体までの距離と、コントラスト強調テーブル格納部４２に格納されたコントラスト強調テーブルとに基づき、生体までの距離に応じて生体領域の強調度合を変更して描画する映像強調描画部２８ｄを備える。

図１４に示すように、本実施形態の赤外線暗視装置４の動作中においては、近赤生体探知部３４はパターンマッチング等の既存の手法により歩行者領域を検出し（Ｓ１３）、遠赤生体探知部３６はサーモグラフィー等の既存の手法により歩行者領域を検出する（Ｓ１４）。第１実施形態と同様に、生体領域対応付け部２４は、近赤外線カメラ１４と遠赤外線カメラ１６の設置位置の違いによる取得画像の相違を、座標変換テーブル格納部２６に格納された座標変換テーブルを参照して、遠赤外線画像の歩行者領域を近赤外線画像の座標と整合するように座標変換する（Ｓ１６）

一方、距離測定部１８は、近赤外線画像と遠赤外線画像とによる歩行者領域の位置及び大きさと、カメラ外部パラメータ格納部４０に格納された近赤外線カメラ１４及び遠赤外線カメラ１６の位置関係とに基づいて、既存のステレオ画像による距離計測手法（三角測量法）により、歩行者までの距離を求める（Ｓ１８ｅ）。

図１４及び１５に示すように、映像強調描画部２８ｄは、距離測定部３８により測定された生体までの距離と、コントラスト強調テーブル格納部４２に格納されたコントラスト強調テーブルとに基づき、生体までの距離に応じて生体領域の強調度合を変更し、近い距離の歩行者ほど強調して描画する（Ｓ１８ｆ）。ディスプレイ３０は、歩行者領域を強調して描画された近赤外線画像をユーザに表示する（Ｓ２０）。

本実施形態によれば、映像強調描画部２８ｄは、距離測定部３８が測定した生体までの距離に応じて、距離が近い生体ほど強調度合いを大きくして生体領域を強調表示するため、距離が近く注目すべき生体の優先度を認識可能とすることができる。

また、本実施形態によれば、距離測定部３８は、近赤外線カメラ１４による撮像結果と、遠赤外線カメラ１６による検知結果と、カメラ外部パラメータ格納部４０に格納された近赤外線カメラ１４と遠赤外線カメラ１６との位置関係とに基づいて生体までの距離を測定するステレオ方式をとるため、生体までの距離を測定するためにレーダー等の個別の計測手段が不要であり、装置を簡便なものとできる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、車載用の暗視装置において歩行者検知用に本発明を適用した場合を中心に説明したが、本発明はこれに限定されることはなく、他の用途にも適用可能である。

第１実施形態に係る赤外線暗視装置の構成を示すブロック図である。 第１実施形態に係る赤外線暗視装置の動作を示すフロー図である。 第１実施形態に係る近赤外線画像と遠赤外線画像とを重畳し強調表示を行う様子を示す図である。 従来の装置における歩行者検知表示を示す図である。 第２実施形態に係る赤外線暗視装置の構成を示すブロック図である。 第２実施形態に係る赤外線暗視装置の動作を示すフロー図である。 第２実施形態に係る近赤外線画像と遠赤外線画像とを重畳し強調表示を行う様子を示す図である。 第３実施形態に係る赤外線暗視装置の構成を示すブロック図である。 第３実施形態に係る赤外線暗視装置の動作を示すフロー図である。 第３実施形態に係る近赤外線画像と遠赤外線画像とを重畳し強調表示を行う様子を示す図である。 第３実施形態において、生体が存在する領域に外接する長方形と長方形に内接する楕円形とを設定する様子を示す図である。 第３実施形態において、中心ほど輝度が高くなるように楕円形領域内の画素値を修正する処理を行う様子を示す図である。 第４実施形態に係る赤外線暗視装置の構成を示すブロック図である。 第４実施形態に係る赤外線暗視装置の動作を示すフロー図である。 第４実施形態に係る近赤外線画像と遠赤外線画像とを重畳し強調表示を行う様子を示す図である。

符号の説明

１，２，３，４…赤外線暗視装置、１０…近赤外線暗視部、１２…近赤外線投射部、１４…近赤外線カメラ、１６…遠赤外線カメラ、１８…近赤外線画像取得部、２０…遠赤外線画像取得部、２２…生体検知部、２４…生体領域対応付け部、２６…座標交換テーブル格納部、２８ａ…生体領域塗り潰し部、２８ｂ…生体領域輪郭描画部、２８ｃ…生体領域対応付け部、３０…ディスプレイ、３２…コントラスト強調関数格納部、３４…近赤生体探知部、３６…遠赤生体探知部、３８…距離測定部、４０…カメラ外部パラメータ格納部、４２…コントラスト強調テーブル格納部。

Claims (4)

1. 近赤外線を投射して撮像を行う近赤外線式暗視手段と、
   生体からの遠赤外線を検出して生体の検知を行う遠赤外線式暗視手段と、
   前記近赤外線式暗視手段が撮像した画像上において、前記遠赤外線式暗視手段が検知した生体が存在する領域を強調表示する強調表示手段と、
   を備えた赤外線暗視装置。
2. 前記強調表示手段は、前記近赤外線式暗視手段が撮像した画像上において、前記遠赤外線暗視手段が検知した生体が存在する領域に外接する長方形に内接する楕円形の領域内の画素に対し、前記楕円形の中心ほど輝度が高くなるように前記楕円形の領域内の画素値を修正する処理を行う、
   請求項１に記載の赤外線暗視装置。
3. 生体までの距離を測定する距離測定手段をさらに備え、
   前記強調表示手段は、前記距離測定手段が測定した生体までの距離に応じて前記遠赤外線式暗視手段が検知した生体が存在する領域を強調表示する、
   請求項１又は２に記載の赤外線暗視装置。
4. 前記距離測定手段は、前記近赤外線式暗視手段と、前記近赤外線式暗視手段とは異なる位置に備えられた前記遠赤外線式暗視手段とからなり、前記近赤外線式暗視手段による撮像結果と、前記遠赤外線式暗視手段による検知結果と、前記近赤外線式暗視手段と前記遠赤外線式暗視手段との位置関係とに基づいて生体までの距離を測定するものである、
   請求項３に記載の赤外線暗視装置。