JP2022079798A - 物体認識装置および物体認識方法 - Google Patents

Abstract

【課題】コスト上昇を抑えつつ、遠方の物体を正確に検知すること。【解決手段】物体認識装置１００は、物体が写った複数の熱画像を取得する撮像部１０と、複数の熱画像を用いたステレオマッチングを行い、物体までの距離を算出するステレオマッチング部１１と、熱画像より特定温度領域を抽出する特定温度領域抽出部１２と、特定温度領域について、ステレオマッチング部で算出された物体までの距離に基づき、画素に含まれる物体の面積の割合を推定する面積割合推定部１４と、を備える。【選択図】図１

Description

本発明は、物体認識装置および物体認識方法に関する。

物体は、熱を放射する時に遠赤外線を放射する。遠赤外線撮像センサは、検知対象が放射する遠赤外線を検出する。検出した遠赤外線は、光電変換および信号処理等の手段を用いて、検知対象の温度分布を示す熱画像に変換される。

人間は恒温動物であるので、遠赤外線撮像センサを利用すると、夜間などの光環境悪い所でも人物の検知が可能である。そこで、遠赤外線撮像センサを利用して人物を検出する技術が、例えば特許文献１～２に開示されている。

例えば、特許文献１には、路面温度から歩行者のとりうる温度を算出するのに用いる線形関係を利用して、歩行者候補を精度良く抽出する歩行者検出装置が開示されている。具体的には、特許文献１には、「熱画像から検出される人物候補の温度と人物温度算出手段により算出された人物温度との温度差が予め設定された値よりも大きい時には、この人物候補と隣接する人物候補は人物ではないと判定する」旨、記載されている。

また、特許文献２には、自車両付近の歩行者を認識して運転者に警報を発出する際に、警報発出の必要性を高い確度で判断する歩行者認識装置が開示されている。具体的には、特許文献２には、「この温度分布検出手段により検出された温度分布が人間の有する温度分布と一致しないときには、人物無しと判定する」旨、記載されている。

特開２０１２－５３７２４号公報 特開２００７－１３３６４４号公報

しかしながら、遠赤外線撮像センサを用いた物体認識において、遠方にいる物体の解像度が不足する場合、１画素に周辺環境や他の物体が写り込むため、物体の形状を識別することができなくなるため、遠方にいる物体（例えば人物）の検知は難しくなる。また、数種類の撮像センサを用いることも考えられるが、この場合、コストが上昇する。

そこで、本発明は、コスト上昇を抑えつつ、遠方の物体を正確に検知することが可能な物体認識装置を提供することを目的とする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による物体認識装置は、物体が写った複数の熱画像を取得する撮像部と、複数の熱画像を用いたステレオマッチングを行い、物体までの距離を算出するステレオマッチング部と、熱画像より特定温度領域を抽出する特定温度領域抽出部と、特定温度領域について、ステレオマッチング部で算出された物体までの距離に基づき、画素に含まれる物体の面積の割合を推定する面積割合推定部と、を備える。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、コスト上昇を抑えつつ、遠方の物体を正確に検知することが可能となる。

本発明の実施例１の構成を示すブロック図。 本発明の実施例１の処理手順の形態を示すフローチャート。 遠方にある検知対象の熱放射の実像と画像上にある像の例を示す説明図。 近傍にある検知対象の熱放射の実像と画像上にある像の例を示す説明図。 本発明の特定温度領域抽出部での特定温度領域を探す処理を示す説明図。 本発明の中心点推定部で人物の顔の実像の中心点位置を推定する処理の説明図。 本発明の中心点位置推定の第一の計算例を示す説明図。 本発明の中心点位置推定の第二の計算例を示す説明図。 本発明の中心点推定部で人物顔の実像の中心点位置を推定する処理を示す説明図。 本発明の実施例１の検知温度範囲調整部似て用いる検知温度範囲の例を、従来技術と比較し説明する図。 本発明の実施例２の構成を示すブロック図。 本発明の実施例２の処理手順の形態を示すフローチャート。

（実施の形態１）
以下、本発明の実施の形態を、図面を参照しつつ説明する。以下で説明する各実施の形態は、本発明を実現するための一例であり、本発明の技術範囲を限定するものではない。なお、実施例において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は、特に必要な場合を除き省略する。

＜概要＞
本実施の形態では、遠方にある物体の解像度が足りない場合、複数の熱画像のステレオマッチングにより、遠方にある物体の距離を算出し、算出した距離に応じて物体の検知温度範囲の調整が行われる。距離により検知温度範囲を調整することから、コスト上昇を抑えつつ、遠方の物体を正確に検知することが可能となる。

＜物体認識装置の構成＞
図１は、本発明の実施の形態１に係る物体認識装置の構成の一例を示す構成図である。図１に示すように、物体認識措置１００は、撮像部１０と、ステレオマッチング部１１と、特定温度領域抽出部１２と、中心点推定部１３と、面積割合推定部１４と、検知温度範囲調整部１５と、検知対象物判定部１６とを備えている。

撮像部１０は、検知対象物から放射される遠赤外線を検出し、熱画像を生成する機能ブロックである。撮像部１０は、図１に示すように、第１遠赤外線撮像センサ１０ａ、第２遠赤外線撮像センサ１０ｂ、第１遠赤外線撮像センサ１０ａに対応する第１レンズ１０ｃ、第２遠赤外線撮像センサ１０ｂに対応する第２レンズ１０ｄを備えている。第１レンズ１０ｃおよび第２レンズ１０ｄは遠赤外線を透過できる材料で構成される。

第１遠赤外線撮像センサ１０ａおよび第２遠赤外線撮像センサ１０ｂは、検知対象物が熱放射する時に放射した遠赤外線を検出し、検出した遠赤外線に対し、光電変換および信号処理等の処理を行う。これにより、第１遠赤外線撮像センサ１０ａおよび第２遠赤外線撮像センサ１０ｂは、検出した遠赤外線に基づく検知対象物の温度分布を示す熱画像をそれぞれ生成する。第１遠赤外線撮像センサ１０ａが生成する熱画像を第１熱画像とし、第２遠赤外線撮像センサ１０ｂが生成する熱画像を第２熱画像とする。これらの熱画像は、各画素において検出された温度を示す。

これらの熱画像は、同じタイミングで検出した遠赤外線に基づき生成される。以下では、これらの第１熱画像および第２熱画像を、熱画像あるいは一対の熱画像と称する場合がある。熱画像は、各画素において検出した被写体の温度の高低を示すものであり、各画素の輝度値は、温度と相関関係がある。

第１遠赤外線撮像センサ１０ａおよび第１遠赤外線撮像センサ１０ｂとして、例えば量子型または非冷却型のセンサ等が用いられることが好ましいが、これらのものに限定されるものではなく、さまざまな遠赤外線センサが用いられてもよい。

撮像部１０は、ステレオマッチング部１１および特定温度領域抽出部１２と接続されている。撮像部１０は、生成した一対の熱画像（第１熱画像、第２熱画像）を、ステレオマッチング部１１および特定温度領域抽出部１２へ出力する。

ステレオマッチング部１１は、撮像部１０および面積割合推定部１４と接続されている。ステレオマッチング部１１は、第１熱画像と第２熱画像とからなる一対の熱画像に対するステレオマッチングを行い、物体までの距離を算出する。そして、ステレオマッチング部１１は、算出した物体までの距離を面積割合推定部１４へ出力する。なお、ステレオマッチング部１１は、撮像部１０内に設けられてもよい。

特定温度領域抽出部１２は、外部入力装置（例えばレジスタやＧＵＩ等）１７、撮像部１０、および面積割合推定部１４と接続されている。特定温度領域抽出部１２は、予め設定された特定温度範囲内の温度を検出した画素からなる特定温度領域を熱画像から抽出する。特定温度範囲は、検知対象物を検出する温度範囲であり、例えば外部入力装置１７から入力される特定温度範囲設定情報に基づき設定される。特定温度範囲は、検知対象物の温度として想定される温度範囲であり、検知対象物ごとに異なる特定温度範囲が設定されてもよい。

そして、特定温度領域抽出部１２は、抽出した特定温度領域の温度および特定温度領域の座標を取得し、取得した特定温度領域の温度および特定温度領域の座標を中心点推定部１３へ出力する。

中心点推定部１３は、特定温度領域抽出部１２および面積割合推定部１４と接続されている。中心点推定部１３は、特定温度領域抽出部１２から出力される特定温度領域の温度および特定温度領域の座標に基づき、特定温度領域にある物体の中心位置を推定する。中心点推定部１３は、推定した物体の中心位置を面積割合推定部１４へ出力する。

面積割合推定部１４は、外部入力装置１７、ステレオマッチング部１１、中心点推定部１３、および検知温度範囲調整部１５と接続されている。面積割合推定部１４は、ステレオマッチング部１１から出力される物体までの距離と、中心点推定部１３から出力される物体の中心点位置とに基づき、熱画像上における物体の面積と、環境領域の面積との割合を推定する。例えば、面積割合推定部１４は、物体が写ったすべての画素について、物体の面積と、環境領域の面積との割合を推定（算出）する。

そして、面積割合推定部１４は、推定した物体の面積と、環境領域の面積との割合を検知温度範囲調整部１５に出力する。その際、例えば、推定された物体の面積および環境領域の面積自体が出力されてもよいし、環境領域の面積に対する物体の面積の割合およびいずれか一方の面積が一対の情報としてセットで出力されてもよい。

なお、検知対象物が例えば人物である場合、着帽やマスク等により、物体である人物の顔の面積が実際よりも小さくなる場合が想定される。このため、推定される物体の面積および環境領域の面積は、外部入力装置１７からの操作により必要に応じて調整される。

検知温度範囲調整部１５は、外部入力装置１７、面積割合推定部１４、および検知対象物判定部１６と接続されている。検知温度範囲調整部１５は、予め設定された検知対象物の検知温度範囲の調整を行う機能ブロックである。例えば、熱画像において、物体のみで占められる画素が無いような場合、すなわち、物体が写ったすべての画素に、周辺環境等も併せて写り込んでいる場合には、熱画像から物体の温度を正確に検出することができなくなる。

このような場合には、検知温度範囲調整部１５は、予め設定された検知対象物の検知温度範囲と、面積割合推定部１４から出力される熱画像上における物体の面積と環境領域の面積との割合と、に基づき、検知対象物の検知温度範囲を調整し、検知対象物の調整済検知温度範囲を算出する。そして、検知温度範囲調整部１５は、算出した調整済検知温度範囲を検知対象物判定部１６へ出力する。なお、検知対象物の検知温度範囲は、外部入力装置１７からの入力により調整することも可能である。

一方、熱画像において、物体のみで占められる画素が無いような場合、検知温度範囲調整部１５は、予め設定された検知温度範囲の調整を行わなくてもよい。

検知対象物判定部１６は、検知温度範囲調整部１５、および外部出力装置１８と接続されている。検知対象物判定部１６は、検知温度範囲調整部１５から出力される調整済検知温度範囲を用いて、熱画像に検知対象物の物体が含まれているか否かの判定を行う。検知対象物判定部１６は、熱画像に写った物体に対する判定結果を外部出力装置１８へ出力する。その際、検知対象物判定部１６は、熱画像に写った物体が検知対象物であると判定した場合のみ判定結果を出力するようにしてもよい。

外部出力装置１８としては、例えば、ディスプレイ、車載用のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等が挙げられる。ＥＣＵでは、検知対象物判定部１６から出力される判定結果に基づき、例えばブレーキ等の制御が行われる。

＜物体認識方法＞
次に、物体認識方法について説明する。なお、以下では、検知対象物が人物である場合を例に挙げて説明する。図２は、本発明の実施の形態１に係る物体認識方法の一例を示すフローチャート図である。熱画像を用いた物体認識では、例えば図２に示すステップＳ２０１～Ｓ２０８が実行される。

ステップＳ２０１は、撮像部１０が熱画像を取得するステップである。図３は、遠方にある物体による熱放射の実像および実像に対応する熱画像上における画像の一例を示す説明図である。図３（ａ）の５０１は、遠方に物体である人物が居る場合における、人物およびその周辺の熱放射の実像である。実像５０１は、温度が一定の環境（例えば環境温度ＴＢ＝２０℃）で、遠方に人物が居る場合における、撮像部１０から見た実像５０１の熱放射の観測結果を示している。図３（ａ）の５０５は遠方にいる人物であり、５０３は人物の顔部である。図３（ｂ）の５０２は、実像５０１を撮像部１０で撮像した熱画像である。図３（ｂ）の５０６は、熱画像５０２上における人物であり、５０４は熱画像５０２上における人物の顔部である。

図３（ｃ）の５０７は、熱画像５０２の顔部５０４に、実像５０１の人物５０５の顔部５０３を重ねて示す図である。図３（ｃ）に示すように、実像５０１の顔部５０３は、熱画像５０２の顔部５０４の四画素に含まれている。また、これらの各画素では、顔部５０３が、人物５０５の背景と混ざった状態で撮影されている。

このように、１つの画素に顔部と背景とが混在し、顔部のみで占められる画素がない状態では、熱画像５０２では、顔部と背景との平均的な温度が観測されてしまい、顔部５０３の実際の温度を検出することができない。なお、以下の説明において、検知対象物である人物の顔部のみで占められる画素が無いような場合を、解像度が不足した状態と呼ぶ。

次に、図４は、近傍にある物体による熱放射の実像および実像に対応する熱画像上における画像の一例を示す説明図である。図４（ａ）の６０１は、物体である人物が近傍に居る場合における、人物およびその周辺の熱放射の実像である。実像６０１は、温度が一定の環境（例えば図３と同様、環境温度ＴＢ＝２０℃）で、遠方に人物が居る場合における、撮像部１０から見た実像６０１の熱放射の観測結果を示している。図４（ａ）の６０５は近傍にいる人物であり、６０３は近傍にいる人物の顔部である。図４（ｂ）の６０２は、実像６０１を撮像部１０で撮像した熱画像である。図４（ｂ）の６０６は、熱画像６０２上における人物であり、６０４は熱画像６０２上における人物の顔部である。

図４（ｃ）の６０７は、熱画像６０２の顔部６０４に、実像６０１の人物６０５の顔部６０３を重ねて示す図である。図４（ｃ）に示すように、熱画像の顔部６０４には、顔部のみで占める画素が含まれている。この場合、図３の例とは異なり、実像６０１の顔部６０３の実際の温度を、熱画像６０２で検出することが可能である。なお、以下の説明において、検知対象物でのみで占められる画素が含まれている場合を、解像度が足りた状態と呼ぶ。

本実施の形態の撮像部１０は、２つの遠赤外撮像センサ、およびそれぞれの遠赤外撮像センサに対応するレンズを備えているので、同じタイミングで撮像した２つの熱画像を取得することができる。撮像部１０は、取得した一対の熱画像をステレオマッチング部１１および特定温度領域抽出部１２へそれぞれ出力する。

ステップＳ２０２では、ステレオマッチング部１１が、物体までの距離を算出する。ステレオマッチング部１１は、撮像部１０から出力された一対の熱画像に対するステレオマッチング処理を行う。ステレオマッチング部１１は、第１熱画像および第２熱画像の２つの熱画像間における視差情報に基づいて、物体までの距離を算出する。ここで算出される距離は、具体的には、物体から撮像部１０（例えば遠赤外線撮像センサ）までの距離である。熱画像に複数の物体が含まれる場合、ステレオマッチング部１１は、すべての物体の距離をそれぞれ算出する。あるいは、熱画像の特定の領域に含まれる物体のみに対して距離が算出されてもよい。なお、視差情報は、予め設定される情報であり、撮像部１０の構成に応じて適宜変更される。

ステレオマッチング方法として、例えば、ＢＭ（Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ）、ＳＧＢＭ（Ｓｅｍｉ-Ｇｌｏｂａｌ ＢＭ）、ＧＣ（Ｇｒａｐｈ Ｃｕｔ）等の手法が用いられる。また、ＢＭを用いる場合、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）とＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）等のアルゴリズムが用いられてもよい。また、ステレオマッチング方法は、これらに限定されるものではなく、これら以外のさまざまな手法を適用可能である。

ステップＳ２０３では、特定温度領域抽出部１２が、撮像部１０から出力された１枚または複数枚の熱画像から、予め設定された特定温度範囲内の温度を検出した画素からなる特定温度領域を抽出する。

特定温度領域抽出部１２は、例えば、特定温度領域を抽出する際、縦横それぞれ２画素ずつの計４画素からなる探索領域を設定し、探索領域ごとに特定温度範囲内の温度を検出した画素を探索し、特定温度範囲内の温度を検出した画素を含む探索領域を特定温度領域として抽出する。

特定温度領域抽出部１２は、隣接する複数の探索領域において、特定温度範囲内の温度を検出した画素が存在する場合、環境温度が特定温度範囲よりも低ければ、探索領域を構成する４画素の平均検出温度が一番高い探索領域を選択し、選択した探索領域を特定温度領域として抽出する。

一方、特定温度領域抽出部１２は、隣接する複数の探索領域において、特定温度範囲内の温度を検出した画素が存在する場合、環境温度が特定温度範囲よりも高ければ、探索領域を構成する４画素の平均検出温度が一番低い探索領域を選択し、選択した探索領域を特定温度領域として抽出する。

ここで、検知対象物が人物である場合を例に挙げて、特定温度範囲の設定方法を説明する。この場合、特定温度領域抽出部１２は、例えば、露出している人物の顔部の温度を用いて検出する。顔部の温度には、個人差がある。また、運動前後、マスク着用の有無、環境温度等のさまざまな要因で、顔部の温度には、ばらつきが発生する。このような顔部の温度のばらつきを考慮した上で、特定温度範囲が設定される。また、特定温度範囲は、外部入力装置１７からの入力により調整可能である。なお、それぞれの熱画像における各画素の温度の統計処理を行い、頻度が最も高い温度を環境温度とする。

図５は、特定温度領域の抽出処理を説明する図である。図５には、画像７０１は熱画像５０２における特定温度領域とその周辺の数画素を含む領域が拡大して示されている。

熱画像における各画素の輝度値は、温度そのものを指すものでない。ただし、ここでは説明を容易にするため、各画素の輝度値が温度そのものを示すものとして、各画素の温度が図中に示されている。

図５に示すように、画像７０１には、黒色の環境温度領域（例えば、環境温度ＴＢ＝２０℃）と、図示で白色の特定温度領域７０２（例えば、特定温度ＴＤ＝３２℃）と、斜線部の他の領域（例えば、温度２５℃）が含まれるとする。画像７０１において、頻度が最も高い温度は２０℃であるので、環境温度ＴＢ＝２０℃を検出した領域は環境温度領域と認識される。

また、温度３２℃の領域は、特定温度ＴＤ＝３２℃を検出した領域は、特定温度範囲内にあるものとして、特定温度領域７０２として抽出される。

図５では、画像７０１を例として特定温度領域を抽出する場合を説明したが、実際には、熱画像５０２の全域において特定温度領域の抽出が行われる。特定温度領域抽出部１２は、抽出した特定温度領域の温度情報、および抽出した特定温度領域の座標情報を含む特定温度領域情報を生成し、生成した特定温度領域情報を中心点推定部１３へ出力する。特定温度領域情報には、例えば特定温度領域を構成するすべての画素の座標および検出した温度値等が含まれている。

ステップＳ２０４では、特定温度領域抽出部１２から出力された特定温度領域情報に基づき、中心点推定部１３が、特定温度領域内にある物体の中心点位置を推定する。

図６は、特定温度領域における実像の顔部とその中心とを例示する図である。図６には、実像の顔部５０３の中心点位置８０１が特定温度領域７０２内にある様子が示されている。中心点推定部１３は、特定温度領域情報に含まれる特定温度領域７０２の各画素の温度値および座標を用いて、例えば実像の顔部５０３の中心点位置８０１の推定を行う。なお、この段階では実像の顔部５０３の面積が算出されていないので、実像の顔部５０３の境界は破線で示されている。実像の顔部５０３の面積の算出（計算）方法については、後述する。

図７は、物体の中心点位置の推定方法の一例を説明する図である。図７では、図５を例にした中心点位置の推定方法が示されている。中心点推定部１３は、まず、特定温度領域７０２の最大温度値を予め設定しておく。例えば、検知対象物が人物であれば、最大温度値Ｔｍａｘを人間の顔の平均温度３５℃に設定しておく。

図７に示す位置（ｉ，ｊ）は、最大温度値を検出した位置の横座標および縦座標をそれぞれ示している。図７と図６とを比較すれば、最大温度値の位置（ｉ，ｊ）は、実像の顔部５０３の中心点位置８０１となる。

次に、図７に示すように、特定温度領域７０２において、例えば、最大温度値の位置（ｉ，ｊ）を取り囲むように、温度値（例えば３２℃）が同じ４画素が選択される。これらの画素の位置は、説明の便宜上、(０,０)、(１,１)、(０,１)、(０,１)とする。すなわち、位置(０,０)、(１,１)、(０,１)、(０,１)の各温度Ｐ(０,０)、Ｐ(１,１)、Ｐ(０,１)、Ｐ(０,１)は、３２℃である。

位置（ｉ，０）は、横方向の温度最大値Ｐ（ｉ，０）の位置であり、位置（０，ｊ）は、縦方向の温度最大値Ｐ（０，ｊ）の位置である。最大温度値Ｐ（ｉ，０）および縦方向の最大温度値Ｐ（０，ｊ）は、最大温度値Ｔｍａｘ＝３５℃と等しい。

最大温度値の位置の算出は、例えば、以下の式（１）、式（２）を用いて行われる。

式１は、それぞれの位置における温度と最大温度値との差の比率に基づいて、最大温度値の位置の横座標を算出する式である。式２は、それぞれの位置における温度と最大温度値との差の比率に基づいて、最大温度値の位置の縦座標を算出する式である。

前述した各位置の温度値および式１、式２から、最大温度値の位置は、（０．５，０．５）と算出される。つまり、図７のように、温度値が同じ４画素を用いると、最大温度値の位置(ｉ,ｊ)は、４画素の中心となる。言い換えると、図７の方法を用いれば、実像の顔部５０３の中心点位置８０１は４画素の座標の中心である。

次に、中心点位置のその他の算出方法を説明する。図７の例では、特定温度領域内の同じ温度値の画素が選択されていた。ここでは、温度値が異なる画素を選択した場合における中心点位置の算出方法を説明する。

図８は、物体の中心点位置の推定方法の他の例を説明する図である。図８では、最大温度値の位置を取り囲む位置(０,０)、(１,０)、(０,１)、(１,１)にある４画素が選択されるものとする。また、選択された４画素が検出した温度値は、Ｐ(０,０)＝２８℃、Ｐ(１,０)＝３４℃、Ｐ(０,１)＝２８℃、Ｐ(１,１)＝３４℃であったとする。これらの値を、式１、式２に代入すると、最大値位置（ｉ，ｊ）は（０．５，０．８）と算出される。したがって、この場合、実像の顔部５０３の中心点位置１００１の座標は（０．５，０．８）である。

中心点推定部１３は、算出（推定）した物体の中心点位置（例えば、実像の顔部５０３の中心点位置）の情報を面積割合推定部１４へ出力する。

なお、ここでは、最大温度値の位置を取り囲む４画素を選択して、物体の中心点位置を推定する方法を２種類説明したが、物体の中心点位置を推定する方法は、これらに限定されるものではない。例えば、補間方式、二次多項式フィッティング方式等の各方式を用いて物体の中心点位置を推定することも可能である。

ステップＳ２０５では、面積割合推定部１４が、ステレオマッチング部２１で算出された物体までの距離、および中心点推定部２３で推定された物体の中心点位置に基づき、物体（例えば実像の顔部５０３）の面積と環境の面積との割合を推定する。

図９は、物体の面積と環境の面積との割合を算出する方法を説明する図である。面積割合推定部１４は、検知対象物の面積情報（例えば人間の顔の面積等）を取得する。検知対象物の面積情報は、予め設定された値である。検知対象物の面積情報は、物体認識装置内に格納された値でもよいし、外部入力装置１７から入力された値でもよい。

面積割合推定部１４は、ステップＳ２０２において算出された物体までの距離に基づき、物体である実像の顔部５０３の面積ＳＦ（単位は画素数）を算出する。なお、人物の顔の面積が着帽やマスク等により狭くなる場合には、実際の面積は、前述した検知対象物の面積情報を調整することができる。検知対象物の面積情報の調整は、例えば外部入力装置１７により行われる。

例えば、１００ｍ離れた場所にいる人物の顔の面積が３５０ｃｍ２である場合、熱画像における実像の顔部５０３の面積はＳＦ（画素）である。すなわち、この場合、実像の顔部５０３は、ＳＦ個の画素に写ることとなる。顔部５０３の面積ＳＦを算出すると、面積割合推定部１４は、特定温度領域７０２内の環境温度領域１１０１の面積を算出する。特定温度領域７０２の面積をＳ（画素）、および環境温度領域１１０１の面積をＳＢ（画素）とすれば、Ｓ＝ＳＦ＋ＳＢである。面積割合推定部１４は、この関係式を用いて環境温度領域１１０１の面積ＳＢを算出する。

そして、面積割合推定部１４は、顔部５０３の面積ＳＦと環境温度領域１１０１の面積ＳＢの割合を算出（推定）し、算出した顔部５０３の面積ＳＦと環境温度領域１１０１との面積の割合を検知温度範囲調整部１５へ出力する。

なお、面積割合推定部１４は、顔部５０３の面積ＳＦと環境温度領域１１０１の面積ＳＢの割合とともに、顔部５０３の面積ＳＦ、および環境温度領域１１０１の面積ＳＢを検知温度範囲調整部１５へ出力してもよい。また、顔部５０３の面積ＳＦと環境温度領域１１０１の面積ＳＢの割合に代えて、顔部５０３の面積ＳＦ、および環境温度領域１１０１の面積ＳＢのみを検知温度範囲調整部１５へ出力してもよい。

ステップＳ２０６では、検知温度範囲調整部１５が、検知対象物（例えば人物）の検知温度範囲の調整を行う。検知温度範囲調整部１５は、検知対象物の温度情報（例えば人間の顔の温度等）を取得する。検知対象物の温度情報は、予め設定された値である。検知対象物の温度情報は、物体認識装置内に格納された値でもよいし、外部入力装置１７から入力された値でもよい。

検知温度範囲調整部１５は、検出された環境温度（例えばＴＢ＝２０℃）と、ステップＳ２０５において算出された熱画像における人物の顔の面積（ＳＦ)（物体の面積)とを用いて、人物がいるとした場合における特定温度領域の温度閾値ＴＳを算出する。温度閾値ＴＳは、例えば以下に示す式３を用いて算出される。なお、式３において、ＴＦは、物体の温度（例えば、人物の顔温度）である。

図１０は、検知温度範囲の設定方法を説明する図である。図１０では、本実施の形態における検知温度範囲と、従来の検知温度範囲とが比較して示されている。図１０では、検知対象物が人物である場合が示されている。

関係図１００１は、本実施の形態における検知対象距離と人物の検知温度範囲との関係を示している。

関係図１００４は、従来技術における検知対象距離と人物の検知温度範囲との関係を示している。

関係図１００１、１２０４の横軸は、物体から撮像部１０までの距離を示す検知対象距離であり、関係図１００１、１２０４の縦軸は遠赤外線撮像センサで検出される物体の温度である。

１２０６、１２０７、１２０８、１２０９は、検知対象物である人物の熱画像である。これらの熱画像において、白色部分は人物の実像を示している。熱画像１２０６は、これらのうち最も近傍で撮像された画像である。このため、熱画像１２０６における人物の顔部が最も大きく写っている。熱画像１２０７は、熱画像１２０６より遠方で撮像された画像である。熱画像１２０８は、画像１２０７よりもさらに遠方で撮像された画像であり、人物の顔部の解像度が足りる限界の距離に居るときの画像である。熱画像１２０９は、人物自体の解像度が不足した距離に居るときの画像である。

人物の体温や顔の面積等の条件には、ばらつきがある。このようなばらつきを考慮して人物の検出温度範囲を設定しないと、実際には熱画像に人物が写っているのに、予め定めた条件と一致する人物しか検出できなくなってしまう。具体的には、ステップＳ２０５において、１００ｍ離れた場所にいる人物の顔の面積が３５０ｃｍ２に設定したが、検知温度範囲を設定しないと、例えば面積が４００ｃｍ２の人物を検知することができない。

このため、検知温度範囲調整部１５は、人物の顔の温度範囲と、人物の顔の面積範囲とをそれぞれ設定し、前述した上限検知温度および下限検知温度を算出し、人物の検知温度範囲を設定する。

例えば、人物の顔の面積範囲を３００～４００ｃｍ２、人物の顔の温度範囲を３４～３６℃と設定する。面積範囲および温度範囲は、物体認識装置内に格納された値でもよいし、外部入力装置１７から入力された値でもよい。

検知温度範囲調整部１５は、顔の面積が最も小さい（３００ｃｍ２）、顔の温度（表面温度）が最も高い（３６℃）という条件における人物の検知温度を上限検出温度に設定する。一方、検知温度範囲調整部１５は、顔の面積が最も大きい（４００ｃｍ２）、顔の温度が最も低い（３４℃）という条件における人物の検知温度を下限検出温度に設定する。

関係図１００１に示すように、人物の検知温度範囲は、下限検出温度から上限検出温度までの範囲である。このように、人物の検知温度範囲を設定すれば、これにより、温度や顔の面積に一定範囲内のばらつき含む人物を、検知対象物として検知することが可能となる。

しかし、すでに述べたように、１つの画素に顔部と背景とが混在し、顔部のみで占められる画素がない解像度が不足した状態では、顔部と背景との平均的な温度が観測されてしまい、検知した温度が検知温度範囲から外れてしまう。このため、従来の検知温度範囲では、解像度が不足した状態では検知対象物を検知することができない。

そこで、本実施の形態では、検知対象距離が遠く解像度が不足した状態では、検知温度範囲の調整が行われる。検知対象物が人物である場合、環境温度が人物の顔温度より低ければ、実像の顔部５０３が写った画素の検知温度は顔温度より低くなる。このため、検知温度範囲調整部１５は、解像度が不足した状態における下限検出温度を、検知対象距離が短い解像度が足りた状態よりも低く設定する。ここでの下限検出温度の調整量は、予め設定された値を用いてもよいし、例えば、検知対象距離が短い解像度が足りた状態における調整前の下限検出温度に所定の割合を乗算する等の演算により算出されてもよい。

検知温度範囲の調整方法の一例を具体的に説明する。熱画像１２０６および熱画像１２０７では、人物の顔部で占められる画素が存在する。これらの熱画像が得られる距離では、検知温度範囲の調整は行われない。

これに対し、熱画像１２０８が得られる距離では、顔部で占められる画素が無いため、実際の温度より低い顔温度が検出されてしまう。そこで、図１０に示すように、物体の距離が遠方になり、解像度が不足する距離を超えると、下限検知温度を低く設定する。

なお、図１０に示すように、熱画像１２０８に対応する解像度の限界となる距離よりも短い距離から下限検知温度を徐々に下げるように、すなわち検知温度範囲を徐々に広げるようにしてもよい。

これに対して、環境温度が物体の検知温度より高ければ、検知温度範囲調整部１５は、上限検出温度を高くすることで、検知温度範囲の調整を行う。したがって、図１０に示すように、解像度が不足した状態では、解像度が足りた状態よりも検知温度範囲が広く設定される。

ステップＳ２０７では、検知対象物判定部２０７が、特定温度領域内の物体が検知対象物であるか否かを判定する。例えば、図５の例では、特定温度領域７０２の特定温度がＴＤ＝３２℃であり、検知対象物判定部１６は、特定温度ＴＤが人物の検知温度範囲１２０２内であるか否かを判断する。

特定温度ＴＤが人物の検知温度範囲１２０２内である場合（ＹＥＳ）、検知対象物判定部１６は、特定温度領域内の物体が検知対象物（例えば人物）であると判定する。この場合、ステップＳ２０８に進み、検知対象物判定部１６は、熱画像、特定温度領域情報等の情報を、外部出力装置１８へ出力し、物体検知処理を終了する。

一方、ステップＳ２０７において、特定温度ＴＤが人物の検知温度範囲１２０２内でない場合（ＮＯ）、検知対象物判定部１６は、特定温度領域内の物体が検知対象物（例えば人物）ではない判定する。この場合、熱画像、特定温度領域情報等の情報を出力することなく、熱画像に基づく物体検知処理を終了する。

＜本実施の形態による主な効果＞
本実施の形態によれば、熱画像のステレオマッチングを用いて算出した物体までの距離に応じて、特定温度範囲内の物体の検知温度範囲を調整することで、特定温度範囲内の物体が検知対象物であるか否かが判定される。

この構成によれば、複数種類のセンサを用いる必要がないので、コスト上昇を抑えつつ、遠方の物体を正確に検知することが可能となる。

また、本実施の形態によれば、面積割合推定部１４は、前記物体までの距離および特定温度領域の中心点位置に基づき物体の面積と環境面積との割合を推定する。また、検知温度範囲調整部１６は、特定温度領域について物体までの距離および面積割合に基づき、物体の温度閾値を算出し、検知温度範囲を調整する。この構成によれば、検知温度範囲を適切に設定することが可能となる。

また、本実施の形態によれば、検知温度範囲調整部１５は、環境温度に応じて、検知温度範囲を変更する。この構成によれば、環境に応じた適切な検知温度範囲を設定することが可能である。

また、本実施の形態によれば、外部入力装置１７により、検知判定温度の範囲を変更可能である。この構成によれば、物体の状態に応じて、あるいは検知対象物に応じて適切な検知判定温度を設定可能である。

また、本実施の形態によれば、外部入力装置１７により、物体の面積の設定値を変更可能である。この構成によれば、物体の状態に応じて、あるいは検知対象物に応じて適切な検知判定温度を設定可能である。

＜その他＞
ここでは、人物を検知する場合を例に挙げて説明しているが、検出対象物は人物に限定されるものではない。特定温度範囲、検知対象の実際面積と検知対象の温度等の情報を調整することにより、様々な恒温動物や恒温物体等も検知対象物に設定することが可能である。例えば、人物よりも低い温度の恒温動物を検知させる場合は、式３に従い、検知温度範囲を下げることで、これらの検知も可能となる。また、例えば、人物よりも高い温度の恒温動物や恒温物体を検知する場合は、式３に従い、検知温度範囲を上げることで、これらの検知も可能となる。

また、人物よりも大きい恒温動物や恒温物体を検知する場合、式３において、実像の顔部５０３の面積(ＳＦ)を大きな値に設定することで、これらの検知も可能となる。人物よりも小さい恒温動物を検知させる場合は、式３において、実像の顔部５０３の面積(ＳＦ)を小さな値に設定することで、これらも検知可能となる。

［従来技術との比較］
前にも述べたが、図１０に示すように、従来技術では、物体の距離応じた検知温度範囲の調整は行われない。このため、物体の解像度の限界を超えてしまうと、画素が検知する温度は環境等の影響を受け、物体の正確な温度を検知することができないため、検知対象物を確実に検知することが困難となる。

例えば、環境温度が物体の温度より低いとする。物体が撮像部１０の近傍にあり、解像度が十分な場合は、物体のみで占められる画素があるので、物体の実際の温度を検知することができる。一方、解像度が不足すると、１画素に環境や他の物体が写り込むため、検出温度が平均化され、物体の温度より低い温度が検知される。従来技術では、距離に応じた検知温度範囲の調整を行わないため、解像度が限界を超えると、検知対象物を正確に検知することができない。

（実施の形態２）
次に、実施の形態２について説明する。なお、以下では、前述の実施の形態と重複する箇所については、適宜説明を省略する。

本実施の形態では、距離に応じた検知温度範囲の調整し、検知温度範囲内の物体に対する判定が行われる。ただし、検知温度範囲を設定する際、物体の温度を予め検出する必要がある。これに対し、本実施の形態では、遠赤外線撮像センサのステレオマッチングにより算出した物体の距離に基づき、物体の温度を推定する。本実施の形態によれば、物体の実際の温度を推定するので、解像度が不足する物体の温度検出に適用できる。本実施の形態も、人物の検知に限定されるものではない。

図１１は、本発明の実施の形態２に係る物体認識装置の構成の一例を示す構成図である。図１１の物体認識装置３００は、図１の物体認識装置１００と類似しており、検知温度範囲調整部１５および検知対象物判定部１６が、物体温度推定部３７に置き換えられた構成となっている。

物体温度推定部３７は、図１１に示すように、面積割合推定部１４および外部出力装置１８と接続されている。物体温度推定部３７は、面積割合推定部１４から出力される、特定温度領域内における物体の面積と環境領域の面積との割合に基づき、物体の温度を算出（推定）する。そして、物体温度推定部３７は、算出した物体の温度（推定温度）を外部出力装置１８へ出力する。

図１２は、本発明の実施の形態２に係る物体認識方法の一例を示すフローチャート図である。図１２は、図２と類似しており、図２のステップＳ２０６～Ｓ２０８が、ステップＳ４０９～Ｓ４１０に置き換えられている。

図１２のステップＳ２０１～Ｓ２０４の処理は実施の形態１と同様である。ステップＳ２０５は、実施の形態１とほぼ同様である。実施の形態１では人物の顔を例として説明したが、本実施の形態では、一般的な既知サイズの物体を例として説明する。例えば、遠方に、面積３５０ｃｍ２で既知の物体があったとする。

面積割合推定部１４は、ステップＳ２０２で算出された物体までの距離と、物体の既知の面積３５０ｃｍ２に基づいて、物体が映った熱画像における物体の面積(例えば顔部の面積ＳＦに相当)と、環境の面積との割合を推定する。面積割合推定部１４は、推定した面積割合を物体温度推定部３７へ出力する。

ステップＳ４０９では、物体温度推定部３７が、物体の実際の温度ＴＦを推定する。なお、以下では物体の実際の温度を実際温度とも称する。実際温度ＴＦの推定は、例えば以下の式４を用いて行われる。

物体温度推定部３７は、特定温度領域の検出温度ＴＫ(例えばＴＫ＝３２℃)、検出した環境温度ＴＢ(例えばＴＢ＝２０℃)、推定された物体の面積ＳＦと環境温度領域の面積ＳＢとの割合を用いて、物体の実際温度ＴＦを推定する。

ステップＳ４１０では、物体温度推定部３７は、推定した物体の実際温度ＴＦを外部出力装置１８へ出力する。ステップＳ４１０が完了すると、物体認識処理が完了する。

本実施の形態によれば、解像度が不足する遠方の物体の実際温度を推定している。このように、本実施の形態は、解像度が不足する物体の温度検出等にも適用可能である。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。

また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１０…撮像部、１１…ステレオマッチング部、１２…特定温度抽出部、１３…中心点推定部、１４…面積割合推定部、１５…検知温度範囲調整部、１６…検知対象物判定部、１００、３００…物体認識装置。

Claims (13)

1. 物体が写った複数の熱画像を取得する撮像部と、
   複数の前記熱画像を用いたステレオマッチングを行い、前記物体までの距離を算出するステレオマッチング部と、
   前記熱画像より特定温度領域を抽出する特定温度領域抽出部と、
   前記特定温度領域について、前記ステレオマッチング部で算出された前記物体までの距離に基づき、画素に含まれる前記物体の面積の割合を推定する面積割合推定部と、
   を備える、
   物体認識装置。
2. 請求項１に記載の物体認識装置において、
   前記物体の検知温度範囲を調整する検知温度範囲調整部と、
   調整済検知温度範囲に基づき、前記特定温度領域に存在する前記物体が検知対象物か否かを判定する検知対象物判定部と、
   を備える、
   物体認識装置。
3. 請求項２に記載の物体認識装置において、
   前記特定温度領域の中心点位置を推定する中心点推定部を備え、
   前記面積割合推定部は、前記ステレオマッチング部で算出された前記物体までの距離、および前記中心点推定部で推定した前記中心点位置に基づき、前記物体の面積と環境面積との割合を推定し、
   前記検知温度範囲調整部は、前記特定温度領域について前記ステレオマッチング部で算出された距離および前記割合に基づき、前記物体の温度閾値を算出し、前記検知温度範囲を調整し、
   前記検知対象物判定部は、前記特定温度領域の温度が前記調整済判定温度範囲内にあるか否か判断することで、前記特定温度領域に存在する前記物体が検知対象物か否かを判定する、
   物体認識装置。
4. 請求項３に記載の物体認識装置において、
   前記検知温度範囲調整部は、前記環境温度に応じて、前記検知温度範囲を変更する、
   物体認識装置。
5. 請求項３に記載の物体認識装置において、
   前記物体認識装置の外部に設けられる外部入力装置により、前記検知判定温度の範囲を変更可能である、
   物体認識装置。
6. 請求項３に記載の物体認識装置において、
   前記物体認識装置の外部に設けられる外部入力装置により、前記物体の面積の設定を変更可能である、
   物体認識装置。
7. 請求項１に記載の物体認識装置において、
   前記特定温度領域について前記ステレオマッチング部で算出された距離に基づき、前記物体の温度を推定する物体温度推定部を備える、
   物体認識装置。
8. 請求項７に記載の物体認識装置において、
   前記特定温度領域の中心点位置を推定する中心点推定部と、
   前記面積割合推定部は、前記ステレオマッチング部で算出された前記物体までの距離、および前記中心点推定部で推定した前記中心点位置に基づき、前記物体の面積と環境面積との割合を推定し、
   前記物体温度推定部は、前記特定温度領域について前記ステレオマッチング部で算出された前記物体までの距離および前記割合に基づき、前記物体の検知対象物の実際温度を算出する、
   物体認識装置。
9. 撮像部が、物体が写った複数の熱画像を取得し、
   特定温度領域抽出部が、前記熱画像より特定温度領域を抽出し、
   面積割合推定部が、前記特定温度領域について前記ステレオマッチングにより算出された前記物体までの距離に基づき、画素に含まれる前記物体の面積の割合を推定する、
   物体認識方法。
10. 請求項９に記載の物体認識方法において、
    検知温度範囲調整部が、前記物体の検知温度範囲を調整し、
    検知対象物判定部が、調整済判定温度範囲に基づき前記特定温度領域に存在する前記物体が検知対象物か否か判定する、
    物体認識方法。
11. 請求項１０に記載の物体認識方法において、
    中心点推定部が、前記特定温度領域の中心点を推定し、
    前記ステレオマッチングにより算出された距離と前記推定した中心点位置に基づき、人物顔面積と環境面積の割合を推定し、
    前記面積割合推定部が、前記特定温度領域について前記物体までの距離および前記割合に基づき前記温度閾値を算出し、
    前記検知温度範囲調整部が、前記特定温度領域について前記ステレオマッチング部で算出された距離および前記割合に基づき、前記物体の温度閾値を算出し、前記検知温度範囲を調整し、
    検知対象物判定部が、前記特定温度領域の温度が前記調整済検知温度範囲内にあるか否か判断することで、前記特定温度領域に存在する前記物体が検知対象物か否か判定する、
    物体認識方法。
12. 請求項９に記載の物体認識方法において、
    物体温度推定部は、前記特定温度領域について前記ステレオマッチングにより算出された前記物体までの距離に基づき、前記物体の温度を推定する、
    物体認識方法。
13. 請求項１２に記載の物体認識方法において、
    中心点推定部が、前記特定温度領域の中心点を推定し、
    面積割合推定部が、前記物体までの距離と前記中心点位置とに基づき、前記物体の面積と環境面積との割合を推定し、
    前記物体温度推定部が、前記特定温度領域について算出された前記物体までの距離および前記割合に基づき、前記物体の実際温度を算出する、
    物体認識方法。
    

Images