JP2009156776A

JP2009156776A - 人体検出装置及び人体検出方法

Info

Publication number: JP2009156776A
Application number: JP2007337210A
Authority: JP
Inventors: Takao Kunihiro; 孝生國弘
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 2007-12-27
Filing date: 2007-12-27
Publication date: 2009-07-16
Anticipated expiration: 2027-12-27
Also published as: JP5288440B2

Abstract

【課題】低温環境下だけでなく高温環境下でも人を検出でき、テンプレートの作成コストの低減も可能な人体検出装置及び人体検出方法を提供する。
【解決手段】遠赤外線カメラ２と、これで撮像した熱画像中における撮像対象Ｔ１，Ｔ２までの距離を測るレーザレンジファインダ３と、熱画像中の温度差エッジから撮像対象Ｔ１，Ｔ２を含む線画ｓ１，ｓ２を作成する線画作成フィルタ１１及び所定の範囲内における最も遠方に合わせて作成されて、撮像対象Ｔ１，Ｔ２までの距離に基づいて縮小された線画ｓ１，ｓ２に対してマッチングを行う複数種の人型テンプレート１２を具備した信号処理部１０を備え、人型テンプレート１２を線画ｓ１，ｓ２の線よりも太い線で作成し、信号処理部１０は、評価関数により算出した人型テンプレート１２の太い線と重なる線画ｓ１，ｓ２の量が閾値を超えたときに撮像対象Ｔ１，Ｔ２を人体として検出する。
【選択図】図２

Description

本発明は、例えば、施設警備において施設内に人が侵入したのを検出するのに用いる人体検出装置及び人体検出方法に関するものである。

上記した人体検出装置としては、例えば、熱画像を撮像する撮像手段としての遠赤外線カメラと、この遠赤外線カメラで得た熱画像の温度分布から抽出した人の候補としての撮像対象までの距離を測る距離測定手段と、この距離測定手段により計測された撮像対象までの距離に基づいて人の候補を絞込むと共に距離毎に複数パターンずつ作成してある多数のテンプレートから撮像対象に見合うものを選定してテンプレートマッチング等の人抽出処理を行う信号処理部を備えたものがあった（例えば、特許文献１，２参照）。
特開2006-101384号特開2006-153777号

しかしながら、上記した従来における人体検出装置において、原則的に人は背景よりも高い温度を有している点に着目して、遠赤外線カメラで取得した熱画像の温度分布における高温部位を人の候補として抽出するようにしているので、顔や腕など露出していなかったり、昼間などで背景の温度が高かったりした場合には、人を検出し得ない可能性があった。

また、撮像対象との距離をパラメータとして、距離毎に輝度値及び輪郭に対するテンプレートを作成する必要があることから、すなわち、多数のテンプレートを作成する必要があることから、その分だけ、多くの手間隙がかかってしまうという問題があり、これらの問題を解決することが従来の課題となっていた。
本発明は、上述した従来の課題に着目してなされたもので、夜間等の低温環境下のみならず夏の昼間等の高温環境下においても人を検出することができると共に、テンプレートの作成コストを大幅に低減することが可能である人体検出装置及び人体検出方法を提供することを目的としている。

ここで、人及び背景は、各々の材質や熱容量の相違から当然温度差を有している。互いに温度差を有していれば、この温度差を熱画像上でエッジとして抽出でき、特に人の輪郭形状（エッジ）は極めて特徴的である。本発明では、人体の検出にあたって、従来のように体温の高温性に着目するのではなく、人の輪郭形状の特異性に着目し、熱画像上で抽出したエッジに基づいて線画を作成し、この線画に対してテンプレートマッチングを行うことにより、人体を検出することとした。

また、上記輪郭形状は、距離に応じて相似性を有することから、テンプレートマッチングで用いる人型テンプレートは、人体を検出する必要のある所定範囲内における最も遠い位置に合わせて一動作パターンや一姿勢パターン毎に一枚作成することとした。
つまり、比率が互いに等しい複数種の人型テンプレートを作成することとし、この際、人型テンプレートには、エッジに基づいて作成した線画よりも太い線（例えば、エッジに基づいて作成した線画の線よりも約三倍の太さの線や、腕・足などの可動部分が動いた場合のシルエットに近い複数パターンの画像を重積した線（可動部分が太く表れる）など）を使用して、この線画の微細な凹凸を吸収し得るようにした。

そして、このような人型テンプレートを用いてテンプレートマッチングを行う際には、取得した熱画像をこの画像中の撮像対象までの距離に基づいて縮小して、人型テンプレートのサイズに合わせるようにした。
すなわち、本発明の請求項１に係る発明は、熱画像を撮像する撮像手段（例えば遠赤外線カメラ）と、この撮像手段で撮像した熱画像中における撮像対象までの距離を測る距離測定手段と、前記熱画像中の温度差により抽出されるエッジから前記撮像対象の線画を作成する線画作成フィルタ、及び、所定の範囲内における最も遠方に合わせて作成されて、前記線画作成フィルタで作成され且つ前記距離測定手段により計測された撮像対象までの距離に基づいて縮小された該撮像対象の線画に対してマッチングを行う複数種の人型テンプレートを具備した信号処理部を備え、前記信号処理部の人型テンプレートを、前記線画作成フィルタで作成された前記撮像対象の線画に対して照らし合わせるテンプレートマッチングの段階で前記撮像対象の線画の微細な凹凸を吸収するべく該線画の線よりも太い線で作成し、前記信号処理部は、前記人型テンプレートの太い線と重なる前記撮像対象の線画の量を評価関数により算出し、この算出値が閾値を超えたときに前記撮像対象を人体として検出する構成としたことを特徴としており、この人体検出装置の構成を前述の従来の課題を解決するための手段としている。

また、本発明の人体検出装置において、請求項２として、前記信号処理部における人型テンプレートの線は、前記線画作成フィルタで作成された前記撮像対象の線画が人型を成す場合において、互いに近似する複数パターンの人型と重なり合う、すなわち、近似する複数パターンを抱合した太さとしてある構成としている。
さらに、本発明の人体検出装置において、エッジに基づいて作成した線画中に、人体検出に不必要な線が存在すると、人体の誤検出を招く虞があることから、請求項３として、前記信号処理部はノイズフィルタを有し、このノイズフィルタは、人体検出に必要か否かが不明な線の大きさを調査して、この大きさに基づいて前記不明な線を人体検出に不必要な線として除去する構成としている。

具体的には、請求項４として、前記信号処理部のノイズフィルタは、所定数の画素を並べて形成した探索枠を具備し、人体検出に必要か否かかが不明な線に前記探索枠を重ね合わせてその外縁部の輝度値を探索する段階で、該外縁部に位置する画素の輝度値がいずれもゼロの場合に、前記不明な線を人体検出に不必要な線として除去する構成としている。
一方、本発明の請求項５に係る人体検出方法は、請求項１又は２に記載の人体検出装置により人体の検出を行うに際して、撮像手段により熱画像を撮像するのに続いて、距離測定手段によって前記熱画像中における撮像対象までの距離を計測した後、信号処理部において、線画作成フィルタで前記撮像対象の線画を作成すると共に、人型テンプレートの大きさに合わせるべく撮像対象までの距離に基づいて前記線画を縮小し、次いで、前記線画と人型テンプレートとを照らし合わせるテンプレートマッチングを行い、前記人型テンプレートの太い線と重なる前記撮像対象の線画の量を評価関数により算出し、この算出値が閾値を超えたときに前記撮像対象を人体として検出する構成としたことを特徴としており、この人体検出方法の構成を前述の従来の課題を解決するための手段としている。

また、本発明の請求項６に係る人体検出方法は、請求項３又は４に記載の人体検出装置により人体の検出を行うに際して、撮像手段により熱画像を撮像するのに続いて、距離測定手段によって前記熱画像中における撮像対象までの距離を計測した後、信号処理部において、線画作成フィルタで前記撮像対象の線画を作成すると共に、人型テンプレートの大きさに合わせるべく撮像対象までの距離に基づいて前記線画を縮小し、次いで、この縮小した撮像対象の線画からノイズフィルタにより人体検出に不必要な線を除去した後、前記線画と人型テンプレートとを照らし合わせるテンプレートマッチングを行い、前記人型テンプレートの太い線と重なる前記撮像対象の線画の量を評価関数により算出し、この算出値が閾値を超えたときに前記撮像対象を人体として検出する構成としたことを特徴としており、この人体検出方法の構成を前述の従来の課題を解決するための手段としている。

本発明のテンプレートマッチングにおいて使用する評価関数は、作成した線画に人型テンプレートの画像を照らし合わせて、人型テンプレートの太い線上にあるピクセル数を算出するようにしたものであり（図５のステップＳｔ１８参照）、このような評価関数の特性に対して、上記したノイズフィルタを使用して人体検出に不必要な線を除去するようになせば、背景での評価関数の値を低くして、評価関数上での人と背景との分離を促進し得ることとなる。

本発明に係る人体検出装置において、撮像手段で撮像した熱画像中における撮像対象までの距離を測る距離測定手段としては、例えば、レーザレンジファインダやステレオカメラを用いることができるほか、ミリ波やエコーによる測定手段を用いることができる。
また、本発明に係る人体検出装置において、例えば、距離測定手段としてレーザレンジファインダを用いて車両に搭載すると、この車両がコーナーを回ったり凹凸のある走行路を移動したりした場合には、車両にロール角（傾き）が発生するのに伴って、レーザレンジファインダのスキャンラインの一部が想定した人検出範囲から外れることが起こり得ることから、車両の姿勢を計測するジャイロスコープなどの姿勢計測手段を装備することが望ましい。

例えば、ジャイロスコープを装備すると、車両にロール角（傾き）が発生した場合には、レーザレンジファインダによる測距値とジャイロスコープによる車両の姿勢から、信号処理部において計測ポイントの高さが算出され、この算出された高さによって、その領域の測距値を使用しない旨の判断が下されることとなる。

本発明の請求項１又は２に係る人体検出装置及び請求項５に係る人体検出方法では、上記した構成としたから、夜間等の低温環境下だけでなく夏の昼間等の高温環境下においても人を検出することが可能であるうえ、一つの人型テンプレートにつき複数の撮像対象の線画をカバーすることができるので、テンプレートの作成コストを大幅に低減することが可能であるという非常に優れた効果がもたらされる。

また、本発明の請求項３又は４に係る人体検出装置及び請求項６に係る人体検出方法では、上記した構成としたから、請求項１又は２に係る人体検出装置及び請求項５に係る人体検出方法と同じ効果が得られるのに加えて、人の検出性能の向上をも実現することができるという非常に優れた効果がもたらされる。

以下、本発明に係る人体検出装置及び人体検出方法を図面に基づいて説明する。
図１〜図５は、本発明に係る人体検出装置の一実施形態を示しており、この実施形態では、人体検出装置を移動ロボットに搭載した場合を例に挙げて説明する。
図１及び図２に示すように、移動ロボットＲに搭載した人体検出装置１は、熱画像を撮像する撮像手段としての遠赤外線カメラ２と、この遠赤外線カメラ２で撮像した熱画像中における撮像対象Ｔ１，Ｔ２を含むエリア内に存在する物体までの距離を測る距離測定手段としてのレーザレンジファインダ３と、移動ロボットＲの姿勢を計測するジャイロスコープ４と、遠赤外線カメラ２からの熱画像データ，レーザレンジファインダ３からの距離情報及びジャイロスコープ４からの姿勢信号を処理する信号処理部１０を備えている。

この信号処理部１０は、遠赤外線カメラ２で撮像した熱画像中の温度差により抽出されるエッジから撮像対象Ｔ１，Ｔ２を含む線画を作成する線画作成フィルタ１１と、この線画作成フィルタ１１で作成されて後述のごとく縮小される該撮像対象Ｔ１，Ｔ２を含む線画ｓ１，ｓ２に対してマッチングを行う複数種の人型テンプレート１２を具備している。
この場合、人型テンプレート１２は、所定の範囲内における最も遠方に合わせて動作パターンや姿勢パターンに対応して一枚ずつ作成してあって、この人型テンプレート１２は、レーザレンジファインダ３によって得られた測距値差分プロファイル上で人存在領域候補として選定した領域Ａ１，Ａ２に対応する線画から、レーザレンジファインダ３の走査位相と遠赤外線カメラ２の画角の対応に基づいて切り出された線画Ｓ１，Ｓ２を、レーザレンジファインダ３により計測された撮像対象Ｔ１，Ｔ２までの距離Ｌ１，Ｌ２に基づいて縮小することで得られる該撮像対象Ｔ１，Ｔ２を含む線画ｓ１，ｓ２に対してのマッチングを行うようになっている。

この実施形態において、人型テンプレート１２は、線画作成フィルタ１１で作成され且つ縮小された撮像対象Ｔ１，Ｔ２を含む線画ｓ１，ｓ２に対して照らし合わせるテンプレートマッチングの段階で、線画ｓ１，ｓ２の微細な凹凸を吸収するべく線画ｓ１，ｓ２の線よりも太い線で作成してあり、より具体的には、腕や足の位置などの動作パターンや鞄を抱えたり背負ったりする姿勢パターンなどのシルエットの似通った複数パターンの人型を成す線画を吸収し得る（線画と重なり合う）太い線で作成してある。

また、信号処理部１０には、図３（ａ）に示すように、線画作成フィルタ１１で作成され且つ縮小された撮像対象Ｔ３，Ｔ２を含む線画ｓ３，ｓ２に、人体検出に必要か否かかが不明な線ＵＬがあった場合に、図３（ｂ）に示すように、この線画ｓ３，ｓ２から上記不明な線ＵＬを除去し得るノイズフィルタ１３が設けてある。
このノイズフィルタ１３は、図４（ａ）に示すように、所定数の画素Ｐを並べて形成した探索枠１４を具備し、人体検出に必要か否かかが不明な線ＵＬに探索枠１４を重ね合わせてその外縁部の輝度値を探索する段階で、図４（ｂ）に示すように、外縁部に位置する画素ＰＥの輝度値がいずれもゼロの場合に（不明な線ＵＬが外縁部に位置する画素ＰＥを横切らない場合に）、不明な線ＵＬを人体検出に不必要な線として除去し、一方、図４（ｃ）に示すように、外縁部に位置する画素ＰＥの輝度値がいずれかで認められる場合に（不明な線ＵＬが外縁部に位置する画素ＰＥを横切る場合に）、不明な線ＵＬを人体検出に必要な線として残すようになっている。

次に、上記した人体検出装置１による人体検出要領を説明する。
まず、図５に示すように、ステップＳｔ１において遠赤外線カメラ２により熱画像を撮像するのに続いて、ステップＳｔ２において輝度の正規化を行った後、ステップＳｔ３において遠赤外線カメラ２の感度が適正であればゲインを変更せずにステップＳｔ５に進み、遠赤外線カメラ２の感度の調整が必要であれば、ステップＳｔ４においてゲイン調整を行う。

次に、ステップＳｔ５において中間値フィルタによる処理を行って熱画像中のノイズを除去し、ステップＳｔ６において線画作成フィルタ１１で撮像対象Ｔ１，Ｔ２を含む線画Ｓ１，Ｓ２を作成する。
一方、ステップＳｔ７においてレーザレンジファインダ３により熱画像中における撮像対象Ｔ１，Ｔ２までの距離を計測し、ステップＳｔ８においてレーザレンジファインダ３の走査位相に対する測定距離プロファイルの作成を行った後、ステップＳｔ９において測定距離プロファイルにおけるエッジの抽出を行う。このエッジの抽出に際しては、ステップＳｔ１０において得たジャイロスコープ４からの姿勢計測結果を反映させる。

そして、ステップＳｔ１１において上記エッジを境にして走査位相を領域Ａ１，Ａ２に分割し、ステップＳｔ１２において領域Ａ１，Ａ２の各距離平均値をそれぞれ算出して、各領域Ａ１，Ａ２の代表距離としてステップＳｔ１３に反映させる。
次いで、このステップＳｔ１３において熱画像をレーザレンジファインダ３の走査位相及び画角の対応に基づいて分割し、ステップＳｔ１４においてレーザレンジファインダ３により計測された各領域Ａ１，Ａ２の代表距離と人型テンプレート１２の作成距離との比に基づいて領域Ａ１，Ａ２に位置する撮像対象Ｔ１，Ｔ２を含む線画Ｓ１，Ｓ２を縮小して、線画ｓ１，ｓ２を得る。

続いて、ステップＳｔ１４で縮小された撮像対象Ｔ１，Ｔ２を含む線画ｓ１，ｓ２に対して、ステップＳｔ１５においてノイズフィルタ１３の処理を施して、人体検出に必要ではない不明な線ＵＬを除去する。
そして、図６に示すように、ステップＳｔ１６〜１８において線画ｓ１，ｓ２のうちの線画ｓ１に対して人型テンプレート１２の選定及び人型テンプレート１２との照合を行い、ステップＳｔ１９において評価関数により算出した値（線画ｓ１が人型テンプレート１２の太い線と重なる量）と閾値との比較を行い、評価関数による算出値が閾値を超えたときには、ステップＳｔ２０において撮像対象Ｔ１を人体として検出してその撮像対象Ｔ１の位置を算出する。

次に、ステップＳｔ１６に戻って線画ｓ１，ｓ２のうちの線画ｓ２に対する上記ステップＳｔ１６〜１８の処理を行い、ステップＳｔ１９において評価関数により算出した値が閾値を超えたときには、ステップＳｔ２０において撮像対象Ｔ２を人体として検出してその撮像対象Ｔ２の位置を算出する。
この間、ステップＳｔ１９において評価関数による算出値が閾値を超えないときには、ステップＳｔ１７に戻って別の人型テンプレート１２を選定し、以降、評価関数による算出値が閾値を超えるまでステップＳｔ１７〜１９の処理を繰り返し行う。

上記した人体検出装置１において、信号処理部１０の人型テンプレート１２は、所定の範囲内における最も遠方に合わせて動作パターンや姿勢パターンに対応して一枚ずつ作成してあり、加えて、人型テンプレート１２の線を撮像対象Ｔ１，Ｔ２を含む線画ｓ１，ｓ２の線よりも太くすることで、テンプレートマッチングの段階において、線画ｓ１，ｓ２の微細な凹凸を吸収し得るように、より具体的には、腕や足の位置などの動作パターンや鞄を抱えたり背負ったりする姿勢パターンなどのシルエットの似通った複数パターンの人型を成す線画を吸収し得るようにしているため、一つの人型テンプレート１２で複数の撮像対象Ｔ１，Ｔ２を含む線画ｓ１，ｓ２をカバーすることができるので、テンプレート１２の作成コストの大幅な低減が図られることとなる。

また、上記した人体検出装置１では、信号処理部１０にノイズフィルタ１３を設けることで、撮像対象Ｔ１，Ｔ２を含む線画ｓ１，ｓ２に、人体検出に必要でない不明な線ＵＬがあった場合に、この線画ｓ１，ｓ２からこの不明な線ＵＬを除去するようにしているので、背景での評価関数の値が低くなって、評価関数上での人と背景との分離が促進され、その結果、人の検出性能の向上が図られることとなる。

上記した一実施形態では、遠赤外線カメラ２で撮像した熱画像中における撮像対象Ｔ１，Ｔ２を含む範囲内の物体までの距離を測る距離測定手段としてレーザレンジファインダ３を用いた場合を示したが、これに限定されるものではなく、他の構成として、例えば、図７に示すように、移動ロボットＲの幅に合わせて配置したステレオカメラ２３を距離測定手段として用いることができる。

また、上記した一実施形態では、人体検出装置１を移動ロボットＲに搭載した場合を示したが、これに限定されるものではない。

本発明に係る人体検出装置及び人体検出方法は、例えば、施設警備において施設内に人が侵入したのを検出するのに採用することができるほか、警備員を追随してサポートするロボットに搭載して、一緒に行動する警備員を認識するのに採用することができる。

本発明の一実施形態による人体検出装置を搭載した移動ロボットを簡略的に示す斜視説明図である。図１における人体検出装置の信号処理部による画像分割や画像縮小などの信号処理の概要説明図である。図１における人体検出装置の信号処理部が有するノイズフィルタの機能を示すノイズフィルタ処理前の線画説明図（ａ）及びノイズフィルタ処理後の線画説明図（ｂ）である。図３におけるノイズフィルタが有する探索枠の人体検出に不必要な線の判定基準を示す説明図（ａ）〜（ｃ）である。図１における人体検出装置により人体検出を行う際のフローチャートの前半部分である。図１における人体検出装置により人体検出を行う際のフローチャートの後半部分である。本発明の他の実施形態による人体検出装置を搭載した移動ロボットを簡略的に示す斜視説明図である。

符号の説明

１人体検出装置
２遠赤外線カメラ（撮像手段）
３レーザレンジファインダ（距離測定手段）
１０信号処理部
１１線画作成フィルタ
１２人型テンプレート
１３ノイズフィルタ
１４探索枠
２３ステレオカメラ
ＰＥ外縁部に位置する画素
Ｓ１，Ｓ２線画
ｓ１，ｓ２縮小した線画
Ｔ１，Ｔ２撮像対象
ＵＬ不明な線

Claims

熱画像を撮像する撮像手段と、
この撮像手段で撮像した熱画像中における撮像対象までの距離を測る距離測定手段と、
前記熱画像中の温度差により抽出されるエッジから前記撮像対象の線画を作成する線画作成フィルタ、及び、所定の範囲内における最も遠方に合わせて作成されて、前記線画作成フィルタで作成され且つ前記距離測定手段により計測された撮像対象までの距離に基づいて縮小された該撮像対象の線画に対してマッチングを行う複数種の人型テンプレートを具備した信号処理部を備え、
前記信号処理部の人型テンプレートを、前記線画作成フィルタで作成された前記撮像対象の線画に対して照らし合わせるテンプレートマッチングの段階で前記撮像対象の線画の微細な凹凸を吸収するべく該線画の線よりも太い線で作成し、
前記信号処理部は、前記人型テンプレートの太い線と重なる前記撮像対象の線画の量を評価関数により算出し、この算出値が閾値を超えたときに前記撮像対象を人体として検出する
ことを特徴とする人体検出装置。
前記信号処理部における人型テンプレートの線は、前記線画作成フィルタで作成された前記撮像対象の線画が人型を成す場合において、互いに近似する複数パターンの人型を成す線画と重なり合う太さとしてある請求項１に記載の人体検出装置。
前記信号処理部はノイズフィルタを有し、このノイズフィルタは、人体検出に必要か否かが不明な線の大きさを調査して、この大きさに基づいて前記不明な線を人体検出に不必要な線として除去する請求項１又は２に記載の人体検出装置。
前記信号処理部のノイズフィルタは、所定数の画素を並べて形成した探索枠を具備し、人体検出に必要か否かかが不明な線に前記探索枠を重ね合わせてその外縁部の輝度値を探索する段階で、該外縁部に位置する画素の輝度値がいずれもゼロの場合に、前記不明な線を人体検出に不必要な線として除去する請求項３に記載の人体検出装置。
請求項１又は２に記載の人体検出装置により人体の検出を行うに際して、
撮像手段により熱画像を撮像するのに続いて、距離測定手段によって前記熱画像中における撮像対象までの距離を計測した後、
信号処理部において、線画作成フィルタで前記撮像対象の線画を作成すると共に、人型テンプレートの大きさに合わせるべく撮像対象までの距離に基づいて前記線画を縮小し、
次いで、前記線画と人型テンプレートとを照らし合わせるテンプレートマッチングを行い、前記人型テンプレートの太い線と重なる前記撮像対象の線画の量を評価関数により算出して、この算出値が閾値を超えたときに前記撮像対象を人体として検出する
ことを特徴とする人体検出装置による人体検出方法。
請求項３又は４に記載の人体検出装置により人体の検出を行うに際して、
撮像手段により熱画像を撮像するのに続いて、距離測定手段によって前記熱画像中における撮像対象までの距離を計測した後、
信号処理部において、線画作成フィルタで前記撮像対象の線画を作成すると共に、人型テンプレートの大きさに合わせるべく撮像対象までの距離に基づいて前記線画を縮小し、
次いで、この縮小した撮像対象の線画からノイズフィルタにより人体検出に不必要な線を除去した後、前記線画と人型テンプレートとを照らし合わせるテンプレートマッチングを行い、前記人型テンプレートの太い線と重なる前記撮像対象の線画の量を評価関数により算出し、この算出値が閾値を超えたときに前記撮像対象を人体として検出する
ことを特徴とする人体検出装置による人体検出方法。