JP2006338379A - 調査区域にいる人物を検出するための装置および方法 - Google Patents

Abstract

【課題】調査区域にいる人物を検出するための検出装置を提示する。
【解決手段】検出装置は、前記調査区域を記録するためのカメラユニットを有している。前記カメラユニットは前記調査区域の上方に配置され、前記カメラユニットの下側の領域を記録する。前記カメラユニットは記録したデータを画像データとして適宜出力する。検出装置はほかにも、前記調査区域内の少なくとも1人の人物の様々な構造的形状特徴を検出するための評価ユニットを有している。前記構造的形状特徴の検出は、前記カメラユニットから出力された前記画像データに基づいて行われ、前記調査区域にいる少なくとも1人の人物の位置の決定に利用される。
【選択図】図1

Description

本発明は、調査区域にいる人物を検出するための装置および方法に関する。

従来、画像ベースの人物検出装置および人物追跡装置は、人数を自動的に集計して、たとえば入場者数や通過人数を検出するために利用されている。適切な計数装置を備えた回転式改札口も、人数自動集計システムの一例である。ほかにも、たとえば光バリヤシステム、パッシブ探知式赤外カウンタ、マイクロ波レーダシステム、またはレーザスキャナシステムなどの非接触式人数集計システムが知られている。

ビデオカメラのデータに基づいた非接触方式による人数自動集計分野においては、運動解析に基づいた各種各様の技術や方法が知られている。

米国特許出願公開公報第2003/0107649号には、画像の変化を検出する方法が示されているが、そこではこれらの変化が、実際の画像と、過去の1つまたは複数の画像から作成される、たとえば背景予測のような1つの基準画像との比較に基づいて検出されるようになっている。しかしそこでは、ぎゅう詰めの群衆または集団の中では人物が個人的には検出されず、そのために正確な集計が不可能である点が欠点として判明している。ほかにも照明の変化や投影および反射により誤検出を生じ、その結果集計に誤りを来たす場合がある一方で、立ち止まっている人物が、画像に変化をもたらさないために、検知されずにいる。それ以外にも手押し車やショッピングカートなどの携行物を、高信頼度で人物と区別するのは不可能となっている。

国際特許第00/21021号または特開平第5-258134号においては、複数の人物を代表するグレースケールモデル、すなわちテンプレートに基づいて、各画像領域の類似性が決定される。そのようにして探知されたそれぞれの領域が、その後続いてこれらの人物の追跡に利用されるようになっている。しかしそこでは、現下の周辺条件下において人間を代表するグレースケールモデルが大量にあり、複雑なアルゴリズムが必要となるために、検出できるのはごく少数の人物に限られてしまっている。

それ以外にも、広域斜角視程タイプのビデオカメラまたは自動車のサイドルッキング型車載カメラの(画像)データストリームに基づいた人物検出方式が知られている。これらの方法では、歩行時の四肢の周期的な運動、または、たとえば垂直構造あるいは類型的な形態学的スケルトン構造などの、側面に投影した様々な形状特徴、ならびに、たとえば人工神経回路網などの学習型統計手法に基づいて、複数の人物が適切に検出されるようになっている。
米国特許出願公開公報第2003/0107649号 国際特許第00/21021号 特開平第5-258134号

以上のような背景を踏まえ、本発明の課題は、調査区域にいる複数の人物の検出方式を改善することにある。

この課題は、請求項1に記載される検出装置、ならびに請求項11に記載される調査区域にいる複数の人物の検出方法により解決される。

それにより、調査区域にいる複数の人物を検出するための検出装置が供与される。この検出装置は、調査区域を録画するためのカメラユニットを有している。その際にこのカメラユニットは、カメラユニットの下側の領域を録画するために、調査区域の上方に配置されるようになっている。カメラユニットは、記録した各データを続いて画像データとして適宜出力する。検出装置はほかにも、調査区域にいる少なくとも1人の人物の様々な構造的形状特徴を検出するための評価ユニットを有している。これらの構造的形状特徴の検出は、カメラユニットから出力されたそれぞれの画像データに基づいて行われ、調査区域にいる少なくとも1人の人物の位置を決定するために利用されるようになっている。

それにより複数の人物の検出を、これらの人物の、画像領域に変化をもたらすための移動を不要として、行うことができる。ほかにも調査区域にいる複数の人物を、たとえこれらの人物が集団の中で移動する場合にも、個人的に検出することができる。

本発明の一態様において、これらの構造的形状特徴は、1人の人物の頭部の幾何学的配置、肩部の幾何学的配置、および/または1人の人物の対称性に基づいたものである。したがって1人の人物を検出するために、それぞれの人について、様々な体型の幾何学的配置を使用することができる。

本発明のもう1つの態様においては、評価ユニットが、調査区域内に前もって定義された少なくとも1本のラインを利用して、調査区域内を移動中の複数の人物のこのラインの踏越えを検出するようになっている。それにより複数の人物の移動を検出して人数を集計することができる。

本発明のさらにもう1つの態様においては、評価ユニットが、調査区域内を移動中の複数の人物の滞留を、調査区域内に前もって定義された少なくとも1つの画像領域を利用して検出するようになっている。

本発明のさらにもう1つの態様においては、カメラユニットが記録した画像データを画像形式で出力して、調査区域内に位置する複数の人物の位置を評価ユニットにより画像形式で決定し、そこからこれらの人物の移動を確認するようになっている。

本発明のさらにもう1つの態様においては、カメラユニットをビデオカメラまたは赤外線カメラとして構成できるようになっている。

本発明はここでは、カメラユニットを調査対象面積の上方に取り付けて、複数の人物の、たとえば頭部および肩部の幾何学的配置、(上からの視程での)対称性などの様々な構造的形状特徴を検出し評価することによって、人物検出用および人物追跡用の簡単でしかも製造技術的に有利な装置を提示するという考え方に立脚している。

図1には、第1の実施例に従った検出装置の略図が示されている。この検出装置は実質的にカメラKと評価ユニットAEとを有している。そこではカメラが調査対象領域の上方に、この領域を記録するために配置されている。そのためにカメラKは、調査対象区域Aにいる複数の人物P(Personen)を検出するために、調査対象区域Aに向かって下に向けられている。カメラは作成した画像データを評価ユニットAEに出力する。評価ユニットAEは、ここではコンピュータとすることができる。評価ユニットAEは、画像デジタイザないしはフレーム取込み器を有しているのが望ましい。カメラKはここでは、4.5mmレンズを備えた標準型1/3インチCCD-PAL方式白黒ビデオカメラとすることができる。カメラは、一例として床上4mの地点に、光軸を床に対して垂直にして配置することができる。画像デジタイザFGは、カメラから受信したアナログビデオ信号をデジタル化して、デジタル画像データストリームを、たとえばPCIバスを介して評価ユニットAEの主記憶装置ASに出力する。評価ユニットAEにおいては、人物の様々な構造的特徴ないしは構造的形状特徴に基づいて、人物の検出および追跡処理が実行される。その際にはそれぞれの人物の様々な構造的形状特徴が検出され、画像内で位置を特定され、それに続き追跡される。画像の位置特定のためには、たとえば頭部の位置を使用することができる。

第1の実施例に従った検出装置は、たとえば画像ベースの人物検出装置または人物追跡装置とすることができる。ここではビデオカメラKを用いて調査区域A内の光景が上方から観察され、ビデオカメラKが作成した画像データが引き続いて評価ユニットAEにおいて適宜評価されるようになっている。その際には人物はその様々な構造的形状特徴に基づいて検出され、それに続き追跡される。追跡されるそれぞれの人物の軌跡(行路)から、画像内に自由に定義することができる複数のラインの踏越えを検出することができる。ほかにも追跡されるそれぞれの人物の、画像内に自由に定義することができる複数のエリア内の滞留時間が計測され、事後評価のために記憶されるようにしてもよい。画像ベースの人物検出装置/人物追跡装置により、人間ないしは人物を移動中の物体として画像内でセグメント化し、テンプレートの物体との相関関係に基づいてそれを追跡する必要なく、有利な形で人間の検出が行われるようになる。基礎となる複数の人物の頭部および肩部の形状特徴、ならびに場合によっては上から見た平面図における左右対称性に基づいて、1人1人の人物が検出され、相応に追跡される。頭部と肩部間の特殊な幾何学的関係に基づいて、頭部および人物の仮説が作成され、検出のために使用される。それにより、移動中または停止中の1つの群衆ないしは集団の中にいる人間の個人的検出および追跡も行うことができる。頭部および人物の仮説に付け加え、検出精度を向上するためには、人物のフィルタリングのための様々なテクスチャ特徴が使用されるとよい。検出精度をさらに向上するためには、ほかにもグレースケール勾配量の様々なテクスチャ特徴、および/または、グレースケール勾配の向きに基づいた様々な特徴が使用されるとよい。以上ではビデオカメラについて説明したが、カメラユニットKは同様に、距離画像カメラ、ステレオカメラ、赤外線カメラを有していてもよいし、あるいは、画像が得られる超音波技術または画像が得られるレーダ技術により構成されてもよい。

画像ベースの人物検出装置ないしは人物追跡装置は、ビデオカメラからのそれぞれの画像に対して、検出された人物の当該する位置を提供する。これらの画像形式の位置データに基づいて、これらの人物の追跡が行われ、移動中の人物の行路が作成されるようになっている。それにより、自由に定義することができるバーチャルゲートを通る人の流れ、および監視される画像領域内の自由に定義することができる複数の領域内の滞留時間を計測することができる。第1の実施例に従った検出装置は、特に複数の人物の移動挙動の検出ならびにそれらの解析に適しており、たとえば通行経路の最適化、様々な通行地点における人的統制および動員計画、ならびに各交通手段の乗車人数の測定に使用されるものである。

図2には、上から見た検出装置とその視野（Sichtfeld）の略図が示されている。そこではカメラユニットK(Kamera)により、調査区域Aにいる人物が記録される。その際には人物P(Personen)が、頭部楕円KEおよび肩部楕円SEにより検出されるようになっている。ここでは頭部楕円KEも、また肩部楕円SEも各人固有のものとして構成されるために、異なる人物を相応に検出することが可能である。

図3には、図1および2に従った検出装置により記録された画像シーケンスから成る評価結果が示されている。そこには特にプロットされた人物検出位置、すなわち頭部位置KP、および移動行路BS、ならびに複数のバーチャルカウントラインZLが示されている。ここではこのバーチャルカウントラインの踏越しが測定されるようになっている。

第2の実施例に従った検出装置は、実質的に第1の実施例に従った検出装置に基づいて構成される。人物の検出は、人物の頭部および肩部ならびに上方から観察された左右対称性に基づいて行われる。その際に検出は多段階方式で行われる。第1ステップとして、複数の類型的な輪郭線に基づいて、―上方から観察して―幾何学的特徴の存在について検査される。これらの輪郭線は、それぞれ頭部および肩部領域を表すパラメータ曲線である。これらのパラメータ曲線は、たとえば2つの楕円とすることができる。それぞれのパラメータ曲線、すなわちこれら2つの楕円を計算するために、1つの輪郭画像が計算され、これが、それぞれの特性に関してパラメータ予測、たとえばハフ変換にかけられる。観察されたそれぞれのパラメータ値は、人物ないしは人間の、上方から観察した各輪郭線と一致するパラメータ曲線が生じるそれぞれの領域に制限される。これらのパラメータ予測の予測品質特性、たとえばハフ変換アルゴリズムの累算におけるピークの高さに基づいて、対応する構造が検出される。そのようにして人間形態学的構造を検出する場合は、仮説の検査のために、ほかにも仮説の画像領域の対称性を使用することができる。そのためには、探知された人間形態学的輪郭線の主軸を基準として対称寸法が計算されると同時に、仮説を容認ないしは拒否するために複数の閾値が使用されるようになっている。容認された仮説は、1人1人の人物を表している。

それぞれのパラメータ曲線は、たとえば2つの楕円、または頭部および肩部領域に関係した2つの曲線とすることができる。

仮説をさらに検査するためには、その時その時の仮説画像領域から、様々なグレースケールテクスチャ特徴、またはグレースケール勾配量の様々なテクスチャ特徴、および/またはグレースケール勾配の向きに基づく様々な特徴を使用することができる。上述の段階的な処理には、不適切な仮説が早い時点で排除されて、それ以上配慮されることなく、処理が加速化されるという利点がある。あるいは段階的な処理方法の代わりに、最初にすべての特徴を計算し、引き続いて計算により求めた特徴ベクトルを分類にかけることも可能であるが、しかしそれによりコストは増大してしまう。

第1の実施例に従った検出装置の略図である。 検出装置を上方から見た略図である。 図1および2の検出装置の評価結果を示したものである。

符号の説明

K カメラ
AE 評価ユニット
A 調査対象区域
FG 画像デジタイザ
AS 主記憶装置
P 人物
KE 頭部楕円
SE 肩部楕円
KP 頭部位置
BS 移動行路
ZL バーチャルカウントライン

Claims (12)

1. 調査区域にいる人物を検出するための検出装置であって、
   前記調査区域の上方に配置されて、カメラユニットの下側の前記調査区域を記録して、記録した各データを画像データとして出力するカメラユニット、および、
   前記調査区域にいる少なくとも1人の人物の様々な構造的形状特徴を、前記カメラユニットから出力された前記画像データに基づいて検出して、前記調査区域内の少なくとも1人の人物の位置を決定する評価ユニット
   を有している、検出装置。
2. 前記構造的形状特徴が人物の頭部の幾何学的配置に基づいたものである、請求項1に記載の検出装置。
3. 前記構造的形状特徴が人物の肩部の幾何学的配置に基づいたものである、請求項1または2に記載の検出装置。
4. 前記構造的形状特徴が人物の対称性に基づいたものである、請求項1、2または3に記載の検出装置。
5. 前記評価ユニットが、検出対象である前記区域内に前もって定義することができる少なくとも1本のラインを利用して、人物の前記ラインの踏越えを検出するように構成されている、請求項1から4のいずれか一項に記載の検出装置。
6. 前記評価ユニットが、検出対象である前記区域内に前もって定義することができる少なくとも1つの領域を利用して、人物の滞留を検出するように構成されている、請求項1から4のいずれか一項に記載の検出装置。
7. 前記カメラユニットが、前記記録したデータを画像形式で出力するように構成されており、前記評価ユニットが、検出対象である前記区域内に位置する人物の位置を画像形式で決定し、そこから前記人物の移動を算出するように構成されている、請求項1から5のいずれか一項に記載の検出装置。
8. 前記カメラユニットがビデオカメラを有している、請求項1から7のいずれか一項に記載の検出装置。
9. 前記カメラユニットが赤外線カメラを有している、請求項1から7のいずれか一項に記載の検出装置。
10. 前記カメラユニットが距離画像カメラまたはステレオカメラを有している、請求項1から9のいずれか一項に記載の検出装置。
11. 調査区域にいる人物を検出する方法であって、
    カメラユニットの下側の1つの調査区域を記録し、記録したデータを画像として出力する工程、
    前記調査区域にいる人物の構造的形状特徴を、前記出力された画像データに基づいて検出する工程、および
    前記調査区域内にいる少なくとも1人の人物の位置を決定する工程
    から成る、方法。
12. 前記構造的形状特徴が、人物の頭部の幾何学的配置、肩部の幾何学的配置、および/または人物の対称性に基づいたものである、請求項11に記載の方法。
    
    
    

Images