JP2004191083A

JP2004191083A - 人物検出装置

Info

Publication number: JP2004191083A
Application number: JP2002356387A
Authority: JP
Inventors: Kentaro Hayashi; 健太郎林; Manabu Hashimoto; 橋本　　学; Kazuhiko Washimi; 和彦鷲見
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-12-09
Filing date: 2002-12-09
Publication date: 2004-07-08
Anticipated expiration: 2022-12-09
Also published as: JP3734793B2

Abstract

【課題】平らな所においても複数の人物を、前の人物で隠蔽されている人物も見逃すことなくより精度よく検出することのできる人物検出装置を提供する。
【解決手段】複数の各カメラからの画像上で観測点の同一点を示す画像上の位置を対応付ける手段１０５、対応点の視差とカメラ間の距離からカメラからの該観測点の３次元距離を計算する手段１０７、３次元距離から３次元空間上の観測点位置を計算する手段１０９、得られた前記各観測点の３次元位置を特定平面に投影し平面上に分布する投票値を作成する手段１１１、カメラから遠ざかるに従い所定の最大値に向かって徐々に増加し、得られた投票値がこれに達する度にその値を下げることで隠蔽が発生する確率の高い隠蔽領域を設定した人物検出のための閾値を設定する手段１１３、隠蔽領域が設定された閾値に得られた投票値が達したことにより人物検出と判断する手段１１５を有す。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
この発明は人物検出装置、特に前の人物で隠蔽されている人物も見逃すことなく、より精度よく人物を検出するものに関する。
【０００２】
【従来の技術】
従来のこの種の装置としてまず、階段に俯角をもって設置した複数の撮像装置により、階段を昇降する歩行者を撮影する。その画像を対応付け部に入力し、視差データを獲得する。視差データは、視差距離変換部において距離データに変換される。認識部では、距離データを用いて歩行者を個々に分離して、その位置を認識する。計数部では、認識された歩行者の位置を時間的に追跡し、計数ラインを通過した場合に計数する。これにより死角の少ないステレオ画像から歩行者を認識して追跡するので、混雑していても正確に歩行者の数や移動方向、混雑度などを計測できるというものがあった（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平１０−３３４２０７号公報
【０００４】
【発明が解決しようとする課題】
以上のような従来の装置は、階段を昇降する歩行者を撮影してそこから人物を検出しているが、平らな所（例えばホテルのロビー、エレベータホール、廊下等）において複数の人物を、前の人物で隠蔽されている人物も見逃すことなく精度良く検出することはできなかった。
【０００５】
この発明は上記のような課題を解消するためになされたもので、特に、平らな所においても複数の人物を、前の人物で隠蔽されている人物も見逃すことなくより精度よく検出することのできる人物検出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的に鑑み、この発明は、複数の人物が見渡せる位置に設置された複数のカメラと、それぞれのカメラからの画像上で、空間上の観測点の同一点を示す画像上の位置を対応付ける画像間対応付け手段と、対応付けられた対応点の視差と前記複数のカメラ間の距離から前記カメラからの前記空間上の前記観測点の３次元距離を計算する距離計算手段と、前記３次元距離から３次元空間上の前記観測点の位置を計算する３次元位置計算手段と、得られた前記各観測点の３次元位置を特定平面に投影し、平面上に分布する投票値を作成する特定平面投影手段と、カメラからの位置が遠ざかるに従い所定の最大値に向かって徐々に増加し、得られた投票値がこれに達する度にその値を下げることで隠蔽が発生する確率の高い隠蔽領域を設定した人物検出のための閾値を設定する隠蔽領域設定手段と、前記隠蔽領域が設定された閾値に、得られた投票値が達したことにより人物検出と判断する人物検出手段と、を備えたことを特徴とする人物検出装置にある。
【０００７】
【発明の実施の形態】
実施の形態１．
図１はこの発明による人物検出装置の原理を説明するための図であり、カメラが撮影する一縦断面で検出される人物とこれらの人物の投票値ヒストグラムを示す図、図２はこの発明による人物検出装置本体の構成の一例を示す図である。なお図２において、１１７〜１２５は後述の実施の形態３に係わるものである。図１は一例としてエレベータの乗り場の場合を示したもので、エレベータの三方枠の上部、もしくはその周辺に設置した複数カメラ１０１（ここでは１つしか図示せず）、典型的には２つのカメラ１０１（ステレオカメラ）により人物Ａが集合している領域を撮像する。各カメラで得られた画像は図２に示すインターフェース１０３を介してコンピュータで構成される人物検出装置本体に入力される。
【０００８】
画像間対応付け手段１０５では、ステレオカメラから入力された画像間で、３次元空間上の同一点を観測していると考えられる双方の点（これを対応点という）の位置を求める。一方の画像の対応点の位置から他方の画像の対応点の位置を相対的に見たときの画像上の距離を視差という。そして事前に複数カメラ１０１間の位置関係を較正しておき、距離計算手段１０７では、この視差ｄと両カメラ間の距離Ｄ（ベースライン）から、対応点の元になる空間上の観測点の３次元距離すなわち両カメラ１０１を結んだ線から観測点までの距離Ｚ＝ａ（Ｄ／ｄ）（ａは係数）を計算することができる。３次元距離が計算できれば、３次元位置計算手段１０９により既存の方法で、３次元空間上の各観測点の位置を計算することができる。
【０００９】
次にこの３次元位置を特定の平面に投影することを考える。特定平面投影手段１１１の一例を以下に示す。人物検出の場合、人物が歩行者の状態であると仮定すると、垂直方向に縦長に伸びた物体が床面上に存在していると考えてよい。このことから、特定平面を床面とし、床面上に３次元点（各観測点）を投影する。投影時に、カメラから観測された３次元点（観測点）の数が多ければ、投影上の点の値も大きくなる。この操作を投票という。また、特定面に投票された結果の値を投票値という。図１の下側には人物Ａを映した画像に基づき求められた投票結果である投票値ヒストグラム１０を示した。但し投票値ヒストグラム１０は下向きに示されており、下側が投票値が大きくなる。曲線Ｂが投票値、鋸状の波線Ｃが後述する人物を判定するための閾値を示す。このようにして、人物が立っている床面の場所では投票値が大きくなり、投票値の大きな部分を検出すれば人物を検出することができる。
【００１０】
しかし一方で、人物が多く集合するような場合には、後方の人物が、前方の人物に隠されて（隠蔽されて）十分な観測点が得られない場合がある。その場合、投影面上にも大きな投票値が現れず、検出もれが発生する。
【００１１】
そこで隠蔽領域設定手段１１３により隠蔽領域を設定する。隠蔽領域設定手段１１３での隠蔽領域設定の一例について説明すると、まず投影面上でカメラ１０１に近い位置から順に人物を検出することを考える。カメラに近い位置では隠蔽が発生せず、高い投票値が期待できるので図１の１０に示すように大きな（最大）固定閾値Ｔで投票値を区切って人物を検出することができる。投票値が閾値に達することにより人物を検出した後側を隠蔽の発生する確率の高い隠蔽領域と推定し、ここでの検出感度を上げるために閾値を下げる。３次元位置計算手段１０９からの検出した人物の３次元観測点位置から、その人物の概略の身長Ｌを把握する。図１に示すようにその身長Ｌと平均身長Ｌｍを比較し差分Ｌｄ（＋側のみ）を計算する。差分Ｌｄの値に固定値ｂを掛け、その値だけ閾値を低くする（−ｂＬＤ）。また、低くなった地点からカメラおよび特定平面の関係を使って、隠蔽領域が終了する地点（例えば図１の右端）に向かって閾値を線形で最大値に向かって徐々に回復するように上げていく。従って人物検出の際の判定に使用される閾値Ｃは最初の人物検出まで最大値Ｔで、その後、投票値が閾値に達する人物が検出される度にその人物の高さに従った（平均身長からの割増し分）大きさで下げられ、下げられた後、最大値に戻るように徐々に増加する鋸状になる。
【００１２】
隠蔽領域設定手段１１３により隠蔽領域に応じた閾値調整ができたならば、この閾値との比較（例えば閾値に達したか否かの判定）による隠蔽度を考慮した人物検出手段１１５によって、投票値が閾値に達したことを検出することで見逃し無く人物を検出することができる。また、隠蔽が大きく発生しているような領域では、殆ど投票値が得られない場合がある。その場合は、入力画像に立ち返って、隠蔽領域の位置と人物の平均的な身長などの知識から、もし人物がいると仮定した場合にその顔の位置がどこにあるかを逆算し、その周辺でのみ顔を検出することでさらに検出性能を上げるようにしてもよい。
【００１３】
特に、隠蔽が大きく発生しているということが、カメラは人物を水平に近い方向から観測しているという物理的事実に基づけば、上記投票値の低い領域では人物の顔がほぼ正面からカメラに捕らえられている可能性が高い。そのような場合には、既存の技術で十分顔検出が可能であり特に有効である。
【００１４】
実施の形態２．
上記実施の形態１ではカメラからの画像の信頼度が低いこと、および人物のように床面から縦長に延びた特に隠蔽要素になり易いものの後側を隠蔽領域とすることを前提に、隠蔽領域設定手段１１３において投票値の閾値との比較に基づいて隠蔽領域を設定していたが、この実施の形態ではカメラからの画像の信頼度が高いこと、および例えば隠蔽領域を床面から縦長に延びたものだけに限定しないことも可能にすることを前提に、隠蔽領域設定手段１１３ａにおいて３次元位置計算手段１０９からの各観測点の３次元位置に基づいて隠蔽領域を設定するようにした。図３はこの発明による人物検出装置本体の構成の別の例を示す図であり、上記実施の形態と同一もしくは相当する部分は同一符号で示し説明を省略する。１１７〜１２５は後述の実施の形態３に係わるものである。
【００１５】
隠蔽領域設定手段１１３ａでは隠蔽領域を設定する。隠蔽領域設定手段１１３ａでの隠蔽領域推定の一例について説明すると、まず投影面上でカメラ１０１に近い位置から順に人物を検出することを考える。カメラに近い位置では隠蔽が発生せず、高い投票値が期待できるので図１の１０に示すように大きな固定閾値Ｔで投票値を区切って人物を検出することができる。そして３次元位置計算手段１０９からの各観測点の３次元位置に基づいて隠蔽が発生する確率の高い隠蔽領域を推定し、ここでの検出感度を上げるために閾値を下げる。そして各隠蔽領域に対応する３次元位置計算手段１０９からの検出した人物の３次元観測点位置から、その人物の概略の身長Ｌを把握する。図１に示すようにその身長Ｌと平均身長Ｌｍを比較し差分Ｌｄ（＋側のみ）を計算する。差分Ｌｄの値に固定値ｂを掛け、その値だけ閾値を低くする（−ｂＬＤ）。また、低くなった地点からカメラおよび特定平面の関係を使って、隠蔽領域が終了する地点（例えば図１の右端）に向かって閾値を線形で回復するように上げていく。従って人物検出の際の判定に使用される閾値Ｃは最初の人物検出まで最大値Ｔで、その後人物が検出される度にその人物の高さに従った（平均身長を越えた分）大きさで下げられ、下げられた後、最大値に戻るように徐々に増加する鋸状になる。
【００１６】
隠蔽領域設定手段１１３ａにより隠蔽領域に応じた閾値調整ができたならば、この閾値との比較（例えば閾値に達したか否かの判定）による隠蔽度を考慮した人物検出手段１１５ａによって、投票平面投影手段１１１からの投票値のピークを検出することで見逃し無く人物を検出することができる。
【００１７】
なお上記実施の形態１、２に関し、上記説明では検出された人物の身長の平均身長を越えた分に基づいて閾値を下げることで、人物の身長に従ってより適正な検出感度にするようにしているが、どの人物が検出されても一律に所定値だけ閾値を下げることで隠蔽領域での検出感度を上げることはできそれ相当の効果はあり、またより簡単に構成することができる。
【００１８】
実施の形態３．
上記実施の形態１、２では主に距離情報を使って人物の検出を行うが、この実施の形態においては距離だけに限らず、画像上の人物領域が持つパターン情報や、シルエット、色ヒストグラムなどを組み合わせて用いることにより、より精度の高い人物検出装置を提供することができる。この実施の形態では、図２、３において、それぞれ複数特徴量検出手段１１７、統合手段１１９、人物特徴量記憶部１２１，人物判定手段１２３を備える。これらの動作は図２、３において共に共通である。
【００１９】
図４に示すように、複数特徴量検出手段１１７でカメラ１１０からの画像上の人物領域においてその距離、顔パターン、人物シルエット、色ヒストグラムの特徴量を検出し、これらの情報を使って人物領域を検出することを考える。このとき、距離は上記実施の形態で述べたような処理を行うが、それでもなお距離情報検出手段の不備もしくは画像上のノイズなどの影響により検出できなかったとすれば、それをその他の情報で補って、検出したいという要求がある。このとき残りの顔パターン、人物シルエット、色ヒストグラムなどを使って人物領域かどうかを判断することができる。
【００２０】
たとえばこの場合であれば、顔パターン、人物シルエット、色ヒストグラムを用いて、それらを統合手段１１９に入力し、統合手段１１９が顔パターンの人物への一致度、人物シルエットの人物への一致度、色ヒストグラムの人物への一致度を計算し、それぞれの一致度が一定以上高ければ人物領域と判断する。なお、これら一致度の計算は既存の手段である顔パターン検出手段１１７ａ、人物シルエット検出手段１１７ｂ、色ヒストグラム検出手段１１７ｃ等により容易に計算できるのでここでは特に言及しない。また統合手段１１９の一例として、各特徴量の一致度を一定の閾値と比較する場合について述べたが、これに限る必要はない。たとえば、事前にいくつかの人物画像から特徴量の値の組み合わせをニューラルネットワークなどの学習アルゴリズムを用いて学習しておき、それを統合手段１１９とするようにしてもよい。なお、複数特徴量検出手段１１７での顔パターン、人物シルエット、色ヒストグラムの特徴量の検出、および統合手段１１９での各一致度の計算に使用される顔パターン、人物シルエット、色ヒストグラムのそれぞれのモデル、テンプレートは人物特徴量格納部１２１に格納しておく。そして人物判定手段１２３において人物検出手段１１５の判断結果に統合手段１１９の判断結果を加えて全てを人物と判定する。
【００２１】
また、図４では既に検出された左側の人物に、現在検出しようとしている人物領域の一部が隠蔽されているとする。そうすると、人物シルエット検出手段１１７ｂから得られる人物への一致度が低下するかもしれない。最悪の場合、一部が隠蔽されているだけで人物を検出できなくなる危険性がある。もし、例えば隠蔽領域設定手段１１３からの隠蔽などの情報により事前にシルエットが使えないことがわかっていれば、それを使わずに顔パターンと色ヒストグラムだけを用いて人物かどうかを判断すればよい。このように、それぞれの特徴量の信頼度を計算し、それを判別に用いるかどうかを判断する特徴量選択手段１２５を設けてもよい。
【００２２】
なお上記各実施の形態に関し、上記説明ではエレベータの三方枠に取り付ける装置を想定しているが、同様の高さに同様の俯角をもって設置するのであれば、エレベータの待客検出に限定する必要は無い。例えば屋内外の人流計測などにも応用できる。
【００２３】
【発明の効果】
上記のようにこの発明では、複数の人物が見渡せる位置に設置された複数のカメラと、それぞれのカメラからの画像上で、空間上の観測点の同一点を示す画像上の位置を対応付ける画像間対応付け手段と、対応付けられた対応点の視差と前記複数のカメラ間の距離から前記カメラからの前記空間上の前記観測点の３次元距離を計算する距離計算手段と、前記３次元距離から３次元空間上の前記観測点の位置を計算する３次元位置計算手段と、得られた前記各観測点の３次元位置を特定平面に投影し、平面上に分布する投票値を作成する特定平面投影手段と、カメラからの位置が遠ざかるに従い所定の最大値に向かって徐々に増加し、得られた投票値がこれに達する度にその値を下げることで隠蔽が発生する確率の高い隠蔽領域を設定した人物検出のための閾値を設定する隠蔽領域設定手段と、前記隠蔽領域が設定された閾値に、得られた投票値が達したことにより人物検出と判断する人物検出手段と、を備えた人物検出装置としたので、平らな所においても複数の人物を、前の人物で隠蔽されている人物も見逃すことなくより精度よく検出することができる。
【図面の簡単な説明】
【図１】この発明による人物検出装置の原理を説明するための図である。
【図２】この発明の一実施の形態による人物検出装置本体の構成を示す図である。
【図３】この発明の別の実施の形態による人物検出装置本体の構成を示す図である。
【図４】この発明による複数特徴量検出手段、特徴量選択手段および統合手段を説明するための図である。
【符号の説明】
１０３インターフェース、１０５画像間対応付け手段、１０７距離計算手段、１０９３次元位置計算手段、１１１特定平面投影手段、１１３，１１３ａ隠蔽領域設定手段、１１５，１１５ａ隠蔽度を考慮した人物検出手段、１１７複数特徴量検出手段、１１９統合手段、１２１人物特徴量記憶部、１２３人物判定手段、１２５特徴量選択手段。

Claims

複数の人物が見渡せる位置に設置された複数のカメラと、
それぞれのカメラからの画像上で、空間上の観測点の同一点を示す画像上の位置を対応付ける画像間対応付け手段と、
対応付けられた対応点の視差と前記複数のカメラ間の距離から前記カメラからの前記空間上の前記観測点の３次元距離を計算する距離計算手段と、
前記３次元距離から３次元空間上の前記観測点の位置を計算する３次元位置計算手段と、
得られた前記各観測点の３次元位置を特定平面に投影し、平面上に分布する投票値を作成する特定平面投影手段と、
カメラからの位置が遠ざかるに従い所定の最大値に向かって徐々に増加し、得られた投票値がこれに達する度にその値を下げることで隠蔽が発生する確率の高い隠蔽領域を設定した人物検出のための閾値を設定する隠蔽領域設定手段と、
前記隠蔽領域が設定された閾値に、得られた投票値が達したことにより人物検出と判断する人物検出手段と、
を備えたことを特徴とする人物検出装置。
複数の人物が見渡せる位置に設置された複数のカメラと、
それぞれのカメラからの画像上で、空間上の観測点の同一点を示す画像上の位置を対応付ける画像間対応付け手段と、
対応付けられた対応点の視差と前記複数のカメラ間の距離から前記カメラからの前記空間上の前記観測点の３次元距離を計算する距離計算手段と、
前記３次元距離から３次元空間上の前記観測点の位置を計算する３次元位置計算手段と、
得られた前記各観測点の３次元位置を特定平面に投影し、平面上に分布する投票値を作成する特定平面投影手段と、
前記３次元位置計算手段から得られる各観測点の３次元空間上の位置から隠蔽が発生する確率の高い隠蔽領域を求め、各隠蔽領域で値が下がりその後カメラからの位置が遠ざかるに従い最大値に向かって徐々に増加する隠蔽領域を設定した人物検出のための閾値を設定する隠蔽領域設定手段と、
前記隠蔽領域が考慮された閾値に、得られた投票値が達したことにより人物検出と判断する人物検出手段と、
を備えたことを特徴とする人物検出装置。
前記隠蔽領域設定手段が、前記カメラからの画像上で得られる人物の身長に従って前記閾値を下げる量を変えることを特徴とする請求項１または２に記載の人物検出装置。
カメラの画像上において人物の異なる複数種の特徴量を含む領域を検出する複数特徴量検出手段と、
検出された領域内の各特徴量のそれぞれの所定のモデルとの一致度が予め定められた規定に達していれば人物領域と判断する統合手段と、
前記人物検出手段の判断結果に前記統合手段の判断結果を加えて全てを人物と判定する人物判定手段と、
をさらに備えたことを特徴とする請求項１ないし３のいずれか１項に記載の人物検出装置。
前記カメラからの画像における人物の異なる複数種の特徴量を含む領域の状況に応じて、前記統合手段において人物領域を判断するための前記特徴量を選択する特徴量選択手段をさらに備えたことを特徴とする請求項４に記載の人物検出装置。