JP2004178229A - 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 - Google Patents
人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 Download PDFInfo
- Publication number
- JP2004178229A JP2004178229A JP2002343094A JP2002343094A JP2004178229A JP 2004178229 A JP2004178229 A JP 2004178229A JP 2002343094 A JP2002343094 A JP 2002343094A JP 2002343094 A JP2002343094 A JP 2002343094A JP 2004178229 A JP2004178229 A JP 2004178229A
- Authority
- JP
- Japan
- Prior art keywords
- voting
- person
- image
- head
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 178
- 238000003384 imaging method Methods 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 52
- 238000002360 preparation method Methods 0.000 claims description 18
- 230000036544 posture Effects 0.000 claims description 14
- 238000013500 data storage Methods 0.000 claims description 10
- 230000004069 differentiation Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 37
- 239000013598 vector Substances 0.000 description 23
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
【課題】人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置において、画像から高速に人を検出すること及び実世界における人の概略の位置を求めることを可能とする。
【解決手段】人頭部画像の形状を外側に凸な境界曲線で囲まれる形状モデルで近似し、人存在距離で決まる撮像画像上の形状モデルの標準サイズとサイズ範囲を定める。境界曲線上の各点に濃度勾配方向Ψを定義し、形状モデル内部の代表点にサイズ範囲に対応する投票部Ｖｐ０〜Ｖｐ８を備え、外部に濃度反転した頭部画像に対応するための投票部Ｖｑ０〜Ｖｑ８を備えた投票テンプレートを作る。撮像画像から生成したエッジ画像の各画素上に、該画素に付加した濃度勾配方向に対応する濃度勾配方向を持つ投票テンプレートの境界曲線上の点を重ねて投票し、所定投票値を有するセルを撮像画像上の人の頭部位置とする。
【選択図】 図１３
【解決手段】人頭部画像の形状を外側に凸な境界曲線で囲まれる形状モデルで近似し、人存在距離で決まる撮像画像上の形状モデルの標準サイズとサイズ範囲を定める。境界曲線上の各点に濃度勾配方向Ψを定義し、形状モデル内部の代表点にサイズ範囲に対応する投票部Ｖｐ０〜Ｖｐ８を備え、外部に濃度反転した頭部画像に対応するための投票部Ｖｑ０〜Ｖｑ８を備えた投票テンプレートを作る。撮像画像から生成したエッジ画像の各画素上に、該画素に付加した濃度勾配方向に対応する濃度勾配方向を持つ投票テンプレートの境界曲線上の点を重ねて投票し、所定投票値を有するセルを撮像画像上の人の頭部位置とする。
【選択図】 図１３
Description
【０００１】
【発明の属する技術分野】
本発明は、ヒューマンマシンインターフェイス、パーソナルロボット、画像監視、自律移動装置等における、画像から人をコンピュータにより自動的に検出する方法に関する。
【０００２】
【従来の技術】
従来、画像からコンピュータにより人を自動的に見つける方法として、動きのある部分を人とみなして検出する方法、人を代表する部分である顔や頭部を肌色や顔部品により検出して人を検出する方法がある。前者の例として、予め作成した背景画像と入力される画像との差分を取ることにより変化した部分を人として検出するものがある（例えば、特許文献１参照）。後者の例として、顔を楕円としてモデル化し、楕円検出による顔検出するものがある（例えば、特許文献２参照）。また、頭部を円としてモデル化し、円形状検出による頭部検出を行うものがある（例えば、特許文献３参照）。
【０００３】
【特許文献１】
特開平１１−３１１６８２号公報
【特許文献２】
特開平１１−１８５０２６号公報
【特許文献３】
特開２００１−２２２７１９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した文献１に示されるような検出方法においては、画像上の明度の大きく変化した領域を人とするため、光が差し込んできて明度が変化する場合や、椅子などの物が移動する場合も人として検出してしまう問題がある。また、文献２に示されるような検出方法においては、様々な場面において肌色を安定して検出することは難しく、また、肌色領域を楕円に当てはめて正しいのは正面の時であるので斜め向きの場合は検出が難しく、さらに、後ろ向きの場合は頭部を検出することができないという問題がある。また、文献３に示されるような検出方法においては、投票に使用するテンプレートの形状が同心円状であるため、検出に寄与しない投票が多く、処理時間が無駄になると共に、偽の投票値のピークが作られて誤検出が発生するという問題がある。
【０００５】
本発明は、上記課題を解消するものであって、簡単な構成により画像から高速に人の検出を行うと共に、画像世界に対する実世界における、撮像装置から人までの概略の位置を求めることができる人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置を提供することを目的とする。
【０００６】
【課題を解決するための手段及び発明の効果】
上記課題を達成するために、請求項１の発明は、撮像装置で撮像した画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する装置において、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備手段と、撮像装置から入力された画像をデジタル化し、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶手段と、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成しメモリに記憶するエッジ画像データ生成手段と、前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成手段と、前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理手段と、投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出手段と、を備えた人の存在位置検出装置である。
【０００７】
上記構成においては、撮像画像上において人の位置を人の頭部の位置で代表させ、人の頭部の形状を簡単な図形でモデル化した投票テンプレートであって検出距離の範囲に幅を持たせるため線分状の複数の投票部を備えることとした投票テンプレートを用いて、撮像画像から得たエッジ画像上のエッジ画素毎に投票処理を行うので、頭部形状やサイズの変動を吸収して頭部形状を確実に検出できる。また、エッジ画像の各エッジ画素に濃度勾配方向の情報をもたせて、各エッジ画素の濃度勾配方向で定まる投票部にのみ投票するので、画像中から円形状曲線を検出する、いわゆる円検出用ハフ（Ｈｏｕｇｈ）変換のような、全方向にわたる投票処理を行わなう必要がなく、人検出のための投票処理数を少なくでき、人の頭部形状を高速に検出できる。
【０００８】
請求項２の発明は、請求項１記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、前記標準サイズの形状モデルの境界曲線上の各点に対し、該点に定義した濃度勾配方向と逆方向の濃度勾配方向を有する前記境界曲線上の点を互いに共役な共役点として定義し、互いに共役な点の一方が前記形状モデルの内部に有する投票部と同じ相対位置関係を保って、前記互いに共役な点の他方が前記形状モデルの外部にさらに投票部を備えたものである。
【０００９】
上記構成においては、人頭部における画像濃度が反転した画像に対し、同時に投票処理できるように、互いに共役な投票部を投票テンプレートに備えるので、一通りの投票処理で画像濃度が反転した二通りの人頭部画像に対する投票ができ、前述の効果に加え、さらに安定して確実な検出を高速に行うことができる。
【００１０】
請求項３の発明は、請求項１記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、前記人の頭部画像の形状を近似する外側に凸な曲線として円又は楕円からなる形状モデルを用いたものである。
【００１１】
上記構成においては、人頭部の形状モデルが点対称であるので、投票テンプレート上の投票部の位置も投票テンプレートの中心について対称となり、投票部の位置を片側だけ記憶すればよく、投票処理のためのデータの記憶量を減らすことができる。
【００１２】
請求項４の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票処理手段は、エッジ画像の各エッジ画素について、注目するエッジ画素とその近傍の複数のエッジ画素からなる輪郭の曲率を求めて曲率中心の存在する方向を判定し、前記注目するエッジ画素に対する前記投票に際し、前記曲率中心の存在する方向の投票部位置に対応する投票空間の投票用セルに投票するものである。
【００１３】
上記構成においては、曲率中心のある側のみの投票処理で済むので、さらに効率的に人の頭部を抽出でき、人の存在位置を高速に検出することができる。なお、必要な輪郭の曲率を求める演算は、投票処理の最初の一回だけである。
【００１４】
請求項５の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、投票テンプレートの代表点近傍であって前記代表点方向線の両側にさらに投票部を備えたものである。
【００１５】
上記構成においては、エッジ付近の濃度勾配方向が変動しても、代表点両側近傍にも投票部を備えたので、このような幅を持たせた投票部への投票により投票位置の変動を吸収して形状モデルの中心近傍に投票することができ、信頼性の高い検出を行うことができる。
【００１６】
請求項６の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、形状モデルの境界曲線上の各点に対する投票部の相対位置を、該各点における濃度勾配方向をインデックスとして、表形式でメモリに記憶するものである。
【００１７】
上記構成においては、投票テンプレートの投票部の位置を予め表形式でメモリに記憶しているので、投票処理時にはこの表を参照して投票位置を求めればよいため、投票のための計算が少なく高速な処理が実現できる。
【００１８】
請求項７の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、予め撮像装置から人までの距離毎に投票テンプレートのデータを保管し、前記投票処理手段は、検出対象までの距離を測定する距離センサの距離測定結果に基づいて前記投票テンプレートのデータを参照して投票テンプレートを設定し、投票するものである。
【００１９】
上記構成においては、撮像装置から人までの距離を距離センサにより求めた上で、画像上で検出する頭部のサイズを限定して検出を行うので、信頼性の高い検出を高速に行うことができる。
【００２０】
請求項８の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記人存在位置検出手段は、検出した所定のしきい値以上の投票値を有するセルが複数の塊に分れている場合には、塊間の距離を調べ、該距離が所定範囲内に存在する場合にはグループ化して統合し、統合された塊の代表点に対応する撮像画像上の位置を人の頭部位置として検出するものである。
【００２１】
上記構成においては、所定のしきい値以上の投票値を持つセルを統合することにより、投票が分散している場合でも、形状モデルを検出して人の頭部位置を精度良く検出することができる。
【００２２】
請求項９の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、撮像装置から検出対象とする人までの検出距離範囲を任意に複数設定して検出距離範囲毎の形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備し、前記投票空間生成手段は、前記検出距離範囲毎に投票空間を生成し、前記投票処理手段は、各検出距離範囲に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、前記人存在位置検出手段は、各検出距離範囲に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させるものである。
【００２３】
上記構成においては、撮像装置から遠近方向に多くの人候補が存在する中で、特定の距離範囲にいる人候補のみ選択して検出処理を行うことができる。
【００２４】
請求項１０の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、形状モデルのサイズ範囲が所定値以上の場合、該サイズ範囲が所定値以下となるように人の検出距離範囲を分割し、該分割された範囲毎に形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを持ち、前記投票空間生成手段は、該分割された検出距離範囲毎に投票空間を生成し、前記投票処理手段は、該分割された検出距離範囲毎に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、前記人存在位置検出手段は、該分割された検出距離範囲毎に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させるものである。
【００２５】
上記構成においては、人の存在する範囲が遠近方向に広い場合、人の存在する範囲を分割して形状モデルのサイズ範囲を所定値以下とすることとしたので、特定の大きさの頭部のみを検出することができ、誤検出の発生を抑制して検出精度を高くすることができる。
【００２６】
請求項１１の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、人の頭部形状を同一の形状モデルで姿勢が異なる複数の形状で近似し、各姿勢の形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該姿勢の形状毎に投票空間を生成し、前記投票処理手段は、該姿勢の異なる形状毎に投票空間上の各セルに投票処理を行うものである。
【００２７】
上記構成においては、姿勢の異なる複数の形状モデルを準備することとしたので、傾いた頭部にも区別して対処でき、精度の高い人検出をすることができる。
【００２８】
請求項１２の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、人の頭部形状を異なる複数の形状モデル形状で近似し、各形状モデルの形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該形状モデルの形状毎に投票空間を生成し、前記投票処理手段は、該形状モデル毎に投票空間上の各セルに投票処理を行うものである。
【００２９】
上記構成においては、複数の形状モデルとそれらに対応する投票テンプレートと投票空間を備えることとしたので、異なる形状モデルを使用して人検出ができ、様々な頭部形状の検出をすることができる。
【００３０】
請求項１３の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記検出した撮像画像上の頭部位置に頭部をモデル化した形状を投影して得られる投影像のサイズの画像を切出すものである。
【００３１】
上記構成においては、撮像画像上の頭部サイズ毎に頭部画像の切り出しを行っているので、不要な背景部分の面積が少ない適切な大きさの切出し頭部画像が得られる。
【００３２】
請求項１４の発明は、請求項１３記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記切出した画像を、予め頭部の向き毎に分類して記憶した頭部データと比較することにより、頭部の向きを識別して検出するものである。
【００３３】
上記構成においては、検出された頭部画像を、頭部の向き毎にパターン認識できるので、頭部の位置と共に、頭部の向きも知ることができる。
【００３４】
請求項１５の発明は、請求項１４記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記頭部の向きとして複数の候補が出力される時、前記切出した画像を予め決めた複数の小画像に分割し、分割した各小画像間の濃度分布の違いにより頭部の向きを決定するものである。
【００３５】
上記構成においては、切出された頭部画像の濃度分布をより詳細に調べることができるので、頭部の向きを精度よく決定することができる。
【００３６】
請求項１６の発明は、請求項９記載の人の存在位置検出装置において、前記人存在位置検出手段は、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を、撮像装置から人までの距離と推定するものである。
【００３７】
上記構成においては、撮像画像中での人の位置の検出だけでなく、実世界における、撮像装置から人までの距離を推定することができる。
【００３８】
請求項１７の発明は、請求項９記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記検出した撮像画像上の頭部の位置及び撮像装置の焦点距離により撮像装置に対する人存在位置方向を求め、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を撮像装置から人までの距離と推定し、人の方向と人までの距離とにより、撮像装置に対する人の位置を求めるものである。
【００３９】
上記構成においては、撮像画像中での人の位置の検出だけでなく、実世界における、撮像装置から人までの距離及びその方角が分かる。
【００４０】
請求項１８の発明は、請求項９又は請求項１６に記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置の視線方向の空間を撮像装置から所定の距離毎にゾーン分けし、各ゾーン内での人の有無状態について前回検出時の結果と現在の検出結果とを比較し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも近いゾーンのときは人が近づいていると判定し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも遠いゾーンのときは人が遠ざかっていると判定し、現在検出した人が属するゾーンと前回検出した人が属するゾーンが同じときは人が止まっていると判定するものである。
【００４１】
上記構成においては、撮像装置から所定の距離毎にゾーン分けして、各ゾーンにおける人の有無の比較により、人が撮像装置に向かって近付いて来ているのか、遠ざかっているのかの人の動きを知ることができる。
【００４２】
請求項１９の発明は、請求項１７記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、各エリアを、人を検出したエリアと、未確認のエリアと、人が居ないエリアに分類して人の存在位置を検出するものである。
【００４３】
上記構成においては、人の存在マップを作成し、実世界における人を検出したエリア、未確認のエリア、人がいないエリアを区別して撮像装置からの人の存在を知ることができるので、人に衝突しない高度な移動制御を行う自律移動装置の制御に応用できる。
【００４４】
請求項２０の発明は、請求項１７記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、人を検出した位置を該マップ上の対応する位置に登録すると共に、該検出した人の頭部の切出し画像を検出位置と関係付けして記憶し、前回検出時点のマップと現時点のマップとを比較し、前回検出時点での注目する人の検出位置から移動可能な範囲内に検出した現時点における人及びその検出位置を対応付けの候補とし、対応付け候補が１つの場合には対応付けして追跡し、対応付け候補が複数ある場合には、前回検出時点における人の検出位置と関係付けして記憶した頭部の切出し画像と、対応付け候補とされる人の頭部の切出し画像との画像相関を計算し、相関度の一番高い対応付け候補の人及びその検出位置を正しい対応付けとして追跡するものである。
【００４５】
上記構成においては、検出した人を識別して追跡するので、人の動きを正確に知ることができる。
【００４６】
請求項２１の発明は、撮像装置で撮像した撮像画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する方法において、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備過程と、撮像装置から入力され、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶過程と、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成するエッジ画像データ生成過程と、前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成過程と、前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理過程と、投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出過程と、を備えた人の存在位置検出方法である。
【００４７】
上記検出方法においては、人の位置を人の頭部の位置で代表させ、人の頭部モデルとして円または楕円など外側に凸な曲線で囲まれる簡単な図形の形状モデルを用い、いわゆるハフ変換により人の頭部を検出するので、簡単な投票処理によって人の存在位置検出ができる。また、ハフ変換の投票処理を、着目するエッジ画素の全方向にわたって行うことなく、注目エッジ画素における濃度勾配方向に基づきエッジ画素の両側方向のみについて行うので、投票処理量が少なく、高速な人検出処理を実現することができる。また、撮像装置から特定の検出距離範囲内の人の頭部の大きさのみを検出対象とする投票テンプレートを用いるので、検出距離の推定ができると共に撮像画像上で信頼性の高い人の頭部検出を行うことができる。
【００４８】
請求項２２の発明は、請求項１７乃至請求項１９のいずれかに記載の人の存在位置検出装置を用いて検出された人の位置情報を利用して移動の制御をする自律移動装置である。
【００４９】
上記構成においては、撮像装置を自律移動装置に搭載し、人の存在位置検出装置を用いて人を検出し、自律移動装置周辺の人の位置を認識した上で、自律移動装置を移動する制御が行えるので、人の存在に適応して人を回避する動作や人に通路を譲る退避動作を実現することができる。
【００５０】
【発明の実施の形態】
以下、本発明の一実施形態に係る人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置について、図面を参照して説明する。図１は人の存在位置検出装置のブロック構成を示す。人の存在位置検出装置は、撮像装置２で撮像した画像を人の存在位置検出装置本体１において画像処理し、人の頭部画像を抽出することにより人の存在及びその位置を検出して、その結果を例えば警報発生手段９を用いて外部に警報音として出力する。人の頭部画像を抽出する方法には一般化ハフ変換を応用した方法が用いられる。
【００５１】
人の存在位置検出処理の概要を説明する。撮像装置２から入力された画像は、撮像画像データ記憶手段３においてアナログ画像からデジタル画像にＡ／Ｄ変換された撮像画像としてメモリに記憶される。次に、エッジ画像データ生成手段４において、撮像画像が画像濃度について微分処理され、微分強度値が所定のしきい値以上の点がエッジ画素として抽出され、抽出されたエッジ画素からなるエッジ画像が生成される。生成されたエッジ画像は、各エッジ画素点における濃度勾配方向のデータが付加されてメモリに記憶される。
【００５２】
続いて、投票処理手段５では、投票テンプレート準備手段６で準備された各検出距離ごとの投票テンプレートを用いて、投票空間生成手段７で準備された投票空間に、一般化ハフ変換を応用した方法により、投票が行われる。次に、人存在位置検出手段８では、各検出距離範囲に対応する投票空間毎に、所定のしきい値以上の投票値を持つセルが検出され、検出されたセルの位置に対応する撮像画像上の位置に人頭部の存在が検出される。また、人存在位置検出手段８は、人の頭部が検出された投票空間に対応する検出距離範囲（ゾーン）の中央距離値を撮像装置から人までの距離として決定すると共に、そのゾーン番号を警報発生手段９に出力する。警報音発生手段９は、各ゾーン番号に対応した警報音を選択し警報音を発生させる。
【００５３】
このような人の存在位置検出装置は、例えばエリアセンサとして用いることができる。図２はエリアセンサの概念を示す。人の存在位置検出装置の撮像装置２の視野前方の撮像エリアＡＲが、撮像装置２の基準点Ｏからの距離Ｌ１〜Ｌ４によって複数の検出ゾーンＺＮ１，ＺＮ２，ＺＮ３に分けられる。各ゾーン毎に人が検出されたときのエリアセンサとしての動作が設定される。例えば、各ゾーン毎の距離と緊急性に基づく動作として、第１ゾーンＺＮ１では強い警報音発生、第２ゾーンＺＮ２では中程度の警報音発生、第３ゾーンＺＮ３では弱い警報音発生とすることができる。以下において、人存在位置検出装置の各構成手段毎に説明する。
【００５４】
（撮像画像データ記憶手段とエッジ画像データ生成手段）
撮像画像データ記憶手段３及びエッジ画像データ生成手段４における処理を図３乃至図７により説明する。図３は撮像画像データ記憶手段３の処理フローを示す。撮像装置２によって撮像された画像のアナログ信号がＡ／Ｄ変換され、撮像画像Ｐ０が作成され（Ｓ１０１）、メモリに記憶される（Ｓ１０２）。図４（ａ）は撮像画像Ｐ０の例を示す。
【００５５】
また、エッジ画像データ生成手段４において、撮像画像Ｐ０が微分処理され、図４（ｂ）に示すエッジ画像Ｐ１が得られる。図５はエッジ画像生成のフローを示す。微分ステップ（Ｓ２０１）を説明する。撮像画像Ｐ０は濃淡画像である。この濃淡画像から人物の外郭や顔の輪郭等に相当する画素よりなるエッジ部を抽出するための微分処理は、「エッジは濃度変化が大きい部分に対応している」という考え方を基本にしている。微分処理は、図６に示すように、撮像画像Ｐ０を３×３画素の局所並列ウインドウＷ３３によって水平方向ｘ、上下方向ｙについてそれぞれ走査して行われる。局所並列ウインドウＷ３３は、図７（ａ）に示すように、注目する画素Ｉ（ｉ，ｊ）＝ａ５と、その画素ａ５の周囲の８画素（８近傍）ａ１〜ａ４，ａ６〜ａ９とから構成される。局所並列ウインドウＷ内３３の各画素ａ１〜ａ９に対し、図７（ｂ）に示すｘ方向微分オペレータＯＰｘを作用させてｘ方向微分値Ｇｘ（ｉ，ｊ）を計算し、図７（ｃ）に示すｙ方向微分オペレータＯＰｙを作用させてｙ方向微分値Ｇｙ（ｉ，ｊ）を計算する。計算式は以下となる。ただし、以下において、引数ｉ，ｊは一部省略している。
Ｇｘ＝ａ３＋２×ａ６＋ａ９−ａ１−２×ａ４−ａ７
Ｇｙ＝ａ１＋２×ａ２＋ａ３−ａ７−２×ａ８−ａ９
これらをもとに微分強度値Ｊ（ｉ，ｊ）と濃度勾配方向Ψ（ｉ，ｊ）が次式によって求められる。
Ｊ＝ｓｑｒ（Ｇｘ×Ｇｘ＋Ｇｙ×Ｇｙ）
Ψ＝ａｒｃｔａｎ（Ｇｙ／Ｇｘ）
ここで、ｓｑｒは平方根演算、ａｒｃｔａｎは逆正接である。また、Ｇｘ又はＧｙが０のときの濃度勾配方向Ψは、Ｇｘ＝０、Ｇｙ＞０のときΨ＝９０゜、Ｇｘ＝０、Ｇｙ＜０のときΨ＝２７０゜、Ｇｙ＝０、Ｇｘ＞０のときΨ＝０゜、Ｇｙ＝０、Ｇｘ＜０のときΨ＝１８０゜である。以上の処理が微分ステップ（Ｓ２０１）で行われる。
【００５６】
続いて、各画素における微分強度値Ｊ（ｉ，ｊ）が所定のしきい値と比較され、所定のしきい値以上の微分強度値を有する画素Ｉ（ｉ，ｊ）がエッジ画素として抽出される（Ｓ２０２でＹｅｓ）。メモリ上のエッジ画素位置には濃度勾配方向Ψ（ｉ，ｊ）データが保管される（Ｓ２０３）。撮像画像Ｐ０の全ての画素について微分処理が行われた後（Ｓ２０４でＹｅｓ）、エッジ画像Ｐ１としてメモリに記憶される（Ｓ２０５）。
【００５７】
（投票テンプレート準備手段）
投票テンプレート準備手段６における処理を図８乃至図１７により説明する。図８は人頭部の形状モデルを示す。撮像画像中において人の頭部画像を抽出し、撮像画像中における人の存在及びその位置を検出するために、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似する。例えば、図８（ａ）の三角型Ｔ１、図８（ｂ）の四角型Ｔ２、図８（ｃ）の楕円型Ｔ３、図８（ｄ）の円型Ｔ４が形状モデルとして用いられる。各凸形状モデルの内部には、例えば図形の重心点に、代表点Ｇが定められている。
【００５８】
これらの形状モデルのサイズについて説明する。図９は実物人間と画像中の人との寸法関係を示す。撮像装置のレンズの焦点距離ｆと、撮像装置から検出対象とする人までの検出距離Ｌと、実世界の人頭部の標準サイズ（頭部幅Ｄと頭部高Ｈ）とに基づいて、撮像画像中の人の頭部画像の輪郭の大きさ（頭部幅ｄと頭部高ｈ）が決定される。実世界の人頭部の標準サイズにサイズ範囲と検出距離Ｌの幅を考慮して前記形状モデルの標準サイズ及びサイズ範囲が予め決定される。
【００５９】
形状モデルから作成される投票テンプレートについて説明する。図１０（ａ）（ｂ）は三角型形状モデルＴ１による投票テンプレートを示す。図１０（ａ）に示すように、標準サイズの形状モデルＴ１０を構成する境界曲線上の各点に、例えば各点における接線方向と直交する方向（法線方向）であって、形状モデルの内部（前記凸な曲線で囲まれる内部側）方向に、濃度勾配方向ベクトルＮが定義される。濃度勾配方向ベクトルＮは、例えば画像上の水平方向ｘを基準とする濃度勾配方向Ψによって特定される。また、形状モデルの内部に定められた代表点Ｇに形状モデルの標準サイズに対応する投票部Ｖｐ０が設けられる。また、図１０（ｂ）に示すように、形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線ｒの線上であって代表点Ｇの前又は後に前記サイズ範囲に対応する投票部Ｖｐ１，Ｖｐ２が設けられる。これらの投票部Ｖｐ１，Ｖｐ２は、標準サイズの形状モデルＴ１０よりも、小さい形状モデルＴ１１及び大きい形状モデルＴ１２に対しても同時に投票可能とし、標準サイズ範囲からの変動を吸収するための投票部である。このように、形状モデルに濃度勾配方向Ψと投票部Ｖｐ０，Ｖｐ１，Ｖｐ２を備えた投票テンプレートが、各標準形状モデル毎に作成されてメモリに参照可能に準備される。このような投票部は、形状モデルのサイズ範囲が大きい場合には、必要に応じて代表点方向線ｒの線上にさらに多数設けることができる。
【００６０】
明暗反転した画像に対応した投票テンプレートについて説明する。図１１及び図１２は人頭部の画像濃度が反転した場合の投票テンプレートを示す。投票テンプレートは、後述するようにエッジ画像の画素点における濃度勾配方向と投票テンプレートの濃度勾配方向とを互いに参照して用いられる。濃度勾配方向ベクトルＮは、図１１（ａ）に示すように、エッジ画像の各エッジ画素ｐｘにおいて濃度レベルの低い画像部分つまり暗い画像部分Ａ２から濃度レベルの高い画像部分つまり明るい画像部分Ａ１に向かうベクトルＮとして定義される。ところで、人頭部画像が撮像されるときの照明の具合によって、人頭部に対する濃度勾配方向が頭部内向きの場合と頭部外向きの場合が生じる。例えば、背景に対し頭部が明るい場合（撮像モードｐとする）、図１１（ｂ）に示すように濃度勾配方向ベクトルＮ１，Ｎ２は内向きとなり、背景に対し頭部が暗い場合（撮像モードｑとする）、図１１（ｃ）に示すように濃度勾配方向ベクトルＮは外向きとなる。
【００６１】
このような、２種類の頭部画像に対応できるように、投票部を設けることで人頭部検出の効率を上げることができる。その方法を説明する。標準サイズの形状モデルの境界曲線上の各点に対して、例えば図１１（ｂ）の形状モデルＴｐ上の点Ｐに定義した濃度勾配方向ベクトルＮ１と逆方向の濃度勾配方向ベクトルＮ２を有する前記境界曲線上の他の点Ｑを、互いに共役な共役点として定義する。そして、互いに共役な点の一方の点Ｑが形状モデルの内部に有する投票部Ｖｐ２と同じ相対位置関係を保って、前記互いに共役な点の他方の点Ｐが形状モデルＴｐの外部にさらに投票部を備えるようにする。このようにして、明暗反転した画像に対応した投票部を備えた投票テンプレートが図１２に示されている。濃度勾配方向Ψ、Φはそれぞれ撮像モードｐ、ｑに対する投票テンプレートの濃度勾配方向に対応し、図１１（ｂ）のＶｐ１，Ｖｐ２はそれぞれ図１２のＶｐ、Ｖｑに対応する。
【００６２】
濃度勾配方向の変動への対処について説明する。図１３は２次元的な投票部を備えた投票テンプレートを示す。投票テンプレートは、エッジ画像の画素点における濃度勾配方向と投票テンプレートの濃度勾配方向とを互いに参照して用いられるので、エッジ画素の濃度勾配方向が頭部画像における頭部輪郭から想定される本来の濃度勾配方向とずれが生じた場合に、そのずれを吸収する投票部を設けることで信頼性の高い検出ができる。そのような投票部として、図１３（ａ）に示されるように、投票テンプレートの代表点近傍であって代表点方向線ｒの両側にさらに投票部を備える。図の例の場合、形状モデルの境界曲線上の各点に対し、９つの投票部Ｖｐ０〜Ｖｐ８を形状モデルの内部に、また９つの投票部Ｖｑ０〜Ｖｑ８を形状モデルの外部に備えている。図１３（ｂ）は、追加した投票部が濃度勾配方向の変動を吸収する様子を示す。
【００６３】
投票テンプレート表について説明する。図１４は投票部の座標を示し、図１５及び図１６は投票テンプレート表を示す。投票テンプレートの濃度勾配方向と、エッジ画像の画素点における濃度勾配方向との比較参照を容易とするために投票テンプレート表を準備する。投票テンプレート表は、図１４（ａ）（ｂ）に示すように、形状モデルの境界曲線上の各点に対する投票部Ｖｐ，Ｖｑの相対位置Δｘｐ、Δｙｐ、Δｘｑ、Δｙｑ（引数省略）を、各点における濃度勾配方向Ψ、Φをインデックスとして、表形式でメモリに記憶したものである。
【００６４】
次に、形状モデルの種類とこれらの形状モデルに基づく投票テンプレートについて説明する。図１７は本発明で用いられる形状モデルの種類の例を示す。形状モデルの種類としては、前述した形状の種類Ｔ１〜Ｔ４以外に、各検出距離範囲のゾーンＺＮ１，ＺＮ２，ＺＮ３毎の標準サイズ、及び頭を傾けた左傾きと右傾きの形状モデルが用いられる。投票テンプレート準備手段は、撮像装置から検出対象とする人までの検出距離範囲を任意に複数設定して検出距離範囲毎の形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備する。投票空間生成手段は、前記検出距離範囲毎に投票空間を生成し、投票処理手段は、各検出距離範囲に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行う。また、人存在位置検出手段は、各検出距離範囲に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させる。多くの人の中から、撮像装置から特定の距離範囲に居る人のみ選択して検出することができる。
【００６５】
また、投票テンプレート準備手段は、形状モデルのサイズ範囲が所定値以上の場合、サイズ範囲が所定値以下となるように人の検出距離範囲を分割し（上記までの説明では全体の分割範囲は３つであった）、該分割された範囲毎に形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備することとし、投票空間生成手段は、該分割された検出距離範囲毎に投票空間を生成し、投票処理手段は、該分割された検出距離範囲毎に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行う。人を検出しようとする範囲が広くてサイズ範囲が大きくなった場合、形状モデルのサイズ範囲に対応して投票テンプレートの投票部が長くなり、間違った投票により偽の投票値が高いセルを作る誤検出発生の可能性が高くなる。人の存在する範囲を分割して形状モデルのサイズ範囲を所定値以下とすることにより、特定の大きさの頭部のみを検出することができ検出精度を高くすることができる。
【００６６】
また、投票テンプレート準備手段は、人の頭部形状を同一の形状モデルで姿勢が異なる複数の形状で近似し、上述の頭を傾けた左傾きと右傾きの形状モデルのように、各姿勢の形状毎に投票テンプレートを準備し、投票空間生成手段は、各姿勢の形状毎に投票空間を生成し、投票処理手段は、各姿勢の異なる形状毎に投票空間上の各セルに投票処理を行う。姿勢の異なる形状モデルごとに検出を行うため、傾いた頭部も検出することができる。
【００６７】
また、投票テンプレート準備手段は、人の頭部形状を異なる複数の形状モデル形状で近似し、各形状モデルの形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該形状モデルの形状毎に投票空間を生成し、前記投票処理手段は、該形状モデル毎に投票空間上の各セルに投票処理を行う。異なる形状モデルを使用して検出するため、様々な頭部形状の検出をすることができる。
【００６８】
（投票空間生成手段と投票処理手段）
投票空間とその生成について、及び撮像画像・エッジ画像との関係について説明する。図１８はエッジ画素及び投票セルの座標の関係を示す。投票空間生成手段は、図１８に示すように撮像画像Ｐ０及びエッジ画像Ｐ１の各画素位置と対応する位置に投票セルＶＣを有する投票空間Ｐ２を生成しメモリに記憶する。投票空間Ｐ２は投票テンプレートの種類に応じて複数生成される。
【００６９】
投票と集計処理について説明する。投票処理手段は、エッジ画像Ｐ１上の各エッジ画素上に、そのエッジ画素に付加した濃度勾配方向ベクトルＮ１に対応する濃度勾配方向ベクトルＮ２を有する前記投票テンプレートの境界曲線上の点を重ね、このとき投票テンプレートの投票部が位置するエッジ画像Ｐ１上の画素位置に対応する投票空間Ｐ２の投票用セルＶｐ，Ｖｑに投票してメモリに記憶し、これらのことを各エッジ画素毎に行い、投票空間の各セルの投票値を集計する。図１９は投票して集計された投票空間における投票値の分布を示す。投票処理手段は、複数種類の投票テンプレートを用いる場合、各投票テンプレート毎に設けた投票空間に対してこれらの投票及び集計処理を行う。
【００７０】
投票に際してエッジ画素列のなす曲率を利用することについて説明する。図２０は曲率中心方向と投票部の関係を示す。投票処理手段は、エッジ画像の各エッジ画素について、注目するエッジ画素ｐｘとその近傍の複数のエッジ画素からなる輪郭の曲率を求めて曲率中心の存在する方向ρを判定し、注目するエッジ画素ｐｘに対する投票に際し、曲率中心の存在する方向ρの投票部Ｖの位置に対応する投票空間の投票用セルに投票する。人画像の輪郭から生成したエッジ画素からなる輪郭の曲率中心は、人頭部の画像の濃淡モードによらず頭部画像中心方向を向くので、投票処理を有効な片側にのみ行うことができる。
【００７１】
（人存在位置検出手段と警報音発生手段）
人存在ゾーンの判定について説明する。図２１は投票が行われた各ゾーン毎の投票空間、図２２は投票空間における人検出と現実空間のゾーンとの関係を示す。人存在位置検出手段は、投票が行われた投票空間Ｐ２１，Ｐ２２，Ｐ２３で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する。図２１の場合、投票空間Ｐ２２におけるセルＣ５が人の頭部を示しているとされ、その座標ｘ２，ｙ２が同じく撮像画像上の位置座標とされる。撮像画像中に検出された人頭部、したがって検出された人の実世界における存在位置は、人頭部画像が投票空間Ｐ２２において検出されたことにより、図２２に示される検出距離範囲の区分による第２ゾーンＺＮ２とされる。この場合、撮像装置から人までの距離としてゾーン境界距離Ｌ２，Ｌ３の平均値（検出距離範囲の中央の位置）ＬＺ２＝（Ｌ２＋Ｌ３）／２が用いられる。
【００７２】
所定値以上の投票値を有する被投票セルが特定範囲内に分布している場合について説明する。図２３は投票値の山が複数の峯を持つ場合を示す。人存在位置検出手段は、図に示すように検出した所定のしきい値以上の投票値を有するセルＣ６が複数の峯を有する塊に分れている場合には、塊間の距離を調べ、該距離が所定範囲内に存在する場合には全体をグループ化して１つに統合し、統合した塊の代表点に対応する撮像画像上の位置（ｘ３，ｙ３）を人の頭部位置として検出する。所定のしきい値以上の投票値を持つセルを統合することにより、投票が分散してしまった場合でも、正しく輪郭モデルを検出し、人の頭部位置を精度良く検出することができる。
【００７３】
人存在位置検出手段は、分割された検出範囲毎に設けられた投票空間の各投票空間毎に、所定のしきい値以上の投票値を有するセルを検出し、該検出したセルに対応する画像上の位置を人の頭部候補位置として検出する。その後、人存在位置検出手段は、各分割された検出範囲ごとの投票空間で検出された頭部候補位置間の距離を調べ、該距離が所定範囲内に存在する場合にはグループ化して統合し、統合された頭部候補の代表点に対応する画像上の位置を人の頭部位置とする。各検出範囲ごとに得られた結果を統合することにより、信頼性の高い検出を行うことができる。
【００７４】
人存在位置検出手段は、人の存在位置の検出処理を撮像装置に近い側の検出範囲から遠い側の検出範囲の順に処理し、人の頭部位置が検出されると、検出された撮像画像上の位置周囲の所定の範囲は検出終了領域として記憶し、撮像装置から遠い側の検出範囲の処理を行う場合に、該検出終了領域は検出処理を行わないこととしてもよい。撮像画像上で頭部が大きく投影されることになる、撮像装置から近い側の検出距離範囲の処理を行って頭部が検出されると、撮像画像におけるその部分では、より遠方の人は、検出された画像の背後となるため人検出の可能性はなく、検出を止めることにより処理量を減らして高速な処理を実現することができる。
【００７５】
検出距離範囲と警報音発生について説明する。図２４は警報音発生手段の処理フローを示す。警報音発生手段は、各ゾーンごとの距離と緊急性に基づく動作として、第３ゾーンＺＮ３では弱い警報音（Ｓ３０２）、第２ゾーンＺＮ２では中程度の警報音（Ｓ３０４）、第１ゾーンＺＮ１では強い警報音発生（Ｓ３０６）を行う。
【００７６】
（距離センサを併用する人の存在検出装置）
距離センサと人の存在位置検出装置との組合せについて説明する。図２５は検出装置のブロック構成を示す。人の存在位置検出装置に距離センサを併用することで、より効率的な動作を実現することができる。撮像装置２の近傍、例えばその上部に縦に並べて設置した距離センサ１０により物体までの距離が計測される。その計測結果に基づきゾーン選択手段１１で、各ゾーンＺＮ１，ＺＮ２，ＺＮ３の中から検出距離範囲が選択されると共に、頭部画像のサイズを決定される。決定された頭部画像サイズに対応する投票テンプレートを用いて、選択されたゾーンについてのみ投票空間を生成し、以降の投票等の処理が進められる。投票による人存在位置検出処理の回数は、通常、（ゾーン数）×（頭部形状数）×（頭部姿勢数）回必要であるが、距離センサを用いることによって、（頭部形状数）×（頭部姿勢数）回となり、１／（ゾーン数）に処理回数を減らすことができる。このような処理を行うために、投票テンプレート準備手段は、予め撮像装置から人までの距離毎に投票テンプレートのデータを保管し、投票処理手段は、検出対象までの距離を測定する距離センサの距離測定結果に基づいて前記投票テンプレートのデータを参照して投票テンプレートを設定して投票する。撮像装置から人までの距離を距離センサにより求めた上で、画像上で検出する頭部のサイズを限定して検出を行うので、信頼性の高い検出を行うことができる。
【００７７】
（自律移動装置の移動制御）
人の存在位置検出装置の自律移動装置への適用について説明する。図２６は当該自律移動装置の外観図、図２７はそのブロック構成を示す。自律移動装置１２は、障害物や人Ｍ１，Ｍ２，Ｍ３を検知し、障害物や人に対して回避・停止や警報音発生等を行いながら自らその移動を制御しつつ、物品搬送や人の引率等を行う装置である。自律移動装置１２は、前方に撮像装置２ａと人の存在位置検出装置本体１ａ、後方に撮像装置２ｂと人の存在位置検出装置本体１ｂを備えている。前方及び後方の人の存在位置検出装置本体１ａ、１ｂからの人検出結果の出力は、走行経路計画部１０１、車輪駆動制御部１０２に伝えられ、モータドライバ１０３により駆動モータ１０４が駆動されて、自律移動の動作が行われる。また、駆動モータ１０４の回転数がエンコーダ１０５により計測され、移動距離計測部１０６により走行距離及び走行速度が求められて車輪駆動制御部１０２にフィードバックされる。
【００７８】
（人存在方向の検出）
検出した人の存在方向決定について説明する。図２８はその決定方法を示す。人存在位置検出手段は、検出した撮像画像上の頭部の位置ｂ及び撮像装置の焦点距離ｆにより撮像装置２に対する人存在位置方向の角度φ＝ａｒｃｔａｎ（ｂ／ｆ）を求める。人の頭部位置検出に使用した投票空間（距離によって形状モデルのサイズが定まり、投票テンプレート及び対応する投票空間が定まっている）に対応する人の検出距離範囲の中央の位置、例えば人Ｍの検出された第３ゾーンＺＮ３に対しＬＺ３＝（Ｌ３＋Ｌ４）／２、を撮像装置から人までの距離と推定する。このように、人Ｍの方向（角φ）と人までの距離（距離ＬＺ３）とにより、実世界における撮像装置に対する人の位置を求めることができる。
【００７９】
（人存在マップ、人接近・遠ざかり、及び追跡）
ゾーン（人検出距離範囲）間の人移動検出について説明する。図２９は人存在位置の時間経過の例を示す。人存在位置検出手段は、撮像装置の視線方向の空間を撮像装置から所定の距離毎に、例えば遠距離の第３ゾーンＺＮ３、中距離の第２ゾーンＺＮ２、近距離の第１ゾーンＺＮ１に分けて、各ゾーン内での人の有無状態について前回検出時刻ｔ＝Ｔ（−１）における検出結果と、次の検出時刻ｔ＝Ｔ（０）における検出結果と、その後の検出時刻ｔ＝Ｔ（＋１）などのように、人の存在位置を時系列的に比較して人の実世界での移動を判定する。図２９に示した例では、現在検出した人が属するゾーンＺＮ１が前回検出した人が属するゾーンＺＮ２よりも近いゾーンであるため人が近づいていると判定される。また、その後の時刻ｔ＝Ｔ（＋１）に検出した人が属するゾーンＺＮ２が現在検出した人が属するゾーンＺＮ１がよりも遠いゾーンであるため、人が遠ざかっていると判定される。また、現在検出した人が属するゾーンと前回検出した人が属するゾーンが同じときは人が止まっていると判定される。なお、検出された人の同一性の同定、いわゆる追跡については後述される。
【００８０】
実世界における人存在マップについて説明する。図３０は人存在マップの意味付けを示す。人存在位置検出手段は、撮像装置２の位置を基準に、撮像装置２の視線方向の空間を複数の、例えば１５×９の、エリアに分割した人存在マップ３０を作成し、各エリアを、人を検出したエリア３１と、人がいないエリア３２と、未確認のエリア３３とに分類して人の存在位置を検出する。このような人存在マップ３０は、実世界において、例えば、自律移動装置を制御する時に人に衝突しない高度な移動制御に応用できる。
【００８１】
人存在マップを用いた人の追跡について説明する。図３１は人の追跡方法を示す。人存在位置検出手段は、上述したように人存在マップ３０を作成し、人を検出した位置を人存在マップ３０上の対応する位置Ｅ１，Ｅ２，Ｅ３に登録すると共に、検出した人の頭部の切出し画像を検出位置と関係付けして記憶する（切出し画像については後述）。そして、前回検出時刻ｔ＝Ｔ（−１）のマップと次の検出時刻ｔ＝Ｔ（０）のマップとを比較し、前回検出時点での注目する人の検出位置Ｅ１，Ｅ２，Ｅ３からそれぞれの移動可能な範囲ＡＲ１，ＡＲ２，ＡＲ３内に検出した現時点における人及びその検出位置Ｆ１，Ｆ２，Ｆ３を対応付けの候補とする。位置Ｅ１と位置Ｆ１のように対応付け候補が１つの場合には対応付けして追跡する。位置Ｅ２に対する位置Ｆ２，Ｆ３、位置Ｅ３に対する位置Ｆ２，Ｆ３のように対応付け候補が複数ある場合には、前回検出時点における人の検出位置と関係付けして記憶した頭部の切出し画像と、対応付け候補とされる人の頭部の切出し画像との画像相関を計算し、相関度の一番高い対応付け候補の人及びその検出位置を正しい対応付けとして追跡する。
【００８２】
（検出した位置の頭部画像の検証）
撮像画像からの検出人頭部画像の切出しについて悦明する。図３２は頭部画像の切出しを示す。人存在位置検出手段は、検出した撮像画像Ｐ０上の頭部位置に頭部をモデル化した形状を投影して得られる投影像のサイズ（頭部幅ｄ、頭部高ｈ）の画像を切り出す。切り出された画像４０は、明るさ・大きさで正規化され、予め記憶した頭部・非頭部のデータと比較され、頭部の検出が検証される。投影像のサイズｄ，ｈは次のようにして求められる。人存在位置検出手段では、各検出距離範囲に対応する投票空間毎に、所定のしきい値以上の投票値を持つセルを検出し、検出したセルに対応する撮像画像Ｐ０上の位置を人の頭部位置候補として検出する。人の頭部候補が検出された投票空間に対応する検出距離の範囲の中央の位置が撮像装置から人候補までの距離、また、そのゾーン番号が人候補のいるゾーンの番号として出力される。例えば前出の図２に示されるように第３ゾーンＺＮ３に人候補が存在する場合、人候補の検出範囲は撮像装置から近い側がＬ３、遠い側がＬ４であり、したがって、撮像装置から人候補までの距離はＬＺ３＝（Ｌ３＋Ｌ４）／２とされる。また、頭部画像サイズは、ｄ＝ｆ・Ｄ／ＬＺ３、ｈ＝ｆ・Ｈ／ＬＺ３となる。ここで、Ｄ，Ｈは検出に用いられた形状モデルの頭部標準サイズである。
【００８３】
（パターン認識）
頭部標準画像と切出し画像とのパターンマッチングについて説明する。図３３は頭部パターン空間、図３４は頭部画像のパターン認識フローを示す。頭部画像のパターン認識を行うことで、検出した人の同一性判断とその人の移動追跡が可能となる。また、過誤検出防止が可能となる。頭部画像のパターン認識は、図３３に示される予めメモリに学習保存したｎ次元パターン空間における頭部パターン部分空間ＨＳ０と頭部画像とを比較して行われる。まず、撮像エリアＡＲにおけるゾーン番号ｍの検出距離範囲に対応する投票空間が処理の対象として選択される（Ｓ４０１）。投票空間の投票セルにおいて、所定しきい値以上の投票値がなければ次のセルの評価に進み（Ｓ４０２でＮｏ）、所定しきい値以上の投票値があれば、そのセルにおいて人候補を検出したとして、人候補までの実世界における距離ＬＺｍ＝（Ｌ（ｍ＋１）＋Ｌ（ｍ））／２を計算する（Ｓ４０３）。次に、頭部画像サイズ、幅ｄ＝ｆ・Ｄ／ＬＺｍ、高さｈ＝ｆ・Ｈ／ＬＺｍを計算する（Ｓ４０４）。得られた頭部画像サイズｄ，ｈで頭部画像が撮像画像から切り出される（Ｓ４０５）。
【００８４】
続いて、切り出された頭部画像をｎ次元パターン空間に移行するために正規化が行われる。正規化は、画像の大きさを予め決めた頭部標準画像サイズｄｎ，ｈｎに、画像濃度について濃度平均値と濃度分散値を予め決めた頭部標準画像サイズ内画素の濃度平均値Ａｖと濃度分散値Ｖａｒになるように行われる（Ｓ４０６）。正規化された頭部画像の各画素の値をベクトルの要素としてｎ（ｎ＝ｄｎ×ｈｎ）次元のベクトルを作成し、これを正規化頭部画像ベクトルＶｈｎとする（Ｓ４０７）。次に、ｎ次元パターン空間において、正規化された頭部画像ベクトルＶｈｎが占める位置を調べ（Ｓ４０８）、予め多くの既知の正規化された頭部画像及び非頭部画像を用いてｎ次元のベクトル空間中に設けられた部分空間のうち、頭部パターン部分空間に正規化された頭部画像ベクトルＶｈｎが含まれるか否かを調べる（Ｓ４０９）。頭部パターン部分空間に正規化された頭部画像ベクトルＶｈｎが含まれていれば（Ｓ４０９でＹｅｓ）、切出し画像を人頭部画像と判定し（Ｓ４１０）、頭部画像位置ＬＺｍを出力する（Ｓ４１１）。頭部パターン部分空間に正規化された頭部画像ベクトルＶｈｎが含まれていなければ（Ｓ４０９でＮｏ）、切出し画像は人頭部画像でないと判定する（Ｓ４１２）。以上の処理が全セルについて行われた後（Ｓ４１３）、次のゾーン番号（ｍ＋１）に対応する投票空間の処理が行われる（Ｓ４１４）。なお、ステップＳ４０３とＳ４０４はステップＳ４０１の直後に１回だけ処理するようにしてもよい。
【００８５】
（平均値、分散値）
頭部画像の濃度平均値と分散値を用いた判定ついて説明する。図３５は同判定のフローを示す。切り出された頭部画像の平均値Ａｖｘと分散値Ｖａｒｘと予め計算しておいた既知の頭部画像の平均値Ａｖと分散値Ｖａｒと比較する（Ｓ５０１）。切り出された頭部画像の平均値Ａｖｘと分散値Ｖａｒｘが所定の許容範囲α、β内、つまり、
Ａｖ−α＜Ａｖｘ＜Ａｖ＋α
Ｖａｒ−β＜Ｖａｒｘ＜Ｖａｒ＋β
のときに、切り出された画像は頭部画像であると判定する（Ｓ５０２でＹｅｓ、Ｓ５０３）。このように、切り出された画像の明度の平均値・分散値を求め、これらの平均値・分散値と、予め設定した平均値・分散値のしきい値とを比較することにより、頭部の検出を検証することで、信頼性の高い頭部位置の検出ができる。
【００８６】
（肌色）
頭部画像の肌色を用いた判定について説明する。図３６は同判定のフローを示す。また、別の検証方法として、切り出された画像中に占める肌色画素の割合Ｓｘと、予め求めておいた正面を向いた顔画像中に占める肌色画素の割合Ｓｋと比較する（Ｓ６１）。肌色画素の割合Ｓｘが所定の共用範囲γ内、つまり、
Ｓｋ−γ＜Ｓｘ＜Ｓｋ＋γ
のときに、切り出された画像は正面向きの頭部画像であると判定する（Ｓ６０２でＹｅｓ、Ｓ６０３）。このように、検出された頭部の画像を、切出された画像に含まれる肌色の割合を使って頭部かどうか検証することにより、信頼性の高い頭部位置の検出ができる。
【００８７】
（頭部の向きの検出）
頭部パターン空間を用いた正面向き頭部でない頭部の検出について説明する。図３７は頭部パターン空間を示す。前述のように、正規化された頭部画像の各画素の値をベクトルの要素としてｎ（ｎ＝ｄｎ×ｈｎ）次元のベクトルを作成し、これを正規化頭部画像ベクトルＶｈｎとする。予め、多くの既知の正規化された正面頭部画像、左向き頭部画像、右向き頭部画像および非頭部画像を使って、ｎ次元のベクトル空間中で正面頭部パターン部分空間ＨＳ０、左向き頭部パターン部分空間ＨＳＬ、右向き頭部パターン部分空間ＨＳＲを学習しておき、人頭部検出時には、正規化された頭部画像ベクトルＶｈｎが、いずれかの頭部パターン空間内に入るか否かで、切り出された頭部画像が確かに人の頭部かどうかの検証及び、頭部の向きの識別を行う。人の頭部であると検証されたとき、撮像画像上のこの頭部位置を撮像画像上の人の位置として出力すると共に、頭部の向きも出力する。
【００８８】
（頭部の向きの決定）
頭部パターン空間を用いた頭部の向きの判定について説明する。図３８は頭部パターン空間、図３９は頭部画像の例を示す。人存在位置検出手段は、前記頭部の向きとして複数の候補が出力される時、前記切出した画像を予め決めた複数の小画像に分割し、分割した各小画像間の濃度分布の違いにより頭部の向きを決定する。図３８に示すように、上述した頭部向き毎の頭部パターン部分空間ＨＳ０，ＨＳＬ，ＨＳＲが重なり、さらに、正規化頭部画像ベクトルＶｈｎが重なる空間に存在することになり、異なる頭部向きが同時に頭部向き候補として出力される場合がある。このような場合でも正しい頭部の向きを識別できるように、図３９（ａ）に示すように、切り出した頭部画像４０の中央に分割線４１を引き、この分割線の両側の領域４２、４３について、各領域の濃度の総和の比を比較する。分割線左側の濃度の総和をＳＬ，同右側の濃度の総和をＳＲ、判定しきい値をｔｈ１，ｔｈ２として、
ｔｈ１≦ＳＬ／ＳＲ の場合は、右向き
ｔｈ２＜ＳＬ／ＳＲ＜ｔｈ１ の場合は、正面向き
ＳＬ／ＳＲ≦ｔｈ２ の場合は、左向き
であるとして頭部向きを判定する。
【００８９】
（人の存在及びその位置を検出する方法）
撮像装置で撮像した撮像画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する方法について説明する。図４０は同検出方法のフローを示す。まず、投票テンプレート準備過程において投票テンプレートの準備が行われる（Ｓ７０１）。この投票テンプレート準備過程では、▲１▼人の頭部画像の形状を近時した外側に凸な曲線で囲まれる図形の形状モデルが準備され、▲２▼撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基いて撮像画像上における人の頭部画像の輪郭の大きさが推定され、▲３▼前記形状モデルの標準サイズ及びサイズ範囲が決められる。また、▲４▼標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向が定義され、▲５▼該形状モデルの内部に代表点が定義され、▲６▼該代表点に該形状モデルの標準サイズに対応する投票部が備えられる。さらに、▲７▼形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部が備えられる。▲８▼また、濃度反転した頭部画像に対応するための投票部を形状モデルの境界曲線上の外部にも備えて、形状モデルの内部と外部の一対の投票部とすることもできる。このようにして、検出が想定される人の検出距離範囲及び人頭部の形状モデル毎に、標準サイズの形状モデルが準備され、そのそれらの標準形状モデルに濃度勾配方向と複数の投票部を備えた投票テンプレートが作成され、参照可能にメモリに記憶・準備される。
【００９０】
また、投票空間生成過程において、撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間が生成されメモリに記憶される（Ｓ７０２）。
【００９１】
次に、撮像画像データ記憶過程において、撮像装置から入力されデジタル化された撮像画像がメモリに記憶される（Ｓ７０３）。次に、エッジ画像データ生成過程において、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部が微分処理により抽出され、所定の微分強度以上となる画素がエッジ画素として抽出されると共に、撮像画像から算出された濃度勾配方向が、抽出された各エッジ画素毎に付加されてエッジ画像が生成される（Ｓ７０４）。
【００９２】
次に、投票処理過程において、▲１▼準備された投票テンプレートの内のまず１つが選択され、▲２▼エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する投票テンプレートの境界曲線上の点が重ねられ、▲３▼このとき投票テンプレートの投票部が位置する投票空間の投票用セルに投票されメモリに記憶される。▲４▼全てのエッジ画素について投票処理が行われる。次に、▲５▼他の投票テンプレートが選択され、その投票テンプレートに対応する投票空間に前記と同じ投票処理が行われる。▲６▼このような投票処理が、全ての投票テンプレートについて行われる。また、各投票に際し、投票空間の各セルの投票値が集計される（Ｓ７０５）。
【００９３】
次に、人存在位置検出過程において、▲１▼投票が行われた各投票空間で所定のしきい値以上の投票値を有するセルが検出され、▲２▼所定量の投票値が検出されたセルに対応する撮像画像上の位置が撮像画像上における人の頭部位置として検出される（Ｓ７０６）。
【００９４】
上述の一連の人の存在位置検出過程が終了した後、再度検出を行う場合（Ｓ７０７でＮｏ）、ステップＳ７０３から上記過程が繰り返して行われる。
【００９５】
この方法は、従来の着目するエッジ画素の全方向に亘って投票を行うハフ変換の投票処理と異なり、各エッジ画素の片側方向の領域にのみ若しくは両側方向の領域のみについて投票を行うため、処理量が少なく高速な処理を実現することができる。撮像装置から特定の範囲内の人の頭部の大きさのみを検出対象とするため、信頼性の高い人の頭部検出を行うことができる。
【００９６】
なお、本発明は、上記構成に限られることなく種々の変形が可能である。例えば、上記説明では、投票空間の投票セルと撮像画像及びエッジ画像の画素は１対１に対応しているとしているが、１つの投票セルに複数の画素を対応させるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の一実施形態による人の存在位置検出装置のブロック構成図。
【図２】同装置を応用したエリアセンサの概念図。
【図３】同装置の撮像画像データ記憶手段の処理フロー図。
【図４】（ａ）は撮像画像図、（ｂ）は同エッジ画像図。
【図５】本発明の一実施形態によるエッジ画像データ生成手段におけるフロー図。
【図６】撮像画像の座標図。
【図７】（ａ）は３×３画素局所ウインドウの図、（ｂ）はｘ方向微分オペレータの図、（ｃ）はｙ方向微分オペレータ図。
【図８】（ａ）〜（ｄ）は本発明の一実施形態による人頭部の形状モデルを示す図。
【図９】実世界の人と画像中の人との寸法関係を示す図。
【図１０】（ａ）（ｂ）は本発明の一実施形態による投票テンプレートの図。
【図１１】（ａ）は濃度勾配方向を説明する図、（ｂ）（ｃ）は本発明の一実施形態による投票テンプレートの図。
【図１２】本発明の一実施形態による投票テンプレートの図。
【図１３】本発明の一実施形態による投票テンプレートの図。
【図１４】（ａ）（ｂ）は本発明の一実施形態による投票テンプレートの投票部の座標を示す図。
【図１５】本発明の一実施形態による投票テンプレート表の図。
【図１６】本発明の一実施形態による投票テンプレート表の図。
【図１７】本発明の一実施形態による形状モデルの種類を示す図。
【図１８】（ａ）は本発明の一実施形態によるエッジ画像図、撮像空間、投票空間の関係図、（ｂ）はエッジ画像の図、（ｃ）は投票空間の図。
【図１９】本発明の一実施形態による投票空間における投票値の分布図。
【図２０】（ａ）（ｂ）は本発明の一実施形態による曲率半径方向と投票部の関係を示す図。
【図２１】本発明の一実施形態による投票後のゾーン毎の投票空間の図。
【図２２】本発明の一実施形態による現実空間のゾーンの図。
【図２３】投票値の山が複数の峯を持つ場合を示す図。
【図２４】本発明の一実施形態による警報音発生手段の処理フロー図。
【図２５】本発明の一実施形態による検出装置のブロック構成図。
【図２６】本発明の一実施形態による自律移動装置の外観図。
【図２７】同上自律移動装置ののブロック構成図。
【図２８】本発明の一実施形態による撮像装置と人の存在方向決定を説明する図。
【図２９】本発明の一実施形態による人存在位置の時間経過を示す図。
【図３０】本発明の一実施形態による人存在マップ図。
【図３１】（ａ）（ｂ）は本発明の一実施形態による人存在マップ図。
【図３２】（ａ）は撮像画像図、（ｂ）は切出し頭部画像図。
【図３３】ｎ次元パターン空間の図。
【図３４】本発明の一実施形態による頭部画像のパターン認識フロー図。
【図３５】本発明の一実施形態によるは頭部画像判定のフロー図。
【図３６】本発明の一実施形態によるは頭部向き判定のフロー図。
【図３７】ｎ次元パターン空間の図。
【図３８】ｎ次元パターン空間の図。
【図３９】（ａ）〜（ｂ）は頭部画像の図。
【図４０】本発明の一実施形態による人の存在位置検出方法のフロー図。
【符号の説明】
１ 人の存在位置検出装置本体
２ 撮像装置
３ 撮像画像データ記憶手段
４ エッジ画像データ生成手段
５ 投票処理手段
６ 投票テンプレート準備手段
７ 投票空間生成手段
８ 人存在位置検出手段
９ 警報発生手段
１２ 自律移動装置
３０ 人存在マップ
３１ 人を検出したエリア
３２ 人がいないエリア
３３ 未確認のエリア
Ｇ 代表点
Ｐ，Ｑ 共役点
Ｐ０ 撮像画像
Ｐ１ エッジ画像
Ｐ２ 投票空間
ｒ 代表点方向線
Ｔ 投票テンプレート
Ｔ１〜Ｔ４ 形状モデル
Ｖ，Ｖｐ，Ｖｐ０〜Ｖｐ８、Ｖｑ０〜Ｖｑ８ 投票部
ＶＣ 投票セル
Ψ，Φ 濃度勾配方向
【発明の属する技術分野】
本発明は、ヒューマンマシンインターフェイス、パーソナルロボット、画像監視、自律移動装置等における、画像から人をコンピュータにより自動的に検出する方法に関する。
【０００２】
【従来の技術】
従来、画像からコンピュータにより人を自動的に見つける方法として、動きのある部分を人とみなして検出する方法、人を代表する部分である顔や頭部を肌色や顔部品により検出して人を検出する方法がある。前者の例として、予め作成した背景画像と入力される画像との差分を取ることにより変化した部分を人として検出するものがある（例えば、特許文献１参照）。後者の例として、顔を楕円としてモデル化し、楕円検出による顔検出するものがある（例えば、特許文献２参照）。また、頭部を円としてモデル化し、円形状検出による頭部検出を行うものがある（例えば、特許文献３参照）。
【０００３】
【特許文献１】
特開平１１−３１１６８２号公報
【特許文献２】
特開平１１−１８５０２６号公報
【特許文献３】
特開２００１−２２２７１９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した文献１に示されるような検出方法においては、画像上の明度の大きく変化した領域を人とするため、光が差し込んできて明度が変化する場合や、椅子などの物が移動する場合も人として検出してしまう問題がある。また、文献２に示されるような検出方法においては、様々な場面において肌色を安定して検出することは難しく、また、肌色領域を楕円に当てはめて正しいのは正面の時であるので斜め向きの場合は検出が難しく、さらに、後ろ向きの場合は頭部を検出することができないという問題がある。また、文献３に示されるような検出方法においては、投票に使用するテンプレートの形状が同心円状であるため、検出に寄与しない投票が多く、処理時間が無駄になると共に、偽の投票値のピークが作られて誤検出が発生するという問題がある。
【０００５】
本発明は、上記課題を解消するものであって、簡単な構成により画像から高速に人の検出を行うと共に、画像世界に対する実世界における、撮像装置から人までの概略の位置を求めることができる人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置を提供することを目的とする。
【０００６】
【課題を解決するための手段及び発明の効果】
上記課題を達成するために、請求項１の発明は、撮像装置で撮像した画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する装置において、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備手段と、撮像装置から入力された画像をデジタル化し、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶手段と、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成しメモリに記憶するエッジ画像データ生成手段と、前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成手段と、前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理手段と、投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出手段と、を備えた人の存在位置検出装置である。
【０００７】
上記構成においては、撮像画像上において人の位置を人の頭部の位置で代表させ、人の頭部の形状を簡単な図形でモデル化した投票テンプレートであって検出距離の範囲に幅を持たせるため線分状の複数の投票部を備えることとした投票テンプレートを用いて、撮像画像から得たエッジ画像上のエッジ画素毎に投票処理を行うので、頭部形状やサイズの変動を吸収して頭部形状を確実に検出できる。また、エッジ画像の各エッジ画素に濃度勾配方向の情報をもたせて、各エッジ画素の濃度勾配方向で定まる投票部にのみ投票するので、画像中から円形状曲線を検出する、いわゆる円検出用ハフ（Ｈｏｕｇｈ）変換のような、全方向にわたる投票処理を行わなう必要がなく、人検出のための投票処理数を少なくでき、人の頭部形状を高速に検出できる。
【０００８】
請求項２の発明は、請求項１記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、前記標準サイズの形状モデルの境界曲線上の各点に対し、該点に定義した濃度勾配方向と逆方向の濃度勾配方向を有する前記境界曲線上の点を互いに共役な共役点として定義し、互いに共役な点の一方が前記形状モデルの内部に有する投票部と同じ相対位置関係を保って、前記互いに共役な点の他方が前記形状モデルの外部にさらに投票部を備えたものである。
【０００９】
上記構成においては、人頭部における画像濃度が反転した画像に対し、同時に投票処理できるように、互いに共役な投票部を投票テンプレートに備えるので、一通りの投票処理で画像濃度が反転した二通りの人頭部画像に対する投票ができ、前述の効果に加え、さらに安定して確実な検出を高速に行うことができる。
【００１０】
請求項３の発明は、請求項１記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、前記人の頭部画像の形状を近似する外側に凸な曲線として円又は楕円からなる形状モデルを用いたものである。
【００１１】
上記構成においては、人頭部の形状モデルが点対称であるので、投票テンプレート上の投票部の位置も投票テンプレートの中心について対称となり、投票部の位置を片側だけ記憶すればよく、投票処理のためのデータの記憶量を減らすことができる。
【００１２】
請求項４の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票処理手段は、エッジ画像の各エッジ画素について、注目するエッジ画素とその近傍の複数のエッジ画素からなる輪郭の曲率を求めて曲率中心の存在する方向を判定し、前記注目するエッジ画素に対する前記投票に際し、前記曲率中心の存在する方向の投票部位置に対応する投票空間の投票用セルに投票するものである。
【００１３】
上記構成においては、曲率中心のある側のみの投票処理で済むので、さらに効率的に人の頭部を抽出でき、人の存在位置を高速に検出することができる。なお、必要な輪郭の曲率を求める演算は、投票処理の最初の一回だけである。
【００１４】
請求項５の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、投票テンプレートの代表点近傍であって前記代表点方向線の両側にさらに投票部を備えたものである。
【００１５】
上記構成においては、エッジ付近の濃度勾配方向が変動しても、代表点両側近傍にも投票部を備えたので、このような幅を持たせた投票部への投票により投票位置の変動を吸収して形状モデルの中心近傍に投票することができ、信頼性の高い検出を行うことができる。
【００１６】
請求項６の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、形状モデルの境界曲線上の各点に対する投票部の相対位置を、該各点における濃度勾配方向をインデックスとして、表形式でメモリに記憶するものである。
【００１７】
上記構成においては、投票テンプレートの投票部の位置を予め表形式でメモリに記憶しているので、投票処理時にはこの表を参照して投票位置を求めればよいため、投票のための計算が少なく高速な処理が実現できる。
【００１８】
請求項７の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、予め撮像装置から人までの距離毎に投票テンプレートのデータを保管し、前記投票処理手段は、検出対象までの距離を測定する距離センサの距離測定結果に基づいて前記投票テンプレートのデータを参照して投票テンプレートを設定し、投票するものである。
【００１９】
上記構成においては、撮像装置から人までの距離を距離センサにより求めた上で、画像上で検出する頭部のサイズを限定して検出を行うので、信頼性の高い検出を高速に行うことができる。
【００２０】
請求項８の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記人存在位置検出手段は、検出した所定のしきい値以上の投票値を有するセルが複数の塊に分れている場合には、塊間の距離を調べ、該距離が所定範囲内に存在する場合にはグループ化して統合し、統合された塊の代表点に対応する撮像画像上の位置を人の頭部位置として検出するものである。
【００２１】
上記構成においては、所定のしきい値以上の投票値を持つセルを統合することにより、投票が分散している場合でも、形状モデルを検出して人の頭部位置を精度良く検出することができる。
【００２２】
請求項９の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、撮像装置から検出対象とする人までの検出距離範囲を任意に複数設定して検出距離範囲毎の形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備し、前記投票空間生成手段は、前記検出距離範囲毎に投票空間を生成し、前記投票処理手段は、各検出距離範囲に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、前記人存在位置検出手段は、各検出距離範囲に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させるものである。
【００２３】
上記構成においては、撮像装置から遠近方向に多くの人候補が存在する中で、特定の距離範囲にいる人候補のみ選択して検出処理を行うことができる。
【００２４】
請求項１０の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、形状モデルのサイズ範囲が所定値以上の場合、該サイズ範囲が所定値以下となるように人の検出距離範囲を分割し、該分割された範囲毎に形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを持ち、前記投票空間生成手段は、該分割された検出距離範囲毎に投票空間を生成し、前記投票処理手段は、該分割された検出距離範囲毎に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、前記人存在位置検出手段は、該分割された検出距離範囲毎に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させるものである。
【００２５】
上記構成においては、人の存在する範囲が遠近方向に広い場合、人の存在する範囲を分割して形状モデルのサイズ範囲を所定値以下とすることとしたので、特定の大きさの頭部のみを検出することができ、誤検出の発生を抑制して検出精度を高くすることができる。
【００２６】
請求項１１の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、人の頭部形状を同一の形状モデルで姿勢が異なる複数の形状で近似し、各姿勢の形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該姿勢の形状毎に投票空間を生成し、前記投票処理手段は、該姿勢の異なる形状毎に投票空間上の各セルに投票処理を行うものである。
【００２７】
上記構成においては、姿勢の異なる複数の形状モデルを準備することとしたので、傾いた頭部にも区別して対処でき、精度の高い人検出をすることができる。
【００２８】
請求項１２の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、人の頭部形状を異なる複数の形状モデル形状で近似し、各形状モデルの形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該形状モデルの形状毎に投票空間を生成し、前記投票処理手段は、該形状モデル毎に投票空間上の各セルに投票処理を行うものである。
【００２９】
上記構成においては、複数の形状モデルとそれらに対応する投票テンプレートと投票空間を備えることとしたので、異なる形状モデルを使用して人検出ができ、様々な頭部形状の検出をすることができる。
【００３０】
請求項１３の発明は、請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記検出した撮像画像上の頭部位置に頭部をモデル化した形状を投影して得られる投影像のサイズの画像を切出すものである。
【００３１】
上記構成においては、撮像画像上の頭部サイズ毎に頭部画像の切り出しを行っているので、不要な背景部分の面積が少ない適切な大きさの切出し頭部画像が得られる。
【００３２】
請求項１４の発明は、請求項１３記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記切出した画像を、予め頭部の向き毎に分類して記憶した頭部データと比較することにより、頭部の向きを識別して検出するものである。
【００３３】
上記構成においては、検出された頭部画像を、頭部の向き毎にパターン認識できるので、頭部の位置と共に、頭部の向きも知ることができる。
【００３４】
請求項１５の発明は、請求項１４記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記頭部の向きとして複数の候補が出力される時、前記切出した画像を予め決めた複数の小画像に分割し、分割した各小画像間の濃度分布の違いにより頭部の向きを決定するものである。
【００３５】
上記構成においては、切出された頭部画像の濃度分布をより詳細に調べることができるので、頭部の向きを精度よく決定することができる。
【００３６】
請求項１６の発明は、請求項９記載の人の存在位置検出装置において、前記人存在位置検出手段は、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を、撮像装置から人までの距離と推定するものである。
【００３７】
上記構成においては、撮像画像中での人の位置の検出だけでなく、実世界における、撮像装置から人までの距離を推定することができる。
【００３８】
請求項１７の発明は、請求項９記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記検出した撮像画像上の頭部の位置及び撮像装置の焦点距離により撮像装置に対する人存在位置方向を求め、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を撮像装置から人までの距離と推定し、人の方向と人までの距離とにより、撮像装置に対する人の位置を求めるものである。
【００３９】
上記構成においては、撮像画像中での人の位置の検出だけでなく、実世界における、撮像装置から人までの距離及びその方角が分かる。
【００４０】
請求項１８の発明は、請求項９又は請求項１６に記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置の視線方向の空間を撮像装置から所定の距離毎にゾーン分けし、各ゾーン内での人の有無状態について前回検出時の結果と現在の検出結果とを比較し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも近いゾーンのときは人が近づいていると判定し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも遠いゾーンのときは人が遠ざかっていると判定し、現在検出した人が属するゾーンと前回検出した人が属するゾーンが同じときは人が止まっていると判定するものである。
【００４１】
上記構成においては、撮像装置から所定の距離毎にゾーン分けして、各ゾーンにおける人の有無の比較により、人が撮像装置に向かって近付いて来ているのか、遠ざかっているのかの人の動きを知ることができる。
【００４２】
請求項１９の発明は、請求項１７記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、各エリアを、人を検出したエリアと、未確認のエリアと、人が居ないエリアに分類して人の存在位置を検出するものである。
【００４３】
上記構成においては、人の存在マップを作成し、実世界における人を検出したエリア、未確認のエリア、人がいないエリアを区別して撮像装置からの人の存在を知ることができるので、人に衝突しない高度な移動制御を行う自律移動装置の制御に応用できる。
【００４４】
請求項２０の発明は、請求項１７記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、人を検出した位置を該マップ上の対応する位置に登録すると共に、該検出した人の頭部の切出し画像を検出位置と関係付けして記憶し、前回検出時点のマップと現時点のマップとを比較し、前回検出時点での注目する人の検出位置から移動可能な範囲内に検出した現時点における人及びその検出位置を対応付けの候補とし、対応付け候補が１つの場合には対応付けして追跡し、対応付け候補が複数ある場合には、前回検出時点における人の検出位置と関係付けして記憶した頭部の切出し画像と、対応付け候補とされる人の頭部の切出し画像との画像相関を計算し、相関度の一番高い対応付け候補の人及びその検出位置を正しい対応付けとして追跡するものである。
【００４５】
上記構成においては、検出した人を識別して追跡するので、人の動きを正確に知ることができる。
【００４６】
請求項２１の発明は、撮像装置で撮像した撮像画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する方法において、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備過程と、撮像装置から入力され、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶過程と、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成するエッジ画像データ生成過程と、前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成過程と、前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理過程と、投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出過程と、を備えた人の存在位置検出方法である。
【００４７】
上記検出方法においては、人の位置を人の頭部の位置で代表させ、人の頭部モデルとして円または楕円など外側に凸な曲線で囲まれる簡単な図形の形状モデルを用い、いわゆるハフ変換により人の頭部を検出するので、簡単な投票処理によって人の存在位置検出ができる。また、ハフ変換の投票処理を、着目するエッジ画素の全方向にわたって行うことなく、注目エッジ画素における濃度勾配方向に基づきエッジ画素の両側方向のみについて行うので、投票処理量が少なく、高速な人検出処理を実現することができる。また、撮像装置から特定の検出距離範囲内の人の頭部の大きさのみを検出対象とする投票テンプレートを用いるので、検出距離の推定ができると共に撮像画像上で信頼性の高い人の頭部検出を行うことができる。
【００４８】
請求項２２の発明は、請求項１７乃至請求項１９のいずれかに記載の人の存在位置検出装置を用いて検出された人の位置情報を利用して移動の制御をする自律移動装置である。
【００４９】
上記構成においては、撮像装置を自律移動装置に搭載し、人の存在位置検出装置を用いて人を検出し、自律移動装置周辺の人の位置を認識した上で、自律移動装置を移動する制御が行えるので、人の存在に適応して人を回避する動作や人に通路を譲る退避動作を実現することができる。
【００５０】
【発明の実施の形態】
以下、本発明の一実施形態に係る人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置について、図面を参照して説明する。図１は人の存在位置検出装置のブロック構成を示す。人の存在位置検出装置は、撮像装置２で撮像した画像を人の存在位置検出装置本体１において画像処理し、人の頭部画像を抽出することにより人の存在及びその位置を検出して、その結果を例えば警報発生手段９を用いて外部に警報音として出力する。人の頭部画像を抽出する方法には一般化ハフ変換を応用した方法が用いられる。
【００５１】
人の存在位置検出処理の概要を説明する。撮像装置２から入力された画像は、撮像画像データ記憶手段３においてアナログ画像からデジタル画像にＡ／Ｄ変換された撮像画像としてメモリに記憶される。次に、エッジ画像データ生成手段４において、撮像画像が画像濃度について微分処理され、微分強度値が所定のしきい値以上の点がエッジ画素として抽出され、抽出されたエッジ画素からなるエッジ画像が生成される。生成されたエッジ画像は、各エッジ画素点における濃度勾配方向のデータが付加されてメモリに記憶される。
【００５２】
続いて、投票処理手段５では、投票テンプレート準備手段６で準備された各検出距離ごとの投票テンプレートを用いて、投票空間生成手段７で準備された投票空間に、一般化ハフ変換を応用した方法により、投票が行われる。次に、人存在位置検出手段８では、各検出距離範囲に対応する投票空間毎に、所定のしきい値以上の投票値を持つセルが検出され、検出されたセルの位置に対応する撮像画像上の位置に人頭部の存在が検出される。また、人存在位置検出手段８は、人の頭部が検出された投票空間に対応する検出距離範囲（ゾーン）の中央距離値を撮像装置から人までの距離として決定すると共に、そのゾーン番号を警報発生手段９に出力する。警報音発生手段９は、各ゾーン番号に対応した警報音を選択し警報音を発生させる。
【００５３】
このような人の存在位置検出装置は、例えばエリアセンサとして用いることができる。図２はエリアセンサの概念を示す。人の存在位置検出装置の撮像装置２の視野前方の撮像エリアＡＲが、撮像装置２の基準点Ｏからの距離Ｌ１〜Ｌ４によって複数の検出ゾーンＺＮ１，ＺＮ２，ＺＮ３に分けられる。各ゾーン毎に人が検出されたときのエリアセンサとしての動作が設定される。例えば、各ゾーン毎の距離と緊急性に基づく動作として、第１ゾーンＺＮ１では強い警報音発生、第２ゾーンＺＮ２では中程度の警報音発生、第３ゾーンＺＮ３では弱い警報音発生とすることができる。以下において、人存在位置検出装置の各構成手段毎に説明する。
【００５４】
（撮像画像データ記憶手段とエッジ画像データ生成手段）
撮像画像データ記憶手段３及びエッジ画像データ生成手段４における処理を図３乃至図７により説明する。図３は撮像画像データ記憶手段３の処理フローを示す。撮像装置２によって撮像された画像のアナログ信号がＡ／Ｄ変換され、撮像画像Ｐ０が作成され（Ｓ１０１）、メモリに記憶される（Ｓ１０２）。図４（ａ）は撮像画像Ｐ０の例を示す。
【００５５】
また、エッジ画像データ生成手段４において、撮像画像Ｐ０が微分処理され、図４（ｂ）に示すエッジ画像Ｐ１が得られる。図５はエッジ画像生成のフローを示す。微分ステップ（Ｓ２０１）を説明する。撮像画像Ｐ０は濃淡画像である。この濃淡画像から人物の外郭や顔の輪郭等に相当する画素よりなるエッジ部を抽出するための微分処理は、「エッジは濃度変化が大きい部分に対応している」という考え方を基本にしている。微分処理は、図６に示すように、撮像画像Ｐ０を３×３画素の局所並列ウインドウＷ３３によって水平方向ｘ、上下方向ｙについてそれぞれ走査して行われる。局所並列ウインドウＷ３３は、図７（ａ）に示すように、注目する画素Ｉ（ｉ，ｊ）＝ａ５と、その画素ａ５の周囲の８画素（８近傍）ａ１〜ａ４，ａ６〜ａ９とから構成される。局所並列ウインドウＷ内３３の各画素ａ１〜ａ９に対し、図７（ｂ）に示すｘ方向微分オペレータＯＰｘを作用させてｘ方向微分値Ｇｘ（ｉ，ｊ）を計算し、図７（ｃ）に示すｙ方向微分オペレータＯＰｙを作用させてｙ方向微分値Ｇｙ（ｉ，ｊ）を計算する。計算式は以下となる。ただし、以下において、引数ｉ，ｊは一部省略している。
Ｇｘ＝ａ３＋２×ａ６＋ａ９−ａ１−２×ａ４−ａ７
Ｇｙ＝ａ１＋２×ａ２＋ａ３−ａ７−２×ａ８−ａ９
これらをもとに微分強度値Ｊ（ｉ，ｊ）と濃度勾配方向Ψ（ｉ，ｊ）が次式によって求められる。
Ｊ＝ｓｑｒ（Ｇｘ×Ｇｘ＋Ｇｙ×Ｇｙ）
Ψ＝ａｒｃｔａｎ（Ｇｙ／Ｇｘ）
ここで、ｓｑｒは平方根演算、ａｒｃｔａｎは逆正接である。また、Ｇｘ又はＧｙが０のときの濃度勾配方向Ψは、Ｇｘ＝０、Ｇｙ＞０のときΨ＝９０゜、Ｇｘ＝０、Ｇｙ＜０のときΨ＝２７０゜、Ｇｙ＝０、Ｇｘ＞０のときΨ＝０゜、Ｇｙ＝０、Ｇｘ＜０のときΨ＝１８０゜である。以上の処理が微分ステップ（Ｓ２０１）で行われる。
【００５６】
続いて、各画素における微分強度値Ｊ（ｉ，ｊ）が所定のしきい値と比較され、所定のしきい値以上の微分強度値を有する画素Ｉ（ｉ，ｊ）がエッジ画素として抽出される（Ｓ２０２でＹｅｓ）。メモリ上のエッジ画素位置には濃度勾配方向Ψ（ｉ，ｊ）データが保管される（Ｓ２０３）。撮像画像Ｐ０の全ての画素について微分処理が行われた後（Ｓ２０４でＹｅｓ）、エッジ画像Ｐ１としてメモリに記憶される（Ｓ２０５）。
【００５７】
（投票テンプレート準備手段）
投票テンプレート準備手段６における処理を図８乃至図１７により説明する。図８は人頭部の形状モデルを示す。撮像画像中において人の頭部画像を抽出し、撮像画像中における人の存在及びその位置を検出するために、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似する。例えば、図８（ａ）の三角型Ｔ１、図８（ｂ）の四角型Ｔ２、図８（ｃ）の楕円型Ｔ３、図８（ｄ）の円型Ｔ４が形状モデルとして用いられる。各凸形状モデルの内部には、例えば図形の重心点に、代表点Ｇが定められている。
【００５８】
これらの形状モデルのサイズについて説明する。図９は実物人間と画像中の人との寸法関係を示す。撮像装置のレンズの焦点距離ｆと、撮像装置から検出対象とする人までの検出距離Ｌと、実世界の人頭部の標準サイズ（頭部幅Ｄと頭部高Ｈ）とに基づいて、撮像画像中の人の頭部画像の輪郭の大きさ（頭部幅ｄと頭部高ｈ）が決定される。実世界の人頭部の標準サイズにサイズ範囲と検出距離Ｌの幅を考慮して前記形状モデルの標準サイズ及びサイズ範囲が予め決定される。
【００５９】
形状モデルから作成される投票テンプレートについて説明する。図１０（ａ）（ｂ）は三角型形状モデルＴ１による投票テンプレートを示す。図１０（ａ）に示すように、標準サイズの形状モデルＴ１０を構成する境界曲線上の各点に、例えば各点における接線方向と直交する方向（法線方向）であって、形状モデルの内部（前記凸な曲線で囲まれる内部側）方向に、濃度勾配方向ベクトルＮが定義される。濃度勾配方向ベクトルＮは、例えば画像上の水平方向ｘを基準とする濃度勾配方向Ψによって特定される。また、形状モデルの内部に定められた代表点Ｇに形状モデルの標準サイズに対応する投票部Ｖｐ０が設けられる。また、図１０（ｂ）に示すように、形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線ｒの線上であって代表点Ｇの前又は後に前記サイズ範囲に対応する投票部Ｖｐ１，Ｖｐ２が設けられる。これらの投票部Ｖｐ１，Ｖｐ２は、標準サイズの形状モデルＴ１０よりも、小さい形状モデルＴ１１及び大きい形状モデルＴ１２に対しても同時に投票可能とし、標準サイズ範囲からの変動を吸収するための投票部である。このように、形状モデルに濃度勾配方向Ψと投票部Ｖｐ０，Ｖｐ１，Ｖｐ２を備えた投票テンプレートが、各標準形状モデル毎に作成されてメモリに参照可能に準備される。このような投票部は、形状モデルのサイズ範囲が大きい場合には、必要に応じて代表点方向線ｒの線上にさらに多数設けることができる。
【００６０】
明暗反転した画像に対応した投票テンプレートについて説明する。図１１及び図１２は人頭部の画像濃度が反転した場合の投票テンプレートを示す。投票テンプレートは、後述するようにエッジ画像の画素点における濃度勾配方向と投票テンプレートの濃度勾配方向とを互いに参照して用いられる。濃度勾配方向ベクトルＮは、図１１（ａ）に示すように、エッジ画像の各エッジ画素ｐｘにおいて濃度レベルの低い画像部分つまり暗い画像部分Ａ２から濃度レベルの高い画像部分つまり明るい画像部分Ａ１に向かうベクトルＮとして定義される。ところで、人頭部画像が撮像されるときの照明の具合によって、人頭部に対する濃度勾配方向が頭部内向きの場合と頭部外向きの場合が生じる。例えば、背景に対し頭部が明るい場合（撮像モードｐとする）、図１１（ｂ）に示すように濃度勾配方向ベクトルＮ１，Ｎ２は内向きとなり、背景に対し頭部が暗い場合（撮像モードｑとする）、図１１（ｃ）に示すように濃度勾配方向ベクトルＮは外向きとなる。
【００６１】
このような、２種類の頭部画像に対応できるように、投票部を設けることで人頭部検出の効率を上げることができる。その方法を説明する。標準サイズの形状モデルの境界曲線上の各点に対して、例えば図１１（ｂ）の形状モデルＴｐ上の点Ｐに定義した濃度勾配方向ベクトルＮ１と逆方向の濃度勾配方向ベクトルＮ２を有する前記境界曲線上の他の点Ｑを、互いに共役な共役点として定義する。そして、互いに共役な点の一方の点Ｑが形状モデルの内部に有する投票部Ｖｐ２と同じ相対位置関係を保って、前記互いに共役な点の他方の点Ｐが形状モデルＴｐの外部にさらに投票部を備えるようにする。このようにして、明暗反転した画像に対応した投票部を備えた投票テンプレートが図１２に示されている。濃度勾配方向Ψ、Φはそれぞれ撮像モードｐ、ｑに対する投票テンプレートの濃度勾配方向に対応し、図１１（ｂ）のＶｐ１，Ｖｐ２はそれぞれ図１２のＶｐ、Ｖｑに対応する。
【００６２】
濃度勾配方向の変動への対処について説明する。図１３は２次元的な投票部を備えた投票テンプレートを示す。投票テンプレートは、エッジ画像の画素点における濃度勾配方向と投票テンプレートの濃度勾配方向とを互いに参照して用いられるので、エッジ画素の濃度勾配方向が頭部画像における頭部輪郭から想定される本来の濃度勾配方向とずれが生じた場合に、そのずれを吸収する投票部を設けることで信頼性の高い検出ができる。そのような投票部として、図１３（ａ）に示されるように、投票テンプレートの代表点近傍であって代表点方向線ｒの両側にさらに投票部を備える。図の例の場合、形状モデルの境界曲線上の各点に対し、９つの投票部Ｖｐ０〜Ｖｐ８を形状モデルの内部に、また９つの投票部Ｖｑ０〜Ｖｑ８を形状モデルの外部に備えている。図１３（ｂ）は、追加した投票部が濃度勾配方向の変動を吸収する様子を示す。
【００６３】
投票テンプレート表について説明する。図１４は投票部の座標を示し、図１５及び図１６は投票テンプレート表を示す。投票テンプレートの濃度勾配方向と、エッジ画像の画素点における濃度勾配方向との比較参照を容易とするために投票テンプレート表を準備する。投票テンプレート表は、図１４（ａ）（ｂ）に示すように、形状モデルの境界曲線上の各点に対する投票部Ｖｐ，Ｖｑの相対位置Δｘｐ、Δｙｐ、Δｘｑ、Δｙｑ（引数省略）を、各点における濃度勾配方向Ψ、Φをインデックスとして、表形式でメモリに記憶したものである。
【００６４】
次に、形状モデルの種類とこれらの形状モデルに基づく投票テンプレートについて説明する。図１７は本発明で用いられる形状モデルの種類の例を示す。形状モデルの種類としては、前述した形状の種類Ｔ１〜Ｔ４以外に、各検出距離範囲のゾーンＺＮ１，ＺＮ２，ＺＮ３毎の標準サイズ、及び頭を傾けた左傾きと右傾きの形状モデルが用いられる。投票テンプレート準備手段は、撮像装置から検出対象とする人までの検出距離範囲を任意に複数設定して検出距離範囲毎の形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備する。投票空間生成手段は、前記検出距離範囲毎に投票空間を生成し、投票処理手段は、各検出距離範囲に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行う。また、人存在位置検出手段は、各検出距離範囲に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させる。多くの人の中から、撮像装置から特定の距離範囲に居る人のみ選択して検出することができる。
【００６５】
また、投票テンプレート準備手段は、形状モデルのサイズ範囲が所定値以上の場合、サイズ範囲が所定値以下となるように人の検出距離範囲を分割し（上記までの説明では全体の分割範囲は３つであった）、該分割された範囲毎に形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備することとし、投票空間生成手段は、該分割された検出距離範囲毎に投票空間を生成し、投票処理手段は、該分割された検出距離範囲毎に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行う。人を検出しようとする範囲が広くてサイズ範囲が大きくなった場合、形状モデルのサイズ範囲に対応して投票テンプレートの投票部が長くなり、間違った投票により偽の投票値が高いセルを作る誤検出発生の可能性が高くなる。人の存在する範囲を分割して形状モデルのサイズ範囲を所定値以下とすることにより、特定の大きさの頭部のみを検出することができ検出精度を高くすることができる。
【００６６】
また、投票テンプレート準備手段は、人の頭部形状を同一の形状モデルで姿勢が異なる複数の形状で近似し、上述の頭を傾けた左傾きと右傾きの形状モデルのように、各姿勢の形状毎に投票テンプレートを準備し、投票空間生成手段は、各姿勢の形状毎に投票空間を生成し、投票処理手段は、各姿勢の異なる形状毎に投票空間上の各セルに投票処理を行う。姿勢の異なる形状モデルごとに検出を行うため、傾いた頭部も検出することができる。
【００６７】
また、投票テンプレート準備手段は、人の頭部形状を異なる複数の形状モデル形状で近似し、各形状モデルの形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該形状モデルの形状毎に投票空間を生成し、前記投票処理手段は、該形状モデル毎に投票空間上の各セルに投票処理を行う。異なる形状モデルを使用して検出するため、様々な頭部形状の検出をすることができる。
【００６８】
（投票空間生成手段と投票処理手段）
投票空間とその生成について、及び撮像画像・エッジ画像との関係について説明する。図１８はエッジ画素及び投票セルの座標の関係を示す。投票空間生成手段は、図１８に示すように撮像画像Ｐ０及びエッジ画像Ｐ１の各画素位置と対応する位置に投票セルＶＣを有する投票空間Ｐ２を生成しメモリに記憶する。投票空間Ｐ２は投票テンプレートの種類に応じて複数生成される。
【００６９】
投票と集計処理について説明する。投票処理手段は、エッジ画像Ｐ１上の各エッジ画素上に、そのエッジ画素に付加した濃度勾配方向ベクトルＮ１に対応する濃度勾配方向ベクトルＮ２を有する前記投票テンプレートの境界曲線上の点を重ね、このとき投票テンプレートの投票部が位置するエッジ画像Ｐ１上の画素位置に対応する投票空間Ｐ２の投票用セルＶｐ，Ｖｑに投票してメモリに記憶し、これらのことを各エッジ画素毎に行い、投票空間の各セルの投票値を集計する。図１９は投票して集計された投票空間における投票値の分布を示す。投票処理手段は、複数種類の投票テンプレートを用いる場合、各投票テンプレート毎に設けた投票空間に対してこれらの投票及び集計処理を行う。
【００７０】
投票に際してエッジ画素列のなす曲率を利用することについて説明する。図２０は曲率中心方向と投票部の関係を示す。投票処理手段は、エッジ画像の各エッジ画素について、注目するエッジ画素ｐｘとその近傍の複数のエッジ画素からなる輪郭の曲率を求めて曲率中心の存在する方向ρを判定し、注目するエッジ画素ｐｘに対する投票に際し、曲率中心の存在する方向ρの投票部Ｖの位置に対応する投票空間の投票用セルに投票する。人画像の輪郭から生成したエッジ画素からなる輪郭の曲率中心は、人頭部の画像の濃淡モードによらず頭部画像中心方向を向くので、投票処理を有効な片側にのみ行うことができる。
【００７１】
（人存在位置検出手段と警報音発生手段）
人存在ゾーンの判定について説明する。図２１は投票が行われた各ゾーン毎の投票空間、図２２は投票空間における人検出と現実空間のゾーンとの関係を示す。人存在位置検出手段は、投票が行われた投票空間Ｐ２１，Ｐ２２，Ｐ２３で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する。図２１の場合、投票空間Ｐ２２におけるセルＣ５が人の頭部を示しているとされ、その座標ｘ２，ｙ２が同じく撮像画像上の位置座標とされる。撮像画像中に検出された人頭部、したがって検出された人の実世界における存在位置は、人頭部画像が投票空間Ｐ２２において検出されたことにより、図２２に示される検出距離範囲の区分による第２ゾーンＺＮ２とされる。この場合、撮像装置から人までの距離としてゾーン境界距離Ｌ２，Ｌ３の平均値（検出距離範囲の中央の位置）ＬＺ２＝（Ｌ２＋Ｌ３）／２が用いられる。
【００７２】
所定値以上の投票値を有する被投票セルが特定範囲内に分布している場合について説明する。図２３は投票値の山が複数の峯を持つ場合を示す。人存在位置検出手段は、図に示すように検出した所定のしきい値以上の投票値を有するセルＣ６が複数の峯を有する塊に分れている場合には、塊間の距離を調べ、該距離が所定範囲内に存在する場合には全体をグループ化して１つに統合し、統合した塊の代表点に対応する撮像画像上の位置（ｘ３，ｙ３）を人の頭部位置として検出する。所定のしきい値以上の投票値を持つセルを統合することにより、投票が分散してしまった場合でも、正しく輪郭モデルを検出し、人の頭部位置を精度良く検出することができる。
【００７３】
人存在位置検出手段は、分割された検出範囲毎に設けられた投票空間の各投票空間毎に、所定のしきい値以上の投票値を有するセルを検出し、該検出したセルに対応する画像上の位置を人の頭部候補位置として検出する。その後、人存在位置検出手段は、各分割された検出範囲ごとの投票空間で検出された頭部候補位置間の距離を調べ、該距離が所定範囲内に存在する場合にはグループ化して統合し、統合された頭部候補の代表点に対応する画像上の位置を人の頭部位置とする。各検出範囲ごとに得られた結果を統合することにより、信頼性の高い検出を行うことができる。
【００７４】
人存在位置検出手段は、人の存在位置の検出処理を撮像装置に近い側の検出範囲から遠い側の検出範囲の順に処理し、人の頭部位置が検出されると、検出された撮像画像上の位置周囲の所定の範囲は検出終了領域として記憶し、撮像装置から遠い側の検出範囲の処理を行う場合に、該検出終了領域は検出処理を行わないこととしてもよい。撮像画像上で頭部が大きく投影されることになる、撮像装置から近い側の検出距離範囲の処理を行って頭部が検出されると、撮像画像におけるその部分では、より遠方の人は、検出された画像の背後となるため人検出の可能性はなく、検出を止めることにより処理量を減らして高速な処理を実現することができる。
【００７５】
検出距離範囲と警報音発生について説明する。図２４は警報音発生手段の処理フローを示す。警報音発生手段は、各ゾーンごとの距離と緊急性に基づく動作として、第３ゾーンＺＮ３では弱い警報音（Ｓ３０２）、第２ゾーンＺＮ２では中程度の警報音（Ｓ３０４）、第１ゾーンＺＮ１では強い警報音発生（Ｓ３０６）を行う。
【００７６】
（距離センサを併用する人の存在検出装置）
距離センサと人の存在位置検出装置との組合せについて説明する。図２５は検出装置のブロック構成を示す。人の存在位置検出装置に距離センサを併用することで、より効率的な動作を実現することができる。撮像装置２の近傍、例えばその上部に縦に並べて設置した距離センサ１０により物体までの距離が計測される。その計測結果に基づきゾーン選択手段１１で、各ゾーンＺＮ１，ＺＮ２，ＺＮ３の中から検出距離範囲が選択されると共に、頭部画像のサイズを決定される。決定された頭部画像サイズに対応する投票テンプレートを用いて、選択されたゾーンについてのみ投票空間を生成し、以降の投票等の処理が進められる。投票による人存在位置検出処理の回数は、通常、（ゾーン数）×（頭部形状数）×（頭部姿勢数）回必要であるが、距離センサを用いることによって、（頭部形状数）×（頭部姿勢数）回となり、１／（ゾーン数）に処理回数を減らすことができる。このような処理を行うために、投票テンプレート準備手段は、予め撮像装置から人までの距離毎に投票テンプレートのデータを保管し、投票処理手段は、検出対象までの距離を測定する距離センサの距離測定結果に基づいて前記投票テンプレートのデータを参照して投票テンプレートを設定して投票する。撮像装置から人までの距離を距離センサにより求めた上で、画像上で検出する頭部のサイズを限定して検出を行うので、信頼性の高い検出を行うことができる。
【００７７】
（自律移動装置の移動制御）
人の存在位置検出装置の自律移動装置への適用について説明する。図２６は当該自律移動装置の外観図、図２７はそのブロック構成を示す。自律移動装置１２は、障害物や人Ｍ１，Ｍ２，Ｍ３を検知し、障害物や人に対して回避・停止や警報音発生等を行いながら自らその移動を制御しつつ、物品搬送や人の引率等を行う装置である。自律移動装置１２は、前方に撮像装置２ａと人の存在位置検出装置本体１ａ、後方に撮像装置２ｂと人の存在位置検出装置本体１ｂを備えている。前方及び後方の人の存在位置検出装置本体１ａ、１ｂからの人検出結果の出力は、走行経路計画部１０１、車輪駆動制御部１０２に伝えられ、モータドライバ１０３により駆動モータ１０４が駆動されて、自律移動の動作が行われる。また、駆動モータ１０４の回転数がエンコーダ１０５により計測され、移動距離計測部１０６により走行距離及び走行速度が求められて車輪駆動制御部１０２にフィードバックされる。
【００７８】
（人存在方向の検出）
検出した人の存在方向決定について説明する。図２８はその決定方法を示す。人存在位置検出手段は、検出した撮像画像上の頭部の位置ｂ及び撮像装置の焦点距離ｆにより撮像装置２に対する人存在位置方向の角度φ＝ａｒｃｔａｎ（ｂ／ｆ）を求める。人の頭部位置検出に使用した投票空間（距離によって形状モデルのサイズが定まり、投票テンプレート及び対応する投票空間が定まっている）に対応する人の検出距離範囲の中央の位置、例えば人Ｍの検出された第３ゾーンＺＮ３に対しＬＺ３＝（Ｌ３＋Ｌ４）／２、を撮像装置から人までの距離と推定する。このように、人Ｍの方向（角φ）と人までの距離（距離ＬＺ３）とにより、実世界における撮像装置に対する人の位置を求めることができる。
【００７９】
（人存在マップ、人接近・遠ざかり、及び追跡）
ゾーン（人検出距離範囲）間の人移動検出について説明する。図２９は人存在位置の時間経過の例を示す。人存在位置検出手段は、撮像装置の視線方向の空間を撮像装置から所定の距離毎に、例えば遠距離の第３ゾーンＺＮ３、中距離の第２ゾーンＺＮ２、近距離の第１ゾーンＺＮ１に分けて、各ゾーン内での人の有無状態について前回検出時刻ｔ＝Ｔ（−１）における検出結果と、次の検出時刻ｔ＝Ｔ（０）における検出結果と、その後の検出時刻ｔ＝Ｔ（＋１）などのように、人の存在位置を時系列的に比較して人の実世界での移動を判定する。図２９に示した例では、現在検出した人が属するゾーンＺＮ１が前回検出した人が属するゾーンＺＮ２よりも近いゾーンであるため人が近づいていると判定される。また、その後の時刻ｔ＝Ｔ（＋１）に検出した人が属するゾーンＺＮ２が現在検出した人が属するゾーンＺＮ１がよりも遠いゾーンであるため、人が遠ざかっていると判定される。また、現在検出した人が属するゾーンと前回検出した人が属するゾーンが同じときは人が止まっていると判定される。なお、検出された人の同一性の同定、いわゆる追跡については後述される。
【００８０】
実世界における人存在マップについて説明する。図３０は人存在マップの意味付けを示す。人存在位置検出手段は、撮像装置２の位置を基準に、撮像装置２の視線方向の空間を複数の、例えば１５×９の、エリアに分割した人存在マップ３０を作成し、各エリアを、人を検出したエリア３１と、人がいないエリア３２と、未確認のエリア３３とに分類して人の存在位置を検出する。このような人存在マップ３０は、実世界において、例えば、自律移動装置を制御する時に人に衝突しない高度な移動制御に応用できる。
【００８１】
人存在マップを用いた人の追跡について説明する。図３１は人の追跡方法を示す。人存在位置検出手段は、上述したように人存在マップ３０を作成し、人を検出した位置を人存在マップ３０上の対応する位置Ｅ１，Ｅ２，Ｅ３に登録すると共に、検出した人の頭部の切出し画像を検出位置と関係付けして記憶する（切出し画像については後述）。そして、前回検出時刻ｔ＝Ｔ（−１）のマップと次の検出時刻ｔ＝Ｔ（０）のマップとを比較し、前回検出時点での注目する人の検出位置Ｅ１，Ｅ２，Ｅ３からそれぞれの移動可能な範囲ＡＲ１，ＡＲ２，ＡＲ３内に検出した現時点における人及びその検出位置Ｆ１，Ｆ２，Ｆ３を対応付けの候補とする。位置Ｅ１と位置Ｆ１のように対応付け候補が１つの場合には対応付けして追跡する。位置Ｅ２に対する位置Ｆ２，Ｆ３、位置Ｅ３に対する位置Ｆ２，Ｆ３のように対応付け候補が複数ある場合には、前回検出時点における人の検出位置と関係付けして記憶した頭部の切出し画像と、対応付け候補とされる人の頭部の切出し画像との画像相関を計算し、相関度の一番高い対応付け候補の人及びその検出位置を正しい対応付けとして追跡する。
【００８２】
（検出した位置の頭部画像の検証）
撮像画像からの検出人頭部画像の切出しについて悦明する。図３２は頭部画像の切出しを示す。人存在位置検出手段は、検出した撮像画像Ｐ０上の頭部位置に頭部をモデル化した形状を投影して得られる投影像のサイズ（頭部幅ｄ、頭部高ｈ）の画像を切り出す。切り出された画像４０は、明るさ・大きさで正規化され、予め記憶した頭部・非頭部のデータと比較され、頭部の検出が検証される。投影像のサイズｄ，ｈは次のようにして求められる。人存在位置検出手段では、各検出距離範囲に対応する投票空間毎に、所定のしきい値以上の投票値を持つセルを検出し、検出したセルに対応する撮像画像Ｐ０上の位置を人の頭部位置候補として検出する。人の頭部候補が検出された投票空間に対応する検出距離の範囲の中央の位置が撮像装置から人候補までの距離、また、そのゾーン番号が人候補のいるゾーンの番号として出力される。例えば前出の図２に示されるように第３ゾーンＺＮ３に人候補が存在する場合、人候補の検出範囲は撮像装置から近い側がＬ３、遠い側がＬ４であり、したがって、撮像装置から人候補までの距離はＬＺ３＝（Ｌ３＋Ｌ４）／２とされる。また、頭部画像サイズは、ｄ＝ｆ・Ｄ／ＬＺ３、ｈ＝ｆ・Ｈ／ＬＺ３となる。ここで、Ｄ，Ｈは検出に用いられた形状モデルの頭部標準サイズである。
【００８３】
（パターン認識）
頭部標準画像と切出し画像とのパターンマッチングについて説明する。図３３は頭部パターン空間、図３４は頭部画像のパターン認識フローを示す。頭部画像のパターン認識を行うことで、検出した人の同一性判断とその人の移動追跡が可能となる。また、過誤検出防止が可能となる。頭部画像のパターン認識は、図３３に示される予めメモリに学習保存したｎ次元パターン空間における頭部パターン部分空間ＨＳ０と頭部画像とを比較して行われる。まず、撮像エリアＡＲにおけるゾーン番号ｍの検出距離範囲に対応する投票空間が処理の対象として選択される（Ｓ４０１）。投票空間の投票セルにおいて、所定しきい値以上の投票値がなければ次のセルの評価に進み（Ｓ４０２でＮｏ）、所定しきい値以上の投票値があれば、そのセルにおいて人候補を検出したとして、人候補までの実世界における距離ＬＺｍ＝（Ｌ（ｍ＋１）＋Ｌ（ｍ））／２を計算する（Ｓ４０３）。次に、頭部画像サイズ、幅ｄ＝ｆ・Ｄ／ＬＺｍ、高さｈ＝ｆ・Ｈ／ＬＺｍを計算する（Ｓ４０４）。得られた頭部画像サイズｄ，ｈで頭部画像が撮像画像から切り出される（Ｓ４０５）。
【００８４】
続いて、切り出された頭部画像をｎ次元パターン空間に移行するために正規化が行われる。正規化は、画像の大きさを予め決めた頭部標準画像サイズｄｎ，ｈｎに、画像濃度について濃度平均値と濃度分散値を予め決めた頭部標準画像サイズ内画素の濃度平均値Ａｖと濃度分散値Ｖａｒになるように行われる（Ｓ４０６）。正規化された頭部画像の各画素の値をベクトルの要素としてｎ（ｎ＝ｄｎ×ｈｎ）次元のベクトルを作成し、これを正規化頭部画像ベクトルＶｈｎとする（Ｓ４０７）。次に、ｎ次元パターン空間において、正規化された頭部画像ベクトルＶｈｎが占める位置を調べ（Ｓ４０８）、予め多くの既知の正規化された頭部画像及び非頭部画像を用いてｎ次元のベクトル空間中に設けられた部分空間のうち、頭部パターン部分空間に正規化された頭部画像ベクトルＶｈｎが含まれるか否かを調べる（Ｓ４０９）。頭部パターン部分空間に正規化された頭部画像ベクトルＶｈｎが含まれていれば（Ｓ４０９でＹｅｓ）、切出し画像を人頭部画像と判定し（Ｓ４１０）、頭部画像位置ＬＺｍを出力する（Ｓ４１１）。頭部パターン部分空間に正規化された頭部画像ベクトルＶｈｎが含まれていなければ（Ｓ４０９でＮｏ）、切出し画像は人頭部画像でないと判定する（Ｓ４１２）。以上の処理が全セルについて行われた後（Ｓ４１３）、次のゾーン番号（ｍ＋１）に対応する投票空間の処理が行われる（Ｓ４１４）。なお、ステップＳ４０３とＳ４０４はステップＳ４０１の直後に１回だけ処理するようにしてもよい。
【００８５】
（平均値、分散値）
頭部画像の濃度平均値と分散値を用いた判定ついて説明する。図３５は同判定のフローを示す。切り出された頭部画像の平均値Ａｖｘと分散値Ｖａｒｘと予め計算しておいた既知の頭部画像の平均値Ａｖと分散値Ｖａｒと比較する（Ｓ５０１）。切り出された頭部画像の平均値Ａｖｘと分散値Ｖａｒｘが所定の許容範囲α、β内、つまり、
Ａｖ−α＜Ａｖｘ＜Ａｖ＋α
Ｖａｒ−β＜Ｖａｒｘ＜Ｖａｒ＋β
のときに、切り出された画像は頭部画像であると判定する（Ｓ５０２でＹｅｓ、Ｓ５０３）。このように、切り出された画像の明度の平均値・分散値を求め、これらの平均値・分散値と、予め設定した平均値・分散値のしきい値とを比較することにより、頭部の検出を検証することで、信頼性の高い頭部位置の検出ができる。
【００８６】
（肌色）
頭部画像の肌色を用いた判定について説明する。図３６は同判定のフローを示す。また、別の検証方法として、切り出された画像中に占める肌色画素の割合Ｓｘと、予め求めておいた正面を向いた顔画像中に占める肌色画素の割合Ｓｋと比較する（Ｓ６１）。肌色画素の割合Ｓｘが所定の共用範囲γ内、つまり、
Ｓｋ−γ＜Ｓｘ＜Ｓｋ＋γ
のときに、切り出された画像は正面向きの頭部画像であると判定する（Ｓ６０２でＹｅｓ、Ｓ６０３）。このように、検出された頭部の画像を、切出された画像に含まれる肌色の割合を使って頭部かどうか検証することにより、信頼性の高い頭部位置の検出ができる。
【００８７】
（頭部の向きの検出）
頭部パターン空間を用いた正面向き頭部でない頭部の検出について説明する。図３７は頭部パターン空間を示す。前述のように、正規化された頭部画像の各画素の値をベクトルの要素としてｎ（ｎ＝ｄｎ×ｈｎ）次元のベクトルを作成し、これを正規化頭部画像ベクトルＶｈｎとする。予め、多くの既知の正規化された正面頭部画像、左向き頭部画像、右向き頭部画像および非頭部画像を使って、ｎ次元のベクトル空間中で正面頭部パターン部分空間ＨＳ０、左向き頭部パターン部分空間ＨＳＬ、右向き頭部パターン部分空間ＨＳＲを学習しておき、人頭部検出時には、正規化された頭部画像ベクトルＶｈｎが、いずれかの頭部パターン空間内に入るか否かで、切り出された頭部画像が確かに人の頭部かどうかの検証及び、頭部の向きの識別を行う。人の頭部であると検証されたとき、撮像画像上のこの頭部位置を撮像画像上の人の位置として出力すると共に、頭部の向きも出力する。
【００８８】
（頭部の向きの決定）
頭部パターン空間を用いた頭部の向きの判定について説明する。図３８は頭部パターン空間、図３９は頭部画像の例を示す。人存在位置検出手段は、前記頭部の向きとして複数の候補が出力される時、前記切出した画像を予め決めた複数の小画像に分割し、分割した各小画像間の濃度分布の違いにより頭部の向きを決定する。図３８に示すように、上述した頭部向き毎の頭部パターン部分空間ＨＳ０，ＨＳＬ，ＨＳＲが重なり、さらに、正規化頭部画像ベクトルＶｈｎが重なる空間に存在することになり、異なる頭部向きが同時に頭部向き候補として出力される場合がある。このような場合でも正しい頭部の向きを識別できるように、図３９（ａ）に示すように、切り出した頭部画像４０の中央に分割線４１を引き、この分割線の両側の領域４２、４３について、各領域の濃度の総和の比を比較する。分割線左側の濃度の総和をＳＬ，同右側の濃度の総和をＳＲ、判定しきい値をｔｈ１，ｔｈ２として、
ｔｈ１≦ＳＬ／ＳＲ の場合は、右向き
ｔｈ２＜ＳＬ／ＳＲ＜ｔｈ１ の場合は、正面向き
ＳＬ／ＳＲ≦ｔｈ２ の場合は、左向き
であるとして頭部向きを判定する。
【００８９】
（人の存在及びその位置を検出する方法）
撮像装置で撮像した撮像画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する方法について説明する。図４０は同検出方法のフローを示す。まず、投票テンプレート準備過程において投票テンプレートの準備が行われる（Ｓ７０１）。この投票テンプレート準備過程では、▲１▼人の頭部画像の形状を近時した外側に凸な曲線で囲まれる図形の形状モデルが準備され、▲２▼撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基いて撮像画像上における人の頭部画像の輪郭の大きさが推定され、▲３▼前記形状モデルの標準サイズ及びサイズ範囲が決められる。また、▲４▼標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向が定義され、▲５▼該形状モデルの内部に代表点が定義され、▲６▼該代表点に該形状モデルの標準サイズに対応する投票部が備えられる。さらに、▲７▼形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部が備えられる。▲８▼また、濃度反転した頭部画像に対応するための投票部を形状モデルの境界曲線上の外部にも備えて、形状モデルの内部と外部の一対の投票部とすることもできる。このようにして、検出が想定される人の検出距離範囲及び人頭部の形状モデル毎に、標準サイズの形状モデルが準備され、そのそれらの標準形状モデルに濃度勾配方向と複数の投票部を備えた投票テンプレートが作成され、参照可能にメモリに記憶・準備される。
【００９０】
また、投票空間生成過程において、撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間が生成されメモリに記憶される（Ｓ７０２）。
【００９１】
次に、撮像画像データ記憶過程において、撮像装置から入力されデジタル化された撮像画像がメモリに記憶される（Ｓ７０３）。次に、エッジ画像データ生成過程において、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部が微分処理により抽出され、所定の微分強度以上となる画素がエッジ画素として抽出されると共に、撮像画像から算出された濃度勾配方向が、抽出された各エッジ画素毎に付加されてエッジ画像が生成される（Ｓ７０４）。
【００９２】
次に、投票処理過程において、▲１▼準備された投票テンプレートの内のまず１つが選択され、▲２▼エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する投票テンプレートの境界曲線上の点が重ねられ、▲３▼このとき投票テンプレートの投票部が位置する投票空間の投票用セルに投票されメモリに記憶される。▲４▼全てのエッジ画素について投票処理が行われる。次に、▲５▼他の投票テンプレートが選択され、その投票テンプレートに対応する投票空間に前記と同じ投票処理が行われる。▲６▼このような投票処理が、全ての投票テンプレートについて行われる。また、各投票に際し、投票空間の各セルの投票値が集計される（Ｓ７０５）。
【００９３】
次に、人存在位置検出過程において、▲１▼投票が行われた各投票空間で所定のしきい値以上の投票値を有するセルが検出され、▲２▼所定量の投票値が検出されたセルに対応する撮像画像上の位置が撮像画像上における人の頭部位置として検出される（Ｓ７０６）。
【００９４】
上述の一連の人の存在位置検出過程が終了した後、再度検出を行う場合（Ｓ７０７でＮｏ）、ステップＳ７０３から上記過程が繰り返して行われる。
【００９５】
この方法は、従来の着目するエッジ画素の全方向に亘って投票を行うハフ変換の投票処理と異なり、各エッジ画素の片側方向の領域にのみ若しくは両側方向の領域のみについて投票を行うため、処理量が少なく高速な処理を実現することができる。撮像装置から特定の範囲内の人の頭部の大きさのみを検出対象とするため、信頼性の高い人の頭部検出を行うことができる。
【００９６】
なお、本発明は、上記構成に限られることなく種々の変形が可能である。例えば、上記説明では、投票空間の投票セルと撮像画像及びエッジ画像の画素は１対１に対応しているとしているが、１つの投票セルに複数の画素を対応させるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の一実施形態による人の存在位置検出装置のブロック構成図。
【図２】同装置を応用したエリアセンサの概念図。
【図３】同装置の撮像画像データ記憶手段の処理フロー図。
【図４】（ａ）は撮像画像図、（ｂ）は同エッジ画像図。
【図５】本発明の一実施形態によるエッジ画像データ生成手段におけるフロー図。
【図６】撮像画像の座標図。
【図７】（ａ）は３×３画素局所ウインドウの図、（ｂ）はｘ方向微分オペレータの図、（ｃ）はｙ方向微分オペレータ図。
【図８】（ａ）〜（ｄ）は本発明の一実施形態による人頭部の形状モデルを示す図。
【図９】実世界の人と画像中の人との寸法関係を示す図。
【図１０】（ａ）（ｂ）は本発明の一実施形態による投票テンプレートの図。
【図１１】（ａ）は濃度勾配方向を説明する図、（ｂ）（ｃ）は本発明の一実施形態による投票テンプレートの図。
【図１２】本発明の一実施形態による投票テンプレートの図。
【図１３】本発明の一実施形態による投票テンプレートの図。
【図１４】（ａ）（ｂ）は本発明の一実施形態による投票テンプレートの投票部の座標を示す図。
【図１５】本発明の一実施形態による投票テンプレート表の図。
【図１６】本発明の一実施形態による投票テンプレート表の図。
【図１７】本発明の一実施形態による形状モデルの種類を示す図。
【図１８】（ａ）は本発明の一実施形態によるエッジ画像図、撮像空間、投票空間の関係図、（ｂ）はエッジ画像の図、（ｃ）は投票空間の図。
【図１９】本発明の一実施形態による投票空間における投票値の分布図。
【図２０】（ａ）（ｂ）は本発明の一実施形態による曲率半径方向と投票部の関係を示す図。
【図２１】本発明の一実施形態による投票後のゾーン毎の投票空間の図。
【図２２】本発明の一実施形態による現実空間のゾーンの図。
【図２３】投票値の山が複数の峯を持つ場合を示す図。
【図２４】本発明の一実施形態による警報音発生手段の処理フロー図。
【図２５】本発明の一実施形態による検出装置のブロック構成図。
【図２６】本発明の一実施形態による自律移動装置の外観図。
【図２７】同上自律移動装置ののブロック構成図。
【図２８】本発明の一実施形態による撮像装置と人の存在方向決定を説明する図。
【図２９】本発明の一実施形態による人存在位置の時間経過を示す図。
【図３０】本発明の一実施形態による人存在マップ図。
【図３１】（ａ）（ｂ）は本発明の一実施形態による人存在マップ図。
【図３２】（ａ）は撮像画像図、（ｂ）は切出し頭部画像図。
【図３３】ｎ次元パターン空間の図。
【図３４】本発明の一実施形態による頭部画像のパターン認識フロー図。
【図３５】本発明の一実施形態によるは頭部画像判定のフロー図。
【図３６】本発明の一実施形態によるは頭部向き判定のフロー図。
【図３７】ｎ次元パターン空間の図。
【図３８】ｎ次元パターン空間の図。
【図３９】（ａ）〜（ｂ）は頭部画像の図。
【図４０】本発明の一実施形態による人の存在位置検出方法のフロー図。
【符号の説明】
１ 人の存在位置検出装置本体
２ 撮像装置
３ 撮像画像データ記憶手段
４ エッジ画像データ生成手段
５ 投票処理手段
６ 投票テンプレート準備手段
７ 投票空間生成手段
８ 人存在位置検出手段
９ 警報発生手段
１２ 自律移動装置
３０ 人存在マップ
３１ 人を検出したエリア
３２ 人がいないエリア
３３ 未確認のエリア
Ｇ 代表点
Ｐ，Ｑ 共役点
Ｐ０ 撮像画像
Ｐ１ エッジ画像
Ｐ２ 投票空間
ｒ 代表点方向線
Ｔ 投票テンプレート
Ｔ１〜Ｔ４ 形状モデル
Ｖ，Ｖｐ，Ｖｐ０〜Ｖｐ８、Ｖｑ０〜Ｖｑ８ 投票部
ＶＣ 投票セル
Ψ，Φ 濃度勾配方向
Claims (22)
- 撮像装置で撮像した画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する装置において、
人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、
該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備手段と、
撮像装置から入力された画像をデジタル化し、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶手段と、
前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成しメモリに記憶するエッジ画像データ生成手段と、
前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成手段と、
前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理手段と、
投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出手段と、を備えたことを特徴とする人の存在位置検出装置。 - 前記投票テンプレート準備手段は、前記標準サイズの形状モデルの境界曲線上の各点に対し、該点に定義した濃度勾配方向と逆方向の濃度勾配方向を有する前記境界曲線上の点を互いに共役な共役点として定義し、互いに共役な点の一方が前記形状モデルの内部に有する投票部と同じ相対位置関係を保って、前記互いに共役な点の他方が前記形状モデルの外部にさらに投票部を備えたことを特徴とする請求項１記載の人の存在位置検出装置。
- 前記投票テンプレート準備手段は、前記人の頭部画像の形状を近似する外側に凸な曲線として円又は楕円からなる形状モデルを用いたことを特徴とする請求項１記載の人の存在位置検出装置。
- 前記投票処理手段は、エッジ画像の各エッジ画素について、注目するエッジ画素とその近傍の複数のエッジ画素からなる輪郭の曲率を求めて曲率中心の存在する方向を判定し、前記注目するエッジ画素に対する前記投票に際し、前記曲率中心の存在する方向の投票部位置に対応する投票空間の投票用セルに投票することを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。
- 前記投票テンプレート準備手段は、投票テンプレートの代表点近傍であって前記代表点方向線の両側にさらに投票部を備えたことを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。
- 前記投票テンプレート準備手段は、形状モデルの境界曲線上の各点に対する投票部の相対位置を、該各点における濃度勾配方向をインデックスとして、表形式でメモリに記憶することを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。
- 前記投票テンプレート準備手段は、予め撮像装置から人までの距離毎に投票テンプレートのデータを保管し、
前記投票処理手段は、検出対象までの距離を測定する距離センサの距離測定結果に基づいて前記投票テンプレートのデータを参照して投票テンプレートを設定し、投票することを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。 - 前記人存在位置検出手段は、検出した所定のしきい値以上の投票値を有するセルが複数の塊に分れている場合には、塊間の距離を調べ、該距離が所定範囲内に存在する場合にはグループ化して統合し、統合された塊の代表点に対応する撮像画像上の位置を人の頭部位置として検出することを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。
- 前記投票テンプレート準備手段は、撮像装置から検出対象とする人までの検出距離範囲を任意に複数設定して検出距離範囲毎の形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備し、
前記投票空間生成手段は、前記検出距離範囲毎に投票空間を生成し、
前記投票処理手段は、各検出距離範囲に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、
前記人存在位置検出手段は、各検出距離範囲に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させることを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。 - 前記投票テンプレート準備手段は、形状モデルのサイズ範囲が所定値以上の場合、該サイズ範囲が所定値以下となるように人の検出距離範囲を分割し、該分割された範囲毎に形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを持ち、
前記投票空間生成手段は、該分割された検出距離範囲毎に投票空間を生成し、
前記投票処理手段は、該分割された検出距離範囲毎に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、
前記人存在位置検出手段は、該分割された検出距離範囲毎に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させることを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。 - 前記投票テンプレート準備手段は、人の頭部形状を同一の形状モデルで姿勢が異なる複数の形状で近似し、各姿勢の形状毎に投票テンプレートを準備し、
前記投票空間生成手段は、該姿勢の形状毎に投票空間を生成し、
前記投票処理手段は、該姿勢の異なる形状毎に投票空間上の各セルに投票処理を行うことを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。 - 前記投票テンプレート準備手段は、人の頭部形状を異なる複数の形状モデル形状で近似し、各形状モデルの形状毎に投票テンプレートを準備し、
前記投票空間生成手段は、該形状モデルの形状毎に投票空間を生成し、
前記投票処理手段は、該形状モデル毎に投票空間上の各セルに投票処理を行うことを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。 - 前記人存在位置検出手段は、前記検出した撮像画像上の頭部位置に頭部をモデル化した形状を投影して得られる投影像のサイズの画像を切出すことを特徴とする請求項１乃至請求項３のいずれかに記載の人の存在位置検出装置。
- 前記人存在位置検出手段は、前記切出した画像を、予め頭部の向き毎に分類して記憶した頭部データと比較することにより、頭部の向きを識別して検出することを特徴とする請求項１３記載の人の存在位置検出装置。
- 前記人存在位置検出手段は、前記頭部の向きとして複数の候補が出力される時、前記切出した画像を予め決めた複数の小画像に分割し、分割した各小画像間の濃度分布の違いにより頭部の向きを決定することを特徴とする請求項１４記載の人の存在位置検出装置。
- 前記人存在位置検出手段は、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を、撮像装置から人までの距離と推定することを特徴とする請求項９記載の人の存在位置検出装置。
- 前記人存在位置検出手段は、前記検出した撮像画像上の頭部の位置及び撮像装置の焦点距離により撮像装置に対する人存在位置方向を求め、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を撮像装置から人までの距離と推定し、人の方向と人までの距離とにより、撮像装置に対する人の位置を求めることを特徴とする請求項９記載の人の存在位置検出装置。
- 前記人存在位置検出手段は、撮像装置の視線方向の空間を撮像装置から所定の距離毎にゾーン分けし、各ゾーン内での人の有無状態について前回検出時の結果と現在の検出結果とを比較し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも近いゾーンのときは人が近づいていると判定し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも遠いゾーンのときは人が遠ざかっていると判定し、現在検出した人が属するゾーンと前回検出した人が属するゾーンが同じときは人が止まっていると判定することを特徴とする請求項９又は請求項１６に記載の人の存在位置検出装置。
- 前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、各エリアを、人を検出したエリアと、未確認のエリアと、人が居ないエリアに分類して人の存在位置を検出することを特徴とする請求項１７記載の人の存在位置検出装置。
- 前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、人を検出した位置を該マップ上の対応する位置に登録すると共に、該検出した人の頭部の切出し画像を検出位置と関係付けして記憶し、前回検出時点のマップと現時点のマップとを比較し、前回検出時点での注目する人の検出位置から移動可能な範囲内に検出した現時点における人及びその検出位置を対応付けの候補とし、対応付け候補が１つの場合には対応付けして追跡し、
対応付け候補が複数ある場合には、前回検出時点における人の検出位置と関係付けして記憶した頭部の切出し画像と、対応付け候補とされる人の頭部の切出し画像との画像相関を計算し、相関度の一番高い対応付け候補の人及びその検出位置を正しい対応付けとして追跡することを特徴とする請求項１７記載の人の存在位置検出装置。 - 撮像装置で撮像した撮像画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する方法において、
人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、
該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備過程と、
撮像装置から入力され、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶過程と、
前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成するエッジ画像データ生成過程と、
前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成過程と、
前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理過程と、
投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出過程と、を備えたことを特徴とする人の存在位置検出方法。 - 請求項１７乃至請求項１９のいずれかに記載の人の存在位置検出装置を用いて検出された人の位置情報を利用して移動の制御をすることを特徴とする自律移動装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002343094A JP4082190B2 (ja) | 2002-11-26 | 2002-11-26 | 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002343094A JP4082190B2 (ja) | 2002-11-26 | 2002-11-26 | 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004178229A true JP2004178229A (ja) | 2004-06-24 |
| JP4082190B2 JP4082190B2 (ja) | 2008-04-30 |
Family
ID=32704949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002343094A Expired - Fee Related JP4082190B2 (ja) | 2002-11-26 | 2002-11-26 | 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4082190B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004280451A (ja) * | 2003-03-14 | 2004-10-07 | Matsushita Electric Works Ltd | 自律移動装置 |
| JP2006079325A (ja) * | 2004-09-09 | 2006-03-23 | Matsushita Electric Works Ltd | 自律移動装置 |
| JP2006154964A (ja) * | 2004-11-25 | 2006-06-15 | Matsushita Electric Works Ltd | インターホンシステム |
| JP2007072665A (ja) * | 2005-09-06 | 2007-03-22 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
| JP2009187357A (ja) * | 2008-02-07 | 2009-08-20 | Honda Motor Co Ltd | 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム |
| JP2012017936A (ja) * | 2010-07-09 | 2012-01-26 | Shimizu Corp | ワークプレイス環境の管理支援システム |
| WO2014203523A1 (ja) * | 2013-06-18 | 2014-12-24 | パナソニックＩｐマネジメント株式会社 | 撮影位置決定装置及び撮影位置決定方法 |
| JP5685665B1 (ja) * | 2014-04-28 | 2015-03-18 | ヴィスコ・テクノロジーズ株式会社 | 画像認識装置 |
| US9235216B2 (en) | 2012-11-05 | 2016-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Running information generating apparatus of autonomous running apparatus, running information generating method, running information generating program, and autonomous running apparatus |
| WO2018038257A1 (ja) * | 2016-08-26 | 2018-03-01 | 株式会社Ｚｍｐ | 物体検出方法及びその装置 |
| JP2019061502A (ja) * | 2017-09-27 | 2019-04-18 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN112183560A (zh) * | 2020-10-27 | 2021-01-05 | 维沃移动通信有限公司 | 图像识别方法及装置 |
| CN113674212A (zh) * | 2021-07-26 | 2021-11-19 | 宁波帅特龙集团有限公司 | 一种把手装配检测方法与设备 |
| CN113949906A (zh) * | 2021-12-01 | 2022-01-18 | 深圳市佰慧智能科技有限公司 | 一种基于视频联网共享的视频预览回放系统及管理方法 |
| CN118427033A (zh) * | 2024-07-04 | 2024-08-02 | 荣耀终端有限公司 | 测试方法、测试设备及存储介质 |
| JP7554245B2 (ja) | 2022-10-13 | 2024-09-19 | 技研トラステム株式会社 | 人物追跡方法及び人物追跡装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4626692B2 (ja) * | 2008-09-12 | 2011-02-09 | ソニー株式会社 | 物体検出装置、撮像装置、物体検出方法およびプログラム |
-
2002
- 2002-11-26 JP JP2002343094A patent/JP4082190B2/ja not_active Expired - Fee Related
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004280451A (ja) * | 2003-03-14 | 2004-10-07 | Matsushita Electric Works Ltd | 自律移動装置 |
| US7684894B2 (en) | 2003-03-14 | 2010-03-23 | Panasonic Electric Works Co., Ltd. | Autonomously moving robot |
| JP2006079325A (ja) * | 2004-09-09 | 2006-03-23 | Matsushita Electric Works Ltd | 自律移動装置 |
| JP4645108B2 (ja) * | 2004-09-09 | 2011-03-09 | パナソニック電工株式会社 | 自律移動装置 |
| JP2006154964A (ja) * | 2004-11-25 | 2006-06-15 | Matsushita Electric Works Ltd | インターホンシステム |
| JP2007072665A (ja) * | 2005-09-06 | 2007-03-22 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
| JP2009187357A (ja) * | 2008-02-07 | 2009-08-20 | Honda Motor Co Ltd | 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム |
| JP2012017936A (ja) * | 2010-07-09 | 2012-01-26 | Shimizu Corp | ワークプレイス環境の管理支援システム |
| US9235216B2 (en) | 2012-11-05 | 2016-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Running information generating apparatus of autonomous running apparatus, running information generating method, running information generating program, and autonomous running apparatus |
| WO2014203523A1 (ja) * | 2013-06-18 | 2014-12-24 | パナソニックＩｐマネジメント株式会社 | 撮影位置決定装置及び撮影位置決定方法 |
| US9905010B2 (en) | 2013-06-18 | 2018-02-27 | Panasonic Intellectual Property Management Co., Ltd. | Image position determination device and image position determination method for reducing an image of a closed eye person |
| JP5685665B1 (ja) * | 2014-04-28 | 2015-03-18 | ヴィスコ・テクノロジーズ株式会社 | 画像認識装置 |
| WO2018038257A1 (ja) * | 2016-08-26 | 2018-03-01 | 株式会社Ｚｍｐ | 物体検出方法及びその装置 |
| JP2018031753A (ja) * | 2016-08-26 | 2018-03-01 | 株式会社Ｚｍｐ | 物体検出方法及びその装置 |
| JP7047306B2 (ja) | 2017-09-27 | 2022-04-05 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2019061502A (ja) * | 2017-09-27 | 2019-04-18 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN112183560A (zh) * | 2020-10-27 | 2021-01-05 | 维沃移动通信有限公司 | 图像识别方法及装置 |
| CN113674212A (zh) * | 2021-07-26 | 2021-11-19 | 宁波帅特龙集团有限公司 | 一种把手装配检测方法与设备 |
| CN113674212B (zh) * | 2021-07-26 | 2024-05-24 | 宁波帅特龙集团有限公司 | 一种把手装配检测方法与设备 |
| CN113949906A (zh) * | 2021-12-01 | 2022-01-18 | 深圳市佰慧智能科技有限公司 | 一种基于视频联网共享的视频预览回放系统及管理方法 |
| JP7554245B2 (ja) | 2022-10-13 | 2024-09-19 | 技研トラステム株式会社 | 人物追跡方法及び人物追跡装置 |
| CN118427033A (zh) * | 2024-07-04 | 2024-08-02 | 荣耀终端有限公司 | 测试方法、测试设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4082190B2 (ja) | 2008-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102109941B1 (ko) | 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 | |
| KR102061522B1 (ko) | 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법 | |
| Shin et al. | Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities | |
| Martin et al. | Real time head model creation and head pose estimation on consumer depth cameras | |
| Nedevschi et al. | Stereo-based pedestrian detection for collision-avoidance applications | |
| Zhang et al. | A robust, real-time ellipse detector | |
| JP4082190B2 (ja) | 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 | |
| Keller et al. | A new benchmark for stereo-based pedestrian detection | |
| JP4002919B2 (ja) | 移動体高さ判別装置 | |
| JP2021523443A (ja) | Ｌｉｄａｒデータと画像データの関連付け | |
| KR101184097B1 (ko) | 얼굴 정면포즈 판단 방법 | |
| US20120062749A1 (en) | Human body identification method using range image camera and human body identification apparatus | |
| WO2012101962A1 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
| CN104573614A (zh) | 用于跟踪人脸的设备和方法 | |
| JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
| US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
| KR20150065445A (ko) | 얼굴 포즈를 이용한 정면 얼굴 검출 장치 및 방법 | |
| JP2020061140A (ja) | ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置 | |
| US20240153106A1 (en) | Object tracking device | |
| JP2019212148A (ja) | 情報処理装置及び情報処理プログラム | |
| JP2020061139A (ja) | ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置 | |
| Coenen et al. | Detection and 3d modelling of vehicles from terrestrial stereo image pairs | |
| Mitsudome et al. | Autonomous mobile robot searching for persons with specific clothing on urban walkway | |
| Dang et al. | Fast object hypotheses generation using 3D position and 3D motion | |
| JP6991955B2 (ja) | オブジェクト位置特定装置、オブジェクト位置特定方法、及びオブジェクト位置特定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |