JP2004178229A - 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 - Google Patents

人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 Download PDF

Info

Publication number
JP2004178229A
JP2004178229A JP2002343094A JP2002343094A JP2004178229A JP 2004178229 A JP2004178229 A JP 2004178229A JP 2002343094 A JP2002343094 A JP 2002343094A JP 2002343094 A JP2002343094 A JP 2002343094A JP 2004178229 A JP2004178229 A JP 2004178229A
Authority
JP
Japan
Prior art keywords
voting
person
image
head
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002343094A
Other languages
English (en)
Other versions
JP4082190B2 (ja
Inventor
Tomoharu Nakahara
智治 中原
Tsuyoshi Yamane
剛志 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2002343094A priority Critical patent/JP4082190B2/ja
Publication of JP2004178229A publication Critical patent/JP2004178229A/ja
Application granted granted Critical
Publication of JP4082190B2 publication Critical patent/JP4082190B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

【課題】人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置において、画像から高速に人を検出すること及び実世界における人の概略の位置を求めることを可能とする。
【解決手段】人頭部画像の形状を外側に凸な境界曲線で囲まれる形状モデルで近似し、人存在距離で決まる撮像画像上の形状モデルの標準サイズとサイズ範囲を定める。境界曲線上の各点に濃度勾配方向Ψを定義し、形状モデル内部の代表点にサイズ範囲に対応する投票部Vp0〜Vp8を備え、外部に濃度反転した頭部画像に対応するための投票部Vq0〜Vq8を備えた投票テンプレートを作る。撮像画像から生成したエッジ画像の各画素上に、該画素に付加した濃度勾配方向に対応する濃度勾配方向を持つ投票テンプレートの境界曲線上の点を重ねて投票し、所定投票値を有するセルを撮像画像上の人の頭部位置とする。
【選択図】 図13

Description

【0001】
【発明の属する技術分野】
本発明は、ヒューマンマシンインターフェイス、パーソナルロボット、画像監視、自律移動装置等における、画像から人をコンピュータにより自動的に検出する方法に関する。
【0002】
【従来の技術】
従来、画像からコンピュータにより人を自動的に見つける方法として、動きのある部分を人とみなして検出する方法、人を代表する部分である顔や頭部を肌色や顔部品により検出して人を検出する方法がある。前者の例として、予め作成した背景画像と入力される画像との差分を取ることにより変化した部分を人として検出するものがある(例えば、特許文献1参照)。後者の例として、顔を楕円としてモデル化し、楕円検出による顔検出するものがある(例えば、特許文献2参照)。また、頭部を円としてモデル化し、円形状検出による頭部検出を行うものがある(例えば、特許文献3参照)。
【0003】
【特許文献1】
特開平11−311682号公報
【特許文献2】
特開平11−185026号公報
【特許文献3】
特開2001−222719号公報
【0004】
【発明が解決しようとする課題】
しかしながら、上述した文献1に示されるような検出方法においては、画像上の明度の大きく変化した領域を人とするため、光が差し込んできて明度が変化する場合や、椅子などの物が移動する場合も人として検出してしまう問題がある。また、文献2に示されるような検出方法においては、様々な場面において肌色を安定して検出することは難しく、また、肌色領域を楕円に当てはめて正しいのは正面の時であるので斜め向きの場合は検出が難しく、さらに、後ろ向きの場合は頭部を検出することができないという問題がある。また、文献3に示されるような検出方法においては、投票に使用するテンプレートの形状が同心円状であるため、検出に寄与しない投票が多く、処理時間が無駄になると共に、偽の投票値のピークが作られて誤検出が発生するという問題がある。
【0005】
本発明は、上記課題を解消するものであって、簡単な構成により画像から高速に人の検出を行うと共に、画像世界に対する実世界における、撮像装置から人までの概略の位置を求めることができる人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置を提供することを目的とする。
【0006】
【課題を解決するための手段及び発明の効果】
上記課題を達成するために、請求項1の発明は、撮像装置で撮像した画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する装置において、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備手段と、撮像装置から入力された画像をデジタル化し、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶手段と、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成しメモリに記憶するエッジ画像データ生成手段と、前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成手段と、前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理手段と、投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出手段と、を備えた人の存在位置検出装置である。
【0007】
上記構成においては、撮像画像上において人の位置を人の頭部の位置で代表させ、人の頭部の形状を簡単な図形でモデル化した投票テンプレートであって検出距離の範囲に幅を持たせるため線分状の複数の投票部を備えることとした投票テンプレートを用いて、撮像画像から得たエッジ画像上のエッジ画素毎に投票処理を行うので、頭部形状やサイズの変動を吸収して頭部形状を確実に検出できる。また、エッジ画像の各エッジ画素に濃度勾配方向の情報をもたせて、各エッジ画素の濃度勾配方向で定まる投票部にのみ投票するので、画像中から円形状曲線を検出する、いわゆる円検出用ハフ(Hough)変換のような、全方向にわたる投票処理を行わなう必要がなく、人検出のための投票処理数を少なくでき、人の頭部形状を高速に検出できる。
【0008】
請求項2の発明は、請求項1記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、前記標準サイズの形状モデルの境界曲線上の各点に対し、該点に定義した濃度勾配方向と逆方向の濃度勾配方向を有する前記境界曲線上の点を互いに共役な共役点として定義し、互いに共役な点の一方が前記形状モデルの内部に有する投票部と同じ相対位置関係を保って、前記互いに共役な点の他方が前記形状モデルの外部にさらに投票部を備えたものである。
【0009】
上記構成においては、人頭部における画像濃度が反転した画像に対し、同時に投票処理できるように、互いに共役な投票部を投票テンプレートに備えるので、一通りの投票処理で画像濃度が反転した二通りの人頭部画像に対する投票ができ、前述の効果に加え、さらに安定して確実な検出を高速に行うことができる。
【0010】
請求項3の発明は、請求項1記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、前記人の頭部画像の形状を近似する外側に凸な曲線として円又は楕円からなる形状モデルを用いたものである。
【0011】
上記構成においては、人頭部の形状モデルが点対称であるので、投票テンプレート上の投票部の位置も投票テンプレートの中心について対称となり、投票部の位置を片側だけ記憶すればよく、投票処理のためのデータの記憶量を減らすことができる。
【0012】
請求項4の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記投票処理手段は、エッジ画像の各エッジ画素について、注目するエッジ画素とその近傍の複数のエッジ画素からなる輪郭の曲率を求めて曲率中心の存在する方向を判定し、前記注目するエッジ画素に対する前記投票に際し、前記曲率中心の存在する方向の投票部位置に対応する投票空間の投票用セルに投票するものである。
【0013】
上記構成においては、曲率中心のある側のみの投票処理で済むので、さらに効率的に人の頭部を抽出でき、人の存在位置を高速に検出することができる。なお、必要な輪郭の曲率を求める演算は、投票処理の最初の一回だけである。
【0014】
請求項5の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、投票テンプレートの代表点近傍であって前記代表点方向線の両側にさらに投票部を備えたものである。
【0015】
上記構成においては、エッジ付近の濃度勾配方向が変動しても、代表点両側近傍にも投票部を備えたので、このような幅を持たせた投票部への投票により投票位置の変動を吸収して形状モデルの中心近傍に投票することができ、信頼性の高い検出を行うことができる。
【0016】
請求項6の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、形状モデルの境界曲線上の各点に対する投票部の相対位置を、該各点における濃度勾配方向をインデックスとして、表形式でメモリに記憶するものである。
【0017】
上記構成においては、投票テンプレートの投票部の位置を予め表形式でメモリに記憶しているので、投票処理時にはこの表を参照して投票位置を求めればよいため、投票のための計算が少なく高速な処理が実現できる。
【0018】
請求項7の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、予め撮像装置から人までの距離毎に投票テンプレートのデータを保管し、前記投票処理手段は、検出対象までの距離を測定する距離センサの距離測定結果に基づいて前記投票テンプレートのデータを参照して投票テンプレートを設定し、投票するものである。
【0019】
上記構成においては、撮像装置から人までの距離を距離センサにより求めた上で、画像上で検出する頭部のサイズを限定して検出を行うので、信頼性の高い検出を高速に行うことができる。
【0020】
請求項8の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記人存在位置検出手段は、検出した所定のしきい値以上の投票値を有するセルが複数の塊に分れている場合には、塊間の距離を調べ、該距離が所定範囲内に存在する場合にはグループ化して統合し、統合された塊の代表点に対応する撮像画像上の位置を人の頭部位置として検出するものである。
【0021】
上記構成においては、所定のしきい値以上の投票値を持つセルを統合することにより、投票が分散している場合でも、形状モデルを検出して人の頭部位置を精度良く検出することができる。
【0022】
請求項9の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、撮像装置から検出対象とする人までの検出距離範囲を任意に複数設定して検出距離範囲毎の形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備し、前記投票空間生成手段は、前記検出距離範囲毎に投票空間を生成し、前記投票処理手段は、各検出距離範囲に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、前記人存在位置検出手段は、各検出距離範囲に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させるものである。
【0023】
上記構成においては、撮像装置から遠近方向に多くの人候補が存在する中で、特定の距離範囲にいる人候補のみ選択して検出処理を行うことができる。
【0024】
請求項10の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、形状モデルのサイズ範囲が所定値以上の場合、該サイズ範囲が所定値以下となるように人の検出距離範囲を分割し、該分割された範囲毎に形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを持ち、前記投票空間生成手段は、該分割された検出距離範囲毎に投票空間を生成し、前記投票処理手段は、該分割された検出距離範囲毎に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、前記人存在位置検出手段は、該分割された検出距離範囲毎に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させるものである。
【0025】
上記構成においては、人の存在する範囲が遠近方向に広い場合、人の存在する範囲を分割して形状モデルのサイズ範囲を所定値以下とすることとしたので、特定の大きさの頭部のみを検出することができ、誤検出の発生を抑制して検出精度を高くすることができる。
【0026】
請求項11の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、人の頭部形状を同一の形状モデルで姿勢が異なる複数の形状で近似し、各姿勢の形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該姿勢の形状毎に投票空間を生成し、前記投票処理手段は、該姿勢の異なる形状毎に投票空間上の各セルに投票処理を行うものである。
【0027】
上記構成においては、姿勢の異なる複数の形状モデルを準備することとしたので、傾いた頭部にも区別して対処でき、精度の高い人検出をすることができる。
【0028】
請求項12の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記投票テンプレート準備手段は、人の頭部形状を異なる複数の形状モデル形状で近似し、各形状モデルの形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該形状モデルの形状毎に投票空間を生成し、前記投票処理手段は、該形状モデル毎に投票空間上の各セルに投票処理を行うものである。
【0029】
上記構成においては、複数の形状モデルとそれらに対応する投票テンプレートと投票空間を備えることとしたので、異なる形状モデルを使用して人検出ができ、様々な頭部形状の検出をすることができる。
【0030】
請求項13の発明は、請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記検出した撮像画像上の頭部位置に頭部をモデル化した形状を投影して得られる投影像のサイズの画像を切出すものである。
【0031】
上記構成においては、撮像画像上の頭部サイズ毎に頭部画像の切り出しを行っているので、不要な背景部分の面積が少ない適切な大きさの切出し頭部画像が得られる。
【0032】
請求項14の発明は、請求項13記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記切出した画像を、予め頭部の向き毎に分類して記憶した頭部データと比較することにより、頭部の向きを識別して検出するものである。
【0033】
上記構成においては、検出された頭部画像を、頭部の向き毎にパターン認識できるので、頭部の位置と共に、頭部の向きも知ることができる。
【0034】
請求項15の発明は、請求項14記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記頭部の向きとして複数の候補が出力される時、前記切出した画像を予め決めた複数の小画像に分割し、分割した各小画像間の濃度分布の違いにより頭部の向きを決定するものである。
【0035】
上記構成においては、切出された頭部画像の濃度分布をより詳細に調べることができるので、頭部の向きを精度よく決定することができる。
【0036】
請求項16の発明は、請求項9記載の人の存在位置検出装置において、前記人存在位置検出手段は、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を、撮像装置から人までの距離と推定するものである。
【0037】
上記構成においては、撮像画像中での人の位置の検出だけでなく、実世界における、撮像装置から人までの距離を推定することができる。
【0038】
請求項17の発明は、請求項9記載の人の存在位置検出装置において、前記人存在位置検出手段は、前記検出した撮像画像上の頭部の位置及び撮像装置の焦点距離により撮像装置に対する人存在位置方向を求め、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を撮像装置から人までの距離と推定し、人の方向と人までの距離とにより、撮像装置に対する人の位置を求めるものである。
【0039】
上記構成においては、撮像画像中での人の位置の検出だけでなく、実世界における、撮像装置から人までの距離及びその方角が分かる。
【0040】
請求項18の発明は、請求項9又は請求項16に記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置の視線方向の空間を撮像装置から所定の距離毎にゾーン分けし、各ゾーン内での人の有無状態について前回検出時の結果と現在の検出結果とを比較し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも近いゾーンのときは人が近づいていると判定し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも遠いゾーンのときは人が遠ざかっていると判定し、現在検出した人が属するゾーンと前回検出した人が属するゾーンが同じときは人が止まっていると判定するものである。
【0041】
上記構成においては、撮像装置から所定の距離毎にゾーン分けして、各ゾーンにおける人の有無の比較により、人が撮像装置に向かって近付いて来ているのか、遠ざかっているのかの人の動きを知ることができる。
【0042】
請求項19の発明は、請求項17記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、各エリアを、人を検出したエリアと、未確認のエリアと、人が居ないエリアに分類して人の存在位置を検出するものである。
【0043】
上記構成においては、人の存在マップを作成し、実世界における人を検出したエリア、未確認のエリア、人がいないエリアを区別して撮像装置からの人の存在を知ることができるので、人に衝突しない高度な移動制御を行う自律移動装置の制御に応用できる。
【0044】
請求項20の発明は、請求項17記載の人の存在位置検出装置において、前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、人を検出した位置を該マップ上の対応する位置に登録すると共に、該検出した人の頭部の切出し画像を検出位置と関係付けして記憶し、前回検出時点のマップと現時点のマップとを比較し、前回検出時点での注目する人の検出位置から移動可能な範囲内に検出した現時点における人及びその検出位置を対応付けの候補とし、対応付け候補が1つの場合には対応付けして追跡し、対応付け候補が複数ある場合には、前回検出時点における人の検出位置と関係付けして記憶した頭部の切出し画像と、対応付け候補とされる人の頭部の切出し画像との画像相関を計算し、相関度の一番高い対応付け候補の人及びその検出位置を正しい対応付けとして追跡するものである。
【0045】
上記構成においては、検出した人を識別して追跡するので、人の動きを正確に知ることができる。
【0046】
請求項21の発明は、撮像装置で撮像した撮像画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する方法において、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備過程と、撮像装置から入力され、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶過程と、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成するエッジ画像データ生成過程と、前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成過程と、前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理過程と、投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出過程と、を備えた人の存在位置検出方法である。
【0047】
上記検出方法においては、人の位置を人の頭部の位置で代表させ、人の頭部モデルとして円または楕円など外側に凸な曲線で囲まれる簡単な図形の形状モデルを用い、いわゆるハフ変換により人の頭部を検出するので、簡単な投票処理によって人の存在位置検出ができる。また、ハフ変換の投票処理を、着目するエッジ画素の全方向にわたって行うことなく、注目エッジ画素における濃度勾配方向に基づきエッジ画素の両側方向のみについて行うので、投票処理量が少なく、高速な人検出処理を実現することができる。また、撮像装置から特定の検出距離範囲内の人の頭部の大きさのみを検出対象とする投票テンプレートを用いるので、検出距離の推定ができると共に撮像画像上で信頼性の高い人の頭部検出を行うことができる。
【0048】
請求項22の発明は、請求項17乃至請求項19のいずれかに記載の人の存在位置検出装置を用いて検出された人の位置情報を利用して移動の制御をする自律移動装置である。
【0049】
上記構成においては、撮像装置を自律移動装置に搭載し、人の存在位置検出装置を用いて人を検出し、自律移動装置周辺の人の位置を認識した上で、自律移動装置を移動する制御が行えるので、人の存在に適応して人を回避する動作や人に通路を譲る退避動作を実現することができる。
【0050】
【発明の実施の形態】
以下、本発明の一実施形態に係る人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置について、図面を参照して説明する。図1は人の存在位置検出装置のブロック構成を示す。人の存在位置検出装置は、撮像装置2で撮像した画像を人の存在位置検出装置本体1において画像処理し、人の頭部画像を抽出することにより人の存在及びその位置を検出して、その結果を例えば警報発生手段9を用いて外部に警報音として出力する。人の頭部画像を抽出する方法には一般化ハフ変換を応用した方法が用いられる。
【0051】
人の存在位置検出処理の概要を説明する。撮像装置2から入力された画像は、撮像画像データ記憶手段3においてアナログ画像からデジタル画像にA/D変換された撮像画像としてメモリに記憶される。次に、エッジ画像データ生成手段4において、撮像画像が画像濃度について微分処理され、微分強度値が所定のしきい値以上の点がエッジ画素として抽出され、抽出されたエッジ画素からなるエッジ画像が生成される。生成されたエッジ画像は、各エッジ画素点における濃度勾配方向のデータが付加されてメモリに記憶される。
【0052】
続いて、投票処理手段5では、投票テンプレート準備手段6で準備された各検出距離ごとの投票テンプレートを用いて、投票空間生成手段7で準備された投票空間に、一般化ハフ変換を応用した方法により、投票が行われる。次に、人存在位置検出手段8では、各検出距離範囲に対応する投票空間毎に、所定のしきい値以上の投票値を持つセルが検出され、検出されたセルの位置に対応する撮像画像上の位置に人頭部の存在が検出される。また、人存在位置検出手段8は、人の頭部が検出された投票空間に対応する検出距離範囲(ゾーン)の中央距離値を撮像装置から人までの距離として決定すると共に、そのゾーン番号を警報発生手段9に出力する。警報音発生手段9は、各ゾーン番号に対応した警報音を選択し警報音を発生させる。
【0053】
このような人の存在位置検出装置は、例えばエリアセンサとして用いることができる。図2はエリアセンサの概念を示す。人の存在位置検出装置の撮像装置2の視野前方の撮像エリアARが、撮像装置2の基準点Oからの距離L1〜L4によって複数の検出ゾーンZN1,ZN2,ZN3に分けられる。各ゾーン毎に人が検出されたときのエリアセンサとしての動作が設定される。例えば、各ゾーン毎の距離と緊急性に基づく動作として、第1ゾーンZN1では強い警報音発生、第2ゾーンZN2では中程度の警報音発生、第3ゾーンZN3では弱い警報音発生とすることができる。以下において、人存在位置検出装置の各構成手段毎に説明する。
【0054】
(撮像画像データ記憶手段とエッジ画像データ生成手段)
撮像画像データ記憶手段3及びエッジ画像データ生成手段4における処理を図3乃至図7により説明する。図3は撮像画像データ記憶手段3の処理フローを示す。撮像装置2によって撮像された画像のアナログ信号がA/D変換され、撮像画像P0が作成され(S101)、メモリに記憶される(S102)。図4(a)は撮像画像P0の例を示す。
【0055】
また、エッジ画像データ生成手段4において、撮像画像P0が微分処理され、図4(b)に示すエッジ画像P1が得られる。図5はエッジ画像生成のフローを示す。微分ステップ(S201)を説明する。撮像画像P0は濃淡画像である。この濃淡画像から人物の外郭や顔の輪郭等に相当する画素よりなるエッジ部を抽出するための微分処理は、「エッジは濃度変化が大きい部分に対応している」という考え方を基本にしている。微分処理は、図6に示すように、撮像画像P0を3×3画素の局所並列ウインドウW33によって水平方向x、上下方向yについてそれぞれ走査して行われる。局所並列ウインドウW33は、図7(a)に示すように、注目する画素I(i,j)=a5と、その画素a5の周囲の8画素(8近傍)a1〜a4,a6〜a9とから構成される。局所並列ウインドウW内33の各画素a1〜a9に対し、図7(b)に示すx方向微分オペレータOPxを作用させてx方向微分値Gx(i,j)を計算し、図7(c)に示すy方向微分オペレータOPyを作用させてy方向微分値Gy(i,j)を計算する。計算式は以下となる。ただし、以下において、引数i,jは一部省略している。
Gx=a3+2×a6+a9−a1−2×a4−a7
Gy=a1+2×a2+a3−a7−2×a8−a9
これらをもとに微分強度値J(i,j)と濃度勾配方向Ψ(i,j)が次式によって求められる。
J=sqr(Gx×Gx+Gy×Gy)
Ψ=arctan(Gy/Gx)
ここで、sqrは平方根演算、arctanは逆正接である。また、Gx又はGyが0のときの濃度勾配方向Ψは、Gx=0、Gy>0のときΨ=90゜、Gx=0、Gy<0のときΨ=270゜、Gy=0、Gx>0のときΨ=0゜、Gy=0、Gx<0のときΨ=180゜である。以上の処理が微分ステップ(S201)で行われる。
【0056】
続いて、各画素における微分強度値J(i,j)が所定のしきい値と比較され、所定のしきい値以上の微分強度値を有する画素I(i,j)がエッジ画素として抽出される(S202でYes)。メモリ上のエッジ画素位置には濃度勾配方向Ψ(i,j)データが保管される(S203)。撮像画像P0の全ての画素について微分処理が行われた後(S204でYes)、エッジ画像P1としてメモリに記憶される(S205)。
【0057】
(投票テンプレート準備手段)
投票テンプレート準備手段6における処理を図8乃至図17により説明する。図8は人頭部の形状モデルを示す。撮像画像中において人の頭部画像を抽出し、撮像画像中における人の存在及びその位置を検出するために、人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似する。例えば、図8(a)の三角型T1、図8(b)の四角型T2、図8(c)の楕円型T3、図8(d)の円型T4が形状モデルとして用いられる。各凸形状モデルの内部には、例えば図形の重心点に、代表点Gが定められている。
【0058】
これらの形状モデルのサイズについて説明する。図9は実物人間と画像中の人との寸法関係を示す。撮像装置のレンズの焦点距離fと、撮像装置から検出対象とする人までの検出距離Lと、実世界の人頭部の標準サイズ(頭部幅Dと頭部高H)とに基づいて、撮像画像中の人の頭部画像の輪郭の大きさ(頭部幅dと頭部高h)が決定される。実世界の人頭部の標準サイズにサイズ範囲と検出距離Lの幅を考慮して前記形状モデルの標準サイズ及びサイズ範囲が予め決定される。
【0059】
形状モデルから作成される投票テンプレートについて説明する。図10(a)(b)は三角型形状モデルT1による投票テンプレートを示す。図10(a)に示すように、標準サイズの形状モデルT10を構成する境界曲線上の各点に、例えば各点における接線方向と直交する方向(法線方向)であって、形状モデルの内部(前記凸な曲線で囲まれる内部側)方向に、濃度勾配方向ベクトルNが定義される。濃度勾配方向ベクトルNは、例えば画像上の水平方向xを基準とする濃度勾配方向Ψによって特定される。また、形状モデルの内部に定められた代表点Gに形状モデルの標準サイズに対応する投票部Vp0が設けられる。また、図10(b)に示すように、形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線rの線上であって代表点Gの前又は後に前記サイズ範囲に対応する投票部Vp1,Vp2が設けられる。これらの投票部Vp1,Vp2は、標準サイズの形状モデルT10よりも、小さい形状モデルT11及び大きい形状モデルT12に対しても同時に投票可能とし、標準サイズ範囲からの変動を吸収するための投票部である。このように、形状モデルに濃度勾配方向Ψと投票部Vp0,Vp1,Vp2を備えた投票テンプレートが、各標準形状モデル毎に作成されてメモリに参照可能に準備される。このような投票部は、形状モデルのサイズ範囲が大きい場合には、必要に応じて代表点方向線rの線上にさらに多数設けることができる。
【0060】
明暗反転した画像に対応した投票テンプレートについて説明する。図11及び図12は人頭部の画像濃度が反転した場合の投票テンプレートを示す。投票テンプレートは、後述するようにエッジ画像の画素点における濃度勾配方向と投票テンプレートの濃度勾配方向とを互いに参照して用いられる。濃度勾配方向ベクトルNは、図11(a)に示すように、エッジ画像の各エッジ画素pxにおいて濃度レベルの低い画像部分つまり暗い画像部分A2から濃度レベルの高い画像部分つまり明るい画像部分A1に向かうベクトルNとして定義される。ところで、人頭部画像が撮像されるときの照明の具合によって、人頭部に対する濃度勾配方向が頭部内向きの場合と頭部外向きの場合が生じる。例えば、背景に対し頭部が明るい場合(撮像モードpとする)、図11(b)に示すように濃度勾配方向ベクトルN1,N2は内向きとなり、背景に対し頭部が暗い場合(撮像モードqとする)、図11(c)に示すように濃度勾配方向ベクトルNは外向きとなる。
【0061】
このような、2種類の頭部画像に対応できるように、投票部を設けることで人頭部検出の効率を上げることができる。その方法を説明する。標準サイズの形状モデルの境界曲線上の各点に対して、例えば図11(b)の形状モデルTp上の点Pに定義した濃度勾配方向ベクトルN1と逆方向の濃度勾配方向ベクトルN2を有する前記境界曲線上の他の点Qを、互いに共役な共役点として定義する。そして、互いに共役な点の一方の点Qが形状モデルの内部に有する投票部Vp2と同じ相対位置関係を保って、前記互いに共役な点の他方の点Pが形状モデルTpの外部にさらに投票部を備えるようにする。このようにして、明暗反転した画像に対応した投票部を備えた投票テンプレートが図12に示されている。濃度勾配方向Ψ、Φはそれぞれ撮像モードp、qに対する投票テンプレートの濃度勾配方向に対応し、図11(b)のVp1,Vp2はそれぞれ図12のVp、Vqに対応する。
【0062】
濃度勾配方向の変動への対処について説明する。図13は2次元的な投票部を備えた投票テンプレートを示す。投票テンプレートは、エッジ画像の画素点における濃度勾配方向と投票テンプレートの濃度勾配方向とを互いに参照して用いられるので、エッジ画素の濃度勾配方向が頭部画像における頭部輪郭から想定される本来の濃度勾配方向とずれが生じた場合に、そのずれを吸収する投票部を設けることで信頼性の高い検出ができる。そのような投票部として、図13(a)に示されるように、投票テンプレートの代表点近傍であって代表点方向線rの両側にさらに投票部を備える。図の例の場合、形状モデルの境界曲線上の各点に対し、9つの投票部Vp0〜Vp8を形状モデルの内部に、また9つの投票部Vq0〜Vq8を形状モデルの外部に備えている。図13(b)は、追加した投票部が濃度勾配方向の変動を吸収する様子を示す。
【0063】
投票テンプレート表について説明する。図14は投票部の座標を示し、図15及び図16は投票テンプレート表を示す。投票テンプレートの濃度勾配方向と、エッジ画像の画素点における濃度勾配方向との比較参照を容易とするために投票テンプレート表を準備する。投票テンプレート表は、図14(a)(b)に示すように、形状モデルの境界曲線上の各点に対する投票部Vp,Vqの相対位置Δxp、Δyp、Δxq、Δyq(引数省略)を、各点における濃度勾配方向Ψ、Φをインデックスとして、表形式でメモリに記憶したものである。
【0064】
次に、形状モデルの種類とこれらの形状モデルに基づく投票テンプレートについて説明する。図17は本発明で用いられる形状モデルの種類の例を示す。形状モデルの種類としては、前述した形状の種類T1〜T4以外に、各検出距離範囲のゾーンZN1,ZN2,ZN3毎の標準サイズ、及び頭を傾けた左傾きと右傾きの形状モデルが用いられる。投票テンプレート準備手段は、撮像装置から検出対象とする人までの検出距離範囲を任意に複数設定して検出距離範囲毎の形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備する。投票空間生成手段は、前記検出距離範囲毎に投票空間を生成し、投票処理手段は、各検出距離範囲に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行う。また、人存在位置検出手段は、各検出距離範囲に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させる。多くの人の中から、撮像装置から特定の距離範囲に居る人のみ選択して検出することができる。
【0065】
また、投票テンプレート準備手段は、形状モデルのサイズ範囲が所定値以上の場合、サイズ範囲が所定値以下となるように人の検出距離範囲を分割し(上記までの説明では全体の分割範囲は3つであった)、該分割された範囲毎に形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備することとし、投票空間生成手段は、該分割された検出距離範囲毎に投票空間を生成し、投票処理手段は、該分割された検出距離範囲毎に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行う。人を検出しようとする範囲が広くてサイズ範囲が大きくなった場合、形状モデルのサイズ範囲に対応して投票テンプレートの投票部が長くなり、間違った投票により偽の投票値が高いセルを作る誤検出発生の可能性が高くなる。人の存在する範囲を分割して形状モデルのサイズ範囲を所定値以下とすることにより、特定の大きさの頭部のみを検出することができ検出精度を高くすることができる。
【0066】
また、投票テンプレート準備手段は、人の頭部形状を同一の形状モデルで姿勢が異なる複数の形状で近似し、上述の頭を傾けた左傾きと右傾きの形状モデルのように、各姿勢の形状毎に投票テンプレートを準備し、投票空間生成手段は、各姿勢の形状毎に投票空間を生成し、投票処理手段は、各姿勢の異なる形状毎に投票空間上の各セルに投票処理を行う。姿勢の異なる形状モデルごとに検出を行うため、傾いた頭部も検出することができる。
【0067】
また、投票テンプレート準備手段は、人の頭部形状を異なる複数の形状モデル形状で近似し、各形状モデルの形状毎に投票テンプレートを準備し、前記投票空間生成手段は、該形状モデルの形状毎に投票空間を生成し、前記投票処理手段は、該形状モデル毎に投票空間上の各セルに投票処理を行う。異なる形状モデルを使用して検出するため、様々な頭部形状の検出をすることができる。
【0068】
(投票空間生成手段と投票処理手段)
投票空間とその生成について、及び撮像画像・エッジ画像との関係について説明する。図18はエッジ画素及び投票セルの座標の関係を示す。投票空間生成手段は、図18に示すように撮像画像P0及びエッジ画像P1の各画素位置と対応する位置に投票セルVCを有する投票空間P2を生成しメモリに記憶する。投票空間P2は投票テンプレートの種類に応じて複数生成される。
【0069】
投票と集計処理について説明する。投票処理手段は、エッジ画像P1上の各エッジ画素上に、そのエッジ画素に付加した濃度勾配方向ベクトルN1に対応する濃度勾配方向ベクトルN2を有する前記投票テンプレートの境界曲線上の点を重ね、このとき投票テンプレートの投票部が位置するエッジ画像P1上の画素位置に対応する投票空間P2の投票用セルVp,Vqに投票してメモリに記憶し、これらのことを各エッジ画素毎に行い、投票空間の各セルの投票値を集計する。図19は投票して集計された投票空間における投票値の分布を示す。投票処理手段は、複数種類の投票テンプレートを用いる場合、各投票テンプレート毎に設けた投票空間に対してこれらの投票及び集計処理を行う。
【0070】
投票に際してエッジ画素列のなす曲率を利用することについて説明する。図20は曲率中心方向と投票部の関係を示す。投票処理手段は、エッジ画像の各エッジ画素について、注目するエッジ画素pxとその近傍の複数のエッジ画素からなる輪郭の曲率を求めて曲率中心の存在する方向ρを判定し、注目するエッジ画素pxに対する投票に際し、曲率中心の存在する方向ρの投票部Vの位置に対応する投票空間の投票用セルに投票する。人画像の輪郭から生成したエッジ画素からなる輪郭の曲率中心は、人頭部の画像の濃淡モードによらず頭部画像中心方向を向くので、投票処理を有効な片側にのみ行うことができる。
【0071】
(人存在位置検出手段と警報音発生手段)
人存在ゾーンの判定について説明する。図21は投票が行われた各ゾーン毎の投票空間、図22は投票空間における人検出と現実空間のゾーンとの関係を示す。人存在位置検出手段は、投票が行われた投票空間P21,P22,P23で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する。図21の場合、投票空間P22におけるセルC5が人の頭部を示しているとされ、その座標x2,y2が同じく撮像画像上の位置座標とされる。撮像画像中に検出された人頭部、したがって検出された人の実世界における存在位置は、人頭部画像が投票空間P22において検出されたことにより、図22に示される検出距離範囲の区分による第2ゾーンZN2とされる。この場合、撮像装置から人までの距離としてゾーン境界距離L2,L3の平均値(検出距離範囲の中央の位置)LZ2=(L2+L3)/2が用いられる。
【0072】
所定値以上の投票値を有する被投票セルが特定範囲内に分布している場合について説明する。図23は投票値の山が複数の峯を持つ場合を示す。人存在位置検出手段は、図に示すように検出した所定のしきい値以上の投票値を有するセルC6が複数の峯を有する塊に分れている場合には、塊間の距離を調べ、該距離が所定範囲内に存在する場合には全体をグループ化して1つに統合し、統合した塊の代表点に対応する撮像画像上の位置(x3,y3)を人の頭部位置として検出する。所定のしきい値以上の投票値を持つセルを統合することにより、投票が分散してしまった場合でも、正しく輪郭モデルを検出し、人の頭部位置を精度良く検出することができる。
【0073】
人存在位置検出手段は、分割された検出範囲毎に設けられた投票空間の各投票空間毎に、所定のしきい値以上の投票値を有するセルを検出し、該検出したセルに対応する画像上の位置を人の頭部候補位置として検出する。その後、人存在位置検出手段は、各分割された検出範囲ごとの投票空間で検出された頭部候補位置間の距離を調べ、該距離が所定範囲内に存在する場合にはグループ化して統合し、統合された頭部候補の代表点に対応する画像上の位置を人の頭部位置とする。各検出範囲ごとに得られた結果を統合することにより、信頼性の高い検出を行うことができる。
【0074】
人存在位置検出手段は、人の存在位置の検出処理を撮像装置に近い側の検出範囲から遠い側の検出範囲の順に処理し、人の頭部位置が検出されると、検出された撮像画像上の位置周囲の所定の範囲は検出終了領域として記憶し、撮像装置から遠い側の検出範囲の処理を行う場合に、該検出終了領域は検出処理を行わないこととしてもよい。撮像画像上で頭部が大きく投影されることになる、撮像装置から近い側の検出距離範囲の処理を行って頭部が検出されると、撮像画像におけるその部分では、より遠方の人は、検出された画像の背後となるため人検出の可能性はなく、検出を止めることにより処理量を減らして高速な処理を実現することができる。
【0075】
検出距離範囲と警報音発生について説明する。図24は警報音発生手段の処理フローを示す。警報音発生手段は、各ゾーンごとの距離と緊急性に基づく動作として、第3ゾーンZN3では弱い警報音(S302)、第2ゾーンZN2では中程度の警報音(S304)、第1ゾーンZN1では強い警報音発生(S306)を行う。
【0076】
(距離センサを併用する人の存在検出装置)
距離センサと人の存在位置検出装置との組合せについて説明する。図25は検出装置のブロック構成を示す。人の存在位置検出装置に距離センサを併用することで、より効率的な動作を実現することができる。撮像装置2の近傍、例えばその上部に縦に並べて設置した距離センサ10により物体までの距離が計測される。その計測結果に基づきゾーン選択手段11で、各ゾーンZN1,ZN2,ZN3の中から検出距離範囲が選択されると共に、頭部画像のサイズを決定される。決定された頭部画像サイズに対応する投票テンプレートを用いて、選択されたゾーンについてのみ投票空間を生成し、以降の投票等の処理が進められる。投票による人存在位置検出処理の回数は、通常、(ゾーン数)×(頭部形状数)×(頭部姿勢数)回必要であるが、距離センサを用いることによって、(頭部形状数)×(頭部姿勢数)回となり、1/(ゾーン数)に処理回数を減らすことができる。このような処理を行うために、投票テンプレート準備手段は、予め撮像装置から人までの距離毎に投票テンプレートのデータを保管し、投票処理手段は、検出対象までの距離を測定する距離センサの距離測定結果に基づいて前記投票テンプレートのデータを参照して投票テンプレートを設定して投票する。撮像装置から人までの距離を距離センサにより求めた上で、画像上で検出する頭部のサイズを限定して検出を行うので、信頼性の高い検出を行うことができる。
【0077】
(自律移動装置の移動制御)
人の存在位置検出装置の自律移動装置への適用について説明する。図26は当該自律移動装置の外観図、図27はそのブロック構成を示す。自律移動装置12は、障害物や人M1,M2,M3を検知し、障害物や人に対して回避・停止や警報音発生等を行いながら自らその移動を制御しつつ、物品搬送や人の引率等を行う装置である。自律移動装置12は、前方に撮像装置2aと人の存在位置検出装置本体1a、後方に撮像装置2bと人の存在位置検出装置本体1bを備えている。前方及び後方の人の存在位置検出装置本体1a、1bからの人検出結果の出力は、走行経路計画部101、車輪駆動制御部102に伝えられ、モータドライバ103により駆動モータ104が駆動されて、自律移動の動作が行われる。また、駆動モータ104の回転数がエンコーダ105により計測され、移動距離計測部106により走行距離及び走行速度が求められて車輪駆動制御部102にフィードバックされる。
【0078】
(人存在方向の検出)
検出した人の存在方向決定について説明する。図28はその決定方法を示す。人存在位置検出手段は、検出した撮像画像上の頭部の位置b及び撮像装置の焦点距離fにより撮像装置2に対する人存在位置方向の角度φ=arctan(b/f)を求める。人の頭部位置検出に使用した投票空間(距離によって形状モデルのサイズが定まり、投票テンプレート及び対応する投票空間が定まっている)に対応する人の検出距離範囲の中央の位置、例えば人Mの検出された第3ゾーンZN3に対しLZ3=(L3+L4)/2、を撮像装置から人までの距離と推定する。このように、人Mの方向(角φ)と人までの距離(距離LZ3)とにより、実世界における撮像装置に対する人の位置を求めることができる。
【0079】
(人存在マップ、人接近・遠ざかり、及び追跡)
ゾーン(人検出距離範囲)間の人移動検出について説明する。図29は人存在位置の時間経過の例を示す。人存在位置検出手段は、撮像装置の視線方向の空間を撮像装置から所定の距離毎に、例えば遠距離の第3ゾーンZN3、中距離の第2ゾーンZN2、近距離の第1ゾーンZN1に分けて、各ゾーン内での人の有無状態について前回検出時刻t=T(−1)における検出結果と、次の検出時刻t=T(0)における検出結果と、その後の検出時刻t=T(+1)などのように、人の存在位置を時系列的に比較して人の実世界での移動を判定する。図29に示した例では、現在検出した人が属するゾーンZN1が前回検出した人が属するゾーンZN2よりも近いゾーンであるため人が近づいていると判定される。また、その後の時刻t=T(+1)に検出した人が属するゾーンZN2が現在検出した人が属するゾーンZN1がよりも遠いゾーンであるため、人が遠ざかっていると判定される。また、現在検出した人が属するゾーンと前回検出した人が属するゾーンが同じときは人が止まっていると判定される。なお、検出された人の同一性の同定、いわゆる追跡については後述される。
【0080】
実世界における人存在マップについて説明する。図30は人存在マップの意味付けを示す。人存在位置検出手段は、撮像装置2の位置を基準に、撮像装置2の視線方向の空間を複数の、例えば15×9の、エリアに分割した人存在マップ30を作成し、各エリアを、人を検出したエリア31と、人がいないエリア32と、未確認のエリア33とに分類して人の存在位置を検出する。このような人存在マップ30は、実世界において、例えば、自律移動装置を制御する時に人に衝突しない高度な移動制御に応用できる。
【0081】
人存在マップを用いた人の追跡について説明する。図31は人の追跡方法を示す。人存在位置検出手段は、上述したように人存在マップ30を作成し、人を検出した位置を人存在マップ30上の対応する位置E1,E2,E3に登録すると共に、検出した人の頭部の切出し画像を検出位置と関係付けして記憶する(切出し画像については後述)。そして、前回検出時刻t=T(−1)のマップと次の検出時刻t=T(0)のマップとを比較し、前回検出時点での注目する人の検出位置E1,E2,E3からそれぞれの移動可能な範囲AR1,AR2,AR3内に検出した現時点における人及びその検出位置F1,F2,F3を対応付けの候補とする。位置E1と位置F1のように対応付け候補が1つの場合には対応付けして追跡する。位置E2に対する位置F2,F3、位置E3に対する位置F2,F3のように対応付け候補が複数ある場合には、前回検出時点における人の検出位置と関係付けして記憶した頭部の切出し画像と、対応付け候補とされる人の頭部の切出し画像との画像相関を計算し、相関度の一番高い対応付け候補の人及びその検出位置を正しい対応付けとして追跡する。
【0082】
(検出した位置の頭部画像の検証)
撮像画像からの検出人頭部画像の切出しについて悦明する。図32は頭部画像の切出しを示す。人存在位置検出手段は、検出した撮像画像P0上の頭部位置に頭部をモデル化した形状を投影して得られる投影像のサイズ(頭部幅d、頭部高h)の画像を切り出す。切り出された画像40は、明るさ・大きさで正規化され、予め記憶した頭部・非頭部のデータと比較され、頭部の検出が検証される。投影像のサイズd,hは次のようにして求められる。人存在位置検出手段では、各検出距離範囲に対応する投票空間毎に、所定のしきい値以上の投票値を持つセルを検出し、検出したセルに対応する撮像画像P0上の位置を人の頭部位置候補として検出する。人の頭部候補が検出された投票空間に対応する検出距離の範囲の中央の位置が撮像装置から人候補までの距離、また、そのゾーン番号が人候補のいるゾーンの番号として出力される。例えば前出の図2に示されるように第3ゾーンZN3に人候補が存在する場合、人候補の検出範囲は撮像装置から近い側がL3、遠い側がL4であり、したがって、撮像装置から人候補までの距離はLZ3=(L3+L4)/2とされる。また、頭部画像サイズは、d=f・D/LZ3、h=f・H/LZ3となる。ここで、D,Hは検出に用いられた形状モデルの頭部標準サイズである。
【0083】
(パターン認識)
頭部標準画像と切出し画像とのパターンマッチングについて説明する。図33は頭部パターン空間、図34は頭部画像のパターン認識フローを示す。頭部画像のパターン認識を行うことで、検出した人の同一性判断とその人の移動追跡が可能となる。また、過誤検出防止が可能となる。頭部画像のパターン認識は、図33に示される予めメモリに学習保存したn次元パターン空間における頭部パターン部分空間HS0と頭部画像とを比較して行われる。まず、撮像エリアARにおけるゾーン番号mの検出距離範囲に対応する投票空間が処理の対象として選択される(S401)。投票空間の投票セルにおいて、所定しきい値以上の投票値がなければ次のセルの評価に進み(S402でNo)、所定しきい値以上の投票値があれば、そのセルにおいて人候補を検出したとして、人候補までの実世界における距離LZm=(L(m+1)+L(m))/2を計算する(S403)。次に、頭部画像サイズ、幅d=f・D/LZm、高さh=f・H/LZmを計算する(S404)。得られた頭部画像サイズd,hで頭部画像が撮像画像から切り出される(S405)。
【0084】
続いて、切り出された頭部画像をn次元パターン空間に移行するために正規化が行われる。正規化は、画像の大きさを予め決めた頭部標準画像サイズdn,hnに、画像濃度について濃度平均値と濃度分散値を予め決めた頭部標準画像サイズ内画素の濃度平均値Avと濃度分散値Varになるように行われる(S406)。正規化された頭部画像の各画素の値をベクトルの要素としてn(n=dn×hn)次元のベクトルを作成し、これを正規化頭部画像ベクトルVhnとする(S407)。次に、n次元パターン空間において、正規化された頭部画像ベクトルVhnが占める位置を調べ(S408)、予め多くの既知の正規化された頭部画像及び非頭部画像を用いてn次元のベクトル空間中に設けられた部分空間のうち、頭部パターン部分空間に正規化された頭部画像ベクトルVhnが含まれるか否かを調べる(S409)。頭部パターン部分空間に正規化された頭部画像ベクトルVhnが含まれていれば(S409でYes)、切出し画像を人頭部画像と判定し(S410)、頭部画像位置LZmを出力する(S411)。頭部パターン部分空間に正規化された頭部画像ベクトルVhnが含まれていなければ(S409でNo)、切出し画像は人頭部画像でないと判定する(S412)。以上の処理が全セルについて行われた後(S413)、次のゾーン番号(m+1)に対応する投票空間の処理が行われる(S414)。なお、ステップS403とS404はステップS401の直後に1回だけ処理するようにしてもよい。
【0085】
(平均値、分散値)
頭部画像の濃度平均値と分散値を用いた判定ついて説明する。図35は同判定のフローを示す。切り出された頭部画像の平均値Avxと分散値Varxと予め計算しておいた既知の頭部画像の平均値Avと分散値Varと比較する(S501)。切り出された頭部画像の平均値Avxと分散値Varxが所定の許容範囲α、β内、つまり、
Av−α<Avx<Av+α
Var−β<Varx<Var+β
のときに、切り出された画像は頭部画像であると判定する(S502でYes、S503)。このように、切り出された画像の明度の平均値・分散値を求め、これらの平均値・分散値と、予め設定した平均値・分散値のしきい値とを比較することにより、頭部の検出を検証することで、信頼性の高い頭部位置の検出ができる。
【0086】
(肌色)
頭部画像の肌色を用いた判定について説明する。図36は同判定のフローを示す。また、別の検証方法として、切り出された画像中に占める肌色画素の割合Sxと、予め求めておいた正面を向いた顔画像中に占める肌色画素の割合Skと比較する(S61)。肌色画素の割合Sxが所定の共用範囲γ内、つまり、
Sk−γ<Sx<Sk+γ
のときに、切り出された画像は正面向きの頭部画像であると判定する(S602でYes、S603)。このように、検出された頭部の画像を、切出された画像に含まれる肌色の割合を使って頭部かどうか検証することにより、信頼性の高い頭部位置の検出ができる。
【0087】
(頭部の向きの検出)
頭部パターン空間を用いた正面向き頭部でない頭部の検出について説明する。図37は頭部パターン空間を示す。前述のように、正規化された頭部画像の各画素の値をベクトルの要素としてn(n=dn×hn)次元のベクトルを作成し、これを正規化頭部画像ベクトルVhnとする。予め、多くの既知の正規化された正面頭部画像、左向き頭部画像、右向き頭部画像および非頭部画像を使って、n次元のベクトル空間中で正面頭部パターン部分空間HS0、左向き頭部パターン部分空間HSL、右向き頭部パターン部分空間HSRを学習しておき、人頭部検出時には、正規化された頭部画像ベクトルVhnが、いずれかの頭部パターン空間内に入るか否かで、切り出された頭部画像が確かに人の頭部かどうかの検証及び、頭部の向きの識別を行う。人の頭部であると検証されたとき、撮像画像上のこの頭部位置を撮像画像上の人の位置として出力すると共に、頭部の向きも出力する。
【0088】
(頭部の向きの決定)
頭部パターン空間を用いた頭部の向きの判定について説明する。図38は頭部パターン空間、図39は頭部画像の例を示す。人存在位置検出手段は、前記頭部の向きとして複数の候補が出力される時、前記切出した画像を予め決めた複数の小画像に分割し、分割した各小画像間の濃度分布の違いにより頭部の向きを決定する。図38に示すように、上述した頭部向き毎の頭部パターン部分空間HS0,HSL,HSRが重なり、さらに、正規化頭部画像ベクトルVhnが重なる空間に存在することになり、異なる頭部向きが同時に頭部向き候補として出力される場合がある。このような場合でも正しい頭部の向きを識別できるように、図39(a)に示すように、切り出した頭部画像40の中央に分割線41を引き、この分割線の両側の領域42、43について、各領域の濃度の総和の比を比較する。分割線左側の濃度の総和をSL,同右側の濃度の総和をSR、判定しきい値をth1,th2として、
th1≦SL/SR の場合は、右向き
th2<SL/SR<th1 の場合は、正面向き
SL/SR≦th2 の場合は、左向き
であるとして頭部向きを判定する。
【0089】
(人の存在及びその位置を検出する方法)
撮像装置で撮像した撮像画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する方法について説明する。図40は同検出方法のフローを示す。まず、投票テンプレート準備過程において投票テンプレートの準備が行われる(S701)。この投票テンプレート準備過程では、▲1▼人の頭部画像の形状を近時した外側に凸な曲線で囲まれる図形の形状モデルが準備され、▲2▼撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基いて撮像画像上における人の頭部画像の輪郭の大きさが推定され、▲3▼前記形状モデルの標準サイズ及びサイズ範囲が決められる。また、▲4▼標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向が定義され、▲5▼該形状モデルの内部に代表点が定義され、▲6▼該代表点に該形状モデルの標準サイズに対応する投票部が備えられる。さらに、▲7▼形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部が備えられる。▲8▼また、濃度反転した頭部画像に対応するための投票部を形状モデルの境界曲線上の外部にも備えて、形状モデルの内部と外部の一対の投票部とすることもできる。このようにして、検出が想定される人の検出距離範囲及び人頭部の形状モデル毎に、標準サイズの形状モデルが準備され、そのそれらの標準形状モデルに濃度勾配方向と複数の投票部を備えた投票テンプレートが作成され、参照可能にメモリに記憶・準備される。
【0090】
また、投票空間生成過程において、撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間が生成されメモリに記憶される(S702)。
【0091】
次に、撮像画像データ記憶過程において、撮像装置から入力されデジタル化された撮像画像がメモリに記憶される(S703)。次に、エッジ画像データ生成過程において、前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部が微分処理により抽出され、所定の微分強度以上となる画素がエッジ画素として抽出されると共に、撮像画像から算出された濃度勾配方向が、抽出された各エッジ画素毎に付加されてエッジ画像が生成される(S704)。
【0092】
次に、投票処理過程において、▲1▼準備された投票テンプレートの内のまず1つが選択され、▲2▼エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する投票テンプレートの境界曲線上の点が重ねられ、▲3▼このとき投票テンプレートの投票部が位置する投票空間の投票用セルに投票されメモリに記憶される。▲4▼全てのエッジ画素について投票処理が行われる。次に、▲5▼他の投票テンプレートが選択され、その投票テンプレートに対応する投票空間に前記と同じ投票処理が行われる。▲6▼このような投票処理が、全ての投票テンプレートについて行われる。また、各投票に際し、投票空間の各セルの投票値が集計される(S705)。
【0093】
次に、人存在位置検出過程において、▲1▼投票が行われた各投票空間で所定のしきい値以上の投票値を有するセルが検出され、▲2▼所定量の投票値が検出されたセルに対応する撮像画像上の位置が撮像画像上における人の頭部位置として検出される(S706)。
【0094】
上述の一連の人の存在位置検出過程が終了した後、再度検出を行う場合(S707でNo)、ステップS703から上記過程が繰り返して行われる。
【0095】
この方法は、従来の着目するエッジ画素の全方向に亘って投票を行うハフ変換の投票処理と異なり、各エッジ画素の片側方向の領域にのみ若しくは両側方向の領域のみについて投票を行うため、処理量が少なく高速な処理を実現することができる。撮像装置から特定の範囲内の人の頭部の大きさのみを検出対象とするため、信頼性の高い人の頭部検出を行うことができる。
【0096】
なお、本発明は、上記構成に限られることなく種々の変形が可能である。例えば、上記説明では、投票空間の投票セルと撮像画像及びエッジ画像の画素は1対1に対応しているとしているが、1つの投票セルに複数の画素を対応させるようにしてもよい。
【図面の簡単な説明】
【図1】本発明の一実施形態による人の存在位置検出装置のブロック構成図。
【図2】同装置を応用したエリアセンサの概念図。
【図3】同装置の撮像画像データ記憶手段の処理フロー図。
【図4】(a)は撮像画像図、(b)は同エッジ画像図。
【図5】本発明の一実施形態によるエッジ画像データ生成手段におけるフロー図。
【図6】撮像画像の座標図。
【図7】(a)は3×3画素局所ウインドウの図、(b)はx方向微分オペレータの図、(c)はy方向微分オペレータ図。
【図8】(a)〜(d)は本発明の一実施形態による人頭部の形状モデルを示す図。
【図9】実世界の人と画像中の人との寸法関係を示す図。
【図10】(a)(b)は本発明の一実施形態による投票テンプレートの図。
【図11】(a)は濃度勾配方向を説明する図、(b)(c)は本発明の一実施形態による投票テンプレートの図。
【図12】本発明の一実施形態による投票テンプレートの図。
【図13】本発明の一実施形態による投票テンプレートの図。
【図14】(a)(b)は本発明の一実施形態による投票テンプレートの投票部の座標を示す図。
【図15】本発明の一実施形態による投票テンプレート表の図。
【図16】本発明の一実施形態による投票テンプレート表の図。
【図17】本発明の一実施形態による形状モデルの種類を示す図。
【図18】(a)は本発明の一実施形態によるエッジ画像図、撮像空間、投票空間の関係図、(b)はエッジ画像の図、(c)は投票空間の図。
【図19】本発明の一実施形態による投票空間における投票値の分布図。
【図20】(a)(b)は本発明の一実施形態による曲率半径方向と投票部の関係を示す図。
【図21】本発明の一実施形態による投票後のゾーン毎の投票空間の図。
【図22】本発明の一実施形態による現実空間のゾーンの図。
【図23】投票値の山が複数の峯を持つ場合を示す図。
【図24】本発明の一実施形態による警報音発生手段の処理フロー図。
【図25】本発明の一実施形態による検出装置のブロック構成図。
【図26】本発明の一実施形態による自律移動装置の外観図。
【図27】同上自律移動装置ののブロック構成図。
【図28】本発明の一実施形態による撮像装置と人の存在方向決定を説明する図。
【図29】本発明の一実施形態による人存在位置の時間経過を示す図。
【図30】本発明の一実施形態による人存在マップ図。
【図31】(a)(b)は本発明の一実施形態による人存在マップ図。
【図32】(a)は撮像画像図、(b)は切出し頭部画像図。
【図33】n次元パターン空間の図。
【図34】本発明の一実施形態による頭部画像のパターン認識フロー図。
【図35】本発明の一実施形態によるは頭部画像判定のフロー図。
【図36】本発明の一実施形態によるは頭部向き判定のフロー図。
【図37】n次元パターン空間の図。
【図38】n次元パターン空間の図。
【図39】(a)〜(b)は頭部画像の図。
【図40】本発明の一実施形態による人の存在位置検出方法のフロー図。
【符号の説明】
1 人の存在位置検出装置本体
2 撮像装置
3 撮像画像データ記憶手段
4 エッジ画像データ生成手段
5 投票処理手段
6 投票テンプレート準備手段
7 投票空間生成手段
8 人存在位置検出手段
9 警報発生手段
12 自律移動装置
30 人存在マップ
31 人を検出したエリア
32 人がいないエリア
33 未確認のエリア
G 代表点
P,Q 共役点
P0 撮像画像
P1 エッジ画像
P2 投票空間
r 代表点方向線
T 投票テンプレート
T1〜T4 形状モデル
V,Vp,Vp0〜Vp8、Vq0〜Vq8 投票部
VC 投票セル
Ψ,Φ 濃度勾配方向

Claims (22)

  1. 撮像装置で撮像した画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する装置において、
    人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、
    該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備手段と、
    撮像装置から入力された画像をデジタル化し、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶手段と、
    前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成しメモリに記憶するエッジ画像データ生成手段と、
    前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成手段と、
    前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理手段と、
    投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出手段と、を備えたことを特徴とする人の存在位置検出装置。
  2. 前記投票テンプレート準備手段は、前記標準サイズの形状モデルの境界曲線上の各点に対し、該点に定義した濃度勾配方向と逆方向の濃度勾配方向を有する前記境界曲線上の点を互いに共役な共役点として定義し、互いに共役な点の一方が前記形状モデルの内部に有する投票部と同じ相対位置関係を保って、前記互いに共役な点の他方が前記形状モデルの外部にさらに投票部を備えたことを特徴とする請求項1記載の人の存在位置検出装置。
  3. 前記投票テンプレート準備手段は、前記人の頭部画像の形状を近似する外側に凸な曲線として円又は楕円からなる形状モデルを用いたことを特徴とする請求項1記載の人の存在位置検出装置。
  4. 前記投票処理手段は、エッジ画像の各エッジ画素について、注目するエッジ画素とその近傍の複数のエッジ画素からなる輪郭の曲率を求めて曲率中心の存在する方向を判定し、前記注目するエッジ画素に対する前記投票に際し、前記曲率中心の存在する方向の投票部位置に対応する投票空間の投票用セルに投票することを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  5. 前記投票テンプレート準備手段は、投票テンプレートの代表点近傍であって前記代表点方向線の両側にさらに投票部を備えたことを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  6. 前記投票テンプレート準備手段は、形状モデルの境界曲線上の各点に対する投票部の相対位置を、該各点における濃度勾配方向をインデックスとして、表形式でメモリに記憶することを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  7. 前記投票テンプレート準備手段は、予め撮像装置から人までの距離毎に投票テンプレートのデータを保管し、
    前記投票処理手段は、検出対象までの距離を測定する距離センサの距離測定結果に基づいて前記投票テンプレートのデータを参照して投票テンプレートを設定し、投票することを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  8. 前記人存在位置検出手段は、検出した所定のしきい値以上の投票値を有するセルが複数の塊に分れている場合には、塊間の距離を調べ、該距離が所定範囲内に存在する場合にはグループ化して統合し、統合された塊の代表点に対応する撮像画像上の位置を人の頭部位置として検出することを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  9. 前記投票テンプレート準備手段は、撮像装置から検出対象とする人までの検出距離範囲を任意に複数設定して検出距離範囲毎の形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを準備し、
    前記投票空間生成手段は、前記検出距離範囲毎に投票空間を生成し、
    前記投票処理手段は、各検出距離範囲に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、
    前記人存在位置検出手段は、各検出距離範囲に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させることを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  10. 前記投票テンプレート準備手段は、形状モデルのサイズ範囲が所定値以上の場合、該サイズ範囲が所定値以下となるように人の検出距離範囲を分割し、該分割された範囲毎に形状モデルの標準サイズとサイズ範囲及びこれらに基づく投票テンプレートを持ち、
    前記投票空間生成手段は、該分割された検出距離範囲毎に投票空間を生成し、
    前記投票処理手段は、該分割された検出距離範囲毎に対応する投票テンプレート毎に検出距離範囲が対応する投票空間に対し上記投票処理を行い、
    前記人存在位置検出手段は、該分割された検出距離範囲毎に対応する投票空間中で所定しきい値以上の投票値を有するセルを検出すると、人存在位置をそれらの検出距離範囲に対応させることを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  11. 前記投票テンプレート準備手段は、人の頭部形状を同一の形状モデルで姿勢が異なる複数の形状で近似し、各姿勢の形状毎に投票テンプレートを準備し、
    前記投票空間生成手段は、該姿勢の形状毎に投票空間を生成し、
    前記投票処理手段は、該姿勢の異なる形状毎に投票空間上の各セルに投票処理を行うことを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  12. 前記投票テンプレート準備手段は、人の頭部形状を異なる複数の形状モデル形状で近似し、各形状モデルの形状毎に投票テンプレートを準備し、
    前記投票空間生成手段は、該形状モデルの形状毎に投票空間を生成し、
    前記投票処理手段は、該形状モデル毎に投票空間上の各セルに投票処理を行うことを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  13. 前記人存在位置検出手段は、前記検出した撮像画像上の頭部位置に頭部をモデル化した形状を投影して得られる投影像のサイズの画像を切出すことを特徴とする請求項1乃至請求項3のいずれかに記載の人の存在位置検出装置。
  14. 前記人存在位置検出手段は、前記切出した画像を、予め頭部の向き毎に分類して記憶した頭部データと比較することにより、頭部の向きを識別して検出することを特徴とする請求項13記載の人の存在位置検出装置。
  15. 前記人存在位置検出手段は、前記頭部の向きとして複数の候補が出力される時、前記切出した画像を予め決めた複数の小画像に分割し、分割した各小画像間の濃度分布の違いにより頭部の向きを決定することを特徴とする請求項14記載の人の存在位置検出装置。
  16. 前記人存在位置検出手段は、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を、撮像装置から人までの距離と推定することを特徴とする請求項9記載の人の存在位置検出装置。
  17. 前記人存在位置検出手段は、前記検出した撮像画像上の頭部の位置及び撮像装置の焦点距離により撮像装置に対する人存在位置方向を求め、人の頭部位置検出に使用した投票空間に対応する人の検出距離範囲の中央の位置を撮像装置から人までの距離と推定し、人の方向と人までの距離とにより、撮像装置に対する人の位置を求めることを特徴とする請求項9記載の人の存在位置検出装置。
  18. 前記人存在位置検出手段は、撮像装置の視線方向の空間を撮像装置から所定の距離毎にゾーン分けし、各ゾーン内での人の有無状態について前回検出時の結果と現在の検出結果とを比較し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも近いゾーンのときは人が近づいていると判定し、現在検出した人が属するゾーンが前回検出した人が属するゾーンよりも遠いゾーンのときは人が遠ざかっていると判定し、現在検出した人が属するゾーンと前回検出した人が属するゾーンが同じときは人が止まっていると判定することを特徴とする請求項9又は請求項16に記載の人の存在位置検出装置。
  19. 前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、各エリアを、人を検出したエリアと、未確認のエリアと、人が居ないエリアに分類して人の存在位置を検出することを特徴とする請求項17記載の人の存在位置検出装置。
  20. 前記人存在位置検出手段は、撮像装置位置を基準に、撮像装置の視線方向の空間を複数のエリアに分割した人存在マップを作成し、人を検出した位置を該マップ上の対応する位置に登録すると共に、該検出した人の頭部の切出し画像を検出位置と関係付けして記憶し、前回検出時点のマップと現時点のマップとを比較し、前回検出時点での注目する人の検出位置から移動可能な範囲内に検出した現時点における人及びその検出位置を対応付けの候補とし、対応付け候補が1つの場合には対応付けして追跡し、
    対応付け候補が複数ある場合には、前回検出時点における人の検出位置と関係付けして記憶した頭部の切出し画像と、対応付け候補とされる人の頭部の切出し画像との画像相関を計算し、相関度の一番高い対応付け候補の人及びその検出位置を正しい対応付けとして追跡することを特徴とする請求項17記載の人の存在位置検出装置。
  21. 撮像装置で撮像した撮像画像から人の頭部画像を抽出することにより人の存在及びその位置を検出する方法において、
    人の頭部画像の形状を外側に凸な曲線で囲まれる図形の形状モデルで近似すると共に、撮像装置のレンズの焦点距離と撮像装置から検出対象とする人までの検出距離と人の頭部の標準サイズとに基づき決定される人の頭部画像の輪郭の大きさの範囲を推定して前記形状モデルの標準サイズ及びサイズ範囲を予め決定しておき、
    該標準サイズの形状モデルの境界曲線上の各点に濃度勾配方向を定義し、該形状モデルの内部に代表点を定義し、該代表点に該形状モデルの標準サイズに対応する投票部を備えると共に形状モデルの境界曲線上の注目する点から代表点を結ぶ線として定義される代表点方向線の線上であって前記代表点の前又は後に前記サイズ範囲に対応する投票部を備えて、該標準サイズの形状モデルの境界曲線により作成した投票テンプレートを参照可能に準備する投票テンプレート準備過程と、
    撮像装置から入力され、デジタル化された撮像画像をメモリに記憶する撮像画像データ記憶過程と、
    前記撮像画像に対し人物の外郭や顔の輪郭等に相当する画素からなるエッジ部を抽出するための微分処理を施し、所定の微分強度以上となる画素をエッジ画素として抽出すると共に、前記撮像画像から濃度勾配方向を算出し、抽出した各エッジ画素毎に濃度勾配方向データを付加したエッジ画像を生成するエッジ画像データ生成過程と、
    前記撮像画像及びエッジ画像の各画素位置と対応する位置に投票用セルを有する投票空間を生成しメモリに記憶する投票空間生成過程と、
    前記エッジ画像の各エッジ画素上に、該エッジ画素に付加した濃度勾配方向に対応する濃度勾配方向を有する前記投票テンプレートの境界曲線上の点を重ね、このとき該投票テンプレートの投票部が位置するエッジ画像上の画素位置に対応する投票空間の投票用セルに投票してメモリに記憶することを各エッジ画素毎に行い、該投票空間の各セルの投票値を集計する投票処理過程と、
    投票が行われた投票空間で所定のしきい値以上の投票値を有するセルを検出し、検出したセルに対応する撮像画像上の位置を人の頭部位置として検出する人存在位置検出過程と、を備えたことを特徴とする人の存在位置検出方法。
  22. 請求項17乃至請求項19のいずれかに記載の人の存在位置検出装置を用いて検出された人の位置情報を利用して移動の制御をすることを特徴とする自律移動装置。
JP2002343094A 2002-11-26 2002-11-26 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 Expired - Fee Related JP4082190B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002343094A JP4082190B2 (ja) 2002-11-26 2002-11-26 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002343094A JP4082190B2 (ja) 2002-11-26 2002-11-26 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置

Publications (2)

Publication Number Publication Date
JP2004178229A true JP2004178229A (ja) 2004-06-24
JP4082190B2 JP4082190B2 (ja) 2008-04-30

Family

ID=32704949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002343094A Expired - Fee Related JP4082190B2 (ja) 2002-11-26 2002-11-26 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置

Country Status (1)

Country Link
JP (1) JP4082190B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
JP2006079325A (ja) * 2004-09-09 2006-03-23 Matsushita Electric Works Ltd 自律移動装置
JP2006154964A (ja) * 2004-11-25 2006-06-15 Matsushita Electric Works Ltd インターホンシステム
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
JP2009187357A (ja) * 2008-02-07 2009-08-20 Honda Motor Co Ltd 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム
JP2012017936A (ja) * 2010-07-09 2012-01-26 Shimizu Corp ワークプレイス環境の管理支援システム
WO2014203523A1 (ja) * 2013-06-18 2014-12-24 パナソニックIpマネジメント株式会社 撮影位置決定装置及び撮影位置決定方法
JP5685665B1 (ja) * 2014-04-28 2015-03-18 ヴィスコ・テクノロジーズ株式会社 画像認識装置
US9235216B2 (en) 2012-11-05 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Running information generating apparatus of autonomous running apparatus, running information generating method, running information generating program, and autonomous running apparatus
JP2018031753A (ja) * 2016-08-26 2018-03-01 株式会社Zmp 物体検出方法及びその装置
JP2019061502A (ja) * 2017-09-27 2019-04-18 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
CN112183560A (zh) * 2020-10-27 2021-01-05 维沃移动通信有限公司 图像识别方法及装置
CN113674212A (zh) * 2021-07-26 2021-11-19 宁波帅特龙集团有限公司 一种把手装配检测方法与设备
CN113949906A (zh) * 2021-12-01 2022-01-18 深圳市佰慧智能科技有限公司 一种基于视频联网共享的视频预览回放系统及管理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4626692B2 (ja) * 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
US7684894B2 (en) 2003-03-14 2010-03-23 Panasonic Electric Works Co., Ltd. Autonomously moving robot
JP2006079325A (ja) * 2004-09-09 2006-03-23 Matsushita Electric Works Ltd 自律移動装置
JP4645108B2 (ja) * 2004-09-09 2011-03-09 パナソニック電工株式会社 自律移動装置
JP2006154964A (ja) * 2004-11-25 2006-06-15 Matsushita Electric Works Ltd インターホンシステム
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
JP2009187357A (ja) * 2008-02-07 2009-08-20 Honda Motor Co Ltd 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム
JP2012017936A (ja) * 2010-07-09 2012-01-26 Shimizu Corp ワークプレイス環境の管理支援システム
US9235216B2 (en) 2012-11-05 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Running information generating apparatus of autonomous running apparatus, running information generating method, running information generating program, and autonomous running apparatus
WO2014203523A1 (ja) * 2013-06-18 2014-12-24 パナソニックIpマネジメント株式会社 撮影位置決定装置及び撮影位置決定方法
US9905010B2 (en) 2013-06-18 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Image position determination device and image position determination method for reducing an image of a closed eye person
JP5685665B1 (ja) * 2014-04-28 2015-03-18 ヴィスコ・テクノロジーズ株式会社 画像認識装置
JP2018031753A (ja) * 2016-08-26 2018-03-01 株式会社Zmp 物体検出方法及びその装置
WO2018038257A1 (ja) * 2016-08-26 2018-03-01 株式会社Zmp 物体検出方法及びその装置
JP2019061502A (ja) * 2017-09-27 2019-04-18 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP7047306B2 (ja) 2017-09-27 2022-04-05 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
CN112183560A (zh) * 2020-10-27 2021-01-05 维沃移动通信有限公司 图像识别方法及装置
CN113674212A (zh) * 2021-07-26 2021-11-19 宁波帅特龙集团有限公司 一种把手装配检测方法与设备
CN113674212B (zh) * 2021-07-26 2024-05-24 宁波帅特龙集团有限公司 一种把手装配检测方法与设备
CN113949906A (zh) * 2021-12-01 2022-01-18 深圳市佰慧智能科技有限公司 一种基于视频联网共享的视频预览回放系统及管理方法

Also Published As

Publication number Publication date
JP4082190B2 (ja) 2008-04-30

Similar Documents

Publication Publication Date Title
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
Martin et al. Real time head model creation and head pose estimation on consumer depth cameras
Nedevschi et al. Stereo-based pedestrian detection for collision-avoidance applications
Shin et al. Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities
Zhang et al. A robust, real-time ellipse detector
Keller et al. A new benchmark for stereo-based pedestrian detection
JP4002919B2 (ja) 移動体高さ判別装置
JP4082190B2 (ja) 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置
KR101184097B1 (ko) 얼굴 정면포즈 판단 방법
US20120062749A1 (en) Human body identification method using range image camera and human body identification apparatus
WO2012101962A1 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN104573614A (zh) 用于跟踪人脸的设备和方法
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
JP2020061140A (ja) ブラインドスポットモニタリングのためのcnnの学習方法、テスティング方法、学習装置、及びテスティング装置
KR20150065445A (ko) 얼굴 포즈를 이용한 정면 얼굴 검출 장치 및 방법
JP2019212148A (ja) 情報処理装置及び情報処理プログラム
Coenen et al. Detection and 3d modelling of vehicles from terrestrial stereo image pairs
JP2015041187A (ja) 交通量計測装置および交通量計測方法
JP2020061139A (ja) ブラインドスポットモニタリングのためのcnnの学習方法、テスティング方法、学習装置、及びテスティング装置
Mitsudome et al. Autonomous mobile robot searching for persons with specific clothing on urban walkway
US20240153106A1 (en) Object tracking device
US20240034372A1 (en) Optical railway detection
Dang et al. Fast object hypotheses generation using 3D position and 3D motion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140222

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees