JP2013210968A - 物体検出装置及びその方法、プログラム - Google Patents

物体検出装置及びその方法、プログラム Download PDF

Info

Publication number
JP2013210968A
JP2013210968A JP2012082380A JP2012082380A JP2013210968A JP 2013210968 A JP2013210968 A JP 2013210968A JP 2012082380 A JP2012082380 A JP 2012082380A JP 2012082380 A JP2012082380 A JP 2012082380A JP 2013210968 A JP2013210968 A JP 2013210968A
Authority
JP
Japan
Prior art keywords
detection
head
result
estimation
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012082380A
Other languages
English (en)
Other versions
JP2013210968A5 (ja
JP6032921B2 (ja
Inventor
Hiroshi Torii
寛 鳥居
Kenji Tsukamoto
健二 塚本
Atsushi Nogami
敦史 野上
Kaname Tomite
要 冨手
Masakazu Matsugi
優和 真継
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012082380A priority Critical patent/JP6032921B2/ja
Priority to US13/836,221 priority patent/US9292745B2/en
Publication of JP2013210968A publication Critical patent/JP2013210968A/ja
Publication of JP2013210968A5 publication Critical patent/JP2013210968A5/ja
Application granted granted Critical
Publication of JP6032921B2 publication Critical patent/JP6032921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 精度の高い物体検出結果を得ることができる物体検出装置を提供する。
【解決手段】 物体検出装置に、入力画像から物体の第1の部分を検出する第1の検出手段と、前記入力画像から前記物体の第1の部分とは異なる第2の部分を検出する第2の検出手段と、前記第1の検出手段により前記第1の部分が検出された場合に、当該第1の部分に基づいて前記物体の第3の部分を推定する第1の推定手段と、前記第2の検出手段により前記第2の部分が検出された場合に、当該第2の部分に基づいて前記物体の第3の部分を推定する第2の推定手段と、前記第1及び第2の推定手段のそれぞれにより推定された前記第3の部分の一致度を算出する一致度算出手段と、前記一致度が所定の閾値以上であれば、前記第1または第2の検出手段の検出結果、前記第1または第2の推定手段の推定結果の少なくとも1つに基づいて、前記物体の検出結果を出力する出力手段とを備える。
【選択図】 図1

Description

本発明は、物体検出技術に関し、特に、入力情報の中の所定の対象物を検出する技術に関するものである。
入力情報中の対象物を検出する物体検出装置では、対象物の姿勢が変化する場合や、対象物が部分的に遮蔽されている場合にでも、対象物を検出できることが望ましい。姿勢変化や遮蔽などの多様な対象物の状態に対応するためには、複数の異なる検出器を用いて対象物を検出することが有効である。
複数の異なる検出器を用いて対象物を検出する従来技術として非特許文献1がある。非特許文献1では、顔検出器と上半身検出器を組み合わせることで、人物の向きの変化や人物の部分的な遮蔽に対応した人物検出を行っている。顔検出器と上半身検出器を組み合わせる利点を具体的に説明すると以下のようになる。顔検出器は様々な手法が開発されており、高い性能で顔を検出することができる。従って、顔が見えている場合には、高い確率で人物を検出することができる。しかし、顔検出器を用いて人物検出を行うと、人物の向きによっては顔が見えなくなるため人物が検出しにくくなるという問題や、画像中の人物サイズが小さくなると顔テクスチャの情報も少なくなり、検出が困難になるという問題がある。一方、非特許文献1で利用されている上半身検出器は、人物の向きに関わらず直立姿勢の人物上半身を検出することができる。しかし、上半身の一部が遮蔽されているような場合には、上半身検出器の検出性能が劣化する。そこで、非特許文献1では、顔検出器と上半身検出器を組み合わせて、相互の欠点を補うことで人物を検出している。
異なる複数の検出器を用いて対象物を検出する場合には、異なる検出結果を統合して1人の人物に対して1つの検出結果を出力する必要がある。この時、異なる検出結果をどのように統合するかが課題となる。特に、人物が近傍に複数人存在し、重なり合うような場合の統合方法が課題となる。例えば、上半身検出器と顔検出器の結果を統合する場合に、単純に大きく重複した検出結果を統合し同一人物の結果として出力すると、複数人が重なり合った時に、図1のように背後の人物の顔検出結果が前面の人物の上半身検出結果に統合されてしまう場合がある。この結果、顔検出器で背後の人物が検出されていたにも関わらず、最終結果では、前面の人物のみが検出された結果が出力されてしまう。
非特許文献1では、この問題を解決するため、上半身検出器の結果から顔位置を推定し、顔検出器の結果位置と合わせてmean shiftにより検出結果のクラスタ中心を求めている。この処理により、異なる部位を検出する複数の検出器の結果を統合している。
山下隆義, 池村翔, 藤吉弘亘, 岩堀祐之 (2011)."距離情報を考慮したパーツ統合による人物検出の高精度化",電気学会論文誌 D, Vol.131, No.4. P. Viola and M. Jones (2001). "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE Conference on Computer Vision and Pattern Recognition. Dalal, N., & Triggs, B. (2005). "Histograms of oriented gradients for human detection.", IEEE CVPR Platt, J. C. (1999). Probabilistic Outputs for Support Vector Machines and Comparisons to Regularized Likelihood Methods. Advances in Large Margin Classifiers. Zadrozny, B., & Elkan, C. (2002). Transforming classifier scores into accurate multiclass probability estimates. Proceedings of the Eighth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. P. Felzenszwalb, D. McAllester, D. Ramanan (2008) "A Discriminatively Trained, Multiscale, Deformable Part Model", IEEE Conference on Computer Vision and Pattern Recognition. OpenCV: Open Computer Vision Library. http://opencv.willowgarage.com/wiki/
非特許文献1では、上半身検出器の検出結果から顔位置を推定している。しかし、この顔位置は顔の向きに寄らず上半身の検出結果からの推定であるため、顔検出結果が示す顔位置よりも、顔位置の信頼性が低くなる傾向にある。この信頼性が低い推定顔位置と、比較的信頼性の高い顔検出結果の顔位置を統合しているため、最終的に出力される顔位置が誤った位置に出力される可能性がある。また、上半身検出器を使用しているにも関わらず、上半身が全て見えている場合においても上半身の範囲を特定することができない。
上記課題を解決するために、本発明によれば、物体検出装置に、入力画像から物体の第1の部分を検出する第1の検出手段と、前記入力画像から前記物体の第1の部分とは異なる第2の部分を検出する第2の検出手段と、前記第1の検出手段により前記第1の部分が検出された場合に、当該第1の部分に基づいて前記物体の第3の部分を推定する第1の推定手段と、前記第2の検出手段により前記第2の部分が検出された場合に、当該第2の部分に基づいて前記物体の第3の部分を推定する第2の推定手段と、前記第1及び第2の推定手段のそれぞれにより推定された前記第3の部分の一致度を算出する一致度算出手段と、前記一致度が所定の閾値以上であれば、前記第1または第2の検出手段の検出結果、前記第1または第2の推定手段の推定結果の少なくとも1つに基づいて、前記物体の検出結果を出力する出力手段とを備える。
本発明によれば、複数の異なる検出器を用いて、対象物を検出する場合に、対象物の位置を精度よく求めることができる。
異種の検出器を統合するうえでの課題を表した図である。 物体検出装置の構成図である。 検出処理部の処理フローチャートである。 検出結果の位置から頭部位置を推定する処理を説明する図である。 全身検出器において、検出結果位置と頭部位置の関係の定義を説明する図である。 頭部正解基準を用いて頭部位置推定結果を評価する処理を説明する図である。 統合結果出力部の処理フローチャートである。 統合結果出力部処理の具体例を説明する図である。 全身検出器の検出対象の例を表した図である。 頭部検出器の検出対象の例を表した図である。 多姿勢対応統合結果出力部の処理フローチャートである。 パーツベースの検出器について説明する図である。 検出処理部の処理フローチャートである。 検査装置を表す図である。 ベルトコンベヤー上に写る木材の様子を表した図である。 検査のための物体検出装置の処理フローチャートである。 線分の投票を表した図である。 総和画像を表した図である。
以下、添付図面を参照しながら本発明の実施形態を説明する。
<実施形態1>
本実施形態では、複数の異なる検出器を用いて、画像中の対象物を検出する。異なる検出器は、それぞれ対象物の異なる部位や状態を検出対象にした検出器である。本実施形態の検出対象物は、特に限定されるものではないが、以下の実施形態では検出対象物を人物とした場合について説明を行う。
図2は本実施形態の物体検出装置の構成を説明する図である。本実施形態の物体検出装置は、ネットワークまたは各種記録媒体を介して取得したソフトウェア(プログラム)を、CPU、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機にて実行することで実現できる。また、不図示の計算機については、汎用の計算機を用いても良いし、本実施形態のソフトウェアに最適に設計されたハードウェアを用いても良い。
本実施形態の物体検出装置は、図2のように、画像入力部101、複数の検出処理部111〜11n、各検出処理部に対応した共通部位推定部121〜12n、スコア補正辞書131〜13n、スコア補正部141〜14n、そして統合結果出力部151により構成される。以下、各構成要素についての説明を行う。
画像入力部101は、物体検出装置に処理対象となる画像を入力する部分である。画像入力部101に入力する画像は、カメラなどから取得した動画像の1フレームの画像でも良いし、ハードディスクなどのストレージデバイスに保存された画像でも良い。以下では、画像入力部101に入力された1枚の画像に対する処理について説明を行う。
複数の検出処理部111〜11nには、対象物のそれぞれ異なる部位や状態を検出する検出器が、予め格納されている。検出対象物を人体とした場合、各検出処理部の異なる検出器には、顔検出器、頭部検出器、上半身検出器、全身検出器などの人物のそれぞれ異なる部位を対象とした検出器を用いることができる。人物の異なる部位を検出する検出器を用いることで、人物の一部が他の物体で遮蔽されている場合や、画像中から人物の一部がはみ出している場合にも人物を検出できるようになる。
本実施形態の複数の検出器は、それぞれ相互に補間し合うような検出器を準備することが望ましい。検出器の相互補完の例として、例えば頭部検出器と全身検出器の組み合わせが考えられる。まず、頭部検出器は、胴体以下が他の物体により遮蔽されていても人物を検出可能であり、また、身体部分の姿勢変動に影響を受けずに人物を検出できるという利点がある。一方、全身検出器は、対象としている部位が大きいため、人物の特徴を捉えやすいという利点があるが、遮蔽や姿勢変動に弱いという欠点がある。そこで、頭部検出器と全身検出器を同時に利用することで、互いの欠点を補うことができるようになり、人物検出の精度向上が期待できる。
各検出器は以下のようにして準備できる。例えば、顔検出器では、非特許文献2のように、学習画像の顔範囲のHaar−Like特徴量を収集し、AdaBoostにより統計的に顔らしい特徴を識別できるようにして顔検出器を学習する。また、頭部や上半身、全身などその他の人物部位を学習する場合、画像特徴としては非特許文献3に記載されているHOG特徴量が利用できる。頭部検出器や上半身検出器、全身検出器を準備する場合には、各部位の学習画像を準備し、それぞれのHOG特徴量を取得して、SVMやAdaBoost等の識別器により各部位の検出器を学習する。学習の結果(例えば、AdaBoostの弱識別器など)は、検出器辞書として保存し、検出時に利用する。
各検出器は人物検出結果の尤もらしさを検出器スコアとして算出する。例えばAdaBoostでは、各弱識別器の出力の重み付き和を検出器スコアとして出力する。またSVMでは、識別超平面との距離を検出器スコアとして算出する。上記以外の判別処理でも、対象物らしさを表すスコアを出力する方法であれば、どのような方法を用いても良い。なお、以下では、検出器スコアが高いほど、各検出器が対象としている人物部位、または人物状態らしさが高い出力が得られているものとする。
以下、実施形態1では、複数の検出器として、全身検出器、頭部検出器、顔検出器の3つを、第1の部分として全身を検出する第1の検出部、第2の部分として頭部を検出する第2の検出部、第3の部分として顔を検出する第3の検出部として用いる場合について説明する。しかしながら、本実施形態に用いる検出器の構成はこの限りではない。
次に、複数の検出処理部111〜11nでの処理について説明する。図3に、一つの検出処理部(例えば、検出処理部111)での処理フローチャートを示す。ここで、説明のため、検出処理部111は全身検出器による検出処理を行うものとする。まず、ステップS301では、入力画像の画像特徴量を算出する。検出処理部111の検出器は全身検出器であるため、入力画像からHOG特徴量を算出する。次に、ステップS302では、検出処理を行う特定位置の画像特徴量を取得する。ステップS303では、検出器辞書を用いて、処理対象の画像特徴量の対象物らしさを表す尤度に相当する検出スコアを算出する。画像全体を探索するため、各画像中の位置で検出スコアを算出する処理S303を、判別位置を変えながら画像全体に対して行う(ステップS302〜S304)。なお、判別位置を変えるループで、画像サイズも変更することにより、画像中で異なるサイズで写っている人物も検出できるようになる。以上、ステップS304までの処理で、画像中の各位置での検出スコアが得られる。この結果の全てを次の共通部位推定部に送るようにしても良いが、明らかに人物ではないと判断できる低い検出スコアの検出結果については、これ以降の処理を省略することで全体の処理負荷を低減することができるようになる。従って、ステップS305では、スコアが所定値以上の検出結果だけを残す閾値処理を行い、無駄な検出結果を削除している。ステップS305の処理の結果、画像中で検出スコアが高い位置の位置情報とそのスコアが検出処理部111から出力される。
以上、1つの検出処理部の処理結果を説明したが、物体検出装置全体としては、この検出処理部の処理を検出処理部の数だけ繰り返す。
次に、共通部位推定部121〜12nについての説明を行う。共通部位推定部121〜12nでは、対象物の共通部位の位置を各検出器の結果から推定する。以下、実施形態1では、人物の頭部を共通部位として、第1の検出部、第2の検出部、第3の検出部の検出結果から、対応する第1の推定部、第2の推定部、第3の推定部が共通部分となる頭部位置を推定する手順について説明を行う。推定する共通部位は、各検出器で共通に推定可能な部位であれば、特に限定するものではないが、その対象物に特徴的な部位(検出が行いやすい部位)や、周囲物体からの遮蔽、対象物の姿勢変化の影響を受けにくい部位を選択することが望ましい。検出対象物が人物である場合、人物の頭部は比較的遮蔽されにくく位置が特定しやすい部位であるため共通部位として適している。
図4は、各検出器の結果からの頭部位置推定を説明するための図である。検出処理の結果、検出対象の位置・範囲の情報が得られる。本実施形態では、検出結果の位置・範囲は、検出対象を囲む矩形枠で得られるとする。図4では、検出結果を矩形枠で示しており、それぞれ顔検出結果枠401、頭部検出結果枠402、全身結果枠403である。矩形枠は画像座標の2点で、以下のように表される。
Figure 2013210968
ここで、x、yは矩形の左上点の画像座標、x、yは矩形の右下点の画像座標である。共通部位推定部では、この矩形枠から頭部位置・範囲を推定する。例えば、図4には、顔検出結果401から推定した頭部位置・範囲を矩形枠411で、全身検出結果403から推定した頭部位置・範囲を矩形枠413で表している。検出結果枠からの頭部推定は、予め検出結果枠と頭部の位置関係を定義しておき、検出結果枠から頭部位置に変換することで推定を行う。例えば、図5には、全身検出器の結果と頭部位置の位置関係の定義例を示している。図5の全身検出器に対する頭部位置の定義は、全身検出器の高さhの15%を頭部高さhとし、全身検出器の幅wの50%を頭部幅wとしている。また、x軸方向には0.25wのオフセットが定義されている。オフセットとは、頭部範囲矩形枠413のx方向の全身結果枠403内位置を示す。(下の数2のXを使用してX−X)全身検出器からの頭部位置推定は、全身結果の座標Xから、図5の定義に従って頭部座標Xとして求める。頭部座標Xは以下のように表される。
Figure 2013210968
ここで、xh1、yh1は推定した頭部範囲の左上点の座標で、xh2、yh2は推定した頭部範囲の右下点の座標である。共通部位推定部121では、検出処理部111の結果得られた各検出結果について、検出結果座標Xから頭部推定座標Xを算出する。
図5に示した頭部範囲の定義は、各数値を予め人が入力・設計しても良いし、実際の全身検出結果から得られる頭部位置の平均から設計するようにしても良い。あるいは別途求めた設定にしても良い。頭部位置の平均を取得する場合には、複数のサンプル画像に全身検出器による検出処理を行い、検出結果内の頭部位置の平均値を算出することで求めることができる。
以上では、全身検出器から頭部位置を推定する方法を例にして共通部位推定部の動作について説明した。他の検出器の検出結果からの頭部位置推定についても、全身検出器の場合と同様に、各検出結果と頭部位置との位置関係を定義しておき、検出結果から頭部位置を推定する。全身検出器では、検出結果の内部の頭部位置を推定したが、推定位置は検出結果の内部である必要はない。例えば、図4の顔検出結果401から推定した頭部位置411は、顔検出結果401の外側にある。また、頭部そのものを検出する頭部検出器の検出結果402について、共通部位推定部では処理を省略して、頭部検出結果そのものを共通部位推定の結果として出力するようにしても良い。
次に、スコア補正辞書131〜13nとスコア補正部141〜14nについての説明を行う。本実施形態では、各検出結果から推定した共通部位の位置と、各検出結果スコアを用いて複数の異なる検出結果を統合する。ここで、共通部位の位置は検出結果から推定した結果であり、その推定精度は検出器によって異なる。本実施形態では、頭部位置を共通部位として推定しているが、頭部位置の推定性能は、頭部位置に近い、あるいは頭部と関係が深い検出器の方が良くなると考えられる。スコア補正辞書131〜13nとスコア補正部141〜14nでは、共通部位の推定性能の差を考慮した統合を行うために、共通部位の推定性能差に基づいてスコア補正を行う。補正後のスコアを用いて、検出結果を統合することで、対象物の検出結果の精度が向上することが期待できる。
スコア補正部141〜14nでは、それぞれの検出器の検出スコアをスコア補正辞書131〜13nに記録された情報を用いて変換する。スコア補正辞書131〜13nには、各検出器の共通部位推定の信頼度に基づいて検出スコアを補正するための情報を格納する。
スコア補正では、検出器ごとに補正係数をスコア補正辞書に保存し、スコア補正時には係数を検出器スコアに乗じて補正スコアを算出すればよい。補正係数の例としては、頭部検出器の補正係数を1とし、顔検出器の補正係数を0.8、全身検出器の補正係数を0.5などとする。頭部に近い検出器(あるいは頭部位置の推定性能が高い検出器)では、係数を大きくし、頭部から遠い検出器(あるいは頭部位置の推定性能が低い検出器)では、低い係数を設定する。この係数を検出スコアに乗じて補正スコアを得ることにより、検出器の検出結果と共通部位推定の性能を考慮した補正スコアを得ることができる。
以上では、補正係数を人が入力・設定したが、補正係数は各検出器で推定する頭部位置の正解確率によって設定することが好適である。各検出器の頭部位置推定の正解確率については事前に求めておく必要がある。以下では、図6を用いて頭部位置推定の正解確率の求め方とスコア補正辞書に保存する補正係数について説明する。
まず、頭部位置が既知な画像サンプル群を準備する。図6(A)は、画像600の人物の頭部位置601が既知である画像の例で、頭部範囲の座標が頭部正解601として記録されている。ここで画像600は、人物が一人しか写っていない、または、一人の人物範囲に切り出された画像であることが望ましい。このように、頭部位置が既知である画像を大量に準備する。次に、図6(B)は、図6(A)の画像に、顔検出を実施した結果である。顔検出の結果、図3で説明した検出処理と同様に、画像600全体に顔検出器の検出処理が逐次行われる。ここでは、画像600の中での顔検出の検出スコアが最も高い検出結果611に着目する。画像600には人物が一人しか写っていないため、最も高いスコアを示す検出結果611が顔であると考えられる。次に、この顔検出結果から頭部位置を推定した結果612を算出する。この頭部位置推定結果612と頭部正解601とを比較して、頭部推定結果が正しく行われたかを一致度算出を行って評価する。頭部正解601と頭部推定結果612の評価では、例えば、各位置の中心間距離が所定範囲内であれば、推定結果が正解であるとする。また、他の基準としては、矩形形状の頭部正解601と頭部推定結果612の重複率を算出し、所定の重複率以上を示す結果を頭部推定の正解としても良い。ここで中心間距離や重複率は、頭部位置推定結果612と頭部正解601との一致度を表す指標の例である。矩形の重複率αの算出方法としては、例えば、以下の式によって算出できる。
Figure 2013210968
ここで、Sは頭部正解の面積、Sは推定した頭部範囲の面積、Sbeは頭部正解と推定した頭部範囲の重複した領域の面積である。以上の正解判定を、準備した全ての画像サンプル群に対し実行し、頭部推定が正解となった確率を求めることができる。なお、画像サンプルに対して検出結果自体が得られない場合には、頭部推定は不正解として判定する。
他の検出器についても同様に、頭部推定の正解確率を各検出器について求め、それぞれの正解確率を各検出器の補正係数として利用すればよい。例えば、図6(D)では、全身検出器の検出結果631から推定した頭部位置632と頭部正解601の位置関係を評価する。図6(D)では、頭部正解601から推定頭部位置632が大きくずれているため、中心間距離が大きくなったり重複率が小さくなったりして、全身検出器の頭部推定は不正解となる。また、図6(C)には頭部検出器の検出結果の正解判定を図示している。頭部検出器の結果についても、他と同様に頭部正解との評価を行い、頭部位置を示す性能を評価して補正係数を算出しても良い。頭部検出器では、頭部位置推定を必ずしも行う必要がないので、その場合は検出結果そのものの位置と頭部正解の評価を行う。
上記の重複率αを用いた補正係数算出では、各画像サンプルで正解・不正解の2値判定により正解確率を算出した。この情報を利用してPlatt scaling(非特許文献4参照)やIsotonic Regression(非特許文献5参照)を行い、スコア補正をしても良い。
以上の処理で、各検出器の結果は、推定した頭部位置と補正スコアを持つ。統合結果出力部151では、これら検出器の結果を統合し、同じ人物に対して複数の検出器から出力される情報をひとまとめにする。本実施形態は、同じ人物周辺において同じ検出器から重複して出力された検出結果をまとめることを目的としておらず、この点において非特許文献1と異なる。同じ検出器から重複して出力された検出結果をまとめるためには、統合結果出力部151の後に非特許文献1のようにmean shiftやNMS (non−maximum suppression)を行えば良い。
本実施形態では、結果的に頭部検出器と全身検出器の両方で検出できた人物を検出結果として出力することになる。これは一見未検出率を大幅に増やしてしまいそうであるが、実際には遮蔽があってもスコアが低いながら両方の検出結果出力がある場合が多いことを観察したことに基づいている。これはNMSなどを各検出器出力に対して適用するしないにかかわらず有効である。
以下では、同じ人物に対して複数の検出器から出力される情報を統合する処理について説明する。図7に、統合結果出力部の処理フローチャートを示す。まず、ステップS801からステップS804の処理を全身検出器の個々の出力結果に対してループしながら行う。ここで注目している全身検出器の出力結果の番号をi (i=1,…,L)とし、出力結果(検出位置と大きさ)をXB,iとする。またその頭部推定座標をXhB,iとする。次にステップS802で、頭部検出推定結果の中でXhB,iとの重複率が最も高いものを選択する。その番号をj (j=1,…,M)とし、その頭部推定座標をXhH,jとする。ここでXhB,iとXhH,jの重複率A(XhB,i, XhH,j)は次式より求める。
Figure 2013210968
ここで、P(X,Y)は矩形Xと矩形Yの重複した領域の面積である。また、S(X)は矩形Xの面積である。次にステップS803で顔検出推定結果の中でXhB,iとの重複率が最も高いものを選択する。その番号をk (k=1,…,N)とする。ループ最後のステップS804では各全身検出器の検出結果iについて次のベクトルを出力する。
Figure 2013210968
ここで、SB,i, SH,j, SF,kはそれぞれ、i番目の全身検出器出力の補正スコア、j番目の頭部検出器出力の補正スコア、k番目の顔検出器出力の補正スコアであり、それらの和が統合スコアとして統合結果出力部から出力される。本実施形態では、各検出器のスコアを補正して単純な和をとって統合スコアとした。各検出器の種類によっては補正が必要のない場合がある。また、スコアを補正する場合でもしない場合でも各検出器のスコアの線形和を取って統合スコアとすることもできる。この場合の線形係数は、各検出器のスコアを入力ベクトルとしたSVMなどの学習によって得ることができる。
図8は、統合結果出力部処理の具体例を説明する図である。図8(A)は統合結果出力部に入力された時点での検出結果で、複数の検出結果が得られている状態である。ここでは図示の都合上、顔検出器の結果については省略しており、頭部検出器の検出結果と全身検出器の検出結果のみを図示している。図8(A)では、1つの全身検出器の検出結果と、その頭部推定結果が示されている。破線の矩形901は全身検出器の結果で、破線の矩形904は全身検出器から推定された頭部位置である。また、実線902と903として頭部検出器の2つの検出結果が示されている。これらは、頭部検出処理部で画像中の探索位置を変えながら検出処理を行った結果、人物頭部周辺に複数の検出結果が得られた結果である。統合結果出力部では、共通部位である頭部位置の推定情報を用いて、これらの検出結果から図7を用いて説明した方法で検出結果をまとめる。図8(B)は、図8(A)の検出結果を統合結果出力部151で処理した結果で、全身検出器に基づいた頭部推定位置904と最も重複率の高い頭部検出結果902が選択され、統合結果として残されているのが分かる。逆に頭部検出器の誤検出と思われる903は対応する全身検出の結果がないため、削除されている。
以上のように、本実施形態では、従来の手法に比べ、検出対象物の存在を精度良く求めることができるようになる。複数の検出器に基づいて検証を繰り返しているので、最終出力の統合結果が示す共通部位推定位置は、従来よりも誤検出が少ない可能性が高い。また、位置精度が高い頭部検出器によって検出した頭部位置を最終的な出力に利用しているため、頭部位置精度の高い検出結果を得ることができる。また、全身検出器の結果をも出力しているため、全身が入力画像に写っていた場合のその位置と大きさを求めることができる。
なお、上記実施形態では、最終出力として頭部検出器の検出結果と全身検出器の検出結果とを出力するようにしたが、いずれか一方のみを最終出力としてもよい。また、検出器の検出結果に代えて共通部位推定部のいずれかにより推定した部位を最終出力として出力するようにしてもよい。
<実施形態2>
実施形態2では、同じ種類の検出器を複数組み合わせる場合について説明する。これにより大きな姿勢変動に対応することができるようになる。なお、本実施形態でも、検出対象物は人物とし、共通部位は人物の頭部とする。また、実施形態1で説明した内容と同じ処理については説明を省略する。
物体検出装置の全体構成は実施形態1の図2と同じであるが、検出処理部の検出対象が異なる。また、統合結果出力部151の処理内容も異なる。本実施形態で使用する検出器として頭部検出器と全身検出器を使用する。
全身検出器の具体的な検出対象としては、図9のような複数の姿勢がある。ここに5つの姿勢を並べたが、必要とする仕様に応じて増減させることが可能である。腕の位置は分かりやすさのために図示したが、特に問わないことにする。また、他の姿勢を検出する必要がある場合には、その姿勢の検出器を用意すればよい。これらの検出器を用意するためには、各姿勢に分類した画像を用意し、それぞれの画像群のために非特許文献3に記述されている検出器を学習すれば良い。ここで注意するべきなのは、それぞれの検出枠(実線の矩形)内での頭部の位置が異なる点である。そのため実施形態1のように全身検出を1つの検出器だけで実現した場合、頭部位置の推定精度が悪くなってしまう。
頭部検出器の具体的な検出対象を図10に示す。ここに示したのは、複数の姿勢に応じた頭部部分である。検出枠を実線の矩形で示した。ここでは、全身検出器と同じ姿勢に対して頭部検出器を用意しているが、同じ姿勢でなくても同じ数の姿勢でなくても良い。全身検出器の場合と同じように頭部画像を姿勢によって分類し、それぞれの画像群のために非特許文献3に記述されている検出器を学習する。また、この例では検出枠は実際の頭部よりも広めに取っているので、実施形態1の全身検出器で行ったように、頭部検出器の出力から頭部位置を推定する必要がある。
最後に統合結果出力部151の処理内容を図11に示す。このままであれば、図7とさほど変わらないが、ここでは複数の全身検出器の出力を全て連番とし、複数の頭部検出器の出力を連番としている。その後は、図7と同じように、まず、ステップS1101からステップS1104の処理を全身検出器の個々の出力結果に対してループしながら行う。ここで注目している全身検出器の出力結果の番号をi (i=1,…,Σ; Lはd番目の全身検出器の出力数)とする。またその頭部推定座標をXhB,iとする。次にステップS802で、頭部検出推定結果の中でXhB,iとの一致度が所定の閾値以上でスコアが最も高いものを選択する。その番号をj (j=1,…,Σ; Mはd番目の頭部検出器の出力数)とし、その頭部推定座標をXhH,jとする。ここでXhB,iとXhH,jの一致度A(XhB,i, XhH,j)は次式より求める。
Figure 2013210968
ここで、D(X,Y)は矩形Xと矩形Yの中心間の距離である。そして、S(X)は矩形Xの面積である。ループ最後のステップS1104では各全身検出器の検出結果iについて次のベクトルを出力する。
Figure 2013210968
ここで、SB,i, SH,jはそれぞれ、i番目の全身検出器出力の補正スコア、j番目の頭部検出器出力の補正スコアであり、それらの和が統合スコアとして統合結果出力部から出力される。検出器毎に補正スコアを算出することにより姿勢別にスコアを補正することが可能である。これにより、i番目の全身検出器出力に対して、複数の頭部検出器の出力全ての中から最適のものが組み合わされ、出力される。実施形態1のように統合スコアは線形和で求めても良い。
以上の統合結果出力部の処理により、大きな姿勢変動に対応した物体検出装置を実現することができる。
<実施形態3>
実施形態3では、対象物を複数の移動可能なパーツに分割して検出する検出処理部を用いる実施形態について説明する。本実施形態でも、検出対象物は人物とし、共通部位は人物の頭部とする。また、実施形態1で説明した内容と同じ処理については説明を省略する。
対象物の小さな姿勢変化などに対応した検出を行うために、パーツベースの検出手法が知られている。パーツベースの検出手法の例として、非特許文献6のような手法がある。
図12は、パーツベースの検出手法を用いた全身検出器を説明する図である。図12の点線1102は、全身検出器の一つのパーツで、図12の全身検出器は8個のパーツで構成されている。実線1101は、パーツベースの検出の結果得られる全身検出結果である。図12の(A)と(B)では、人物の姿勢が異なるため、検出の結果得られる各パーツ位置も図12(A)と(B)では異なる位置に配置されている。パーツベースの検出結果では、各パーツの検出スコアと位置関係に基づいて算出される全体としての検出スコアが得られるとともに、図12の実線や破線で表される対象物や各パーツの位置・範囲の情報が得られる。
以下では、このようなパーツベースの検出器を検出処理部で用いた場合について、検出結果から頭部位置推定(共通部位推定)を行う実施形態について説明する。
まず、パーツベースの検出器の結果から共通部位推定部で頭部位置を推定する処理について説明する。簡単な場合として、頭部を検出対象とするパーツが含まれる場合には、その頭部パーツ位置を頭部位置推定結果とすればよい。頭部パーツが推定する頭部範囲と一致しない場合(例えば、頭部から肩までを検出対象としたパーツがある場合)、実施形態1で説明したように、検出結果の頭部パーツから頭部位置を推定すればよい。
一方、図12のように、頭部を明確に示さないパーツ群で検出器が構成されている場合には、複数のパーツの位置情報を用いて頭部位置を推定することができる。複数のパーツの位置情報から頭部位置を推定する場合には、各パーツの座標情報を並べたベクトルから、推定する頭部位置を線形変換で求められる。8個のパーツから頭部位置の左上x座標xh1を推定する線形変換式の例は以下の式のようになる。
Figure 2013210968
ここで、Xはパーツ座標のベクトルに定数1を追加したもの、Bh1は変換係数ベクトル、xpn、ypnはそれぞれn番目のパーツの中心座標で、bはxh1座標を求めるためのそれぞれの項の変換係数である。これは定数項bを含む。また、w,hはそれぞれ対象物領域(図12実線1101)の幅と高さである。頭部推定位置Xhを求めるためには、異なる変換係数を用いて同様にyh1、xh2、yh2を求めればよい。上記では、各パーツの中心座標のみから頭部位置を推定しているが、検出の結果得られる対象物領域(図12実線1101)の座標情報をパーツ座標ベクトルに加えても良い。係数ベクトルBは、頭部の正解基準を与えた画像サンプル群と、その画像サンプル群へのパーツベース検出器の検出結果から最小二乗法により求めることができる。頭部位置を推定する方法は、最小二乗法に限定することなく、頭部位置を目的変数、複数のパーツ位置を説明変数として他の回帰分析で求めることもできる。
全身検出器から推定される頭部位置推定枠を統合する以後の統合処理は実施形態1や実施形態2の統合結果処理部151と同じとする。特に実施形態2の統合方法では姿勢別に頭部推定が行われるため、より精度が高くなる。
以上の共通部位推定部の処理により、パーツベース検出器の検出結果から頭部位置を推定することができる。これにより共通部位推定の精度を高めることができる。また、実施形態2で説明した多姿勢対応の方法と組み合わせることにより、より多くの姿勢に対応することができ、更に共通部位推定の精度を高めることができる。
また、全身検出器の結果を利用して、上体の姿勢を推定することもできる。上式の代わりに次式を利用して、上体姿勢を推定する。ここで上体姿勢とは例えば喉元と腰元の座標のことを指す。
Figure 2013210968
上式において、xp1は喉元のx座標である。B’p1は変換係数ベクトル、b’はxp1を求めるためのそれぞれの項の変換係数である。これは定数項b’を含む。上体推定位置Xpを求めるためには、異なる変換係数を用いて同様にyh1(喉元y座標)、xp2(腰元x座標)、yp2(腰元y座標)を求めればよい。係数ベクトルB’は、上体姿勢の正解を与えた画像サンプル群と、その画像サンプル群へのパーツベース検出器の検出結果から最小二乗法により求めることができる。
<実施形態4>
本実施形態も特性の異なる複数の検出器を組み合わせる物体検出装置に関するものであるが、同じ検出対象であっても特性の異なる検出器を用意することができることを示す例である。本実施形態では最適な頭部サイズが異なる頭部検出器を組み合わせる方法を示す。
まずピラミッド画像による複数サイズの検出処理について説明する。全体構成は実施形態1の図2と同じであるが、検出処理部111〜11nの内容を図13に差し替える。まず、ステップS1407において変数Lを0に初期化する。この変数の名前を以後「階層番号」とする。次にステップS1408からステップS1406までのループを所定回数だけ繰り返す。ステップS1408はループを所定回数だけ繰り返したかどうかの判定処理である。次のステップS1409では入力画像をr倍(0<r<1)に縮小する。ステップS1401ではその縮小画像につい画像特徴量を算出する。次に、ステップS1402では、検出処理を行う特定位置の画像特徴量を取得する。ステップS1403では、検出器辞書を用いて、処理対象の画像特徴量の対象物らしさを判別し、検出スコアを算出する。画像全体を探索するため、各画像中の位置で検出スコアを算出する処理S1403を、判別位置を変えながら画像全体に対して行う(ステップS1402〜S1404)。以上、ステップS1402からステップS1404までの処理で、画像中の各位置での検出スコアが得られる。ステップS1405で、所定のスコア以上の結果を残す閾値処理を行い、無駄な検出結果を削除している。ステップS1405の処理の結果、画像中で検出スコアが比較的高い位置の位置情報とそのスコアが検出処理部111〜11nから出力される。ループ最後のステップS1406で階層番号Lを1つ増分させて、ループ先頭のステップS1408へと制御を移す。以上の処理により、1つのサイズしか検出できない検出器を使って複数サイズの対象物を検出することが可能となる。
次に2つの頭部検出器を用意する処理を説明する。まず頭部の画像をH枚用意し、2つの大きさにリサイズする。1つの画像群は頭部幅wピクセルで統一し、もう片方は頭部幅wピクセルで統一する。ここでw1とw2は予め決められた値であり、w1≠w2とする。幅w1ピクセルの頭部画像を学習に使って1つの頭部検出器Hを作成する。また幅wピクセルの頭部画像を学習に使い、もう1つの頭部検出器Hを作成する。このようにして、ある大きさの頭部画像があり、頭部検出器Hを使うと図13の検出処理において階層番号Lにて最大スコアを出力したとする。その場合、頭部検出器Hを使うと階層番号L−log(w/w)にて最大スコアを出力する傾向が強くなる。
さて、これらの頭部検出器を使った頭部位置推定の方法を説明する。まず、図6(A)のように頭部位置が既知な画像サンプルを大量に準備する。次に、図6(A)の画像に、頭部検出器をかける。検出の結果、図13の検出処理で説明した処理と同様に、画像全体に頭部検出器の検出処理が逐次行われる。仮にg番目(g=1,…,G)の画像の中での頭部検出の検出スコアが最も高い検出結果が画像上の位置(x, y)、階層番号Lにあったとする。画像600には人物が一人しか写っていないため、最も高いスコアを示す検出結果611が頭部であると考えられる。このときの頭部正解位置を矩形(x0,g, y0,g, x1,g, y1,g)で表すことにする。全ての頭部画像に対して上記処理を施すと、以下の行列XとXが得られる。Xは頭部正解位置が並ぶ行列であり、Xは頭部検出位置とサイズの対数が並び、最後の列に定数1を追加したものである。
Figure 2013210968
すると、次式によって線形係数Bが求まる。
Figure 2013210968
演算記号は左除算を表す。この推定パラメータBは1つの頭部検出器につき1つ用意する。すると、頭部検出器によって画像上の(x, y)、階層番号Lにおいて頭部が検出された場合、頭部位置(xh1、yh1、xh2、yh2)は次の式で推定される。
Figure 2013210968
以後、2つの頭部検出器を使用して、実施形態1の統合結果検出処理151を行うことで、特性の異なる2つの頭部検出器の検出結果をまとめる。
以上、同じ検出対象を持ちながら異なる特性を持つ検出器を統合する方法を示した。特に本実施形態では、ピラミッド画像を利用して異なる階層に検出される頭部検出器の出力をまとめて1つの検出結果を出力する例を示した。
<実施形態5>
実施形態5では、検査装置の一部として使用される物体検出装置について説明する。検査装置が導入される工場では、長方形の形をした木材の中央に人手によりドリルで穴を開ける作業をしているものとする。ただし、木材に人手で穴を開けている都合上、必ずしも穴を開ける位置が正確とは言えない。そのため、この検査装置を導入することにより、品質の評価を行う。品質の評価は、木材上の穴の位置が所定の範囲内にあるかどうかによって判断し、範囲内であれば出荷対象とし、範囲外であればリサイクル対象とする。ただし木材に開けられた穴である都合上、画像処理による穴の位置の特定も必ずしも正確とは言えない。特に木材の模様(髄や節など)のために単純な円形模様を探索する検出器を使用すると、誤って穴以外の部分を穴と判断してしまうことがある。そのため、期待される位置付近での円形検出のみを有効とする必要がある。
検査装置は図14のようにベルトコンベヤー1501、カメラ1502、コンピュータ1503からなり、コンピュータ1503とカメラ1502は通信ケーブルで接続されている。必要に応じて被写体の撮影条件を良くするために別途照明機材も用意される。穴の開いた木材1504はベルトコンベヤー1501に載せられ、その姿がカメラ1502によって撮影される。カメラ1502によって撮影される画像は例えば図15のようになる。木材1504は、様々な水平方向に配置される可能性があるが、穴の見える面がカメラに写り、一度に1枚しか写らないように間隔を置いてベルトコンベヤー上に置かれる。
このような画像を入力とした物体検出装置の処理フローを図16(A)に示す。まずステップS1601でカメラ1502から画像を取得する。そしてステップS1602でその画像に対してエッジ検出を行う。例えばOpenCV(非特許文献7)に用意されているCanny Edge Detectorを使用することができる。得られた白黒画像を利用し、ステップS1603においてハフ変換により線分を検出する。これもOpenCVの確率的ハフ変換を利用すると、得られた線分のリストが得られる。次にステップS1604で、得られた各線分に基づいて穴の位置を推定する。その詳細なフローチャートを図16(B)に示す。ステップS1609からステップS1611までのループを各線分について繰り返す。まずステップS1610で、各線分について線分の位置をずらして描画した画像を生成する。図17は図15の入力画像から得られた線分の1つ1801からステップS1610で生成された画像である。破線1801は参考のために図示しているが、生成された画像には描画されない線分である。描画される線分は線分1801の両側にW/2, H/2の距離に平行に配置される。ここでWとHは木材の幅と高さ(W≧H)である。次にステップS1611で得られた画像にぼかしをかける。以後このぼかした画像を投票画像と呼ぶことにする。ぼかしにはOpenCVのGaussian Blurを利用できる。全ての線分について投票画像を生成した後、ステップS1612でこれら投票画像の和を取った画像(総和画像)を生成する。次のステップS1613ではこの総和画像の中で値が最大となるピクセル(xmax, ymax)を求める。この位置が穴の推定位置である。図15を入力画像とした場合の総和画像のイメージを示したのが図18である。グレースケールの画像になるのを避けるため、ぼかしの効果は図示していない。図17と同じように破線は参考のために図示している線分である。総和画像では合計4本の線分からの投票が効き、点1901で最大値を取る。図16(A)に戻り、ステップS1605で入力画像にぼかしを入れる。次にステップS1606でハフ変換により円の検出を行う。円の検出には、OpenCVの円検出アルゴリズムを使用することができる。検出されたc番目の円毎にそれぞれ中心位置(x, y)と半径rが得られる。次にステップS1607で各円について次式に基づいて一致度を求め、その中で一致度が最大の円が特定される。
Figure 2013210968
ここでrexpは期待される半径であり、Kは調整用パラメータである。またA(c)を最大にするcの値をmと定義する。すると、円検出の結果は(x, y)となる。最後のステップS1608で検出結果を出力するが、その詳細を図16(C)に示す。位置(xmax, ymax)での各投票画像でのピクセル値を見れば、どの線分が穴の位置推定に貢献したかを知ることができる。まずステップS1615では、その中で位置(xmax, ymax)でのピクセル値が大きいものから順に4枚の投票画像を定め、それら投票画像に対応した線分を特定する。ステップS1616で(x, y)から各線分への距離を4つ求めることができる。これを降順にソートしたベクトル(d, d, d, d)をステップS1617において検出装置の出力とする。このベクトルは(W, W, H, H)に近いことが望ましい。
最後に検出装置はこの距離ベクトルを用いて以下の2つの誤差値を求め、両方とも所定の閾値θより小さければ、その木材を出荷対象とすれば良い。
Figure 2013210968
以上により、ハフ変換により検出情報を推定し、穴の検出を行う実施形態を示した。特に本実施形態では、検出情報を穴の位置と大きさに定め、線分と円の2つの異なる検出器を利用して、木材の穴を検出する装置の例を示した。
上述した実施形態によれば、複数の異なる検出器の結果を統合する場合に、推定結果の精度が高い共通の情報を推定し、その推定結果を利用して最終的な検出結果を得る。これにより、検出対象の領域以外に現れる誤検出を削減でき、精度の高い検出結果を得ることができるようになる。
<その他の実施形態>
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、コンピュータ読み取り可能なプログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
更に、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

Claims (16)

  1. 入力画像から物体の第1の部分を検出する第1の検出手段と、
    前記入力画像から前記物体の第1の部分とは異なる第2の部分を検出する第2の検出手段と、
    前記第1の検出手段により前記第1の部分が検出された場合に、当該第1の部分に基づいて前記物体の第3の部分を推定する第1の推定手段と、
    前記第2の検出手段により前記第2の部分が検出された場合に、当該第2の部分に基づいて前記物体の第3の部分を推定する第2の推定手段と、
    前記第1及び第2の推定手段のそれぞれにより推定された前記第3の部分の一致度を算出する一致度算出手段と、
    前記一致度が所定の閾値以上であれば、前記第1または第2の検出手段の検出結果、前記第1または第2の推定手段の推定結果の少なくとも1つに基づいて、前記物体の検出結果を出力する出力手段と
    を備えることを特徴とする物体検出装置。
  2. 前記出力手段は前記第1および第2の検出手段の検出結果を統合して出力することを特徴とする請求項1に記載の物体検出装置。
  3. 前記第1および第2の検出手段は、前記物体の位置と大きさとを検出することを特徴とする請求項1に記載の物体検出装置。
  4. 前記第1および第2の検出手段は、それぞれの検出結果とともに、当該検出結果の尤度を表すスコアを算出して出力することを特徴とする請求項1に記載の物体検出装置。
  5. 前記出力手段は、前記第1および第2の検出手段のそれぞれが算出したスコアの線形和を出力することを特徴とする請求項4に記載の物体検出装置。
  6. 前記第1および第2の検出手段の出力するスコアの少なくとも一方を前記第1および第2の推定手段の信頼度に基づいて補正する補正手段を有することを特徴とする請求項4に記載の物体検出装置。
  7. 前記第1および第2の検出手段は、補正された前記スコアが所定値以上の検出結果を出力することを特徴とする請求項6に記載の物体検出装置。
  8. 前記出力手段は、前記補正手段による補正後のスコアの線形和を出力することを特徴とする請求項6に記載の物体検出装置。
  9. 前記第3の部分は、前記第1および第2の部分の共通部分であることを特徴とする請求項1に記載の物体検出装置。
  10. 前記第2の部分を前記第3の部分とし、前記第2の推定手段が前記第2の検出手段で検出された前記第2の部分を推定結果として出力することを特徴とする請求項9に記載の物体検出装置。
  11. 前記物体は人体であり、前記第1および第2の検出手段は、人体の全身、上半身、頭部、顔のいずれかを検出することを特徴とする請求項1に記載の物体検出装置。
  12. 前記第1および第2の推定手段は、前記人体の頭部を推定することを特徴とする請求項11に記載の物体検出装置。
  13. 前記一致度算出手段は、前記第1および第2の推定手段により推定された前記第3の部分の重複率に基づいて前記一致度を算出することを特徴とする請求項1に記載の物体検出装置。
  14. 前記第2の検出手段は複数の第2の部分を検出し、前記第2の推定手段は当該複数の第2の部分のそれぞれから第3の部分を推定し、前記一致度算出手段は当該それぞれの第3の部分について一致度を算出し、前記出力手段は、当該一致度が前記閾値以上で最も高い第3の部分を推定するために用いた第2の部分を出力することを特徴とする請求項1に記載の物体検出装置。
  15. 入力画像から物体の第1の部分を検出する第1の検出工程と、
    前記入力画像から前記物体の第1の部分とは異なる第2の部分を検出する第2の検出工程と、
    前記第1の検出手段により前記第1の部分が検出された場合に、当該第1の部分に基づいて前記物体の第3の部分を推定する第1の推定工程と、
    前記第2の検出手段により前記第2の部分が検出された場合に、当該第2の部分に基づいて前記物体の第3の部分を推定する第2の推定工程と、
    前記第1及び第2の推定手段のそれぞれにより推定された前記第3の部分の一致度を算出する一致度算出工程と、
    前記一致度が所定の閾値以上であれば、前記第1または第2の検出手段の検出結果、前記第1または第2の推定手段の推定結果の少なくとも1つに基づいて、前記物体の検出結果を出力する出力工程と
    を備えることを特徴とする物体検出方法。
  16. コンピュータに、請求項15に記載の物体検出方法を実行させることを特徴とするコンピュータ読み取り可能なプログラム。
JP2012082380A 2012-03-30 2012-03-30 物体検出装置及びその方法、プログラム Active JP6032921B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012082380A JP6032921B2 (ja) 2012-03-30 2012-03-30 物体検出装置及びその方法、プログラム
US13/836,221 US9292745B2 (en) 2012-03-30 2013-03-15 Object detection apparatus and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012082380A JP6032921B2 (ja) 2012-03-30 2012-03-30 物体検出装置及びその方法、プログラム

Publications (3)

Publication Number Publication Date
JP2013210968A true JP2013210968A (ja) 2013-10-10
JP2013210968A5 JP2013210968A5 (ja) 2015-05-21
JP6032921B2 JP6032921B2 (ja) 2016-11-30

Family

ID=49235081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012082380A Active JP6032921B2 (ja) 2012-03-30 2012-03-30 物体検出装置及びその方法、プログラム

Country Status (2)

Country Link
US (1) US9292745B2 (ja)
JP (1) JP6032921B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015127959A (ja) * 2013-12-27 2015-07-09 ニューソフト コーポレーションNeusoft Corporation 広義的通行人検出方法及び装置
JP2019012497A (ja) * 2017-07-03 2019-01-24 富士通株式会社 部位認識方法、装置、プログラム、及び撮像制御システム
JP2019149119A (ja) * 2018-02-28 2019-09-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019185616A (ja) * 2018-04-16 2019-10-24 Kddi株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
US10497121B2 (en) 2014-10-27 2019-12-03 Alibaba Group Holding Limited Method and system for extracting a main subject of an image
JP2020071615A (ja) * 2018-10-30 2020-05-07 富士通株式会社 検出方法、検出プログラムおよび検出装置
JP2020112937A (ja) * 2019-01-09 2020-07-27 株式会社日立製作所 計算機および画像処理方法
WO2022137901A1 (ja) * 2020-12-22 2022-06-30 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法
WO2023037919A1 (ja) * 2021-09-09 2023-03-16 株式会社日立製作所 計算機及び情報処理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373085B1 (en) 2012-05-15 2016-06-21 Vicarious Fpc, Inc. System and method for a recursive cortical network
US9122914B2 (en) * 2013-05-09 2015-09-01 Tencent Technology (Shenzhen) Co., Ltd. Systems and methods for matching face shapes
CN103679216B (zh) * 2014-01-06 2017-01-18 重庆大学 基于空时稀疏表示的红外小弱目标检测方法
US9785828B2 (en) 2014-06-06 2017-10-10 Honda Motor Co., Ltd. System and method for partially occluded object detection
US10275705B2 (en) 2014-08-08 2019-04-30 Vicarious Fpc, Inc. Systems and methods for generating data explanations for neural networks and related systems
US10643101B2 (en) * 2015-07-09 2020-05-05 Texas Instruments Incorporated Window grouping and tracking for fast object detection
JP6784261B2 (ja) * 2015-10-07 2020-11-11 日本電気株式会社 情報処理装置、画像処理システム、画像処理方法及びプログラム
JP6727543B2 (ja) * 2016-04-01 2020-07-22 富士ゼロックス株式会社 画像パターン認識装置及びプログラム
JP6627680B2 (ja) * 2016-07-27 2020-01-08 株式会社Jvcケンウッド 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
JP7253872B2 (ja) * 2017-12-01 2023-04-07 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11633860B2 (en) 2018-09-05 2023-04-25 Intrinsic Innovation Llc Method and system for machine concept understanding
JP7292905B2 (ja) * 2019-03-06 2023-06-19 キヤノン株式会社 画像処理装置及び画像処理方法、及び撮像装置
JP7525990B2 (ja) * 2019-10-29 2024-07-31 キヤノン株式会社 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054442A (ja) * 2002-07-17 2004-02-19 Glory Ltd 顔検出装置、顔検出方法および顔検出プログラム
JP2010257450A (ja) * 2009-03-31 2010-11-11 Sogo Keibi Hosho Co Ltd 人物検索装置、人物検索方法、及び人物検索プログラム
JP2011209951A (ja) * 2010-03-29 2011-10-20 Secom Co Ltd 対象物検知装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088846B2 (en) * 2003-11-17 2006-08-08 Vidient Systems, Inc. Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones
JP2005165984A (ja) * 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
JP4554547B2 (ja) * 2006-03-31 2010-09-29 富士フイルム株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
JP4766495B2 (ja) * 2007-09-28 2011-09-07 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
JP4874913B2 (ja) * 2007-09-28 2012-02-15 富士フイルム株式会社 頭頂位置算出装置、それを用いた画像処理装置および頭頂位置算出方法並びにプログラム
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
US8385609B2 (en) * 2008-10-21 2013-02-26 Flashfoto, Inc. Image segmentation
WO2010136593A2 (en) * 2009-05-29 2010-12-02 Tessera Technologies Ireland Limited Methods and apparatuses for foreground, top-of-the-head separation from background
CN102236899B (zh) * 2010-05-07 2013-12-04 株式会社理光 物体检测方法和装置
US8749630B2 (en) * 2010-05-13 2014-06-10 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for automatic objects localization
JP5569990B2 (ja) * 2010-10-22 2014-08-13 Necソリューションイノベータ株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054442A (ja) * 2002-07-17 2004-02-19 Glory Ltd 顔検出装置、顔検出方法および顔検出プログラム
JP2010257450A (ja) * 2009-03-31 2010-11-11 Sogo Keibi Hosho Co Ltd 人物検索装置、人物検索方法、及び人物検索プログラム
JP2011209951A (ja) * 2010-03-29 2011-10-20 Secom Co Ltd 対象物検知装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015127959A (ja) * 2013-12-27 2015-07-09 ニューソフト コーポレーションNeusoft Corporation 広義的通行人検出方法及び装置
US9519831B2 (en) 2013-12-27 2016-12-13 Neusoft Corporation Method and apparatus for detecting generalized passerby by utilizing features of a wheel and upper body
US10497121B2 (en) 2014-10-27 2019-12-03 Alibaba Group Holding Limited Method and system for extracting a main subject of an image
JP2019012497A (ja) * 2017-07-03 2019-01-24 富士通株式会社 部位認識方法、装置、プログラム、及び撮像制御システム
JP2019149119A (ja) * 2018-02-28 2019-09-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7106296B2 (ja) 2018-02-28 2022-07-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7073179B2 (ja) 2018-04-16 2022-05-23 Kddi株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP2019185616A (ja) * 2018-04-16 2019-10-24 Kddi株式会社 画像抽出装置、画像抽出方法及び画像抽出プログラム
US11210513B2 (en) 2018-10-30 2021-12-28 Fujitsu Limited Detection method and detection device
JP2020071615A (ja) * 2018-10-30 2020-05-07 富士通株式会社 検出方法、検出プログラムおよび検出装置
JP7119910B2 (ja) 2018-10-30 2022-08-17 富士通株式会社 検出方法、検出プログラムおよび検出装置
JP2020112937A (ja) * 2019-01-09 2020-07-27 株式会社日立製作所 計算機および画像処理方法
WO2022137901A1 (ja) * 2020-12-22 2022-06-30 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法
WO2023037919A1 (ja) * 2021-09-09 2023-03-16 株式会社日立製作所 計算機及び情報処理方法

Also Published As

Publication number Publication date
US20130259307A1 (en) 2013-10-03
US9292745B2 (en) 2016-03-22
JP6032921B2 (ja) 2016-11-30

Similar Documents

Publication Publication Date Title
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
US7986828B2 (en) People detection in video and image data
US9092662B2 (en) Pattern recognition method and pattern recognition apparatus
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
KR101872811B1 (ko) 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
US11380010B2 (en) Image processing device, image processing method, and image processing program
JP2019057815A (ja) 監視システム
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
US20230351617A1 (en) Crowd type classification system, crowd type classification method and storage medium for storing crowd type classification program
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP2014021602A (ja) 画像処理装置及び画像処理方法
JP2020106970A (ja) 人検出装置および人検出方法
Mattheij et al. Depth-based detection using Haarlike features
JP2015187769A (ja) 物体検出装置、物体検出方法及びプログラム
JP2023008030A (ja) 画像処理システム、画像処理方法及び画像処理プログラム
US20240196086A1 (en) Method and apparatus for detecting best shot in long-range face recognition system
EP4102452A1 (en) Re-identification device, re-identification program, and re-identification method
Tatarenkov et al. Feature extraction from a depth map for human detection
CN115862096A (zh) 基于深度相机的面部检测方法、装置、设备及存储介质
Varadharajan Object Detection in a video based on Frame Differencing using Deep learning
Sabir et al. Heuristic Based Labelling Using Edgelet Based Contour Detection for Low Resolution Small to Medium Scaled Monocular Pedestrian Detection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161025

R151 Written notification of patent or utility model registration

Ref document number: 6032921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151