JP2009075868A - 画像から対象を検出する装置、方法およびプログラム - Google Patents

画像から対象を検出する装置、方法およびプログラム Download PDF

Info

Publication number
JP2009075868A
JP2009075868A JP2007244294A JP2007244294A JP2009075868A JP 2009075868 A JP2009075868 A JP 2009075868A JP 2007244294 A JP2007244294 A JP 2007244294A JP 2007244294 A JP2007244294 A JP 2007244294A JP 2009075868 A JP2009075868 A JP 2009075868A
Authority
JP
Japan
Prior art keywords
area
region
partial
reliability
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007244294A
Other languages
English (en)
Inventor
Kentarou Yokoi
謙太朗 横井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007244294A priority Critical patent/JP2009075868A/ja
Priority to US12/210,570 priority patent/US20090080711A1/en
Publication of JP2009075868A publication Critical patent/JP2009075868A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】画像から適切に検索対象を検出する対象検出装置を提供する。
【解決手段】第１領域を分割した第１部分領域ごとの特徴量および信頼度を記憶する記憶部１２１と、画像データを入力する映像入力部１０１と、画像データから対象を含む第２領域を抽出する対象抽出部１０２と、第２領域を分割した第２部分領域ごとに信頼度を算出する信頼度算出部１０３と、第２部分領域ごとに特徴量を算出する特徴量算出部１０５と、第１部分領域および第２部分領域の組み合わせのそれぞれについて、第１部分領域の特徴量と第２部分領域の特徴量との間の部分類似度を算出し、部分類似度と各部分領域の信頼度との積の和である対象類似度を算出する類似度算出部１０６と、対象類似度が第１閾値より大きい場合に、第１領域に含まれる対象と第２領域に含まれる対象とが一致すると判断する判断部１０７と、を備えた。
【選択図】 図１

Description

この発明は、画像・映像中から人物などの注目物体を抽出し、その色・模様・形などの特徴を比較することで、指定された注目物体と対応するものを異なる画像・映像中から検索・抽出する装置、方法およびプログラムに関するものである。
映像から移動する物体を含む変動領域を抽出し、複数の映像から抽出した変動領域の類似度等を算出することによって変動領域を対応づけることによって、特定人物や特定物体を追跡または検索する方法が知られている。
例えば、非特許文献１および２では、指定人物として登録されている色情報に類似する色領域を抽出することによって指定人物を追跡する技術が提案されている。また、特許文献１では、映像から抽出した変動領域をブロックに分割し、そのブロックの色情報をもとに人物の対応付けをとることで、特定人物を追跡・検索する技術が提案されている。
先山卓朗、島田伸敬、三浦純、白井良明．色情報を利用した指定人物の追跡．FIT2003８（第２回情報科学技術フォーラム）、No.I-085,pp.183-184,September 2003． 先山卓朗、三浦純、白井良明．色特徴に基づく指定人物追跡．FIT2004（第３回情報科学技術フォーラム）、No.I-036,pp.79-80,September 2004． 特開２００５−２０２９３８号公報
しかしながら、特許文献１の方法は、検索対象として指定された指定人物の全身が変動領域として抽出されることを前提としているため、例えば、上半身のみが見えている映像と全身が見えている映像との対応付けが取れないまたは対応付けが困難になるという問題があった。すなわち、指定人物の体の一部が他の人物等によって隠れる場合に、適切に指定人物を追跡・検索できないという問題があった。
なお、非特許文献１の方法は、人物領域を追跡して徐々に人物領域を更新していくことにより、身体の一部が隠蔽された場合でも人物領域を検出可能だが、静止画像同士を照合する場合のように、追跡処理が適用できない場合には対応できない。
本発明は、上記に鑑みてなされたものであって、検索対象が含まれる画像が動画像であるか静止画像であるかを問わず、検索対象の一部が隠れている場合であっても、画像から適切に検索対象を検出できる装置、方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、注目する対象を含む領域として学習画像データから抽出された第１領域を分割した第１部分領域ごとの画像の特徴量と、前記第１部分領域ごとの抽出の信頼度と、を記憶する記憶部と、入力画像データを入力する入力部と、入力画像データから前記対象を含む領域の候補である第２領域を抽出する抽出部と、前記第２領域を分割した第２部分領域ごとに前記信頼度を算出する信頼度算出部と、前記第２部分領域ごとに前記特徴量を算出する特徴量算出部と、前記第１部分領域および前記第１部分領域に対応する前記第２部分領域の組み合わせのそれぞれについて、前記記憶部に記憶された前記第１部分領域の前記特徴量と、算出された前記第２部分領域の前記特徴量との間の類似度である部分類似度を算出し、前記部分類似度と、前記記憶部に記憶された前記第１部分領域の前記信頼度と、算出された前記第２部分領域の前記信頼度との積を算出し、前記組み合わせのそれぞれについて算出した前記積の和である対象類似度を算出する類似度算出部と、前記対象類似度と予め定められた第１閾値とを比較し、前記対象類似度が前記第１閾値より大きい場合に、前記第２領域は前記対象を含むと判断する判断部と、を備えたことを特徴とする。
また、本発明は、上記装置を実行することができる方法およびプログラムである。
本発明によれば、検索対象の一部が隠れている場合であっても、画像を照合することにより適切に検索対象を検出することができるという効果を奏する。
以下に添付図面を参照して、この発明にかかる装置、方法およびプログラムの実施の形態を詳細に説明する。なお、以下では、検索する対象を人物として説明するが、検索対象は人物に限定されず、車や動物など映像に出現する任意の物体を検索対象とすることができる。
（第１の実施の形態）
第１の実施の形態にかかる対象検出装置は、抽出した人物領域を所定数の部分領域に分割し、部分領域ごとに算出した類似度（部分類似度）の総和を人物領域全体の類似度（対象類似度）として算出することにより、類似する人物領域を検索するものである。このとき、抽出した人物領域の縦横比を基準値と比較することにより、検索対象である人物の一部が隠れているか否かを判断し、隠れている部分については抽出の信頼度を小さく算出し、信頼度で重みづけた部分類似度の総和を対象類似度として算出する。
図１は、第１の実施の形態にかかる対象検出装置１００の構成を示すブロック図である。図１に示すように、対象検出装置１００は、記憶部１２１と、映像入力部１０１と、対象抽出部１０２と、信頼度算出部１０３と、領域分割部１０４と、特徴量算出部１０５と、類似度算出部１０６と、判断部１０７と、を備えている。
記憶部１２１は、比較する検索対象を事前に抽出するための学習用映像データに対して、後述する特徴量算出部１０５等が算出した特徴量等の算出結果を対応づけて記憶するものである。図２は、記憶部１２１に記憶されたデータのデータ構造の一例を示す説明図である。図２に示すように、記憶部１２１は、検索対象となる人物を識別する対象ＩＤと、特徴量１〜Ｊ（Ｊは１以上の自然数）と、信頼度１〜Ｊとを対応づけたデータを記憶している。
特徴量１〜Ｊは、人物領域をＪ個に分割した部分領域ごとの特徴量を表す。また、信頼度１〜Ｊは、Ｊ個の部分領域ごとの信頼度を表す。以下では、ｊ番目の特徴量および信頼度を、それぞれＦｊおよびｃｊと記載する。なお、特徴量および信頼度の算出方法については後述する。
なお、記憶部１２１は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。
映像入力部１０１は、動画像データまたは静止画像データである映像データを入力するものである。映像入力部１０１は、ビデオカメラ（図示せず）で撮影された映像データを入力してもよいし、記憶部１２１の記憶装置に記憶された画像ファイルから映像データを入力してもよい。また、映像入力部１０１は、ネットワークを介して外部装置から映像データを入力するように構成してもよい。
対象抽出部１０２は、入力された映像データから人物領域を抽出するものである。固定カメラの映像であれば、対象抽出部１０２は、例えば、背景差分法によって変動領域を抽出し、抽出した変動領域を人物領域とする。また、非固定カメラの映像や静止画像のように背景差分法が適用できない対象の場合には、対象抽出部１０２は、人物パターンと照合することにより人物領域を直接検出する方法、または抽出対象の輪郭の断片を照合することによってより高精度に人物領域を抽出する方法などを適用できる。
なお、対象抽出部１０２による人物領域の抽出方法はこれに限られず、映像データから対象人物の全部または一部を抽出可能な方法であればあらゆる方法を適用できる。
信頼度算出部１０３は、抽出された人物領域の部分領域ごとの抽出の信頼度を算出するものである。抽出の信頼度とは、抽出の確からしさの度合いを表すものであり、抽出された部分領域が確かに人物の一部である場合に大きな値をとり、隠れなどによって人物ではない可能性が高い場合に小さな値をとる。
信頼度算出部１０３は、まず、対象抽出部１０２が人物領域を抽出したときの抽出方法に応じて、抽出の信頼度を算出する。例えば、所定のパターンと照合して人物領域を抽出する方法の場合は、信頼度算出部１０３は、当該パターンとの類似度を信頼度として算出することができる。
また、信頼度算出部１０３は、抽出された人物領域の縦横比を算出し、縦横比と予め定められた縦横比の基準とを比較することにより、隠れ領域が存在するか否かを推定する。隠れ領域とは、他の人物等により指定された人物の人物領域が隠れている領域をいう。隠れ領域が存在すると推定される場合は、信頼度算出部１０３は、縦横比が基準値と一致するように隠れ領域を追加して人物領域を拡張する。
そして、信頼度算出部１０３は、後述する領域分割部１０４が人物領域を分割した部分領域のそれぞれに対して信頼度を算出する。具体的には、信頼度算出部１０３は、隠れ領域以外の領域を分割した部分領域については、人物領域全体を抽出したときの信頼度を割り当てる。また、信頼度算出部１０３は、隠れ領域を分割した部分領域については、隠れ領域以外の領域より小さい信頼度を算出する。例えば、信頼度が０以上１以下の値をとる場合、信頼度算出部１０３は、隠れ領域に対して０．１を信頼度として算出する。
領域分割部１０４は、抽出された人物領域、または隠れ領域が追加された人物領域を複数の部分領域に分割するものである。領域分割部１０４は、任意の形状および大きさの部分領域に分割することができる。ただし、照合の精度を高めるために、領域分割部１０４は、人物領域の縦方向にＪ等分したスライス状に人物領域を分割するのが望ましい。
なお、信頼度算出部１０３が抽出された人物領域に隠れ領域を追加した場合は、領域分割部１０４は、抽出された人物領域と隠れ領域との境界で分割するように構成してもよい。さらに、領域分割部１０４は、隠れ領域との境界の位置に関わらずＪ等分に分割するように構成してもよい。この場合、抽出された人物領域と隠れ領域とを共に含む部分領域に対しては、信頼度算出部１０３は、人物領域および隠れ領域の割合に応じて信頼度を重み付け加算して信頼度を算出するように構成してもよい。
特徴量算出部１０５は、分割された部分領域ごとに、色・模様・形などの画像データに関する特徴量を算出するものである。算出する特徴量としては、色ヒストグラム、フーリエ記述子およびウェーブレット係数などのテクスチャ（模様）特徴量など、画像検索に関して従来から用いられているあらゆる特徴量を適用できる。特徴量算出部１０５は、隠れ領域に対応する部分領域についても、当該領域の画像から算出された特徴量をそのまま用いる。もしくは、例えば、平均的な特徴量として定められた固定値を当該領域に対する特徴量として算出しても構わない。
類似度算出部１０６は、記憶部１２１に事前に記憶された特徴量と、検索対象を検索するために指定された検索対象映像データから算出された特徴量とを元に、学習用映像データから抽出された人物領域と、検索対象映像データから抽出された人物領域とが類似する度合いを表す対象類似度を算出するものである。対象類似度の算出方法については後述する。
判断部１０７は、算出された対象類似度と所定の閾値とを比較し、対象類似度が閾値より大きい場合に、学習用映像データから抽出された検索対象と、検索対象映像データから抽出された検索対象とが一致すると判断する。
次に、第１の実施の形態にかかる対象検出装置１００による学習処理について図３を用いて説明する。学習処理とは、複数の画像内の検索対象の対応関係を判断するための比較対象となる情報として、事前に入力された映像データから検索対象の特徴量等を算出し、記憶部１２１に保存する処理をいう。図３は、第１の実施の形態における学習処理の全体の流れを示すフローチャートである。
まず、映像入力部１０１が、学習用映像データを入力する（ステップＳ３０１）。次に、対象抽出部１０２は、入力された学習用映像データから人物領域を抽出する（ステップＳ３０２）。
次に、信頼度算出部１０３は、検索対象に隠れ領域が存在するか否かを判定する隠れ判定処理を実行する（ステップＳ３０３）。隠れ判定処理の詳細については後述する。
隠れ判定処理の後、領域分割部１０４は、抽出された人物領域または隠れ領域が追加された人物領域を、Ｊ個の部分領域に分割する（ステップＳ３０４）。
図４および図５は、部分領域の分割方法の一例を示す図である。図４は、人物領域の縦方向および横方向のそれぞれを所定数に等分するように分割した例を示している。このような分割方法では、人物の左右の動きによって領域の対応する部位が変化するため、マッチングが安定しないという問題がある。例えば、同図では、人物の動作前の部分領域４０１と、人物の動作前の部分領域４０２とは、それぞれ異なる部位である腕および胴体に対応している。このため、例えば色情報に基づく特徴量を用いた場合、特徴量の相違が大きくなり、対応しない領域であると判断される可能性が高くなる。
一方、図５は、人物領域の縦方向にスライス状に分割した例を示している。このような分割方法であれば、人物が左右に動いた場合であっても、各部位は同一領域内にとどまる可能性が高く、マッチングが安定する。例えば、同図では、人物の動作前の部分領域５０１と、人物の動作前の部分領域５０２とは、それぞれ腕および胴体をほぼ同じ割合で含んでいる。このため、例えば色情報に基づく特徴量を用いた場合であっても、特徴量の相違が小さく、対応する領域であると判断される可能性が高い。
図３に戻り、領域分割部１０４が人物領域を部分領域に分割した後、信頼度算出部１０３は、分割したＪ個の部分領域ごとに信頼度ｃｊを算出する（ステップＳ３０５）。具体的には、信頼度算出部１０３は、隠れ領域が含まれない部分領域に対しては、人物領域を抽出したときの信頼度をそれぞれ割り当てる。また、信頼度算出部１０３は、隠れ領域が含まれる部分領域に対しては、所定の信頼度（例えば０．１）を割り当てる。
次に、特徴量算出部１０５は、分割されたＪ個の部分領域ごとに特徴量Ｆｊを算出する（ステップＳ３０６）。そして、特徴量算出部１０５は、算出した部分領域ごとの特徴量Ｆｊと信頼度ｃｊとを記憶部１２１に保存し（ステップＳ３０７）、学習処理を終了する。
次に、ステップＳ３０３の隠れ判定処理の詳細について説明する。図６は、第１の実施の形態における隠れ判定処理の全体の流れを示すフローチャートである。
まず、信頼度算出部１０３は、抽出された人物領域の縦横比ｒを算出する（ステップＳ６０１）。縦横比ｒは、人物領域の幅をｗ、高さをｈとすると、ｒ＝ｈ／ｗで表される。
次に、信頼度算出部１０３は、算出した縦横比ｒと、予め平均的な人物の縦横比として求めた縦横比の基準値Ｒより小さいか否かを判断する（ステップＳ６０２）。
図７は、人物の縦横比を求める方法を説明するための模式図である。図７に示すように、平均的な人物の高さの基準値をＨおよび幅の基準値をＷとし、それぞれ例えばＨ＝２およびＷ＝１であるとすると、縦横比の基準値Ｒは、Ｒ＝Ｈ／Ｗ＝２のように求めることができる。
縦横比ｒが基準値Ｒより小さい場合（ステップＳ６０２：ＹＥＳ）、信頼度算出部１０３は、検索対象の隠れ領域が存在すると推定する（ステップＳ６０３）。そして、信頼度算出部１０３は、縦横比が基準値に一致するように、抽出された人物領域に隠れ領域を追加する（ステップＳ６０４）。具体的には、信頼度算出部１０３は、（Ｒ−ｒ）／Ｒによって算出した隠れ領域の割合にしたがい、人物領域の上方および下方の少なくとも一方に隠れ領域を追加する。
なお、信頼度算出部１０３は、上方および下方のいずれの方向に、どのような割合で隠れ領域が存在するかを判定することができない。そこで、信頼度算出部１０３が、上方および下方に追加する隠れ領域の割合の合計が（Ｒ−ｒ）／Ｒを満たす複数の組み合わせで隠れ領域を追加するように構成してもよい。
図８は、このような構成で追加される複数の隠れ領域の組み合わせの一例を示す図である。図８の左側には、人物領域８０１と下方のみに追加された隠れ領域８１１との組み合わせの例が示されている。また、図８の中央には、人物領域８０２と上方に追加された隠れ領域８１２と下方に追加された隠れ領域８１３との組み合わせの例が示されている。さらに、図８の右側には、人物領域８０３と上方のみに追加された隠れ領域８１４との組み合わせの例が示されている。
なお、このように構成する場合、複数の組み合わせのそれぞれについて、これ以降の処理（領域分割処理、特徴量算出処理、および特徴量保存処理）を実行する。そして、後述する検出処理では、組み合わせそれぞれについて算出した特徴量および信頼度を用いて類似度を判定し、最も類似度の高いものを採用するように構成する。
また、一般に人物の高さ方向については下半身が隠れることが多いため、信頼度算出部１０３は、高さ方向の隠れ領域は下半身領域に発生していると限定するように構成してもよい。これにより、隠れ判定処理の処理量を削減することができる。
また、これまでは縦横比をｒ＝ｈ／ｗとし、縦横比が基準値より小さい場合、すなわち、高さ方向に隠れ領域が存在する場合のみについて説明した。幅方向に隠れ領域が存在する場合については、基準値Ｒ（＝２）より大きいか否かを判定することにより上記と同様の隠れ領域推定・追加処理を行えばよい。また、縦横比をｒ’＝ｗ／ｈに置き換えて、同様に置き換えた基準値Ｒ’＝Ｗ／Ｈ（＝０．５）より小さいか否かを判定することにより上記と同様の隠れ領域推定・追加処理を行うように構成してもよい。
なお、図６のような隠れの推定は、対象抽出部１０２において背景差分で抽出された変動領域をそのまま人物領域として用いるような場合に必要となる。この場合、変動領域は必ずしも人物領域全体を抽出しているとは限らず、背景によって隠された領域があるとその部分は変動として抽出されないため、そのような隠れ領域を推定する必要がある。
一方、対象抽出部１０２として、背景差分処理と人物検出処理を併用するような場合は、図６のような隠れの推定は必ずしも必要ない。この場合は、背景差分により抽出された変動領域に対して、それを含む周辺領域から人物検出処理を行って人物領域を抽出する。そのため、抽出された人物領域のうち、変動領域ではない領域が隠れ領域であると判定できる。
また、対象抽出部１０２として人物検出処理のみを用いる場合は、人物領域（全身）とその抽出信頼度が得られるのみであるため、領域分割部１０４が分割する各部分領域の信頼度として当該抽出信頼度を用いる。
ここで、ステップＳ３０２の人物領域抽出処理、ステップＳ３０５の信頼度算出処理、およびステップＳ３０６の特徴量算出処理の具体例について図９〜図１４を用いて説明する。図９〜図１１は、隠れ領域が存在しない場合の各処理の様子を説明する図である。また、図１２〜図１４は、隠れ領域が存在する場合の各処理の様子を説明する図である。
図９は、隠れ領域が存在しないため、対象となる人物の全体が人物領域９０１として抽出された例を示している。図１０は、このような人物領域９０１をスライス状の部分領域に分割し、それぞれに対して同一の信頼度を算出した例を示している。図１１は、各部分領域ごとに特徴量Ｆｊを算出したことを示している。
一方、図１２は、隠れ領域が存在するため、対象となる人物の上半身のみ人物領域１２０１として抽出された例を示している。そして、下半身部分が、隠れ領域として推定されて追加されたことを示している。
また、図１３は、隠れ領域を追加した人物領域をスライス状の部分領域に分割し、それぞれに対して信頼度を算出した例を示している。この場合は、最初に抽出された人物領域１２０１に対応する部分領域に対しては、抽出時の信頼度が算出されるが、隠れ領域に対応する部分領域に対しては、小さい信頼度が算出される。
また、図１４は、各部分領域ごとに特徴量Ｆｊを算出したことを示している。後述するように、検出処理では、部分領域ごとに特徴量Ｆｊを信頼度で重みづけることにより、複数の人物領域間の対象類似度を算出する。したがって、例えば図１４の例では、隠れ領域１４０１以外の領域について算出された特徴量が、対象類似度の算出で重視されることになる。
次に、第１の実施の形態にかかる対象検出装置１００による検出処理について図１５を用いて説明する。検出処理とは、学習処理で記憶した特徴量等と、新たに入力された映像データから算出された特徴量等とを用いて、入力された映像データから抽出された人物領域と、学習用映像データから抽出された人物領域との対応関係を検出する処理をいう。図１５は、第１の実施の形態における検出処理の全体の流れを示すフローチャートである。
まず、映像入力部１０１が、検索対象映像データを入力する（ステップＳ１５０１）。以下、ステップＳ１５０２からステップＳ１５０６までの、人物領域抽出処理、隠れ判定処理、信頼度算出処理、領域分割処理、および特徴量算出処理は、学習処理のステップＳ３０２からステップＳ３０６までと同様の処理なので、その説明を省略する。
検索対象映像データに対して特徴量を算出した後、類似度算出部１０６は、算出した特徴量と、記憶部１２１に記憶されている特徴量とを用いて、対象類似度を算出する（ステップＳ１５０７）。以下に対象類似度の具体的な算出方法について説明する。
以下では、比較対象となる人物の対象ＩＤをｉ、特徴量をＦｉ，ｊ（ｊ＝１〜Ｊ）、および信頼度をｃｉ，ｊとする。また、入力された検索対象映像データから抽出された人物領域に対して算出された特徴量をＦｉｎｐｕｔ，ｊ、信頼度をｃｉｎｐｕｔ，ｊとする。
この場合、類似度算出部１０６は、以下の（１）式または（２）式によって、人物領域間の類似度である対象類似度Ｓｉｎｐｕｔ，ｊを算出する。
Figure 2009075868
なお、ｓｉｍｉｌａｒｉｔｙ（Ｆｉｎｐｕｔ，ｊ，Ｆｉ，ｊ）は、特徴量Ｆｉｎｐｕｔと、特徴量Ｆｉ，ｊとの間の類似度である部分類似度を表す。類似度算出部１０６は、例えば、ベクトルで表された特徴量については、特徴量ベクトルの相関値を部分類似度として算出する。また、特徴量がヒストグラムである場合は、類似度算出部１０６は、ヒストグラムインターセクションによって部分類似度を算出する。このように、類似度算出部１０６は、特徴量の算出方法に応じて従来から用いられているあらゆる特徴量間の類似度算出方法を適用できる。
なお、（２）式は、全体の信頼度で正規化して対象類似度Ｓｉｎｐｕｔ，ｊを算出するものである。（２）式によれば、部分的な隠れに対しては（１）式よりも安定になる可能性がある。
（１）式または（２）式に示すように、部分類似度に対して、比較する双方の人物領域の部分領域ごとの信頼度をそれぞれ乗じ、すべての部分領域で総和を算出することにより、人物領域全体の対象類似度を算出している。すなわち、信頼度が小さい場合には、対応する部分領域についての部分類似度は、対象類似度全体に対する重みが小さくなる。これにより、例えば、隠れ領域が追加された場合であっても対象類似度の算出に与える影響を小さくし、隠れが存在する場合のマッチングを安定化させることができる。
なお、隠れ領域の場合は、重み付けによって影響を小さくできるとしても、特徴量間の類似度（部分類似度）自体が低くなる可能性が高いため、全体の類似度（対象類似度）の精度を低下させる原因となる。例えば、全身が映っている人物と上半身のみが映っている人物とを比較したときに、隠れている下半身部分に対応する部分類似度が低いため、対象類似度が低くなりマッチングが失敗する場合がある。
そこで、このような場合に、隠れていない部分（上半身）のみで類似度を評価することにより、隠れが存在する場合のマッチングを安定化させることができる。例えば、類似度を以下の（３）〜（５）式を用いて算出するように構成すればよい。
Figure 2009075868
 ここで、ｍｉｎ（Ａ，Ｂ）は、ＡとＢとのうち値が小さい方を意味する。また、Ｄは、信頼度ｃｉｎｐｕｔ，ｄとｃｉ，ｄとが少なくとも閾値Ｔ以上である部分領域ｄの集合を表す。また、ｎｕｍ（Ｄ）は、集合Ｄの要素数を表す。
このようにして対象類似度を算出することにより、隠れ領域などの信頼度が小さい部分領域は集合Ｄから排除され、対象類似度の算出時に考慮されなくなるため、隠れが存在する場合のマッチングを安定化させることができる。
（１）式、（２）式、または（３）〜（５）式によって対象類似度を算出した後、判断部１０７は、対象類似度が所定の閾値より大きいか否かを判断する（ステップＳ１５０８）。大きい場合は（ステップＳ１５０８：ＹＥＳ）、判断部１０７は、対象ＩＤ＝ｉの人物と、入力された検索対象映像データ内の人物とが対応すると判断する（ステップＳ１５０９）。
対象類似度が閾値より大きくない場合は（ステップＳ１５０８：ＮＯ）、判断部１０７は、対象ＩＤ＝ｉの人物と、入力された検索対象映像データ内の人物とが対応しないと判断する（ステップＳ１５１０）。
このように、第１の実施の形態にかかる対象検出装置では、抽出した人物領域の縦横比を基準値と比較することにより、検索対象である人物の一部が隠れているか否かを判断し、隠れている部分については抽出の信頼度を小さく算出し、信頼度で重みづけた部分類似度の総和を対象類似度として算出することができる。そして、このようにして算出した対象類似度を用いて、人物領域間の対応関係を判定することができる。これにより、検索対象の一部が隠れている場合であっても、画像を照合することにより適切に検索対象を検出することができる。
（第２の実施の形態）
第２の実施の形態にかかる対象検出装置は、人物の構成要素である部位ごとの領域（構成領域）を抽出することによって、人物全体の領域（人物領域）を抽出するものである。
図１６は、第２の実施の形態にかかる対象検出装置１６００の構成を示すブロック図である。図１６に示すように、対象検出装置１６００は、記憶部１２１と、映像入力部１０１と、対象抽出部１６０２と、信頼度算出部１６０３と、領域分割部１６０４と、特徴量算出部１０５と、類似度算出部１０６と、判断部１０７と、を備えている。
第２の実施の形態では、対象抽出部１６０２、信頼度算出部１６０３、および領域分割部１６０４の機能が第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる対象検出装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
対象抽出部１６０２は、入力された映像データから、人物の各部位に対応した領域である構成領域をそれぞれ抽出する。例えば、対象抽出部１６０２は、頭部、左肩部、右肩部、胸部、左腕部、右腕部、腹部、左脚部、および右脚部の９個の部位ごとに構成領域を抽出する。抽出方法としては、部位ごとの照合パターンと比較することにより構成領域を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。
信頼度算出部１６０３は、抽出された構成領域を部分領域として、部分領域ごとの信頼度を算出する。信頼度算出部１６０３は、例えば、部位ごとの照合パターンに対する類似度を部分領域ごとの信頼度として算出する。なお、後述する領域分割部１６０４が構成領域をさらに細分化した場合は、信頼度算出部１６０３は、その分割単位をそれぞれ部分領域として信頼度を算出する。この場合、信頼度算出部１６０３は、分割前の構成領域についての照合パターンとの類似度を、分割後の各部分領域の信頼度として算出すればよい。
領域分割部１６０４は、抽出された人物領域を複数の部分領域に分割するものである。最も簡単な方法としては、領域分割部１６０４は、部位ごとに抽出された構成領域をそのまま部分領域として人物領域を分割する。領域分割部１６０４が、構成領域をさらに細分化した部分領域に分割してもよい。
次に、第２の実施の形態にかかる対象検出装置１６００による学習処理について図１７を用いて説明する。図１７は、第２の実施の形態における学習処理の全体の流れを示すフローチャートである。
まず、映像入力部１０１が、学習用映像データを入力する（ステップＳ１７０１）。次に、対象抽出部１６０２は、入力された学習用映像データから、部位ごとに人物領域を抽出する（ステップＳ１７０２）。すなわち、対象抽出部１６０２は、人物の各部位に対応した構成領域をそれぞれ抽出することによって、各構成領域からなる人物領域を抽出する。
次に、信頼度算出部１６０３は、部位ごとに、構成領域と照合パターンとの類似度を信頼度として算出する（ステップＳ１７０３）。次に、領域分割部１６０４は、人物領域を部分領域に分割する（ステップＳ１７０４）。上述のように、領域分割部１６０４は、構成領域単位で人物領域を部分領域に分割するか、または構成領域をさらに細分化するように人物領域を部分領域に分割する。なお、領域分割部１６０４が構成領域を細分化した場合は、信頼度算出部１６０３は、細分化した部分領域のそれぞれに対して、細分化する前の対応する構成領域の信頼度を割り当てる。
ステップＳ１７０５からステップＳ１７０６までの、特徴量算出処理および特徴量保存処理は、第１の実施の形態にかかる対象検出装置１００におけるステップＳ３０６からステップＳ３０７までと同様の処理なので、その説明を省略する。
次に、第２の実施の形態にかかる対象検出装置１６００による検出処理について図１８を用いて説明する。図１８は、第２の実施の形態における検出処理の全体の流れを示すフローチャートである。
ステップＳ１８０１からステップＳ１８０４までの、映像データ入力処理、人物領域抽出処理、信頼度算出処理、および領域分割処理は、図１７の学習処理のステップＳ１７０１からステップＳ１７０４までと同様の処理なので、その説明を省略する。
また、ステップＳ１８０５からステップＳ１８０９までの、特徴量算出処理および対応判断処理は、第１の実施の形態にかかる対象検出装置１００におけるステップＳ１５０６からステップＳ１５１０までと同様の処理なので、その説明を省略する。
このように、第２の実施の形態は、人物領域の抽出方法が異なる以外は、第１の実施の形態と同様の方法によって、検索対象の対応関係を判定することができる。
次に、第２の実施の形態における、人物領域抽出処理、信頼度算出処理、および特徴量算出処理の具体例について図１９〜図２４を用いて説明する。図１９〜図２１は、隠れ領域が存在しない場合の各処理の様子を説明する図である。また、図２２〜図２４は、隠れ領域が存在する場合の各処理の様子を説明する図である。
図１９は、隠れ領域が存在しないため、対象となる人物の全体が抽出されたことを示している。また、同図は、部位ごとに抽出された構成領域の一例として、頭部の構成領域１９０１、左肩部の構成領域１９０２、胸部の構成領域１９０３、左腕部の構成領域１９０４、腹部の構成領域１９０５、および左脚部の構成領域１９０６が示されている。
図２０は、このような構成領域を部分領域として、部分領域それぞれに対して算出された信頼度の例を示している。一般に、部分領域ごとに異なる信頼度が算出される。
図２１は、各部分領域ごとに特徴量Ｆｊを算出したことを示している。
一方、図２２は、隠れ領域が存在する場合に、部位ごとに抽出された部分領域の例を示している。同図のように下半身部分に隠れ領域が存在する場合であっても、対象抽出部１６０２は、すべての部位に対応する構成領域を抽出する。
また、図２３は、このような構成領域を部分領域として、部分領域それぞれに対して算出された信頼度の例を示している。同図に示すように、下半身部分に隠れ領域が存在するため、下半身側の部位に対応する部分領域に対して、他の部分領域より小さい信頼度が算出される。
また、図２４は、各部分領域ごとに特徴量Ｆｊを算出したことを示している。図２４の例では、下半身側の部位に対応する部分領域２４０１について算出された特徴量は、信頼度が小さいため対象類似度の算出で重視されない。これにより、隠れ領域が存在する場合であってもマッチングを安定化させることができる。
このように、第２の実施の形態にかかる対象検出装置では、人物を構成する部位ごとに領域を抽出する方法であっても、第１の実施の形態と同様の検出処理を適用できる。これにより、検索対象の一部が隠れている場合であっても、画像を照合することにより適切に検索対象を検出することができる。
（変形例）
なお、部位ごとに領域を抽出する別の方法として、モーションキャプチャの技術を適用するように構成してもよい。図２５は、モーションキャプチャ技術の概要を説明するための模式図である。図２５に示すように、モーションキャプチャ技術では、各部位モデルを含む人体全体の人体モデルとのマッチングを行う。
より具体的には、対象抽出部１６０２は、画像のエッジ情報やシルエット情報をもとに人体モデルとのマッチングを行って部位ごとに領域を抽出する。また、信頼度算出部１６０３は、人体モデルのマッチングの際の各部位モデルとのマッチングスコアを各部分領域の信頼度として算出する。そして、領域分割部１６０４は人体モデルとの対応にしたがって人物領域を各部位に分割する。
次に、第１または第２の実施の形態にかかる対象検出装置のハードウェア構成について図２６を用いて説明する。図２６は、第１または第２の実施の形態にかかる対象検出装置のハードウェア構成を示す説明図である。
第１または第２の実施の形態にかかる対象検出装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えており、通常のコンピュータを利用したハードウェア構成となっている。
第１または第２の実施の形態にかかる対象検出装置で実行される対象検出プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、第１または第２の実施の形態にかかる対象検出装置で実行される対象検出プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施の形態にかかる対象検出装置で実行される対象検出プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、第１または第２の実施の形態の対象検出プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
第１または第２の実施の形態にかかる対象検出装置で実行される対象検出プログラムは、上述した各部（映像入力部、対象抽出部、信頼度算出部、領域分割部、特徴量算出部、類似度算出部、判断部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１（プロセッサ）が上記記憶媒体から対象検出プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。
以上のように、本発明にかかる装置、方法およびプログラムは、映像・画像データから抽出した対象物の照合することにより映像を検索する装置、または映像・画像データ中の対象物を追跡する装置に適している。
第１の実施の形態にかかる対象検出装置の構成を示すブロック図である。 記憶部に記憶されたデータのデータ構造の一例を示す説明図である。 第１の実施の形態における学習処理の全体の流れを示すフローチャートである。 部分領域の分割方法の一例を示す図である。 部分領域の分割方法の一例を示す図である。 第１の実施の形態における隠れ判定処理の全体の流れを示すフローチャートである。 人物の縦横比を求める方法を説明するための模式図である。 複数の隠れ領域の組み合わせの一例を示す図である。 隠れ領域が存在しない場合の人物領域抽出処理の様子を説明する図である。 隠れ領域が存在しない場合の信頼度算出処理の様子を説明する図である。 隠れ領域が存在しない場合の特徴量算出処理の様子を説明する図である。 隠れ領域が存在する場合の人物領域抽出処理の様子を説明する図である。 隠れ領域が存在する場合の信頼度算出処理の様子を説明する図である。 隠れ領域が存在する場合の特徴量算出処理の様子を説明する図である。 第１の実施の形態における検出処理の全体の流れを示すフローチャートである。 第２の実施の形態にかかる対象検出装置の構成を示すブロック図である。 第２の実施の形態における学習処理の全体の流れを示すフローチャートである。 第２の実施の形態における検出処理の全体の流れを示すフローチャートである。 隠れ領域が存在しない場合の人物領域抽出処理の様子を説明する図である。 隠れ領域が存在しない場合の信頼度算出処理の様子を説明する図である。 隠れ領域が存在しない場合の特徴量算出処理の様子を説明する図である。 隠れ領域が存在する場合の人物領域抽出処理の様子を説明する図である。 隠れ領域が存在する場合の信頼度算出処理の様子を説明する図である。 隠れ領域が存在する場合の特徴量算出処理の様子を説明する図である。 モーションキャプチャ技術の概要を説明するための模式図である。 第１または第２の実施の形態にかかる対象検出装置のハードウェア構成を示す説明図である。
符号の説明
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１００ 対象検出装置
１０１ 映像入力部
１０２ 対象抽出部
１０３ 信頼度算出部
１０４ 領域分割部
１０５ 特徴量算出部
１０６ 類似度算出部
１０７ 判断部
１２１ 記憶部
４０１、４０２、５０１、５０２ 部分領域
８０１、８０２、８０３ 人物領域
８１１、８１２、８１３、８１４ 隠れ領域
９０１ 人物領域
１２０１ 人物領域
１４０１ 隠れ領域
１６００ 対象検出装置
１６０２ 対象抽出部
１６０３ 信頼度算出部
１６０４ 領域分割部
１９０１、１９０２、１９０３、１９０４、１９０５、１９０６ 構成領域
２４０１ 部分領域

Claims (11)

  1. 注目する対象を含む領域として学習画像データから抽出された第１領域を分割した第１部分領域ごとの画像の特徴量と、前記第１部分領域ごとの抽出の信頼度と、を記憶する記憶部と、
    入力画像データを入力する入力部と、
    入力画像データから前記対象を含む領域の候補である第２領域を抽出する抽出部と、
    前記第２領域を分割した第２部分領域ごとに前記信頼度を算出する信頼度算出部と、
    前記第２部分領域ごとに前記特徴量を算出する特徴量算出部と、
    前記第１部分領域および前記第１部分領域に対応する前記第２部分領域の組み合わせのそれぞれについて、前記記憶部に記憶された前記第１部分領域の前記特徴量と、算出された前記第２部分領域の前記特徴量との間の類似度である部分類似度を算出し、前記部分類似度と、前記記憶部に記憶された前記第１部分領域の前記信頼度と、算出された前記第２部分領域の前記信頼度との積を算出し、前記組み合わせのそれぞれについて算出した前記積の和である対象類似度を算出する類似度算出部と、
    前記対象類似度と予め定められた第１閾値とを比較し、前記対象類似度が前記第１閾値より大きい場合に、前記第２領域は前記対象を含むと判断する判断部と、
    を備えたことを特徴とする対象検出装置。
  2. 前記信頼度算出部は、前記第２領域の幅に対する前記第２領域の高さの割合を表す縦横比を算出し、前記縦横比が予め定められた基準値より小さい場合は前記第２領域の上方および下方の少なくとも一方に領域を追加して前記第２領域の高さを増加させ、追加した領域を含む前記第２部分領域に対して、追加した領域を含まない前記第２部分領域より小さい前記特徴量を算出すること、
    を特徴とする請求項１に記載の対象検出装置。
  3. 前記信頼度算出部は、前記縦横比が前記基準値より小さい場合は、前記第２領域の上方に追加する上領域の高さと下方に追加する下領域の高さとの比が異なる複数の前記上領域と前記下領域との組み合わせのそれぞれについて前記特徴量を算出し、
    前記類似度算出部は、算出された前記特徴量のそれぞれに対して、前記対象類似度を算出し、
    前記判断部は、算出された前記特徴量のそれぞれに対して算出された前記対象類似度のうち、最も大きい前記対象類似度を前記第１閾値と比較すること、
    を特徴とする請求項２に記載の対象検出装置。
  4. 前記信頼度算出部は、前記第２領域の幅に対する前記第２領域の高さの割合を表す縦横比を算出し、前記縦横比が予め定められた基準値より大きい場合は前記第２領域の左方および右方の少なくとも一方に領域を追加して前記第２領域の幅を増加させ、追加した領域を含む前記第２部分領域に対して、追加した領域を含まない前記第２部分領域より小さい前記特徴量を算出すること、
    を特徴とする請求項１に記載の対象検出装置。
  5. 前記信頼度算出部は、前記縦横比が前記基準値より大きい場合は、前記第２領域の左方に追加する左領域の幅と右方に追加する右領域の幅との比が異なる複数の前記左領域と前記右領域との組み合わせのそれぞれについて前記特徴量を算出し、
    前記類似度算出部は、算出された前記特徴量のそれぞれに対して、前記対象類似度を算出し、
    前記判断部は、算出された前記特徴量のそれぞれに対して算出された前記対象類似度のうち、最も大きい前記対象類似度を前記第１閾値と比較すること、
    を特徴とする請求項４に記載の対象検出装置。
  6. 前記信頼度算出部は、前記第２領域の幅に対する前記第２領域の高さの割合を表す縦横比を算出し、前記縦横比が前記基準値より小さい場合は前記第２領域の下方に領域を追加して前記第２領域の高さを増加させ、追加した領域を含む前記第２部分領域に対して、追加した領域を含まない前記第２部分領域より小さい前記特徴量を算出すること、
    を特徴とする請求項１に記載の対象検出装置。
  7. 前記抽出部は、入力画像データから、前記対象の構成要素ごとに、前記構成要素を含む領域である構成領域を抽出することによって、抽出した複数の前記構成領域からなる前記第２領域を抽出し、
    前記信頼度算出部は、前記構成領域である前記第２部分領域ごと、または前記構成領域をさらに分割した前記第２部分領域ごとに前記信頼度を算出すること、
    を特徴とする請求項１に記載の対象検出装置。
  8. 前記類似度算出部は、前記組み合わせのうち、前記第１部分領域の前記信頼度および対応する前記第２部分領域の前記信頼度が共に予め定められた第２閾値より大きい前記組み合わせについて前記積を算出し、算出した前記積の和である前記対象類似度を算出すること、
    を特徴とする請求項１に記載の対象検出装置。
  9. 前記記憶部は、前記第１領域を横方向の分割線で分割した前記第１部分領域ごとの前記特徴量と、前記第１部分領域ごとの前記信頼度とを記憶し、
    前記信頼度算出部は、前記第２領域を横方向の分割線で分割した前記第２部分領域ごとに前記信頼度を算出すること、
    を特徴とする請求項１に記載の対象検出装置。
  10. 注目する対象を検出する対象検出装置における対象検出方法であって、
    前記対象検出装置は、
    前記対象を含む領域として学習画像データから抽出された第１領域を分割した第１部分領域ごとの画像の特徴量と、前記第１部分領域ごとの抽出の信頼度と、を記憶する記憶部を備え、
    入力部が、入力画像データを入力する入力ステップと、
    抽出部が、入力画像データから前記対象を含む領域の候補である第２領域を抽出する抽出ステップと、
    信頼度算出部が、前記第２領域を分割した第２部分領域ごとに前記信頼度を算出する信頼度算出ステップと、
    特徴量算出部が、前記第２部分領域ごとに前記特徴量を算出する特徴量算出ステップと、
    類似度算出部が、前記第１部分領域および前記第１部分領域に対応する前記第２部分領域の組み合わせのそれぞれについて、前記記憶部に記憶された前記第１部分領域の前記特徴量と、算出された前記第２部分領域の前記特徴量との間の類似度である部分類似度を算出し、前記部分類似度と、前記記憶部に記憶された前記第１部分領域の前記信頼度と、算出された前記第２部分領域の前記信頼度との積を算出し、前記組み合わせのそれぞれについて算出した前記積の和である対象類似度を算出する類似度算出ステップと、
    判断部が、前記対象類似度と予め定められた第１閾値とを比較し、前記対象類似度が前記第１閾値より大きい場合に、前記第２領域は前記対象を含むと判断する判断ステップと、
    を備えたことを特徴とする対象検出方法。
  11. コンピュータに実行させる対象検出プログラムであって、
    前記コンピュータは、
    前記対象を含む領域として学習画像データから抽出された第１領域を分割した第１部分領域ごとの画像の特徴量と、前記第１部分領域ごとの抽出の信頼度と、を記憶する記憶部を備え、
    入力画像データを入力する入力手順と、
    入力画像データから前記対象を含む領域の候補である第２領域を抽出する抽出手順と、
    前記第２領域を分割した第２部分領域ごとに前記信頼度を算出する信頼度算出手順と、
    前記第２部分領域ごとに前記特徴量を算出する特徴量算出手順と、
    前記第１部分領域および前記第１部分領域に対応する前記第２部分領域の組み合わせのそれぞれについて、前記第１部分領域の前記特徴量と、前記第２部分領域の前記特徴量との間の類似度である部分類似度を算出し、前記部分類似度と、前記第１部分領域の前記信頼度と、前記第２部分領域の前記信頼度との積を算出し、前記組み合わせのそれぞれについて算出した前記積の和である対象類似度を算出する類似度算出手順と、
    前記対象類似度と予め定められた第１閾値とを比較し、前記対象類似度が前記第１閾値より大きい場合に、前記第２領域は前記対象を含むと判断する判断手順と、
    を前記コンピュータに実行させる対象検出プログラム。
JP2007244294A 2007-09-20 2007-09-20 画像から対象を検出する装置、方法およびプログラム Pending JP2009075868A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007244294A JP2009075868A (ja) 2007-09-20 2007-09-20 画像から対象を検出する装置、方法およびプログラム
US12/210,570 US20090080711A1 (en) 2007-09-20 2008-09-15 Apparatus, method, and computer program product for detecting object from image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007244294A JP2009075868A (ja) 2007-09-20 2007-09-20 画像から対象を検出する装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2009075868A true JP2009075868A (ja) 2009-04-09

Family

ID=40471656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007244294A Pending JP2009075868A (ja) 2007-09-20 2007-09-20 画像から対象を検出する装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US20090080711A1 (ja)
JP (1) JP2009075868A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010002976A (ja) * 2008-06-18 2010-01-07 Secom Co Ltd 画像監視装置
WO2010073929A1 (ja) * 2008-12-22 2010-07-01 日本電気株式会社 人判定装置、方法およびプログラム
WO2010087127A1 (ja) * 2009-01-29 2010-08-05 日本電気株式会社 映像識別子生成装置
JP2010257158A (ja) * 2009-04-23 2010-11-11 Canon Inc オブジェクト識別装置及びオブジェクト識別方法
WO2010147137A1 (ja) * 2009-06-16 2010-12-23 キヤノン株式会社 パターン処理装置及びその方法、プログラム
WO2011030756A1 (ja) * 2009-09-14 2011-03-17 国立大学法人東京大学 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム
JP2011053959A (ja) * 2009-09-02 2011-03-17 Canon Inc 画像処理装置、被写体判別方法、プログラム及び記憶媒体
JP2012043151A (ja) * 2010-08-18 2012-03-01 Canon Inc 画像処理装置及びその方法、プログラム、並びに撮像装置
JP2013250768A (ja) * 2012-05-31 2013-12-12 Toshiba Tec Corp 商品認識装置及び商品認識プログラム
WO2014017006A1 (ja) * 2012-07-26 2014-01-30 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
JP2016024534A (ja) * 2014-07-17 2016-02-08 日本電気株式会社 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
JP2018159986A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 情報管理装置、情報管理方法、及びプログラム
WO2019111550A1 (ja) * 2017-12-08 2019-06-13 日本電気株式会社 人物照合装置、方法、及び非一時的なコンピュータ可読媒体
JP2020135551A (ja) * 2019-02-21 2020-08-31 セコム株式会社 対象物認識装置、対象物認識方法、及び対象物認識プログラム
JP7025497B1 (ja) 2020-09-14 2022-02-24 パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社 監視カメラ、パーツ紐付け方法およびプログラム
WO2023026420A1 (ja) * 2021-08-26 2023-03-02 三菱電機株式会社 画像検索装置及び画像検索方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561919B2 (ja) * 2008-04-21 2010-10-13 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
US9338409B2 (en) 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
JP6278042B2 (ja) * 2013-04-05 2018-02-14 日本電気株式会社 情報処理装置、及び、画像処理方法
JP6470503B2 (ja) * 2014-05-20 2019-02-13 キヤノン株式会社 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム
CN104036009B (zh) * 2014-06-24 2017-08-08 北京奇虎科技有限公司 一种搜索匹配图片的方法、图片搜索方法及装置
CN104036281B (zh) * 2014-06-24 2017-05-03 北京奇虎科技有限公司 一种图片的匹配方法、搜索方法及其装置
CN105141888A (zh) * 2015-07-11 2015-12-09 深圳市美贝壳科技有限公司 一种过滤监控视频重复内容的办法
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6552724B2 (ja) * 2016-04-01 2019-07-31 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP6911995B2 (ja) * 2018-02-20 2021-07-28 日本電気株式会社 特徴抽出方法、照合システム、およびプログラム
JP6575628B1 (ja) * 2018-03-30 2019-09-18 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
JP7132046B2 (ja) * 2018-09-13 2022-09-06 株式会社東芝 検索装置、検索方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4318465B2 (ja) * 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010002976A (ja) * 2008-06-18 2010-01-07 Secom Co Ltd 画像監視装置
US8571274B2 (en) 2008-12-22 2013-10-29 Nec Corporation Person-judging device, method, and program
WO2010073929A1 (ja) * 2008-12-22 2010-07-01 日本電気株式会社 人判定装置、方法およびプログラム
JP5251987B2 (ja) * 2008-12-22 2013-07-31 日本電気株式会社 人判定装置、方法およびプログラム
WO2010087127A1 (ja) * 2009-01-29 2010-08-05 日本電気株式会社 映像識別子生成装置
JP2010257158A (ja) * 2009-04-23 2010-11-11 Canon Inc オブジェクト識別装置及びオブジェクト識別方法
WO2010147137A1 (ja) * 2009-06-16 2010-12-23 キヤノン株式会社 パターン処理装置及びその方法、プログラム
JP2011022994A (ja) * 2009-06-16 2011-02-03 Canon Inc パターン処理装置及びその方法、プログラム
US9117111B2 (en) 2009-06-16 2015-08-25 Canon Kabushiki Kaisha Pattern processing apparatus and method, and program
JP2011053959A (ja) * 2009-09-02 2011-03-17 Canon Inc 画像処理装置、被写体判別方法、プログラム及び記憶媒体
US8873859B2 (en) 2009-09-02 2014-10-28 Canon Kabushiki Kaisha Apparatus and method that determines whether a pattern within the detection window is a subject based on characteristic amounts obtained from within a first region
JP2011060227A (ja) * 2009-09-14 2011-03-24 Univ Of Tokyo 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム
WO2011030756A1 (ja) * 2009-09-14 2011-03-17 国立大学法人東京大学 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム
JP2012043151A (ja) * 2010-08-18 2012-03-01 Canon Inc 画像処理装置及びその方法、プログラム、並びに撮像装置
JP2013250768A (ja) * 2012-05-31 2013-12-12 Toshiba Tec Corp 商品認識装置及び商品認識プログラム
WO2014017006A1 (ja) * 2012-07-26 2014-01-30 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
JP2014026429A (ja) * 2012-07-26 2014-02-06 Panasonic Corp 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
US9576191B2 (en) 2012-07-26 2017-02-21 Panasonic Corporation Posture estimation device, posture estimation method, and posture estimation program
JP2016024534A (ja) * 2014-07-17 2016-02-08 日本電気株式会社 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
JP2018159986A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 情報管理装置、情報管理方法、及びプログラム
JPWO2019111550A1 (ja) * 2017-12-08 2020-11-19 日本電気株式会社 人物照合装置、方法、及びプログラム
WO2019111550A1 (ja) * 2017-12-08 2019-06-13 日本電気株式会社 人物照合装置、方法、及び非一時的なコンピュータ可読媒体
JP2021144749A (ja) * 2017-12-08 2021-09-24 日本電気株式会社 人物照合装置、方法、及びプログラム
US11495057B2 (en) 2017-12-08 2022-11-08 Nec Corporation Person verification device and method and non-transitory computer readable media
US11748864B2 (en) 2017-12-08 2023-09-05 Nec Corporation Person verification device and method and non-transitory computer readable media
US11763435B2 (en) 2017-12-08 2023-09-19 Nec Corporation Person verification device and method and non-transitory computer readable media
US11776098B2 (en) 2017-12-08 2023-10-03 Nec Corporation Person verification device and method and non-transitory computer readable media
JP2020135551A (ja) * 2019-02-21 2020-08-31 セコム株式会社 対象物認識装置、対象物認識方法、及び対象物認識プログラム
JP7025497B1 (ja) 2020-09-14 2022-02-24 パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社 監視カメラ、パーツ紐付け方法およびプログラム
JP2022047997A (ja) * 2020-09-14 2022-03-25 パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社 監視カメラ、パーツ紐付け方法およびプログラム
WO2023026420A1 (ja) * 2021-08-26 2023-03-02 三菱電機株式会社 画像検索装置及び画像検索方法
JP7341381B2 (ja) 2021-08-26 2023-09-08 三菱電機株式会社 画像検索装置及び画像検索方法
GB2624562A (en) * 2021-08-26 2024-05-22 Mitsubishi Electric Corp Image search device and image search method

Also Published As

Publication number Publication date
US20090080711A1 (en) 2009-03-26

Similar Documents

Publication Publication Date Title
JP2009075868A (ja) 画像から対象を検出する装置、方法およびプログラム
GG et al. Walsh–Hadamard transform kernel-based feature vector for shot boundary detection
US9025864B2 (en) Image clustering using a personal clothing model
JP5106271B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5166409B2 (ja) 映像処理方法および映像処理装置
US20210090284A1 (en) Lighttrack: system and method for online top-down human pose tracking
WO2011046128A1 (ja) 人物服装特徴抽出装置、人物検索装置、及びその処理方法
US20050169520A1 (en) Detecting human faces and detecting red eyes
JP5483863B2 (ja) 情報処理装置およびその制御方法
EP3324307B1 (en) Retrieval device, retrieval method, and computer-readable medium
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
Bouachir et al. Structure-aware keypoint tracking for partial occlusion handling
US20230394793A1 (en) Information processing device, information processing method, and program recording medium
Meng et al. Descriptive temporal template features for visual motion recognition
Liu et al. Visual object tracking with partition loss schemes
Kanagaraj et al. Curvelet transform based feature extraction and selection for multimedia event classification
KR20190018274A (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
Lin et al. Region-based context enhanced network for robust multiple face alignment
Ciarfuglia et al. A discriminative approach for appearance based loop closing
JP2009289210A (ja) 重要物体認識装置および重要物体認識方法ならびにそのプログラム
Zhang et al. Beyond face: Improving person clustering in consumer photos by exploring contextual information
US9390347B2 (en) Recognition device, method, and computer program product
Mikolajczyk et al. Face detection in
Wang et al. Dynamic human object recognition by combining color and depth information with a clothing image histogram
WO2023089690A1 (ja) 検索装置、検索方法、およびプログラム