JP2010086482A - 画像認識装置および画像認識方法 - Google Patents

画像認識装置および画像認識方法 Download PDF

Info

Publication number
JP2010086482A
JP2010086482A JP2008257784A JP2008257784A JP2010086482A JP 2010086482 A JP2010086482 A JP 2010086482A JP 2008257784 A JP2008257784 A JP 2008257784A JP 2008257784 A JP2008257784 A JP 2008257784A JP 2010086482 A JP2010086482 A JP 2010086482A
Authority
JP
Japan
Prior art keywords
recognition
image
unit
order
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008257784A
Other languages
English (en)
Other versions
JP2010086482A5 (ja
JP5247337B2 (ja
Inventor
Akiyoshi Momoi
昭好 桃井
Kinya Osa
欣也 大佐
Ryoko Mise
良子 三瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008257784A priority Critical patent/JP5247337B2/ja
Priority to US12/571,219 priority patent/US8467571B2/en
Publication of JP2010086482A publication Critical patent/JP2010086482A/ja
Publication of JP2010086482A5 publication Critical patent/JP2010086482A5/ja
Application granted granted Critical
Publication of JP5247337B2 publication Critical patent/JP5247337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像中の対象物に対してより正しい関連付けを行う画像認識装置を提供する。
【解決手段】特定のオブジェクトとこれに関連するオブジェクト及びこれらオブジェクトの間に接続されるオブジェクトからなるオブジェクト列におけるオブジェクトの順番を示す認識順番の情報に従って、順次に前記画像からオブジェクトを認識する。今回の認識順番で認識されたオブジェクトについて、前回の認識順番における抽出されたオブジェクトと接続関係を有するか否かを判定し、接続関係を有すると判定されたオブジェクトを抽出されたオブジェクトとして取得する。以上の認識、接続関係判定、取得の処理を上記の認識順番に従って繰り返すことにより抽出されたオブジェクトに基づいて、特定のオブジェクトに関連するオブジェクトが対応付けられる。
【選択図】図１

Description

本発明は、入力画像に含まれる対象物の認識を行う画像認識装置および画像認識方法に関する。
従来より、入力画像に含まれる複数の対象物を認識し、それらの関連付けを行う画像認識装置がある。例えば、図１０に示す入力画像から人物Ａの所持しているカバンの認識を行う例を考える。この例の場合、複数の対象物とは、人物Ａとカバンである。人物Ａとカバンの関連付けを行う為に、入力画像から人物Ａの顔とカバンの認識を行う。人物Ａの顔とカバンが認識されたならば、その二つの関連を何がしかの方法で調べることで人物Ａの所持しているカバンを認識することができる。
検出された２つの対象物の関連付けを行う方法としては、特許文献１や特許文献２により記載された方法がある。特許文献１では、同一画面内で認識された複数の対象物は関連があるものとして関連付けを行う。特許文献１の実施形態では、顔と名札の認識を行い、同一画面内に顔と名札が認識されたのであればそれらの間に関連があるものとして関連付けが行われる。人物Ａの所持しているカバンを認識する例に当てはめると、同一画面内に人物Ａとカバンが認識されたのであれば、認識されたカバンは人物Ａのカバンとして対応付けが行われることとなる。また、特許文献２では、認識された複数の対象物の位置関係から関連付けが行われる。特許文献２の実施形態では顔の認識を行い、認識された顔の上部に位置するものを髪として認識を行う。人物Ａの所持しているカバンを認識する例に当てはめると、人物Ａとカバンが認識されたのであれば、人物Ａの顔から比較して下の位置にあるカバンは人物Ａのカバンとして関連付けを行うこととなる。
また、上記構成では、入力画像に含まれる対象物の認識を行う画像認識装置が前提となっており、そのような画像処理装置は一般に以下の構成を有する。図２２は、斯かる画像認識装置の構成を示す図であり、画像入力部１、認識対象指定部２、表示部６が画像認識装置１０に接続されている。また、画像認識装置１０は、対象物認識部３と、パラメータ選択部４と、認識パラメータ保存部５によって構成されている。
このように構成された一般的な画像認識装置において、対象物の認識を行う場合の動作を説明する。
認識パラメータ保存部５には対象物認識部３の処理に用いる情報が保存されている。この情報は対象物認識部３で用いるアルゴリズムによって異なり、例えば対象物認識部３がニューラルネットワークを用いるアルゴリズムで構成されている場合、認識パラメータはニューラルネットワークの結合荷重値となる。認識パラメータ選択部４では認識対象物により必要な認識パラメータの選択を行い、対象物認識部３に必要なパラメータを渡す。対象物認識部３では画像入力部１より入力された画像から認識パラメータ選択部４から与えられたパラメータを用いて対象物の認識を行う。表示部６では対象物認識部の処理結果、認識できた対象物の画像中の領域や個数等の表示を行う。
特開２００６-２０２０４９号公報 特開２００５-３３９５２２号公報
同一画面内で認識された複数の対象物には関連があるとする特許文献１の方法では、図１０に示すような入力画像の場合、人物Ｂの所持しているカバンも人物Ａが所持しているカバンとして関連付けられてしまい関連付けを正しく行うことができない。
また、位置関係によって複数の対象物の関連付けを行う特許文献２の方法では、図１０に示すような入力画像の場合、手とカバンの位置関係から手の下にあるカバンを関連付けてしまう。そのため、やはり、人物Ｂの所持しているカバンも人物Ａの所持しているカバンとして関連付けられてしまい関連付けを正しく行うことができない。
また、上記のような対象物間の関連付けのために行なわれる対象物の認識処理において、従来の画像認識装置が、認識に失敗する原因には以下の２点が考えられる。
１点目は認識対象物が画像認識装置にとって未知である場合である。認識パラメータは既知の認識対象物の情報のみを用いて生成が行われ、対象物認識部では生成された既知の認識対象物に関する認識パラメータを用いて認識処理を行う。このことは、未知の認識対象物に関する情報を対象物認識部が得られないために、未知の認識対象物の認識ができないということを表している。この課題を解決するために、既知のありとあらゆる認識対象物から予め認識パラメータを生成することも考えられるが、現実にはありとあらゆる認識対象物を用意することが困難な場合がある。例えば、認識対象物の種類が非常に多い場合や、新種の認識対象物が頻繁に出現する場合である。このような場合に当てはまる例として、カバンが考えられる。世界中には色や形や大きさの異なるありとあらゆるカバンが存在しており、また、新作のカバンはほぼ毎日のように発売されているためカバンの種類は日々増える一方である。
２点目は入力された画像の条件が悪い場合である。画像の条件が悪い場合というのは、認識対象物が許容される傾きよりも傾いてしまっている場合や、認識対象物の一部が隠れてしまっている場合等が考えられる。
本発明は、上述した課題に鑑みてなされたものであり、対象物に対してより正しい関連付けを行うことを可能にすることを目的とする。
また、本発明の他の目的は、対象物が画像認識装置にとって未知であったり、入力画像が認識処理にとって条件が悪いような場合であったりしても、より正確に対象物を推定可能にすることにある。
上記の目的を達成するための本発明の一態様による画像認識装置は以下の構成を備える。すなわち、
画像の中の特定のオブジェクトに関連するオブジェクトを認識する画像認識装置であって、
前記特定のオブジェクトと前記関連するオブジェクト及びこれらオブジェクトの間に接続されるオブジェクトからなるオブジェクト列におけるオブジェクトの順番を示す認識順番の情報に従って、順次に前記画像からオブジェクトを認識する認識手段と、
前記認識手段により今回の認識順番で認識されたオブジェクトについて、前回の認識順番における抽出されたオブジェクトと接続関係を有するか否かを判定する接続関係判定手段と、
前記接続関係判定手段で接続関係を有すると判定されたオブジェクトを抽出されたオブジェクトとして取得する取得手段と、
前記認識手段、前記接続関係判定手段、前記取得手段を前記認識順番に従って繰り返すことにより抽出されたオブジェクトに基づいて、前記特定のオブジェクトと前記関連するオブジェクトとを対応付ける対応付け手段とを備える。
また、上記の目的を達成するための本発明の他の態様による画像認識装置は以下の構成を備える。すなわち、
画像の中から特定のオブジェクトを認識する画像認識装置であって、
認識対象となるオブジェクトとこれに関連する周辺のオブジェクトとを対応付ける関連付け情報を保持する保持手段と、
前記関連付け情報に基づいて、前記特定のオブジェクトに関連する周辺のオブジェクトを前記画像から認識する周辺物認識手段と、
前記周辺物認識手段により認識された周辺のオブジェクトに対して所定の位置関係を有するオブジェクトを抽出することにより、前記特定のオブジェクトが存在する領域の推定を行う推定手段とを備える。
更に、上記の目的を達成するための本発明の他の態様による画像認識方法は、
画像の中の特定のオブジェクトに関連するオブジェクトを認識する画像認識方法であって、
前記特定のオブジェクトと前記関連するオブジェクト及びこれらオブジェクトの間に接続されるオブジェクトからなるオブジェクト列におけるオブジェクトの順番を示す認識順番の情報に従って、順次に前記画像からオブジェクトを認識する認識工程と、
前記認識工程により今回の認識順番で認識されたオブジェクトについて、前回の認識順番における抽出されたオブジェクトと接続関係を有するか否かを判定する接続関係判定工程と、
前記接続関係判定工程で接続関係を有すると判定されたオブジェクトを抽出されたオブジェクトとして取得する取得工程と、
前記認識工程、前記接続関係判定工程、前記取得工程を前記認識順番に従って繰り返すことにより抽出されたオブジェクトに基づいて、前記特定のオブジェクトと前記関連するオブジェクトとを対応付ける対応付け工程とを有する。
更に、上記の目的を達成するための本発明の他の態様による画像認識方法は、
画像の中から特定のオブジェクトを認識する画像認識方法であって、
認識対象となるオブジェクトとこれに関連する周辺のオブジェクトとを対応付ける関連付け情報を保持する保持工程と、
前記関連付け情報に基づいて、前記特定のオブジェクトに関連する周辺のオブジェクトを前記画像から認識する周辺物認識工程と、
前記周辺物認識工程により認識された周辺のオブジェクトに対して所定の位置関係を有するオブジェクトを抽出することにより、前記特定のオブジェクトが存在する領域の推定を行う推定工程とを有する。
本発明によれば、複数の対象物の接続関係を用いることにより、対象物に対してより正しい関連付けを行うことが可能となる。
また、本発明によれば、画像認識装置にとって未知の認識対象物であっても、或いは、入力画像の条件が悪い場合であっても、より正確に認識対象物の推定を行うことができる。
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
＜第１実施形態＞
図１は第１実施形態による画像認識装置の構成例を示すブロック図である。
第１実施形態の画像認識装置１００は接続判定部１０１と、認識部１０２と、認識順番制御部１０３と、画像入力部１０４と、表示部１０５を有する。画像入力部１０４より認識処理の対象となる画像が接続判定部１０１及び認識部１０２に入力される。画像入力部１０４としては、例えばネットワークカメラやデジタルカメラやスキャナなどの画像入力装置が考えられる。表示部１０５では画像認識装置１００における認識結果の表示を行う。例えば、認識結果として、認識された領域を表示するのであれば、入力画像中より抽出された対象物の領域をある所定の色で塗りつぶして表示を行う。
認識順番制御部１０３は、複数の対象物を関連付けるオブジェクトの認識順番に従って、認識すべきオブジェクトを選択し、認識部１０２や接続判定部１０１や表示部１０５に指示する。なお、本明細書において、オブジェクトとは認識部１０２で認識されるもののことを指し、対象物とはオブジェクトの中で対応付けを行うもののことを指す。また、複数の対象物を関連付けるオブジェクトの認識順番とは、複数の対象物間の接続関係をたどるオブジェクト列のことである。すなわち、認識順番は、ある特定のオブジェクトとこれに関連するオブジェクト、及びこれらの間に接続されるオブジェクトの接続の順番を示すものである。例えば、顔と手に持っているカバンを関連付けるオブジェクトの認識順番は顔→首→胴体→腕→カバンとなる。本実施形態では、認識順番が固定の場合について説明するが、本発明はこれに限定されるものではない。例えば、認識順番は動的に切り替わるように構成されてもよい。
図２Ａの（ａ）において人物Ａの所持しているカバンを認識する例を使って認識順番制御部１０３の動作を説明する。この例の場合、オブジェクトの認識順番は人物Ａの顔→首→胴体→腕→カバンとなる。認識順番制御部１０３は、オブジェクトの認識順番に従って、まず、人物Ａの顔の認識を認識部１０２に指示する。図２Ａの（ｂ）に示すように、人物Ａの顔が認識されたならば、認識順番制御部１０３は、首の認識を行うよう認識部１０２に指示する。図２Ｂの（ａ）に示すように、首が認識されたならば、認識順番制御部１０３は、人物Ａの顔と首との間の接続関係の判定を接続判定部１０１に指示する。図２Ｂの（ｂ）に示すように、人物Ａの顔と首の接続関係の判定に成功したならば、認識順番制御部１０３は、胴体の認識を行うよう認識部１０２に指示する。
図２Ｃの（ａ）に示すように、胴体の認識に成功したならば、認識順番制御部１０３は、首と胴体の接続関係の判定を接続判定部１０１に指示する。図２Ｃの（ｂ）に示すように、腕と胴体の接続関係の判定に成功したならば、認識順番制御部１０３は、腕の認識を認識部１０２に指示する。図２Ｄの（ａ）に示すように、腕の認識に成功したならば、認識順番制御部１０３は、胴体と腕の接続関係の判定を接続判定部１０１に指示する。図２Ｄの（ｂ）に示すように、胴体と腕の接続関係の判定に成功したならば、認識順番制御部１０３は、カバンの認識を認識部１０２に指示する。
図２Ｅの（ａ）に示すように、カバンの認識に成功したならば、認識順番制御部１０３は、腕とカバンの接続関係の判定を接続判定部１０１に指示する。図２Ｅの（ｂ）に示すように、腕とカバンの接続関係の判定に成功した場合は、認識順番制御部１０３は、表示部１０５に認識結果の表示を指示し、処理を終了する。
以上が、認識順番制御部１０３の動作例である。以上のような認識順番制御部１０３の動作を一般化して説明すると以下のようになる。認識順番制御部１０３は、まず、オブジェクトの認識順番に従って、オブジェクトの認識順番の中で最初のオブジェクトの認識を認識部１０２に指示する。オブジェクトの認識順番は、予め設定されたものであってもよいし、関連付けを指定された対象物に応じて動的に設定されてもよい（例えば第２実施形態を参照）。認識部１０２で最初のオブジェクトの認識に成功したならば、続いてオブジェクトの認識順番の中で２番目のオブジェクトの認識を認識部１０２に指示する。また、２番目のオブジェクトの認識に成功したならば、認識された認識順番１番目のオブジェクトと認識順番２番目のオブジェクトとの間の接続関係の判定を接続判定部１０１に指示する。
以降、認識順番の中で最後のオブジェクトを認識し、当該最後のオブジェクトと認識順番内で最後から二番目のオブジェクトとの間の接続関係の判定に成功するまで、オブジェクトの選択、認識と判定が繰り返される。オブジェクトの選択はオブジェクトの認識順番に従って行われる。すなわち、接続判定部１０１は、認識部１０２により今回の認識順番で認識されたオブジェクトのうちの、前回の認識順番で抽出されたオブジェクトと接続関係を有するオブジェクトを、今回の認識順番で抽出されたオブジェクトとして取得する。そして、今回取得されたオブジェクトは次回の抽出に利用される。さらに、認識順番の中で最後のオブジェクトと認識順番内で最後から二番目のオブジェクトとの間の接続関係の判定に成功したならば、認識順番制御部１０３は表示部１０５に認識結果の表示を指示する。ただし、途中で、認識部１０２の認識処理及び、又は接続判定部１０１の判定処理が失敗した場合には、認識順番制御部１０３は、表示部１０５に認識及び、又は接続判定処理に失敗したことを表示するように指示する。
以上のように、認識部１０２は、画像入力部１０４より入力された画像から認識順番制御部１０３によって指示されたオブジェクトの認識を行うことにより、認識順番の情報に従って、順次に画像からオブジェクトを認識していくことになる。オブジェクトの認識には様々なアルゴリズムが提案されているが、本発明にはそのようないかなる認識アルゴリズムも適用可能である。また、オブジェクトによって認識アルゴリズムを切り替えるように構成することも可能である。
例えば、認識部１０２は、認識順番制御部１０３によって指示されたオブジェクトに応じて認識部１０２内部に保持している認識パラメータを切り替えて認識処理を行う。ここで、認識パラメータとは、既知のオブジェクトの特徴量から生成された係数などの情報であり、認識部１０２で認識処理を行うために必要な情報のことである。また、特徴量とは、あるオブジェクトを弁別するための固有の特徴を数値で表現したものであり、例えば、エッジ、色等の情報を数値で表現したものが考えられる。通常あるオブジェクトを決定付けるには複数の特徴量を調べる必要があり、それらの必要な複数の特徴量の集合を特徴ベクトルと呼ぶ。この認識パラメータは認識アルゴリズムに応じて様々な形態をとる。例として、入力画像からある特徴量を抽出し、既知のオブジェクトの特徴量との類似度に応じて認識を行うアルゴリズムを説明する。
入力画像から抽出されたあるオブジェクトの特徴ベクトルをV0、既知の比較対象オブジェクトの特徴ベクトルをV1とすると、各特徴ベクトルは以下のように表すことができる。
V0 = { v00, v01, v02, v03 }
V1 = { v10, v11, v12, v13 }
各特徴ベクトルの成分vijは前述した各種特徴量を数値で表現したものとなる。例えば、オブジェクトのエッジ情報を特徴ベクトルとする場合、公知の１階微分処理などを用いて検出されたエッジの座標などの情報を特徴ベクトルとして用いることができる。２つの特徴ベクトルV0とV1の類似度Ｄは以下のように表される。
Ｄ = (Σ(v1j - v0j)2)(1/2) …（式１）
類似度Ｄがある閾値Thrよりも小さい場合、すなわち以下の式を満たす場合、入力画像から抽出されたオブジェクトと既知の比較対象のオブジェクトが一致していると判定される。
Ｄ ≦ Thr
すなわち、抽出されたオブジェクトが既知の比較対象のオブジェクトであると認識できたことになる。このアルゴリズムの場合、認識パラメータは既知の比較対象オブジェクトの特徴ベクトルV1となる。この特徴ベクトルV1は既知のオブジェクト（認識対象物や認識対象周辺物）の数だけ存在している。従って、認識部１０２は、例えば、図３に示すように、大分類の「カバン」に対して小分類として様々な「カバン」の特徴ベクトルをそれぞれV1、V2というように保持している。例えば、カバンには図９の（ａ）〜（ｃ）に示されるように様々な種類があり、小分類にはこれら種類毎に特徴ベクトルが格納される。このように、大分類に対して小分類の既知の特徴ベクトルが複数個存在している場合には、それら全てと入力画像から抽出された特徴ベクトルV0との比較を行い、類似度が最も小さかったオブジェクトを対象物と認識することもできる。
認識部１０２による認識処理の結果は認識順番制御部１０３に送られる。認識順番制御部１０３に返される情報としては、認識されたオブジェクトの個数や認識されたオブジェクトの入力画像中の座標などが考えられる。また、本実施形態では、認識部１０２において、入力画像の全領域に対して認識処理を行い、入力画像に含まれる全てのオブジェクトの認識を行っている。例えば、図２Ｂの（ａ）では入力画像の全領域に対して認識処理を行い、入力画像に含まれる全ての首の認識を行っているがこれに限られるものではない。例えば、既に認識されている人物Ａの顔の位置を元に、認識処理を行う領域を人物Ａの顔領域の下部に絞って首の認識処理を行うようにしてもよい。
接続判定部１０１は、認識順番制御部１０３によって指示された２つのオブジェクト間の接続関係を判定する。接続関係の判定には様々なアルゴリズムが提案されており、本発明にはいかなる接続関係の判定アルゴリズムをも用いることが可能である。また、オブジェクトによって接続関係の判定アルゴリズムを切り替えるようにすることも可能である。以下、接続関係の判定の例として、２つのオブジェクトのエッジ情報を使った接続関係判定について説明する。
接続判定部１０１は、まず、認識順番制御部１０３から２つのオブジェクトの入力画像における座標情報を受け取り、受け取った座標に含まれる２つのオブジェクトそれぞれについてエッジ情報の抽出を行う。エッジ情報の抽出は認識部１０２で説明した通り、公知の１階微分処理などの処理によって実現できる。それぞれのオブジェクトでエッジ情報が抽出できたならば、２つのオブジェクトから抽出されたエッジの共通部分を調べる。例えばエッジ抽出の結果、エッジの座標が抽出されたならば、２つのオブジェクトのエッジの座標を比較し、連続して一致している座標の数を数える。連続して一致している座標の数がある閾値以上だったならば認識された２つのオブジェクトには接続関係があると判断することができる。接続判定部１０１による接続関係の判定結果は認識順番制御部１０３に送られる。
複数の対象物を関連付ける際には、接続関係も見ることが重要となる。例えば、図２Ａの（ａ）のような画像が入力画像として与えられ、人物Ａの持っているカバンを認識する例を考える。入力画像中には人物Ａと人物Ｂの２人の人物が写っており、それぞれが右手にカバンを所持している。位置関係から、手の下にあるカバンは関連があると判断を行うとすると、図１０に示すように、人物Ｂの所持しているカバンも人物Ａの所持しているカバンであると誤った対応付けが行われてしまう。本実施形態によれば、そのような誤検出が防止される。
図４は本実施形態による画像認識処理の一例を示すフローチャートである。このフローチャートによって本実施形態による画像認識方法を説明する。
まず、ステップＳ４０１において、画像入力部１０４は、認識処理を行う対象の画像を入力する。続いて、ステップＳ４０２において、認識順番制御部１０３は、複数の対象物を関連付けるオブジェクトの認識順番に従って、認識すべきオブジェクトの選択を行う。以下、ステップＳ４０３〜Ｓ４０７により、認識順番に従って選択されたオブジェクトについて認識と接続判定処理が行われる。
認識順番制御部１０３は、オブジェクトの認識順番に従って、オブジェクトの認識順番の中で最初のオブジェクトを選択し、認識部１０２に当該オブジェクトの認識を指示する（ステップＳ４０４）。最初のオブジェクトでは接続関係を判定する対象物が存在しない。そこで、認識順番制御部１０３は、認識部１０２が選択された最初のオブジェクトの認識に成功すると、オブジェクトの認識順番の中で２番目のオブジェクトを選択し、認識部１０２に当該オブジェクトの認識を指示する（ステップＳ４０２）。以上の処理は認識順番における先頭のオブジェクトに関する処理であり、接続判定をすべきオブジェクトが存在しないため２番目以降のオブジェクトの処理とは異なっている。なお、先頭のオブジェクトに対する処理についてフローチャートでは記載を省略している。
次に、認識部１０２が選択された２番目のオブジェクトの認識に成功すると、認識順番制御部１０３は、接続判定部１０１に、認識順番が１番目のオブジェクトと認識順番が２番目のオブジェクトとの間の接続関係の判定を行わせる。この処理は、ステップＳ４０５、Ｓ４０６である。接続判定部１０１における接続判定が成功すると、認識順番制御部１０３は、次の順番のオブジェクトについて上記処理を繰り返す（Ｓ４０７，Ｓ４０２）。以下、認識順番の中で最後のオブジェクトを認識し、認識順番の中で最後のオブジェクトと認識順番内で最後から二番目のオブジェクトとの間の接続関係の判定に成功するまで、上記処理が繰り返される（ステップＳ４０３）。以上の処理により、オブジェクトの認識順番に従って、オブジェクトの選択、認識、接続判定の処理が繰り返し行われることになる。
認識順番制御部１０３で、次のオブジェクトが選択できなかった場合、すなわち複数の対象物を結びつけるオブジェクトの認識順番の最後まで認識処理が完了した場合は、処理はステップＳ４０３からステップＳ４０８へ進む。
また、上述した繰返し処理において、ステップＳ４０４では、上述のように、選択されたオブジェクトの認識を認識部１０２が行う。認識部１０２の動作も上記で説明したとおりである。認識部１０２の処理結果、認識に成功したならば、処理はステップＳ４０５からステップＳ４０６に進み、失敗したならばステップＳ４０８に進む。
ステップＳ４０６においては、接続判定部１０１が、選択されたオブジェクトとその１つ前に選択されたオブジェクトとの間の接続関係の判定を行う。接続判定部１０１の動作も、上記で説明したとおりである。そして、接続判定部１０１により接続関係の判定に成功したならば、処理はステップＳ４０２に戻り、失敗したならばステップＳ４０８に進む。
ステップＳ４０８では、表示部１０５が認識結果の表示を行う。表示部１０５の動作は上記で説明したとおりである。例えば、表示部１０５は、入力画像中より抽出された対象物の領域をある所定の色で塗りつぶして表示することにより、認識された対象物の領域を明示する。例えば、人物とこれに対応するカバンとを明示する。なお、ステップＳ４０５、Ｓ４０７からステップＳ４０８に処理が進んだ場合は、それぞれの処理において失敗した旨等が表示部１０５に表示される。
＜第２実施形態＞
図５は第２実施形態による画像認識装置の構成例を示すブロック図である。第１実施形態で示した画像認識装置の例（図１）に対して、認識条件入力部１０８と、認識順番生成部１０６と、接続関係保存部１０７が追加されている。
認識条件入力部１０８は、関連付けを行いたい複数の対象物の入力を行う。例えば、人物Ａの所持しているカバンを認識したいのであれば、認識条件入力部１０８より対象物として人物Ａの顔とカバンを入力する。入力はユーザが所望の対象物を指示することによりなされる。
接続関係保存部１０７には様々なオブジェクト間の接続関係を示す接続関係情報が保存されている。例えば、図６に示すように、カバンと腕、腕と胴体、胴体と首、首と顔などといった接続関係のある２つのオブジェクトを表すテーブルが接続関係情報として保存されている。
認識順番生成部１０６では、接続関係保存部１０７の接続関係情報と、認識条件入力部１０８の情報から、認識順番制御部１０３で使われるオブジェクトの認識順番の生成を行う。認識順番生成部１０６でオブジェクトの認識順番を生成することで、接続関係が既知であるあらゆるオブジェクト間の関連付けを行うことが可能となり、汎用的な認識が実現できる。
以下、認識順番生成部１０６の動作について説明する。まず、接続関係保存部１０７に保存されているオブジェクト間の接続関係を示す情報（図６）から図７に示すようなオブジェクト間の接続関係を表すグラフを作成する。そして、生成されたグラフをたどることにより認識順番を生成する。すなわち、認識条件入力部１０８によって設定された複数の対象物の内の一方の対象物を始点とし、もう一方の対象物を終点とし、始点から終点にたどり着くまで上記生成されたグラフをたどることで、オブジェクトの認識順番が生成される。ただし、接続関係には対称性があるために、どちらのオブジェクトが始点になっても終点になってもオブジェクトの認識順番の生成には影響しない。また、オブジェクトの認識順番の生成には、この他にも様々なアルゴリズムが考えられるが、本発明は認識順番のいかなる生成アルゴリズムも適用が可能である。
接続関係情報に基づいて生成された認識順番を生成すると、複数の認識順番の候補が得られる。従って、複数の認識順番の候補から認識処理に利用する認識順番を決定する必要がある。ここでは、例として、認識処理に関する特定の評価値を最小化するオブジェクトの認識順番を生成（選択）する方法を説明する。ある評価値を最小化するオブジェクトの認識順番を生成することで、精度よく、高速に認識を行うことができる。使用する評価値の例としては、認識しなければならないオブジェクトの総数や、各オブジェクトの誤認識率の総和等が考えられる。目的に応じて最小化すべき評価値を選択することができる。例えば、なるべく高速に認識を行いたいのであれば、認識しなければならないオブジェクトの総数を最小化するようなオブジェクトの認識順番を生成することで実現できる。また、なるべく精度よく認識を行いたいのであれば各オブジェクトの誤認識率の総和を最小化するようなオブジェクトの認識順番を生成することで実現できる。評価値を最小化するオブジェクトの認識順番を生成する方法としては、ダイクストラ法などの既知の最短経路問題を解くアルゴリズムを使うことで実現できる。図７に示したグラフにおいて、人物Ａの顔とカバンの関連付けを行う際に誤認識率の総和を最小化するオブジェクトの認識順番を生成すると、頭→首→胴体→腕→カバンの順番となる。また、順番は始点と終点を逆転させ、カバン→腕→胴体→首→頭の順番としても構わない。
図８は第２実施形態による画像認識処理を示すフローチャートである。
第１実施形態で示したフローチャートの例に対して、ステップＳ４０９の認識条件入力の処理と、ステップＳ４１０の認識順番生成の処理が追加されている。
ステップＳ４０９において、認識条件入力部１０８は、ユーザからの、関連付けを行うべき複数の対象物の入力を行う。認識条件入力部１０８の動作は、画像認識装置１００の構成の説明において説明したとおりである。
続いてステップＳ４１０において、認識順番生成部１０６は、接続関係保存部１０７の情報（図６）と、認識条件入力部１０８で入力された対象物の情報から、認識順番制御部１０３で使われるオブジェクトの認識順番を生成する。認識順番生成部１０６の動作は、図７等を参照して上述したとおりである。オブジェクトの認識順番を生成することで、既知の接続関係があるあらゆるオブジェクト間の関連付けを行うことが可能となり、汎用的な認識が実現できる。
以降、ステップＳ４０１〜Ｓ４０８において、ステップＳ４１０で生成されたオブジェクトの認識順番を用いて認識順番制御が行われる。
以上説明したように、第２実施形態においては、認識順番の生成を複数の対象物の関連付け処理が始まる前に、その都度行うことによって、予め全ての認識順番を用意しておくことが不要となる。また、目的に応じて認識順番を生成する評価値を変更することによって、総処理時間を短縮する認識順番を生成したり、精度を向上させる認識順番を生成したりすることが可能となり、柔軟な認識処理を提供できる。
＜第３実施形態＞
図１１は第３実施形態による画像認識装置１１００におけるシステム構成の一例を示すブロック図である。
図１１において、１１０１は画像入力部、１１０２は認識対象指定部、１１０６は表示部である。画像入力部１１０１、認識対象指定部１１０２、表示部１１０６は画像認識装置１１００に接続されている。画像入力部１１０１は、認識処理を行うべき画像を画像認識装置１１００に入力する。画像入力部１１０１としては例えばネットワークカメラやデジタルカメラやスキャナなどの画像入力装置が考えられる。ユーザは、認識対象指定部１１０２より認識を行う対象物の指定を行うことができる。例えば、入力画像の中からカバンを認識したいのであれば認識対象物としてカバンを指定する。表示部１１０６では画像認識装置１１００の処理結果に応じて、入力画像に含まれる認識された対象物の画像中の領域や個数等の表示が行われる。
また、画像認識装置１１００は、対象物・周辺物関連付け部１１１１、対象物・周辺物関連付け情報保存部１１１２、対象物認識部１１０３、周辺物認識部１１１３、パラメータ選択部１１０４を有する。更に、画像認識装置１１００は、認識パラメータ保存部１１０５、領域推定範囲パラメータ保存部１１１５、領域推定パラメータ保存部１１１７、領域推定範囲絞込み部１１１４、対象物領域推定部１１１６、対象物・周辺物関連付け情報更新部１１１８を有する。
対象物・周辺物関連付け部１１１１は、対象物・周辺物関連付け情報保存部１１１２の情報を用いて、認識対象指定部１１０２で設定された認識対象物と関連のある認識対象周辺物の設定を行う。対象物・周辺物関連付け情報保存部１１１２には図１２に示すように認識対象物とそれと対応する認識対象周辺物との関連付け情報が保存されている。認識対象周辺物とは認識対象物と何がしかの位置関係や接続関係を持ち、認識対象物の周辺に頻繁に存在していると考えられるオブジェクトのことをさす。例えば認識対象物がカバンであるならば、図１３に示すようなカバンを持つ際に常にカバンと接触している、手や腕や肩などのオブジェクトを認識対象周辺物とする。認識対象周辺物としては認識対象物よりも認識しやすいもの、すなわち、認識対象物と比較して種類の少ないものや特徴のあまり変化しないものを選択することが望ましい。例えばカバンの場合、通常、カバンとしては多種多様な色や形のものが存在しているが、カバンの持ち方そのものはあまり変化しないため、カバンを持つ手や腕や肩等はカバンそのものを認識するより認識しやすいと考えられるからである。
対象物・周辺物関連付け情報更新部１１１８では、対象物・周辺物関連付け情報保存部１１１２に保存されて、認識対象物とそれと対応する認識対象周辺物の関連付け情報に関して、追加や変更といった編集を行う。例えば、認識対象周辺物がカバンであり、認識対象周辺物として図１３の（ａ）と（ｂ）に示す手のみが登録されている場合に、カバンを認識するための認識対象周辺物として新たに図１０の（ｃ）に示す手を新たに追加することができる。このように、認識対象物とそれと対応する認識対象周辺物の関連付け情報の追加や変更ができることで、関連付け情報の自由度が増し、様々な認識対象物を認識できるようになる。
パラメータ選択部１１０４では、対象物認識部１１０３、周辺物認識部１１１３、領域推定範囲絞込み部１１１４、対象物領域推定部１１１６の各処理に必要なパラメータを各パラメータ保存部（１１０５，１１１５，１１１７）から選択する。各パラメータ保存部にはある特定の認識対象物や認識対象周辺物に関するパラメータだけではなく、様々なオブジェクトに関するパラメータが保存されている。パラメータ選択部１１０４は対象物・周辺物関連付け部１１１１によって設定された認識対象物と認識対象周辺物に関連するパラメータを選択し、各処理部に送出する。各パラメータに関する詳細な説明は後述する各処理部の説明で行う。
画像入力部１１０１より入力された画像は対象物認識部１１０３および周辺物認識部１１１３に入力される。対象物認識部１１０３では認識対象物の認識を行い、周辺物認識部１１１３では認識対象周辺物の認識を行う。認識には様々なアルゴリズムが提案されているが、本発明は認識アルゴリズムに縛られるものではなく、認識対象物や認識対象周辺物によってアルゴリズムを切り替えることも可能である。対象物認識部１１０３ではパラメータ選択部１１０４から送出された認識対象物に関する認識パラメータを用いて認識を行い、周辺物認識部１１１３ではパラメータ選択部１１０４から送出された認識対象周辺物に関する認識パラメータを用いて認識処理を行う。
例えば、認識対象物がカバンの場合、図９に示したように様々な種類のカバンが存在しており、認識パラメータは既知の様々なカバンを用いて生成される。ここで、認識パラメータとは、既知のオブジェクトの特徴量や既知のオブジェクトの特徴量から生成された係数などの情報であり、各認識部で認識処理を行うために必要な情報のことである。また、特徴量とは、あるオブジェクトを弁別するための固有の特徴を数値で表現したものであり、例えば、エッジ、色等の情報を数値で表現したものが考えられる。通常あるオブジェクトを決定付けるには複数の特徴量を調べる必要があり、それらの必要な複数の特徴量の集合を特徴ベクトルと呼ぶ。この認識パラメータは認識アルゴリズムに応じて様々な形態をとる。例として、２つの認識アルゴリズムにおける認識パラメータについて、以下、説明する。
１つ目の例は、入力画像からある特徴量を抽出し、既知の認識対象物や認識対象周辺物の特徴量との類似度に応じて認識を行うアルゴリズムである。例えば、特徴量を表す特徴ベクトルを用いて類似度を判定する方法が挙げられるが、このアルゴリズムについては、第１実施形態において図３を参照して説明したとおりであるので、ここでは説明を省略する。
２つ目の例は、ニューラルネットワークを用いたアルゴリズムである。ニューラルネットワークを用いた場合、学習によって結合荷重値の生成が行われる。ニューラルネットワークを構成する各ニューロンは以下の式にしたがって状態更新を行う。
Ui=ΣWij*Xj
Xi=tanh(Ui) …（式２）
ここで、Uiはニューロンiの内部状態、Wijはニューロンi、j間の結合荷重値、Xjはニューロンjの出力を表す。
また、ニューラルネットワークは以下の式にしたがって結合荷重値の学習を行う。
Wij(t+Δt)=Wij(t)+ΔWij
ΔWij=-η∂E/∂Wij
E=１/２(Σ(Xi-Xdi)2) …（式３）
ここで、ηは学習係数、Eは誤差関数、Xdiはニューロンiに対する教師信号を表す。
例として、
・ニューラルネットワークの入力としてモノクロ変換した入力画像の各ピクセルの画素値を−１から１に正規化したものを与え、
・認識対象物が含まれるピクセルに相当するニューロンのみが１を出力し、他のニューロンが−１を出力するように学習を行う場合、
を考える。
この場合、既知の認識対象物や認識対象周辺物が含まれる画像を入力し、それに対して認識対象物や認識対象周辺物の領域を教師信号としてニューラルネットワークに与える事によって学習を行うことができる。教師信号Xdiは認識対象物や認識対象周辺物の領域に含まれるニューロンに対しては１を、それ以外に対しては−１を与える。この学習則にしたがって結合荷重値の生成を行い生成された結合荷重値を用いて認識処理を行う。処理の結果１を出力するニューロンが含まれる領域が認識対象物や認識対象周辺物の領域となる。このアルゴリズムの場合、認識パラメータは学習の結果得られたニューラルネットワークの結合荷重値Wijとなる。このように認識パラメータは、アルゴリズムによって様々な形態をとる。
周辺物認識部１１１３により、認識対象周辺物が認識されたならば、領域推定範囲絞込み部１１１４で後段の領域推定処理を行う範囲の絞込みを行う。この処理を行うことによって、対象物領域推定部１１１６における処理範囲を絞り込むことができるので、処理の高速化を計ることが可能となる。領域推定範囲パラメータ保存部１１１５には図１４に示すように、領域推定範囲絞込み部１１１４の処理で用いる認識対象物が認識対象周辺物のおよそどの位置にあるかを推定するための情報が保存されている。例えば、周辺物認識部１１１３が、図１５の（ａ）に示すような入力画像から図１５の（ｂ）に示すような手を認識したとする。この場合、認識対象物がカバンならば、認識対象周辺物として認識された手に対してカバンの存在しそうな領域として、図１４の如き領域推定範囲パラメータから、図１６の（ａ）において破線の四角で示した領域が設定される。
対象物領域推定部１１１６では周辺物認識部１１１３で認識された認識対象周辺物と認識対象物との位置や接続などの関係から入力画像中のどの範囲に認識対象物が存在するかの推定を行う。領域推定は、公知の領域抽出アルゴリズムを用いて領域を抽出し、さらに認識対象物と認識対象周辺物との位置関係や接続関係を見ることによって実現される。領域抽出のためのアルゴリズムとしては例えば、以下の参考文献１から４に示すようなアルゴリズムが挙げられるが、本発明は領域抽出アルゴリズムの種類に縛られるものではない。
［参考文献１］ 特開平１０-６３８５５号公報
［参考文献２］ M. Kass, A. Witkin, andD.Terzopoulos, “Snakes:Active Contour Models” Int. J. Computer Vision,pp.321-331, 1988
［参考文献３］ 松澤悠樹，阿部亨，“複数の動的輪郭モデルの競合による領域抽出”電子情報通信学会論文誌(D-II)，Vol.J83-D-II，No.4，pp.1100-1109，2000
［参考文献４］ 玉木徹, 山村毅, 大西昇, “対象物体に依存しない領域間の情報に基づいた領域併合による物体抽出手法” 映像情報メディア学会誌,Vol.55,No.4, pp.571-582， 2001
以下では、例として、色の類似度による領域抽出方法（参考文献１の手法）を用いた対象物領域推定部１１１６の処理を説明する。
認識対象物がカバンであり、認識対象周辺物として図１５の（ａ）に示す手が認識されたとする。このとき、対象物領域推定部１１１６は、まずカバンの持ち手の認識を行う。すなわち、手のある特定の位置に接続されている紐状オブジェクト（線状オブジェクトともいう）の認識を行う。このとき、領域推定パラメータ保存部１１１７に保存されているパラメータはこの処理のために用いる位置や接続や何を認識すべきかという情報となる。図２１は領域推定パラメータ保存部１１７に保存されている領域推定パラメータの例を示す図である。領域推定パラメータ保存部１１７には、認識対象となるオブジェクトとこれに関連する周辺のオブジェクトの組み合わせ毎に、認識すべきオブジェクトとその接続関係を規定した領域推定パラメータが保持される。そして、対象物領域推定部１１１６は、周辺物認識部１１１３により認識された周辺のオブジェクトに対して、領域推定パラメータによって示されるオブジェクトを探索することにより、特定のオブジェクトの領域推定を行う。また、領域推定範囲パラメータ保存部１１１５は、認識対象となるオブジェクトとこれに関連する周辺のオブジェクトの組み合わせ毎に、領域推定範囲を規定した領域推定範囲パラメータを保持する。そして、領域推定範囲絞り込み部１１１４は、オブジェクトの探索の範囲を領域推定範囲パラメータによって示される範囲に絞り込む。
例えば、手のある位置に接続されている紐状オブジェクトの認識は以下のようにして行われる。まず、手の周辺に存在している紐状オブジェクトの認識を行う。認識には対象物認識部１１０３や周辺物認識部１１１３で用いたものと同様のアルゴリズムを用いることができる。前述したように認識すべき対象によってアルゴリズムを切り替えることも可能である。また、本発明は認識アルゴリズムに縛られるものではない。
紐状オブジェクトが認識されたら、紐状オブジェクトの一端が手のある位置と接続しているものの抽出を行う。接続関係は紐状オブジェクトと手のエッジの抽出を行い、両方のオブジェクトのエッジで共通している部分があるかどうかで判断することができる。手のある位置に接続している紐状オブジェクトが抽出されたら紐状オブジェクトの色情報を抽出する。さらに抽出された色情報を元に、似た色の領域を抽出する。似た色の領域が抽出されたならば、さらに認識された紐状オブジェクトに接続されていて、かつ似た色の領域を抽出する。接続関係は前述したように両オブジェクトのエッジに共通部分があるかどうかで判断することができる。
以上の処理によって抽出された領域が、カバンの領域と推定される（図１７の（ａ））。この対象物領域推定処理においては、位置関係だけでなく接続関係も見ることが、非常に重要となる。例えば、図１７の（ｂ）に示した画像が入力画像として与えられ、位置関係のみで領域の抽出を行う場合を考える。ここで、領域抽出パラメータとして、「手の下の領域に存在している茶色のオブジェクトがカバンである」が与えられたとする。この場合、図１５の（ａ）の入力画像におけるカバンの領域は正しく抽出できるが、図１７の（ｂ）の入力画像では、手と接していない木の幹もカバンの領域として抽出されてしまう恐れがある。
表示部１１０６では対象物認識部１１０３または対象物領域推定部１１１６の処理結果として認識された対象物の領域や数などの表示を行う。例えば領域の表示であれば、対象物認識部１１０３または対象物領域推定部１１１６の処理により抽出された入力画像中の認識対象物の領域をある所定の色で塗りつぶして表示を行う。また、個数を表示する場合には、画像中の抽出された認識対象物の個数をカウントし、その結果を表示する。
図１８は第３実施形態による認識対象物抽出処理を説明するフローチャートである。以下、図１８のフローチャートを参照して本実施形態のシステム構成の動作説明を行う。
まず、ステップＳ１８０１において、認識対象指定部１１０２は、画像の中から認識するべき認識対象物の指定を受け付け、設定する。ユーザは、例えば、画像の中からカバンを認識したいのであれば、認識対象物としてカバンを指定し、認識対象指定部１１０２はその指定を受け付ける。認識対象指定部１１０２は、そのためのユーザインターフェースを提示する。
次に、ステップＳ１８０２において、対象物・周辺物関連付け部１１１１は、対象物・周辺物関連付け情報保存部１１１２を参照して、認識対象指定部１１０２で設定された認識対象物に対して関連のある認識対象周辺物を設定する。例えば、認識対象物としてカバンが指定されたのであれば、認識対象周辺物としては手、腕、肩などが設定される。
次に、ステップＳ１８０３において、パラメータ選択部１１０４は、設定された認識対象物、認識対象周辺物にしたがって、各処理部に必要なパラメータを選択する。パラメータ選択部１１０４は、対象物認識部１１０３に対して認識対象物に関する認識パラメータを認識パラメータ保存部１１０５より選択する。例えば、認識対象物がカバンであるならば、パラメータ選択部１１０４は、対象物認識部１１０３に対してカバンに関する認識パラメータを選択する。また、パラメータ選択部１１０４は、周辺物認識部１１１３に、ステップＳ１８０２で設定された認識対象周辺物に関する認識パラメータを認識パラメータ保存部１１０５より選択する。例えば、認識対象物がカバンであるならば、パラメータ選択部１１０４は、カバンと関連のある認識対象周辺物として手や腕や肩に関する認識パラメータを周辺物認識部１１１３に対して選択することになる。更に、パラメータ選択部１１０４は、領域推定範囲パラメータ保存部１１１５を参照して、認識対象物と認識対象周辺物に関連する領域推定範囲パラメータを領域推定範囲絞り込み部１１１４に対して選択する。例えば、認識対象物がカバンであり、認識対象周辺物が手であるならば、パラメータ選択部１１０４は、ある特定の手に対してカバンの存在しそうな領域を表す、領域推定範囲パラメータを領域推定範囲絞込み部１１１４に対して選択する。更に、パラメータ選択部１１０４は、領域推定パラメータ保存部１１１７を参照して、対象物領域推定部１１１６には認識対象物と認識対象周辺物に関する領域推定パラメータが選択される。例えば、認識対象物がカバンであり、認識対象周辺物が手であるならば、ある特定の手に対してカバンの接続関係や位置関係を表す領域推定パラメータが選択される。
次に、ステップＳ１８０４において、画像入力部１１０１は画像認識を行うべき画像を入力する。本例では、入力画像として、図１５の（ａ）に示す画像が入力されたものとする。
次に、ステップＳ１８０５において、対象物認識部１１０３は、認識対象物の認識を行い、ステップＳ１８０６において、周辺物認識部１１１３は、認識対象周辺物の認識を行う。認識対象物と認識対象周辺物の認識は同時に行われてもよいし、時系列的に行われてもよい。認識対象物と認識対象周辺物の認識を時系列的に行う場合は、例えば対象物認識に失敗した場合にのみ認識対象周辺物の認識が行されるようにしてもよい。各認識処理はアルゴリズムによって異なるが、例として、画像から抽出された特徴量と既知のオブジェクトに関する特徴量との類似度を用いたアルゴリズムによる処理フローについて説明を行う。
図１９は、対象物認識部１１０３及び周辺物認識部１１１３（以下、これらを総称して認識部という）による認識処理の一例を示すフローチャートである。まず、ステップＳ１９０１において、認識部は、入力された画像から特徴量を抽出する。抽出する特徴量としてはエッジや色などが考えられる。続いて、ステップＳ１９０２において、認識部は、抽出された特徴量と既知のオブジェクトに関する特徴量との類似度を計算する。類似度は認識部の説明に記載されている式（例えば（式１））にしたがって計算することができる。次に、計算された類似度Ｄと閾値Thrとの比較を行う。ある閾値Thrよりも計算された類似度Ｄの方が小さければ入力画像中には比較を行った既知のオブジェクトが存在していると認識される。
ステップＳ１８０７において、周辺物認識部１１１３が認識対象周辺物を認識した場合には、領域推定範囲絞込み部１１１４が、次のステップ１８０８の処理である認識対象物の領域推定処理を行う範囲を絞り込む。図１５の（ｂ）に認識された認識対象周辺物の例を示す。図１５の（ｂ）に示したようなカバンを持つ手が認識対象周辺物として認識された場合には、図１６の（ａ）に示す破線で囲んだ四角の領域にカバンが存在している可能性が高いという情報が領域推定範囲パラメータ保存部１１１５に予め格納されている（図１４）。従って、領域推定範囲絞り込み部１１１４は、領域推定範囲パラメータ保存部１１１５を参照して、この領域を領域推定処理を行う範囲として設定する。
次に、ステップＳ１８０８において、ステップＳ１８０７における領域推定範囲絞込みにより絞り込まれた範囲に対して、対象物領域推定部１１１６が認識対象物の領域推定を行う。この対象物領域推定には様々なアルゴリズムが考えられる。例として色を用いた対象物領域抽出処理について説明を行う。なお、図２１のパラメータには色に関する情報は示されていないが、色を用いてオブジェクト領域を推定する場合には、パラメータに色が含まれることは当業者には明らかである。
対象物領域推定処理（ステップＳ１８０８）のフローチャートを図２０に示す。以下、認識対象物がカバンであり、認識対象周辺物が手である場合を例として、対象物領域推定処理を説明する。
まず、認識対象周辺物と接続関係のある既知のオブジェクトを認識する（ステップＳ２００１）。本例では、例えば、カバンの取っ手の認識を行う。カバンの取っ手の認識には、周辺物認識処理（ステップＳ１８０６）で認識された手に対して取っ手の接続されている可能性の高い位置に接続されている紐状オブジェクトの認識を行う。認識には対象物認識部１１０３や周辺物認識部１１１３と同じアルゴリズムを用いることができる。図１６の（ｂ）に紐状オブジェクトの認識例を示す。紐状オブジェクトが認識されたら認識された紐状オブジェクトの色を抽出する（ステップＳ２００２）。次に、対象物領域推定範囲内で抽出された紐状オブジェクトと同じ色の領域の抽出を行う（ステップＳ２００３）。次に、抽出された紐状オブジェクトと同じ色の領域の中で紐状オブジェクトと接続している領域の抽出を行う(ステップＳ２００４）。抽出された領域が、カバンの領域と推定される。この推定結果の例を図１７の（ａ）に示す。
次に、ステップＳ１８０９において、対象物認識部１１０３及び／または対象物領域推定部１１１６は、それぞれの処理結果、認識された認識対象物の領域や個数などを表示部１１０６に表示する。例えば、図１７の（ａ）のように認識対象物が推定された場合、領域の表示であれば図１７の（ａ）に示したように認識対象物の領域がある特定の色で表示され、個数の表示であれば１個と表示される。
＜第４実施形態＞
第３実施形態において、入力される画像は静止画像でなく動画像でもよい。動画像を入力した場合は、対象物領域推定部１１１６で参考文献５にある動画像からの領域抽出方法を用いることができる。このアルゴリズムでは同じ動きベクトルのオブジェクトを抽出し背景と対象物の切り分けを行う。認識対象周辺物から認識対象物の推定を行う際には認識対象周辺物と同じ動きベクトルでかつ、認識対象周辺物に接続されているオブジェクトを認識対象物の範囲と推定することができる。なお、動画像からの領域抽出アルゴリズムは他にも様々なものが考案されているが、本発明は領域抽出アルゴリズムに縛られるものではなく、他のアルゴリズムを用いて領域抽出を行うことも可能である。また、動画像からの対象物領域推定処理に関しても静止画像の場合と同様に接続関係を見ることによって誤認識を防ぐことができると考えられる。
［参考文献５］ 特開２００１-１０９８９１号公報
＜第５実施形態＞
第３実施形態において複数の認識対象周辺物が認識された場合には、認識された全ての認識対象周辺物に対して、認識対象物の領域推定処理を行う。
＜第６実施形態＞
第３実施形態において対象物認識部１１０３と周辺物認識部１１１３を共通の認識部を用いて構成することも可能である。このような構成にすることでリソースの節約を図ることができる。この場合、認識対象物を認識するか、認識対象周辺物を認識するのかは認識パラメータを変更することで実現できる。具体的には、認識対象物を認識する際には認識対象物に関する認識パラメータを用いて処理を行い、認識対象周辺物を認識する際には認識対象周辺物に関する認識パラメータを用いて認識を行う。
＜第７実施形態＞
第３及び第５及び第６実施形態において、対象物認識部１１０３の処理結果、認識対象物が認識された場合、認識できた認識対象物の領域を除いて周辺物認識部１１１３の処理を行うようにしてもよい。また、逆に、対象物領域推定部１１１６により認識対象物の領域が推定された場合に、認識対象物の領域を除いて対象物認識部１１０３の処理を行うようにしてもよい。これにより処理領域を削減でき処理時間の短縮を図ることができる。
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。
第１実施形態による画像認識装置の構成例を示すブロック図である。 （ａ）は第１実施形態の入力画像の例を示す図、（ｂ）は第１実施形態の人物Ａの認識結果を示す図である。 （ａ）は、第１実施形態による首の認識結果の例を示す図、（ｂ）は第１実施形態による人物Ａの顔と首の接続関係判定結果の例を示す図である。 （ａ）は、第１実施形態による胴体の認識結果の例を示す図、（ｂ）は第１実施形態による首と胴体の接続関係判定結果の例を示す図である。 （ａ）は、第１実施形態による腕の認識結果の例を示す図、（ｂ）は第１実施形態による胴体と腕の接続関係判定結果の例を示す図である。 （ａ）は、第１実施形態によるカバンの認識結果の例を示す図、（ｂ）は第１実施形態による腕とカバンの接続関係判定結果の例を示す図である。 第１実施形態における認識パラメータの例を示す図である。 第１実施形態による画像認識処理を説明するフローチャートである。 第１実施形態による画像認識装置の構成例を示すブロック図である。 第２実施形態における、接続関係パラメータの例を示す図である。 第２実施形態における、接続関係グラフの例を示す図である。 第２実施形態による画像認識処理を示すフローチャートである。 実施形態による対象物の例としてのカバンを示す図である。 従来技術に関わる画像認識処理による誤認識例を説明する図である。 第３実施形態による画像認識装置の構成例を示すブロック図である。 第３実施形態における、対象物・周辺物関連付けを示す図である。 第３実施形態において、カバンを認識対象物とした場合の、認識対象周辺物の例を示す図である。 第３実施形態における、領域推定範囲パラメータの例を示す図である。 （ａ）は、第３実施形態における入力画像の例を示す図、（ｂ）は、第３実施形態による周辺物認識処理結果の例を示す図である。 （ａ）は、第３実施形態による領域推定範囲絞込み処理結果の例を示す図、（ｂ）は、第３実施形態による対象物領域推定処理を説明する図である。 （ａ）は、第３実施形態による対象物領域推定処理結果の例を示す図、（ｂ）は、ご認識を招く入力画像の例を示す図である。 第３実施形態の画像認識処理を示すフローチャートである。 第３実施形態の対象物認識部／周辺物認識の処理を示すフローチャートである。 第３実施形態の対象物領域推定部の処理を示すフローチャートである。 第３実施形態における領域推定パラメータの例を示す図である。 従来の画像認識装置の構成を示す図である。

Claims (18)

  1. 画像の中の特定のオブジェクトに関連するオブジェクトを認識する画像認識装置であって、
    前記特定のオブジェクトと前記関連するオブジェクト及びこれらオブジェクトの間に接続されるオブジェクトからなるオブジェクト列におけるオブジェクトの順番を示す認識順番の情報に従って、順次に前記画像からオブジェクトを認識する認識手段と、
    前記認識手段により今回の認識順番で認識されたオブジェクトについて、前回の認識順番における抽出されたオブジェクトと接続関係を有するか否かを判定する接続関係判定手段と、
    前記接続関係判定手段で接続関係を有すると判定されたオブジェクトを抽出されたオブジェクトとして取得する取得手段と、
    前記認識手段、前記接続関係判定手段、前記取得手段を前記認識順番に従って繰り返すことにより抽出されたオブジェクトに基づいて、前記特定のオブジェクトと前記関連するオブジェクトとを対応付ける対応付け手段とを備えることを特徴とする画像認識装置。
  2. 前記認識順番を、前記特定のオブジェクトと前記関連するオブジェクトに応じて決定する決定手段を更に備えることを特徴とする請求項１に記載の画像認識装置。
  3. オブジェクト間の接続関係を示す接続関係情報を保持する保持手段を更に備え、
    前記決定手段は、前記接続関係情報を用いて前記認識順番を決定することを特徴とする請求項２に記載の画像認識装置。
  4. 前記決定手段は、前記接続関係情報を用いて得られる複数の認識順番の候補のうち、認識処理に関連する評価値に基づいて前記認識手段で使用する認識順番を決定することを特徴とする請求項３に記載の画像認識装置。
  5. 前記評価値は、認識順番が示すオブジェクト列に存在するオブジェクトの数であり、
    前記決定手段は、前記評価値が最小となる認識順番を前記認識手段で使用する認識順番に決定することを特徴とする請求項４に記載の画像認識装置。
  6. 前記評価値は、認識順番が示すオブジェクト列に存在するオブジェクトの誤認識率の総和であり、
    前記決定手段は、前記評価値が最小となる認識順番を前記認識手段で使用する認識順番に決定することを特徴とする請求項４に記載の画像認識装置。
  7. 画像の中から特定のオブジェクトを認識する画像認識装置であって、
    認識対象となるオブジェクトとこれに関連する周辺のオブジェクトとを対応付ける関連付け情報を保持する保持手段と、
    前記関連付け情報に基づいて、前記特定のオブジェクトに関連する周辺のオブジェクトを前記画像から認識する周辺物認識手段と、
    前記周辺物認識手段により認識された周辺のオブジェクトに対して所定の位置関係を有するオブジェクトを抽出することにより、前記特定のオブジェクトが存在する領域の推定を行う推定手段とを備えることを特徴とする画像認識装置。
  8. 前記保持手段に保持されている前記関連付け情報を編集する編集手段を更に備えることを特徴とする請求項７に記載の画像認識装置。
  9. 前記保持手段は、更にオブジェクトごとの認識パラメータを保持し、
    前記周辺物認識手段は、認識すべきオブジェクトに応じて前記認識パラメータを切り換えて認識を行なうことを特徴とする請求項７に記載の画像認識装置。
  10. 前記保持手段は、更に認識対象となるオブジェクトとこれに関連する周辺のオブジェクトの組み合わせ毎に、認識すべきオブジェクトとその接続関係を規定した領域推定パラメータを保持し、
    前記推定手段は、前記周辺物認識手段により認識された周辺のオブジェクトに対して、前記領域推定パラメータによって示されるオブジェクトを探索することにより、前記特定のオブジェクトの領域推定を行うことを特徴とする請求項７に記載の画像認識装置。
  11. 前記保持手段は、更に認識対象となるオブジェクトとこれに関連する周辺のオブジェクトの組み合わせ毎に、領域推定範囲を規定した領域推定範囲パラメータを保持し、
    前記推定手段は、前記探索を前記領域推定範囲パラメータによって示される範囲で実行することを特徴とする請求項１０に記載の画像認識装置。
  12. 前記推定手段による領域推定の結果、前記特定のオブジェクトの前記画像における位置、領域、個数の少なくともいずれかを表示する表示手段を更に備えることを特徴とする請求項７乃至１０のいずれか１項に記載の画像認識装置。
  13. 更に、前記特定のオブジェクトを前記画像より認識する対象物認識手段を更に備え、
    前記周辺物認識手段は、前記対象物認識手段が前記特定のオブジェクトの認識に成功した場合は、当該特定のオブジェクトの存在する領域を除く領域で、前記周辺のオブジェクトを認識することを特徴とする請求項７に記載の画像認識装置。
  14. 前記推定手段により推定された前記特定のオブジェクトの領域を除く領域で、前記特定のオブジェクトの認識を行う対象物認識手段を更に備えることを特徴とする請求項７に記載の画像認識装置。
  15. 画像の中の特定のオブジェクトに関連するオブジェクトを認識する画像認識方法であって、
    前記特定のオブジェクトと前記関連するオブジェクト及びこれらオブジェクトの間に接続されるオブジェクトからなるオブジェクト列におけるオブジェクトの順番を示す認識順番の情報に従って、順次に前記画像からオブジェクトを認識する認識工程と、
    前記認識工程により今回の認識順番で認識されたオブジェクトについて、前回の認識順番における抽出されたオブジェクトと接続関係を有するか否かを判定する接続関係判定工程と、
    前記接続関係判定工程で接続関係を有すると判定されたオブジェクトを抽出されたオブジェクトとして取得する取得工程と、
    前記認識工程、前記接続関係判定工程、前記取得工程を前記認識順番に従って繰り返すことにより抽出されたオブジェクトに基づいて、前記特定のオブジェクトと前記関連するオブジェクトとを対応付ける対応付け工程とを有することを特徴とする画像認識方法。
  16. 画像の中から特定のオブジェクトを認識する画像認識方法であって、
    認識対象となるオブジェクトとこれに関連する周辺のオブジェクトとを対応付ける関連付け情報を保持する保持工程と、
    前記関連付け情報に基づいて、前記特定のオブジェクトに関連する周辺のオブジェクトを前記画像から認識する周辺物認識工程と、
    前記周辺物認識工程により認識された周辺のオブジェクトに対して所定の位置関係を有するオブジェクトを抽出することにより、前記特定のオブジェクトが存在する領域の推定を行う推定工程とを備えることを特徴とする画像認識方法。
  17. 請求項１５または１６に記載の画像認識方法をコンピュータに実行させるプログラム。
  18. 請求項１５または１６に記載の画像認識方法をコンピュータに実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体。
JP2008257784A 2008-10-02 2008-10-02 画像認識装置および画像認識方法 Active JP5247337B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008257784A JP5247337B2 (ja) 2008-10-02 2008-10-02 画像認識装置および画像認識方法
US12/571,219 US8467571B2 (en) 2008-10-02 2009-09-30 Ordered recognition of connected objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008257784A JP5247337B2 (ja) 2008-10-02 2008-10-02 画像認識装置および画像認識方法

Publications (3)

Publication Number Publication Date
JP2010086482A true JP2010086482A (ja) 2010-04-15
JP2010086482A5 JP2010086482A5 (ja) 2011-11-17
JP5247337B2 JP5247337B2 (ja) 2013-07-24

Family

ID=42075871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008257784A Active JP5247337B2 (ja) 2008-10-02 2008-10-02 画像認識装置および画像認識方法

Country Status (2)

Country Link
US (1) US8467571B2 (ja)
JP (1) JP5247337B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012036306A1 (ja) * 2010-09-17 2012-03-22 日本電気株式会社 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム
WO2016136607A1 (ja) * 2015-02-24 2016-09-01 株式会社日立製作所 画像処理方法、画像処理装置
JP2017054367A (ja) * 2015-09-10 2017-03-16 株式会社東芝 監視システム
JP2017068627A (ja) * 2015-09-30 2017-04-06 株式会社東芝 画像処理端末及び画像処理サーバ
KR20180065749A (ko) * 2016-12-08 2018-06-18 한국전자통신연구원 객체 판단 장치 및 방법
WO2018174123A1 (ja) * 2017-03-23 2018-09-27 日本電気株式会社 物体検出装置、交通監視システム、物体検出装置の制御方法及びプログラム
WO2020016963A1 (ja) * 2018-07-18 2020-01-23 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2021521517A (ja) * 2018-04-09 2021-08-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ニューラルネットワークマッピングを用いるｈｄｒ画像表現
WO2021192206A1 (ja) * 2020-03-27 2021-09-30 日本電気株式会社 画像認識システム、画像認識方法および非一時的なコンピュータ可読媒体
JP2022019988A (ja) * 2018-07-18 2022-01-27 日本電気株式会社 情報処理装置、ディスプレイ装置、及び制御方法
JP2022036304A (ja) * 2021-12-03 2022-03-04 株式会社インキュビット 情報提供システム
WO2022249351A1 (ja) * 2021-05-26 2022-12-01 日本電信電話株式会社 位置推定装置、位置推定学習装置、位置推定方法、位置推定学習方法、位置推定プログラム、及び位置推定学習プログラム
US11610385B2 (en) 2018-04-26 2023-03-21 Nec Corporation Information processing apparatus, control method, and non-transitory storage medium
JP2023514322A (ja) * 2020-02-18 2023-04-05 上海商▲湯▼▲臨▼港智能科技有限公司 対話関係の識別方法、装置、機器及び記憶媒体
JP7446107B2 (ja) 2019-12-27 2024-03-08 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6021366B2 (ja) * 2012-03-12 2016-11-09 キヤノン株式会社 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム。
CN103309895B (zh) * 2012-03-15 2018-04-10 中兴通讯股份有限公司 移动增强现实搜索方法、客户端、服务器及搜索系统
WO2014043748A1 (en) * 2012-09-18 2014-03-27 Fink Eric A server for selecting tag data
CN104284055A (zh) * 2013-07-01 2015-01-14 索尼公司 图像处理方法、装置以及电子设备
WO2015094370A1 (en) * 2013-12-20 2015-06-25 Intel Corporation Social circle and relationship identification
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
US9785250B1 (en) * 2017-05-15 2017-10-10 Newtonoid Technologies, L.L.C. Intelligent gesture based security system and method
CN107679525B (zh) * 2017-11-01 2022-11-29 腾讯科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质
US11055539B2 (en) * 2018-09-27 2021-07-06 Ncr Corporation Image processing for distinguishing individuals in groups

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261812A (ja) * 1998-03-10 1999-09-24 Fuji Photo Film Co Ltd 主要被写体抽出方法
JP2003216951A (ja) * 2001-12-03 2003-07-31 Microsoft Corp 複数のキューを使用する複数の個人の自動検出および追跡の方法、システムおよびコンピュータ可読媒体
JP2004094954A (ja) * 2002-08-30 2004-03-25 Mwtec Software Gmbh 階層型構成要素ベースの物体認識
JP2007042072A (ja) * 2005-07-05 2007-02-15 Omron Corp 追跡装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063855A (ja) 1996-08-13 1998-03-06 Sanyo Electric Co Ltd 画像領域抽出方法
JP2001109891A (ja) 1999-10-08 2001-04-20 Toshiba Corp 物体領域抽出方法
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
JP4683200B2 (ja) 2004-04-30 2011-05-11 花王株式会社 髪領域の自動抽出方法
JP2006202049A (ja) 2005-01-20 2006-08-03 Omron Corp 顔認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261812A (ja) * 1998-03-10 1999-09-24 Fuji Photo Film Co Ltd 主要被写体抽出方法
JP2003216951A (ja) * 2001-12-03 2003-07-31 Microsoft Corp 複数のキューを使用する複数の個人の自動検出および追跡の方法、システムおよびコンピュータ可読媒体
JP2004094954A (ja) * 2002-08-30 2004-03-25 Mwtec Software Gmbh 階層型構成要素ベースの物体認識
JP2007042072A (ja) * 2005-07-05 2007-02-15 Omron Corp 追跡装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG199800753004; 亀田 能成、美濃 導彦、池田 克夫: 'シルエット画像からの関節物体の姿勢推定法' 電子情報通信学会論文誌 （Ｊ７９-Ｄ-ＩＩ） 第１号, 19980821, ｐｐ．２６-３５, 社団法人電子情報通信学会 *
JPN6012037653; 亀田 能成、美濃 導彦、池田 克夫: 'シルエット画像からの関節物体の姿勢推定法' 電子情報通信学会論文誌 （Ｊ７９-Ｄ-ＩＩ） 第１号, 19980821, ｐｐ．２６-３５, 社団法人電子情報通信学会 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2012036306A1 (ja) * 2010-09-17 2014-02-03 日本電気株式会社 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム
US8977005B2 (en) 2010-09-17 2015-03-10 Nec Corporation Carried item region extraction device, carried item region extraction method, and computer readable medium
WO2012036306A1 (ja) * 2010-09-17 2012-03-22 日本電気株式会社 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム
CN107251091A (zh) * 2015-02-24 2017-10-13 株式会社日立制作所 图像处理方法、图像处理装置
WO2016136607A1 (ja) * 2015-02-24 2016-09-01 株式会社日立製作所 画像処理方法、画像処理装置
JP2016157219A (ja) * 2015-02-24 2016-09-01 株式会社日立製作所 画像処理方法、画像処理装置
JP2017054367A (ja) * 2015-09-10 2017-03-16 株式会社東芝 監視システム
JP2017068627A (ja) * 2015-09-30 2017-04-06 株式会社東芝 画像処理端末及び画像処理サーバ
KR20180065749A (ko) * 2016-12-08 2018-06-18 한국전자통신연구원 객체 판단 장치 및 방법
KR101888674B1 (ko) * 2016-12-08 2018-08-14 한국전자통신연구원 객체 판단 장치 및 방법
WO2018174123A1 (ja) * 2017-03-23 2018-09-27 日本電気株式会社 物体検出装置、交通監視システム、物体検出装置の制御方法及びプログラム
US11113555B2 (en) 2017-03-23 2021-09-07 Nec Corporation Object detection apparatus, traffic monitoring system, method of controlling an object detection apparatus and program
JPWO2018174123A1 (ja) * 2017-03-23 2020-01-23 日本電気株式会社 物体検出装置、交通監視システム、物体検出装置の制御方法及びプログラム
JP2021521517A (ja) * 2018-04-09 2021-08-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ニューラルネットワークマッピングを用いるｈｄｒ画像表現
JP7189230B2 (ja) 2018-04-09 2022-12-13 ドルビー ラボラトリーズ ライセンシング コーポレイション ニューラルネットワークマッピングを用いるｈｄｒ画像表現
US11887331B2 (en) 2018-04-26 2024-01-30 Nec Corporation Information processing apparatus, control method, and non-transitory storage medium
US11610385B2 (en) 2018-04-26 2023-03-21 Nec Corporation Information processing apparatus, control method, and non-transitory storage medium
JP2022019988A (ja) * 2018-07-18 2022-01-27 日本電気株式会社 情報処理装置、ディスプレイ装置、及び制御方法
JPWO2020016963A1 (ja) * 2018-07-18 2021-07-15 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6992900B2 (ja) 2018-07-18 2022-01-13 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11527090B2 (en) 2018-07-18 2022-12-13 Nec Corporation Information processing apparatus, control method, and non-transitory storage medium
JP7259921B2 (ja) 2018-07-18 2023-04-18 日本電気株式会社 情報処理装置、及び制御方法
WO2020016963A1 (ja) * 2018-07-18 2020-01-23 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7446107B2 (ja) 2019-12-27 2024-03-08 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム
JP2023514322A (ja) * 2020-02-18 2023-04-05 上海商▲湯▼▲臨▼港智能科技有限公司 対話関係の識別方法、装置、機器及び記憶媒体
WO2021192206A1 (ja) * 2020-03-27 2021-09-30 日本電気株式会社 画像認識システム、画像認識方法および非一時的なコンピュータ可読媒体
WO2022249351A1 (ja) * 2021-05-26 2022-12-01 日本電信電話株式会社 位置推定装置、位置推定学習装置、位置推定方法、位置推定学習方法、位置推定プログラム、及び位置推定学習プログラム
JP2022036304A (ja) * 2021-12-03 2022-03-04 株式会社インキュビット 情報提供システム
JP7079541B2 (ja) 2021-12-03 2022-06-02 株式会社インキュビット 情報提供システム
JP7418857B2 (ja) 2021-12-03 2024-01-22 株式会社インキュビット 情報提供システム

Also Published As

Publication number Publication date
US20100086213A1 (en) 2010-04-08
JP5247337B2 (ja) 2013-07-24
US8467571B2 (en) 2013-06-18

Similar Documents

Publication Publication Date Title
JP5247337B2 (ja) 画像認識装置および画像認識方法
US10936911B2 (en) Logo detection
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
US9092662B2 (en) Pattern recognition method and pattern recognition apparatus
US9852358B2 (en) Information processing device, information processing method, and information processing system
Stylianou et al. Visualizing deep similarity networks
US7403634B2 (en) Object tracking apparatus and method
JP2013210967A (ja) 体検出方法及び物体検出装置
JP2016091108A (ja) 人体部位検出システムおよび人体部位検出方法
JP6387831B2 (ja) 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
JP7082587B2 (ja) 画像処理装置、画像処理方法及び画像処理システム
Laporte et al. Efficient discriminant viewpoint selection for active bayesian recognition
CN111783506A (zh) 目标特征的确定方法、装置和计算机可读存储介质
JPWO2018235219A1 (ja) 自己位置推定方法、自己位置推定装置および自己位置推定プログラム
CN112541448A (zh) 一种行人重识别方法、装置、电子设备和存储介质
JP5777390B2 (ja) 情報処理方法及び装置、パターン識別方法及び装置
CN110546687B (zh) 图像处理装置及二维图像生成用程序
CN110992404A (zh) 目标跟踪方法、装置和系统及存储介质
Wilson et al. Nonlinear PHMMs for the interpretation of parameterized gesture
KR101991186B1 (ko) 철근 검출 방법 및 그 장치
JP6854248B2 (ja) 境界探索テスト支援装置および境界探索テスト支援方法
JP4550398B2 (ja) 一連の画像に現れる物体の動きを表現する方法、一連の画像中の画像における物体の選択を識別する方法、画像に対応する信号を処理することによって一連の画像を探索する方法、及び装置
Pasqualino et al. Unsupervised domain adaptation for object detection in cultural sites
JP2005071125A (ja) 被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラム
JP4614582B2 (ja) 部分テンプレート生成装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130409

R151 Written notification of patent or utility model registration

Ref document number: 5247337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3