JP5721233B2

JP5721233B2 - 画像認識システム

Info

Publication number: JP5721233B2
Application number: JP2011547721A
Authority: JP
Inventors: 久夛良木　健; 健久夛良木; 隆薄; 靖彦横手
Original assignee: CYBER AI ENTERTAINMENT Inc
Current assignee: CYBER AI ENTERTAINMENT Inc
Priority date: 2009-12-28
Filing date: 2010-12-28
Publication date: 2015-05-20
Anticipated expiration: 2030-12-28
Also published as: JPWO2011081192A1; US20120287304A1; WO2011081192A1; EP2521092A1

Description

本発明は、広く画像認識システムに関し、特に、データベースを備えた画像認識システムに関する。

［画像認識技術］
画像認識の研究のはじまりは、一般に４０年以上前に遡ることができる。以来、計算機の高速化と機械学習技術の進歩とともに、線画解釈（１９７０年代）、人手によるルールや幾何形状モデルによって構築された知識データベースに基づく認知モデル、及び３次元モデル表現（１９８０年代）といった研究が進み、１９９０年代に入ると、特に顔画像の認識や学習による認識に関する研究が盛んになった。

画像認識研究は、顔画像の認識から一般的な物体への認識へと発展した。２０００年代になると、計算機能力の一層の向上により、統計処理や学習処理のために必要な膨大な計算量が処理可能になったため、一般物体認識に関する研究が進んだ。一般物体認識とは、実世界のシーンを撮影した画像に対して、計算機がその画像中に含まれる物体を一般的な名称で認識する技術である。８０年代には、人手によってルールやモデルの構築がなされていたのに対し、大量のデータを高速に処理可能になったこの時期には統計的機械学習によるアプローチが注目され、近年の一般物体認識ブームのきっかけとなった。一般物体認識技術によれば、画像に対するキーワードを自動的に付与することが可能になり、画像をその意味内容によって分類及び検索することが可能になる。計算機によって人間の認識機能を実現することが究極の目標とされている（非特許文献１）。

一般物体認識技術は、画像データベースからのアプローチと統計的確率手法の導入によって進歩した。その中でも先駆的な研究として、画像に人手でキーワードを付与したデータから対応付けを学習し物体認識を行なう手法（非特許文献２）や、局所特徴量に基づく手法（非特許文献３）がある。また、局所特徴量による特定物体認識に関する研究にＳＩＦＴ法（非特許文献４）、及びＶｉｄｅｏＧｏｏｇｌｅ（非特許文献５）がある。

そして、２００４年に、"Bag-of-Keypoints"あるいは"Bag-of-Features"と呼ばれる手法が発表された。この手法は、画像をビジュアル・ワード（visual word）と呼ばれる代表的な局所パターン画像片の出現頻度ヒストグラムで表現する。具体的には、ＳＩＦＴ法に基づいた特徴点抽出を行い、あらかじめ求められた複数のビジュアル・ワードに基づいてＳＩＦＴ特徴ベクトルをベクトル量子化し、画像ごとにヒストグラムを生成するものである。このように生成されたヒストグラムの次元数は、数百〜数千次元のスパース（sparse）なベクトルになる。そして、これらのベクトルは、多次元ベクトルの分類問題として処理されることにより画像認識処理が行われる（非特許文献６）。

［画像及び物体モデルから生成される擬似リアル空間］
計算機能力の向上は、コンピュータによる表現の世界においても大きな進展をもたらした。例えば、高速演算による物体の三次元モデリング処理や画像レンダリング処理がある。近年のコンピュータゲーム機は、ハードウェアが有する高い計算機能力によって３次元物体の描画を軽快に処理するようになっている。さらに、ネットワーク通信容量の増大により、サーバ上に蓄積された３次元物体モデルデータをクライアント端末から回転自在に閲覧することにもコンピュータに対する負担は生じなくなってきた。こうした画像処理技術及びネットワーク通信技術の進展により、２０００年以降には、メタバースやバーチャル世界と呼ばれる擬似リアル空間が構築されるに至った。

柳井啓司, "一般物体認識の現状と今後", 情報処理学会論文誌, Vol.48, No.SIG16(CVIM19), pp.1-24, 2007 Pinar Duygulu, Kobus Barnard, Nando de Freitas, David Forsyth, "Object Recognition as Machine Translation: Learning a lexicon for a fixed image vocabulary," European Conference on Computer Vision (ECCV), pp.97-112, 2002. R. Fergus, P. Perona, and A. Zisserman, "Object Class Recognition by Unsupervised Scale-invariant Learning," IEEE Conf. on Computer Vision and Pattern Recognition, pp.264-271, 2003. David G.Lowe, "Object Recognition from Local Scale-Invariant Features," Proc. IEEE International Conference on Computer Vision, pp.1150-1157, 1999. J. Sivic and A. Zisserman, "Video google: A text retrieval approach to object matching in videos," Proc. ICCV2003, Vol. 2, pp.1470-1477, 2003. G. Csurka, C. Bray, C. Dance, and L. Fan, "Visual categorization with bags of keypoints," Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp.1-22, 2004.

しかしながら、従来の画像認識技術においては画像中の文字や画像に付与されたメタデータといったテキストに依存する部分、及び分析や学習において人手を介した処理部分があり、ＡＩ（Artificial Intelligence）の観点から根本的な改善の余地が残されていた。
また、従来の画像認識技術においては、認識に利用するデータを生成するための学習に多くのサンプル画像を必要とする。しかし、いくら多数の写真や動画を集めてきても、これら写真や動画の有する情報量の限界までしか識別できず、画像認識の精度を上げることができない。さらには、写真や動画には通常多種のノイズや欠損及びエラーが含まれている。したがって、写真や動画に写し出された物体の特徴が埋もれてしまうことが多い。ここに、従来におけるテンプレートマッチング技術やBag-of-Feature手法の限界があったと言える。

したがって、画像認識において元画像に対して比較する元データの精度／精細度を含む情報量を極限まで上げることが望ましい。

また、従来の擬似リアル空間は、はじめから実世界とは異なる仮想空間として割り切って作り込まれており、限りなく精細度を高めた時空間を実現するものではなかった。

そこで、本発明では、限りなく精度／精細度を高めた時空間を構築可能なデータベースを備えた画像認識システムを提供することを目的とする。

ここで、発明者らが追求する時空間について述べておく。
われわれ人間は、認知空間に生きている。
人間が認知できる様々な情報（写真や動画、音など）は、対象物それ自体は十分詳細な情報は有していない場合であっても、人間が蓄積した知識や経験をもとに脳により知識処理をすることにより瞬時に補完され、対象物が正確に何者であるか判断することが可能である。
本発明では、このような人間が有する特徴をコンピュータに適用する方法を提供する。個々の人間の知識データベースは、脳内に収納可能な量に限定される。また、人類全体の知識は遥かに大きいものの、即時に包括して参照し的確な判断を行うことはできない（例えば、地球上の７０億人＋過去の全ての人類の知識）。
これらの知識は、コンピュータシステム上の膨大なデータベースとして時間をかけて集積し、学習（ＡＩ）により進化可能である。
これらにより、将来、人間の認知能力・判断能力を遥かに超える人工知能システムの誕生が期待できる。この基本となるデータベースに、時間軸情報を含ませることにより、４次元の時空間を参照や移動が可能となる。
この基本となるデータベースを「マザーデータベース」（以下、「ＭＤＢ」と略す）と呼ぶ。

われわれの日常をよく観察してみると、広範な時代の広範な地域の事物を高度な情報伝達によって見知ることができるようになったが、そこには、常に資料の精細度や物体の保存状態に起因する情報密度の限界が存在していた。われわれが追求する世界は、人間の五感や知識で捕捉可能な情報量を超えた"The object"であり、"The space"であり、"The world"である。これらは現実世界の詳細を記述したものであり、メタバースやバーチャル世界といった擬似現実とは全くその本質を異とするものである。

博物館は様々な事物を現物として収集しているが、上記システムは、それらをいつの時点でも認識・再構築可能なＡＩシステム上の「マザーデータベース」として蓄積・成長させるものである。

仮に、多くの物体が千年後に消失してしまっても、ＡＩシステム上の「マザーデータベース」に物体は存在し続ける。未来の考古学は、地層を掘ったり、アイソトープによる年代測定をすること以外に、マザーデータベースを未来人がマイニングすることで実践されることになるだろう。そうした意味においても、マザーデータベースは、人類にとって最も重要な記憶であり、財産となる。

本発明に係る画像認識システムは、物体を構成するためのデータベースから生成されたマザーデータベース（ＭＤＢ）と、一般物体認識部と、特定物体認識部とを備えた画像認識システムであって、入力画像から得られる特徴量を用いてカテゴリ群を推定する一般物体認識部、及び、前記一般物体認識部により絞り込まれたカテゴリ内に属する１以上のＭＤＢから抽出された物体の特徴データであらわされた特徴量と入力画像から抽出された特徴量とを、前記入力画像の構造を含む複数の部位ごとに比較して物体を同定する特定物体認識部を有することを特徴とする。

また、前記同定された物体に対し、入力画像から直接得られる情報もしくは入力画像のリンク先からさらに詳細な物体に関するデータが得られる場合は、前記データに基づいてＭＤＢを成長・更新・分割・統合・拡張・修正させることを特徴とする。

また、前記一般物体認識部でカテゴリを特定できず、前記特定物体認識部で物体が同定される場合、ＭＤＢから生成する特徴量を前記一般物体認識部におけるカテゴリ識別情報として追加登録することを特徴とする。

また、新たな未登録の物体のデータベースが発見された場合、当該物体に関わる詳細なデータベースをＭＤＢに登録するとともに、前記一般物体認識部におけるカテゴリ識別情報として追加登録することを特徴とする。

また、前記特定物体認識部で物体を同定できない場合、入力画像から得られる画像以外の情報及び／又は集合知に基づいて物体を判別し、当該物体に関わる詳細なデータベースをＭＤＢに登録するとともに、前記一般物体認識部におけるカテゴリ識別情報として追加登録することを特徴とする。

また、前記一般物体認識部及び前記特定物体認識部で物体を同定できず、かつ前記入力画像から得られる画像以外の情報及び／又は集合知を以ってしても前記物体が不明な場合、不明物体として登録し、その後の他の物体の特定物体認識により新規カテゴリもしくは新規物体が登録された場合に前記不明物体を再度検証することを特徴とする。

本発明に係る画像認識システムによれば、次のような効果を奏する。
（１）画像中の文字や、メタデータ等に頼らずに物体を同定する画像認識が可能になる。
（２）認知対象の物体はＣＡＤ等の設計データが存在している物を含む広範な物体が対象であり、ユーザは手元の画像や動画などを元に、本発明に係る画像認識システムにより認識される物体に関するより詳細なデータに基づいた様々な情報を得ることができる。
（３）本発明に係る画像認識システムにおけるデータベースは、回帰的学習により個々の物体の詳細なデータについて自律的な登録・更新による成長を続け、限りなく精度／精細度の高い時空間を構築可能なデータベースを備えることにより、膨大な数及び種類の物体の画像認識を可能にするシステムを提供することができる。

本発明に係る画像認識システムの一実施形態におけるシステム構成図を説明する説明図である。本発明に係る画像認識機能ベースシステムの一実施形態におけるサーバ及びＭＤＢの機能ブロックを説明する説明図である。本発明に係る画像認識システムの一実施形態における端末装置の機能ブロックを説明する説明図である。本発明に係る画像認識機能システムの一実施形態における画像認識フローを説明する説明図である。本発明に係る画像認識機能システムの一実施形態における他の画像認識フローを説明する説明図である。本発明に係る画像認識機能システムの一実施形態における処理概念を説明する説明図である。本発明に係る画像認識機能システムの一実施形態における処理概念を説明する説明図である。本発明に係る画像認識機能システムの一実施形態における特定物体認識処理を説明する説明図である。本発明に係る画像認識機能システムの一実施形態における特定物体認識処理を説明する説明図である。本発明に係る画像認識機能システムの一実施形態における特定物体認識処理を説明する説明図である。本発明に係る画像認識機能システムの一実施形態における処理概念を説明する説明図である。

以下、本発明に係る画像認識システムを実施するための形態について詳述する。

図１に、本発明に係る画像認識システムの一実施形態を示す。画像認識システム１００は、サーバ１０１と、ＭＤＢ１０２と、ユーザが使用する端末装置１０５ａ〜１０５ｄとからなり、サーバ１０１とＭＤＢ１０２とは接続１０３で接続され、サーバ１０１及び装置１０５はネットワークないしインターネット１０４に接続されている。

ここで、サーバとは、クライアントからの要求に対して何らかのサービスを提供するコンピュータシステムであり、複数のサーバ群が結合したサーバーシステムを構成したり、複数のサーバシステムが結合したコンピュータ群を意味し、複数のソフトウェアにより駆動される。したがって、本明細書では、サーバの意義を上記のとおり位置付ける。

また、ハードウェアとしてのコンピュータは、最も基本的な構成としては、命令バス及びデータバスで接続された算術論理演算ユニットと制御ユニットと記憶装置と入出力装置とを備えた電子計算機である。入出力インタフェースを介して入出力装置から入力された情報（ビットデータ）に基づき算術論理演算ユニットにおいて算術演算や論理演算、比較演算、シフト演算等が実行される。実行されたデータは必要に応じて記憶装置に記憶され、入出力装置から出力される。これら一連の処理は、記憶装置に記憶されたソフトウェアプログラムによって制御される。本発明における各サーバマシンも、上記のとおりのコンピュータとしての基本機能を最低限備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。

図２に、本発明に係る画像認識機能システムの一実施形態におけるサーバ１０１及びＭＤＢ１０２の機能ブロックを示す。サーバ１０１は、ソフトウェア機能ブロックとして、領域処理部２０１と、一般物体認識部２０２と、特定物体認識部２０３と、設計データ再構成部２０４と、構造データ照合部２０５と、ＭＤＢ検索部２０６と、ＭＤＢ学習部２０７と、ＭＤＢマネージメント部２０８とからなる。サーバ１０１の機能ブロックは必ずしもこれらに限定されるものではないが、これら代表的な機能について簡単に説明する。

領域処理部２０１は、画像内の領域分割や部分画像の切出しなどを行う。一般物体認識部２０２は、画像中に含まれる物体の一般的な名称（カテゴリ）を認識する。また、特定物体認識部２０３は、ＭＤＢに登録された情報と照合し、物体を同定する。ネットワーク通信制御部２０４は、画像の入力出力処理や、端末との情報通信制御などを行う。データ検索処理部２０５は、リンク先から情報を収集したり、集合知の問合せや、収集、ならびに検索などを行う。ＭＤＢ検索部２０６は、物体の名称等のタグデータ等をＭＤＢから検索する。ＭＤＢ学習部２０７は、新規設計データの追加や詳細情報の追加、時間情報の登録、付帯情報の登録、更新、追加などを行う。ＭＤＢマネージメント部２０８は、設計データ２５１から特徴点や特徴量を抽出し特徴量データ２５３への登録、付帯情報からカテゴリ情報を抽出しカテゴリデータ２５４への登録や、カテゴリデータ２５４内のカテゴリ分類の拡張、分割、更新、統合、修正、新規カテゴリの登録などを行う。

また、ＭＤＢ１０２は、設計データ２５１と、付帯情報データ２５２と、特徴量データ２５３と、カテゴリデータ２５４と、不特定物体データ２５５とからなる。ＭＤＢ１０２は必ずしもこれらに限定されるものではないが、これら代表的な機能について簡単に説明する。

設計データ２５１は、物体を構成ないし製造するためのデータベースから生成された、物体の構造や形状、寸法、部品の接続情報、配置図、可動部、可動範囲、重量、剛性など、物体を構成ないし製造するのに必要な基本情報を保持している。
付加情報データ２５２は、物体の名称、製造者、部品番号、日時、素材、組成、加工情報など物体に関する付加的なあらゆる情報を保持している。
特徴量データ２５３は、設計データ２５１に基づいて生成される個々の物体の特徴点や特徴量情報を保持している。
カテゴリデータ２５４は、一般物体認識部において物体のカテゴリ分類を行う際に使用する情報を保持している。
不特定物体データ２５５は、特定物体認識が出来ない物体情報を格納する。ＭＤＢの学習が進み特定物体認識が出来たときには、ここから削除される。

図３に、本発明に係る画像認識システムの一実施形態における端末装置を示す。端末装置１０５ａ〜１０５ｄは、広くユーザが使用するクライアント端末装置であり、コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話機等が含まれる。つまり、端末装置１０５ａ〜１０５ｄは、多様な種類の多数の電子情報機器がインターネットなどのネットワークに接続されている様子をあらわしている。以下、端末装置１０５と記載した場合にはネットワークに接続された端末装置１０５ａ〜１０５ｄのいずれか１台をさす。当然のことながら、端末装置１０５ａ〜１０５ｄはすべて同一機種である必要はない。同等の機能（あるいは実施可能な最低限の機能）を備えた端末装置であればよい。ここでは端末装置１０５の代表的な機能ブロックについて説明する。

端末装置１０５ａ〜１０５ｄは、入出力部３０１と、ネットワーク接続部３０２と、ＣＰＵ３０３と、記憶部３０４と、電源部３０５とからなる。入出力部３０１は、例えば、キーボード、マウス、ペン、ジョグダイヤル、ジョイスティック、タッチパッド（ディスプレイに内蔵されるものを含む）、音声認識用のマイクなどの入力デバイスと、ディスプレイ、スピーカ、バイブレーターなどの出力デバイスとで構成される。ネットワーク接続部３０２は、インターネットなどのネットワークに接続するためのインタフェースであって、有線／無線を問わない。

ＣＰＵ３０３は、中央処理装置であり、記憶部３０４は、ハードディスク、メモリ等の記憶装置であり、電源部３０５は、バッテリー等である。

このほか、必要に応じて傾きや加速度を検出するセンサ、ＧＰＳ受信機などを搭載することもできる。

次に、図４に従って、本発明に係る画像認識機能システムの一実施形態における全体的な画像認識フローを説明する。

［一般物体認識］
画像認識処理の開始（Ｓ４０１）は、まず、端末装置１０５における元画像の入力からはじまる（Ｓ４０２）。元画像は、２次元画像であるか３次元画像であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス（不図示）を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合がある。次に、Ｓ４０４において一般物体認識処理が行われる。一般物体認識処理には、例えば、ＢＯＦ（Bag-Of-Features）の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ（物体の一般名称）の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はＳ４０５で行われる。カテゴリ認識ができなかった場合には、Ｓ４０６へ進み、既存のカテゴリの取り扱いについて判断がなされる（Ｓ４０７）が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくＳ４０９へ進む。

［特定物体認識］
Ｓ４０５の判断において特定物体認識処理へ進む場合は、まず、Ｓ４０９において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる（Ｓ４１０）。特定物体認識処理では、ＭＤＢ１０２に登録された設計データ２５１から抽出された特徴量データ２５３に基づく一致度を算出する評価関数によって物体の同定が試みられる。

［学習処理（１）］
一方で、Ｓ４０５の判断において一般物体認識ができなかった場合には、Ｓ４０６へ進み、着目物体の持つ特徴量と、ＭＤＢ１０２が把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか（Ｓ４０７）、その着目物体に近接する既存カテゴリの拡張を検討するか（Ｓ４０８）の判断が行われる。新たなカテゴリを登録する（Ｓ４０７）場合にはＳ４０４に復帰し、既存のカテゴリを拡張する（Ｓ４０８）場合にはＳ４０９へ進む。

［特定物体認識後学習処理（２）］
Ｓ４１１においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、Ｓ４１３に進み、Ｓ４０９において切り出された個別物体画像にＭＤＢ１０２に登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、Ｓ４１３においてＹｅｓと判断された場合には、Ｓ４１４に進み、ＭＤＢ１０２におけるその物体の詳細データはＭＤＢ学習部２０７により更新され、より精細な情報を有するようになる。一方で、Ｓ４１３においてＮｏと判断された場合には、Ｓ４１５に進み、次の判断がなされる。

Ｓ４１５は、Ｓ４０５において一般物体認識ができなかったと判断された場合であって、Ｓ４０６の判断でＳ４０８、Ｓ４０９、Ｓ４１０へ進み、特定物体の認識ができた（Ｓ４１１でＹｅｓ）場合に判断される。Ｓ４１５において、特定された物体が既存のカテゴリであった場合には、ＭＤＢ１０２に登録されているその既存カテゴリの定義を拡張、あるいは拡張によりカテゴリ内の物体の情報距離が分散する場合には分割（図１１（Ａ））、あるいは近接カテゴリとの情報距離が前記カテゴリ内の物体間の情報距離と同程度以下になった場合には統合（図１１（Ｂ））、あるいは特定された物体の登録により既存の物体の情報の齟齬を発見した場合には修正を施し（図１１（Ｃ））、カテゴリデータ２５４をアップデートする（Ｓ４１６）。一方で、Ｓ４１５において、特定された物体が既存のカテゴリでなかった場合には、Ｓ４０７へ遷移し、新規カテゴリとして登録する。

Ｓ４１１において、特定物体の認識ができなかった場合は、ＭＤＢ１０２においてその物体は「未確認物体」として登録され、将来の処理に備えて認識処理を終了する（Ｓ４１７）。Ｓ４１６において既存カテゴリを拡張してアップデートされた場合も認識処理を終了する（Ｓ４１７）。

図５は、図４における特定物体認識処理及び学習処理の一部について、他の実施形態を示すフロー図である。以下、詳細に説明する。

まず、Ｓ５０１より特定物体認識処理が開始される。ここで入力されるデータは、単一物体の画像のほか、同レイヤの設計データを使用することができる。さらに、画像にリンクされた設計データや、設計データそれ自体（製品全体のみならず、部品であってもよい）を使用することもできる。
次に、Ｓ５０２において元画像内の特徴点及び特徴量が抽出され、ＭＤＢより生成される特徴量データと比較される。ここで、ＭＤＢより特徴量データを生成・比較する方法には、以下の２種類がある。

１つ目は、物体を構成する最小単位（設計データなどで表されている）ごとの３次元情報を元に、あらゆる角度から２次元平面に写像し、その写像画像から物体の特定に用いる特徴量などを生成する。比較する際には、その特徴量を元に入力画像から特徴量を抽出し、出現部位や頻度などを比較する方法である（Ｓ５０４）。なお、ここでの特徴量は、一例として輪郭抽出法やＳＵＲＦ法などに基づいて生成される。

２つ目は、物体を構成する最小単位（設計データなど）の集合からなる３次元形状情報を投影角度や拡大率などを変えながら２次元平面に写像するプロセスを評価関数として、物体の特徴点および特徴量との差異を一致度として判定する方法（チューン方式）である（Ｓ５０５）。

なお、従来は、サンプルとなる画像そのものをとにかくたくさん集めて特徴量あるいは評価関数による同定処理（Ｓ５０２）を行なっていたことに鑑みれば、Ｓ５０４やＳ５０５で説明したＭＤＢより生成する方法（Ｓ５０３）は、同定の確度を上げるという点で従来技術より有利な効果を奏する。

次に、Ｓ５０６において、物体の同定ができたかが判断される。もし、同定されたと判断された場合には、Ｓ５１０に進み、同定に使用したデータがＭＤＢのデータよりも詳細であるか、最新であるかが判断され、これらの判断に基づいて、物体固有の情報（設計データなど）や時間情報（物体の型式、バージョン情報）がＭＤＢに更新登録され、特定物体認識処理を抜ける。つまり、情報の登録及びＭＤＢ更新が、データベース学習処理となる。

一方で、Ｓ５０６において、物体の同定ができなかったと判断されると、画像情報以外の情報（画像中の文字やロゴ）を抽出して物体同定処理を行う。例えば、画像中の物体に製造元を示すロゴが映し出されてさえいれば、物体の大半がフレームから外れていたとしても同定が容易に行える場合がある。そうして、Ｓ５０９に進み、再び物体の同定ができたかどうかが判断される。物体の同定ができていれば（Ｓ５０９においてＹｅｓ）、Ｓ５１０に進み、同定に使用したデータがＭＤＢのデータよりも詳細であるか、最新であるかが判断され、これらの判断に基づいて、物体固有の情報（設計データなど）や時間情報（物体の型式、バージョン情報）がＭＤＢに更新登録され、特定物体認識処理を抜ける。

一方で、物体の同定ができなかったならば（Ｓ５０９においてＮｏ）、不特定物体としてＭＤＢに登録され、将来の更新や新カテゴリの生成に備え（Ｓ５１１）、特定物体認識処理を終了する。

なお、Ｓ５０７で示した、画像情報以外の情報による同定処理とともに、あるいはこれに替えて、集合知を利用して物体の同定に役立てることもできる（Ｓ５０８）。このＳ５０８の処理は、例えば、ネット上の百科事典を検索したり、Ｑ＆Ａ掲示板に自動投稿することで実施される。ネット上の百科事典をシステムが自ら検索するには、一般物体認識で得られたカテゴリとともにＭＤＢより生成された特徴量を用いて検索クエリを作成し検索を実行する。そして返送されてきた内容から新たな特徴量を抽出して物体の同定が可能か再度試みる。また、Ｑ＆Ａ掲示板に自動投稿する場合は、一般物体認識で得られたカテゴリとともに元画像を掲示板にアップロードする。このとき、あらかじめ用意された定型文を自動編集して、「この○○について、型式を教えてください」とか、「この△△△について、設計情報を公開されているウェブサイトを教えてください」といったクエリを投稿する。そうして、他のユーザ（人間を含む）から「それは、ｘｘ−ｘｘｘｘです」とか、「その△△△の設計データは、http://www.aaabbb.com/cad/data.dxfから入手可能です」といったアドバイスが寄せられる。システムは、これらのアドバイスを分析及び評価し、指定されたＵＲＬへアクセスし物体の設計データ等のダウンロードを試みる。新たに得られた設計データに基づいて物体の同定に成功すれば、得られた新たなデータがＭＤＢに追加され、データベースが更新される。

図６及び図７は、図４のＳ４０６、Ｓ４０７、及びＳ４０８の処理例を詳細に説明する処理概念図である。図６（Ａ）において、ＭＤＢ１０２にはすでに登録済みの既存カテゴリＡ及びカテゴリＢが存在し、Ｓ４０５において一般物体認識できなかったと判断されたオブジェクトＯｂｊ１をどのカテゴリに分類すべきかが判断されようとしているものとする。ここでは、Ｏｂｊ１の特徴量と、カテゴリＡ及びカテゴリＢの特徴量との情報距離が算出される（Ｌ１、Ｌ２）。そして、Ｌ１及びＬ２は十分に離れていると判断されるので、Ｏｂｊ１は新しいカテゴリに属すべきものとして、新カテゴリＣが生成され登録される（図６（Ｂ））。

一方で、図７（Ａ）においては、ＭＤＢ１０２にはすでに登録済みの既存カテゴリＡ及びカテゴリＢと、Ｓ４０５において一般物体認識できなかったと判断されたオブジェクトＯｂｊ２とが存在し、それぞれの特徴量からみてＯｂｊ２はカテゴリＡに近接している関係にある。この場合、カテゴリＡとＯｂｊ２との情報距離は十分に近い（一方で、カテゴリＢとＯｂｊ２との情報距離は十分に遠い）。この場合には、Ｏｂｊ２について新たなカテゴリＣを生成しようとすると、他のオブジェクトについてカテゴリＡとカテゴリＣとの両方に含まれる場合などが発生し、カテゴリ分類上好ましくないことがある。したがって、図７（Ａ）のような関係にあるときは、カテゴリＡの定義を最低限拡張して、Ｏｂｊ２を含むようにアップデートされる（図７（Ｂ））。
なお、情報距離の算出アルゴリズムには、符号理論上の種々のアルゴリズム（ハミング、フィッシャー等）や他の情報理論に基づく距離計算アルゴリズムを採用することができる。

なお、ＭＤＢ１０２に物体の詳細データとして登録される設計データのフォーマットには種々のフォーマットを使用することができる。例えば、.DXF形式，.DWG形式，.3DS形式がある。そして、これら設計データから特徴量を算出し、同様の次元で元画像から算出した特徴量と照合して認識を行う方法についてはすでに述べたとおりである。

次に、図８及び図９に基づき、本発明にかかる画像認識システムにおいて元画像における長いすの特徴量と、ＭＤＢに登録されている長いすのＣＡＤデータの特徴量との比較によって特定物体認識を行う処理例を説明する。なお、図８は、物体認識（照合）の結果、一致した場合であり、図９は、物体認識（照合）の結果、不一致となる場合である。

［一致の場合］
図８（Ａ）において、８００は長いすの元画像である。ここでは、５つの特徴点が抽出されている。８０１は図中向かって左の背もたれ角の特徴点である。８０２は図中手前の左肘掛の角の特徴点である。８０３は左手前脚部の特徴点。８０４は右手前脚部の特徴点である。８０６は向かって右の背もたれの角の特徴点である。８０５は特徴点として抽出されなかった部位であるが、説明のため番号を付ける（丸印は付していない）。
図８（Ｂ）において、８５０は長いすの比較ＣＡＤデータからの描画像である。ここでは、６つの特徴点が抽出されている。８５１は向かって左の背もたれの特徴点である。８５２は手前の左肘掛の角の特徴点である。８５３は左手前脚部の特徴点である。８５４は右手前脚部の特徴点である。８５５は手前の右肘掛の特徴点である。８５６は向かって右の背もたれの角の特徴点である。
比較は、特徴点８０１と８５１、特徴点８０２と８５２、特徴点８０３と８５３、特徴点８０４と８５４、特徴点８０５と８５５、特徴点８０６と８５６とで後述の手法（図１０）を用いて行われる。特徴点８０５は検出できてないが、ここでは、他の５点が一致しているので、８００の長いすは８５０の長いすと特定することが出来る。つまり、特徴点のうち、全ての特徴点あるいは一定の割合以上の特徴点が一致すれば物体が特定できたと判断することができる。
あるいは、物体の一部が隠れていた場合（関数検出できない場合）であっても、その他の特徴点でよく一致していれば同定できたとすることができる。

［不一致の場合］
図９（Ｃ）は、図８の（Ａ）に示した長いす８００と同じである。
図９（Ｄ）において、９５０は別の長いすの比較ＣＡＤデータからの描画像である。ここでは、６つの特徴点が抽出されている。９５１は向かって左の背もたれの特徴点である。９５２は手前の左肘掛の角の特徴点である。９５３は左手前脚部の特徴点である。９５４は右手前脚部の特徴点である。９５５は手前の右肘掛の特徴点である。９５６は向かって右の背もたれの角の特徴点である。
比較は、特徴点８０１と９５１、特徴点８０２と９５２、特徴点８０３と９５３、特徴点８０４と９５４、特徴点８０５と９５５、特徴点８０６と９５６で行われる。後述の手法（図１０）により８０２と９５２が一致してないので、８００と８５０が別の物体と判断される。

［比較判断手法の例示］
図１０（Ｋ）において、横軸には位相（角度、距離、色などを包含する）、縦軸には元画像と比較ＣＡＤ画像の一致度を取る。比較ＣＡＤ画像を偏位させ特徴点を比較することで、元画像との一致度が０と１の間の値を取る。一致すれば０であり、不一致であれば１である。ＣＡＤ画像同士であれば、比較ＣＡＤ画像の１つの位相で、元ＣＡＤ画像が完全に一致する。しかし、元画像にはノイズが含まれているので、完全な一致にはなり得ない。結果、比較ＣＡＤ画像の位相に従って１００２の線となる。また、もし、完全に一致しない場合には、１００３の直線になる。
図１０（Ｌ）において、図８の一致の場合と図９の不一致の場合をあらわす。図１０（Ｌ）Ａにおいて、特徴点１は８０３、特徴点２は８０１、特徴点３は８０２、特徴点４は８０６、特徴点５は８０５、特徴点６は８０４に対応する。図Ａではある同一位相値において抽出されてない特徴点８０５以外は極小値となっている。ゆえに、元画像は比較ＣＡＤ画像と一致したと判断する。一方、図１０（Ｌ）Ｂにおいては、同様の比較を行った結果、８０２に対応する特徴点３が他とは違う比較ＣＡＤ画像の位相値で一致度の極小値となっている。結果、元画像は比較ＣＡＤ画像とは不一致であると判断する。

１００画像認識システム
１０１サーバ
１０２マザーデータベース（ＭＤＢ）
１０３接続
１０４ネットワーク（あるいはインターネット）
１０５ａ〜１０５ｄ端末装置

Claims

物体の設計情報及びカテゴリ群を少なくとも記録しているマザーデータベース（ＭＤＢ）と、一般物体認識部と、特定物体認識部とを備えた画像認識システムであって、
入力画像から得られる１以上の特徴量を用いてカテゴリ群を推定する一般物体認識部、及び、
前記推定されたカテゴリ群に属する前記ＭＤＢに記録されている物体の設計情報に基づいて、１以上の特徴量を計算し、当該計算された１以上の特徴量と、前記入力画像から得られる前記１以上の特徴量とを比較して物体を同定する特定物体認識部
を有する画像認識システム。
前記同定された物体に対し、入力画像から直接得られる情報もしくは入力画像のリンク先からさらに詳細な物体に関するデータが得られる場合は、前記データに基づいてＭＤＢを成長・更新・分割・統合・拡張・修正させることを特徴とする請求項１に記載の画像認識システム。
前記一般物体認識部でカテゴリを特定できず、前記特定物体認識部で物体が同定される場合、ＭＤＢから生成する特徴量を前記一般物体認識部におけるカテゴリ識別情報として追加登録することを特徴とする請求項１〜２のいずれか１項に記載の画像認識システム。
新たな未登録の物体のデータベースが発見された場合、当該物体に関わる詳細なデータベースをＭＤＢに登録するとともに、前記一般物体認識部におけるカテゴリ識別情報として追加登録することを特徴とする請求項１〜３のいずれか１項に記載の画像認識システム。
前記特定物体認識部で物体を同定できない場合、入力画像から得られる画像以外の情報及び／又は集合知に基づいて物体を判別し、当該物体に関わる詳細なデータベースをＭＤＢに登録するとともに、前記一般物体認識部におけるカテゴリ識別情報として追加登録することを特徴とする請求項１〜４のいずれか１項に記載の画像認識システム。
前記一般物体認識部及び前記特定物体認識部で物体を同定できず、かつ前記入力画像から得られる画像以外の情報及び／又は集合知を以ってしても前記物体が不明な場合、不明物体として登録し、その後の他の物体の特定物体認識により新規カテゴリもしくは新規物体が登録された場合に前記不明物体を再度検証することを特徴とする請求項１〜５のいずれか１項に記載の画像認識システム。