JP2008046823A - 画像解釈装置、画像解釈方法、及びプログラム - Google Patents

Abstract

【課題】入力画像に含まれるオブジェクト画像の配置や組合せに関係付けられた意味を解釈することが可能な画像解釈装置、画像解釈方法、及びプログラムを提供すること。
【解決手段】本発明に係る画像解釈装置は、オブジェクト画像をオブジェクトデータベース１１０に登録する登録部１００と、入力画像に含まれるオブジェクト画像の種類、属性、配置、又は組合せ等を抽出する画像検索部１２０と、当該配置、又は組合せ等に基づいて、入力画像の意味を解釈する画像解釈部１４０と、を備えることを特徴とする。このような構成により、一の画像に複数の意味を持たせることができるため、画像解釈結果に応じた複雑な後段処理が可能になる。
【選択図】図１

Description

本発明は、画像解釈装置、画像解釈方法、及びプログラムに関する。

近年、情報処理装置の性能が大きく向上し、大量の情報を高速に処理することが可能になった。これに伴い、複数の情報を関連付けて管理するデータベースシステムが飛躍的に普及し、現在では、一般家庭で用いられるパーソナルコンピュータにも各種データベースが利用されるようになってきた。例えば、当該データベースは、住所録管理、予定表管理、音楽データ管理、そして、画像情報管理等に利用されている。

しかし、従来のデータベースは、検索用の鍵となるキー情報に関連付けられた各種情報を、検索条件に基づいてソートしたり、抽出したりすることが一般的な用途であった。また、その発展形として、登録された画像と、当該画像に割り当てられたキー情報と、を用いて画像を検索する用途にも用いられていた。例えば、特許文献１を参照すると、検索情報として入力された画像データを基に、その特徴点からキー情報を割り出し、入力画像データと同一又は類似の画像を、データベースに登録された画像の中から抽出するという画像検索技術が開示されている。

上記の画像検索技術によると、データベースに登録する画像は、複数の分割された矩形領域に含まれる画像毎に、特徴点として、色ヒストグラム情報、又はテクスチャ情報等が抽出され、当該特徴点と共にデータベースに登録されている。同様に、入力画像についても、上記と同様の特徴点が検出され、当該特徴点に基づいて、データベースに登録された画像の中から、入力画像と同一又は類似の画像が抽出される。もちろん、画像そのものを抽出することも有用であるが、登録画像に種々の情報を関連付けておくことにより、入力画像と関係のある情報を当該技術を用いて検索することが可能になる。

特開２００２−２４５０４８号公報

しかし、上記のような従来の画像検索技術によると、分割領域毎に画像情報を抽出するとはいえ、入力画像全体から取得した特徴点を参照して、データベースに登録された画像の中から、同一又は類似する画像が検索されることになる。そのため、入力画像に含まれるオブジェクト画像の相互関係や、入力画像とオブジェクト画像との相互関係に基づく情報検索は困難であった。そのため、オブジェクト画像間の相互関係に意味付けが出来ない事によって、一画像に付加可能な情報量が制限されると共に、画像をキー情報とする情報検索の幅を狭める結果となっていた。さらには、複数のオブジェクト画像の相互関係に文法規則を割り当てて、オブジェクト画像間のリレーショナル機能を実現することが出来なかった。

つまり、従来の方法によると、「１枚の画像は１つの検索キー」という制限があるために、複数のキーワードで検索するためには、複数の画像が必要であった。そのため、「１枚の画像に複数の検索キー」を持たせる技術の開発が求められていた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、入力画像に含まれるオブジェクト画像の配置や組合せに応じて、入力画像の意味を解釈することが可能な、新規かつ改良された画像解釈装置、画像解釈方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する登録画像情報記録部と、意味が解釈される対象となる入力画像を取得する画像取得部と、入力画像を走査して特徴点を検出し、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出部と、入力画像とオブジェクト画像との間の相対関係を示す配置情報を取得する配置情報取得部と、入力画像とオブジェクト画像との間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則が登録された配置規則データベースを有する配置規則情報記録部と、配置情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する画像解釈部と、を備えることを特徴とする、画像解釈装置が提供される。

上記の画像解釈装置が備える登録画像情報記録部は、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する。また、上記の画像取得部は、意味が解釈される対象となる入力画像を取得する。上記のオブジェクト画像抽出部は、入力画像を走査して特徴点を検出し、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出する。上記の配置情報取得部は、入力画像とオブジェクト画像との間の相対関係を示す配置情報を取得する。上記の配置規則情報記録部は、入力画像とオブジェクト画像との間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則が登録された配置規則データベースを有する。上記の画像解釈部は、配置情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する。かかる構成により、一の入力画像に含まれるオブジェクト画像の配置に意味を持たせることが可能になり、入力画像に複数の意味を持たせることができる。

上記の配置情報は、入力画像内における各オブジェクト画像の位置を示す位置情報を含んでいてもよい。また、上記の文法規則は、オブジェクト画像に対応付けられた意味情報の中から、位置情報に応じて、一の意味情報を選択する規則を含んでいてもよい。さらに、上記の画像解釈部は、文法規則に則って選択されたオブジェクト画像の意味情報を入力画像の意味であると解釈してもよい。かかる構成により、オブジェクト画像の位置に基づいて、入力画像の意味を解釈することが可能になる。

上記の配置情報は、オブジェクト画像のサイズ又は傾きに関する形態情報を含んでいてもよい。また、上記の文法規則は、形態情報をパラメータとする評価値の算出方法を規定していてもよい。さらに、上記の画像解釈部は、文法規則に則って算出された評価値を入力画像の意味に付加して解釈してもよい。かかる構成により、オブジェクト画像の形態に基づいて、入力画像の意味を解釈することが可能になる。

オブジェクト画像抽出部により複数のオブジェクト画像が抽出された場合、さらに、上記の画像解釈装置は、抽出された一のオブジェクト画像と、抽出された他のオブジェクト画像との間の相対関係を示す組合せ情報を取得する組合せ情報取得部と、オブジェクト画像間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する組合せ規則情報記録部と、を備えていてもよい。また、上記の画像解釈部は、配置情報と組合せ情報とに基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈してもよい。

上記の組合せ情報取得部は、抽出された一のオブジェクト画像と、抽出された他のオブジェクト画像との間の相対関係を示す組合せ情報を取得する。また、上記の組合せ規則情報記録部は、オブジェクト画像間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する。さらに、画像解釈部は、配置情報と組合せ情報とに基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する。かかる構成により、各オブジェクト画像の配置と、オブジェクト画像間の組合せと、に応じて、入力画像の意味を解釈することが可能になり、入力画像により複雑な複数の意味を持たせることができる。

また、上記課題を解決するために、本発明の他の観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する登録画像情報記録部と、意味が解釈される対象となる入力画像を取得する画像取得部と、入力画像を走査して特徴点を検出し、入力画像に含まれる複数の登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出部と、抽出された一のオブジェクト画像と、抽出された他のオブジェクト画像との間の相対関係を示す組合せ情報を取得する組合せ情報取得部と、オブジェクト画像間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する組合せ規則情報記録部と、組合せ情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する画像解釈部と、を備えることを特徴とする、画像解釈装置が提供される。

上記の画像解釈装置が備える登録画像情報記録部は、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する。また、上記の画像取得部は、意味が解釈される対象となる入力画像を取得する。上記のオブジェクト画像抽出部は、入力画像を走査して特徴点を検出し、入力画像に含まれる複数の登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出する。上記の組合せ情報取得部は、抽出された一のオブジェクト画像と、抽出された他のオブジェクト画像との間の相対関係を示す組合せ情報を取得する。上記の組合せ規則情報記録部は、オブジェクト画像間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する。上記の画像解釈部は、組合せ情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する。かかる構成により、オブジェクト画像の組合せに応じて、入力画像の意味を解釈することが可能になり、入力画像に複数の意味を持たせることができる。

上記の組合せ情報は、抽出された複数のオブジェクト画像の相対的な位置関係を示す位置情報を含んでいてもよい。また、上記の文法規則は、位置情報、サイズや傾きに関する形態情報に応じて、各オブジェクト画像に対応付けられた意味情報の結合関係を規定していてもよい。さらに、上記の画像解釈部は、文法規則に則って結合された複数のオブジェクト画像の意味情報を入力画像の意味として解釈するとしてもよい。かかる構成により、オブジェクト画像の結合関係に応じて、入力画像の意味を解釈することが可能になり、入力画像により複雑な意味を持たせることができる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する登録画像情報記録部と、意味が解釈される対象となる入力画像を取得する画像取得部と、入力画像を走査して特徴点を検出し、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出部と、抽出されたオブジェクト画像の欠損領域に関する欠損情報を検出する欠損情報取得部と、オブジェクト画像の欠損割合に対応付けて、入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する欠損規則情報記録部と、欠損情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する画像解釈部と、を備えることを特徴とする、画像解釈装置が提供される。

上記の画像解釈装置が備える登録画像情報記録部は、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する。また、上記の画像取得部は、意味が解釈される対象となる入力画像を取得する。上記のオブジェクト画像抽出部は、入力画像を走査して特徴点を検出し、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出する。上記の欠損情報取得部は、抽出されたオブジェクト画像の欠損領域に関する欠損情報を検出する。上記の欠損規則情報記録部は、オブジェクト画像の欠損割合に対応付けて、入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する。上記の画像解釈部は、欠損情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する。かかる構成により、オブジェクト画像の欠損情報に応じて、入力画像の意味を解釈することが可能になり、入力画像に複数の意味を持たせることが可能になる。

上記の欠損情報は、オブジェクト画像の面積に対する検出された欠損領域の面積比率を示す欠損面積情報を含んでいてもよい。また、上記の文法規則は、面積比率に応じて、オブジェクト画像に対応付けられた意味情報に含まれる定量値を変化させる算出方法を規定していてもよい。さらに、上記の画像解釈部は、文法規則に則って算出されたオブジェクト画像の定量値を入力画像の意味として解釈するとしてもよい。かかる構成により、オブジェクト画像の欠損面積比率に基づいて、入力画像の意味を解釈することが可能になり、入力画像により複雑な意味を持たせることが可能になる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される登録画像情報記録過程と、意味が解釈される対象となる入力画像が取得される画像取得過程と、入力画像が走査されて特徴点が検出され、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とが抽出されるオブジェクト画像抽出過程と、入力画像とオブジェクト画像との間の相対関係を示す配置情報が取得される配置情報取得過程と、入力画像とオブジェクト画像との間の相対関係に対応付けられて、入力画像に付加的な意味を追加するための文法規則が配置規則データベースに登録される配置規則情報記録過程と、配置情報に基づいて文法規則が抽出され、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味が解釈される画像解釈過程と、を含むことを特徴とする、画像解釈方法が提供される。

上記の画像解釈方法が含む登録画像情報記録過程では、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される。また、上記の画像取得過程では、意味が解釈される対象となる入力画像が取得される。上記のオブジェクト画像抽出過程では、入力画像が走査されて特徴点が検出され、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とが抽出される。上記の配置情報取得過程では、入力画像とオブジェクト画像との間の相対関係を示す配置情報が取得される。上記の配置規則情報記録過程では、入力画像とオブジェクト画像との間の相対関係に対応付けられて、入力画像に付加的な意味を追加するための文法規則が配置規則データベースに登録される。上記の画像解釈過程では、配置情報に基づいて文法規則が抽出され、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味が解釈される。かかる構成により、オブジェクト画像の配置に基づいて、入力画像の意味を解釈することが可能になり、入力画像に複数の意味を持たせることができる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される登録画像情報記録過程と、意味が解釈される対象となる入力画像が取得される画像取得過程と、入力画像が走査されて特徴点が検出され、入力画像に含まれる複数の登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とが抽出されるオブジェクト画像抽出過程と、抽出された一のオブジェクト画像と、抽出された他のオブジェクト画像との間の相対関係を示す組合せ情報が取得される組合せ情報取得過程と、オブジェクト画像間の相対関係に対応付けられて、入力画像に付加的な意味を追加するための文法規則が組合せ規則データベースに登録される組合せ規則情報記録過程と、組合せ情報に基づいて文法規則が抽出され、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味が解釈される画像解釈過程と、を含むことを特徴とする、画像解釈方法が提供される。

上記の画像解釈方法が含む登録画像情報記録過程では、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される。また、上記の画像取得過程では、意味が解釈される対象となる入力画像が取得される。上記のオブジェクト画像抽出過程では、入力画像が走査されて特徴点が検出され、入力画像に含まれる複数の登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とが抽出される。上記の組合せ情報取得過程では、抽出された一のオブジェクト画像と、抽出された他のオブジェクト画像との間の相対関係を示す組合せ情報が取得される。上記の組合せ規則情報記録過程では、オブジェクト画像間の相対関係に対応付けられて、入力画像に付加的な意味を追加するための文法規則が組合せ規則データベースに登録される。上記の画像解釈過程では、組合せ情報に基づいて文法規則が抽出され、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味が解釈される。かかる構成により、オブジェクト画像間の相対関係に基づいて、入力画像の意味を解釈することが可能になり、入力画像により複雑な意味を持たせることができる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される登録画像情報記録過程と、意味が解釈される対象となる入力画像が取得される画像取得過程と、入力画像が走査されて特徴点が検出され、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とが抽出されるオブジェクト画像抽出過程と、抽出されたオブジェクト画像の欠損領域に関する欠損情報が検出される欠損情報取得過程と、オブジェクト画像の欠損割合に対応付けられて、入力画像に付加的な意味を追加するための文法規則が組合せ規則データベースに登録される欠損規則情報記録過程と、欠損情報に基づいて文法規則が抽出され、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味が解釈される画像解釈過程と、を含むことを特徴とする、画像解釈方法が提供される。

上記の画像解釈方法が含む登録画像情報記録過程では、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される。また、上記の画像取得過程では、意味が解釈される対象となる入力画像が取得される。上記のオブジェクト画像抽出過程では、入力画像が走査されて特徴点が検出され、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とが抽出される。上記の欠損情報取得過程では、抽出されたオブジェクト画像の欠損領域に関する欠損情報が検出される。上記の欠損規則情報記録過程では、抽出されたオブジェクト画像の欠損領域に関する欠損情報が検出される。上記の画像解釈過程では、欠損情報に基づいて文法規則が抽出され、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味が解釈される。かかる構成により、オブジェクト画像の欠損領域に関する情報に基づいて、入力画像の意味を解釈することが可能になり、入力画像により複雑な意味を持たせることができる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する登録画像情報記録機能と、意味を解釈する対象となる入力画像を取得する画像取得機能と、入力画像を走査して特徴点を検出し、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出機能と、入力画像とオブジェクト画像との間の相対関係を示す配置情報を取得する配置情報取得機能と、入力画像とオブジェクト画像との間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則を配置規則データベースに登録する配置規則情報記録機能と、配置情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する画像解釈機能と、をコンピュータに実現させるためのプログラムが提供される。

上記のプログラムにより、コンピュータに実現される登録画像情報記録機能は、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する機能である。また、上記の画像取得機能は、意味を解釈する対象となる入力画像を取得する機能である。上記のオブジェクト画像抽出機能は、入力画像を走査して特徴点を検出し、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出する機能である。上記の配置情報取得機能は、入力画像とオブジェクト画像との間の相対関係を示す配置情報を取得する機能である。上記の配置規則情報記録機能は、入力画像とオブジェクト画像との間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則を配置規則データベースに登録する機能である。上記の画像解釈機能は、配置情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する機能である。かかる構成により、オブジェクト画像の配置情報に基づいて、入力画像の意味を解釈することが可能になり、入力画像に複数の意味を持たせることができる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する登録画像情報記録機能と、意味を解釈する対象となる入力画像を取得する画像取得機能と、入力画像を走査して特徴点を検出し、入力画像に含まれる複数の登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出機能と、抽出された一のオブジェクト画像と、抽出された他のオブジェクト画像との間の相対関係を示す組合せ情報を取得する組合せ情報取得機能と、オブジェクト画像間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則を組合せ規則データベースに登録する組合せ規則情報記録機能と、組合せ情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する画像解釈機能と、をコンピュータに実現させるためのプログラムが提供される。

上記のプログラムにより、コンピュータに実現される登録画像情報記録機能は、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する機能である。また、上記の画像取得機能は、意味を解釈する対象となる入力画像を取得する機能である。上記のオブジェクト画像抽出機能は、入力画像を走査して特徴点を検出し、入力画像に含まれる複数の登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出する機能である。上記の組合せ情報取得機能は、抽出された一のオブジェクト画像と、抽出された他のオブジェクト画像との間の相対関係を示す組合せ情報を取得する機能である。上記の組合せ規則情報記録機能は、オブジェクト画像間の相対関係に対応付けて、入力画像に付加的な意味を追加するための文法規則を組合せ規則データベースに登録する機能である。上記の画像解釈機能は、組合せ情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する機能である。かかる構成により、オブジェクト画像の組合せに応じて、入力画像の意味を解釈することが可能になり、入力画像により複雑な意味を持たせることができる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する登録画像情報記録機能と、
意味を解釈する対象となる入力画像を取得する画像取得機能と、
入力画像を走査して特徴点を検出し、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出機能と、
抽出されたオブジェクト画像の欠損領域に関する欠損情報を検出する欠損情報取得機能と、
オブジェクト画像の欠損割合に対応付けて、入力画像に付加的な意味を追加するための文法規則を組合せ規則データベースに登録する欠損規則情報記録機能と、
欠損情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する画像解釈機能と、
をコンピュータに実現させるためのプログラムが提供される。

上記のプログラムにより、コンピュータに実現される登録画像情報記録機能は、一の目的物を表現したオブジェクト画像と、オブジェクト画像の種類を特定可能な特徴点と、オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する機能である。また、上記の画像取得機能は、意味を解釈する対象となる入力画像を取得する機能である。上記のオブジェクト画像抽出機能は、入力画像を走査して特徴点を検出し、入力画像に含まれる登録されたオブジェクト画像と、オブジェクト画像に対応付けられた意味情報とを抽出する機能である。上記の欠損情報取得機能は、抽出されたオブジェクト画像の欠損領域に関する欠損情報を検出する機能である。上記の欠損規則情報記録機能は、オブジェクト画像の欠損割合に対応付けて、入力画像に付加的な意味を追加するための文法規則を組合せ規則データベースに登録する機能である。上記の画像解釈機能は、欠損情報に基づいて文法規則を抽出し、オブジェクト画像の意味情報と文法規則とに基づいて、入力画像の意味を解釈する機能である。かかる構成により、オブジェクト画像の欠損情報に基づいて入力画像の意味を解釈することが可能になり、入力画像により複雑な意味を持たせることができる。

以上説明したように本発明によれば、入力画像に含まれるオブジェクト画像の配置や組合せに応じて、入力画像の意味を解釈することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜第１実施形態＞
まず、本発明の第１実施形態に係る画像解釈装置、及び画像解釈方法について説明する。

［画像解釈装置の構成］
まず、当該第１実施形態に係る画像解釈装置の構成について、図１を参照しながら、詳細に説明する。

本発明の第１実施形態に係る画像解釈装置は、主に、登録部１００と、画像検索部１２０と、画像解釈部１４０と、後段処理部１６０と、により構成される。なお、図中には明示していないが、以下に示す各部の機能は、コンピュータに備えられた記憶装置及びＣＰＵ等のハードウェアにより実現されてもよい。

（登録部１００）
まず、登録部１００について説明する。
登録部１００は、主として、登録画像入力部１０２と、特徴点抽出部１０４と、属性入力部１０６と、登録画像情報記録部１０８と、により構成される。登録部１００は、利用者が入力した画像を解釈する際に必要となるオブジェクト画像の画像データと、当該オブジェクト画像に対応付けされた各種情報とを登録するための手段である。

ここで、オブジェクト画像とは、例えば、単一の対象物を表現した画像であってもよく、より具体的には、単一の物体や風景を表した画像であってもよい。もちろん、当該オブジェクト画像は、単一の文字や一続きの文字列であってもよく、さらには、共通した抽象的又は概念的特長を有する画像集合体であってもよい。また、上記の各種情報とは、例えば、登録するオブジェクト画像の意味、形状、色彩、名称、又はその他の情報であってもよい。もちろん、利用者は、当該画像解釈装置の利用形態に応じて、種々の情報を登録することが可能であるため、登録するオブジェクト画像に表現された対象物と直接的又は間接的に関連しない情報を意図的に関連付けて登録してもよい。

次に、登録画像入力部１０２について説明する。
登録画像入力部１０２は、登録すべきオブジェクト画像を入力する手段である。例えば、登録画像入力部１０２は、キーボード、マウス、タッチペン、画像スキャナ、デジタルカメラ、又はその他の入力手段であってもよく、さらには、これらの入力手段と連携して動作する画像処理用のプログラム、又は描画用のプログラム等であってもよい。また、登録画像入力部１０２は、ネットワークに接続されたデータベースサーバ等（図示せず）から、自動又は手動でオブジェクト画像をダウンロードする装置又はプログラムであってもよい。

次に、特徴点抽出部１０４について説明する。
特徴点抽出部１０４は、登録画像入力部１０２により入力されたオブジェクト画像から、エッジフィルタなどを用いて特徴点を抽出する。例えば、特徴点抽出部１０４は、オブジェクト画像の明度や色階調度等を走査し、当該オブジェクト画像の特徴的なハイライト部分や輪郭部分等を検出する。特徴点が検出されると、特徴点抽出部１０４は、オブジェクト画像から抽出された特徴点を、当該オブジェクト画像と共に、後述する登録画像情報記録部１０８に伝送する。

次に、属性入力部１０６について説明する。
属性入力部１０６は、登録画像入力部１０２により入力されたオブジェクト画像に関連付けて登録する当該オブジェクト画像の属性を入力する入力手段である。例えば、属性入力部１０６は、キーボード、又はマウス等であってもよく、さらには、これらの入力手段と連携して動作する情報処理用のプログラム等であってもよい。そして、属性入力部１０６は、入力された属性情報を登録画像情報記録部１０８に伝送する。なお、当該属性情報とは、例えば、オブジェクト画像が表現する対象物の意味、形状、色彩、名称、又はその他の情報であってもよい。当該その他の情報には、登録するオブジェクト画像に表現された対象物と直接的又は間接的に関連しない情報が含まれていてもよい。例えば、オブジェクト画像とは関係のない人物の氏名、金額等の数値情報、地名等であってもよく、当該画像解釈装置の利用形態に応じた自由な属性情報を入力することが可能である。また、属性入力部１０６は、ネットワークに接続されたデータベースサーバ等（図示せず）から、自動又は手動でオブジェクト画像に関連する属性情報をダウンロードする装置又はプログラム等であってもよい。

次に、登録画像情報記録部１０８について説明する。
登録画像情報記録部１０８は、オブジェクトデータベース１１０を有し、登録画像入力部１０２により入力されたオブジェクト画像と、特徴点抽出部１０４により抽出された当該オブジェクト画像の特徴点と、属性入力部１０６により入力された当該オブジェクト画像の属性情報と、をオブジェクトデータベース１１０に登録する。登録画像情報記録部１０８は、上記のオブジェクト画像、特徴点、及び属性情報を含む種々の情報を相互に関連付けて、オブジェクトデータベース１１０に登録することが可能であり、当該種々の情報に含まれる一又は複数の情報をキー情報として、関連する他の情報を抽出することができる。なお、登録画像情報記録部１０８は、ここでは、登録部１００に含まれるものとして説明したが、後述する画像検索部１２０からも参照することが可能であり、画像検索部１２０に属するものと考えてもよい。

（画像検索部１２０）
次に、画像検索部１２０について説明する。
画像検索部１２０は、主に、画像取得部１２２と、特徴点抽出部１２４と、特徴比較部１２６と、構成要素情報記録部１２８と、により構成される。また、上記のように、登録画像情報記録部１０８を構成要素として含めてもよい。画像検索部１２０は、入力画像の中から、オブジェクトデータベース１１０に登録されたオブジェクト画像を検索する。

ここで、画像取得部１２２について説明する。
画像取得部１２２は、利用者が解釈を求める画像を入力する入力手段である。画像取得部１２２は、例えば、キーボード、マウス、タッチペン、画像スキャナ、デジタルカメラ、又はその他の入力手段であってもよく、さらには、これらの入力手段と連携して動作する画像処理用のプログラム、又は描画用のプログラム等であってもよい。なお、上記の「利用者が解釈を求める画像」のことを、以下では、入力画像と称することにする。当該入力画像は、一又は複数のオブジェクト画像を含む任意の画像であり、例えば、イラスト、写真、文字、図形、又は図表等であってもよい。

次に、特徴点抽出部１２４について説明する。
特徴点抽出部１２４は、画像取得部１２２により入力された入力画像から、エッジフィルタ等により特徴点を抽出する。例えば、特徴点抽出部１２４は、オブジェクト画像の明度や色階調等を走査し、当該入力画像の特徴的なハイライト部分や輪郭部分等を検出することができる。特徴点が検出されると、特徴点抽出部１２４は、入力画像から抽出された特徴点を、当該入力画像と共に、後述する特徴比較部１２６に伝送する。

次に、特徴比較部１２６について説明する。
特徴比較部１２６は、入力画像の特徴点と同一又は類似の特徴点を有するオブジェクト画像をオブジェクトデータベース１１０から抽出する。上記のように、オブジェクトデータベース１１０には、一又は複数のオブジェクト画像と、各オブジェクト画像の特徴点とが登録されており、特徴比較部１２６は、当該オブジェクト画像の特徴点と同一又は類似の特徴点を、入力画像の特徴点の中から検出する。さらに、特徴比較部１２６は、当該オブジェクト画像の検出の際に得られた検出情報を構成要素情報記録部１２８に伝送する。当該検出情報は、例えば、入力画像に含まれるオブジェクト画像が検出された検出位置、当該オブジェクト画像のサイズ、当該オブジェクト画像と登録されているオブジェクト画像との一致率等を含んでいてもよい。つまり、特徴比較部１２６は、オブジェクト画像抽出部、及び配置情報取得部の一例である。

次に、構成要素情報記録部１２８について説明する。
構成要素情報記録部１２８は、構成要素データベース１３０を有し、特徴比較部１２６により検出されたオブジェクト画像と、当該オブジェクト画像に関連付けられた属性情報と、検出の際に得られた検出情報と、を構成要素データベース１３０に登録する。その際、構成要素情報記録部１２８は、オブジェクトデータベース１１０を参照し、検出されたオブジェクト画像毎に、属性情報を抽出する。なお、構成要素情報記録部１２８は、オブジェクト画像、属性情報、検出情報、又はその他の情報を相互に関連付けて登録し、各情報をキー情報として、他の情報を抽出することが可能なように、構成要素データベース１３０に登録する。

（画像解釈部１４０）
次に、画像解釈部１４０について説明する。
画像解釈部１４０は、主に、文法規則入力部１４２と、配置規則情報記録部１４４と、画像情報解釈部１４８と、により構成される。画像解釈部１４０は、画像検索部１２０により抽出された入力画像に係る情報に基づいて、予め設定した文法規則に従って、入力画像が表現する意味を解釈する。

ここで、文法規則入力部１４２について説明する。
文法規則入力部１４２は、入力画像に含まれるオブジェクト画像の形態に対して付与される意味情報を入力する入力手段である。特に、第１実施形態においては、オブジェクト画像の配置に意味付けすることを特徴とするため、文法規則入力部１４２は、入力画像中のオブジェクト画像の配置に対応させる意味情報を入力するための入力手段である。文法規則入力部１４２は、例えば、キーボード、又はマウス等により構成されていてもよいし、ネットワークに接続されたデータベースサーバ等（図示せず）から、自動又は手動で、配置情報とそれに関連付けられた意味情報とをダウンロード可能な装置又はプログラムであってもよい。

なお、上記の配置情報とは、例えば、入力画像中のオブジェクト画像の位置（上下、左右等）、オブジェクト画像の大きさ（大小、入力画像に占める面積比率等）、回転角度（傾き）、又は縦横比率等であってもよい。また、上記の意味情報とは、例えば、「オブジェクトデータベース１１０に登録された属性情報の何れを選択するか（項目の選択）」、「重要度はどのくらいか」、「満足度はどのくらいか」等の情報であってもよい。このように、入力画像に対するオブジェクト画像の相対的な態様に応じた意味情報を規定する規則のことを、ここでは文法規則と呼ぶことにする。当該文法規則が入力されると、文法規則入力部１４２は、入力された文法規則を配置規則情報記録部１４４に伝送する。

次に、配置規則情報記録部１４４について説明する。
配置規則情報記録部１４４は、配置規則データベース１４６を有し、文法規則入力部１４２により入力された文法規則を配置規則データベース１４６に登録する。その際、配置規則情報記録部１４４は、オブジェクト画像の配置情報と、当該オブジェクト画像に対応する意味情報とを、相互に関連付けて、配置規則データベース１４６に登録する。

次に、画像情報解釈部１４８について説明する。
画像情報解釈部１４８は、構成要素データベース１３０と、配置規則データベース１４６と、を参照し、入力画像に含まれるオブジェクト画像の配置情報等から、当該入力画像の意味情報を解釈することができる。既に述べたように、構成要素データベース１３０には、主に、入力画像に含まれるオブジェクト画像と、当該オブジェクト画像の属性情報及び検出情報と、が登録されている。一方、配置規則データベース１４６には、オブジェクト画像の配置情報と、当該配置情報に関連付けされた意味情報と、が登録されている。そこで、画像情報解釈部１４８は、オブジェクト画像の検出情報と配置情報とを照合し、当該オブジェクト画像に対応する意味情報を抽出する。さらに、画像情報解釈部１４８は、当該抽出された意味情報に基づいて、当該オブジェクト画像の属性情報の中から、所望の情報を抽出することができる。もちろん、当該オブジェクト画像に複数の配置情報が該当した場合、画像情報解釈部１４８は、それぞれに対応する意味情報に基づいて、属性情報に含まれる複数の情報を抽出し、当該複数の情報の組合せにより解釈結果を取得する。また、解釈結果が得られた後、画像情報解釈部１４８は、当該解釈結果を後段処理部１６０に伝送する。

（後段処理部１６０）
次に、後段処理部１６０について説明する。
後段処理部１６０は、画像情報解釈部１４８により出力された解釈結果を出力する出力手段であってもよいし、当該解釈結果を保存する記憶手段であってもよい。当該出力手段としては、例えば、ディスプレイ装置、又は音声出力装置等であってもよい。また、記憶手段としては、例えば、磁気記憶装置、又は光記憶装置等であってもよい。

以上、本発明の第１実施形態に係る画像解釈装置の構成について、図１を参照しながら、詳細に説明した。以下では、さらに、当該画像解釈装置を利用した画像解釈方法の詳細について、登録過程と、解釈過程と、に分けて説明する。

［画像解釈方法］
ここでは、本発明の第１実施形態に係る画像解釈方法について、オブジェクト画像の登録過程と、配置規則の登録過程と、入力画像の解釈過程と、について、図面を参照しながら詳細に説明する。

（オブジェクト画像の登録過程）
まず、第１実施形態に係る画像処理方法のうち、登録過程について、図２を参照しながら詳細に説明する。図２は、当該登録過程の流れを示すフローチャートである。

まず、利用者は、デジタルカメラや画像作成ツール等（登録画像入力部１０２）を用いて作成したオブジェクト画像を入力する（Ｓ１０２）。当該オブジェクト画像は、例えば、写真、イラスト、図形、ロゴ、又は手書きの絵等であってもよい。

オブジェクト画像が入力されると、特徴点抽出部１０４は、画像処理フィルタ等を用いて、当該オブジェクト画像に特有の特徴点を抽出する（Ｓ１０４）。当該特徴点としては、例えば、エッジ強度、又はエッジ位置等であってもよい。また、画像処理フィルタは、例えば、ウェーブレットフィルタ等を用いることが可能である。

次に、利用者は、属性入力部１０６を通じて、当該オブジェクト情報に関連付ける属性情報を入力する（Ｓ１０６）。当該属性情報としては、例えば、そのオブジェクト画像の意味、形状、色彩、又は名称等であってもよい。

オブジェクト画像とその属性情報とが入力されると、当該オブジェクト画像と、抽出された特徴点と、入力された属性情報とは、相互に関連付けられて、登録画像情報記録部１０８が備えるオブジェクトデータベース１１０に登録される（Ｓ１０８）。

以上の登録過程により、利用者は、画像解釈に利用したいオブジェクト画像と、当該オブジェクト画像の属性情報とをオブジェクトデータベース１１０に登録することが可能になり、画像解釈の際に、オブジェクトデータベース１１０を参照することによって、オブジェクト画像に関連付けられた情報を抽出することができる。

ここで、オブジェクトデータベース１１０の具体的な構成例について、図４を参照しながら簡単に説明する。図４は、オブジェクトデータベース１１０の具体例を示す説明図である。なお、図４には、各要素がＩＤ（指標）をインデックスとする表形式で記載されているが、形式は必ずしもこれに限定されるものではなく、一のインデックスに対して各要素が相互に連関して構成されていれば任意の形態を取りうる。

図４に示すオブジェクトデータベース１１０は、ＩＤと、種類と、作成者と、特徴量と、オブジェクト画像と、を項目情報とするデータ構造を有している。

ＩＤ欄には、各オブジェクト画像に対して一意に決められたインデックスが記載される。当該インデックスは、オブジェクト画像が登録される際、順次割り当てられる指標である。種類欄は、オブジェクト画像が具体的に示す対象物の種類が記載される。例えば、種類欄には、オブジェクト画像が示す対象物の名称だけでなく、その分類種別（動産、不動産、船舶、自動車、飛行機、動物、植物、両生類、爬虫類、霊長類、サル目、ニホンザル属、オナガザル科、ヒト科など）が記載されていてもよい。作成者欄は、そのオブジェクト画像が付記された画像の作成者名が記載される。言い換えると、作成者欄には、オブジェクト画像毎に割り当てられた人物の名前が記載されていることになる。特徴量欄には、特徴点抽出部１０４により抽出された特徴点を数値化したデータ（特徴量）が記載されている。つまり、当該特徴量は、画像データであるオブジェクト画像を特定するために定量化された数値データである。オブジェクト画像欄には、入力されたオブジェクト画像が画像データとして添付される。

例えば、ＩＤが００１の欄を参照すると、オブジェクト画像として「カエルの絵」が登録されている。種類欄には、「カエル」が登録され、作成者欄には、「田中」が登録され、特徴量には、「０１０１００１１１０」という数値データが登録されている。これらのデータは相互に関係付けられており、利用者は、一又は複数のデータをキー情報として、他のデータを検索することが可能である。従って、特徴量に基づいてオブジェクト画像を抽出することも可能であるし、オブジェクト画像から作成者を特定することもできる。

（配置規則の登録過程）
次に、配置規則の登録過程について、図５及び６を参照しながら、具体的に説明する。図５は、オブジェクト画像の配置規則の具体例を示した説明図である。また、図６は、配置規則データベース１４６のデータ構成を示す説明図である。

まず、図５を参照しながら配置規則について説明する。ここで言う配置規則とは、入力画像に対するオブジェクト画像の相対関係を意味する。例えば、配置規則は、入力画像に対するオブジェクト画像の相対的な大きさ、入力画像の中心を基準としたオブジェクト画像の位置、入力画像に対するオブジェクト画像の回転角等である。もちろん、配置規則のバリエーションは、これに限定されるものではなく、入力画像に対するオブジェクト画像の相対関係を定量的に表現可能な規則であれば、任意に選択可能である。また、上記に示した各配置規則を相互に組み合わせることも可能である。例えば、配置規則として、「左上に配置された大きいオブジェクト画像」という表現も可能である。

図５の符号１７２、１７４、１７６は、入力画像の中心を基準としたオブジェクト画像の位置について、具体的な３通りのバリエーションを示した説明図である。なお、枠線は、一の入力画像の外枠を示す。符号１７２は、オブジェクト画像（カエル）が左上に位置し、符号１７４は、オブジェクト画像が中心、符号１７６は、オブジェクト画像が右下に位置する様子を示している。もちろん、オブジェクト画像の位置認識は、上下左右といった大まかな分類に限られず、入力画像の中心又は角点等を基準とした位置座標により行われてもよい。

また、図５の符号１８２、１８４は、入力画像に対するオブジェクト画像の相対的な大きさについて、具体的な２通りのバリエーションを示した説明図である。符号１８２は、入力画像の半分以下の面積に収まり、小さい画像として認識可能である。一方、符号１８４は、入力画像の半分以上の面積を占め、大きい画像として認識することができる。もちろん、大小関係の判断は、入力画像に含まれる他のオブジェクト画像等を基準として行われてもよいし、入力画像とは無関係の所定の基準により行われてもよい。

さらに、図５の符号１９２、１９４は、入力画像に対するオブジェクト画像の回転角について、具体的な２通りのバリエーションを示した説明図である。符号１９２は、入力画像の水平線に対して９０度の左回転をした画像として認識されうる。また、符号１９４は、入力画像の水平線に対して１８０度の回転をした画像として認識される。もちろん、回転の基準は、上記のように入力画像の水平線を基準として考えてもよいし、入力画像に含まれる他のオブジェクト画像を基準として考えてもよい。

上記のように、配置規則とは、入力画像とオブジェクト画像との相対関係である。また、配置情報とは、入力画像に対するオブジェクト画像の位置情報、サイズ情報、回転情報等を含む情報である。言い換えれば、配置情報は、入力画像とオブジェクト画像との相対関係を明確に規定することが可能な分類情報である。

次に、図６を参照しながら、配置規則データベース１４６のデータ構造について説明し、各配置情報に関係付ける文法規則について詳細に述べる。

図６の配置規則データベース１４６は、配置欄と、文法規則欄と、を有する。配置欄には、上記の配置規則が記載されており、図６に示す例では、「左上領域」、「右下領域」、「大きさ」、「傾き」が項目として挙げられている。既に述べたように、これらは、入力画像に対するオブジェクト画像の配置情報を示しており、各配置情報に対して文法規則が割り当てられる。次に、文法規則欄を参照すると、「作成者」、「日付」、「重要度」、「満足度」が内容として挙げられている。これらの内容は、文法規則の一例であり、当該画像解釈装置の利用形態に応じて、適宜、設定可能な情報である。

ここで、配置情報が「左上領域」、文法規則が「作成者」の行を例に挙げ、さらに具体的に説明する。この行にある記載は、オブジェクト画像が「左上領域」にある場合、文法規則「作成者」を適用するということを意味する。つまり、画像情報解釈部１４８は、構成要素データベース１３０を参照し、あるオブジェクト画像が入力画像の左上領域にあることを認識すると、配置規則データベース１４６の当該配置情報「左上領域」に対応する文法規則「作成者」をキー情報として取得する。図６には、キーワードを用いた概念的記載しかしていないが、画像情報解釈部１４８は、文法規則「作成者」という情報を取得すると、構成要素データベース１３０の「作成者」欄に対応する情報を取得することができるのである。

このように、同じオブジェクト画像であっても、その位置や大きさ等に応じて、種々の意味付けをすることが可能になる。この意味付けにより、入力画像の解釈処理、又は解釈処理の後段で実行される後段処理に幅を持たせることが可能になる。以下、より詳細に入力画像の解釈過程について説明する。

（入力画像の解釈過程）
次に、第１実施形態に係る画像処理方法のうち、解釈過程について、図３を参照しながら詳細に説明する。図３は、当該解釈過程の流れを示すフローチャートである。

まず、利用者は、画像取得部１２２を通じて、解釈したい画像（以下、入力画像）を画像解釈装置に入力する（Ｓ１１２）。当該入力画像は、画像取得部１２２から特徴点抽出部１２４に伝送され、画像取得部１２２により、特徴点が抽出される（Ｓ１１４）。当該特徴点の情報は、特徴比較部１２６に伝送され、オブジェクトデータベース１１０に登録されたオブジェクト画像の特徴点と比較される。そして、特徴比較部１２６は、入力画像に含まれるオブジェクト画像を検出する（Ｓ１１６）。その際、特徴比較部１２６は、各オブジェクト画像の位置、大きさ、一致度等の配置情報を検出する。さらに、特徴比較部１２６は、オブジェクトデータベース１１０を参照し、検出されたオブジェクト画像に関連付けられた属性情報等を抽出した後、当該属性情報、及び配置情報等を構成要素情報記録部１２８に伝送する。構成要素情報記録部１２８は、受信した当該属性情報、及び配置情報等を構成要素データベース１３０に登録する（Ｓ１１８、Ｓ１２０）。

構成要素データベース１３０に対する各種情報の登録が完了すると、画像情報解釈部１４８は、配置規則データベース１４６と、構成要素データベース１３０と、を参照しながら、検出されたオブジェクト画像の配置情報等に基づいて、入力画像の意味を解釈する（Ｓ１２２）。このとき、画像情報解釈部１４８は、構成要素データベース１３０に登録された配置情報と、配置規則データベース１４６に登録された文法規則と、を照合し、当該配置情報に対応する意味情報を取得する。そして、画像情報解釈部１４８は、当該意味情報に基づいて、構成要素データベース１３０に登録された情報を抽出することができる。その結果、入力画像に含まれるオブジェクト画像と、当該オブジェクト画像の配置情報とが、恰も言語表現における語句と文法とであるかのような関係を成す。

入力画像の意味が解釈されると、画像情報解釈部１４８は、後段処理部１６０を介して、解釈結果を出力する（Ｓ１２４）。例えば、ディスプレイ等の表示手段に解釈結果を表示してもよいし、プリンタ等の印刷手段によって、解釈結果を印刷媒体に出力してもよい。もちろん、電子データとして磁気記憶媒体等に解釈結果を保存してもよい。

ここで、図７に示した具体例を参照しながら、上記の解釈過程について、さらに説明を加える。もちろん、図７は上記の解釈過程を説明するために示す一例であり、登録される属性情報、配置規則、又は文法規則等に応じて、種々の構成が可能であることは言うまでもない。図７は、上記の解釈過程を具体的に例示した説明図である。なお、図７の説明図は、図４に示したオブジェクトデータベース１１０と、図６に示した配置規則データベース１４６と、に基づいている。

図７を参照すると、第１実施形態に係る画像解釈方法を適用する入力画像として、種類「カエル」を示すオブジェクト画像が「左上領域」に描画された出張報告書２０２が例示されている。

画像解釈装置は、画像取得部１２２を通じて、入力画像である出張報告書２０２を取得し、特徴点抽出部１２４に伝送する。そして、特徴点抽出部１２４は、取得した出張報告書２０２の画像から特徴点を抽出し、特徴点を数値化した特徴量を特徴比較部１２６に伝送する。特徴比較部１２６は、オブジェクトデータベース１１０に登録されている特徴量と、伝送された特徴量とを比較し、種類「カエル」のオブジェクト画像が出張報告書２０２に含まれることを認識する。さらに、特徴比較部１２６は、種類「カエル」のオブジェクト画像の位置、大きさ、及び傾きを示す配置情報を検出する。その後、特徴比較部１２６は、種類「カエル」のオブジェクト画像と、検出した配置情報と、を構成要素データベース１３０に伝送する。構成要素情報記録部１２８は、特徴比較部１２６から伝送された種類「カエル」のオブジェクト画像と、検出された配置情報と、これらの情報に基づいてオブジェクトデータベース１１０から抽出された属性情報とを構成要素データベース１３０に登録する。

この時点で、構成要素データベース１３０には、出張報告書２０２に含まれるオブジェクト画像の属性情報として、少なくとも、種類「カエル」、作成者「田中」が登録され、配置情報として、少なくとも、配置「左上領域」、大きさ「普通」が登録されている。

構成要素データベース１３０の登録処理が完了すると、画像情報解釈部１４８は、配置情報に基づいて、配置規則データベース１４６（図６を参照）から、文法規則を抽出する。この場合、配置「左上領域」を基に、文法規則「作成者」が抽出され、配置「大きさ」を基に、文法規則「重要度」が抽出される。

画像情報解釈部１４８は、構成要素データベース１３０を参照し、文法規則「作成者」に基づいて、作成者が「田中」であることを解釈する。また、画像情報解釈部１４８は、配置「大きさ」が「普通」であることから、出張報告書２０２の「重要度」が「中」であることを解釈する。結果として、画像情報解釈部１４８は、オブジェクト画像の配置情報に基づいて、出張報告書２０２の作成者が「田中」であることと、出張報告書２０２の重要度が「中」であることを解釈出来たことになる。この解釈結果２０４は、後段処理部１６０に伝送され、例えば、ディスプレイ等に出力される。図７では、解釈結果として、作成者のみを出力するように構成したが、重要度を表示することも可能である。

以上、第１実施形態に係る画像解釈装置、及び画像解釈方法について説明した。第１実施形態を適用すれば、オブジェクト画像の配置に意味を持たせることによって、１枚の入力画像に１つのオブジェクト画像しか含まない場合であっても、異なる意味を表現することが可能になり、画像解釈の幅を広げることができるようになる。また、画像解釈の結果に応じて、後段の処理を変えることも可能になる。

＜第２実施形態＞
次に、本発明の第２実施形態に係る画像解釈装置、及び画像解釈方法について説明する。ただし、上記の第１実施形態と同一の構成要素については、同一の符号を付することにより説明を省略し、相違する点についてのみ詳述することにする。

［画像解釈装置の構成］
まず、第２実施形態に係る画像解釈装置の構成について、図８を参照しながら詳細に説明する。図８は、当該画像解釈装置が備える画像解釈部１４０の構成を示したブロック図である。なお、当該画像解釈装置は、第１実施形態に係る画像解釈装置と同様に、登録部１００と、画像検索部１２０と、後段処理部１６０と、を備える。また、各部の構成は、第１実施形態と同様であるから、ここでは詳細な説明を省略する。

（画像解釈部１４０）
そこで、画像解釈部１４０について説明する。
図８を参照すると、画像解釈部１４０は、文法規則入力部１４２と、組合せ規則情報記録部２１２と、画像情報解釈部１４８と、を備える。

まず、文法規則入力部１４２について説明する。
文法規則入力部１４２は、入力画像に含まれるオブジェクト画像の形態に対して付与される意味情報を入力する入力手段である。特に、第２実施形態においては、オブジェクト画像の組合せに意味付けすることを特徴とするため、文法規則入力部１４２は、入力画像中のオブジェクト画像の組合せに対応させる意味情報を入力するための入力手段である。文法規則入力部１４２は、例えば、キーボード、又はマウス等により構成されていてもよいし、ネットワークに接続されたデータベースサーバ等（図示せず）から、自動又は手動で、組合せ情報とそれに関連付けられた意味情報とをダウンロード可能な装置又はプログラムであってもよい。

なお、上記の組合せ情報とは、入力画像中に含まれる複数のオブジェクト画像の相対的な位置関係を示す組合せ情報であり、例えば、入力画像中のより上方に位置するか下方に位置するかを示す「上下関係情報」、複数のオブジェクト画像が重なっているか否かを示す「重なり情報」、重なったオブジェクト画像の前景なのか背景なのかを示す「前背景情報」、又はオブジェクト画像の相対的な大小関係を示す「大小関係情報」であってもよい。このように、複数のオブジェクト画像の相対的な態様に応じた意味情報を規定する規則のことを、ここでは文法規則と呼ぶことにする。当該文法規則が入力されると、文法規則入力部１４２は、入力された文法規則を組合せ規則情報記録部２１２に伝送する。

ここで、図９を参照しながら、上記の組合せ情報について具体的に説明する。図９は、オブジェクト画像の組合せ例を示した説明図である。

図９の符号２２２、２２４は、オブジェクト画像の上下関係を示した説明図である。一見して理解されるように、符号２２２は、入力画像の左側領域にオブジェクト画像「カエル」が位置し、右側領域にオブジェクト画像「蝶」が位置するケースを示している。一方、符号２２４は、入力画像の上方領域にオブジェクト画像「カエル」が位置し、下方領域にオブジェクト画像「蝶」が位置するケースを示している。オブジェクト画像の位置関係は、あくまでも相対関係であり、例えば、各オブジェクト画像の中心位置を示す位置座標に基づいて判断されてもよい。また、符号２２２、２２４に示すような明確な左／右、上／下の関係のみならず、例えば、左上／右下、左下／右上等の関係を当該組合せ情報としてもよい。さらに、当該組合せ情報は、両オブジェクト画像の中心を結ぶ線分と入力画像の底辺との成す角度に基づく角度情報であってもよい。

図９の符号２３２は、オブジェクト画像の大小関係を示した説明図である。容易に理解されるように、符号２３２は、オブジェクト画像「カエル」が、オブジェクト画像「蝶」よりも小さいことを示している。当該大小関係は、例えば、各オブジェクト画像の面積差、又は面積比を基準に判断されてもよい。また、組合せ情報は、当該大小関係と上記の位置関係とをさらに組合せた情報であってもよい。

図９の符号２４２は、オブジェクト画像の重なり関係を示した説明図である。当該組合せ情報は、当該説明図に示すように、複数のオブジェクト画像が重なっているか否かを示す重なり情報であってもよい。また、当該重なり情報は、複数のオブジェクト画像の重なり面積に基づいた重なり面積情報であってもよい。

図９の符号２５２、２５４は、オブジェクト画像の前背景関係を示した説明図である。符号２５２は、オブジェクト画像「カエル」が前景に、オブジェクト画像「蝶」が背景に位置する前背景関係を示している。一方、符号２５４は、オブジェクト画像「カエル」が背景に、オブジェクト画像「蝶」が前景に配置された前背景関係を示している。このように、当該組合せ情報は、オブジェクト画像の前背景関係を表す前背景情報であってもよく、さらには、上記の大小関係情報や上下関係情報を組み合わせた情報であってもよい。

このように、第２実施形態に係る画像解釈装置、又は画像解釈方法は、入力画像に含まれる複数のオブジェクト画像の相互関係を示す組合せ情報に基づいて、後段の処理を変更することが可能なように構成されている。また、当該組合せ情報は、画像検索部１２０が備える特徴比較部１２６により検出され、構成要素データベース１３０に登録されている情報である。つまり、特徴比較部１２６は、オブジェクト画像抽出部、及び組合せ情報取得部の一例である。

再び図８を参照し、組合せ規則情報記録部２１２について説明する。
組合せ規則情報記録部２１２は、組合せ規則データベース２１４を有し、文法規則入力部１４２から入力された組合せ情報を組合せ規則データベース２１４に登録する。その際、組合せ規則情報記録部２１２は、上記の組合せ情報と、文法規則と、を関連付けて、組合せ規則データベース２１４に登録する。

ここで、図１１を参照しながら、組合せ規則データベース２１４のデータ構成について具体的に説明する。図１１は、図９に例示した組合せ情報に対し、文法規則を関連付けて登録された組合せ規則データベース２１４の一例を示す説明図である。なお、オブジェクトデータベース１１０には、例えば、図１０に示すように、種類「夏」「蝶」「住所」「ＡＢＣ電気」のそれぞれに関連付けられた４種類のオブジェクト画像が登録されているものとする。

図１１を参照すると、組合せ欄には、「上下関係」、「重なり関係（１）」、「重なり関係（２）」、及び「大小関係」が登録されており、文法規則欄に記載された各文法規則に関連付けがなされている。例えば、組合せ情報が「上下関係」の場合、「入力画像の上方領域に位置するオブジェクト画像は、修飾語を表し、下方領域に位置するオブジェクト画像は名詞（被修飾語）であると解釈される」という文法規則が関連付けられている。同様に、組合せ情報が「重なり関係（２）」の場合、「背景に位置するオブジェクト画像の種類が、前景に位置するオブジェクト画像の項目名を表すと解釈する」という文法規則が関連付けられている。より具体的には、前景に種類「蝶」のオブジェクト画像が位置し、背景に種類「住所」のオブジェクト画像が位置していたならば、組合せ情報「重なり関係（２）」により、種類「蝶」の住所「尾瀬」が抽出されることになる。

［画像解釈方法］
次に、図１２〜１４を参照しながら、画像情報解釈部１４８による入力画像の解釈方法について具体的に説明する。

まず、図１２を参照すると、入力画像２６２には、種類「蝶」を示すオブジェクト画像と、種類「夏」を示すオブジェクト画像と、が描画されている。従って、入力画像２６２は、画像取得部１２２を介して入力され、特徴点抽出部１２４により、特徴量が抽出される。さらに、特徴比較部１２６は、図１０に示したオブジェクトデータベース１１０に登録された特徴量と当該抽出された特徴量とを比較し、入力画像２６２に含まれる各オブジェクト画像に関する情報を構成要素情報記録部１２８に伝送する。そして、構成要素情報記録部１２８は、種類「蝶」を示すオブジェクト画像と、種類「夏」を示すオブジェクト画像と、これらのオブジェクト画像の相対的な位置関係を示す組合せ情報と、各オブジェクト画像の属性情報と、を構成要素データベース１３０に登録する。

画像情報解釈部１４８は、まず、構成要素データベース１３０から、上記の両オブジェクト画像の重なり関係「重なり有り」を示す重なり情報を認識すると共に、オブジェクト画像「夏」が上方に、オブジェクト画像「蝶」が下方に位置することを示す上下関係情報を認識する。その後、画像情報解釈部１４８は、組合せ規則データベース２１４を参照し、当該重なり情報（「重なり関係（１）」に相当）に基づいて、両オブジェクト画像がグループであると認識する。同様に、画像情報解釈部１４８は、当該上下関係情報に基づいて、「夏」が修飾語であり、「蝶」が名詞であるという言語構成を認識する。結果として、画像情報解釈部１４８は、入力画像２６２の意味を「夏の蝶」と解釈することができる。当該解釈結果は、後段処理部１６０に伝送され、ディスプレイ等に出力される。

次に、図１３を参照すると、入力画像２７２には、種類「住所」を示すオブジェクト画像と、種類「ＡＢＣ電気」を示すオブジェクト画像と、が描画されている。従って、入力画像２７２は、画像取得部１２２を介して入力され、特徴点抽出部１２４により、特徴量が抽出される。さらに、特徴比較部１２６は、図１０に示したオブジェクトデータベース１１０に登録された特徴量と当該抽出された特徴量とを比較し、入力画像２７２に含まれる各オブジェクト画像に関する情報を構成要素情報記録部１２８に伝送する。そして、構成要素情報記録部１２８は、種類「住所」を示すオブジェクト画像と、種類「ＡＢＣ電気」を示すオブジェクト画像と、これらのオブジェクト画像の相対的な位置関係を示す組合せ情報と、各オブジェクト画像の属性情報と、を構成要素データベース１３０に登録する。

画像情報解釈部１４８は、まず、構成要素データベース１３０から、上記の両オブジェクト画像の重なり関係「重なり有り」を示す重なり情報を認識すると共に、オブジェクト画像「ＡＢＣ電気」が前景に、オブジェクト画像「住所」が背景に位置することを示す前背景情報を認識する。その後、画像情報解釈部１４８は、組合せ規則データベース２１４を参照し、当該重なり情報（「重なり関係（１）」に相当）に基づいて、両オブジェクト画像がグループであると認識する。同様に、画像情報解釈部１４８は、当該前背景情報に基づいて、「住所」が項目名であるという検索条件を認識する。結果として、画像情報解釈部１４８は、入力画像２７２の意味をオブジェクト画像「ＡＢＣ電気」の「住所」項目に記載された「虎ノ門」と解釈することができる。当該解釈結果は、後段処理部１６０に伝送され、ディスプレイ等に出力される。

次に、図１４を参照すると、入力画像２８２には、種類「住所」を示す２つのオブジェクト画像と、種類「ＡＢＣ電気」を示すオブジェクト画像と、種類「蝶」を示すオブジェクト画像と、が描画されている。従って、入力画像２８２は、画像取得部１２２を介して入力され、特徴点抽出部１２４により、特徴量が抽出される。さらに、特徴比較部１２６は、図１０に示したオブジェクトデータベース１１０に登録された特徴量と当該抽出された特徴量とを比較し、入力画像２７２に含まれる各オブジェクト画像に関する情報を構成要素情報記録部１２８に伝送する。そして、構成要素情報記録部１２８は、種類「住所」を示すオブジェクト画像と、種類「ＡＢＣ電気」を示すオブジェクト画像と、種類「蝶」を示すオブジェクト画像と、これらのオブジェクト画像の相対的な位置関係を示す組合せ情報と、各オブジェクト画像の属性情報と、を構成要素データベース１３０に登録する。

画像情報解釈部１４８は、まず、構成要素データベース１３０から、種類「住所」を示すオブジェクト画像と、種類「ＡＢＣ電気」を示すオブジェクト画像と、の重なり関係「重なり有り」を示す重なり情報を取得し、グループ画像（１）として認識する。さらに、画像情報解釈部１４８は、構成要素データベース１３０から、種類「住所」を示すオブジェクト画像と、種類「蝶」を示すオブジェクト画像と、の重なり関係「重なり有り」を示す重なり情報を取得し、グループ画像（２）として認識する。同時に、画像情報解釈部１４８は、グループ画像（１）とグループ画像（２）との重なり関係「重なり無し」を示す重なり情報を取得する。さらに、画像情報解釈部１４８は、オブジェクト画像「ＡＢＣ電気」とオブジェクト画像「蝶」とが共に前景に位置し、各オブジェクト画像「住所」が背景に位置することを示す前背景情報を取得する。

これらの情報から、画像情報解釈部１４８は、グループ（１）の意味を「虎ノ門」と解釈し、グループ（２）の意味を「尾瀬」と解釈する。さらに、画像情報解釈部１４８は、グループ（１）とグループ（２）とが非グループであるという認識に基づいて、入力画像２８２の意味を「虎ノ門と尾瀬」と解釈することができる。当該解釈結果は、後段処理部１６０に伝送され、ディスプレイ等に出力される。このように、複数のオブジェクト画像がグループ化して構成されるオブジェクト画像群に対しても、当該文法規則を適用することが可能である。

以上、本発明に係る第２実施形態について詳細に説明した。上述のように、当該第２実施形態を適用することにより、入力画像に含まれた複数のオブジェクト画像の組合せに対して意味付けをすることが可能になり、登録されたオブジェクト画像の組合せ数分の意味情報を１枚の入力画像により表現することができる。従って、一般的な画像解釈装置等は元より、第１実施形態と比較して、より多くのバリエーションを持った解釈結果を得ることができる。さらに、当該解釈結果に基づいた後段処理に対応することが可能になる。

＜第３実施形態＞
次に、本発明の第３実施形態に係る画像解釈装置、及び画像解釈方法について説明する。ただし、上記の第１実施形態、又は第２実施形態と同一の構成要素については、同一の符号を付することにより説明を省略し、相違する点についてのみ詳述することにする。

［画像解釈装置の構成］
まず、第３実施形態に係る画像解釈装置の構成について、図１５を参照しながら詳細に説明する。図１５は、当該画像解釈装置が備える画像解釈部１４０の構成を示したブロック図である。なお、当該画像解釈装置は、第１実施形態に係る画像解釈装置と同様に、登録部１００と、画像検索部１２０と、後段処理部１６０と、を備える。また、画像解釈部１４０を除く各部の構成は、第１実施形態と同様であるから、ここでは詳細な説明を省略する。

図１５を参照すると、第３実施形態に係る画像解釈部１４０は、配置規則情報記録部１４４と、組合せ規則情報記録部２１２と、を同時に備えていることを特徴としている。配置規則情報記録部１４４は、第１実施形態の配置規則情報記録部１４４と同様の構成であり、配置規則データベース１４６を有している。また、組合せ規則情報記録部２１２は、第２実施形態の組合せ規則情報記録部２１２と同様の構成であり、組合せ規則データベース２１４を有している。

配置規則データベース１４６は、第１実施形態と同様、配置情報に関連付けられた文法規則が登録されている。例えば、図１６の符号１４６に示すように、配置情報「左上領域」及び「右下領域」に対して、それぞれ、「送り先を表す」及び「送り元を表す」という文法規則が関連付けられて登録されている。

組合せ規則データベース２１４は、第２実施形態と同様、組合せ情報に関連付けられた文法規則が登録されている。例えば、図１６の符号２１４に示すように、組合せ情報「重なり関係（１）」及び「重なり関係（２）」に対して、それぞれ、「重なり有り＝グループ」及び「前景オブジェクトが、背景オブジェクトの項目名を表す」という文法規則が関連付けられて登録されている。

［画像解釈方法］
そこで、図１７に示した具体例を参照しながら、入力画像２９２の解釈方法について説明する。図１７は、第３実施形態に係る画像解釈方法を示す説明図である。

次に、図１７を参照すると、入力画像２９２には、種類「住所」を示す２つのオブジェクト画像と、種類「ＡＢＣ電気」を示すオブジェクト画像と、種類「蝶」を示すオブジェクト画像と、が描画されている。従って、入力画像２９２は、画像取得部１２２を介して入力され、特徴点抽出部１２４により、特徴量が抽出される。さらに、特徴比較部１２６は、図１０に示したオブジェクトデータベース１１０に登録された特徴量と当該抽出された特徴量とを比較し、入力画像２９２に含まれる各オブジェクト画像に関する情報を構成要素情報記録部１２８に伝送する。そして、構成要素情報記録部１２８は、種類「住所」を示すオブジェクト画像と、種類「ＡＢＣ電気」を示すオブジェクト画像と、種類「蝶」を示すオブジェクト画像と、これらのオブジェクト画像の相対的な位置関係を示す組合せ情報と、各オブジェクト画像の絶対的な位置情報を示す配置情報と、各オブジェクト画像の属性情報と、を構成要素データベース１３０に登録する。

画像情報解釈部１４８は、まず、構成要素データベース１３０から、種類「住所」を示すオブジェクト画像と、種類「ＡＢＣ電気」を示すオブジェクト画像と、の重なり関係「重なり有り」を示す重なり情報を取得し、グループ画像（１）として認識する。さらに、画像情報解釈部１４８は、構成要素データベース１３０から、種類「住所」を示すオブジェクト画像と、種類「蝶」を示すオブジェクト画像と、の重なり関係「重なり有り」を示す重なり情報を取得し、グループ画像（２）として認識する。同時に、画像情報解釈部１４８は、グループ画像（１）とグループ画像（２）との重なり関係「重なり無し」を示す重なり情報を取得する。さらに、画像情報解釈部１４８は、オブジェクト画像「ＡＢＣ電気」とオブジェクト画像「蝶」とが共に前景に位置し、各オブジェクト画像「住所」が背景に位置することを示す前背景情報を取得する。そして、画像情報解釈部１４８は、グループ画像（１）が入力画像２９２の左上領域に位置し、グループ画像（２）が右上領域に位置することを示す配置情報を取得する。

画像情報解釈部１４８は、組合せ規則データベース２１４を参照し、グループ画像（１）の意味を「虎ノ門」と解釈し、グループ画像（２）の意味を「尾瀬」と解釈する。さらに、画像情報解釈部１４８は、グループ画像（１）とグループ画像（２）とが非グループであると解釈する。さらに、画像情報解釈部１４８は、配置規則データベース１４６を参照し、グループ画像（１）の意味である「虎ノ門」を「送り先」であると解釈し、グループ画像（２）の意味である「尾瀬」を送り元であると解釈する。その結果、画像情報解釈部１４８は、入力画像２９２の意味を「尾瀬から虎ノ門へ」と解釈する。当該解釈結果は、後段処理部１６０に伝送され、ディスプレイ等に出力される。

以上、本発明に係る第３実施形態について説明した。このように、第３実施形態によれば、オブジェクト画像の位置情報と組合せ情報とに応じて意味付けをすることが可能になり、上記の第１実施形態、又は第２実施形態と比較して、より多くのバリエーションを有する後段処理に対応することができる。

＜第４実施形態＞
次に、本発明の第４実施形態に係る画像解釈装置、及び画像解釈方法について説明する。ただし、上記の第１実施形態、第２実施形態、又は第３実施形態と同一の構成要素については、同一の符号を付することにより説明を省略し、相違する点についてのみ詳述することにする。

［画像解釈装置の構成］
まず、第４実施形態に係る画像解釈装置の構成について、図１８を参照しながら詳細に説明する。図１８は、当該画像解釈装置が備える画像解釈部１４０の構成を示したブロック図である。なお、当該画像解釈装置は、第１実施形態に係る画像解釈装置と同様に、登録部１００と、画像検索部１２０と、後段処理部１６０と、を備える。また、画像解釈部１４０を除く各部の構成は、第１実施形態と同様であるから、ここでは詳細な説明を省略する。

（画像解釈部１４０）
そこで、画像解釈部１４０について説明する。
図１８を参照すると、画像解釈部１４０は、文法規則入力部１４２と、欠損規則情報記録部３０２と、画像情報解釈部１４８と、を備える。

まず、文法規則入力部１４２について説明する。
文法規則入力部１４２は、入力画像に含まれるオブジェクト画像の形態に対して付与される意味情報を入力する入力手段である。特に、第４実施形態においては、オブジェクト画像の欠損情報に意味付けすることを特徴とするため、文法規則入力部１４２は、入力画像中のオブジェクト画像の欠損情報に対応させる意味情報を入力するための入力手段である。文法規則入力部１４２は、例えば、キーボード、又はマウス等により構成されていてもよい。

なお、上記の欠損情報とは、例えば、オブジェクト画像の一部が黒塗りされた欠損面積、又はオブジェクト画像の面積に対する当該欠損面積の割合を示す欠損面積情報であってもよい。また、欠損面積は、黒以外の色により塗られた面積でもよいし、単にオブジェクト画像の一部又は全部が他の色彩により区別可能に区画された領域の面積を示す欠損面積情報であってもよい。さらに、欠損情報とは、入力画像における欠損領域の位置を表す欠損位置情報であってもよい。

ここで、図１９を参照しながら、上記の欠損情報について具体的に説明する。図１９は、オブジェクト画像の欠損例を示した説明図である。

図１９の符号３１２、３１４、３１６は、上記の欠損位置情報に関する３通りのバリエーションを示した説明図である。図１９を参照すると、欠損領域は、オブジェクト画像の左上領域（符号３１２）、中央領域（符号３１４）、右下領域（符号３１６）に位置するように例示されている。もちろん、欠損領域は、その他の領域に位置することも可能であり、例えば、入力画像又はオブジェクト画像の中心を基準とした位置座標により位置を特定するならば、任意の位置を識別することが可能である。

図１９の符号３２２、３２４は、上記の欠損面積情報に関する２通りのバリエーションを示した説明図である。図１９を参照すると、符号３２２に示す欠損面積は、符号３２４に示す欠損面積よりも小さく描画されている。このように、欠損面積情報は、相対的な欠損面積の大小関係を示す情報であってもよい。また、図１９の符号３２２は、欠損面積がオブジェクト画像の約３０％を占めている図である。一方、図１９の符号３２４は、欠損面積がオブジェクト画像の約８０％を占めている図である。このように、欠損面積情報は、オブジェクト画像の面積に対する欠損領域の面積比率であってもよい。なお、欠損領域は、特徴比較部１２６により検出される登録オブジェクト画像とのマッチングの不一致率により判断されうる。つまり、特徴比較部１２６は、欠損情報取得部の一例である。

（欠損規則データベース３０４）
次に、図２１を参照しながら、欠損規則情報記録部３０２が有する欠損規則データベース３０４の構成について説明する。これに先立ち、第４実施形態に係るオブジェクトデータベース１１０の構成について、図２０を参照しながら、具体的に説明する。

図２０を参照すると、オブジェクトデータベース１１０の一例として、オブジェクト画像「お金」が登録されている。当該オブジェクト画像の属性情報としては、種類「お金」と、量「１００万円」と、特徴量と、が登録されている。ここで、注目すべき項目は、量「１００万円」である。つまり、オブジェクト画像「お金」が全く欠損していない場合には、当該オブジェクト画像は、「１００万円」という量を表すという意味情報が関連付けられているという点である。

上記のオブジェクトデータベース１１０を念頭に置きながら、図２１に示す欠損規則データベース３０４を参照すると、配置情報「欠損量」と、文法規則「損失量」と、が関連付けて登録されている。つまり、欠損規則データベース３０４は、オブジェクト画像の欠損量（例えば、欠損面積等）を当該オブジェクト画像に割り当てられた「量」の損失量として解釈するという文法規則を与えている。

（画像情報解釈部１４８）
画像情報解釈部１４８は、入力画像から抽出されたオブジェクト画像、属性情報、及び配置情報等が登録された構成要素データベース１３０を参照し、さらに、欠損規則データベース３０４を参照して、入力画像の意味を解釈する。

［画像解釈方法］
そこで、図２２に示す具体例を参照しながら、入力画像３３２の解釈方法について説明する。図２２は、第４実施形態に係る画像解釈方法を示す説明図である。

入力画像３３２を参照すると、種類「お金」を示すオブジェクト画像が描画され、当該オブジェクト画像の左下領域の一部が矩形の黒塗り領域により隠蔽されている。また、欠損領域である当該隠蔽された黒塗り領域の面積は、オブジェクト画像の１／４の領域を占める。

画像情報解釈部１４８は、構成要素データベース１３０を参照し、入力画像３３２に種類「お金」を表すオブジェクト画像が含まれ、当該オブジェクト画像が量「１００万円」を意味することを認識する。さらに、画像情報解釈部１４８は、構成要素データベース１３０に登録された配置情報から、当該オブジェクト画像の欠損量が１／４であることを認識する。その後、画像情報解釈部１４８は、欠損規則データベース３０４を参照し、欠損量が「損失量」を意味することを理解し、オブジェクト画像の量「１００万円」の「損失量」が２５万円であると解釈する。その結果、画像情報解釈部１４８は、入力画像３３２の意味を「７５万円」（１００万円のうち、１／４（２５万円）が欠損）であると解釈する。当該解釈結果は、後段処理部１６０に伝送され、ディスプレイ等に出力される。

以上、本発明の第４実施形態に係る画像解釈装置、及び画像解釈方法について詳細に説明した。このように、第４実施形態を適用することによって、オブジェクト画像の欠損状態（隠蔽状態）に意味付けを行うことが可能になり、オブジェクト画像を塗り潰すという単純な作業を行うだけで、入力画像に様々な意味を持たせることができるようになる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、登録部１００が含む特徴点抽出部１０４と、画像検索部１２０が含む特徴点抽出部１２４とは、同一の装置を用いているかのように記載したが、登録オブジェクト画像と異なるサイズや位置に配置されたオブジェクト画像を入力画像から検出するために、それぞれ異なる機能／構成を有する特徴点抽出部であってもよい。

さらに、以上では、デジタル形式のコンテンツを対象としているかのように記載したが、必ずしもこれに限定されるものではなく、アナログ形式のコンテンツ（紙やホワイトボード等に描かれた絵、又は写真等）に対しても適用することが可能である。

本発明の第１実施形態に係る画像解釈装置の構成を示すブロック図である。 第１実施形態に係るオブジェクトデータベースへの登録処理の流れを示すフローチャートである。 第１実施形態に係る画像解釈処理の流れを示すフローチャートである。 第１実施形態に係るオブジェクトデータベースの構成例を示す説明図である。 第１実施形態に係るオブジェクト画像の配置規則を示す説明図である。 第１実施形態に係る配置規則データベースの構成例を示す説明図である。 第１実施形態に係る画像解釈処理の具体例を示す説明図である。 本発明の第２実施形態に係る画像解釈装置の構成を示すブロック図である。 第２実施形態に係るオブジェクト画像の組合せ規則を示す説明図である。 第２実施形態に係るオブジェクトデータベースの構成例を示す説明図である。 第２実施形態に係る組合せ規則データベースの構成例を示す説明図である。 第２実施形態に係る画像解釈処理の具体例を示す説明図である。 第２実施形態に係る画像解釈処理の具体例を示す説明図である。 第２実施形態に係る画像解釈処理の具体例を示す説明図である。 本発明の第３実施形態に係る画像解釈装置の構成を示すブロック図である。 第３実施形態に係る配置規則データベース、及び組合せ規則データベースの構成例を示す説明図である。 第３実施形態に係る画像解釈処理の具体例を示す説明図である。 本発明の第４実施形態に係る画像解釈装置の構成を示すブロック図である。 第４実施形態に係るオブジェクト画像の欠損規則を示す説明図である。 第４実施形態に係るオブジェクトデータベースの構成例を示す説明図である。 第４実施形態に係る欠損規則データベースの構成例を示す説明図である。 第４実施形態に係る画像解釈処理の具体例を示す説明図である。

符号の説明

１００ 登録部
１０２ 登録画像入力部
１０４ 特徴点抽出部
１０６ 属性入力部
１０８ 登録画像情報記録部
１１０ オブジェクトデータベース
１２０ 画像検索部
１２２ 画像取得部
１２４ 特徴点抽出部
１２６ 特徴比較部
１２８ 構成要素情報記録部
１３０ 構成要素データベース
１４０ 画像解釈部
１４２ 文法規則入力部
１４４ 配置規則情報記録部
１４６ 配置規則データベース
１４８ 画像情報解釈部
１６０ 後段処理部
２１２ 組合せ規則情報記録部
２１４ 組合せ規則データベース
３０２ 欠損規則情報記録部
３０４ 欠損規則データベース

Claims (14)

1. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する登録画像情報記録部と；
   意味が解釈される対象となる入力画像を取得する画像取得部と；
   前記入力画像を走査して特徴点を検出し、前記入力画像に含まれる前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出部と；
   前記入力画像と前記オブジェクト画像との間の相対関係を示す配置情報を取得する配置情報取得部と；
   前記入力画像とオブジェクト画像との間の相対関係に対応付けて、前記入力画像に付加的な意味を追加するための文法規則が登録された配置規則データベースを有する配置規則情報記録部と；
   前記配置情報に基づいて前記文法規則を抽出し、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味を解釈する画像解釈部と；
   を備えることを特徴とする、画像解釈装置。
2. 前記配置情報は、
   前記入力画像内における前記各オブジェクト画像の位置を示す位置情報を含み、
   前記文法規則は、
   前記オブジェクト画像に対応付けられた意味情報の中から、前記位置情報に応じて、一の前記意味情報を選択する規則を含み、
   前記画像解釈部は、
   前記文法規則に則って選択された前記オブジェクト画像の意味情報を前記入力画像の意味であると解釈することを特徴とする、請求項１に記載の画像解釈装置。
3. 前記配置情報は、
   前記オブジェクト画像のサイズ又は傾きに関する形態情報を含み、
   前記文法規則は、
   前記形態情報をパラメータとする評価値の算出方法を規定し、
   前記画像解釈部は、
   前記文法規則に則って算出された前記評価値を前記入力画像の意味に付加して解釈することを特徴とする、請求項１又は２に記載の画像解釈装置。
4. 前記オブジェクト画像抽出部により複数の前記オブジェクト画像が抽出された場合、
   さらに、抽出された一の前記オブジェクト画像と、抽出された他の前記オブジェクト画像との間の相対関係を示す組合せ情報を取得する組合せ情報取得部と；
   前記オブジェクト画像間の相対関係に対応付けて、前記入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する組合せ規則情報記録部と；
   を備え、
   前記画像解釈部は、
   前記配置情報と前記組合せ情報とに基づいて前記文法規則を抽出し、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味を解釈することを特徴とする、請求項１〜３の何れかに記載の画像解釈装置。
5. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する登録画像情報記録部と；
   意味が解釈される対象となる入力画像を取得する画像取得部と；
   前記入力画像を走査して特徴点を検出し、前記入力画像に含まれる複数の前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出部と；
   抽出された一の前記オブジェクト画像と、抽出された他の前記オブジェクト画像との間の相対関係を示す組合せ情報を取得する組合せ情報取得部と；
   前記オブジェクト画像間の相対関係に対応付けて、前記入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する組合せ規則情報記録部と；
   前記組合せ情報に基づいて前記文法規則を抽出し、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味を解釈する画像解釈部と；
   を備えることを特徴とする、画像解釈装置。
6. 前記組合せ情報は、
   前記抽出された複数のオブジェクト画像の相対的な位置関係を示す位置情報を含み、
   前記文法規則は、
   前記位置情報に応じて、前記各オブジェクト画像に対応付けられた意味情報の結合関係を規定し、
   前記画像解釈部は、
   前記文法規則に則って結合された前記複数のオブジェクト画像の意味情報を前記入力画像の意味として解釈することを特徴とする、請求項５に記載の画像解釈装置。
7. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて登録されたオブジェクトデータベースを有する登録画像情報記録部と；
   意味が解釈される対象となる入力画像を取得する画像取得部と；
   前記入力画像を走査して特徴点を検出し、前記入力画像に含まれる前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出部と；
   前記抽出されたオブジェクト画像の欠損領域に関する欠損情報を検出する欠損情報取得部と；
   前記オブジェクト画像の欠損割合に対応付けて、前記入力画像に付加的な意味を追加するための文法規則が登録された組合せ規則データベースを有する欠損規則情報記録部と；
   前記欠損情報に基づいて前記文法規則を抽出し、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味を解釈する画像解釈部と；
   を備えることを特徴とする、画像解釈装置。
8. 前記欠損情報は、
   前記オブジェクト画像の面積に対する前記検出された欠損領域の面積比率を示す欠損面積情報を含み、
   前記文法規則は、
   前記面積比率に応じて、前記オブジェクト画像に対応付けられた意味情報に含まれる定量値を変化させる算出方法を規定し、
   前記画像解釈部は、
   前記文法規則に則って算出された前記オブジェクト画像の定量値を前記入力画像の意味として解釈することを特徴とする、請求項７に記載の画像解釈装置。
9. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される登録画像情報記録過程と；
   意味が解釈される対象となる入力画像が取得される画像取得過程と；
   前記入力画像が走査されて特徴点が検出され、前記入力画像に含まれる前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とが抽出されるオブジェクト画像抽出過程と；
   前記入力画像と前記オブジェクト画像との間の相対関係を示す配置情報が取得される配置情報取得過程と；
   前記入力画像とオブジェクト画像との間の相対関係に対応付けられて、前記入力画像に付加的な意味を追加するための文法規則が配置規則データベースに登録される配置規則情報記録過程と；
   前記配置情報に基づいて前記文法規則が抽出され、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味が解釈される画像解釈過程と；
   を含むことを特徴とする、画像解釈方法。
10. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される登録画像情報記録過程と；
    意味が解釈される対象となる入力画像が取得される画像取得過程と；
    前記入力画像が走査されて特徴点が検出され、前記入力画像に含まれる複数の前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とが抽出されるオブジェクト画像抽出過程と；
    抽出された一の前記オブジェクト画像と、抽出された他の前記オブジェクト画像との間の相対関係を示す組合せ情報が取得される組合せ情報取得過程と；
    前記オブジェクト画像間の相対関係に対応付けられて、前記入力画像に付加的な意味を追加するための文法規則が組合せ規則データベースに登録される組合せ規則情報記録過程と；
    前記組合せ情報に基づいて前記文法規則が抽出され、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味が解釈される画像解釈過程と；
    を含むことを特徴とする、画像解釈方法。
11. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、が相互に関連付けられて、オブジェクトデータベースに登録される登録画像情報記録過程と；
    意味が解釈される対象となる入力画像が取得される画像取得過程と；
    前記入力画像が走査されて特徴点が検出され、前記入力画像に含まれる前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とが抽出されるオブジェクト画像抽出過程と；
    前記抽出されたオブジェクト画像の欠損領域に関する欠損情報が検出される欠損情報取得過程と；
    前記オブジェクト画像の欠損割合に対応付けられて、前記入力画像に付加的な意味を追加するための文法規則が組合せ規則データベースに登録される欠損規則情報記録過程と；
    前記欠損情報に基づいて前記文法規則が抽出され、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味が解釈される画像解釈過程と；
    を含むことを特徴とする、画像解釈方法。
12. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する登録画像情報記録機能と；
    意味を解釈する対象となる入力画像を取得する画像取得機能と；
    前記入力画像を走査して特徴点を検出し、前記入力画像に含まれる前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出機能と；
    前記入力画像と前記オブジェクト画像との間の相対関係を示す配置情報を取得する配置情報取得機能と；
    前記入力画像とオブジェクト画像との間の相対関係に対応付けて、前記入力画像に付加的な意味を追加するための文法規則を配置規則データベースに登録する配置規則情報記録機能と；
    前記配置情報に基づいて前記文法規則を抽出し、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味を解釈する画像解釈機能と；
    をコンピュータに実現させるためのプログラム。
13. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する登録画像情報記録機能と；
    意味を解釈する対象となる入力画像を取得する画像取得機能と；
    前記入力画像を走査して特徴点を検出し、前記入力画像に含まれる複数の前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出機能と；
    抽出された一の前記オブジェクト画像と、抽出された他の前記オブジェクト画像との間の相対関係を示す組合せ情報を取得する組合せ情報取得機能と；
    前記オブジェクト画像間の相対関係に対応付けて、前記入力画像に付加的な意味を追加するための文法規則を組合せ規則データベースに登録する組合せ規則情報記録機能と；
    前記組合せ情報に基づいて前記文法規則を抽出し、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味を解釈する画像解釈機能と；
    をコンピュータに実現させるためのプログラム。
14. 一の目的物を表現したオブジェクト画像と、前記オブジェクト画像の種類を特定可能な特徴点と、前記オブジェクト画像に対応付けられた意味情報と、を相互に関連付けて、オブジェクトデータベースに登録する登録画像情報記録機能と；
    意味を解釈する対象となる入力画像を取得する画像取得機能と；
    前記入力画像を走査して特徴点を検出し、前記入力画像に含まれる前記登録されたオブジェクト画像と、前記オブジェクト画像に対応付けられた意味情報とを抽出するオブジェクト画像抽出機能と；
    前記抽出されたオブジェクト画像の欠損領域に関する欠損情報を検出する欠損情報取得機能と；
    前記オブジェクト画像の欠損割合に対応付けて、前記入力画像に付加的な意味を追加するための文法規則を組合せ規則データベースに登録する欠損規則情報記録機能と；
    前記欠損情報に基づいて前記文法規則を抽出し、前記オブジェクト画像の意味情報と前記文法規則とに基づいて、前記入力画像の意味を解釈する画像解釈機能と；
    をコンピュータに実現させるためのプログラム。

Images