JPH10301953A - 画像管理装置、画像検索装置、画像管理方法、画像検索方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 所望の画像をより確実に、かつ効率的に検索
できるようにすることを課題とする。 【解決手段】 画像データベース５に画像データとその
画像データに基づいて形成される画像についての視覚的
印象を示す自然言語データとを関連付けて記憶してお
き、検索部６による検索の際に、自然言語入力部２より
検索文を示す自然言語データを入力し、これを画像デー
タベース５上の自然言語データに照合することで、視覚
的印象が共通する自然言語データに関連した画像データ
を画像データベース５から抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、自然言語を用い
て画像を管理する画像管理装置およびその方法、自然言
語を用いて画像を検索する画像検索装置およびその方
法、ならびに、それらの方法をコンピュータに実行させ
るプログラムを記録したコンピュータ読み取り可能な記
録媒体に関する。

【０００２】

【従来の技術】従来、自然言語を用いて画像を検索する
技術は、特開平４−１８０１７５号公報，同４−２６４
９７２号公報，同６−１７６１２１号公報，同７−３３
４５０７号公報，同８−１３８０７５号公報などにより
提案されている。各公報によれば、入力された自然言語
について形態素解析などの言語解析を行うことでその内
容を解釈し、その内容に適した画像を検索するという技
術が開示されている。

【０００３】この技術において、画像にはその画像の輪
郭などの属性情報が予め関連付けて記憶されており、言
語解析の結果を属性情報に照らし合わせることで所望の
画像を取得することができる。

【０００４】また、上述した公報による技術に限らず、
一般的に画像に関連付けて記憶する属性情報としては、
ファイリングの日時，オペレータの氏名，画像の種別
（写真，絵，文書など）などがあり、ユーザはこれら属
性情報を検索の手がかりとして利用している。

【０００５】

【発明が解決しようとする課題】上記公報のように従来
例による技術は、画像に対して検索キーとなる属性情報
を予め付加しておくので、検索の際に、その属性情報に
関連する自然言語を与えれば、所望の画像を得ることが
できるが、その属性情報がほとんど客観的かつ必要最小
限の情報であることから、ユーザがメモでもしない限り
忘れてしまう虞があった。それゆえ、検索の際に、ユー
ザが検索キーとなる属性情報を忘れてしまったり、記憶
にある属性情報について半信半疑であった場合には、所
望の画像がもつ属性情報から外れた内容の自然言語デー
タを与える可能性が大きくなるので、膨大な画像の中か
ら所望の画像を見つけ出すことは困難であるという問題
があった。

【０００６】この発明は、上述した従来例による問題を
解消するため、属性情報に関係なく所望の画像をアクセ
スしやすい画像管理装置，その方法およびその方法をコ
ンピュータに実行させるプログラムを記録したコンピュ
ータ読み取り可能な記録媒体を得ることを目的とする。

【０００７】また、この発明は、上述した従来例による
問題を解消するため、所望の画像をより確実に、かつ効
率的に検索することが可能な画像検索装置，その方法お
よびその方法をコンピュータに実行させるプログラムを
記録したコンピュータ読み取り可能な記録媒体を得るこ
とを他の目的とする。

【０００８】なお、近似技術として、特開平６−１３１
４０３号公報のように、単語（見出し語）に対して自然
言語，画像情報および音声情報を項目として関連付けて
登録した辞書が開示されているものがあるが、画像の検
索に関して自然言語と画像との関連付けは技術的に開示
されていない。

【０００９】

【課題を解決するための手段】上述した課題を解決し、
目的を達成するため、請求項１の発明に係る画像管理装
置は、画像データをデータベース化して管理する画像管
理装置において、画像データと該画像データに基づいて
形成される画像についての視覚的印象を示す自然言語デ
ータとを関連付けて記憶したことを特徴とする。

【００１０】この請求項１によれば、画像データとその
画像データに基づいて形成される画像の視覚的印象を示
す自然言語データとを関連付けて記憶したので、画像を
視覚的印象がもつ主観的な要素でデータベース化するこ
とが可能である。

【００１１】また、請求項２の発明に係る画像管理装置
は、画像データをデータベース化して管理する画像管理
装置において、画像データとその画像データに基づいて
形成される画像についての視覚的印象を示す自然言語デ
ータとを関連付けて記憶する画像データベースを有し、
画像データベースは、ある視覚的印象を用いてアクセス
され、かつ、ある視覚的印象が自データベース上の自然
言語データで示される視覚的印象の一部であった場合、
ある視覚的印象を含む自然言語データに関連する画像デ
ータを応答することを特徴とする。

【００１２】この請求項２によれば、画像データベース
に画像データとその画像データに基づいて形成される画
像の視覚的印象を示す自然言語データとを関連付けて記
憶しておき、画像データベース上のある視覚的印象の自
然言語データでアクセスが行われた場合にその自然言語
データに関連する画像データを応答するようにしたの
で、属性情報に関係なく視覚的印象すなわち主観的な印
象でのアクセスが可能となり、これによって、所望の画
像をアクセスすることが容易になる。

【００１３】また、請求項３の発明に係る画像管理装置
は、請求項１または２の発明において、さらに、キー操
作，音声認識，画像認識などを通じて自然言語データを
入力する入力手段を有し、入力手段により入力された自
然言語データを画像データに関連付けて記憶することを
特徴とする。

【００１４】この請求項３によれば、画像データに関連
付けて記憶するための自然言語データをキー操作，音声
認識，画像認識などを通じて入力するようにしたので、
画像の客観性にとらわれることなく、各画像に主観性の
ある視覚的情報を与えることが可能である。

【００１５】また、請求項４の発明に係る画像管理装置
は、請求項１〜３のいずれか一つの発明において、画像
データは静止画データ，動画データなどのデータである
ことを特徴とする。

【００１６】この請求項４によれば、画像データを静止
画データ，動画データなどのデータとしたので、画像の
種別に関係なく、各画像に任意の視覚的情報を与えるこ
とが可能である。

【００１７】また、請求項５の発明に係る画像検索装置
は、画像データと画像データに基づいて形成される画像
についての視覚的印象を示す自然言語データとを関連付
けて記憶する画像データベースと、検索文を示す自然言
語データを入力する検索文入力手段と、画像データベー
スに記憶された自然言語データに対して検索文入力手段
により入力された自然言語データを照合し、その照合結
果に応じて視覚的印象が共通する自然言語データに関連
した画像データを画像データベースから抽出する検索手
段と、を備えたことを特徴とする。

【００１８】この請求項５によれば、画像データベース
に画像データとその画像データに基づいて形成される画
像についての視覚的印象を示す自然言語データとを関連
付けて記憶しておき、検索文を示す自然言語データを入
力して画像データベース上の自然言語データに照合する
ことで、視覚的印象が共通する自然言語データに関連し
た画像データを画像データベースから抽出するようにし
たので、画像の属性情報を知らなくても視覚的印象すな
わち主観的な印象だけで画像が検索され、これによっ
て、所望の画像をより確実に、かつ効率的に検索するこ
とが可能である。

【００１９】また、請求項６の発明に係る画像検索装置
は、請求項５の発明において、検索手段は画像データベ
ースに記憶された自然言語データと検索文入力手段によ
り入力された自然言語データとを言語解析してから照合
することを特徴とする。

【００２０】この請求項６によれば、検索の際に、画像
データベースに記憶された自然言語データと入力された
自然言語データとを言語解析してから照合するようにし
たので、視覚的印象の意味に適した精度の高い照合が可
能となる。

【００２１】また、請求項７の発明に係る画像検索装置
は、請求項５または６の発明において、検索手段は照合
結果に応じて類似度の高い方から昇順で複数の画像デー
タを抽出することを特徴とする。

【００２２】この請求項７によれば、検索の際に、照合
結果に応じて類似度の高い方から昇順で複数の画像デー
タを抽出するようにしたので、視覚的印象に近い複数の
画像が候補として挙げられ、これによって、視覚的印象
からでも所望の画像をより効率的に検索することが可能
である。

【００２３】また、請求項８の発明に係る画像検索装置
は、複数の視覚的印象から新しい視覚的印象を導き出す
ための推論を支援する知識データベースと、画像データ
と該画像データに基づいて形成される画像についての複
数の視覚的印象を示す自然言語データとを関連付けて記
憶する画像データベースと、検索文を示す自然言語デー
タを入力する検索文入力手段と、画像データベースに記
憶された各自然言語データについて、知識データベース
を参照しながら、複数の視覚的印象から検索文入力手段
により入力された自然言語データの視覚的印象に相当す
る新しい視覚的印象を導き出す推論手段と、記憶手段に
記憶された自然言語データの内で推論手段により新しい
視覚的印象を導き出せた自然言語データがあった場合に
該自然言語データに関連した画像データを画像データベ
ースから抽出する検索手段と、を備えたことを特徴とす
る。

【００２４】この請求項８によれば、画像データベース
に画像データとその画像データに基づいて形成される画
像についての複数の視覚的印象を示す自然言語データと
を関連付けて記憶しておき、知識データベースを参照し
ながら、画像データベース上のある自然言語データの複
数の視覚的印象から検索文である自然言語データの視覚
的印象に相当する新しい視覚的印象を導き出せた場合に
は、そのある自然言語データに関連した画像データを画
像データベースから抽出するようにしたので、検索の際
に、画像データベース上の視覚的情報を単独で使用した
場合には見逃すような自然言語データであっても確実に
画像の抽出対象として確保することができ、これによっ
て、所望の画像をより確実に、かつ効率的に検索するこ
とが可能である。

【００２５】また、請求項９の発明に係る画像検索装置
は、請求項８の発明において、推論手段は画像データベ
ースに記憶された自然言語データと検索文入力手段によ
り入力された自然言語データとを言語解析してから推論
することを特徴とする。

【００２６】この請求項９によれば、推論の際に、画像
データベースに記憶された自然言語データと入力された
自然言語データとを言語解析してから推論するようにし
たので、視覚的印象の意味に適した精度の高い推論が可
能となる。

【００２７】また、請求項１０の発明に係る画像検索装
置は、請求項５〜９のいずれか一つの発明において、さ
らに、検索手段により抽出された画像データに基づいて
画像表示を行う画像表示手段を有したことを特徴とす
る。

【００２８】この請求項１０によれば、検索により抽出
された画像データに基づいて画像表示を行うようにした
ので、検索結果が視覚的に提示され、これによって、検
索結果の正誤を容易に確認することが可能である。

【００２９】また、請求項１１の発明に係る画像管理方
法は、画像データをデータベース化して管理する画像管
理方法において、画像データと該画像データに基づいて
形成される画像についての視覚的印象を示す自然言語デ
ータとを関連付ける第１工程と、第１工程により関連付
けられた画像データおよび自然言語データを記憶する第
２工程と、を含んだことを特徴とする。

【００３０】この請求項１１によれば、画像データと該
画像データに基づいて形成される画像の視覚的印象を示
す自然言語データとを関連付けてから画像データおよび
自然言語データを記憶する工程にしたので、画像を視覚
的印象がもつ主観的な要素でデータベース化することが
可能である。

【００３１】また、請求項１２の発明に係る画像検索方
法は、検索文を示す自然言語データを入力する第１工程
と、画像データと該画像データに基づいて形成される画
像についての視覚的印象を示す自然言語データとを関連
付けて記憶した画像データベースに記憶された自然言語
データに対して第１工程により入力された自然言語デー
タを照合する第２工程と、第２工程の照合結果に応じて
視覚的印象が共通する自然言語データに関連した画像デ
ータを画像データベースから抽出する第３工程と、を含
んだことを特徴とする。

【００３２】この請求項１２によれば、検索文を示す自
然言語データを入力し、画像データとその画像データに
基づいて形成される画像についての視覚的印象を示す自
然言語データとを関連付けて記憶した画像データベース
に記憶された自然言語データに対して入力された自然言
語データを照合し、その照合結果に応じて視覚的印象が
共通する自然言語データに関連した画像データを画像デ
ータベースから抽出する工程にしたので、画像の属性情
報を知らなくても視覚的印象すなわち主観的な印象だけ
で画像が検索され、これによって、所望の画像をより確
実に、かつ効率的に検索することが可能である。

【００３３】また、請求項１３の発明に係る記録媒体
は、請求項１１または１２に記載された方法をコンピュ
ータに実行させるプログラムを記録したことで、そのプ
ログラムをコンピュータで読み取り可能となり、これに
よって、請求項１１または１２の動作をコンピュータに
よって実現することが可能である。

【００３４】

【発明の実施の形態】以下に添付図面を参照して、この
発明に係る画像管理装置、画像検索装置、画像管理方
法、画像検索方法およびそれらの方法をコンピュータに
実行させるプログラムを記録したコンピュータ読み取り
可能な記録媒体の、好適な実施の形態を詳細に説明す
る。

【００３５】（実施の形態１）まず、原理について説明
する。図１〜図３はこの発明の実施の形態１による原理
を説明する図である。図１には、一見、１脚の丸テーブ
ル上に色（赤色とする）の付いた液体を入れたグラスが
置かれている画像が示されている。この画像に対して人
間が主観的な印象を抱くとしたら、つぎのような印象を
抱くことも例外ではない。すなわち、「グラスの中の液
体がワインだったら高そうだ。」（視覚的情報１とす
る）、「グラスの中には色の付いた液体が入っているよ
うだ。正確ではないがワインのようだ。」（視覚的情報
２とする）、「正確ではないがこの飲み物は冷えている
ようだ。」（視覚的情報３とする）、「液体の入ったグ
ラスはテーブルの上に置いてある。」（視覚的情報４と
する）、のような印象である。

【００３６】上記視覚的情報１および２は、図１の画像
中に特別にワインを特定する情報がないにも拘わらず、
液体の色が赤色である点、およびグラスの形状がワイン
グラスの形状に似ている点から得られる印象を表してい
る。上記視覚的情報３は、グラスに入っている液体の色
が赤色であることから、赤色をした飲み物から熱い飲み
物を想像できず、どちらかというとワインやトマトジュ
ースなどのように冷えた飲み物を想像することで浮かん
だ印象を表している。上記視覚的情報４は、単純にテー
ブルとグラスとの位置関係についての印象を表してい
る。

【００３７】以上の４種類の視覚的情報１〜４を比較し
てみると、視覚的情報１〜３は、画像から受ける視覚的
な印象（憶測としても意味も含む）をその画像の特徴と
して表現しているので、主観的印象に該当するが、視覚
的情報４は、どちらかというと画像の構図をそのまま表
現しているので、主観的ではあるが、客観的印象に近い
ものである。

【００３８】視覚的情報１〜３には、テーブルの上にグ
ラスが置かれているという画像中の部品の位置関係やテ
ーブルが丸テーブルであるなどの形状についての印象は
含まれていないが、後日、図１の画像を見ないで特徴を
挙げようとすれば、人は一般的に断片的な印象で覚えて
いることの方が多いことから、視覚的情報１〜３のよう
な表現が使用されると思われる。

【００３９】この発明は、画像に対して視覚的情報１〜
４のような主観的な印象が後日まで残ることを利用し
て、視覚的情報と画像データとを関連付けたものをファ
イルとして定義する。すなわち、図１の画像を例に挙げ
ると、画像のファイルは、図２に示したように、視覚的
情報１〜４を自然言語の形式で画像に関連付けた構成と
なる。したがって、図１の画像を複数の画像から検索す
る場合には、上述した視覚的情報１〜４に近い表現の自
然言語で検索文を与えればよく、その検索文により複数
の画像から所望の画像（図１）を特定することができ
る。

【００４０】そこで、検索の前提として、図３に示した
ように、画像ａ（図１の画像），画像ｂおよび画像ｃが
存在しているものとする。画像ａには前述の視覚的情報
１〜４が関連付けられ、画像ｂには「よく冷えたビール
のようだ。」，「正確ではないがジョッキで乾杯してい
るようだ。」などの視覚的情報が関連付けられ、画像ｃ
には「テーブルの上にコーヒーが置いてあるよう
だ。」，「正確ではないが、カップから湯気がでている
ようだ。」などの視覚的情報が関連付けられている。

【００４１】以上の複数の画像ａ，ｂ，ｃから所望の画
像ａを検索するため、検索文「テーブルの上に冷えた飲
み物を置いている画像は？」が与えられた場合には、図
３に示したように、その検索文と各画像ａ，ｂ，ｃに関
連付けられた視覚的情報（自然言語）とが照合される。
この照合により、類似度の最も高い視覚的情報をもつ画
像が検索の対象として抽出される。

【００４２】検索文は、テーブルと飲み物との位置関係
を示す印象と、その飲み物が冷えているという印象とが
照合のポイントになる。画像ａの場合には、検索文のポ
イントに対して、視覚的情報３から“飲み物は冷えてい
る”という印象が対応し、視覚的情報４から“液体の入
ったグラスがテーブルの上に置いてある”という印象が
対応する。

【００４３】すなわち、画像ａは、テーブルの上に冷え
た飲み物を置いている画像にマッチする。また、画像ｂ
の場合には、検索文のポイントに対してよく冷えた飲み
物（ビール）という印象だけが対応し、画像ｃの場合に
は、検索文のポイントに対してテーブルの上にカップが
置いてあるという位置関係の印象だけが対応する。

【００４４】したがって、図３の例では、類似度の最も
高い視覚的情報をもつ画像ａが検索の対象として抽出さ
れ、その他の画像ｂ，ｃは対象外となる。

【００４５】つぎに、具体的な装置を用いて説明する。
図４はこの発明の実施の形態１による画像処理装置を機
能的に示すブロック図である。図４に示した画像処理装
置は、この発明に係る画像管理装置と画像検索装置との
両方の機能を兼ね備えている。

【００４６】図４に示した画像処理装置は、例えば、画
像入力部１、自然言語入力部２、画像／自然言語関連付
け部３、表示部４、画像データベース５、検索部６、言
語解析部６、および辞書部７を備えている。画像入力部
１は、画像データベース５に登録すべき画像データを入
力し、自然言語入力部２は、画像データベース５に登録
すべき画像データに関連付けて付加する視覚的情報や検
索時の検索文を自然言語データとして入力する。

【００４７】画像／自然言語関連付け部３は、画像入力
部１により入力された画像データと自然言語入力部２に
より入力された自然言語データとを関連付け、その関連
付けられたデータをファイルとして画像データベース５
に出力する。この画像／自然言語関連付け部３は、画像
や視覚的情報を表示させながら関連付けを行うことか
ら、画像データ，自然言語データに基づく表示データを
表示部４に出力する。

【００４８】表示部４は、関連付けの際に、画像／自然
言語関連付け部３から表示データを受け取って画像や視
覚的情報を表示するとともに、検索の際に、検索部６か
ら表示データを受け取って検索文や検索結果（画像）を
表示する。画像データベース５は、画像／自然言語関連
付け部３により関連付けされた画像データと自然言語デ
ータとを対応させたファイルを記憶するとともに、検索
部６の検索要求に応じて自然言語データや画像データを
応答（回答）する。

【００４９】検索部６は、自然言語入力部２により入力
された検索文（自然言語データ）に従って入力検索文と
画像データベース５上の視覚的情報とを言語解析部７に
より言語解析させてから照合する。この検索部６は、そ
の照合結果に応じて入力検索文に対して類似度の高い視
覚的情報に関連付けられている画像データを画像データ
ベース５から抽出してその検索結果（抽出された画像）
を表示部４に表示させる。

【００５０】言語解析部７と辞書部８とによる自然言語
処理部には、一例であるが、すでに公知の自然言語処理
を適用することができる。参考文献として、電子情報通
信学会、１９８８年「自然言語処理の基礎技術」（野村
浩郷著）がある。

【００５１】言語解析部６は、形態素解析部７Ａと構文
解析部７Ｂとにより構成され、辞書部８は形態素解析を
支援する単語辞書８Ａと構文解析を支援する文法辞書８
Ｂとにより構成される。形態素解析部７Ａは単語辞書８
Ａを参照して入力された自然言語データに基づき形態素
解析を行い、構文解析部７Ｂは文法辞書８Ｂを参照して
入力された自然言語データに基づき構文構造を解析す
る。この構文解析部７Ｂの解析結果は検索部６へ出力さ
れる。

【００５２】続いて画像データベース５について説明す
る。図５は実施の形態１による画像データベース５の記
憶内容を概略的に説明する図である。画像データベース
５は、図５に示したように、ファイル名に対応させて関
連付けられた画像データと自然言語データとを記憶して
いる。ここで、ファイル名を挙げているのは、一般的
に、一つのファイルには固有のファイル名が定義される
ためであり、ファイル名そのものは本発明の趣旨とは関
係ない。

【００５３】例えば、ファイル名ＦＩＬＥＡのファイル
は、画像データＩＭＧＡと自然言語データＮＬＤＡとが
関連付けられており、ファイル名ＦＩＬＥＢのファイル
は、画像データＩＭＧＢと自然言語データＮＬＤＢとが
関連付けられている。各ファイルに含まれる自然言語デ
ータは視覚的情報をその内容としていることから、例え
ば、自然言語データＮＬＤＡのように複数の視覚的情報
を与えることができる。

【００５４】ここでいう複数とは、視覚的な印象を表現
する文が複数存在することを示しているのであって、独
立した複数の視覚的情報が存在する意味を示しているの
ではない。すなわち、文脈を解釈すれば複数の視覚的情
報に区分されるが、自然言語データとしては一つの固ま
りである。このように、一つの画像に対して視覚的印象
をあらゆる視点から無制限に与えることが許される。

【００５５】つぎに、動作について説明する。まず、メ
イン動作について説明する。図６は実施の形態１のメイ
ン動作を説明するフローチャートであり、図７は実施の
形態１のメイン動作時の表示遷移の一例を示す図であ
る。

【００５６】動作としては、まず表示部４の画面上に画
像のファイリングを操作するためのファイリング処理ア
イコン１０１，画像の検索を操作するための検索処理ア
イコン１０２および終了操作を行うための終了アイコン
１０３を選択肢としたメニュー（図７（ａ）参照）が表
示される（ステップＳ１）。その後、ファイリング処理
アイコン１０１，検索処理アイコン１０２および終了ア
イコン１０３のいずれのアイコンが選択されるのかセン
スされる。この選択操作は、不図示の操作部により行わ
れるものとする。

【００５７】そして、図７（ｂ）に示したように、ファ
イリング処理アイコン１０１が選択（図中斜線で示す）
された場合には（ステップＳ２）、処理は図８のファイ
リング処理に移行する（ステップＳ５）。その後、処理
は再びステップＳ１のメニュー表示に戻る。また、図７
（ｃ）に示したように、検索処理アイコン１０２が選択
（図中斜線で示す）された場合には（ステップＳ３）、
処理は図１２の検索処理に移行する（ステップＳ６）。
その後、処理は再びステップＳ１のメニュー表示に戻
る。また、終了アイコン１０３が選択された場合には
（ステップＳ４）、本処理は終了する。

【００５８】続いて画像のファイリング動作について説
明する。図８は実施の形態１のファイリング動作を説明
するフローチャート、図９は実施の形態１のファイリン
グ動作時の表示遷移の一例を示す図、図１０は実施の形
態１による画像データベースの記憶例を概略的に説明す
る図、そして、図１１は実施の形態１のファイリング動
作時の動画における表示遷移の一例を示す図である。

【００５９】処理がファイリング処理に移行すると、ま
ず画像入力部１により画像データが入力され（ステップ
Ｓ５１）、その入力画像データに基づいて表示部４に画
像が表示される（ステップＳ５２）。具体的には、図９
（ａ）に示したように、表示部４の画面に、画像表示エ
リア２０１と自然言語表示エリア２０２とが表示され
る。ここでは前述の画像ａ（図３参照）が一例として画
像表示エリア２０１に表示されている。

【００６０】さらに自然言語表示エリア２０２には、図
９（ａ）に示したように、画像表示エリア２０１に表示
されている画像ａについての視覚的情報を自然言語で入
力する旨のメッセージ（図の例では「視覚的情報を入力
してください」）２０３が表示される（ステップＳ５
３）。なお、このファイリング処理を終了操作するため
に、終了アイコン２０４が自然言語表示エリア２０２内
に表示される。

【００６１】その後、視覚的情報すなわち自然言語デー
タの入力が受け付けられる（ステップＳ５４）。自然言
語データは自然言語入力部２を通じて入力されるデータ
である。自然言語入力が開始されると、図９（ｂ）に示
したように、自然言語表示エリア２０２内に「グラスの
中の液体がワインだった」の如く視覚的情報が表示され
る。その際、カーソルＣＵＲがつぎの入力位置や修正位
置を示すように表示され、このカーソルＣＵＲは図示せ
ぬ操作部により移動操作される。

【００６２】そして、図９（ｃ）に示したように、視覚
的情報「グラスの中の液体…テーブルの上に置いてあ
る。」の入力が完了すると、終了アイコン２０４の選択
操作で入力終了が確認される（ステップＳ５５）。した
がって、この終了アイコン２０４が選択操作されるまで
は、ステップＳ５４およびステップＳ５５の処理が繰り
返し実行される。

【００６３】このように、視覚的情報の入力が終了する
と（ステップＳ５５）、画像表示エリア２０１に表示さ
れている画像ａを形成するための画像データと自然言語
表示エリア２０２に表示されている視覚的情報を形成す
るための自然言語データとの対応が関連付けられ、一つ
のファイルとして図１０に示したように画像データベー
ス５への登録が行われる（ステップＳ５６）。この登録
では、図示せぬ操作部の操作により「写真その１」のよ
うにファイル名を与えることができる。なお、その他の
属性情報も付加することは可能であるが、本発明の趣旨
とは関係ないので、ここでは説明を省略する。

【００６４】図９の場合には、画像ａのような静止画
（例えば写真）を例に挙げているが、この実施の形態１
においては、連続する画像すなわち動画についても同様
の処理が施される。

【００６５】すなわち、図１１に示したように、体操の
一連の動作を動画とする場合には、連続するフレームの
変化を見ながら、視覚的情報を与えることができる。例
えば、フレーム１のあたりを見て、「両手を上に上げた
後、肩を回す。」のような視覚的情報を入力し、さらに
フレームｍ（ｍ＞１，ｍは自然数）のあたりを見て、
「つぎに、両足を開いて…腰を回転させる。」のように
視覚的情報を続けて入力し、さらにフレームｎ（ｎ＞
ｍ，ｍは自然数）のあたりを見て、「左足首に触れたら
…左足首に触れるようにする。」のように視覚的情報を
続けて入力すれば、動画に対する視覚的情報を主観的に
与えることができる。

【００６６】続いて画像の検索動作について説明する。
図１２は実施の形態１の検索動作を説明するフローチャ
ート、図１３は実施の形態１の検索動作時の表示遷移の
一例を示す図である。ここでは、前述した画像ａを画像
データベース５から検索する例を挙げて説明する。

【００６７】処理が検索処理に移行すると、図１３
（ａ）に示したように、表示部４の画面に、画像表示エ
リア３０１と自然言語表示エリア３０２とが表示され
る。そして、自然言語表示エリア３０２には、図１３
（ａ）に示したように、検索対象となる画像についての
検索文を自然言語で入力する旨のメッセージ（図の例で
は「検索文を入力してください」）３０３が表示される
（ステップＳ６１）。

【００６８】なお、この検索処理を終了操作するための
終了アイコン３０４と検索の実行を指示するための実行
アイコン３０５とが自然言語表示エリア３０２内に表示
される。

【００６９】その後、検索文すなわち自然言語データの
入力が受け付けられる（ステップＳ６２）。自然言語デ
ータは自然言語入力部２を通じて入力されるデータであ
る。自然言語入力が開始されると、図１０（ｂ）に示し
たように、自然言語表示エリア３０２内に「テーブルの
上に冷えた飲み物を置いている画像は？」の如く検索文
が表示される。

【００７０】この場合にも図示せぬが、カーソルＣＵＲ
がつぎの入力位置や修正位置を示すように表示され、そ
のカーソルＣＵＲは図示せぬ操作部により移動操作され
る。なお、検索文の入力が完了するまでは、実行アイコ
ン３０５による実行指示（ステップＳ６３）や終了アイ
コン３０４による終了指示（ステップＳ６４）がセンス
される。

【００７１】そして、図１３（ｂ）に示したように、検
索文の入力が完了して実行アイコン３０５が選択操作
（図中斜線で示す）されると（ステップＳ６３）、言語
解析部７において、入力検索文の自然言語データに基づ
く言語解析が実行されるとともに（ステップＳ６５）、
画像データベース５の視覚的情報の自然言語データに基
づく言語解析が実行される（ステップＳ６６）。

【００７２】このように、入力検索文と視覚的情報の両
者を言語解析することで、ベースを揃えた状態で照合が
行われる（ステップＳ６７）。この照合は、前述の図３
で説明した原理に従うものである。さらに詳述すれば、
この照合は、自然言語の文脈上、視覚的情報の中に、検
索文で表現される情報に共通した印象がどれだけ含まれ
ているかを判断する。ここでは類似度（一致度）による
照合技術であれば、どのような既存技術を適用してもよ
いものとする。

【００７３】このようにして照合結果が得られると、類
似度の高いファイルが抽出される。この場合には、画像
ａを保有するファイル名「写真その１」のファイルが抽
出される。したがって、画像表示エリア３０１には、図
１３（ｃ）に示したように、そのファイルの画像データ
に基づいて画像ａが表示される（ステップＳ６８）。

【００７４】ここでは、類似度の高い画像を表示するの
で、複数の候補があれば、昇順に予め決められた数の画
像を表示するようにしてもよく、また、複数の画像が候
補として表示され、その中に所望の画像があれば、その
所望の画像だけを表示させようようにしてもよい。これ
らの技術は公知のため、ここではその説明を省略する。

【００７５】ステップＳ６８の後、処理はステップＳ６
２に戻るので、さらに他の画像を検索するのであれば、
検索文を変更してから実行アイコン３０５を操作すれば
よい（ステップＳ６２およびステップＳ６３）。また、
終了アイコン３０４の選択操作で検索処理を終了させる
ことができる（ステップＳ６４）。

【００７６】ここで、上述の画像処理装置をハードウェ
アで実現した場合の一例を挙げる。図１４はこの発明の
実施の形態１による画像処理装置をハードウェア的に示
すブロック図である。

【００７７】図１４に示したハードウェア構成において
は、表示部４と画像データベース５とが機能的にもハー
ドウェア的にも共有する他は、スキャナ１１１、キーボ
ード１２１、マウス１２２、ＣＰＵ１３１、プログラム
メモリ１３２、およびＲＡＭ１３３が適用される。これ
ら各ユニットはバスＢＳに接続され、バスＢＳを介して
ＣＰＵ１３１の制御を受ける。

【００７８】ＣＰＵ１３１は、プログラムメモリ１３２
の各種プログラムに従って動作するユニットであり、図
４の機能ブロックにおいて画像／自然言語関連付け部
３、検索部６、および言語解析部７に相当する処理を実
行する。プログラムメモリ１３２は、ＣＰＵ１３１が動
作するためのオペレーティングシステムＯＳ１３２Ａと
アプリケーションプログラム１３２Ｂとを格納してい
る。ＲＡＭ１３３はＣＰＵ１３１のワークエリアとして
使用される。

【００７９】なお、図４の機能ブロックにある辞書部８
は、アプリケーションプログラム１３２Ｂの一部に格納
されてもよく、あるいは独立した辞書メモリとしてバス
ＢＳに接続されてもよい。

【００８０】スキャナ１１１は、画像入力部１に相当す
るユニットであり、原稿画像から入力した画像データを
ＣＰＵ１３１の制御でＲＡＭ１３３に出力する。キーボ
ード１２１は、自然言語入力部２に相当するユニットで
あり、文字などを入力して視覚的情報，検索文などのデ
ータを入力する。マウス１２２は、キーボード１２１の
入力や前述の各アイコン選択などの操作を支援するポイ
ンティングデバイスである。

【００８１】以上説明したように、実施の形態１によれ
ば、画像データとその画像データに基づいて形成される
画像の視覚的印象を示す自然言語データとを関連付けて
画像データベース５に記憶したので、画像を視覚的印象
がもつ主観的な要素でデータベース化することが可能で
ある。

【００８２】また、画像データベース５に画像データと
その画像データに基づいて形成される画像の視覚的印象
を示す自然言語データとを関連付けて記憶しておき、画
像データベース５上のある視覚的印象の自然言語データ
でアクセスが行われた場合にその自然言語データに関連
する画像データを応答するようにしたので、ファイリン
グ日時，画像の種別などの属性情報に関係なく視覚的印
象すなわち主観的な印象でのアクセスが可能となり、こ
れによって、所望の画像をアクセスすることが容易にな
る。

【００８３】また、画像データを静止画データ，動画デ
ータなどのデータとしたので、画像の種別に関係なく、
各画像に任意の視覚的情報を与えることが可能である。

【００８４】また、画像データベース５に画像データと
その画像データに基づいて形成される画像についての視
覚的印象を示す自然言語データとを関連付けて記憶して
おき、検索文を示す自然言語データを入力して画像デー
タベース５上の自然言語データに照合することで、視覚
的印象が共通する自然言語データに関連した画像データ
を画像データベース５から抽出するようにしたので、画
像の属性情報を知らなくても視覚的印象すなわち主観的
な印象だけで画像が検索され、これによって、所望の画
像をより確実に、かつ効率的に検索することが可能であ
る。

【００８５】また、検索の際に、画像データベース５に
記憶された自然言語データと入力された自然言語データ
とを言語解析してから照合するようにしたので、視覚的
印象の意味に適した精度の高い照合が可能である。

【００８６】また、検索により抽出された画像データに
基づいて画像表示を行うようにしたので、検索結果が視
覚的に提示され、これによって、検索結果の正誤を容易
に確認することが可能である。

【００８７】また、画像データに関連付けて記憶するた
めの自然言語データをキー操作を通じて入力するように
したので、画像の客観性にとらわれることなく、各画像
に任意の視覚的情報を与えることが可能である。

【００８８】（実施の形態２）さて、前述した実施の形
態１では、検索文である自然言語データと画像データベ
ース５上の自然言語データとをそれぞれ言語解析した後
に照合するようにしていたが、以下に説明する実施の形
態２のように、画像データベース５上の自然言語データ
について視覚的印象を推論してから照合を行うようにし
てもよい。

【００８９】この場合、実施の形態２は、全体構成につ
いて前述の実施の形態１による全体構成（図４参照）を
採用するので、共通部分については共通の番号を使用て
その説明を省略する。以下に、相違する構成および機能
について説明し、共通点については省略する。

【００９０】まず、構成について説明する。図１５はこ
の発明の実施の形態２による画像処理装置を機能的に示
すブロック図である。実施の形態２でも、原理は前述の
実施の形態１と同様となる。この実施の形態２では、画
像処理装置に新たに推論部９と知識データベース１０と
が付加される。推論は、実際には言語解析部７において
も実施されるものであるが、ここでは言語解析後の複数
の視覚的情報間での新たな視覚的情報の生成という点で
推論部９および知識データベース１０を構成要素とす
る。

【００９１】推論部９は、言語解析部７の解析結果を受
け取り、知識データベース１０を参照して、検索文の解
析結果に対して複数の視覚的情報から予測できる新たな
視覚的情報をつくり出し、これを推論結果として検索部
６へ出力する。知識データベース１０は、推論部９より
解析結果を受け取り、複数の視覚的情報の解析結果をあ
らゆる視点から結合して新たな主観的な印象をつくり出
すための支援を行う。

【００９２】なお、ハードウェア構成上、推論部９はＣ
ＰＵ１３１に相当するものとし、知識データベース１０
は辞書部８と同様にアプリケーションプログラムＡＰ１
３２Ｂの一部でも独立したメモリ構成であってもよい。

【００９３】つぎに、実施の形態１と相違する検索動作
について説明する。図１６は実施の形態２の検索動作の
要部を説明するフローチャートであり、図１７は実施の
形態２の検索動作時の表示遷移の一例を示す図である。
図１６には、図１２と共通するボックスの図示を省略
し、追加されるボックスについてのみ図示する。

【００９４】この実施の形態２においても、前述した実
施の形態１と同様に、検索処理に入ると、表示部４に画
像表示エリア４０１と自然言語表示エリア４０２とが表
示される（図１７（ａ）参照）。このとき、自然言語表
示エリア４０２内にメッセージ「検索文を入力してくだ
さい」４０３が表示されるので、自然言語表示エリア４
０２に例えば「飲むと酔う液体の画像は？」という検索
文の入力後に実行アイコン４０５が選択操作されると、
検索文「飲むと酔う液体の画像は？」に従って検索が実
行される（図１７（ｂ）参照）。

【００９５】ステップＳ６５において上記検索文の言語
解析が終了した後に、続いてステップＳ６６において画
像データベース５の視覚的情報の言語解析が終了する
と、この実施の形態２では、推論処理が実行される。す
なわち、視覚的情報の解析結果に基づいて入力検索文の
解析結果に近い内容が推論される（ステップＳ６９）。
以下にこの原理を簡単に説明する。

【００９６】ここでは前述の画像ａ，ｂ，ｃを例に挙げ
る。画像ａの場合には、図１に示した如く、“ワイン”
の画像という解析結果が得られ、画像ｂの場合には、図
３に示した如く、“ビール”の画像という解析結果が得
られ、画像ｃの場合には、図３に示した如く、“コーヒ
ー”という解析結果が得られる。

【００９７】そこで、知識データベース１０に「ワイン
はアルコールを含んでいる」，「ビールはアルコールを
含んでいる」，「コーヒーはアルコールを含んでいな
い」，「アルコールを含む飲み物を飲むと酔いが回る」
が登録されているとすれば、画像ａに関して“ワイン”
は飲むと酔う液体であるという推論が成立する。同様
に、画像ｂに関して“ビール”は飲むと酔う液体である
という推論が成立する。これに対し、画像ｃに関して
“コーヒー”は飲んでも酔わない液体という推論が成立
する。

【００９８】その結果、画像ａについて新たに「飲むと
酔うワインの画像のようだ」のような内容の視覚的情報
が生成され、画像ｂについて新たに「飲むと酔うビール
の画像のようだ」のような内容の視覚的情報が生成さ
れ、画像ｃについて新たに「飲んでも酔わないコーヒー
の画像のようだ」のような内容の視覚的情報が生成され
る。これら新たな視覚的情報は実施の形態１で述べた解
析結果の状態でステップＳ６７の照合のために推論部９
から検索部６へ出力される。

【００９９】以降は、前述した実施の形態１と同様に、
入力検索文と視覚的情報との解析結果の状態での照合
（ステップＳ６７）および類似度の高いファイルの抽出
による画像表示（ステップＳ６８）が実行される。その
結果、図１７（ｃ）に示したように、画像表示エリア４
０１に、画像ａと画像ｂとが検索対象として表示され、
画像ｃについては対象外となる。

【０１００】以上説明したように、実施の形態２によれ
ば、画像データベース５に画像データとその画像データ
に基づいて形成される画像についての複数の視覚的印象
を示す自然言語データとを関連付けて記憶しておき、知
識データベース１０を参照しながら、画像データベース
５上のある自然言語データの複数の視覚的印象から検索
文である自然言語データの視覚的印象に相当する新しい
視覚的印象を導き出せた場合には、そのある自然言語デ
ータに関連した画像データを画像データベース５から抽
出するようにしたので、検索の際に、画像データベース
５上の視覚的情報を単独で使用した場合には見逃すよう
な自然言語データであっても確実に画像の抽出対象とし
て確保することができ、これによって、所望の画像をよ
り確実に、かつ効率的に検索することが可能である。

【０１０１】また、推論の際に、画像データベース５に
記憶された自然言語データと入力された自然言語データ
とを言語解析してから推論するようにしたので、視覚的
印象の意味に適した精度の高い推論が可能である。

【０１０２】また、検索の際に、照合結果に応じて類似
度の高い方から昇順で複数の画像データを抽出するよう
にしたので、視覚的印象に近い複数の画像が候補として
挙げられ、これによって、視覚的印象からでも所望の画
像をより効率的に検索することが可能である。

【０１０３】（実施の形態３）さて、前述した実施の形
態１および２では、自然言語入力部２を通じて自然言語
データをマニュアル操作により入力するようにしていた
が、以下に説明する実施の形態３のように、画像（図
形）認識技術を利用して自然言語データの入力を自動化
するようにしてもよい。

【０１０４】この場合、実施の形態３は、全体構成につ
いて前述の実施の形態１または２による全体構成（図４
または図１５参照）を採用するので、共通部分について
は共通の番号を使用てその説明を省略する。以下に、相
違する構成および機能についてのみ説明し、共通点につ
いては省略する。

【０１０５】まず、実施の形態１，２と相違する構成に
ついて説明する。図１８はの発明の実施の形態３による
画像処理装置の要部をハードウェア的に示すブロック図
である。実施の形態３では、バスＢＳに新たに画像認識
プログラムを格納した画像認識プログラムメモリ１２５
と画像認識処理を支援する画像認識辞書１２６とが接続
される。これら追加構成による公知の画像認識技術のた
め詳細な説明は省略する。

【０１０６】つぎに、実施の形態１，２と相違するファ
イリング動作について説明する。図１９は実施の形態３
のファイリング動作を説明するフローチャートである。
前述の実施の形態１および２と同様に、画像入力（ステ
ップＳ５１）、および入力画像表示（ステップＳ５２）
が終了すると、画像認識プログラムに従って、画像認識
辞書１２６を参照して入力された画像データに基づく画
像の認識が行われる（ステップＳ５７）。その際、各画
像部品の形状，サイズ，色，他の画像部品との位置関係
などが認識する際の要素となる。

【０１０７】さらに、画像の認識結果から画像の視覚的
情報が抽出される（ステップＳ５８）。この抽出では、
主観的な印象を得るために、色使いや配色が暗いもので
あれば、例えば「暗い感じの画像」という視覚的情報を
抽出し、一方、色使いや配色が明るいものであれば、例
えば「明るい感じの画像」という視覚的情報を抽出すれ
ばよい。このような規則性で視覚的情報を抽出すると、
客観性により画像の印象が制限されることが回避される
ので、キー入力や音声入力と同様に、より主観的な印象
を画像に関連付けることができる。

【０１０８】この主観的な印象が当てはまるものとし
て、例えば絵画がある。この絵画の場合には、その人固
有の筆のタッチがそのまま絵に表現されることから、力
強い画像とか、繊細な画像とか、いろいろな表現を与え
ることが可能である。このため、画集を管理するという
利用形態への応用が可能である。

【０１０９】また、画像内に一見して２人の人物と鏡と
が存在する場合には、視覚的情報として、「２人の人物
がいる。」とか、「１人が実際の人物であり、もう一人
は鏡に映っている人物である。」という内容を与えるよ
うにしてもよい。そこで、上記画像に対して後者の
「鏡」を含む視覚的情報を対応付けしておけば、例え
ば、「確か人は１人たっだ」という検索条件が与えられ
たとしても「鏡」によって人が２人になるという推論に
従って、２人の人物が存在する画像についても検索する
ことが可能である。

【０１１０】以降、前述した実施の形態１，２と同様
に、ステップＳ５８で得られた視覚的情報と画像データ
との対応を関連付けて画像データベース５への登録が行
われる（ステップＳ５６）。

【０１１１】以上説明したように、実施の形態３によれ
ば、画像データに関連付けて記憶するための自然言語デ
ータを画像認識を通じて入力するようにしたので、画像
の色や画像中の各物体の形状，サイズなどを主観的に表
現する視覚的情報を得るように画像認識辞書１２６を構
成すれば、画像の客観性にとらわれることなく、各画像
により主観性のある視覚的情報を与えることが可能であ
る。

【０１１２】（実施の形態４）さて、前述した実施の形
態１〜３では、画像処理装置１台でファイリングと検索
とを行うようにしていたが、以下に説明する実施の形態
４のように、画像処理装置をクライアントとサーバとに
分けて機能を分散させるようにしてもよい。

【０１１３】ここでは、構成についてのみ説明する。図
２０はこの発明の実施の形態４による画像処理装置を機
能的に示すブロック図である。実施の形態４による画像
処理装置は、図２０に示したように、クライアント２１
とサーバ２２とに分離される。前述の各実施の形態で
は、画像データベース５に画像データと自然言語データ
とが関連付けて記憶されていたが、この実施の形態４で
は、クライアント２１に視覚的情報である自然言語デー
タが記憶され、サーバ２２にその視覚的情報に関連付け
られた画像データが記憶される。

【０１１４】これら視覚的情報と画像データとは、視覚
的情報に対して画像データをアクセスするための検索キ
ー（アドレス，識別情報など）を付加することで関連付
けられる。すなわち、視覚的情報と画像データとに共通
の検索キーが付加される。

【０１１５】したがって、検索の際に、まず前述した各
実施の形態と同様に言語解析後の入力検索文と視覚的情
報との照合が行われ、その後、画像抽出の段階になる
と、類似度の高い視覚的情報から検索キーが取り出さ
れ、その検索キーでサーバ２２から所望の画像データが
抽出される。検索キーと検索結果である画像データと
は、クライアント２１とサーバ２２間を伝送路を介して
授受される。

【０１１６】なお、ファイリングの際には、クライアン
ト２１は検索キーを含む関連付けまで行った後、視覚的
情報を自装置に残し、画像データについてはサーバ２２
に伝送する。サーバ２２は、クライアント２１から受信
した画像データを記憶する。

【０１１７】以上説明したように、実施の形態４によれ
ば、実施の形態１〜３の各効果に加え、機能を分散させ
ることで、クライアント側で画像データを記憶する必要
がなくなることから、クライアント側のデータ量を必要
最小限に抑えることが可能である。

【０１１８】（実施の形態５）さて、前述した実施の形
態１では、キーボード１２１による自然言語入力を例に
挙げていたが、以下に説明する実施の形態５のように、
音声入力によって自然言語入力を行うようにしてもよ
い。ここでは、自然言語の入力構成の違いだけなので、
以下にその点についてのみ説明する。

【０１１９】図２１はこの発明の実施の形態５による画
像処理装置の要部をハードウェア的に示すブロック図で
ある。図２１において、バスＢＳには、音声を入力する
マイク１２３と、そのマイク１２３から入力された音声
データに基づいて音声認識を行うための音声認識プログ
ラムを格納した音声認識プログラムメモリ１２４とが接
続されている。

【０１２０】このマイク１２３および音声認識プログラ
ムメモリ１２４は、自然言語入力部２を構成することか
ら、他の自然言語入力部として前述の各実施の形態の構
成に追加されるものである。このマイク１２３および音
声認識プログラムメモリ１２４により音声から自然言語
データを入力することができる。

【０１２１】以上説明したように、実施の形態５によれ
ば、画像データに関連付けて記憶するための自然言語デ
ータを音声認識を通じて入力するようにしたので、前述
の実施の形態１と同様に、画像の客観性にとらわれるこ
となく、各画像に任意の視覚的情報を与えることが可能
である。

【０１２２】（実施の形態６）さて、前述した実施の形
態１では、スキャナ１１１による画像入力を例に挙げて
いたが、以下に説明する実施の形態６のように、通信に
よって画像入力を行うようにしてもよい。ここでは、画
像データの入力構成の違いだけなので、以下にその点に
ついてのみ説明する。

【０１２３】図２２はこの発明の実施の形態６による画
像処理装置の要部をハードウェア的に示すブロック図で
ある。図２２において、バスＢＳには、通信回線に接続
される通信Ｉ／Ｆ１１２と、その通信Ｉ／Ｆ１１２を通
じて送受信するデータを変復調するモデム１１３とが接
続されている。

【０１２４】この通信Ｉ／Ｆ１１２およびモデム１１３
は、画像入力部１を構成することから、他の画像入力部
として前述の各実施の形態の構成に追加されるものであ
る。この通信Ｉ／Ｆ１１２およびモデム１１３はにより
外部から画像データを入力することができる。

【０１２５】以上説明したように、実施の形態６によれ
ば、通信回線を介して画像を取り込む用途でも、前述の
実施の形態１〜５と同様の効果が得られることから、近
年、普及してきているインターネットの利用に際して、
ホームページに対して視覚的情報を与えれば、膨大なホ
ームページを視覚的な印象だけで容易に管理することが
可能になる。

【０１２６】

【発明の効果】以上説明したように、請求項１の発明に
よれば、画像データとその画像データに基づいて形成さ
れる画像の視覚的印象を示す自然言語データとを関連付
けて記憶したので、画像を視覚的印象がもつ主観的な要
素でデータベース化することが可能な画像管理装置が得
られるという効果を奏する。

【０１２７】また、請求項２の発明によれば、画像デー
タベースに画像データとその画像データに基づいて形成
される画像の視覚的印象を示す自然言語データとを関連
付けて記憶しておき、画像データベース上のある視覚的
印象の自然言語データでアクセスが行われた場合にその
自然言語データに関連する画像データを応答するように
したので、属性情報に関係なく視覚的印象すなわち主観
的な印象でのアクセスが可能となり、これによって、所
望の画像をアクセスすることが容易になる画像管理装置
が得られるという効果を奏する。

【０１２８】また、請求項３の発明によれば、請求項１
または２の発明において、画像データに関連付けて記憶
するための自然言語データをキー操作，音声認識，画像
認識などを通じて入力するようにしたので、画像の客観
性にとらわれることなく、各画像に主観性のある視覚的
情報を与えることが可能な画像管理装置が得られるとい
う効果を奏する。

【０１２９】また、請求項４の発明によれば、請求項１
〜３のいずれか一つの発明において、画像データを静止
画データ，動画データなどのデータとしたので、画像の
種別に関係なく、各画像に任意の視覚的情報を与えるこ
とが可能な画像管理装置が得られるという効果を奏す
る。

【０１３０】また、請求項５の発明によれば、画像デー
タベースに画像データとその画像データに基づいて形成
される画像についての視覚的印象を示す自然言語データ
とを関連付けて記憶しておき、検索文を示す自然言語デ
ータを入力して画像データベース上の自然言語データに
照合することで、視覚的印象が共通する自然言語データ
に関連した画像データを画像データベースから抽出する
ようにしたので、画像の属性情報を知らなくても視覚的
印象すなわち主観的な印象だけで画像が検索され、これ
によって、所望の画像をより確実に、かつ効率的に検索
することが可能な画像検索装置が得られるという効果を
奏する。

【０１３１】また、請求項６の発明によれば、請求項５
の発明において、検索の際に、画像データベースに記憶
された自然言語データと入力された自然言語データとを
言語解析してから照合するようにしたので、視覚的印象
の意味に適した精度の高い照合が可能な画像検索装置が
得られるという効果を奏する。

【０１３２】また、請求項７の発明によれば、請求項５
または６の発明において、検索の際に、照合結果に応じ
て類似度の高い方から昇順で複数の画像データを抽出す
るようにしたので、視覚的印象に近い複数の画像が候補
として挙げられ、これによって、視覚的印象からでも所
望の画像をより効率的に検索することが可能な画像検索
装置が得られるという効果を奏する。

【０１３３】また、請求項８の発明によれば、画像デー
タベースに画像データとその画像データに基づいて形成
される画像についての複数の視覚的印象を示す自然言語
データとを関連付けて記憶しておき、知識データベース
を参照しながら、画像データベース上のある自然言語デ
ータの複数の視覚的印象から検索文である自然言語デー
タの視覚的印象に相当する新しい視覚的印象を導き出せ
た場合には、そのある自然言語データに関連した画像デ
ータを画像データベースから抽出するようにしたので、
検索の際に、画像データベース上の視覚的情報を単独で
使用した場合には見逃すような自然言語データであって
も確実に画像の抽出対象として確保することができ、こ
れによって、所望の画像をより確実に、かつ効率的に検
索することが可能な画像検索装置が得られるという効果
を奏する。

【０１３４】また、請求項９の発明によれば、請求項８
の発明において、推論の際に、画像データベースに記憶
された自然言語データと入力された自然言語データとを
言語解析してから推論するようにしたので、視覚的印象
の意味に適した精度の高い推論が可能な画像検索装置が
得られるという効果を奏する。

【０１３５】また、請求項１０の発明によれば、請求項
５〜９のいずれか一つの発明において、検索により抽出
された画像データに基づいて画像表示を行うようにした
ので、検索結果が視覚的に提示され、これによって、検
索結果の正誤を容易に確認することが可能な画像検索装
置が得られるという効果を奏する。

【０１３６】また、請求項１１の発明によれば、画像デ
ータと該画像データに基づいて形成される画像の視覚的
印象を示す自然言語データとを関連付けてから画像デー
タおよび自然言語データを記憶する工程にしたので、画
像を視覚的印象がもつ主観的な要素でデータベース化す
ることが可能な画像管理方法が得られるという効果を奏
する。

【０１３７】また、請求項１２の発明によれば、検索文
を示す自然言語データを入力し、画像データとその画像
データに基づいて形成される画像についての視覚的印象
を示す自然言語データとを関連付けて記憶した画像デー
タベースに記憶された自然言語データに対して入力され
た自然言語データを照合し、その照合結果に応じて視覚
的印象が共通する自然言語データに関連した画像データ
を画像データベースから抽出する工程にしたので、画像
の属性情報を知らなくても視覚的印象すなわち客観的な
印象だけで画像が検索され、これによって、所望の画像
をより確実に、かつ効率的に検索することが可能な画像
検索方法が得られるという効果を奏する。

【０１３８】また、請求項１３の発明によれば、請求項
１１または１２に記載された方法をコンピュータに実行
させるプログラムを記録したことで、そのプログラムを
コンピュータで読み取り可能となり、これによって、請
求項１１または１２の動作をコンピュータによって実現
することが可能な記録媒体が得られるという効果を奏す
る。

【図面の簡単な説明】

【図１】この発明の実施の形態１による原理を説明する
図である。

【図２】この発明の実施の形態１による原理を説明する
図である。

【図３】この発明の実施の形態１による原理を説明する
図である。

【図４】この発明の実施の形態１による画像処理装置を
機能的に示すブロック図である。

【図５】実施の形態１による画像データベースの記憶内
容を概略的に説明する図である。

【図６】実施の形態１のメイン動作を説明するフローチ
ャートである。

【図７】実施の形態１のメイン動作時の表示遷移の一例
を示す図である。

【図８】実施の形態１のファイリング動作を説明するフ
ローチャートである。

【図９】実施の形態１のファイリング動作時の表示遷移
の一例を示す図である。

【図１０】実施の形態１による画像データベースの記憶
例を概略的に説明する図である。

【図１１】実施の形態１のファイリング動作時の動画に
おける表示遷移の一例を示す図である。

【図１２】実施の形態１の検索動作を説明するフローチ
ャートである。

【図１３】実施の形態１の検索動作時の表示遷移の一例
を示す図である。

【図１４】この発明の実施の形態１による画像処理装置
をハードウェア的に示すブロック図である。

【図１５】この発明の実施の形態２による画像処理装置
を機能的に示すブロック図である。

【図１６】実施の形態２の検索動作の要部を説明するフ
ローチャートである。

【図１７】実施の形態２の検索動作時の表示遷移の一例
を示す図である。

【図１８】この発明の実施の形態３による画像処理装置
の要部をハードウェア的に示すブロック図である。

【図１９】実施の形態３のファイリング動作を説明する
フローチャートである。

【図２０】この発明の実施の形態４による画像処理装置
を機能的に示すブロック図である。

【図２１】この発明の実施の形態５による画像処理装置
の要部をハードウェア的に示すブロック図である。

【図２２】この発明の実施の形態６による画像処理装置
の要部をハードウェア的に示すブロック図である。

【符号の説明】

１ 画像入力部 ２ 自然言語入力部 ３ 画像／自然言語関連付け部 ４ 表示部 ５ 画像データベース ６ 検索部 ７ 言語解析部 ８ 辞書部 ９ 推論部 １０ 知識データベース ２１ クライアント ２２ サーバ １１１ スキャナ １１２ 通信Ｉ／Ｆ １１３ モデム １２１ キーボード １２２ マウス １２３ マイク １２４ 音声認識プログラムメモリ １２５ 画像認識プログラムメモリ １２６ 画像認識辞書 １３１ ＣＰＵ １３２ プログラムメモリ １３３ ＲＡＭ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１０年６月３日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】請求項８

【補正方法】変更

【補正内容】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正内容】

【００２３】また、請求項８の発明に係る画像検索装置
は、複数の視覚的印象から新しい視覚的印象を導き出す
ための推論を支援する知識データベースと、画像データ
と該画像データに基づいて形成される画像についての複
数の視覚的印象を示す自然言語データとを関連付けて記
憶する画像データベースと、検索文を示す自然言語デー
タを入力する検索文入力手段と、画像データベースに記
憶された各自然言語データについて、知識データベース
を参照しながら、複数の視覚的印象から検索文入力手段
により入力された自然言語データの視覚的印象に相当す
る新しい視覚的印象を導き出す推論手段と、画像データ
ベースに記憶された自然言語データの内で推論手段によ
り新しい視覚的印象を導き出せた自然言語データがあっ
た場合に該自然言語データに関連した画像データを画像
データベースから抽出する検索手段と、を備えたことを
特徴とする。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正内容】

【００３７】以上の４種類の視覚的情報１〜４を比較し
てみると、視覚的情報１〜３は、画像から受ける視覚的
な印象（憶測としての意味も含む）をその画像の特徴と
して表現しているので、主観的印象に該当するが、視覚
的情報４は、どちらかというと画像の構図をそのまま表
現しているので、主観的ではあるが、客観的印象に近い
ものである。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００４６

【補正方法】変更

【補正内容】

【００４６】図４に示した画像処理装置は、例えば、画
像入力部１、自然言語入力部２、画像／自然言語関連付
け部３、表示部４、画像データベース５、検索部６、言
語解析部７、および辞書部８を備えている。画像入力部
１は、画像データベース５に登録すべき画像データを入
力し、自然言語入力部２は、画像データベース５に登録
すべき画像データに関連付けて付加する視覚的情報や検
索時の検索文を自然言語データとして入力する。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００６９

【補正方法】変更

【補正内容】

【００６９】その後、検索文すなわち自然言語データの
入力が受け付けられる（ステップＳ６２）。自然言語デ
ータは自然言語入力部２を通じて入力されるデータであ
る。自然言語入力が開始されると、図１３（ｂ）に示し
たように、自然言語表示エリア３０２内に「テーブルの
上に冷えた飲み物を置いている画像は？」の如く検索文
が表示される。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】０１２４

【補正方法】変更

【補正内容】

【０１２４】この通信Ｉ／Ｆ１１２およびモデム１１３
は、画像入力部１を構成することから、他の画像入力部
として前述の各実施の形態の構成に追加されるものであ
る。この通信Ｉ／Ｆ１１２およびモデム１１３により外
部から画像データを入力することができる。

【手続補正７】

【補正対象書類名】図面

【補正対象項目名】図１１

【補正方法】変更

【補正内容】

【図１１】

Claims (13)

【特許請求の範囲】
1. 【請求項１】 画像データをデータベース化して管理す
   る画像管理装置において、 画像データと該画像データに基づいて形成される画像に
   ついての視覚的印象を示す自然言語データとを関連付け
   て記憶したことを特徴とする画像管理装置。
2. 【請求項２】 画像データをデータベース化して管理す
   る画像管理装置において、 画像データと該画像データに基づいて形成される画像に
   ついての視覚的印象を示す自然言語データとを関連付け
   て記憶する画像データベースを有し、 前記画像データベースは、ある視覚的印象を用いてアク
   セスされ、かつ、前記ある視覚的印象が自データベース
   上の自然言語データで示される視覚的印象の一部であっ
   た場合、前記ある視覚的印象を含む自然言語データに関
   連する画像データを応答することを特徴とする画像管理
   装置。
3. 【請求項３】 さらに、キー操作，音声認識，画像認識
   などを通じて自然言語データを入力する入力手段を有
   し、該入力手段により入力された自然言語データを画像
   データに関連付けて記憶することを特徴とする請求項１
   または２に記載の画像管理装置。
4. 【請求項４】 前記画像データは静止画データ，動画デ
   ータなどのデータであることを特徴とする請求項１〜３
   のいずれか一つに記載の画像管理装置。
5. 【請求項５】 画像データと該画像データに基づいて形
   成される画像についての視覚的印象を示す自然言語デー
   タとを関連付けて記憶する画像データベースと、 検索文を示す自然言語データを入力する検索文入力手段
   と、 前記画像データベースに記憶された自然言語データに対
   して前記検索文入力手段により入力された自然言語デー
   タを照合し、その照合結果に応じて視覚的印象が共通す
   る自然言語データに関連した画像データを前記画像デー
   タベースから抽出する検索手段と、 を備えたことを特徴とする画像検索装置。
6. 【請求項６】 前記検索手段は前記画像データベースに
   記憶された自然言語データと前記検索文入力手段により
   入力された自然言語データとを言語解析してから照合す
   ることを特徴とする請求項５に記載の画像検索装置。
7. 【請求項７】 前記検索手段は前記照合結果に応じて類
   似度の高い方から昇順で複数の画像データを抽出するこ
   とを特徴とする請求項５または６に記載の画像検索装
   置。
8. 【請求項８】 複数の視覚的印象から新しい視覚的印象
   を導き出すための推論を支援する知識データベースと、 画像データと該画像データに基づいて形成される画像に
   ついての複数の視覚的印象を示す自然言語データとを関
   連付けて記憶する画像データベースと、 検索文を示す自然言語データを入力する検索文入力手段
   と、 前記画像データベースに記憶された各自然言語データに
   ついて、前記知識データベースを参照しながら、複数の
   視覚的印象から前記検索文入力手段により入力された自
   然言語データの視覚的印象に相当する新しい視覚的印象
   を導き出す推論手段と、 前記記憶手段に記憶された自然言語データの内で前記推
   論手段により前記新しい視覚的印象を導き出せた自然言
   語データがあった場合に該自然言語データに関連した画
   像データを前記画像データベースから抽出する検索手段
   と、 を備えたことを特徴とする画像検索装置。
9. 【請求項９】 前記推論手段は前記画像データベースに
   記憶された自然言語データと前記検索文入力手段により
   入力された自然言語データとを言語解析してから推論す
   ることを特徴とする請求項８に記載の画像検索装置。
10. 【請求項１０】 さらに、前記検索手段により抽出され
    た画像データに基づいて画像表示を行う画像表示手段を
    有したことを特徴とする請求項５〜９のいずれか一つに
    記載の画像検索装置。
11. 【請求項１１】 画像データをデータベース化して管理
    する画像管理方法において、 画像データと該画像データに基づいて形成される画像に
    ついての視覚的印象を示す自然言語データとを関連付け
    る第１工程と、 前記第１工程により関連付けられた画像データおよび自
    然言語データを記憶する第２工程と、 を含んだことを特徴とする画像管理方法。
12. 【請求項１２】 検索文を示す自然言語データを入力す
    る第１工程と、 画像データと該画像データに基づいて形成される画像に
    ついての視覚的印象を示す自然言語データとを関連付け
    て記憶した画像データベースに記憶された自然言語デー
    タに対して前記第１工程により入力された自然言語デー
    タを照合する第２工程と、 前記第２工程の照合結果に応じて視覚的印象が共通する
    自然言語データに関連した画像データを前記画像データ
    ベースから抽出する第３工程と、 を含んだことを特徴とする画像検索方法。
13. 【請求項１３】 前記請求項１１または１２に記載され
    た方法をコンピュータに実行させるプログラムを記録し
    たことを特徴とするコンピュータ読み取り可能な記録媒
    体。