JP2010271769A - 画像処理方法及び装置、並びに、そのためのコンピュータプログラム - Google Patents

Abstract

【課題】簡単な処理で画像にキーワードを付与することのできる技術、及び、キーワードが付与された画像の検索をより適切に行うことのできる技術を提供する。
【解決手段】まず、対象画像と複数のキーワード付与済み画像の画素値をそれぞれ解析することによって、画像特徴量をそれぞれ算出する。そして、これらの画像特徴量に基づいて、対象画像と複数のキーワード付与済み画像のそれぞれとの間の類似度を算する。そして、類似度の高い複数の類似画像を複数のキーワード付与済み画像の中から選択する。さらに、複数の類似画像の中の複数の画像に共通して付与されているキーワードを選択するとともに、選択したキーワードを対象画像に付与する。
【選択図】図３

Description

本発明は、画像処理技術に関し、特に、画像にキーワードを付与する技術及びキーワードが付与された画像を検索する技術に関するものである。

画像の検索は、キッワードを用いて行われることが多い。しかし、画像にキーワードを付与するにはかなりの手間を要するので、キーワード付与の手間を軽減したいという要望があった。また、従来から、キーワード付与済み画像の検索をより適切に行う技術が望まれていた。

特開２００７−２８０１０６号公報 特開２００８−２８２１００号公報

本発明は、簡単な処理で画像にキーワードを付与することのできる技術を提供することを第１の目的とする。また、本発明は、キーワードが付与された画像の検索をより適切に行うことのできる技術を提供することを第２の目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］
画像処理方法であって、
（ａ）コンピューターが、対象画像と複数のキーワード付与済み画像の画素値をそれぞれ解析することによって、画像特徴量をそれぞれ算出する工程と、
（ｂ）コンピューターが、前記画像特徴量に基づいて、前記対象画像と前記複数のキーワード付与済み画像のそれぞれとの間の類似度を算出する工程と、
（ｃ）コンピューターが、前記類似度の高い複数の類似画像を前記複数のキーワード付与済み画像の中から選択する工程と、
（ｄ）コンピューターが、前記複数の類似画像の中の複数の画像に共通して付与されているキーワードを選択するとともに、選択したキーワードを前記対象画像に付与する工程と、
を備える画像処理方法。
この方法によれば、対象画像との類似度が高い複数の類似画像を複数のキーワード付与済み画像の中から選択し、これらの複数の類似画像の中の複数の画像に共通して付与されているキーワードを選択するとともに、選択したキーワードを対象画像に付与するので、簡単な処理で画像にキーワードを付与することが可能である。

［適用例２］
適用例１記載の画像処理方法であって、
前記工程（ｄ）は、
（ｄ１）前記複数の類似画像に関して、キーワード毎の画像数を算出する工程と、
（ｄ２）前記画像数に基づいて各キーワードの重みを前記対象画像に付与する工程と、
を含む、画像処理方法。
この構成によれば、キーワード毎の画像数に基づいて各キーワードの重みを対象画像に付与するので、この重みを、キーワードの信頼度を表す指標として機能させることが可能である。

［適用例３］
適用例１又は２記載の画像処理方法であって、
前記工程（ｄ２）で付与する重みは１未満の値である、画像処理方法。
この構成によれば、上記処理に従って自動で付与されたキーワードの重みを、人手で付与された通常のキーワードの重みよりも小さくすることができるので、キーワードの重みを、キーワードの信頼度を示す指標としてより適切に機能させることが可能である。

［適用例４］
適用例３記載の画像処理方法であって、
前記工程（ａ），（ｂ）において算出の対象となる前記複数のキーワード付与済み画像は、重みの指定が無いキーワードが付与された画像である、画像処理方法。
この構成によれば、重み付きのキーワード付与済み画像に基づいてキーワードを付与する場合に比べて、より正確にキーワードを付与することが可能である。

［適用例５］
適用例４記載の画像処理方法であって、
前記重みの指定が無いキーワードは、人手で付与されたキーワードである、画像処理方法。
この構成によれば、通常の人手で付与されたキーワードを重みの指定が無いキーワードとして使用するので、正確にキーワードを付与することが可能である。

［適用例６］
画像処理装置であって、
対象画像と複数のキーワード付与済み画像の画素値をそれぞれ解析することによって、画像特徴量をそれぞれ算出する画像特徴量算出部と、
前記画像特徴量に基づいて、前記対象画像と前記複数のキーワード付与済み画像のそれぞれとの間の類似度を算出する類似度算出部と、
前記類似度の高い複数の類似画像を前記複数のキーワード付与済み画像の中から選択する画像選択部と、
前記複数の類似画像の中の複数の画像に共通して付与されているキーワードを選択するとともに、選択したキーワードを前記対象画像に付与するキーワード設定部と、
を備える画像処理装置。

［適用例７］
コンピューターに画像処理を実行させるコンピュータプログラムであって、
対象画像と複数のキーワード付与済み画像の画素値をそれぞれ解析することによって、画像特徴量をそれぞれ算出する画像特徴量算出部と、
前記画像特徴量に基づいて、前記対象画像と前記複数のキーワード付与済み画像のそれぞれとの間の類似度を算出する類似度算出部と、
前記類似度の高い複数の類似画像を前記複数のキーワード付与済み画像の中から選択する画像選択部と、
前記複数の類似画像の中の複数の画像に共通して付与されているキーワードを選択するとともに、選択したキーワードを前記対象画像に付与するキーワード設定部と、
の機能をコンピューターに実行させるコンピュータプログラム。

［適用例８］
画像処理方法であって、
（ａ）コンピューターが、１つ以上のキーワードの指定を受け付ける工程と、
（ｂ）コンピューターが、指定されたキーワードと、複数の重み付きキーワード付与済み画像に付与されている重み付きキーワードとの適合度を算出して、前記適合度の順に複数の画像を表示する工程と、
を備える画像処理方法。
この方法によれば、重み付きキーワード付与済み画像に付与されている重み付きキーワードと、指定されたキーワードとの適合度に応じて画像が検索されるので、重み付きキーワードが付与された画像の検索をより適切に行うことが可能である。

［適用例９］
画像処理方法であって、
（ａ）コンピューターが、クエリー画像として、重み付きキーワード付与済み画像の指定を受け付ける工程と、
（ｂ）コンピューターが、前記クエリー画像として指定された前記重み付きキーワード付与済み画像に付与されている重み付きキーワードと、他のキーワード付与済み画像に付与されているキーワードとの適合度を算出して、前記適合度の順に複数の画像を表示する工程と、
を備える画像処理方法。
この方法によれば、重み付きキーワード付与済み画像に付与されている重み付きキーワードと、他のキーワード付与済み画像に付与されているキーワードとの適合度に応じて画像が検索されるので、重み付きキーワードが付与された画像の検索をより適切に行うことが可能である。

本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、キーワード付与方法及び装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。なお、コンピューター読み取り可能な記録媒体としては、ＣＤ−ＲＯＭや、ＤＶＤ、ハードディスクなどの実体的な記録媒体を採用可能である。

本発明の一実施形態としてのネットワークシステムの全体構成を示す説明図である。 キーワード付与処理装置によって実行されるキーワード付与処理の手順を示すフローチャートである。 キーワード付与処理の内容を示す説明図である。 ２つ以上の画像特徴量を用いた場合のキーワードの決定方法を示す説明図である。 指定キーワードによる画像検索の手順を示すフローチャートである。 指定キーワードによる画像検索の適合度の計算例を示す説明図である。 指定キーワードによる画像の検索結果の例を示す説明図である。 キーワード付与済み画像をクエリー画像とした画像検索の手順を示すフローチャートである。 キーワード付与済み画像をクエリーとした画像検索の適合度の計算例を示す説明図である。 キーワード付与済み画像をクエリーとした画像の検索結果の例を示す説明図である。

本発明の実施の形態を以下の順序で説明する。
Ａ．装置構成とキーワード付与処理
Ｂ．重み付きキーワード付与済み画像を利用した検索処理
Ｃ．テクスチャの特徴量距離の計算
Ｄ.変形例

Ａ．装置構成とキーワード付与処理：
図１は、本発明の一実施形態としてのネットワークシステムの全体構成を示す説明図である。このシステムは、インターネットを介して相互に接続されており、画像データベースサーバー１００と、キーワード付与処理装置２００と、クライアントコンピューター３００とを含んでいる。なお、キーワード付与処理装置２００は、ローカルネットワークを介して画像データベースサーバー１００に接続されていてもよい。

画像データベースサーバー１００は、外部からの検索要求や書き込み要求などの各種のクエリーを処理するクエリー処理部１１０を有している。キーワード付与処理装置２００は、画像特徴量を算出する特徴量算出部２１０と、画像特徴量に基づいて画像同士の類似度を算出する類似度算出部２２０と、類似度に基づいて画像を選択する画像選択部２３０と、この画像選択結果に基づいてキーワードを画像に設定するキーワード設定部２４０と、を備えている。これらの各部２１０〜２４０の機能は、ソフトウェアとして実現することも可能であり、あるいは、ハードウェアとして実現することも可能である。なお、キーワード付与処理装置２００は、ハードディスク装置２５０に格納されている画像、又は、画像データベースサーバー１００に格納されている画像に対してキーワードの付与を実行する。

クライアントコンピューター３００は、モニター３２０とデータ処理部３４０とを有しており、プリンター３３０に接続されている。データ処理部３４０には、例えば、ブラウザー３４２や画像アルバム３４４などのアプリケーションプログラムが実装されている。画像アルバム３４４は、ハードディスク装置３５０に格納された画像データを管理するソフトウェアである。画像アルバム３４４には、キーワード付与処理装置２００と同様な機能を実装することが可能である。この場合に、画像アルバム３４４は、ハードディスク装置３５０内に格納された画像に対してキーワードの付与を実行する。

なお、本実施形態で利用される各種のコンピューター１００，２００，３００は、演算手段としてのＣＰＵと、記憶手段としてのメモリーやハードディスクとを有しており、また、必要に応じて、入力手段としてのキーボード及びマウスや、表示手段としてのモニターを有している。

図２は、キーワード付与処理装置２００によって実行されるキーワード付与処理の手順を示すフローチャートである。図３は、キーワード付与処理の内容を示す説明図である。以下では、画像データベースサーバー１００に格納されている画像に対してキーワードの付与を実行する場合について説明する。

図２のステップＳ１００では、キーワード付与処理に使用する画像特徴量Ciが予め選択される。画像特徴量Ciとしては、例えば以下のものを利用可能である。
[1] 平均輝度値：Yave
[2] 平均色相値：Have
[3] ＲＧＢ平均値：(Rave, Gave, Bave)
[4] 輝度ヒストグラム：Hy
[5] 輝度ヒストグラムの分散：Sy
[6] テクスチャ特徴量：V(i,j)
[7] 上記[1] 〜[6] の２つ以上の複合特徴量：例えば(Yave, Have)

平均輝度値Yave、平均色相値Have、及び、ＲＧＢ平均値(Rave, Gave, Bave)は、画像特徴量の算出対象となる画像（以下、「対象画像」と呼ぶ）の輝度値の平均値、色相値の平均値、及び、ＲＧＢ値の平均値である。なお、輝度値としては、ＨＳＶ表色系の明度値Ｖや、ＨＳＬ表色系の輝度値Ｌ、Ｌ*ａ*ｂ*表色系の明度値Ｌ*などを使用することができる。また、色相値としては、ＨＳＶ表色系やＨＳＬ表色系の色相値Ｈを使用することができる。輝度ヒストグラムHyは、対象画像の輝度値のヒストグラムである。輝度ヒストグラムHyは、輝度値が取りうる値の全範囲を複数の区画に分割し、これらの各区画毎の画素度数を示すものである。なお、値の全範囲を複数の区画に分割することを「量子化」とも呼ぶ。ヒストグラムとしては、ＲＧＢ等の複数の色チャンネルで構成されるカラー画像値のヒストグラム（「カラーヒストグラム」とも呼ぶ）を利用してもよい。カラーヒストグラムは、色チャンネルのそれぞれを量子化することによって色空間を複数のカラービンに分割し、これらのカラービンのそれぞれにおける画素度数を示すものである。例えばＲＧＢ色空間が用いられる場合には、ＲＧＢの各チャンネルが４等分に量子化され（すなわち、例えば各チャンネルの値の範囲が０から２５５である場合には、０〜６３、６４〜１２７、１２８〜１９１、１９２〜２５５の４つのレンジに量子化され）て、色空間全体を６４個（＝４³）のカラービンに分割し、これらのカラービンのそれぞれにおける画素度数分布が算出される。輝度ヒストグラムの分散Syは、輝度ヒストグラムHyについての統計的な分散である。なお、ヒストグラムを代表する値としては、分散の代わりに、標準偏差や歪度（skewness）を利用することも可能である。画像のテクスチャを表す特徴量としては、例えばHaarウェーブレット係数V(i,j)を利用することができる。Haarウェーブレット係数V(i,j)については、Ｃ節において詳述する。なお、画像特徴量としては、上記[1] 〜[6] の２つ以上を複合した複合特徴量を利用することが可能である。このような複合特徴量としては、例えば、平均輝度／平均色相複合値(Yave, Have)を利用可能である。

上記の画像特徴量[1] 〜[7] のうちで、特徴量[1] ，[2] ，[5] は１つの値のみで表される画像特徴量である。一方、特徴量[3] ，[4] ，[6] ，[7] は複数の値で表される画像特徴量である。本実施形態のキーワード付与処理では、１つの値のみで表される画像特徴量と、複数の値で表される画像特徴量のいずれでも利用可能である。但し、画像特徴量としては、対象画像の画素値を解析して得られるものを利用することが好ましく、画像のメタデータでは無いものが好ましい。ここで、「メタデータ」とは、データに関するデータを意味している。例えば、画像の代表的なメタデータとしては、画像の作成日時や、画像の撮影条件、キーワードなどが含まれる。

図２のステップＳ１００においては、このような画像特徴量Ciのいずれかが予め１つ以上選択される。図３（Ａ）の例では、平均色相値Haveと、輝度ヒストグラムHyとが選択されている。なお、ステップＳ１００では、オペレータが手動で画像特徴量Ciの選択を行ってもよく、また、デフォールトとして予め選択されている画像特徴量Ciをそのまま使用してもよい。

ステップＳ１１０では、特徴量算出部２１０が、キーワード付与の対象となる対象画像を１つ選択する。対象画像は、例えば、画像データベースサーバー１００に格納されている画像の中で、キーワードが未付与の画像が順次１つずつ自動的に選択される。なお、対象画像は、他の装置（例えばキーワード付与処理装置２００内のハードディスク装置２５０）内の画像を選択しても良い。

ステップＳ１２０では、特徴量算出部２１０が、対象画像の画像特徴量と、複数のキーワード付き画像の画像特徴量をそれぞれ算出する。ここで、キーワード付き画像としては、画像データベースサーバー１００に格納されている画像の中で、キーワードが既に付与されている多数の画像が選択される。ステップＳ１３０では、類似度算出部２２０が、対象画像と、各キーワード付き画像との間の類似度を算出する。類似度を示す指標としては、例えば特徴量距離を利用することが可能である。上記特徴量[1] 〜[7] に関する特徴量距離は、ユークリッド距離やマンハッタン距離として算出することができ、例えば以下の式でそれぞれ算出可能である。

[1] 平均輝度値の特徴量距離：D(Yave）

ここで、添字Qは第１の画像を示し、添字Tは第２の画像を示す。重みwは、０でない任意の値（例えば１）を設定可能である。以下の(2)〜(8)式に現れる他の重みも同様である。

[2] 平均色相値の特徴量距離：D(Have)

[3] ＲＧＢ平均値の特徴量距離：D(Rave, Gave, Bave)

[4] 輝度ヒストグラムの特徴量距離：D(Hy)

[5] 輝度ヒストグラムの分散の特徴量距離：D(Sy)

[6] テクスチャ（Haarウェーブレット係数）の特徴量距離（その１）：D(V)

又は

[7] 平均輝度／平均色相複合値の特徴量距離：D(Yave, Have)

なお、図３（Ａ）では、画像特徴量Ciとして平均色相値Haveと輝度ヒストグラムHyとが選択されているので、図３（Ｂ）ではそれらの特徴量距離D(Have)，D(Hy)が算出されている。

ステップＳ１４０では、画像選択部２３０が、類似度が許容値を満足するキーワード付き画像を類似画像として複数選択する。具体的には、特徴量距離が許容値以下のキーワード付き画像が、類似画像として複数選択される。ステップＳ１５０では、キーワード設定部２４０が、選択された画像に付与されているキーワードのヒストグラムを作成する。図３（Ｃ）では、こうして得られたキーワードヒストグラムの例を示している。この例では、「夕日」と、「海辺」と、「パーティー」と、「夏」の４つのキーワードについて、それぞれ画像数（すなわち頻度）が示されている。

ステップＳ１６０では、キーワード設定部２４０が、頻度が予め設定された閾値以上であるキーワードを選択して、対象画像に付与する。具体的には、図３（Ｃ）に示す４つのキーワードのうちで閾値以上である「夕日」と、「海辺」と、「夏」の３つのキーワードが選択される。キーワード設定部２４０は、これらの３つのキーワードを対象画像に登録する登録要求を、画像データベースサーバー１００に対して発行する。画像データベースサーバー１００のクエリー処理部１１０は、この要求に応じて、対象画像に対して３つのキーワードを画像データベースに登録する。

なお、ステップＳ１６０において選択されたキーワードには、キーワードヒストグラム（図３（Ｃ））に応じた重みを付けることが好ましい。例えば、図３（Ｄ）の例では、３つのキーワードの重みｗ１〜ｗ３がそれぞれ決定されている。これらの重みｗ１〜ｗ３の値は、各キーワードの頻度を、選択されたすべてのキーワードの頻度の合計で除算した値である。この例から理解できるように、各キーワードの重みは、図２の手順に従って自動的にキーワードを付与する場合のキーワードの信頼度又は確実度を表しているものと理解することが可能である。キーワードの重みとして１でない値が設定された場合には、各キーワードとその重みとを画像データベースに登録することが好ましい。

上述したキーワードの重みの決定方法は、単なる一例であり、他の方法で重みを決定してもよい。例えば、選択された複数のキーワードの頻度の範囲（図３（Ｃ）の例では１１０〜１５０）を、予め設定された重み値の範囲（例えば０．５〜０．９）に対応付ける直線的な対応付けによって、各キーワードの重みを決定してもよい。この例からも理解できるように、各キーワードの重みは、キーワードヒストグラムにおける頻度の１次関数によって決定することが好ましい。あるいは、予め設定された一定値（例えば、０．９５）をすべてのキーワードに付与しても良い。重みの値としては、０を除く１以下の値とすることが好ましく、特に、１未満の値とすることが好ましい。重みを１未満の値に設定する理由は、キーワードを利用した画像検索（後述）における検索精度を向上させるためである。すなわち、図２の手順によって自動的に付与されたキーワードの重みを１未満の値に設定し、一方、人手で付与されたキーワードの重みを１とすれば、キーワードを利用した画像検索において、人手で付与されたキーワード（すなわち、重みの指定が無いキーワード）を有する画像を、より適合度の高い画像として検索できるからである。この点についてはさらに後述する。

なお、図２のステップＳ１１０〜Ｓ１５０で使用するキーワード付き画像としては、重み付きキーワード付与済み画像を排除し、人手でキーワードが付与された画像のみを使用することが好ましい。この理由は、図２の手順に従って自動的にキーワードが付与された画像は、人手でキーワードが付与されている画像に比べて、キーワードの信頼度が低いためである。

図４は、２つ以上の画像特徴量を用いた場合のキーワードの決定方法を示す説明図である。ここでは、図２のステップＳ１００において２つの画像特徴量が選択され、これに応じて図４（Ａ），（Ｂ）の２つのキーワードヒストグラムが作成された例を示している。

２つ以上の画像特徴量を用いた場合に、キーワードの重みを決定する方法としては、例えば以下の２つの方法がある。
＜方法１（図４（Ｃ））＞
（１）それぞれのキーワードヒストグラムにおいて選択されたキーワードの頻度のみを用いて、各キーワードの重みを決定する。
（２）複数のキーワードヒストグラムにおいて共通するキーワード（例えば「夏」）が選択された場合には、そのキーワードの重みの合計値が、調整後の重みとして使用される。調整後の重みが１以上となる場合には、１未満の所定値（例えば０．９５）に再調整される。
＜方法２（図４（Ｄ））＞
（１）それぞれのキーワードヒストグラムにおいて選択されたキーワードの頻度の合計値を用いて、各キーワードの重みを決定する。

これらの例から理解できるように、複数の画像特徴量を用いた場合には、各キーワードの重みをキーワードヒストグラムの頻度に応じて設定することが可能である。キーワードの重みはキーワードの信頼度を示す指標となるので、重み付きキーワードを対象画像に付与すれば、キーワードを指定した画像検索の精度を高めることが可能である。なお、複数の画像特徴量を用いた場合のキーワードの重み決定方法としては、図４に示した方法以外の方法も採用可能である。

以上のように、本実施形態では、画像特徴量を用いた類似度に基づいて、対象画像に類似する複数のキーワード付き画像を類似画像として選択し、これらの類似画像の中の複数の画像に共通して付与されているキーワードを選択して対象画像に付与しているので、キーワードを自動的かつ効率的に付与することが可能である。

Ｂ．重み付きキーワード付与済み画像を利用した検索処理：
図５は、指定キーワードによる画像検索の手順を示すフローチャートである。ここでは、クライアントコンピューター３００のブラウザー３４２上においてキーワードを指定し、これに応じてＷｅｂサーバー（図示省略）が検索要求を画像データベースサーバー１００に送信した場合を想定する。

ステップＳ２００では、画像データベースサーバー１００のクエリー処理部１１０が１つ以上の指定キーワードを含む検索要求を受信する。ステップＳ２１０では、クエリー処理部１１０がこの検索要求に応じて、画像データベース内の各画像（「ターゲット画像」と呼ぶ）に付与されているキーワードと、指定キーワードとの適合度（「スコア」とも呼ぶ）を算出する。

キーワード検索の適合度としては、例えば以下のいずれかを採用することができる。

ここで、w_jはターゲット画像に付与されたキーワードの重みであり、Key_jは、ターゲット画像に指定キーワードが付与されている場合には「１」、付与されていない場合には「０」を取る値である。

上記（９）式で与えられる第１の適合度M1は、ターゲット画像に付与されているキーワードの重みw_jと、ターゲット画像に指定キーワードが付与されているか否かを示す２値の指標値Key_jとの積和である。一方、上記（１０）式で与えられる第２の適合度M2は、キーワードの重みw_jと指標値Key_jとの差分の絶対値の和である。この第２の適合度M2は、個々のキーワードを独立した次元と考えた多次元空間におけるマンハッタン距離に相当する。

図６（Ａ）は、第１の適合度M1を用いた場合の指定キーワードとターゲット画像との適合度の計算例を示している。ここで、第１と第２のターゲット画像Ｔ１，Ｔは、重み付きキーワード付与済み画像であり、第３のターゲット画像Ｔ３は重みが付されていないキーワード付与済み画像である。なお、重みが付されていないキーワード付与済み画像Ｔ３では、キーワードの重みは１であるとしている。第１の適合度M1を使用した場合には、指定キーワードと、ターゲット画像に付与されているキーワードとが一致するほど適合度M1の値が増大する。また、例えば、キーワードとして「夕日」のみを指定した場合には、３つのターゲット画像におけるキーワード「夕日」の重みｗ１が、そのまま適合度M1の値となる。すなわち、一般に、重み付きキーワード付与済み画像におけるキーワードの重みが大きいほど、適合度M1として大きな値が得られる。換言すれば、キーワードの重みと適合度M1には正の相関がある。

図６（Ｂ）は、第２の適合度M2を用いた場合の指定キーワードとターゲット画像との適合度の計算例を示している。第２の適合度M2を使用した場合には、指定キーワードと、ターゲット画像に付与されているキーワードとが一致するほど、適合度M2の値が減少する。また、一般に、重み付きキーワード付与済み画像におけるキーワードの重みが大きいほど、適合度M2として小さな値が得られる。すなわち、キーワードの重みと適合度M2には負の相関がある。

いずれの適合度M1,M2を用いた場合にも、指定キーワードとターゲット画像のキーワードとの適合度を精度良く判定することが可能である。特に、本実施形態では、キーワードの重みと正又は負の相関がある適合度を算出しているので、ターゲット画像に重み付きキーワードが付与されている場合に、重みに応じた適切な適合度を得ることが可能である。なお、適合度の計算方法としては、上記（９），（１０）式以外のものも使用可能である。例えば、ユークリッド距離を利用した適合度を使用しても良い。

図５のステップＳ２２０では、クエリー処理部１１０が、適合度の順に画像を並べて検索要求元に返信し、これに応じて複数の画像がブラウザー３４２の画面上に配置される。

図７は、ブラウザー３４２の検索結果ウィンドウＷ３に表示された検索結果の例を示す説明図である。検索結果ウィンドウＷ３には、クエリー指定エリアＡｒ６１と、検出画像表示エリアＡｒ６２が含まれている。検出画像表示エリアＡｒ６２には、検出画像Ｄｉが適合度順に並べて表示される。検出画像表示エリアＡｒ６２には、検出画像Ｄｉのそれぞれに対応したクエリー設定ボタンＢｕ６２が含まれている。クエリー設定ボタンＢｕ６２は、検出画像Ｄｉをクエリー画像として設定することを指示するためのボタンである。ユーザーによりクエリー設定ボタンＢｕ６２が選択されると、選択されたクエリー設定ボタンＢｕ６２に対応する検出画像Ｄｉが新たなクエリー画像として設定され、クエリー画像を用いた画像検索が実行される。この処理については後述する。

検索結果ウィンドウＷ３には、さらに、印刷指定エリアＡｒ６３が含まれている。ユーザーが、例えば検出画像Ｄｉのアイコンを印刷指定エリアＡｒ６３にドラッグアンドドロップして、印刷指定エリアＡｒ６３に検出画像ＤｉのアイコンＩＣを表示させることにより、印刷すべき検出画像Ｄｉを指定することができる。図７の例では、２つの検出画像Ｄｉが印刷すべき画像に指定されている。印刷指定エリアＡｒ６３には、印刷実行ボタンＢｕ６４と印刷指定解除ボタンＢｕ６５とが含まれている。ユーザーは、印刷指定エリアＡｒ６３に表示された画像のアイコンＩＣを選択すると共に印刷指定解除ボタンＢｕ６５を選択することにより（または画像のアイコンＩＣを印刷指定解除ボタンＢｕ６５上にドラッグアンドドロップすることにより）、当該画像の印刷指定を解除することができる。また、ユーザーは、印刷実行ボタンＢｕ６４を選択することにより、印刷指定エリアＡｒ６３に表示されたアイコンＩＣに対応する検出画像Ｄｉの印刷実行開始を指示することができる。印刷実行開始が指示されると、プリンター３３０が検出画像Ｄｉの印刷を実行する。

図５のステップＳ２３０では、検索条件が変更されたか否かが判断される。ユーザーによって検索条件（すなわち指定キーワード）が変更された場合には、ステップＳ２００〜Ｓ２２０の処理が再度実行される。

このように、キーワードの指定による画像検索において、キーワード付与済み画像に設定されているキーワードの重みを利用してキーワードの適合度を判定すれば、キーワードの重みに基づいた適切な画像検索を実行することが可能である。

図８は、キーワード付与済み画像をクエリー画像とした画像の検索手順を示すフローチャートである。この処理は、例えば、図７において、クエリー設定ボタンＢｕ６２によって検出画像Ｄｉをクエリー画像として設定した場合に実行される。

図８のステップＳ３００〜Ｓ３２０の処理は、図５のステップＳ２００〜Ｓ２３０におけるクエリーを、「指定キーワード」から「キーワード付与済み画像」に変更したものに相当する。すなわち、ステップＳ３００では、画像データベースサーバー１００のクエリー処理部１１０が、キーワード付与済み画像をクエリー画像として含む検索要求を受信し、ステップＳ３１０では、画像データベース内の各画像（「ターゲット画像」と呼ぶ）に付与されているキーワードと、クエリー画像に付与されているキーワードとの適合度を算出する。適合度としては、図５のステップＳ２１０で使用されたものと同じ指標を利用可能である。但し、ステップＳ３１０の計算では、上記（９），（１０）式の変数w_jはクエリー画像に付与されたキーワードの重みであり、Key_jは、ターゲット画像にキーワードが付与されている場合には「１」、付与されていない場合には「０」を取る値である。

図９（Ａ）は、第１の適合度M1を用いた場合のクエリー画像とターゲット画像との適合度の計算例を示している。ここでは、クエリー画像にはキーワードに重みが付与されており、ターゲット画像にはキーワードが重みが付与されていない（すなわち重みが１）と仮定している。第１の適合度M1を使用した場合には、クエリー画像に付与されているキーワードと、ターゲット画像に付与されているキーワードとが一致するほど適合度M1の値が増大する。また、クエリー画像におけるキーワードの重みが大きいほど、適合度M1として大きな値が得られる。

図９（Ｂ）は、第２の適合度M2を用いた場合のクエリー画像とターゲット画像との適合度の計算例を示している。第２の適合度M2を使用した場合には、クエリー画像に付与されているキーワードと、ターゲット画像に付与されているキーワードとが一致するほど、適合度M2の値が減少する。また、重み付きキーワード付与済み画像におけるキーワードの重みが大きいほど、適合度M2として小さな値が得られる。

このように、重み付きキーワード付与済み画像をクエリー画像として用いた場合にも、クエリー画像とターゲット画像のキーワードとの適合度を精度良く判定することが可能である。

図８のステップＳ３２０では、クエリー処理部１１０が、適合度の順に画像を並べて検索要求元のＷｅｂサーバーに返信し、これに応じて複数の画像がブラウザー３４２の画面上に配置される。

図１０は、ブラウザー３４２の検索結果ウィンドウＷ３に表示された検索結果の例を示す説明図である。この図は、クエリー指定エリアＡｒ６１にクエリー画像が表示されている点以外は、図７に示したものと同じである。図８のステップＳ３３０では、検索条件が変更されたか否かが判断される。ユーザーによって検索条件（すなわちクエリー画像）が変更された場合には、ステップＳ３００〜Ｓ３２０の処理が再度実行される。

このように、重み付きキーワード付与済み画像をクエリー画像として画像検索を行うことが可能である。また、この際に、キーワード付与済み画像に設定されているキーワードの重みを利用してキーワードの適合度を判定すれば、キーワードの重みに基づいて適切な画像検索を実行することが可能である。

Ｃ．テクスチャの特徴量距離の計算：
画像のテクスチャに関する特徴量距離Ｄ（Ｑ，Ｔ）は、例えば以下の式（１１）により算出される。式（１１）において、ｋはＨａａｒウェーブレット分解の対象画像の幅および高さであり、Ｑ（ｉ，ｊ）およびＴ（ｉ，ｊ）はそれぞれクエリー画像およびターゲット画像のＨａａｒウェーブレット分解結果の座標（ｉ，ｊ）におけるウェーブレット係数である。ここで、ウェーブレット係数としては、より小さい値を有する所定数のウェーブレット係数が切り捨てられた後、量子化が行われた値が用いられる。ウェーブレット係数の切り捨ては、予め指定されたウェーブレット係数数Ｃｕに基づき、値の最も大きいウェーブレット係数数Ｃｕのウェーブレット係数がそのまま残され、それ以外のウェーブレット係数（比較的値の小さい係数）の値がゼロにされる処理である。また、本実施形態におけるウェーブレット係数の量子化は、正の値を＋１に変換すると共に負の値を−１に変換する処理であり、以下の式（１２）により規定される。また、式（１１）において、ｗ（ｉ，ｊ）は実験により設定される重み係数である。また、式（１１）において、［Ｑ（ｉ，ｊ）≠₁Ｔ（ｉ，ｊ）］は、クエリー画像のウェーブレット係数とターゲット画像のウェーブレット係数との比較値であり、以下の式（１３）により規定される。すなわち、特徴量距離Ｄ（Ｑ，Ｔ）は、クエリー画像のウェーブレット係数がゼロでない座標についての、クエリー画像のウェーブレット係数とターゲット画像のウェーブレット係数との比較値の重み付け総和である。

なお、上記式（１１）は、特徴量距離Ｄ（Ｑ，Ｔ）の算出処理の高速化のために、種々の改良を含んでいる。すなわち、上記式（１１）では、量子化されたウェーブレット係数が用いられること、スケーリング関数係数（座標（０，０）に対応する係数）が省略されること、クエリー画像のウェーブレット係数Ｑ（ｉ，ｊ）がゼロである座標については総和の対象から除外し、Ｑ（ｉ，ｊ）がゼロでない座標のみを総和の対象とすること、といった改良がなされている。なお、シグネチャーメソッドがＨａａｒウェーブレットに設定された場合における特徴量距離Ｄ（Ｑ，Ｔ）の算出については、C. E. Jacobs、A. Finkelstein、D. H. Salesin著「Fast Multiresolution Image Querying」（Proceedings of 1995 ACM SIGGRAPH Conference, Los Angeles CA, USA, Aug. 9-11, pp. 277-286, 1995）に記載されているので、ここでは詳細な説明を省略する。

本実施例において、Ｈａａｒウェーブレット係数で構成される画像特徴量は、は、Linear Approximating and Eliminating Search Algorithm（以下、略して「ＬＡＥＳＡ」とも呼ぶ）と呼ばれる検索アルゴリズムを用いた画像検索方法に用いることができる。ＬＡＥＳＡは、ピボットベースの検索アルゴリズムの１つである。ピボットベースの検索アルゴリズムは、検索処理中における距離計算量を低減するために、事前処理として予め設定された複数のピボットポイントとの間の距離を算出し、検索処理の際には、検索条件を満たす可能性のないポイントを検出して距離算出の対象から除外する検索アルゴリズムである。ピボットベースの検索アルゴリズムやＬＡＥＳＡについては、Maria Luisa Mico, Jose Oncina著「A new version of the Nearest-Neighbour Approximating and Eliminating Search Algorithm (AESA) with linear preprocessing time and memory requirements」（Pattern Recognition Letters vol.15,p.9-p.7 1994年1月）や、Edgar Ch畚ochvez, J.L. Marroqu≡ochn, Ricardo Baeza-Yates,著「Spaghettis: An Array Based Algorithm for Similarity Queries in Metric Spaces」（spire,pp.38, String Processing and Information Retrieval Symposium & International Workshop on Groupware, 1999）に記載されているので、ここでは詳細な説明を省略する。

ＬＡＥＳＡのようなピボットベースの検索アルゴリズムを利用した画像検索方法を採用する場合には、特徴量距離Ｄ（Ｑ，Ｔ）の算出方法として、対称性のある方法を採用する必要がある。対称性のある方法とは、クエリー画像とターゲット画像との関係を逆にしても、両者の間の特徴量距離が不変である特徴量距離算出方法であり、以下の式（１４）を満たす方法である。

この特徴量距離Ｄ（Ｑ，Ｔ）の算出方法（上記式（１１））は、Ｑ（ｉ，ｊ）がゼロである座標が総和の対象から外されているため、対称性を有さない。

一方、特徴量距離Ｄ（Ｑ，Ｔ）を、以下の式（１５）により規定される方法で算出することも可能である。式（１５）において、ｋはＨａａｒウェーブレット分解の対象画像の幅および高さであり、Ｑ（ｉ，ｊ）およびＴ（ｉ，ｊ）はそれぞれクエリー画像およびターゲット画像のＨａａｒウェーブレット分解結果の座標（ｉ，ｊ）におけるウェーブレット係数（切り捨ておよび量子化後の値）であり、ｗ（ｉ，ｊ）は実験により設定される重み係数である。また、式（１５）において、［Ｑ（ｉ，ｊ）＝₂Ｔ（ｉ，ｊ）］は、クエリー画像のウェーブレット係数とターゲット画像のウェーブレット係数との比較値であり、以下の式（１６）により規定される。

式（１５）に示す特徴量距離Ｄ（Ｑ，Ｔ）は、クエリー画像のウェーブレット係数Ｑ（ｉ，ｊ）がゼロでない座標についての、クエリー画像のウェーブレット係数とターゲット画像のウェーブレット係数との比較値の重み付け総和と、ターゲット画像のウェーブレット係数Ｔ（ｉ，ｊ）がゼロでない座標についての、重み係数ｗ（ｉ、ｊ）の総和と、の和である。

式（１５）を上記式（１１）と比較するとわかるように、式（１５）では、ターゲット画像のウェーブレット係数Ｔ（ｉ，ｊ）がゼロでない座標に対応する重み係数ｗ（ｉ，ｊ）の総和が補正項として付加されている。式（１５）により規定される特徴量距離Ｄ（Ｑ，Ｔ）の算出方法は、以下、式（１７）を用いて説明するように、対称性を有する。

式（１７）の最上段は、式（１５）と同じである。式（１７）の２段目は、以下に説明するように、式（１７）の最上段と等価である。すなわち、まずＱ（ｉ，ｊ）＝Ｔ（ｉ，ｊ）（≠０）の場合、｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜＝−｜Ｔ（ｉ，ｊ）｜＝−１という等式が成立する。次に、Ｑ（ｉ，ｊ）≠Ｔ（ｉ，ｊ）であって、Ｔ（ｉ，ｊ）＝０の場合、｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜＝｜Ｑ（ｉ，ｊ）｜＝１という等式が成立する。最後に、Ｑ（ｉ，ｊ）≠Ｔ（ｉ，ｊ）であって、Ｔ（ｉ，ｊ）≠０の場合、｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜＝２−１＝１という等式が成立する。従って、すべての場合に、式（１７）の２段目の［｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜］は、式（１７）の最上段の［Ｑ（ｉ，ｊ）＝₂Ｔ（ｉ，ｊ）］と等しい。

Ｔ（ｉ，ｊ）≠０の場合、｜Ｔ（ｉ，ｊ）｜＝１という等式が成立するため、式（１７）の３段目は、式（１７）の２段目と等価である。式（１７）の３段目の第１項において、Ｔ（ｉ，ｊ）＝０の場合には｜Ｔ（ｉ，ｊ）｜＝０となるため、Ｔ（ｉ，ｊ）≠０の条件を外しても第１項の総和は同じである。また、式（１７）の３段目の第２項において、Ｑ（ｉ，ｊ）＝０の場合には｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜＝０となるため、Ｑ（ｉ，ｊ）≠０の条件を外しても第２項の総和は同じである。従って、式（１７）の３段目は、４段目のように書き改めることができる。また、式（１７）の４段目における第１項と第２項とを結合することにより、式（１７）の４段目は、５段目のように書き改めることができる。式（１７）の５段目は、上記式（１４）が成立するため、対称性を有する。従って、式（１７）の５段目と等価である式（１５）も対称性を有することとなる。

以上説明したように、上記式（１５）により規定される特徴量距離Ｄ（Ｑ，Ｔ）の算出方法は、対称性を有するため、ピボットベースの検索アルゴリズムを利用した画像検索を行う場合の特徴量距離Ｄ（Ｑ，Ｔ）の算出方法として採用可能である。上記式（１５）により規定される特徴量距離Ｄ（Ｑ，Ｔ）の算出方法は、クエリー画像のウェーブレット係数Ｑ（ｉ，ｊ）とターゲット画像のウェーブレット係数Ｔ（ｉ，ｊ）との比較値の総和（式（１５）の右辺の第２項）の計算において、クエリー画像のウェーブレット係数Ｑ（ｉ，ｊ）がゼロである場合が除外されているため、特徴量距離Ｄ（Ｑ，Ｔ）の算出速度を向上させることができる。また、上記式（１５）の右辺の第１項（補正項）は、ターゲット画像のみに依存しクエリー画像には依存しないため、画像検索処理の事前処理として計算しておくことが可能である。従って、上記式（１５）の特徴量距離Ｄ（Ｑ，Ｔ）の算出方法により、ＬＡＥＳＡのようなピボットベースの検索アルゴリズムを利用した画像検索処理の処理速度の高速化、処理時間の抑制を実現することができる。

Ｄ．変形例：
なお、この発明は上記の実施形態や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｄ１．変形例１：
上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

１００…画像データベースサーバー
１１０…クエリー処理部
２００…キーワード付与処理装置
２１０…特徴量算出部
２２０…類似度算出部
２３０…画像選択部
２４０…キーワード設定部
２５０…ハードディスク装置
３００…クライアントコンピューター
３２０…モニター
３３０…プリンター
３４０…データ処理部
３４２…ブラウザー
３４４…画像アルバム
３５０…ハードディスク装置

Claims (9)

1. 画像処理方法であって、
   （ａ）コンピューターが、対象画像と複数のキーワード付与済み画像の画素値をそれぞれ解析することによって、画像特徴量をそれぞれ算出する工程と、
   （ｂ）コンピューターが、前記画像特徴量に基づいて、前記対象画像と前記複数のキーワード付与済み画像のそれぞれとの間の類似度を算出する工程と、
   （ｃ）コンピューターが、前記類似度の高い複数の類似画像を前記複数のキーワード付与済み画像の中から選択する工程と、
   （ｄ）コンピューターが、前記複数の類似画像の中の複数の画像に共通して付与されているキーワードを選択するとともに、選択したキーワードを前記対象画像に付与する工程と、
   を備える画像処理方法。
2. 請求項１記載の画像処理方法であって、
   前記工程（ｄ）は、
   （ｄ１）前記複数の類似画像に関して、キーワード毎の画像数を算出する工程と、
   （ｄ２）前記画像数に基づいて各キーワードの重みを前記対象画像に付与する工程と、
   を含む、画像処理方法。
3. 請求項１又は２記載の画像処理方法であって、
   前記工程（ｄ２）で付与する重みは１未満の値である、画像処理方法。
4. 請求項３記載の画像処理方法であって、
   前記工程（ａ），（ｂ）において算出の対象となる前記複数のキーワード付与済み画像は、重みの指定が無いキーワードが付与された画像である、画像処理方法。
5. 請求項４記載の画像処理方法であって、
   前記重みの指定が無いキーワードは、人手で付与されたキーワードである、画像処理方法。
6. 画像処理装置であって、
   対象画像と複数のキーワード付与済み画像の画素値をそれぞれ解析することによって、画像特徴量をそれぞれ算出する画像特徴量算出部と、
   前記画像特徴量に基づいて、前記対象画像と前記複数のキーワード付与済み画像のそれぞれとの間の類似度を算出する類似度算出部と、
   前記類似度の高い複数の類似画像を前記複数のキーワード付与済み画像の中から選択する画像選択部と、
   前記複数の類似画像の中の複数の画像に共通して付与されているキーワードを選択するとともに、選択したキーワードを前記対象画像に付与するキーワード設定部と、
   を備える画像処理装置。
7. コンピューターに画像処理を実行させるコンピュータプログラムであって、
   対象画像と複数のキーワード付与済み画像の画素値をそれぞれ解析することによって、画像特徴量をそれぞれ算出する画像特徴量算出部と、
   前記画像特徴量に基づいて、前記対象画像と前記複数のキーワード付与済み画像のそれぞれとの間の類似度を算出する類似度算出部と、
   前記類似度の高い複数の類似画像を前記複数のキーワード付与済み画像の中から選択する画像選択部と、
   前記複数の類似画像の中の複数の画像に共通して付与されているキーワードを選択するとともに、選択したキーワードを前記対象画像に付与するキーワード設定部と、
   の機能をコンピューターに実行させるコンピュータプログラム。
8. 画像処理方法であって、
   （ａ）コンピューターが、１つ以上のキーワードの指定を受け付ける工程と、
   （ｂ）コンピューターが、指定されたキーワードと、複数の重み付きキーワード付与済み画像に付与されている重み付きキーワードとの適合度を算出して、前記適合度の順に複数の画像を表示する工程と、
   を備える画像処理方法。
9. 画像処理方法であって、
   （ａ）コンピューターが、クエリー画像として、重み付きキーワード付与済み画像の指定を受け付ける工程と、
   （ｂ）コンピューターが、前記クエリー画像として指定された前記重み付きキーワード付与済み画像に付与されている重み付きキーワードと、他のキーワード付与済み画像に付与されているキーワードとの適合度を算出して、前記適合度の順に複数の画像を表示する工程と、
   を備える画像処理方法。

Images