JP2007206919A - 表示制御装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】より少ない操作で、より迅速に所望の画像を表示させる。
【解決手段】距離計算部１２１は、選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算する。表示制御部１０６は、類似の順に第２の画像を表示させるように、第２の画像の表示を制御する。検索部１０７は、使用者の指示に応じて、類似の順に表示されている複数の第２の画像から、１つの第２の画像を選択する。表示制御部１０６は、１つの第２の画像が選択された場合、選択された第２の画像が属するグループに属する第３の画像および第２の画像を、グループにおける所定の順に表示させるように、第２の画像および第３の画像の表示を制御する。本発明はデジタルスチルカメラおよびＰＣアプリケーションに適用できる。
【選択図】図４

Description

本発明は表示制御装置および方法、プログラム、並びに記録媒体に関し、特に、所望の画像を表示させることができるようにした表示制御装置および方法、プログラム、並びに記録媒体に関する。

類似画像を検索し、閲覧することは、特許文献１など、多数提案されている。

特開２００５−２６９６０５号公報

しかしながら、類似画像を検索し、閲覧するだけでは、類似画像が類似順に並んで表示されるだけであり、人間の記憶の支配的な要素である時間の流れと反した画像の表示しかできず、結果として、ユーザの所望する画像を検索することができず、現実に使用できるものではなかった。

また、様々にグループ化したビューを一度に表示させる場合には、小さな表示画面しかないデジタルスチルカメラなどでは、一度に表示するには表示能力が足りず、現実的では無かった。

また、類似画像の検索は、あくまでも統計手法に基づく類似性の計算が基になっているので、人間が類似していると思う画像が必ず類似しているとされるわけではない。同じ日に、同じものを、別の角度や、異なる照明で撮影した画像を、これらの類似画像の検索により検索することは困難であった。

本発明は、このような状況に鑑みてなされたものであり、より少ない操作で、より迅速に所望の画像を表示させることができるようにするものである。

本発明の一側面の表示制御装置は、選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算する計算手段と、類似の順に前記第２の画像を表示させるように、前記第２の画像の表示を制御する表示制御手段と、使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像を選択する選択手段とを備え、前記表示制御手段は、１つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示を制御する。

前記表示制御手段は、１つの前記第２の画像が選択された場合、撮影された時刻の順に前記第２の画像および前記第３の画像を表示させるように、前記第２の画像および前記第３の画像の表示を制御することができる。

前記計算手段は、前記第１の画像および前記第２の画像のそれぞれについての、前記第１の画像および前記第２の画像の色を減色して得られた所定の数の色の頻度を示すヒストグラムを基に、複数の前記第２の画像のそれぞれと前記第１の画像との類似の度合いを計算することができる。

前記計算手段は、前記ヒストグラムにおける色毎の頻度を要素とするベクトルの距離である、複数の前記第２の画像のそれぞれと前記第１の画像との類似の度合いを計算することができる。

前記計算手段は、前記第１の画像および前記第２の画像のそれぞれについての、前記第１の画像および前記第２の画像のそれぞれを分割してなる所定の数のブロックにおける画像の周波数の成分であって、最大の成分の頻度を示すヒストグラムを基に、複数の前記第２の画像のそれぞれと前記第１の画像との類似の度合いを計算することができる。

前記計算手段は、前記ヒストグラムにおける画像の周波数の成分毎の頻度を要素とするベクトルの距離である、複数の前記第２の画像のそれぞれと前記第１の画像との類似の度合いを計算することができる。

前記計算手段は、前記第１の画像および前記第２の画像のそれぞれの特徴量であって、データベースに格納されている特徴量を基に、選択されている前記第１の画像に対する複数の前記第２の画像の類似の度合いを計算することができる。

前記表示手段は、使用者の指示に応じて、前記第１の画像に対する類似の順の前記第２の画像の表示と、前記グループに属する前記第３の画像および前記第２の画像の所定の順の表示とを切り換えるように、前記第２の画像および前記第３の画像の表示を制御することができる。

本発明の一側面の表示制御方法は、選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算し、類似の順に前記第２の画像を表示させるように、前記第２の画像の表示を制御し、使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像を選択し、１つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示を制御するステップを含む。

本発明の一側面のプログラムは、選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算し、類似の順に前記第２の画像を表示させるように、前記第２の画像の表示を制御し、使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像を選択し、１つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示を制御するステップをコンピュータに実行させる。

本発明の一側面のプログラムは、記録媒体に記録することができる。

本発明の一側面においては、選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いが計算され、類似の順に前記第２の画像を表示させるように、前記第２の画像の表示が制御され、使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像が選択され、１つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示が制御される。

以上のように、本発明の一側面によれば、類似の順に画像を表示させることができる。

また、本発明の一側面によれば、より少ない操作で、より迅速に所望の画像を表示させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の表示制御装置は、選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算する計算手段（例えば、図４の距離計算部１２１）と、類似の順に前記第２の画像を表示させるように、前記第２の画像の表示を制御する表示制御手段（例えば、図４の表示制御部１０６）と、使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像を選択する選択手段（例えば、図４の検索部１０７）とを備え、前記表示制御手段は、１つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示を制御する。

本発明の一側面の表示制御方法およびプログラムは、選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算し（例えば、図２６のステップＳ１３５）、類似の順に前記第２の画像を表示させるように、前記第２の画像の表示を制御し（例えば、図２３のステップＳ１０４）、使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像を選択し（例えば、図２３のステップＳ１０５）、１つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示を制御する（例えば、図２３のステップＳ１１０）ステップを含む。

図１は、本発明の一実施の形態の画像処理システムの構成を示す図である。機器の一例であるデジタルスチルカメラ１１は、画像を撮影して、撮影した画像を画像処理装置の一例であるサーバ１３に供給する。機器の一例である携帯電話機１２は、画像を撮影して、撮影した画像をサーバ１３に供給する。この場合、デジタルスチルカメラ１１および携帯電話機１２は、撮影した画像から、その画像を縮小した縮小画像を生成する。

なお、デジタルスチルカメラ１１、携帯電話機１２、またはサーバ１３は、表示制御装置の一例でもある。

サーバ１３は、パーソナルコンピュータ、据え置き型のレコーダ、ゲーム機器、または専用機器などからなり、デジタルスチルカメラ１１または携帯電話機１２から供給された画像を記録する。また、サーバ１３は、デジタルスチルカメラ１１または携帯電話機１２から供給された画像を画像処理し、画像の特徴を抽出する。サーバ１３は、その結果得られたデータをデジタルスチルカメラ１１または携帯電話機１２に供給する。

さらに、サーバ１３は、ネットワーク１４を介してWebサーバ１５−１またはWebサーバ１５−２から画像を取得して、取得した画像を記録する。また、サーバ１３は、Webサーバ１５−１またはWebサーバ１５−２から取得した画像を画像処理するとともに、取得した画像から、その画像を縮小した縮小画像を生成する。サーバ１３は、画像処理の結果得られたデータを、縮小画像と共にデジタルスチルカメラ１１または携帯電話機１２に供給する。

デジタルスチルカメラ１１または携帯電話機１２は、サーバ１３から供給された、画像処理の結果得られたデータを基に、記録している画像から、所望の画像を検索する。また、サーバ１３は、画像処理の結果得られたデータを基に、記録している画像から、所望の画像を検索する。

デジタルスチルカメラ１１、携帯電話機１２、およびサーバ１３において、画像処理の結果得られた同じデータを基に画像を検索するので、所望の画像が同様に検索できる。

図２は、デジタルスチルカメラ１１の構成を示すブロック図である。デジタルスチルカメラ１１は、撮影レンズ３１、絞り３２、撮像デバイス３３、アナログ信号処理部３４、A/D（Analog to Digital）コンバータ３５、デジタル信号処理部３６、MPU（Micro Processing Unit）３７、メモリ３８、D/A（Digital to Analog）コンバータ３９、モニタ４０、圧縮伸張部４１、カードI/F（インタフェース）４２、メモリカード４３、AF（auto focus）モータズームモータ４４、コントロール回路４５、EEPROM（Electrically Erasable Programmable Read Only Memory）４６、通信部４７、通信部４８、および入力部４９から構成される。

撮影レンズ３１は、絞り３２を介して、被写体の光学的な像を撮像デバイス３３の受光面に結像させる。撮影レンズ３１は、１枚又は複数枚のレンズで構成される。撮影レンズ３１は、単焦点レンズでもよいし、ズームレンズ等の焦点距離可変のものでもよい。

絞り３２は、撮像デバイス３３の受光面に結像される光学的な像の光量を調整する。

撮像デバイス３３は、CCD（Charge Coupled Device）またはCMOS（complementary metal oxide semiconductor）センサなどからなり、受光面に結像した光学的な像を電気信号に変換する。撮像デバイス３３は、変換により得られた電気信号をアナログ信号処理部３４に供給する。

アナログ信号処理部３４は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含み、撮像デバイス３３からの電気信号に相関二重サンプリング（ＣＤＳ）処理を適用すると共に、電気信号をＲ，Ｇ，Ｂの各色信号に分離し、各色信号の信号レベルを調整（プリホワイトバランス処理）する。アナログ信号処理部３４は、色信号をA/Dコンバータ３５に供給する。

A/Dコンバータ３５は、色信号のそれぞれをデジタル信号に変換し、デジタル信号をデジタル信号処理部３６に供給する。

デジタル信号処理部３６は、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路等を含み、MPU３７の制御に基づいて、デジタル信号を、輝度信号（Ｙ信号）および色差信号（Ｃr,Ｃb信号）に変換する。デジタル信号処理部３６は、各種の処理を適用したデジタル信号をメモリ３８に供給する。

MPU３７は、組込型のプロセッサであり、プログラムを実行して、デジタルスチルカメラ１１の全体を制御する。

メモリ３８は、DRAM（Dynamic Random Access Memory）などからなり、MPU３７の制御に基づいて、デジタル信号処理部３６から供給されたデジタル信号を一時的に記憶する。D/Aコンバータ３９は、メモリ３８からデジタル信号を読み出して、読み出したデジタル信号をアナログ信号に変換して、モニタ４０に供給する。モニタ４０は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）ディスプレイなどからなり、D/Aコンバータ３９から供給されたアナログ信号に基づいて画像を表示する。

撮像デバイス３３から出力される電気信号によってメモリ３８のデジタル信号が定期的に書き換えられ、そのデジタル信号から生成されるアナログ信号がモニタ４０に供給されることにより、撮像デバイス３３に結像される画像がリアルタイムにモニタ４０に表示される。

モニタ４０にGUI（Graphical User Interface）の画像を表示させる場合には、MPU３７は、GUIの画像を表示させるための画像データをメモリ３８に書き込んで、D/Aコンバータ３９に画像データをアナログ信号に変換させ、モニタ４０に、そのアナログ信号に基づいてGUIの画像を表示させる。

圧縮伸張部４１は、MPU３７の制御の基に、メモリ３８に記憶されているデジタル信号をJPEG（Joint Photographic Experts Group）またはJPEG2000などの方式で符号化する。圧縮伸張部４１は、符号化により得られた画像データを、カードI/F（インタフェース）４２を介してメモリカード４３に供給する。メモリカード４３は、半導体メモリまたはHDD（Hard Disk Drive）などを内蔵し、着脱自在に、デジタルスチルカメラ１１に装着され、デジタルスチルカメラ１１に装着されている場合、カードI/F４２と電気的に接続する。メモリカード４３は、カードI/F４２から供給される画像データを記録する。

カードI/F４２は、MPU３７からの指令に応じて、電気的に接続されているメモリカード４３への画像データの記録、およびメモリカード４３からの画像データの読み出しを制御する。

メモリカード４３に記録されている画像データは、カードI/F４２を介して、読み出されて、圧縮伸張部４１において、デジタル信号に復号される。

AFモータズームモータ４４は、コントロール回路４５によって駆動され、撮影レンズ３１の焦点や焦点距離を変更するように、撮像デバイス３３に対して撮影レンズ３１（を構成するレンズ）を移動させる。コントロール回路４５は、MPU３７からの指令に応じて、AFモータズームモータ４４を駆動するとともに、絞り３２や撮像デバイス３３を制御する。

EEPROM４６は、MPU３７により実行されるプログラムや各種のデータを記憶する。

通信部４７は、USB（Universal Serial Bus）またはIEEE（Institute of Electrical and Electronic Engineers）1394などの規格に準拠するように構成され、有線の伝送媒体を介して、サーバ１３と各種のデータを送受信する。

通信部４８は、IEEE802.11a、IEEE802.11b、若しくはIEEE802.11g、またはブルートゥースなどの規格に準拠するように構成され、無線の伝送媒体を介して、サーバ１３と各種のデータを送受信する。

入力部４９は、スイッチ、ボタン、またはタッチパネルなどからなり、使用者から加えられた操作に応じた信号をMPU３７に供給する。

なお、メモリカード４３に画像データが記録されると説明したが、画像データが記録される媒体は、半導体メモリまたは磁気ディスクに限るものではなく、光ディスクまたは光磁気ディスクなどでもよく、電子的、磁気的、光学的、若しくは量子的、またはこれらの組み合わせによる方式に従って読み書き可能な種々の媒体を用いることができる。これらの媒体は、デジタルスチルカメラ１１に内蔵するようにしてもよい。

以下、画像データを単に画像とも称する。

図３は、サーバ１３の構成の例を示すブロック図である。CPU（Central Processing Unit）７１は、ROM（Read Only Memory）７２、または記憶部７８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７３には、CPU７１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７１、ROM７２、およびRAM７３は、バス７４により相互に接続されている。

CPU７１にはまた、バス７４を介して入出力インタフェース７５が接続されている。入出力インタフェース７５には、キーボード、マウス、マイクロホンなどよりなる入力部７６、ディスプレイ、スピーカなどよりなる出力部７７が接続されている。CPU７１は、入力部７６から入力される指令に対応して各種の処理を実行する。そして、CPU７１は、処理の結果を出力部７７に出力する。

入出力インタフェース７５に接続されている記憶部７８は、例えばハードディスクからなり、CPU７１が実行するプログラムや各種のデータを記憶する。通信部７９は、USBまたはIEEE1394などの規格に準拠するように構成され、有線の伝送媒体を介して、デジタルスチルカメラ１１または携帯電話機１２と各種のデータを送受信するか、または、IEEE802.11a、IEEE802.11b、若しくはIEEE802.11g、またはブルートゥースなどの規格に準拠するように構成され、無線の伝送媒体を介して、デジタルスチルカメラ１１または携帯電話機１２と各種のデータを送受信する。通信部８０は、インターネットやローカルエリアネットワークなどのネットワーク１４を介してWebサーバ１５−１またはWebサーバ１５−２と通信する。

また、通信部８０を介してプログラムを取得し、記憶部７８に記憶してもよい。

入出力インタフェース７５に接続されているドライブ８１は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７８に転送され、記憶される。

図４は、プログラムを実行するMPU３７により実現される機能の構成を示す図である。MPU３７は、プログラムを実行することにより、撮影制御部１０１、縮小画像生成部１０２、メタデータ生成部１０３、エントリ生成部１０４、記録制御部１０５、表示制御部１０６、検索部１０７、送信制御部１０８、受信制御部１０９、画像保持部１１０、コンテンツデータベース１１１、類似特徴データベース１１２、類似結果データベース１１３、時間グループデータベース１１４、および検索結果保持部１１５を実現する。

撮影制御部１０１は、撮影レンズ３１乃至デジタル信号処理部３６およびメモリ３８乃至コントロール回路４５を制御することで、デジタルスチルカメラ１１における撮影を制御する。撮影制御部１０１は、撮影した画像を、画像保持部１１０としてのメモリカード４３の記録領域に記録させる。

縮小画像生成部１０２は、撮影された画像のデジタル信号をメモリ３８から読み出して、撮影された画像を縮小し、縮小画像を生成する。生成された縮小画像は、カードI/F４２を介してメモリカード４３に供給され、画像保持部１１０としてのメモリカード４３の記録領域に記録される。

例えば、撮影制御部１０１の制御に基づいて、画素の数が３００万乃至４００万である高解像度の画像が撮影されると、縮小画像生成部１０２は、撮影された画像から、デジタルスチルカメラ１１で閲覧するのに適した６４０画素×４８０画素のVGA（Video Graphics Array）と同じか、またはこれと同等のサイズの縮小画像を生成する。

なお、縮小画像生成部１０２は、画像保持部１１０から画像を読み出して、読み出した画像を縮小し、縮小画像を生成するようにしてもよい。

以下、縮小画像と、撮影された画像とを区別するために、撮影された画像を本画像と称する。なお、縮小画像と本画像を区別する必要がないとき、単に画像と称する。

詳細は、後述するが、本画像と縮小画像とは、コンテンツデータベース１１１に記録されているデータによって紐付けされる。

メタデータ生成部１０３は、本画像についてのメタデータを生成する。例えば、メタデータ生成部１０３は、JEIDA（Japanese Electronic Industry Development Association）によって規格化されているEXIF（Exchangeable Image File Format）方式のデータに格納されるメタデータを生成する。

エントリ生成部１０４は、データベースマネジメントシステム（Database Management System）として構成され、本画像が撮影されたとき、本画像および縮小画像のエントリを生成する。生成されたエントリは、コンテンツデータベース１１１に格納される。

記録制御部１０５は、本画像および縮小画像の画像保持部１１０への記録を制御する。

表示制御部１０６は、縮小画像およびGUIの画像のモニタ４０への表示を制御する。

検索部１０７は、コンテンツデータベース１１１、類似特徴データベース１１２、類似結果データベース１１３、または時間グループデータベース１１４に格納されているデータを基に、画像保持部１１０に記録されている縮小画像または本画像から、所望の縮小画像または本画像を検索する。検索部１０７は、検索の結果に応じたデータを、検索結果保持部１１５に格納させる。

検索部１０７は、距離計算部１２１を含む。距離計算部１２１は、類似特徴データベース１１２に格納されている画像の特徴を示すデータから、２つの画像の類似の度合いを示す距離を計算する。距離計算部１２１は、計算した距離を類似結果データベース１１３に記録させる。

送信制御部１０８は、通信部４７を制御して、通信部４７による本画像または縮小画像のサーバ１３への送信を制御する。受信制御部１０９は、通信部４７を制御して、通信部４７による、サーバ１３から送信されてくる、画像に各種の画像処理を適用して得られた画像の特徴の受信を制御する。

画像保持部１１０は、メモリカード４３の記録空間に構築され、本画像または縮小画像を記録する。

コンテンツデータベース１１１、類似特徴データベース１１２、類似結果データベース１１３、および時間グループデータベース１１４は、メモリカード４３の所定の記録空間およびそれぞれのデータベースマネジメントシステムから構成される。

コンテンツデータベース１１１は、画像を特定するデータおよびこれに対応させて画像の各種のメタデータを格納する。類似特徴データベース１１２は、サーバ１３における画像の画像処理の結果得られた、画像の特徴を示すデータを格納する。

類似結果データベース１１３は、検索部１０７の距離計算部１２１において計算された、２つの画像の類似の度合いを示す距離を格納する。

時間グループデータベース１１４は、使用者が画像をグループに分類した場合の、それぞれのグループに属する画像を特定する情報を格納する。

検索結果保持部１１５は、検索の結果に応じたデータを記録する。例えば、検索結果保持部１１５は、画像の画素の色を基に抽出された、画像が所定の色名によって想起される度合いを示す関連度と、使用者からの操作に応じて入力された、色名で表される色の重みとから検索された、重みに応じた色の画像の検索結果を記録する。

関連度の詳細は、後述する。

図５は、プログラムを実行するCPU７１により実現される機能の構成を示す図である。CPU７１は、プログラムを実行することにより、画像解析部１３１、縮小画像生成部１３２、メタデータ生成部１３３、エントリ生成部１３４、記録制御部１３５、表示制御部１３６、検索部１３７、送信制御部１３８−１および送信制御部１３８−２、受信制御部１３９−１および受信制御部１３９−２、画像保持部１４０、コンテンツデータベース１４１、類似特徴データベース１４２、類似結果データベース１４３、時間グループデータベース１４４、関連度抽出部対応保持部１４５、抽出特徴保持部１４６、並びに検索結果保持部１４７を実現する。

画像解析部１３１は、画像の特徴を抽出する。すなわち、画像解析部１３１は、画像に画像処理を適用して、画像を解析する。画像解析部１３１は、画像処理の結果得られた、画像の特徴を類似特徴データベース１４２または送信制御部１３８−１に供給する。

図６は、画像解析部１３１の構成の例を示すブロック図である。画像解析部１３１は、顔画像検出部１６１および類似特徴量抽出部１６２から構成される。

顔画像検出部１６１は、画像に含まれる顔の画像に関する情報である画像の特徴を抽出する。例えば、顔画像検出部１６１は、画像に含まれる顔の画像の数、画像における顔の画像の位置、顔の画像の大きさ、または顔の画像における顔の向きなどである画像の特徴を抽出する。

類似特徴量抽出部１６２は、画像の類似の度合いを求めるための画像の特徴量を抽出する。類似特徴量抽出部１６２は、類似特徴ベクトル算出部１７１および色特徴抽出部１７２から構成される。類似特徴ベクトル算出部１７１は、２つの画像のそれぞれの特徴からその２つの画像の類似の度合いが計算される特徴を抽出する。色特徴抽出部１７２は、画像から、画像の画素の色を基に、画像が所定の色名によって想起される度合いを示す関連度を抽出する。言い換えれば、色特徴抽出部１７２は、画像の画素のうち、画素の色が所定の名前の色に分類される画素の数を示す特徴を抽出する。

図５に戻り、縮小画像生成部１３２は、受信制御部１３９−２の制御の基に、ネットワーク１４を介してWebサーバ１５−１またはWebサーバ１５−２から取得した本画像を縮小し、縮小画像を生成する。生成された縮小画像は、画像保持部１４０に記録される。

なお、縮小画像生成部１３２は、画像保持部１４０から画像を読み出して、読み出した画像を縮小し、縮小画像を生成するようにしてもよい。

メタデータ生成部１３３は、本画像についてのメタデータを生成する。例えば、メタデータ生成部１３３は、JEIDAによって規格化されているEXIF方式のデータに格納されるメタデータを生成する。

エントリ生成部１３４は、データベースマネジメントシステムとして構成され、受信制御部１３９−１の制御の基に、デジタルスチルカメラ１１から取得された本画像のエントリを生成する。または、エントリ生成部１３４は、受信制御部１３９−２の制御の基に、ネットワーク１４を介してWebサーバ１５−１またはWebサーバ１５−２から本画像が取得され、本画像から縮小画像が生成された場合、本画像および縮小画像のエントリを生成する。生成されたエントリは、コンテンツデータベース１４１に格納される。

記録制御部１３５は、本画像および縮小画像の画像保持部１４０への記録を制御する。

表示制御部１３６は、ディスプレイである出力部７７への、本画像およびGUIの画像の表示を制御する。

検索部１３７は、コンテンツデータベース１４１、類似特徴データベース１４２、または時間グループデータベース１４４に格納されているデータを基に、画像保持部１４０に記録されている本画像または縮小画像から、所望の本画像または縮小画像を検索する。または、検索部１３７は、抽出特徴保持部１４６に格納されているデータを基に、画像保持部１４０に記録されている本画像または縮小画像から、所望の本画像または縮小画像を検索する。検索部１３７は、検索の結果に応じたデータを、検索結果保持部１４７に格納する。

検索部１３７は、距離計算部１５１を含む。距離計算部１５１は、類似特徴データベース１４２に格納されている画像の特徴を示すデータから、２つの画像の類似の度合いを示す距離を計算する。距離計算部１５１は、計算した距離を類似結果データベース１４３に記録させる。

送信制御部１３８−１は、通信部７９を制御して、通信部７９に、画像解析部１３１において画像処理の結果得られた、画像の特徴をデジタルスチルカメラ１１宛てに送信させる。受信制御部１３９−１は、通信部７９を制御して、通信部７９に、デジタルスチルカメラ１１から送信されてくる本画像および縮小画像を受信させる。

送信制御部１３８−２は、通信部８０を制御する。送信制御部１３８−２は、通信部８０に、ネットワーク１４を介して、画像の要求をWebサーバ１５−１またはWebサーバ１５−２宛てに送信させる。受信制御部１３９−２は、通信部８０を制御して、通信部８０に、Webサーバ１５−１またはWebサーバ１５−２から送信されてくる本画像を受信させる。

画像保持部１４０は、ハードディスクなどからなる記憶部７８の記録空間に構築され、本画像または縮小画像を記録する。画像保持部１４０は、ドライブ８１に装着される、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２の記録空間に構築するようにしてもよい。

コンテンツデータベース１４１、類似特徴データベース１４２、類似結果データベース１４３、および時間グループデータベース１４４は、記憶部７８の所定の記録空間およびそれぞれのデータベースマネジメントシステムから構成される。

コンテンツデータベース１４１は、画像を特定するデータおよびこれに対応させて画像の各種のメタデータを格納する。類似特徴データベース１４２は、画像解析部１３１における画像の画像処理の結果得られた、画像の特徴を示すデータを格納する。

類似結果データベース１１３は、検索部１３７の距離計算部１５１において計算された、２つの画像の類似の度合いを示す距離を格納する。

時間グループデータベース１４４は、使用者が画像をグループに分類した場合の、それぞれのグループに属する画像を特定する情報を格納する。

関連度抽出部対応保持部１４５は、色特徴抽出部１７２における、色名と、色毎に関連度を抽出する関連度抽出部（詳細は図３３を参照して後述する）との対応を示す対応情報を記録する。

抽出特徴保持部１４６は、色特徴抽出部１７２において抽出された、画像が所定の色名によって想起される度合いを示す関連度を保持する。

検索結果保持部１４７は、画像の画素の色を基に抽出された、画像が所定の色名によって想起される度合いを示す関連度と、使用者からの操作に応じて入力された検索条件とから検索された、検索条件に応じた色の画像の検索結果を記録する。例えば、検索結果保持部１４７は、関連度と、色名で表される色の重みである検索条件とから検索された、重みに応じた色の画像の検索結果を記録する。

次に、画像から特徴を抽出して、抽出した特徴をサーバ１３およびデジタルスチルカメラ１１において記録する処理について説明する。

まず、図７のフローチャートを参照して、デジタルスチルカメラ１１の撮影の処理を説明する。

ステップＳ１１において、撮影制御部１０１は、撮影レンズ３１乃至デジタル信号処理部３６、メモリ３８、AFモータズームモータ４４、およびコントロール回路４５を制御し、被写体を撮影させる。ステップＳ１２において、撮影制御部１０１は、圧縮伸張部４１に、メモリ３８に記憶されているデジタル信号をJPEGまたはJPEG2000などの方式で符号化させて、画像データである本画像を生成させる。撮影制御部１０１は、本画像を画像保持部１１０に記録させる。

また、メタデータ生成部１０３は、本画像についてのメタデータを生成する。例えば、メタデータ生成部１０３は、JEIDAによって規格化されているEXIF方式のデータに格納される、本画像の撮影時刻または撮影条件などのメタデータを生成する。

ステップＳ１３において、縮小画像生成部１０２は、撮影された画像のデジタル信号をメモリ３８から読み出して、撮影された画像を縮小し、縮小画像を生成する。縮小画像生成部１０２は、縮小画像を画像保持部１１０に記録させる。

ステップＳ１４において、エントリ生成部１０４は、本画像および縮小画像のエントリを生成する。エントリ生成部１０４は、生成されたエントリを、メタデータ生成部１０３において生成したメタデータに関係付けて、コンテンツデータベース１１１に追加（格納）し、処理は終了する。

コンテンツデータベース１１１に、撮影時刻または撮影条件などのメタデータが格納されるので、撮影時刻または撮影条件により本画像または縮小画像を検索することができる。

携帯電話機１２においても、図７のフローチャートで示される撮影の処理と同様の処理が実行される。

このようにすることで、図８で示されるように、デジタルスチルカメラ１１または携帯電話機１２において、画像が撮影されると、本画像２０１に関係付けられたメタデータがコンテンツデータベース１１１に格納されると共に、本画像２０１を縮小した縮小画像２０２が生成され、本画像２０１に関係付けられたメタデータであって、コンテンツデータベース１１１に格納されているメタデータと縮小画像２０２とが関係付けられる。

次に、図９のフローチャートを参照して、デジタルスチルカメラ１１において撮影された画像をサーバ１３にバックアップする場合の、サーバ１３のバックアップの処理を説明する。サーバ１３のバックアップの処理は、例えば、デジタルスチルカメラ１１に一端が接続されているUSBケーブルがサーバ１３に接続されるとプログラムが起動されることにより開始される。

ステップＳ３１において、サーバ１３の送信制御部１３８−１および受信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１と接続させる。

ステップＳ３２において、サーバ１３の送信制御部１３８−１および受信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１から本画像２０１および縮小画像２０２を取得させる。例えば、ステップＳ３２において、送信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１宛てに本画像２０１および縮小画像２０２の送信要求を送信させる。すると、デジタルスチルカメラ１１が本画像２０１および縮小画像２０２を送信してくるので、受信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１から送信されてきた本画像２０１および縮小画像２０２を受信させる。受信制御部１３８−１は、取得した（受信した）本画像２０１および縮小画像２０２を画像保持部１４０に供給する。

ステップＳ３３において、画像保持部１４０は、デジタルスチルカメラ１１から取得した本画像２０１および縮小画像２０２を記録する。

ステップＳ３４において、画像解析部１３１は、画像保持部１４０に記録された画像を解析する。

なお、画像解析部１３１は、本画像２０１を解析するようにしてもよく、縮小画像２０２を解析するようにしてもよい。

ステップＳ３４の画像の解析の処理の詳細を、図１０のフローチャートを参照して説明する。

ステップＳ４１において、画像解析部１３１の顔画像検出部１６１は、画像から顔画像を検出する。すなわち、ステップＳ４１において、顔画像検出部１６１は、画像に含まれる顔の画像に関する情報である画像の特徴を抽出する。例えば、ステップＳ４１において、顔画像検出部１６１は、画像に含まれる顔の画像の数、画像における顔の画像の位置、顔の画像の大きさ、または顔の画像における顔の向きである画像の特徴を抽出する。

より具体的には、例えば、顔画像検出部１６１は、画像の画素のうち、人の肌の色に対応する所定の色の範囲に属する色を示す画素値を有する画素を特定する。そして、顔画像検出部１６１は、色によって特定された画素のうち、所定の数以上、相互に隣接している画素により構成される領域を顔の画像とする。

顔画像検出部１６１は、検出された顔の画像の数を数える。さらに、顔画像検出部１６１は、画像の全体の高さおよび全体の幅をそれぞれ１とした場合、画像における顔の画像の位置として、画像の全体に対する相対的な、顔の画像の縦方向の位置および横方向の位置を検出する。

また、顔画像検出部１６１は、画像の全体の高さおよび全体の幅をそれぞれ１とした場合、画像における顔の画像の大きさとして、画像の全体に対する相対的な、顔の画像の高さおよび幅を検出する。

そして、顔画像検出部１６１は、予め定義されている、想定される顔の方向ごとの複数のパターンと、選択された顔の画像と一致するか否かを判定し、顔の向きを、顔の画像と一致するパターンに対応する向きとすることで、顔の向きを検出する。この場合、顔画像検出部１６１は、選択された顔の画像について、顔の向きとして、顔のロール角、ピッチ角、およびヨー角を検出する。

ステップＳ４２において、画像解析部１３１の類似特徴量抽出部１６２の類似特徴ベクトル算出部１７１は、画像の類似の度合いを求める特徴量である類似特徴ベクトルを算出する。すなわち、ステップＳ４２において、類似特徴ベクトル算出部１７１は、２つの画像のそれぞれの特徴からその２つの画像の類似の度合いが計算される特徴を抽出する。

例えば、類似特徴ベクトル算出部１７１は、色ヒストグラムである類似特徴ベクトルを算出する。

より具体的には、例えば、図１１で示されるように、類似特徴ベクトル算出部１７１は、２４ビットRGBの本画像２０１の１６７７７２１６１色の色を、３２色に減色し、３２色に減色した減色画像２２１を生成する。すなわち、５ビットRGBの減色画像２２１が生成される。例えば、類似特徴ベクトル算出部１７１は、本画像２０１の各画素の画素値から、所定の上位のビットを抽出することで、減色画像２２１を生成する。

そして、類似特徴ベクトル算出部１７１は、RGBで表される減色画像２２１の各画素の色を、Ｌ^*ａ^*ｂ^*で表すように変換する。すなわち、類似特徴ベクトル算出部１７１は、減色画像２２１の各画素の色を示すＬ^*ａ^*ｂ^*空間上の位置を特定する。言い換えれば、減色画像２２１の画素のそれぞれについて、減色画像２２１の各画素で示される３２色のいずれかの色（Ｌ^*ａ^*ｂ^*空間上の位置）が特定される。

さらに、類似特徴ベクトル算出部１７１は、減色画像２２１について、３２色の色毎の画素の数、すなわち、色毎の頻度を求めて、色ヒストグラムを生成する。色ヒストグラムの尺度は、色を示し、色ヒストグラムの度数は、その色の画素の数（頻度）を示す。

また、例えば、類似特徴ベクトル算出部１７１は、垂直成分ヒストグラムおよび水平成分ヒストグラムである類似特徴ベクトルを算出する。

この場合、まず、図１２で示されるように、類似特徴ベクトル算出部１７１は、本画像２０１を、１６画素×１６画素のブロック２４１に分割し、それぞれのブロック２４１に、垂直方向（縦）および水平方向（横）にDFT（Discrete Fourier Transform）の処理を適用する。

すなわち、類似特徴ベクトル算出部１７１は、各ブロック２４１の縦１列に並ぶ１６の画素にDFTの処理を適用し、縦１列の１６の画素の画像の周波数成分を抽出する。各ブロック２４１には、１６の画素からなる列が、１６並んでいるので、類似特徴ベクトル算出部１７１は、それぞれのブロック２４１についての垂直方向（縦）のDFTの処理によって、１６の画像の周波数成分を抽出することになる。

そして、類似特徴ベクトル算出部１７１は、各ブロック２４１に垂直方向（縦）のDFTの処理を適用した結果得られた画像の周波数成分を、周波数毎に積算（加算）する。類似特徴ベクトル算出部１７１は、各ブロック２４１に垂直方向（縦）のDFTの処理を適用した結果を積算した値のうち、DC成分を除く、８つのより低い周波数の成分の中から、最大の成分を抽出する。この場合、最大値が予め定めた閾値に満たないときには、そのブロック２４１の処理の結果は破棄される。

類似特徴ベクトル算出部１７１は、画像について、このように求められたブロック２４１毎の最大値を８つの周波数ごとに積算することで、図１３で示すように、８つの周波数に対する最大値の頻度を示す垂直成分ヒストグラムを生成する。垂直成分ヒストグラムの尺度は、画像の周波数を示し、垂直成分ヒストグラムの度数は、その周波数の成分が最大となる数（頻度）を示す。

同様に、類似特徴ベクトル算出部１７１は、各ブロック２４１の横１行に並ぶ１６の画素にDFTの処理を適用し、横１行の１６の画素の画像の周波数成分を抽出する。各ブロック２４１には、１６の画素からなる行が、１６並んでいるので、類似特徴ベクトル算出部１７１は、それぞれのブロック２４１についての水平方向（横）のDFTの処理によって、１６の画像の周波数成分を抽出することになる。

そして、類似特徴ベクトル算出部１７１は、各ブロック２４１に水平方向（横）にDFTの処理を適用した結果得られた画像の周波数成分を、周波数毎に積算（加算）する。類似特徴ベクトル算出部１７１は、各ブロック２４１に水平方向（横）のDFTの処理を適用した結果を積算した値のうち、DC成分を除く、８つのより低い周波数の成分の中から、最大の成分を抽出する。この場合、最大値が予め定めた閾値に満たないときには、そのブロック２４１の処理の結果は破棄される。

類似特徴ベクトル算出部１７１は、画像について、このように求められたブロック２４１毎の最大値を８つの周波数ごとに積算することで、図１３で示すように、８つの周波数に対する最大値の頻度を示す水平成分ヒストグラムを生成する。水平成分ヒストグラムの尺度は、画像の周波数を示し、水平成分ヒストグラムの度数は、その周波数の成分が最大となる数（頻度）を示す。

このように、類似特徴ベクトル算出部１７１は、画像について、垂直成分ヒストグラムおよび水平成分ヒストグラムを生成する。

例えば、ステップＳ４２において、類似特徴ベクトル算出部１７１は、２つの画像のそれぞれの特徴からその２つの画像の類似の度合いが計算される特徴として、色ヒストグラム、垂直成分ヒストグラム、および水平成分ヒストグラムを抽出する。

図１０に戻り、ステップＳ４３において、画像解析部１３１の類似特徴量抽出部１６２の色特徴抽出部１７２は、画像に色特徴抽出の処理を適用して、処理は終了する。色特徴抽出の処理によって、画像から、画像の画素の色を基に、画像が所定の色名によって想起される度合いを示す関連度が抽出される。色特徴抽出の処理の詳細は、図３６のフローチャートを参照して後述する。

このように、ステップＳ３４において、画像解析部１３１によって、画像保持部１４０に記録された画像が解析されて、画像の特徴が抽出される。

ステップＳ３５において、メタデータ生成部１３３は、ステップＳ３４において抽出された画像の特徴を含む画像のメタデータを生成する。ステップＳ３６において、エントリ生成部１３４は、本画像２０１および縮小画像２０２のエントリを生成する。エントリ生成部１３４は、生成したエントリを、ステップＳ３５において生成されたメタデータに関係付けて、コンテンツデータベース１４１および類似特徴データベース１４２に追加（格納）する。コンテンツデータベース１４１および類似特徴データベース１４２は、サーバ１３において抽出された画像の特徴を含むメタデータを記録する。

ステップＳ３７において、送信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１のコンテンツデータベース１１１および類似特徴データベース１１２に、抽出された画像の特徴を含むメタデータを記入させる。すなわち、ステップＳ３７において、送信制御部１３８−１は、コンテンツデータベース１１１および類似特徴データベース１１２への記入の指令と共に、ステップＳ３５において生成されたメタデータを、通信部７９に、デジタルスチルカメラ１１宛てに送信させる。デジタルスチルカメラ１１の受信制御部１０９は、通信部４７に、メタデータとコンテンツデータベース１１１および類似特徴データベース１１２への記入の指令とを受信させると、メタデータとコンテンツデータベース１１１および類似特徴データベース１１２への記入の指令とをコンテンツデータベース１１１および類似特徴データベース１１２に供給する。コンテンツデータベース１１１および類似特徴データベース１１２は、記入の指令を受けると、サーバ１３において抽出された画像の特徴を含むメタデータを記録する。

このように、コンテンツデータベース１４１および類似特徴データベース１４２と、コンテンツデータベース１１１および類似特徴データベース１１２とは、サーバ１３において抽出された画像の特徴を含む同じメタデータを記録する。

ステップＳ３８において、サーバ１３の送信制御部１３８−１および受信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１との接続を切断させ、処理は終了する。

なお、サーバ１３は、携帯電話機１２に対して、携帯電話機１２で撮影された画像について、図９のフローチャートで示されるバックアップの処理と同様に処理を実行することができる。

図１４で示されるように、デジタルスチルカメラ１１または携帯電話機１２で撮影された画像がサーバ１３−１またはサーバ１３−２にバックアップされると、サーバ１３−１またはサーバ１３−２は、バックアップされた画像を解析して、画像の特徴を抽出し、抽出した画像の特徴を記述したメタデータ２６１をデジタルスチルカメラ１１または携帯電話機１２に書き戻す。

図１５は、本画像２０１および縮小画像２０２に関係付けられた、抽出した画像の特徴を記述したメタデータ２６１の具体例を示す図である。

メタデータ２６１は、例えば、XML（eXtensible Mark-up Language）方式で記述される。

<photo>タグおよび</photo>タグの間には、本画像２０１および縮小画像２０２との関係付けを示す情報並びに本画像２０１および縮小画像２０２の特徴を示す情報が配置される。

<guid>タグおよび</guid>タグの間には、このメタデータ２６１に関係付けられている本画像２０１および縮小画像２０２を特定する特定情報であるコンテンツIDが配置される。例えば、コンテンツIDは、１２８ビットとされる。コンテンツIDは、本画像２０１と、その本画像２０１を縮小した縮小画像２０２とに共通とされる。

<FullImgPath>タグおよび</FullImgPath>タグの間には、画像データである本画像２０１が格納されているファイルのパスおよび画像データである本画像２０１が格納されているファイルのファイル名が配置される。<CacheImgPath>タグおよび</CacheImgPath>タグの間には、画像データである縮小画像２０２が格納されているファイルのパスおよび画像データである縮小画像２０２が格納されているファイルのファイル名が配置される。

<TimeStamp>タグおよび</TimeStamp>タグの間に配置されている2003:03:31 06:52:32は、本画像２０１が、２００３年３月３１日６時５２分３２秒に撮影されたことを示すタイムスタンプである。

<Faceinfo>タグおよび</Faceinfo>タグの間には、コンテンツIDで特定される本画像２０１および縮小画像２０２に含まれる顔の画像に関する情報が配置される。

<TotalFace>タグおよび</TotalFace>タグの間に配置されている1は、コンテンツIDで特定される本画像２０１または縮小画像２０２に含まれる顔の画像の数が１つであることを示す。すなわち、<TotalFace>タグおよび</TotalFace>タグの間に配置されている値は、コンテンツIDで特定される本画像２０１または縮小画像２０２に含まれる顔の画像の総数を示す。

<FaceEntry>タグおよび</FaceEntry>タグの間には、１つの顔の画像についての情報が配置される。図１５に例示されるメタデータ２６１における顔の画像の総数が１なので、１組の<FaceEntry>タグおよび</FaceEntry>タグが配置されることになる。

<x>タグおよび</x>タグの間に配置されている値は、コンテンツIDで特定される本画像２０１または縮小画像２０２における顔の画像の横方向の位置を示す。図１５において、<x>タグおよび</x>タグの間に配置されている0.328767は、本画像２０１または縮小画像２０２の左端を0.0とし、本画像２０１または縮小画像２０２の右端を1.0とした場合に、顔の画像の右端の横方向の位置が、0.328767であることを示す。

<y>タグおよび</y>タグの間に配置されている値は、コンテンツIDで特定される本画像２０１または縮小画像２０２における顔の画像の縦方向の位置を示す。図１５において、<y>タグおよび</y>タグの間に配置されている0.204082は、本画像２０１または縮小画像２０２の上端を0.0とし、本画像２０１または縮小画像２０２の下端を1.0とした場合に、顔の画像の上端の縦方向の位置が、0.204082であることを示す。

すなわち、<x>タグおよび</x>タグの間には、顔の画像の正規化された横方向の位置が配置され、<y>タグおよび</y>タグの間には、顔の画像の正規化された縦方向の位置が配置される。

<width>タグおよび</width>タグの間に配置されている値は、コンテンツIDで特定される本画像２０１または縮小画像２０２における顔の画像の幅（横方向のサイズ）を示す。図１５において、<width>タグおよび</width>タグの間に配置されている0.408163は、本画像２０１または縮小画像２０２の幅を1.0とした場合に、顔の画像の幅が、0.408163であることを示す。

<height>タグおよび</height>タグの間に配置されているは、コンテンツIDで特定される本画像２０１または縮小画像２０２における顔の画像の高さ（縦方向のサイズ）を示す。図１５において、<height>タグおよび</height>タグの間に配置されている0.273973は、本画像２０１または縮小画像２０２の高さを1.0とした場合に、顔の画像の高さが、0.273973であることを示す。

すなわち、<width>タグおよび</width>タグの間には、顔の画像の正規化された幅が配置され、<height>タグおよび</height>タグの間には、顔の画像の正規化された高さが配置される。

<roll>タグおよび</roll>タグの間に配置されている値は、顔の画像における顔のロール角を示す。図１５において、<roll>タグおよび</roll>タグの間に配置されている0.000000は、顔の画像における顔のロール角が、0.000000度であることを示す。

<pitch>タグおよび</pitch>タグの間に配置されている値は、顔の画像における顔のピッチ角を示す。図１５において、<pitch>タグおよび</pitch>タグの間に配置されている0.000000は、顔の画像における顔のピッチ角が、0.000000度であることを示す。

<yaw>タグおよび</yaw>タグの間に配置されている値は、顔の画像における顔のヨー角を示す。図１５において、<yaw>タグおよび</yaw>タグの間に配置されている0.000000は、顔の画像における顔のヨー角が、0.000000度であることを示す。

ここで、ロール角は、顔の前後方向の位置を示す前後軸（x軸）の周りの移動角である。ピッチ角は、顔の左右方向の位置を示す横軸（y軸）の周りの移動角である。ヨー角は、顔の上下方向の位置を示す垂直軸（z軸）の周りの移動角である。

<Similarityinfo>タグおよび</Similarityinfo>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２と他の画像との類似の度合いを求める場合に用いる、コンテンツIDで特定される本画像２０１および縮小画像２０２の特徴量が配置される。

図１５に示す例において、<Similarityinfo>タグおよび</Similarityinfo>タグの間には、本画像２０１または縮小画像２０２が所定の色名によって想起される度合いを示す関連度、および色または画像の周波数成分などの類似の度合いを計算するための特徴量が配置される。

<ColorInfo>タグおよび</ColorInfo>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２から抽出された、本画像２０１または縮小画像２０２の画素の色を基に、本画像２０１または縮小画像２０２が所定の色名によって想起される度合いを示す関連度が配置される。

<ColorWhite>タグおよび</ColorWhite>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２から、本画像２０１または縮小画像２０２の画素の色を基に抽出された、本画像２０１または縮小画像２０２が白である色名によって想起される度合いを示す関連度が配置される。図１５において、<ColorWhite>タグおよび</ColorWhite>タグの間に配置されている０は、本画像２０１または縮小画像２０２が白である色名によって想起される度合いを示す関連度が０であることを示す。

<ColorBlack>タグおよび</ColorBlack>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２から、本画像２０１または縮小画像２０２の画素の色を基に抽出された、本画像２０１または縮小画像２０２が黒である色名によって想起される度合いを示す関連度が配置される。図１５において、<ColorBlack>タグおよび</ColorBlack>タグの間に配置されている０は、本画像２０１または縮小画像２０２が黒である色名によって想起される度合いを示す関連度が０であることを示す。

<ColorRed>タグおよび</ColorRed>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２から、本画像２０１または縮小画像２０２の画素の色を基に抽出された、本画像２０１または縮小画像２０２が赤である色名によって想起される度合いを示す関連度が配置される。図１５において、<ColorRed>タグおよび</ColorRed>タグの間に配置されている０は、本画像２０１または縮小画像２０２が赤である色名によって想起される度合いを示す関連度が０であることを示す。

<ColorYellow>タグおよび</ColorYellow>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２から、本画像２０１または縮小画像２０２の画素の色を基に抽出された、本画像２０１または縮小画像２０２が黄である色名によって想起される度合いを示す関連度が配置される。図１５において、<ColorYellow>タグおよび</ColorYellow>タグの間に配置されている０は、本画像２０１または縮小画像２０２が黄である色名によって想起される度合いを示す関連度が０であることを示す。

<ColorGreen>タグおよび</ColorGreen>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２から、本画像２０１または縮小画像２０２の画素の色を基に抽出された、本画像２０１または縮小画像２０２が緑である色名によって想起される度合いを示す関連度が配置される。図１５において、<ColorGreen>タグおよび</ColorGreen>タグの間に配置されている１２は、本画像２０１または縮小画像２０２が緑である色名によって想起される度合いを示す関連度が０．１２であることを示す。すなわち、ここでは関連度が％（パーセント）表記にて記録されている。

<ColorBlue>タグおよび</ColorBlue>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２から、本画像２０１または縮小画像２０２の画素の色を基に抽出された、本画像２０１または縮小画像２０２が青である色名によって想起される度合いを示す関連度が配置される。図１５において、<ColorBlue>タグおよび</ColorBlue>タグの間に配置されている０は、本画像２０１または縮小画像２０２が黄である色名によって想起される度合いを示す関連度が０であることを示す。

<VectorInfo>タグおよび</VectorInfo>タグの間には、コンテンツIDで特定される本画像２０１または縮小画像２０２と他の画像との類似の度合いを求めるための、コンテンツIDで特定される本画像２０１または縮小画像２０２についての特徴が配置される。

<VectorInfo>タグおよび</VectorInfo>タグの１つの組の間は、コンテンツIDで特定される本画像２０１または縮小画像２０２についての、それぞれ１つの特徴が配置される。図１５のメタデータ２６１の例には、<VectorInfo>タグおよび</VectorInfo>タグの３つの組が記述されている。

それぞれの<VectorInfo>タグおよび</VectorInfo>タグの間には、<method>タグと</method>タグ、および<vector>タグと</vector>タグが配置される。<method>タグおよび</method>タグの間には、類似の度合いを求めるための特徴の方式が記述され、<vector>タグおよび</vector>タグの間には、その特徴の量が記述される。<vector>タグおよび</vector>タグの間に記述される特徴量は、ベクトルとされる。

図１５において、最も上の<VectorInfo>タグおよび</VectorInfo>タグの間の、<method>タグおよび</method>タグの間に配置されているColor Featureは、その次の<vector>タグおよび</vector>タグの間に配置されている特徴量が、色の特徴量であることを示す。色の特徴量は、例えば、図１１を参照して説明した色ヒストグラムで示される特徴量である。

図１５において、上から２番目の<VectorInfo>タグおよび</VectorInfo>タグの間の、<method>タグおよび</method>タグの間に配置されているTexture Featureは、その次の<vector>タグおよび</vector>タグの間に配置されている特徴量が、模様の特徴量であることを示す。模様の特徴量は、例えば、図１２および図１３を参照して説明した垂直成分ヒストグラムおよび水平成分ヒストグラムからなる周波数成分のヒストグラムで示される特徴量である。

メタデータ２６１は、全体として、デジタルスチルカメラ１１において、コンテンツデータベース１１１と類似特徴データベース１１２とに格納され、サーバ１３において、コンテンツデータベース１４１と類似特徴データベース１４２とに格納される。すなわち、メタデータ２６１は、適宜分割されて、デジタルスチルカメラ１１において、その一部分がコンテンツデータベース１１１に格納され、残りの部分が類似特徴データベース１１２に格納され、サーバ１３において、コンテンツデータベース１１１に格納されている部分と同じ部分がコンテンツデータベース１４１に格納され、類似特徴データベース１１２に格納されている部分と同じ部分が類似特徴データベース１４２に格納される。

図１６は、コンテンツデータベース１１１またはコンテンツデータベース１４１に格納されているメタデータ（の部分）の構成を示す図である。

コンテンツデータベース１１１またはコンテンツデータベース１４１に格納されているメタデータは、コンテンツID、撮影時刻、パス名、ファイル名、グループID、画像に含まれる顔の画像に関する情報（以下、顔画像情報と称する）、ラベルID、およびコメントなどからなる。

コンテンツIDは、画像に固有のIDであり、画像を特定する。コンテンツIDによって、本画像２０１および縮小画像２０２が特定される。コンテンツIDは、GUIDであるプロパティとされ、文字列の型で表現される。画像が撮影された日時を示す撮影時刻は、協定世界時およびローカルタイムで表現される。協定世界時で表される撮影時刻は、UTCdateであるプロパティとされ、日付の型で表現される。協定世界時で表される撮影時刻は、EXIF方式のデータのDate Time Originalに記入される撮影時刻（UTC(Universal Coordinated Time)）と同じである。

ローカルタイムで表される撮影時刻は、dateであるプロパティとされ、日付の型で表現される。ローカルタイムで表される撮影時刻は、EXIF方式のデータのDate Time Originalに記入される撮影時刻（Local time）と同じである。

パス名は、ms/DCIM/XXXXX/など、本画像２０１のファイルのディレクトリ名（ファイル名を含まず）を示す。パス名は、pathであるプロパティとされ、文字列の型で表現される。

ファイル名は、DSC00001.JPGなど、画像データである本画像２０１が格納されているファイルの名前を示す。ファイル名は、DCFnameであるプロパティとされ、文字列の型で表現される。

縮小画像２０２のパス名およびファイル名は、/DATA/EVENTIMAGE/000000000001.JPGなど、縮小画像２０２のファイルのディレクトリ名およびファイル名を示す。縮小画像２０２のパス名およびファイル名は、vgaCachePathであるプロパティとされ、文字列の型で表現される。

グループIDは、画像が所属するグループを特定するデータである。画像は、使用者によって、所望のグループに分類される。グループIDは、画像が分類されたグループを特定する。例えば、画像が撮影されたイベント（旅行や運動会などの行事や催し）毎に、グループを造り、そのイベントで撮影された画像を、イベントに対応するグループに分類することができる。

グループIDは、groupIDであるプロパティとされ、数値の型で表現される。

例えば、顔画像情報は、画像が、風景画（顔が写っていない画像）、少人数の人物画（１乃至５人の顔が写っている画像）、または大人数の人物画（６人以上の顔が写っている画像）のいずれかであることを示す。例えば、１である顔画像情報は、画像が風景画であることを示し、２である顔画像情報は、画像が少人数の人物画であることを示し、３である顔画像情報は、画像が大人数の人物画であることを示す。顔画像情報は、faceExistenceであるプロパティとされ、数値の型で表現される。

顔画像情報は、画像に含まれる顔の画像の数、画像における顔の画像の位置、顔の画像の大きさ、または顔の画像における顔の向きを示すようにしてもよい。

ラベルIDは、画像に付されたラベルを示す。ラベルIDは、labelsであるプロパティとされ、数値の配列の型で表現される。

コメントは、commentであるプロパティとされ、文字列の型で表現される。

プロテクト状態は、消去付加などのその画像の保護の状態を示す。プロテクト状態は、protectであるプロパティとされ、論理データの型で表現される。

エクスチェンジ／インポートフラグは、その画像が交換されたか、または画像がインポートされたことを示す。エクスチェンジ／インポートフラグは、exchangeOrImportFlagであるプロパティとされ、論理データの型で表現される。

Trueであるメタイネーブルフラグは、サーバ１３によりその画像のメタデータが生成されたことを示す。メタイネーブルフラグは、metaEnableFlagであるプロパティとされ、論理データの型で表現される。

Trueであるバックアップフラグは、サーバ１３によりその画像がバックアップされたことを示す。バックアップフラグは、backUpFlagであるプロパティとされ、論理データの型で表現される。

図１７は、コンテンツデータベース１１１に格納されているメタデータ（の部分）および類似特徴データベース１１２に格納されているメタデータ（の部分）の構造を示す図である。

コンテンツデータベース１１１には、画像毎のコンテンツアイテムが格納される。コンテンツアイテムは、メタデータ２６１の一部分のデータからなる。

例えば、コンテンツアイテム２８１−１は、格納されているコンテンツIDで特定される１つの画像に対応し、コンテンツID、本画像２０１のパス名およびファイル名（図１７中のPath）、縮小画像２０２のパス名およびファイル名、グループID、ローカルタイムで表される撮影時刻、および顔画像情報などからなり、コンテンツアイテム２８１−２は、他の画像に対応し、コンテンツID、本画像２０１のパス名およびファイル名（図１７中のPath）、縮小画像２０２のパス名およびファイル名、グループID、ローカルタイムで表される撮影時刻、および顔画像情報などからなる。

以下、コンテンツアイテム２８１−１およびコンテンツアイテム２８１−２を個々に区別する必要がないとき、単に、コンテンツアイテム２８１と称する。

類似特徴データベース１１２には、画像毎の類似特徴アイテムが格納される。類似特徴アイテムは、メタデータ２６１を構成するデータのうち、コンテンツアイテム２８１を構成する部分以外の部分のデータからなる。ただし、類似特徴アイテムは、コンテンツIDを含む。

例えば、類似特徴アイテム２８２−１は、格納されているコンテンツIDで特定されるコンテンツアイテム２８１−１に対応し、すなわち、格納されているコンテンツIDで特定される１つの画像に対応し、コンテンツID、色ヒストグラム、および周波数成分のヒストグラムなどからなる。

色ヒストグラムは、画像の３２の色毎の頻度を示し、histogramであるプロパティとされる。周波数成分のヒストグラムは、垂直成分ヒストグラムと水平成分ヒストグラムとからなり、画像の縦方向および横方向のそれぞれについての、８つの周波数に対する周波数成分の最大値の頻度を示し、textureであるプロパティとされる。

同様に、例えば、類似特徴アイテム２８２−２は、格納されているコンテンツIDで特定されるコンテンツアイテム２８１−２に対応し、すなわち、格納されているコンテンツIDで特定される１つの画像に対応し、コンテンツID、色ヒストグラム、および周波数成分のヒストグラムなどからなる。

以下、類似特徴アイテム２８２−１および類似特徴アイテム２８２−２を個々に区別する必要がないとき、単に、類似特徴アイテム２８２と称する。

このように、類似特徴データベース１１２には、コンテンツデータベース１１１に格納されているコンテンツアイテム２８１に対応した類似特徴アイテム２８２が格納される。

図１８は、類似特徴アイテム２８２の構造を示す図である。類似特徴アイテム２８２は、アイテム２９１、アイテム２９２−１乃至アイテム２９２−３２、およびアイテム２９３から構成されている。アイテム２９１は、コンテンツID、アイテム２９２−１乃至アイテム２９２−３２を示すポインタ、およびアイテム２９３を示すポインタから構成される。アイテム２９２−１乃至アイテム２９２−３２を示すポインタは、色ヒストグラムに対応している。アイテム２９３を示すポインタは、周波数成分のヒストグラムに対応している。

アイテム２９２−１乃至アイテム２９２−３２は、それぞれ、色ヒストグラムの頻度、すなわち、Ｌ^*ａ^*ｂ^*で表される色のそれぞれと、それぞれの色が画像内で占有している割合（例えば、３２色の色毎の画素の数）を示す。アイテム２９２−１は、Ｌ^*ａ^*ｂ^*で表される色であって、３２色のうちの第１の色と、第１の色が画像内で占有している割合を示す。アイテム２９２−２は、Ｌ^*ａ^*ｂ^*で表される色であって、３２色のうちの第２の色と、第２の色が画像内で占有している割合を示す。

アイテム２９２−３乃至アイテム２９２−３２は、それぞれ、Ｌ^*ａ^*ｂ^*で表される色であって、３２色のうちの第３の色乃至第３２の色のそれぞれと、第３の色乃至第３２の色のそれぞれが画像内で占有している割合を示す。

すなわち、アイテム２９２−１乃至アイテム２９２−３２は、全体として、１つの画像の色ヒストグラムを示す。色ヒストグラムは、色特徴ベクトルCvとして表すこともできる。色特徴ベクトルCvは、Cv={(c1,r1),・・・,(c32,r32)}とも表現される。ここで、(c1,r1)乃至(c32,r32)のそれぞれは、c1乃至c32のいずれかで表される３２色のうちのいずれかの、画像内で占有している割合を示す。

アイテム２９３は、垂直成分ヒストグラムおよび水平成分ヒストグラムを示す。垂直成分ヒストグラムおよび水平成分ヒストグラムは、それぞれ、８つの頻度を示す。

垂直成分ヒストグラムおよび水平成分ヒストグラムを合わせてなる周波数成分のヒストグラムは、周波数成分ベクトルTvとしても表すこともできる。周波数成分ベクトルTvは、Tv={(t1,1),・・・,(t8,1),(t9,1),・・・,(t16,1)}とも表現される。ここで、(t1,1)乃至(t16,1)のそれぞれは、t1乃至t16のいずれかで表される周波数成分の最大となる数（頻度）を示す。

次に、図１９のフローチャートを参照して、Webサーバ１５−１若しくはWebサーバ１５−２またはその他の機器から画像を取得する、サーバ１３の画像の取得の処理を説明する。以下、Webサーバ１５−１から画像を取得する場合を例に説明する。

ステップＳ６１において、サーバ１３の送信制御部１３８−２および受信制御部１３８−２は、ネットワーク１４を介して、通信部８０に、Webサーバ１５−１から本画像２０１を取得させる。

例えば、ステップＳ６１において、送信制御部１３８−２および受信制御部１３８−２は、通信部８０に、ネットワーク１４を介してWebサーバ１５−１と接続させる。そして、送信制御部１３８−２は、通信部８０に、ネットワーク１４を介して、Webサーバ１５−１宛てに本画像２０１の送信要求を送信させる。Webサーバ１５−１が要求された本画像２０１をネットワーク１４を介して送信してくるので、受信制御部１３８−２は、通信部８０に、Webサーバ１５−１から送信されてきた本画像２０１を受信させる。受信制御部１３８−２は、受信することによって取得した本画像２０１を画像保持部１４０に供給する。

ステップＳ６２において、縮小画像生成部１３２は、受信した本画像２０１から縮小画像２０２を生成する。例えば、縮小画像生成部１３２は、本画像２０１から画素を間引きすることにより縮小画像２０２を生成する。または、縮小画像生成部１３２は、本画像２０１の互いに隣接する複数の画素の画素値の平均値を、その複数の画素に対応する１つの画素の画素値とすることにより、縮小画像２０２を生成する。

縮小画像生成部１３２は、生成した縮小画像２０２を画像保持部１４０に供給する。

ステップＳ６３において、画像保持部１４０は、受信した本画像２０１および縮小画像生成部１３２において生成された縮小画像２０２を記録する。

なお、縮小画像生成部１３２は、画像保持部１４０から本画像２０１を読み出して、読み出した本画像２０１から縮小画像２０２を生成するようにしてもよい。

ステップＳ６４において、画像解析部１３１は、画像保持部１４０に記録された画像を解析する。ステップＳ６４の画像の解析の処理は、図１０のフローチャートを参照して説明した処理と同様なので、その説明は省略する。

ステップＳ６５において、メタデータ生成部１３３は、ステップＳ６４において抽出された画像の特徴を含む画像のメタデータを生成する。ステップＳ６６において、エントリ生成部１３４は、本画像２０１および縮小画像２０２のエントリを生成する。エントリ生成部１３４は、生成したエントリを、ステップＳ６５において生成されたメタデータに関係付けて、コンテンツデータベース１４１（および類似特徴データベース１４２）に追加（格納）する。

ステップＳ６７において、送信制御部１３８−１および受信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１と接続させる。

ステップＳ６８において、検索部１３７は、デジタルスチルカメラ１１から送信されてくるデータを基に、画像保持部１４０に記録されている縮小画像２０２のうち、デジタルスチルカメラ１１に持ち出す縮小画像２０２を選択する。検索部１３７は、画像保持部１４０から選択した縮小画像２０２を読み出して、読み出した縮小画像２０２を送信制御部１３８−１に供給する。

ステップＳ６９において、送信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１宛てに選択された縮小画像２０２を送信させる。

ステップＳ７０において、送信制御部１３８−１は、ステップＳ３７と同様の処理で、通信部７９に、デジタルスチルカメラ１１のコンテンツデータベース１１１および類似特徴データベース１１２に、送信された縮小画像２０２のメタデータであって、抽出された画像の特徴を含むメタデータを記入させる。

ステップＳ７２において、サーバ１３の送信制御部１３８−１および受信制御部１３８−１は、通信部７９に、デジタルスチルカメラ１１との接続を切断させ、処理は終了する。

図２０で示されるように、サーバ１３−１またはサーバ１３−２が、ネットワーク１４を介して、Webサーバ１５−１若しくはWebサーバ１５−２またはその他の機器から本画像２０１を取得し、取得した本画像２０１を記録すると、サーバ１３−１またはサーバ１３−２は、本画像２０１から縮小画像２０２を生成し、本画像２０１を解析して、本画像２０１の特徴を抽出する。そして、サーバ１３−１またはサーバ１３−２は、抽出した本画像２０１の特徴を記述したメタデータ２６１と共に縮小画像２０２をデジタルスチルカメラ１１または携帯電話機１２に書き込む。

次に、図２１のフローチャートを参照して、デジタルスチルカメラ１１における検索の処理を説明する。ステップＳ８１において、検索部１０７は、コンテンツデータベース１１１または類似特徴データベース１１２に記録されているメタデータのうち、検索に用いるメタデータを選択する。例えば、検索部１０７は、検索に用いるメタデータとして、使用者の操作に応じた入力部４９からの信号を基に、撮影時刻若しくは撮影条件、顔の画像に関する情報、所定の色名によって想起される度合いを示す関連度、または色若しくは画像の周波数成分などの類似の度合いを計算するための特徴のうちのいずれかを選択する。

また、ステップＳ８１において、検索部１０７は、使用者の操作に応じた入力部４９からの信号を基に、画像保持部１１０に記録されている本画像２０１または縮小画像２０２の検索する範囲を選択する。

ステップＳ８２において、検索部１０７は、使用者の操作に応じた入力部４９から供給される信号としての、検索開始の指示を取得する。

ステップＳ８３において、検索部１０７は、コンテンツデータベース１１１または類似特徴データベース１１２から、検索する範囲の本画像２０１または縮小画像２０２のメタデータ２６１を順に読み込む。

ステップＳ８４において、検索部１０７は、メタデータ２６１が存在するか否か、すなわち、メタデータ２６１がヌル（null）であるか否かを判定し、メタデータ２６１が存在すると判定された場合、ステップＳ８５に進み、検索部１０７は、メタデータ２６１から、検索結果表示制御データを生成する。

例えば、ステップＳ８５において、検索部１０７の距離計算部１２１は、色または画像の周波数成分などの類似の度合いを計算するための特徴を示すベクトルであるメタデータを基に、選択された画像（基準となる画像）についてのベクトルであるメタデータと、検索する範囲の画像についてのベクトルであるメタデータとから、ベクトルの距離を計算し、ベクトルの距離である検索結果表示制御データを生成する。

このベクトルの距離は、短いほど画像同士が似ていることを示すので、ベクトルの距離である検索結果表示制御データを用いることで、より類似している画像を読み出して、画像を類似している順に表示することができる。

例えば、ステップＳ８５において、検索部１０７は、所定の色名によって想起される度合いを示す関連度であるメタデータを基に、入力された閾値と関連度とを比較し、入力された閾値以上の関連度であることを示す検索結果表示制御データを生成する。

入力された閾値以上の関連度であることを示す検索結果表示制御データを用いることで、その色名によって想起される度合いの大きい画像、すなわち、その色名の色を多く含む画像だけを読み出して、その色名の色を多く含む画像だけを表示することができる。

または、例えば、検索部１０７は、所定の色名によって想起される度合いを示す関連度であるメタデータを基に、入力された閾値と関連度との距離を計算することで、距離である検索結果表示制御データを生成する。

入力された閾値と関連度との距離である検索結果表示制御データを用いることで、所望の色名の色を所望の量だけ含む画像を読み出して、所望の色名の色を所望の量だけ含む画像を表示することができる。

なお、検索結果表示制御データには、コンテンツIDが含まれ、これにより、検索結果表示制御データに対応する本画像２０１または縮小画像２０２が特定される。

ステップＳ８６において、検索部１０７は、生成した検索結果表示制御データを検索結果保持部１１５に格納する。

ステップＳ８７において、検索部１０７は、検索する範囲の全ての本画像２０１または縮小画像２０２の処理を終了したか否かを判定し、検索する範囲の全ての本画像２０１または縮小画像２０２の処理を終了していないと判定された場合、ステップＳ８３に戻り、検索部１０７は、コンテンツデータベース１１１または類似特徴データベース１１２から、検索する範囲の次の本画像２０１または縮小画像２０２のメタデータ２６１を読み込み、上述した処理を繰り返す。

ステップＳ８４において、メタデータ２６１が存在しないと判定された場合、すなわち、メタデータ２６１がヌル（null）であると判定された場合、ステップＳ８３に戻り、検索部１０７は、コンテンツデータベース１１１または類似特徴データベース１１２から、検索する範囲の次の本画像２０１または縮小画像２０２のメタデータ２６１を読み込み、上述した処理を繰り返す。

ステップＳ８７において、検索する範囲の全ての本画像２０１または縮小画像２０２の処理を終了したと判定された場合、ステップＳ８８に進み、表示制御部１０６は、検索結果保持部１１５から、検索結果表示制御データを読み出す。ステップＳ８９において、表示制御部１０６は、検索結果表示制御データを基に、画像保持部１１０から本画像２０１または縮小画像２０２を読み出して、本画像２０１または縮小画像２０２をモニタ４０に表示させて、処理は終了する。

例えば、ステップＳ８５において、色または画像の周波数成分などの類似の度合いを計算するための特徴を示すベクトルの距離である検索結果表示制御データが生成された場合、ステップＳ８９において、表示制御部１０６は、本画像２０１または縮小画像２０２を、基準となる画像との類似の順にモニタ４０に表示させる。

また、例えば、ステップＳ８５において、所定の色名によって想起される度合いを示す関連度が入力された閾値以上であることを示す検索結果表示制御データが生成された場合、ステップＳ８９において、表示制御部１０６は、その色名の色を多く含む本画像２０１または縮小画像２０２をモニタ４０に表示させる。

さらに、例えば、ステップＳ８５において、所定の色名によって想起される度合いを示す関連度と入力された閾値との距離である検索結果表示制御データが生成された場合、ステップＳ８９において、表示制御部１０６は、所望の色名の色を所望の量だけ含む本画像２０１または縮小画像２０２をモニタ４０に表示させる。

携帯電話機１２は、図２１のフローチャートを参照して説明した検索の処理と同様の処理を実行する。サーバ１３は、図２１のフローチャートを参照して説明した検索の処理と同様の処理を実行する。

その結果、図２２で示されるように、サーバ１３−１またはサーバ１３−２における、例えば、コンテンツデータベース１４１および類似特徴データベース１４２に格納されているメタデータ２６１を基にした本画像２０１の検索と同様に、デジタルスチルカメラ１１または携帯電話機１２において、縮小画像２０２を、コンテンツデータベース１１１および類似特徴データベース１１２に格納されているメタデータ２６１を基にして検索することができる。

次に、デジタルスチルカメラ１１による、より具体的な検索の処理について説明する。

図２３は、デジタルスチルカメラ１１による検索の処理の他の例を示すフローチャートである。ステップＳ１０１において、表示制御部１０６は、モニタ４０に、時系列に縮小画像２０２を表示させる。すなわち、ステップＳ１０１において、画像保持部１１０は、記録している縮小画像２０２のうち、使用者の操作に応じた入力部４９からの信号に応じた所定の範囲の縮小画像２０２を表示制御部１０６に供給する。また、コンテンツデータベース１１１は、表示制御部１０６に供給された所定の範囲の縮小画像２０２のメタデータ２６１のうち、撮影時刻のメタデータを表示制御部１０６に供給する。そして、表示制御部１０６は、モニタ４０に、撮影時刻を基に、撮影された順の時系列に縮小画像２０２を表示させる。

例えば、図２４で示されるように、表示制御部１０６は、モニタ４０に、グループIDで特定されるグループ毎に、撮影された順の時系列に縮小画像２０２を表示させる。図２４の右側における四角は、１つの縮小画像２０２を示し、四角の中の数字は、撮影された順序を示す。すなわち、例えば、表示制御部１０６は、グループ毎に、撮影された順にラスタスキャン順に縮小画像２０２をモニタ４０に表示させる。

なお、ステップＳ１０１において、画像保持部１１０は、モニタ４０に、クラスタリングした画像を表示させるようにしてもよい。

ここで、時刻ｔ1乃至ｔ12のそれぞれのタイミングにおいて撮影された画像ｐ1乃至ｐ12がクラスタリングの対象とされている場合を例に説明する。例えば、クラスタを規定する条件として条件Ａと条件Ｂが設定され、そのうちの条件Ａにより、画像ｐ1乃至ｐ12全体からなる１つのクラスタが規定される。ここで、条件Ａは粒度の低い（粗い）クラスタを規定する条件であり、条件Ｂは条件Ａより粒度の高い（細かい）クラスタを規定する条件である。例えば、条件Ａにより規定されたクラスタにはイベント名「結婚式」が設定される。

「結婚式」のイベント名が設定されているクラスタは、例えば、画像ｐ1乃至ｐ12のそれぞれの画像の撮影時刻の時間間隔のばらつきの程度が、ある閾値より小さいことなどから規定されたものである。

また、条件Ｂにより、画像ｐ1乃至ｐ12のうちの画像ｐ1乃至ｐ3から１つのクラスタが規定され、画像ｐ4乃至ｐ7から１つのクラスタが規定される。また、画像ｐ8乃至ｐ12から１つのクラスタが規定される。

画像ｐ1乃至ｐ3からなるクラスタには「教会での挙式」、画像ｐ4乃至ｐ7からなるクラスタには「披露宴」、画像ｐ8乃至ｐ12からなるクラスタには「二次会」のイベント名がそれぞれ設定される。

「教会での挙式」のイベント名が設定されているクラスタは、それを構成する画像ｐ1乃至ｐ3のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ3と、次に（時間軸上で次に）撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像ｐ4乃至ｐ7のうちの最初の画像である画像ｐ4との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定される。

また、「披露宴」のイベント名が設定されているクラスタは、それを構成する画像ｐ4乃至ｐ7のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ7と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像ｐ8乃至ｐ12のうちの最初の画像である画像ｐ8との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定される。

「二次会」のイベント名が設定されているクラスタは、それを構成する画像ｐ8乃至ｐ12のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像ｐ12と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりのうちの最初の画像との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定される。

なお、「結婚式」、「教会での挙式」、「披露宴」、「二次会」のそれぞれのイベント名は、例えば、ユーザにより手動で設定される。

このように、同じ対象の画像をクラスタリングする条件として複数の条件が設定され、それぞれの条件に基づいて、異なる粒度のクラスタが規定される。

以上のようにして規定されたそれぞれのクラスタに含まれる画像は、階層構造を有する形でユーザに提示される。

また、ステップＳ１０１において、画像保持部１１０は、モニタ４０に、日付毎に表示領域を区分して、区分された領域の日付と画像の撮影された日付とが一致するように、所定の領域に縮小画像２０２を表示させるようにしてもよい。すなわち、ステップＳ１０１において、画像保持部１１０は、カレンダ表示によって、縮小画像２０２を表示させるようにしてもよい。

ステップＳ１０２において、検索部１０７は、使用者の操作に応じた入力部４９からの信号を基に、モニタ４０に表示されている縮小画像２０２の中から、１つの縮小画像２０２を選択する。

この場合、図２４で示されるように、時系列に表示された縮小画像２０２のいずれかが選択された場合、表示制御部１０６は、選択された縮小画像２０２をハイライト表示するか、選択された縮小画像２０２の縁を強調表示する。

また、この場合、図２５で示されるように、時系列に表示された縮小画像２０２のいずれかが選択された場合、表示制御部１０６は、選択された縮小画像２０２を拡大してモニタ４０に表示するようにしてもよい。

ステップＳ１０３において、検索部１０７は、類似する画像の検索の処理を実行する。

図２６は、ステップＳ１０３に対応する、類似する画像の検索の処理の詳細を説明するフローチャートである。ステップＳ１３１において、検索部１０７は、使用者の操作に応じた入力部４９からの信号を取得することにより、モニタ４０に表示されたメニューの中の「類似検索」の項目の選択による類似検索の指示を取得する。

ステップＳ１３２において、検索部１０７は、使用者の操作に応じた入力部４９からの信号を取得することにより、検索開始の指示を取得する。

ステップＳ１３３において、検索部１０７は、類似特徴データベース１１２から、ステップＳ１０２において選択された縮小画像２０２のコンテンツIDに対応する類似特徴ベクトルを読み込む。ここで、類似特徴ベクトルは、色特徴ベクトルCvであるか、または周波数成分ベクトルTvである。

ステップＳ１３４において、検索部１０７は、類似特徴データベース１１２から、検索する範囲の１つの縮小画像２０２のコンテンツIDに対応する類似特徴ベクトルを読み込む。

この場合、ステップＳ１３３において色特徴ベクトルCvである類似特徴ベクトルが読み出された場合、ステップＳ１３４において、色特徴ベクトルCvである類似特徴ベクトルが読み出される。また、ステップＳ１３３において周波数成分ベクトルTvである類似特徴ベクトルが読み出された場合、ステップＳ１３４において、周波数成分ベクトルTvである類似特徴ベクトルが読み出される。

ステップＳ１３５において、検索部１０７は、検索する範囲の縮小画像２０２の類似特徴ベクトルと選択された縮小画像２０２の類似特徴ベクトルとの距離を算出する。

ここで、それぞれ、３２の要素を持つ色特徴ベクトルCv１={(c1_1,r1_1),・・・,(c32_1,r32_1)}と色特徴ベクトルCv2={(c1_2,r1_2),・・・,(c32_2,r32_2)}と距離を例に、距離の算出について説明する。

まず、ground distance d_ij=d(c1i,c2j)という概念を導入する。ground distance d_ijは、色特徴ベクトルの要素の間の距離を表し、この例の場合、２つの色のユークリッド距離（Ｌ^*ａ^*ｂ^*の３軸空間における距離）なので、d_ij=‖c1i−c2j‖と表される。

すると、色特徴ベクトルCv１と色特徴ベクトルCv2との間のEMD（Earth Movers Distance）は、それぞれ、色特徴ベクトルCv１を供給地、色特徴ベクトルCv2を需要地、d_ijを単位輸送コストに対応付けて、色特徴ベクトルCv１から色特徴ベクトルCv2へのフローF={Fji}を決定する輸送問題の解を用いて計算される。

すなわち、EMDは、輸送問題の最適値（輸送コストの総計の最小値）をフローの数で割り算して正規化することにより、式（１）により求められる。

・・・（１）
このとき、

とされる。

式（１）により求められるEMDが、色特徴ベクトルCv１と色特徴ベクトルCv2との距離とされる。

周波数成分ベクトルTvの距離は、色特徴ベクトルCvの距離と同様に求められる。

なお、重みWcを色特徴ベクトルCvの距離に対して決めると共に、重みWtを周波数成分ベクトルTvの距離に対して決めて、式（２）から最終的な距離（distance）を求めるようにしてもよい。

・・・（２）

使用者が重みWcおよび重みWtを決めるようにしても、重みWcおよび重みWtを固定としてもよい。例えば、より具体的には、重みWcおよび重みWtをそれぞれ0.5として、最終的な距離を、色特徴ベクトルCvの距離と周波数成分ベクトルTvの距離の平均とするようにしてもよい。

なお、ベクトルの距離計算に、Y. Rubner, C. Tomasi, and L. J. Guibas. A Metric for Distributions with Applications to Image Databases. Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India, January 1998, pp. 59-66に記載されているEMD（Earth Movers Distance）を用いた例を説明したが、これに限らず、例えば、Euclidean distanceやHausdorff distanceのほか、小早川倫広、星守著、「ウェーブレット変換を用いた対話的類似画像検索システム」、「コンピュータサイエンス誌bit １２月号」、（1999年12月１日）、共立出版（株）発行、30頁乃至41頁や、呉君錫、金子邦彦、牧之内顕文、上野敦子著、「自己組織化特徴マップに基づいた類似画像検索システムの設計・実装と性能評価」、「電子情報通信学会技術研究報告 Vol.100 No.31」、（2000年５月２日）、（社）電子情報通信学会発行、９頁乃至16頁等の文献等に記載されているような手法を用いてもよい。

ステップＳ１３６において、検索部１０７は、検索する範囲の画像に関係付けて、距離を類似結果データベース１１３に格納する。例えば、ステップＳ１３６において、検索部１０７は、検索する範囲の画像のコンテンツIDと共に距離を類似結果データベース１１３に格納する。

図２７は、コンテンツデータベース１１１および類似特徴データベース１１２に格納されているメタデータ並びに類似結果データベース１１３に格納されている距離の構造を示す図である。

図２７において、データベースレコード３０１−１は、コンテンツアイテム２８１−１およびコンテンツアイテム２８１−１に対応し、データベースレコード３０１−２は、コンテンツアイテム２８１−２およびコンテンツアイテム２８１−２に対応する。

すなわち、データベースレコード３０１−１およびータベースレコード３０１−２は、それぞれ、コンテンツID、類似特徴ベクトル、本画像２０１のパス名およびファイル名、グループID、撮影時刻、およびその他のプロパティからなる。

距離レコード３０２は、類似結果データベース１１３に格納され、コンテンツIDと選択された画像からの距離とからなる。距離レコード３０２は、コンテンツIDによって、データベースレコード３０１−１およびータベースレコード３０１−２に関係付けられる。

以下、データベースレコード３０１−１およびータベースレコード３０１−２を個々に区別する必要がない場合、単に、データベースレコード３０１と称する。

距離レコード３０２における距離は、distanceであるプロパティとされる。

また、時間グループレコード３０３は、時間グループデータベース１１４に格納され、グループに固有の（グループを特定するための）グループIDと、グループIDで特定されるグループに属する画像を特定するコンテンツIDの配列とからなる。時間グループレコード３０３におけるコンテンツIDの配列は、PhotoIdArrayであるプロパティとされる。

図２８で示されるように、コンテンツデータベース１１１、類似結果データベース１１３、および時間グループデータベース１１４のそれぞれのレコードが関係付けられる。コンテンツデータベース１１１および類似特徴データベース１１２（図示せず）には、１または複数のデータベースレコード３０１が格納され、類似結果データベース１１３には、１または複数の距離レコード３０２が格納され、時間グループデータベース１１４には、１または複数の時間グループレコード３０３が格納される。

図２６に戻り、ステップＳ１３７において、検索部１０７は、検索する範囲の全ての画像について処理を終了したか否かを判定し、処理を終了していないと判定された場合、ステップＳ１３４に戻り、類似特徴データベース１１２から、検索する範囲の次の縮小画像２０２のコンテンツIDに対応する類似特徴ベクトルを読み込んで、上述した処理を繰り返す。

ステップＳ１３７において、処理を終了したと判定された場合、ステップＳ１３８に進み、検索部１０７は、類似特徴データベース１１２から、検索する範囲の画像に関係付けられた距離を読み出す。例えば、ステップＳ１３８において、検索部１０７は、類似特徴データベース１１２から、検索する範囲の画像を特定するコンテンツIDと共に、距離を読み出す。

ステップＳ１３９において、検索部１０７は、ステップＳ１３８で読み出した距離で、検索する範囲の画像を類似順にソートし、処理は終了する。例えば、ステップＳ１３９において、検索部１０７は、距離の順に、検索する範囲の画像を特定するコンテンツIDをソートすることで、検索する範囲の画像を類似順にソートする。

図２３に戻り、ステップＳ１０４において、表示制御部１０６は、モニタ４０に、類似の順に縮小画像２０２を表示させる。すなわち、ステップＳ１０４において、表示制御部１０６は、画像保持部１１０から縮小画像２０２を読み出して、ステップＳ１３９においてソートされた類似の順に縮小画像２０２をモニタ４０に表示させる。

例えば、図２９で示されるように、表示制御部１０６は、モニタ４０に、ステップＳ１０２で選択された縮小画像２０２に類似する縮小画像２０２を、類似の順に表示させる。例えば、表示制御部１０６は、モニタ４０の表示領域の左上にステップＳ１０２で選択された縮小画像２０２（図２９中のキー画像）を表示させ、その右側の領域に、キー画像に類似する縮小画像２０２を類似する順でラスタスキャン順に表示させる。図２９の右側における四角は、１つの縮小画像２０２を示し、四角の中のアルファベットは、類似する順を示す。

ステップＳ１０５において、検索部１０７は、使用者の操作に応じた入力部４９からの信号を基に、モニタ４０に表示されている縮小画像２０２の中から、１つの縮小画像２０２を選択する。

例えば、図２９で示されるように、モニタ４０に、類似する順でラスタスキャン順に表示されている縮小画像２０２のうち、Ｂのアルファベットが付された縮小画像２０２が選択された場合、選択された縮小画像２０２をハイライト表示するか、または縁を強調表示すると共に、表示制御部１０６は、モニタ４０の表示領域のキー画像の下に、選択された縮小画像２０２を拡大して表示する。

ステップＳ１０６において、検索部１０７は、使用者の操作に応じた入力部４９からの信号を基に、キャンセルするか否かを判定し、キャンセルしないと判定された場合、ステップＳ１０７に進み、さらに、決定するか否かを判定する。

ステップＳ１０７において、決定すると判定された場合、ステップＳ１０８に進み、検索部１０７は、コンテンツデータベース１１１から、ステップＳ１０５の処理で、選択されている縮小画像２０２のグループIDを取得する。すなわち、検索部１０７は、コンテンツデータベース１１１から、ステップＳ１０５の処理で、選択されている縮小画像２０２のコンテンツIDで特定されるメタデータ２６１を読み出して、読み出したメタデータ２６１から、選択されている縮小画像２０２が属するグループを特定するグループIDを抽出することで、選択されている縮小画像２０２のグループIDを取得する。

ステップＳ１０９において、検索部１０７は、取得したグループIDで特定されるグループに属する縮小画像２０２を画像保持部１１０から読み出す。より具体的には、検索部１０７は、取得したグループIDで、時間グループデータベース１１４の時間グループレコード３０３を検索する。検索部１０７は、取得したグループIDと同じグループIDを含む時間グループレコード３０３から、グループIDで特定されるグループに属する画像を特定するコンテンツIDの配列を時間グループデータベース１１４から読み出す。そして、検索部１０７は、読み出したコンテンツIDの配列の要素であるコンテンツIDで特定される縮小画像２０２を画像保持部１１０から読み出す。検索部１０７は、読み出した縮小画像２０２を表示制御部１０６に供給する。

ステップＳ１１０において、表示制御部１０６は、モニタ４０に、読み出した縮小画像２０２を、時系列に表示させ、処理は終了する。

なお、ステップＳ１１０において、表示制御部１０６は、モニタ４０に、クラスタリングした画像を表示させるようにしてもよく、また、カレンダ表示によって、縮小画像２０２を表示させるようにしてもよい。

ステップＳ１０７において、決定すると判定された場合、ステップＳ１０４に戻り、上述した処理を繰り返す。

ステップＳ１０６において、キャンセルすると判定された場合、ステップＳ１０１に戻り、上述した処理を繰り返す。

なお、ステップＳ１０１乃至ステップＳ１１０の処理において、ステップＳ１０２またはステップＳ１０５において、次の画像が選択されるまで、画像の選択の状態は維持される。ステップＳ１０１、ステップＳ１０４、またはステップＳ１１０において、画像が表示されると共に、選択されている画像の縁が強調して表示されるなど、使用者が選択されている画像を識別できるように、画像の選択が示される。

すなわち、画像の選択の状態を維持したまま、時系列の表示の状態と類似順の表示の状態との間で状態が遷移される。

このようにすることで、所定の画像に類似する画像が撮影された時刻に近い時刻に撮影された画像を即座に表示したり、所定の画像が撮影された時刻に近い時刻に撮影された画像に類似する画像を即座に表示したりすることができる。また、画像を、類似しているか、近い時刻に撮影されたかによって、順に画像を辿るように画像を検索することができる。

表示画面の小さなデジタルスチルカメラ１１であっても、時間軸の検索と類似検索とを効果的に組み合わせることにより、人の記憶の支配的な要素である、画像の類似の概念と時間の概念とに応じた画像の検索と閲覧とが可能になる。

また、類似を示す距離は、あくまでも統計的手法に基づく類似性を示すものであり、検索漏れが生じ、人の感覚からすれば似ていると捉えられる画像が検索されないこともあるが、このような検索漏れが生じたとしても、近接するイベントでの画像が一覧表示されるので、人の感覚からすれば似ていると捉えられる画像に到達することができるようになる。

また、花見の画像、花火の画像、バーベキューの画像など、毎年繰り返される行事や催し（イベント）の画像を、毎年、撮影している場合には、類似検索してから、時系列に瞬時に並び替えることができるので、年代順に同じような行事（イベント）の画像を表示することができ、記憶を思い起こすためのアルバムとして活用することができるようになる。

なお、デジタルスチルカメラ１１は、図２３のフローチャートで示される処理で、本画像２０１を検索するようにしてもよい。

図２３のフローチャートの検索の処理によれば、例えば、図３０の上側に示されるように、まず、縮小画像２０２が、モニタ４０に、グループ毎に、時系列に表示される。例えば、時系列に表示されている縮小画像２０２のうち、Ａのアルファベットが付加された縮小画像２０２（キー画像）が選択されると、Ａのアルファベットが付加された縮小画像２０２の縁が強調して表示される。

Ａのアルファベットが付加された縮小画像２０２（キー画像）が選択されて、類似する画像の検索の処理が実行されると、Ａのアルファベットが付加された縮小画像２０２に類似する縮小画像２０２が検索されて、類似する順にモニタ４０に表示させられる。

この場合、モニタ４０には、Ａのアルファベットが付加された縮小画像２０２であるキー画像が拡大されて表示される。

類似する順に表示されている縮小画像２０２のうち、Ｂのアルファベットが付加された縮小画像２０２が選択されると、モニタ４０には、Ｂのアルファベットが付加された縮小画像２０２であるキー画像が拡大されて表示される。

Ａのアルファベットが付加された縮小画像２０２に類似する縮小画像２０２が、類似する順にモニタ４０に表示させられている場合、キャンセルされると、時系列に縮小画像２０２を表示する状態に戻る。

類似する順に表示されている縮小画像２０２のうち、Ｂのアルファベットが付加された縮小画像２０２が選択されて、決定キーが押下されると、Ｂのアルファベットが付加された縮小画像２０２が属するグループに属する縮小画像２０２が、モニタ４０に、時系列に表示される。この場合、Ｂのアルファベットが付加された縮小画像２０２の縁が強調して表示される。

撮影された日付によって縮小画像２０２がグループ分けされている場合、モニタ４０には、Ｂのアルファベットが付加された縮小画像２０２が撮影された日付に近い日付の縮小画像２０２が、グループ毎に時系列で表示される。

次に、サーバ１３における検索の処理について説明する。図３１は、サーバ１３による検索の処理を説明するフローチャートである。ステップＳ１６１において、サーバ１３の表示制御部１３６は、ディスプレイである出力部７７に、時系列に本画像２０１を表示させる。すなわち、ステップＳ１６１において、画像保持部１４０は、記録している本画像２０１のうち、使用者の操作に応じた入力部７６からの信号に応じた所定の範囲の本画像２０１を表示制御部１３６に供給する。また、コンテンツデータベース１４１は、表示制御部１３６に供給された所定の範囲の本画像２０１のメタデータ２６１のうち、撮影時刻のメタデータを表示制御部１３６に供給する。そして、表示制御部１３６は、ディスプレイである出力部７７に、撮影時刻を基に、撮影された順の時系列に本画像２０１を表示させる。

例えば、図３２の右側に示されるように、表示制御部１３６は、ディスプレイである出力部７７に、撮影された順の時系列に本画像２０１を表示させる（時間軸表示される）。例えば、表示制御部１３６は、グループ毎に、撮影された順に本画像２０１をディスプレイである出力部７７に表示させる。

ステップＳ１６２において、検索部１３７は、使用者の操作に応じた入力部７６からの信号を基に、ディスプレイである出力部７７に表示されている本画像２０１の中から、１つの本画像２０１を選択する。

ステップＳ１６３において、検索部１３７は、類似する画像の検索の処理を実行する。ステップＳ１６３の類似する画像の検索の処理は、検索部１０７に代わり検索部１３７によって実行される点が異なるが、他の点は、図２６のフローチャートを参照して説明した処理と同様なのでその詳細な説明は省略する。

ステップＳ１６４において、表示制御部１３６は、ディスプレイである出力部７７に、類似の順に本画像２０１を表示させる。すなわち、ステップＳ１６４において、表示制御部１３６は、ソートされた類似の順に本画像２０１をディスプレイである出力部７７に表示させる。

例えば、図３２の左側に示されるように、表示制御部１３６は、ディスプレイである出力部７７に、ステップＳ１６２で選択された本画像２０１に類似する本画像２０１を、類似の順に表示させる。

ステップＳ１６５において、検索部１３７は、使用者の操作に応じた入力部４９からの信号を基に、ディスプレイである出力部７７に表示されている本画像２０１の中から、１つの本画像２０１を選択する。

ステップＳ１６６において、検索部１３７は、使用者の操作に応じた入力部４９からの信号を基に、時系列に表示するか否かを判定する。例えば、検索部１３７は、ディスプレイである出力部７７に表示されている切換ボタン３５１または切換ボタン３５２のクリックに応じた、入力部７６からの信号を基に、時系列に表示するか否かを判定する。

例えば、ディスプレイである出力部７７に表示されている、時系列順の表示を指示する切換ボタン３５１がクリックされた場合、ステップＳ１６６において、時系列に表示すると判定されるので、時系列に表示すると判定されたとき、手続きは、ステップＳ１６７に進む。

ステップＳ１６７において、検索部１３７は、コンテンツデータベース１４１から、選択されている本画像２０１のグループIDを取得する。すなわち、検索部１３７は、コンテンツデータベース１４１から、選択されている本画像２０１のコンテンツIDで特定されるメタデータ２６１を読み出して、読み出したメタデータ２６１から、選択されている本画像２０１が属するグループを特定するグループIDを抽出することで、選択されている本画像２０１のグループIDを取得する。

ステップＳ１６８において、検索部１３７は、取得したグループIDで特定されるグループに属する本画像２０１を画像保持部１４０から読み出す。より具体的には、検索部１３７は、取得したグループIDで、時間グループデータベース１４４の時間グループレコード３０３を検索する。検索部１３７は、取得したグループIDと同じグループIDを含む時間グループレコード３０３から、グループIDで特定されるグループに属する画像を特定するコンテンツIDの配列を時間グループデータベース１４４から読み出す。そして、検索部１３７は、読み出したコンテンツIDの配列の要素であるコンテンツIDで特定される本画像２０１を画像保持部１４０から読み出す。検索部１３７は、読み出した本画像２０１を表示制御部１３６に供給する。

ステップＳ１６９において、表示制御部１３６は、ディスプレイである出力部７７に、読み出した本画像２０１を、時系列に表示させる。例えば、ステップＳ１６９において、表示制御部１３６は、ディスプレイである出力部７７に、読み出した本画像２０１を、グループ毎に、時系列に表示させる。

ステップＳ１７０において、検索部１３７は、使用者の操作に応じた入力部７６からの信号を基に、ディスプレイである出力部７７に表示されている本画像２０１の中から、１つの本画像２０１を選択する。

ステップＳ１７１において、検索部１３７は、使用者の操作に応じた入力部４９からの信号を基に、時系列に表示するか否かを判定する。例えば、検索部１３７は、ディスプレイである出力部７７に表示されている切換ボタン３５１または切換ボタン３５２のクリックに応じた、入力部７６からの信号を基に、時系列に表示するか否かを判定する。

例えば、ディスプレイである出力部７７に表示されている、類似順の表示を指示する切換ボタン３５２がクリックされた場合、ステップＳ１７１において、類似順に表示すると判定されるので、時系列に表示すると判定されたとき、手続きは、ステップＳ１６３に戻り、上述した処理を繰り返す。

また、例えば、ディスプレイである出力部７７に表示されている、時系列の表示を指示する切換ボタン３５１がクリックされた場合、ステップＳ１７１において、類似順に表示しないと判定されるので、時系列に表示しないと判定されたとき、手続きは、ステップＳ１６７に戻り、上述した処理を繰り返す。

ステップＳ１６６において、例えば、ディスプレイである出力部７７に表示されている、類似順の表示を指示する切換ボタン３５２がクリックされた場合、時系列に表示しないと判定されるので、手続きは、ステップＳ１６３に戻り、上述した処理を繰り返す。

このように、例えば、ディスプレイである出力部７７に表示されている切換ボタン３５１または切換ボタン３５２のクリックに応じて、類似順の表示と時系列の表示とを任意に切り換えることができる。

次に、サーバ１３における関連度の抽出について説明する。

デジタルスチルカメラ１１、携帯電話機１２、およびサーバ１３は、画像の特徴として、色名とその色名に対する関連度を用いて、画像を検索する。サーバ１３は、画像の特徴の１つとして、画像から所定の色名に対する関連度を抽出する。

ここで、色名に対する関連度とは、ある画像が、特定の色名によって想起される度合いを意味する。換言すれば、関連度は、ある画像において、特定の色名であると想定できる色が含まれる割合を言う。

ここで、色名は、例えば、赤、青、黄、白、黒、緑などである。

図３３は、色名に対する関連度を抽出する色特徴抽出部１７２の構成の例を示すブロック図である。色特徴抽出部１７２は、画像入力部４０１、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、”黄”関連度抽出部４０４、および抽出特徴記録部４０５から構成される。

なお、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、および”黄”関連度抽出部４０４は、一例であり、任意の色についての関連度を抽出する任意の数の関連度抽出部が設けられる。すなわち、関連度抽出部は、色名毎に用意される。

以下、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、および”黄”関連度抽出部４０４が設けられている場合を例に説明する。

画像入力部４０１は、画像保持部１４０から、関連度の抽出の対象となる本画像２０１を取得する。また、画像入力部４０１は、関連度抽出部対応保持部１４５から、色名と、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、または”黄”関連度抽出部４０４との対応を示す対応情報を取得する。

図３４の例で示されるように、関連度抽出部対応保持部１４５に記録されている対応情報には、色名とその色名に対する関連度を抽出する”赤”関連度抽出部４０２、”青”関連度抽出部４０３、または”黄”関連度抽出部４０４のいずれかを特定する情報が配置されている。例えば、図３４に示される対応情報の例において、”赤”である色名と、”赤”関連度抽出部４０２との対応が示され、”青”である色名と、”青”関連度抽出部４０３との対応が示され、”黄”である色名と、”黄”関連度抽出部４０４との対応が示されている。

画像入力部４０１は、対応情報に基づいて、画像保持部１４０から取得した本画像２０１を、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、および”黄”関連度抽出部４０４に供給する。

”赤”関連度抽出部４０２は、画像入力部４０１から供給された本画像２０１から、本画像２０１が赤である色名によって想起される度合いを示す関連度を抽出する。”赤”関連度抽出部４０２は、本画像２０１から抽出した、赤である色名によって想起される度合いを示す関連度を、抽出特徴記録部４０５に供給する。

”青”関連度抽出部４０３は、画像入力部４０１から供給された本画像２０１から、本画像２０１が青である色名によって想起される度合いを示す関連度を抽出する。”青”関連度抽出部４０３は、本画像２０１から抽出した、青である色名によって想起される度合いを示す関連度を、抽出特徴記録部４０５に供給する。

”黄”関連度抽出部４０４は、画像入力部４０１から供給された本画像２０１から、本画像２０１が黄である色名によって想起される度合いを示す関連度を抽出する。”黄”関連度抽出部４０４は、本画像２０１から抽出した、黄である色名によって想起される度合いを示す関連度を、抽出特徴記録部４０５に供給する。

抽出特徴記録部４０５は、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、および”黄”関連度抽出部４０４のそれぞれから供給された、赤である色名によって想起される度合いを示す関連度、青である色名によって想起される度合いを示す関連度、および黄である色名によって想起される度合いを示す関連度を、本画像２０１に関係付けて、抽出特徴保持部１４６に記録させる。

例えば、この場合、図３５に示されるように、抽出特徴保持部１４６は、本画像２０１を特定するコンテンツIDと共に、赤である色名によって想起される度合いを示す関連度、青である色名によって想起される度合いを示す関連度、および黄である色名によって想起される度合いを示す関連度を記録する。

なお、上述の例においては、画像保持部１４０に記録された本画像２０１が画像入力部４０１より入力される例を示したが、本画像２０１に限らず、縮小画像２０２または減色された画像２２１が入力される構成として、縮小画像２０２または減色された画像２２１を処理の対象とするようにしてもよい。また、画像の代わりに、上述した、各関連度を抽出しようとする画像に対応づけられた色ヒストグラムを画像入力部４０１から入力し、各関連度抽出部（例えば、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、および”黄”関連度抽出部４０４）においては該色ヒストグラムから各関連度を抽出する構成としてもよい。

図３５は、抽出特徴保持部１４６に記録される関連度の論理構造を示す図である。図３５に示される例において、抽出特徴保持部１４６は、０００であるコンテンツIDに対応させて、０００であるコンテンツIDで特定される本画像２０１から抽出された、０．８０である、赤である色名によって想起される度合いを示す関連度、０．００である、青である色名によって想起される度合いを示す関連度、および０．１０である黄である色名によって想起される度合いを示す関連度を記録する。また、抽出特徴保持部１４６は、００１であるコンテンツIDに対応させて、００１であるコンテンツIDで特定される本画像２０１から抽出された、０．００である、赤である色名によって想起される度合いを示す関連度、０．２５である、青である色名によって想起される度合いを示す関連度、および０．２０である黄である色名によって想起される度合いを示す関連度を記録する。さらに、抽出特徴保持部１４６は、００２であるコンテンツIDに対応させて、００２であるコンテンツIDで特定される本画像２０１から抽出された、０．１５である、赤である色名によって想起される度合いを示す関連度、０．０５である、青である色名によって想起される度合いを示す関連度、および０．００である黄である色名によって想起される度合いを示す関連度を記録する。

また、抽出特徴記録部４０５は、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、および”黄”関連度抽出部４０４のそれぞれから供給された、赤である色名によって想起される度合いを示す関連度、青である色名によって想起される度合いを示す関連度、および黄である色名によって想起される度合いを示す関連度を、メタデータ２６１として本画像２０１に関係付けて、類似特徴データベース１４２に記録させる。

なお、関連度は、EXIF方式のデータである本画像２０１の所定の領域に格納するようにしてもよい。

検索部１３７は、本画像２０１の特徴として、色名とその色名に対する関連度を用いて、本画像２０１を検索する。この場合、例えば、検索部１３７は、検索条件入力部４２１および条件照合部４２２から構成される。

検索条件入力部４２１は、使用者の操作に応じた入力部７６からの信号を基に、関連度についての検索の条件を入力する。検索条件入力部４２１は、関連度についての検索の条件を条件照合部４２２に供給する。

条件照合部４２２は、検索条件入力部４２１から供給された検索の条件と、抽出特徴保持部１４６に記録されている関連度とを照合する。条件照合部４２２は、照合の結果、検索の条件を満たす関連度に対応するコンテンツIDを検索結果保持部１４７に格納する。

図３６は、ステップＳ４３に対応する、色特徴抽出の処理の詳細を説明するフローチャートである。ステップＳ２０１において、画像入力部４０１は、画像保持部１４０から、関連度の抽出の対象となる画像である本画像２０１を入力する。また、画像入力部４０１は、関連度抽出部対応保持部１４５から、対応情報を入力する。

ステップＳ２０２において、画像入力部４０１は、色名を入力する。ステップＳ２０３において、画像入力部４０１は、対応情報を基に、入力した色名に対応する、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、または”黄”関連度抽出部４０４のいずれかを特定する。

例えば、ステップＳ２０３において、画像入力部４０１は、ステップＳ２０２において、”赤”である色名が入力された場合、対応情報を基に”赤”関連度抽出部４０２を特定する。

画像入力部４０１は、特定された”赤”関連度抽出部４０２、”青”関連度抽出部４０３、または”黄”関連度抽出部４０４のいずれかに、入力した本画像２０１を供給する。

ステップＳ２０４において、ステップＳ２０３で特定された、”赤”関連度抽出部４０２、”青”関連度抽出部４０３、または”黄”関連度抽出部４０４のいずれかは、関連度抽出処理を実行する。関連度抽出処理の詳細は後述する。

抽出された関連度は、抽出特徴記録部４０５に供給される。

ステップＳ２０５において、抽出特徴記録部４０５は、関連度の抽出の対象となった本画像２０１に対応させて、抽出した関連度を色特徴ベクトルとして抽出特徴保持部１４６に記録させる。

ステップＳ２０６において、画像入力部４０１は、色名が終わりであるか否か、すなわち、全ての色名について本画像２０１から関連度を抽出したか否かを判定し、色名が終わりでないと判定された場合、まだ抽出していない色名についての関連度があるので、ステップＳ２０２に戻り、次の色名を入力して、上述した処理を繰り返す。

ステップＳ２０６において、色名が終わりである、すなわち、全ての色名について本画像２０１から関連度を抽出したと判定された場合、処理は終了する。

図３７は、図３６のステップＳ２０４に対応する、ステップＳ２０３で”赤”関連度抽出部４０２が特定された場合の関連度抽出処理の詳細の例を説明するフローチャートである。

ステップＳ２２１において、”赤”関連度抽出部４０２は、内蔵しているカウンタをクリアする。最初に実行されるステップＳ２２２において、”赤”関連度抽出部４０２は、本画像２０１の画素のうち、最初の画素の色、すなわち、画素値を入力する。ステップＳ２２３において、”赤”関連度抽出部４０２は、画素の色に対応する、色空間上の位置を計算する。

ステップＳ２２４において、”赤”関連度抽出部４０２は、計算された色空間上の位置が、赤である色名に対応するサブ空間内であるか否かを判定する。

ここで、画素の色に対応して計算される、色空間上の位置について説明する。

例えば、本画像２０１のそれぞれの画素の画素値は、RGBで表現される。この場合、画素値は、Rの値、Gの値、およびBの値からなる。RGBの色空間は、図３８で示されるように、R軸、G軸、およびB軸が相互に直交する空間である。１つの画素値によって、RGBの色空間上の１つの位置が決まる。

RGBの色空間において、人間が所定の色名の色であると認識する色の位置を１つの領域で表現することは困難である（表現しづらい）。

そこで、Ｌ^*ａ^*ｂ^*空間の位置で、画素の色を表すことを考える。Ｌ^*ａ^*ｂ^*空間は、図３９で示されるように、相互に直交するＬ^*軸、ａ^*軸、およびｂ^*軸で表現される。Ｌ^*ａ^*ｂ^*空間において、Ｌ^*軸方向の値であるＬ^*が大きくなるに従って、輝度が高くなり、Ｌ^*が小さくなるに従って、輝度が低くなる。Ｌ^*が一定である場合、Ｌ^*軸に近づくに従って、彩度が低くなる。

１つの画素値によって、Ｌ^*ａ^*ｂ^*空間上の１つの位置が決まる。

Ｌ^*ａ^*ｂ^*空間においては、人間が所定の色名の色であると認識する色の位置が１つの領域で表現できる。人間が所定の色名の色であると認識する色の位置を含む領域をサブ空間と称する。サブ空間は、例えば、Ｌ^*ａ^*ｂ^*空間において広がりをもった領域である。

まず、白および黒に対するサブ空間の例を説明する。

図４０は、白のサブ空間および黒のサブ空間の例を示す図である。白のサブ空間４４１は、楕円体の１つの軸がＬ^*軸と一致する楕球であって、図形的中心がＬ^*ａ^*ｂ^*空間の最も上の位置（Ｌ^*軸上の最大値を示す位置）と一致する楕球の内側の空間と、Ｌ^*ａ^*ｂ^*空間とが重なる空間である。白のサブ空間４４１は、彩度が低く、輝度の高い色を示す空間である。サブ空間４４１内の位置で示される色は、人間に白であると認識される。

黒のサブ空間４４２は、楕円体の１つの軸がＬ^*軸と一致する楕球であって、図形的中心がＬ^*ａ^*ｂ^*空間の最も下の位置（Ｌ^*軸上の最小値を示す位置）と一致する楕球の内側の空間と、Ｌ^*ａ^*ｂ^*空間とが重なる空間である。黒のサブ空間４４２は、彩度が低く、輝度の低い色を示す空間である。サブ空間４４２内の位置で示される色は、人間に黒であると認識される。

次に、赤、黄、緑、および青に対するサブ空間の例を説明する。

赤、黄、緑、および青は、有彩色なので、Ｌ^*ａ^*ｂ^*空間から、図４１で示される彩度境界４６１の内側の領域、輝度下限境界４６２の下側の領域、および輝度上限境界４６３の上側の領域を除外する。彩度境界４６１の内側の領域は、彩度の低い色を示す。彩度境界４６１は、その内側の領域で示される色の彩度が低く、その色が人間には、赤、黄、緑、または青と認識されない位置に設けられる。

輝度下限境界４６２の下側の領域は、輝度の低い色を示す。輝度下限境界４６２は、その下側の領域で示される色の輝度が低く、その色が人間には、赤、黄、緑、または青と認識されない位置に設けられる。

輝度上限境界４６３の上側の領域は、輝度の高い色を示す。輝度上限境界４６３は、その上側の領域で示される色の輝度が高く、その色が人間には、赤、黄、緑、または青と認識されない位置に設けられる。

従って、Ｌ^*ａ^*ｂ^*空間から、彩度境界４６１の内側の領域、輝度下限境界４６２の下側の領域、および輝度上限境界４６３の上側の領域を除外した空間は、その空間で示される色が、赤、黄、緑、または青などと人間に認識される位置からなることになる。

そして、Ｌ^*ａ^*ｂ^*空間から、彩度境界４６１の内側の領域、輝度下限境界４６２の下側の領域、および輝度上限境界４６３の上側の領域を除外した空間が、図４２で示されるように、ａ^*軸とｂ^*軸とからなる平面に対して垂直であって、Ｌ^*軸を中心とした放射状の境界で分割される。例えば、Ｌ^*ａ^*ｂ^*空間をＬ^*軸の上側から見た場合、緑のサブ空間４８１は、マイナス側のａ^*軸の上側の境界と、マイナス側のａ^*軸の下側の境界とで囲まれる、ａ^*軸側の空間である。サブ空間４８１内の位置で示される色は、人間に緑であると認識される。

また、Ｌ^*ａ^*ｂ^*空間をＬ^*軸の上側から見た場合、青のサブ空間４８２は、マイナス側のｂ^*軸の右側の境界と、マイナス側のｂ^*軸の左側の境界とで囲まれる、ｂ^*軸側の空間である。サブ空間４８２内の位置で示される色は、人間に青であると認識される。

同様に、例えば、Ｌ^*ａ^*ｂ^*空間をＬ^*軸の上側から見た場合、赤のサブ空間４８３は、プラス側のａ^*軸の上側の境界と、プラス側のａ^*軸の下側の境界とで囲まれる、ａ^*軸側の空間である。サブ空間４８３内の位置で示される色は、人間に赤であると認識される。例えば、Ｌ^*ａ^*ｂ^*空間をＬ^*軸の上側から見た場合、黄のサブ空間４８４は、プラス側のｂ^*軸の右側の境界と、プラス側のｂ^*軸の左側の境界とで囲まれる、ｂ^*軸側の空間である。サブ空間４８４内の位置で示される色は、人間に黄であると認識される。

すなわち、ステップＳ２２３において、”赤”関連度抽出部４０２は、画素の色に対応する、Ｌ^*ａ^*ｂ^*空間上の位置を計算する。そして、ステップＳ２２４において、”赤”関連度抽出部４０２は、計算されたＬ^*ａ^*ｂ^*空間上の位置が、赤である色名に対応するサブ空間４８３内であるか否かを判定する。すなわち、ステップＳ２２４において、”赤”関連度抽出部４０２は、画素の色が人間に赤であると認識される色であるか否かを判定する。

ステップＳ２２４において、計算されたＬ^*ａ^*ｂ^*空間上の位置が、赤である色名に対応するサブ空間４８３内であると判定された場合、画素の色が人間に赤であると認識される色なので、ステップＳ２２５に進み、”赤”関連度抽出部４０２は、カウンタを１だけインクリメントし、手続きは、ステップＳ２２６に進む。

ステップＳ２２４において、計算されたＬ^*ａ^*ｂ^*空間上の位置が、赤である色名に対応するサブ空間４８３内でないと判定された場合、画素の色が人間に赤であると認識されない色なので、ステップＳ２２５をスキップして、カウンタをインクリメントしないで、手続きは、ステップＳ２２６に進む。

ステップＳ２２６において、”赤”関連度抽出部４０２は、画素が終わりであるか否か、すなわち、本画像２０１の画素の全てについて処理を適用したか否かを判定し、画素が終わりでないと判定された場合、ステップＳ２２２に戻り、本画像２０１の画素のうち、次の画素の色、すなわち、次の画素の画素値を入力して、上述した処理を繰り返す。

ステップＳ２２６において、画素が終わりである、すなわち、本画像２０１の画素の全てについて処理を適用したと判定された場合、ステップＳ２２７に進み、”赤”関連度抽出部４０２は、カウンタの数（値）を本画像２０１の画素の数で除算する。その結果、本画像２０１において、赤であると想定できる色が含まれる割合が求められることになる。

ステップＳ２２８において、”赤”関連度抽出部４０２は、除算の結果を赤の関連度とし、関連度を抽出特徴記録部４０５に赤の関連度を供給して、処理は終了する。

なお、Ｌ^*ａ^*ｂ^*空間におけるサブ空間を例に説明したが、Ｌ^*ａ^*ｂ^*空間に限らず、所定の色名の色を１つの領域で表現される色空間を用いて、そのサブ空間を基に関連度を求めるようにしてもよい。

図３７を参照して説明した関連度抽出処理においては、画素毎の色がサブ空間の内側であるか否かの２値判断を行ったが、サブ空間の中心に近いのか、それともサブ空間の境界に近いのか（境界ぎりぎりなのか）を関連度に反映させることも考えられる。

次に、この場合の関連度抽出処理を説明する。

図４３は、図３６のステップＳ２０４に対応する、ステップＳ２０３で”赤”関連度抽出部４０２が特定された場合の関連度抽出処理の詳細の他の例を説明するフローチャートである。ステップＳ２４１において、”赤”関連度抽出部４０２は、記憶している関連度をクリアする。最初に実行されるステップＳ２４２において、”赤”関連度抽出部４０２は、本画像２０１の画素のうち、最初の画素の色、すなわち、画素値を入力する。ステップＳ２４３において、”赤”関連度抽出部４０２は、画素の色に対応する、色空間上の位置を計算する。

ステップＳ２２４において、”赤”関連度抽出部４０２は、計算された色空間上の位置について、色名に対応するサブ空間に属する確信度を算出する。すなわち、ステップＳ２２４において、”赤”関連度抽出部４０２は、計算された色空間上の位置について、赤である色名に対応するサブ空間４８３に属する確信度を算出する。

確信度は、サブ空間の中心に近いのか、それともサブ空間の境界に近いのかを示す、サブ空間の内側から外側に向かって１から０に連続的に変化する指標値である。

例えば、ステップＳ２２４において、”赤”関連度抽出部４０２は、計算された色空間上の位置がサブ空間４８３の中心により近い場合、１により近い確信度を算出し、計算された色空間上の位置がサブ空間４８３の境界により近い場合、０により近い確信度を算出する。

ステップＳ２４５において、”赤”関連度抽出部４０２は、関連度に確信度を加算する。ステップＳ２４６において、”赤”関連度抽出部４０２は、画素が終わりであるか否か、すなわち、本画像２０１の画素の全てについて処理を適用したか否かを判定し、画素が終わりでないと判定された場合、ステップＳ２４２に戻り、本画像２０１の画素のうち、次の画素の色、すなわち、次の画素の画素値を入力して、上述した処理を繰り返す。

ステップＳ２２６において、画素が終わりである、すなわち、本画像２０１の画素の全てについて処理を適用したと判定された場合、関連度を抽出特徴記録部４０５に赤の関連度を供給して、処理は終了する。

確信度を基に関連度を算出した場合には、人の感覚により近い関連度を求めることができるようになる。特に、画像が、サブ空間の境界に近い色を多く含む場合であっても、より的確な関連度を求めることができる。

図３７を参照して説明した関連度抽出処理におけるステップＳ２２４の処理は、画素の色が特定の色名の色と判定されるか否かの２クラス分類問題であり、種々のパターン認識の手法に置き換えることができる。

次に、この場合の関連度抽出処理を説明する。

図４４は、図３６のステップＳ２０４に対応する、ステップＳ２０３で”赤”関連度抽出部４０２が特定された場合の関連度抽出処理の詳細の他の例を説明するフローチャートである。ステップＳ２６１およびステップＳ２６２の処理は、それぞれ、図３７のステップＳ２２１およびステップＳ２２２の処理と同様なので、その説明は省略する。

ステップＳ２６３において、”赤”関連度抽出部４０２は、画素の色をパターン認識する。

例えば、ステップＳ２６３において、”赤”関連度抽出部４０２は、ニューラルネットワークにより、画素の色をパターン認識する。ニューラルネットワークによるパターン認識は、例えば、鳥脇純一郎著、認識工学 −パターン認識とその応用−、コロナ社などに記載されている。

パターン認識させる場合には、特定の色値（Ｌ^*,ａ^*,ｂ^*）の色が特定の色名の色であるかどうかを示す判断データを予め人手により複数集めておき、集めた判断データを基に、ニューラルネットワークの学習を行い、識別に必要なパラメータを生成しておく。

図４５は、青の色であるかどうかを示す判断データの例である。図４５の判断データの例は、例えば、０．０２であるＬ^*、０．０４であるａ^*、および０．１０であるｂ^*で特定される色は、青ではなく、０．７２であるＬ^*、０．００であるａ^*、および０．１２であるｂ^*で特定される色は、青であり、０．２８であるＬ^*、−０．０２であるａ^*、および０．１５であるｂ^*で特定される色は、青ではないことを示す。

ニューラルネットワークによれば、画素の色に対して、このように生成されたパラメータに従って特定の色名の色であるか否かが判定される。

なお、パターン認識の手法は、画素の色が、所定の色名の色であるか否かを判別できるものであればよく、SVM（Support Vector Machine）などいずれの手法であってもよい。

ステップＳ２６４において、”赤”関連度抽出部４０２は、認識の結果、画素の色が、赤に属するか否かを判定する。ステップＳ２２４において、画素の色が、赤に属すると判定された場合、ステップＳ２６５に進み、”赤”関連度抽出部４０２は、カウンタを１だけインクリメントし、手続きは、ステップＳ２６６に進む。

ステップＳ２６４において、画素の色が、赤に属しないと判定された場合、ステップＳ２６５をスキップして、カウンタをインクリメントしないで、手続きは、ステップＳ２６６に進む。

ステップＳ２６６乃至ステップＳ２６８の処理は、それぞれ、図３７のステップＳ２２６乃至ステップＳ２２８の処理と同様なので、その説明は省略する。

さらに、パターン認識の手法により、確信度を求めるようにしてもよい。

図４６は、図３６のステップＳ２０４に対応する、ステップＳ２０３で”赤”関連度抽出部４０２が特定された場合の関連度抽出処理の詳細の他の例を説明するフローチャートである。ステップＳ２８１の処理は、図４３のステップＳ２４１の処理と同様なので、その説明は省略する。ステップＳ２８２およびステップＳ２８３の処理は、それぞれ、図４４のステップＳ２６２およびステップＳ２６３の処理と同様なので、その説明は省略する。

ステップＳ２８４において、”赤”関連度抽出部４０２は、認識の結果としての、色名に属すると判定する確信度を算出する。すなわち、ステップＳ２８４において、”赤”関連度抽出部４０２は、認識の結果としての、画素の色が赤に属すると判定する確信度を算出する。例えば、確信度として、ニューラルネットワークの出力層に入力される値を用いることができる。

ステップＳ２８５およびステップＳ２８６の処理は、それぞれ、図４３のステップＳ２４５およびステップＳ２４６の処理と同様なのでその説明は省略する。

なお、図３６のステップＳ２０４に対応する、ステップＳ２０３で”青”関連度抽出部４０３が特定された場合、またはステップＳ２０３で”黄”関連度抽出部４０４が特定された場合の関連度抽出処理の詳細は、”赤”関連度抽出部４０２に代わり”青”関連度抽出部４０３または”黄”関連度抽出部４０４が処理を実行する点またはサブ空間などが異なるが、その他の点は、図３７、図４３、図４４、または図４６を参照して説明した処理と同様なので、その説明は省略する。

図４７は、検索の処理を説明するフローチャートである。ステップＳ３１１において、検索条件入力部４２１は、使用者の操作に応じた入力部７６からの信号を基に、関連度についての検索の条件を取得する。検索条件入力部４２１は、関連度についての検索の条件を条件照合部４２２に供給する。

例えば、図４８で示されるように、ディスプレイである出力部７７に、GUI（Graphical User Interface）の画像が表示される。図４８で示される例において、使用者の操作されるスライドバー４９１は、検索の条件である、色名毎の粒度（閾値）を指定する。色名に対応するチェックボックス４９２が使用者によってチェックされている場合、その色名のスライドバー４９１で指定された、その色名についての粒度が、検索条件としてステップＳ３１１において、取得される。

例えば、黒のチェックボックス４９２、赤のチェックボックス４９２、緑のチェックボックス４９２がチェックされている場合、黒のスライドバー４９１で指定された、黒の粒度、赤のスライドバー４９１で指定された、赤の粒度、および緑のスライドバー４９１で指定された、緑の粒度が検索条件としてステップＳ３１１において、取得される。

なお、AND検索ラジオボタン４９３がオンされている場合、スライドバー４９１で指定された、色名毎の粒度の論理積が最終的な検索条件とされ、OR検索ラジオボタン４９４がオンされている場合、スライドバー４９１で指定された、色名毎の粒度の論理和が最終的な検索条件とされる。

より具体的には、例えば、ステップＳ３１１において、検索条件入力部４２１は、（“赤”＞０．５）AND（“青”≧０．３）AND（“緑”＜０．１）などの、複数の色名に対する論理式で示される検索の条件を取得する。

例えば、使用者は、青空の写った画像を検索したい場合、“青”≧０．３である検索の条件を入力し、ステップＳ３１１において、検索条件入力部４２１は、“青”≧０．３である検索の条件を取得する。

また、使用者は、例えば、イチゴ狩りの画像を検索したい場合には、（“赤”＞０．１）AND（“緑”≧０．３）である検索の条件を入力し、ステップＳ３１１において、検索条件入力部４２１は、（“赤”＞０．１）AND（“緑”≧０．３）である検索の条件を取得する。

なお、検索の条件における、色の名前は、定義済み（関連度抽出部が用意されている）全ての色名である必要はなく、すなわち、検索の条件における、色の名前は、定義済みの色名の一部であってもよく、１つの色名であってもよい。

また、色名毎に、直接数値を入力し、取得するようにしてもよい。

ステップＳ３１２において、条件照合部４２２は、抽出特徴保持部１４６から、検索の対象となる本画像２０１の色特徴ベクトルを取得する。

ステップＳ３１３において、条件照合部４２２は、取得した色特徴ベクトルが検索の条件に一致するか否かを判定する。例えば、ステップＳ３１３において、条件照合部４２２は、取得した色特徴ベクトルのそれぞれの要素のうち、チェックされているチェックボックス４９２に対応する色名の要素と、スライドバー４９１で指定された、その色名についての粒度とが比較され、色特徴ベクトルの色名の要素が指定された粒度以上である場合、色特徴ベクトルが検索の条件に一致すると判定する。

また、例えば、色名毎の粒度の論理積が最終的な検索条件とされている場合、ステップＳ３１３において、条件照合部４２２は、チェックされているチェックボックス４９２に対応する色名の要素のすべてにおいて、色特徴ベクトルの色名の要素が指定された粒度以上である場合、色特徴ベクトルが検索の条件に一致すると判定する。例えば、色名毎の粒度の論理和が最終的な検索条件とされている場合、ステップＳ３１３において、条件照合部４２２は、チェックされているチェックボックス４９２に対応する色名の要素のいずれかにおいて、色特徴ベクトルの色名の要素が指定された粒度以上である場合、色特徴ベクトルが検索の条件に一致すると判定する。

ステップＳ３１３において、取得した色特徴ベクトルが検索の条件に一致すると判定された場合、ステップＳ３１４に進み、条件照合部４２２は、検索結果保持部１４７に、ステップＳ３１２において取得した色特徴ベクトルに対応する本画像２０１を特定するコンテンツIDを追加して、ステップＳ３１５に進む。

ステップＳ３１３において、取得した色特徴ベクトルが検索の条件に一致しないと判定された場合、ステップＳ３１４の処理はスキップされ、検索結果保持部１４７にコンテンツIDを追加しないで、ステップＳ３１５に進む。

ステップＳ３１５において、検索条件入力部４２１は、画像が終わりであるか否か、すなわち、全ての画像について検索したか否かを判定し、画像が終わりでない、すなわち、まだ、全ての画像について検索していないと判定された場合、ステップＳ３１２に戻り、次の本画像２０１の色特徴ベクトルを取得して、上述した処理を繰り返す。

ステップＳ３１５において、画像が終わりである、すなわち、全ての画像について検索したと判定された場合、処理は終了する。

この処理により、検索結果保持部１４７には、検索の条件を満たす本画像２０１を特定するコンテンツIDが格納されることになる。

図４９は、ディスプレイである出力部７７に表示される、検索結果保持部１４７に格納されたコンテンツIDで特定される本画像２０１の例を示す図である。例えば、緑のチェックボックス４９２がチェックされ、緑のスライドバー４９１で粒度が指定された場合、図４９の左上に示されるように、緑を多く含む本画像２０１が、ディスプレイである出力部７７に表示される。また、例えば、緑のチェックボックス４９２がチェックされ、緑のスライドバー４９１で粒度が指定され、赤のチェックボックス４９２がチェックされ、赤のスライドバー４９１で粒度が指定され、AND検索ラジオボタン４９３がオンされている場合、図４９の右上に示されるように、緑と赤を多く含む本画像２０１が、ディスプレイである出力部７７に表示される。

例えば、青のチェックボックス４９２がチェックされ、青のスライドバー４９１で粒度が指定された場合、図４９の左下に示されるように、青を多く含む本画像２０１が、ディスプレイである出力部７７に表示される。また、例えば、青のチェックボックス４９２がチェックされ、青のスライドバー４９１で粒度が指定され、白のチェックボックス４９２がチェックされ、白のスライドバー４９１で粒度が指定され、AND検索ラジオボタン４９３がオンされている場合、図４９の右下に示されるように、青と白を多く含む本画像２０１が、ディスプレイである出力部７７に表示される。

使用者にとって、所望の画像がどのような色をどのくらい含んでいるかを推測することは容易であり、所望の画像を簡単に検索することができるようになる。

さらに、検索の結果に応じて、条件を広げたり狭めたりするなどの任意の粒度に変更して、再度、検索することができる。これにより、さらに簡単に、所望の画像を検索することができる。

このように、使用者の持っている画像の色のイメージや雰囲気から直感的に画像を検索することができるようになる。

画像の全体の集合に対して様々な条件を組み合わせた検索の条件を決めることができるので、検索時に、任意の粒度で、画像である検索結果を取り出すことができる。

画像について、関連度からなる色特徴ベクトルを予め抽出し、関連度との大小の比較または論理演算により画像を検索することができるので、迅速に画像を検索することができる。

関連度は、比較的桁数少ない数値で表現することができるので、色特徴ベクトルのデータ量は、より小さくすることができる。従って、色特徴ベクトルの記録に要する記録空間の容量は、比較的小さなもので足りる。

なお、機器の例として、デジタルスチルカメラ１１および携帯電話機１２を挙げたが、これに限らず、機器は画像を取り扱うものであればよく、携帯型のプレーヤまたはビュワーなどであってもよい。

このように、画像の類似の度合いを計算するようにした場合には、類似の順に画像を表示させることができる。また、選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算し、類似の順に第２の画像を表示させるように、第２の画像の表示を制御し、使用者の指示に応じて、類似の順に表示されている複数の第２の画像から、１つの第２の画像を選択し、１つの第２の画像が選択された場合、選択された第２の画像が属するグループに属する第３の画像および第２の画像を、グループにおける所定の順に表示させるように、第２の画像および第３の画像の表示を制御するようにした場合には、より少ない操作で、より迅速に所望の画像を表示させることができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図２または図３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア８２、または、プログラムが一時的もしくは永続的に格納されるROM７２またはEEPROM４６や、記憶部７８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部４７、通信部４８、通信部７９、または通信部８０を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施の形態の画像処理システムの構成を示す図である。 デジタルスチルカメラの構成の例を示すブロック図である。 サーバの構成の例を示すブロック図である。 プログラムを実行するMPUにより実現される機能の構成を示す図である。 プログラムを実行するCPUにより実現される機能の構成を示す図である。 画像解析部の構成の例を示すブロック図である。 撮影の処理を説明するフローチャートである。 本画像と縮小画像との関係付けを示す図である。 バックアップの処理を説明するフローチャートである。 画像解析の処理を説明するフローチャートである。 色ヒストグラムの生成を説明する図である。 垂直成分ヒストグラムおよび水平成分ヒストグラムの生成を説明する図である。 垂直成分ヒストグラムおよび水平成分ヒストグラムの生成を説明する図である。 画像のバックアップとメタデータの書き戻しを説明する図である。 メタデータの具体例を示す図である。 コンテンツデータベースまたはコンテンツデータベースに格納されているメタデータの構成を示す図である。 コンテンツデータベースに格納されているメタデータおよび類似特徴データベースに格納されているメタデータの構造を示す図である。 類似特徴アイテムの構造を示す図である。 画像の取得の処理を説明するフローチャートである。 画像の取得とメタデータの書き込みとを説明する図である。 検索の処理を説明するフローチャートである。 デジタルスチルカメラおよびサーバにおいて共通するメタデータと画像との関係付けを説明する図である。 検索の処理を説明するフローチャートである。 縮小画像の表示の例を示す図である。 縮小画像の表示の例を示す図である。 類似する画像の検索の処理を説明するフローチャートである。 メタデータおよび距離の構造を示す図である。 コンテンツデータベース、類似結果データベース、および時間グループデータベースのそれぞれのレコードの関係付けを示す図である。 類似の順の表示の例を示す図である。 類似の順の表示と、時系列の表示との切り替えを説明する図である。 検索の処理を説明するフローチャートである。 類似の順の表示と、時系列の表示との切り替えを説明する図である。 色特徴抽出部の構成の例を示すブロック図である。 関連度抽出部対応保持部に記録されている対応情報の例を示す図である。 抽出特徴保持部に記録される関連度の論理構造を示す図である。 色特徴抽出の処理の詳細を説明するフローチャートである。 関連度抽出の処理の詳細を説明するフローチャートである。 RGBの色空間を示す図である。 Ｌ^*ａ^*ｂ^*空間を示す図である。 白のサブ空間および黒のサブ空間の例を示す図である。 彩度境界および輝度境界の例を示す図である。 緑、青、赤、および黄のそれぞれのサブ空間の例を示す図である。 関連度抽出処理の詳細の他の例を説明するフローチャートである。 関連度抽出処理の詳細のさらに他の例を説明するフローチャートである。 判断データの例を示す図である。 関連度抽出処理の詳細のさらに他の例を説明するフローチャートである。 検索の処理を説明するフローチャートである。 検索におけるGUIの画像の例を示す図である。 検索された画像の例を示す図である。

符号の説明

１１ デジタルスチルカメラ， １２ 携帯電話機， １３ サーバ， １４ ネットワーク， ３１ 撮影レンズ， ３２ 絞り， ３３ 撮像デバイス， ３４ アナログ信号処理部， ３５ A/Dコンバータ， ３６ デジタル信号処理部， ３７ MPU， ３８ メモリ， ４０ モニタ， ４１ 圧縮伸張部， ４３ メモリカード， ４６ EEPROM， ４７ 通信部， ４８ 通信部， ４９ 入力部， ７１ ＣＰＵ， ７２ ＲＯＭ， ７３ ＲＡＭ， ７６ 入力部， ７７ 出力部， ７８ 記憶部， ７９ 通信部， ８０ 通信部， ８２ リムーバブルメディア， １０１ 撮影制御部， １０２ 縮小画像生成部， １０３ メタデータ生成部， １０４ エントリ生成部， １０５ 記録制御部， １０６ 表示制御部， １０７ 検索部， １０８ 送信制御部， １０９ 受信制御部， １１０ 画像保持部， １１１ コンテンツデータベース， １１２ 類似特徴データベース， １１３ 類似結果データベース， １１４ 時間グループデータベース， １１５ 検索結果保持部， １２１ 距離計算部， １３１ 画像解析部， １３２ 縮小画像生成部， １３３ メタデータ生成部， １３４ エントリ生成部， １３５ 記録制御部， １３６ 表示制御部， １３７ 検索部， １３８−１ 送信制御部， １３８−２ 送信制御部， １３９−１ 受信制御部， １３９−２ 受信制御部， １４０ 画像保持部， １４１ コンテンツデータベース， １４２ 類似特徴データベース， １４３ 類似結果データベース， １４４ 時間グループデータベース， １４５ 関連度抽出部対応保持部， １４６ 抽出特徴保持部， １４７ 検索結果保持部， １５１ 距離計算部， １６１ 顔画像検出部， １６２ 類似特徴量抽出部， １７１ 類似特徴ベクトル算出部， １７２ 色特徴抽出部， ２０１ 本画像， ２０２ 縮小画像， ２６１ メタデータ， ４０１ 画像入力部， ４０２ ”赤”関連度抽出部， ４０３ ”青”関連度抽出部， ４０４ ”黄”関連度抽出部， ４０５ 抽出特徴記録部， ４２１ 検索条件入力部， ４２２ 条件照合部

Claims (11)

1. 選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算する計算手段と、
   類似の順に前記第２の画像を表示させるように、前記第２の画像の表示を制御する表示制御手段と、
   使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像を選択する選択手段と
   を備え、
   前記表示制御手段は、１つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示を制御する
   表示制御装置。
2. 前記表示制御手段は、１つの前記第２の画像が選択された場合、撮影された時刻の順に前記第２の画像および前記第３の画像を表示させるように、前記第２の画像および前記第３の画像の表示を制御する
   請求項１に記載の表示制御装置。
3. 前記計算手段は、前記第１の画像および前記第２の画像のそれぞれについての、前記第１の画像および前記第２の画像の色を減色して得られた所定の数の色の頻度を示すヒストグラムを基に、複数の前記第２の画像のそれぞれと前記第１の画像との類似の度合いを計算する
   請求項１に記載の表示制御装置。
4. 前記計算手段は、前記ヒストグラムにおける色毎の頻度を要素とするベクトルの距離である、複数の前記第２の画像のそれぞれと前記第１の画像との類似の度合いを計算する
   請求項３に記載の表示制御装置。
5. 前記計算手段は、前記第１の画像および前記第２の画像のそれぞれについての、前記第１の画像および前記第２の画像のそれぞれを分割してなる所定の数のブロックにおける画像の周波数の成分であって、最大の成分の頻度を示すヒストグラムを基に、複数の前記第２の画像のそれぞれと前記第１の画像との類似の度合いを計算する
   請求項１に記載の表示制御装置。
6. 前記計算手段は、前記ヒストグラムにおける画像の周波数の成分毎の頻度を要素とするベクトルの距離である、複数の前記第２の画像のそれぞれと前記第１の画像との類似の度合いを計算する
   請求項５に記載の表示制御装置。
7. 前記計算手段は、前記第１の画像および前記第２の画像のそれぞれの特徴量であって、データベースに格納されている特徴量を基に、選択されている前記第１の画像に対する複数の前記第２の画像の類似の度合いを計算する
   請求項１に記載の表示制御装置。
8. 前記表示手段は、使用者の指示に応じて、前記第１の画像に対する類似の順の前記第２の画像の表示と、前記グループに属する前記第３の画像および前記第２の画像の所定の順の表示とを切り換えるように、前記第２の画像および前記第３の画像の表示を制御する
   請求項１に記載の表示制御装置。
9. 選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算し、
   類似の順に前記第２の画像を表示させるように、前記第２の画像の表示を制御し、
   使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像を選択し、
   １つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示を制御する
   ステップを含む表示制御方法。
10. 選択されている第１の画像に対する複数の第２の画像のそれぞれの類似の度合いを計算し、
    類似の順に前記第２の画像を表示させるように、前記第２の画像の表示を制御し、
    使用者の指示に応じて、類似の順に表示されている複数の前記第２の画像から、１つの前記第２の画像を選択し、
    １つの前記第２の画像が選択された場合、選択された前記第２の画像が属するグループに属する第３の画像および前記第２の画像を、前記グループにおける所定の順に表示させるように、前記第２の画像および前記第３の画像の表示を制御する
    ステップをコンピュータに実行させるプログラム。
11. 請求項１０に記載のプログラムが記録されている記録媒体。

Images