JP2007122540A - 画像情報処理方法、および画像情報処理装置 - Google Patents

Abstract

【課題】ユーザが操作性の良いユーザインターフェースを用いて、大量のデジタル画像データから目的の画像を容易に捜し出せるようにする。
【解決手段】装置本来のタスクに影響を与えないよう、アイドルタスクであらかじめ画像データの画面内における被写体の顔部分の位置、数、サイズなどに関する情報を検索制御情報として取得しておき、レイアウトエリア８０１とパーツボックス８０６からなるＧＵＩを用い、ユーザに大、小の顔のアイコン８０５、背景などの色を指定するためのアイコン８０７、８０８などのパーツをパーツボックス８０６からレイアウトエリア８０１へドラッグして配置させることにより入力された被写体の顔部分の位置、数、サイズなどに関する検索キー情報と照合することにより画像データを検索する。
【選択図】図８

Description

本発明は、画像データを記憶する記憶手段からキー情報として画像の特性情報を入力することにより、キー情報に合致する画像データを前記記憶手段から検索する画像情報処理方法、および画像情報処理装置に関するものである。

デジタルカメラやカメラ付き携帯電話の普及が進むにつれ、これらの機器のユーザの手元にはデジタル画像データが急速に増えつつある。ユーザは、撮影したデジタル画像データをＰＣなどのストレージ（たとえばＨＤＤなど）に一旦格納し、必要に応じてＣＤ−Ｒなどの記憶メディアに書き込んで保存するなどの作業を行なっている。

撮影操作はもちろんのこと、撮影により生成されたデジタル画像データの転送や格納の操作性は近年になって非常に改善されつつある。

たとえば、複合プリンタ（複合画像形成装置、複合機などとも呼ばれる：以下、ＭＦＰと記す）にストレージを内蔵させ、デジタルカメラとＭＦＰを接続すると、自動あるいは半自動的な処理によってデジタルカメラの撮影データをＭＦＰのストレージに転送してしまうような構成が提案されている。このような構成によれば、ＰＣを起動せずに画像データの保存が可能になるので画像データの取り扱いが簡単になる。

また、上記のようなＭＦＰにカラーＬＣＤなどを塔載すれば、ストレージに記憶した画像データを印刷することができる。ＬＣＤ画面に１〜９枚程度の画像を表示（サムネイル画像表示）し、操作パネルからのキー操作で表示画像を切り替えることができる。ＭＦＰのユーザはこの操作を行なって所望の画像を表示させ、印刷を行なうこともできる。
特開２０００−２９５５７４号公報 特開平８−６３５９７号公報

現在では、上記のようにデジタル画像データの生成や、転送、格納が非常に容易になりデータファイル増加の速度が著しく速くなっているにもかかわらず、データの取り扱い、特にストレージや記憶メディアに記録されている大量の画像から必要な画像を捜し出すには、上記のようなサムネイル画像からの目視による検索、あるいはファイル名やフォルダ（ディレクトリ）名の検索など、旧態依然の手法を用いるのがあいかわらず一般的である。

一般に、データベースの機械検索は、キー情報を入力し、コンピュータ（機械）がそのキー情報を用いてデータレコード内部の情報と何らかの演算を行ない、条件に合致するデータレコード（あるいはそのポインタ情報）を出力するものであるが、上記のような旧来のサムネイル画像の目視検索や、ファイル名やフォルダ名の検索は、厳密な意味では画像データの機械検索（コンピュータによる検索）とはいえない。

たとえば、サムネイル画像の目視検索では、画像の採否を判断しているのはユーザの人間であり、また、ファイル名やフォルダ名の検索は、たとえばあらかじめ画像の検索が可能となるよう、画像ファイルの日付やその被写体などに関連する情報を後から想起できるような（また、コンピュータで検索できるような）形でファイル名やフォルダ名に含めておくなどのユーザの配慮があって初めて良好に機能するものであり、実際に検索処理に用いられるのは画像内部の情報ではなく、ファイル名やフォルダ名の文字情報である。

上記のような旧来の画像検索の手法では、画像ファイルの数が少ない内はそこそこ機能するが、ストレージ内の画像が大量になってくると所望の画像を表示させることが困難になってくる。たとえば１０００枚オーダの画像が記憶されている場合、画面を切り替えながら所望の画像を表示させようとすると大変な時間がかかり、実用的ではない。

一方で、適当なキー情報から画像データの内部の特性情報のマッチングを行なうことにより所望の画像を選び出す（検索する）ことは従来より考えられている。

たとえば、上記の特許文献１では、画像解析、特に肌色のエリアの検出処理などに基づき写真に写っている被写体の人数を検出する技術が開示されており、このような技術により、画像から被写体の人数を検出できれば、ユーザが被写体の人数を指定することにより目的の画像を検索することが可能になる。

また、同趣の画像解析技術として、上記の特許文献２には、画像のパターンマッチング、たとえば、顔の形状をしたテンプレートデータと画像とのマッチングをとることにより、（たとえば写真の焼き付け制御などに用いる画像の部位として）被写体の顔部分を特定する技術が開示されている。

しかしながら、画像解析により得られた情報（画像検索制御情報）、たとえば被写体の人数をキー情報として画像を検索するとしても、たとえば家庭の写真などでは撮影者以外の家族が写っている場合が多いので、人数による検索では候補が多すぎて絞込みが不十分であり、目的の画像に到達するのが困難な場合が多いと考えられる。

また、適当なキー情報から画像データの内部の特性情報をマッチングする真の意味での画像の機械検索を行なうにしても、そのユーザーインターフェースとして、効率がよく、誰でも簡単に利用できるような好適なユーザーインターフェースがまだ存在しない。

上記のような諸事情を考慮すると、現在の画像処理装置において、依然としてサムネイル画像の目視検索やファイル名やフォルダ名などが検索手法として利用され続けているのは当然ともいえる。

本発明の課題は上記の問題を解決し、ユーザが良好なユーザーインターフェースを利用して大量のデジタル画像データから目的の画像を容易に捜し出せるようにすることにある。

課題を解決するため、本発明では、画像データを記憶する記憶手段からキー情報として画像の特性情報を入力することにより、キー情報に合致する画像データを前記記憶手段から検索する画像情報処理装置における画像情報処理方法、および画像情報処理装置において、
前記記憶手段に記憶された画像データから被写体の顔部分を検出し、該被写体の顔部分に関する情報のうち、少なくとも当該画像データの画面内における被写体の顔部分の位置に関する情報を検索制御情報として取得し、当該画像データと関連づけて記憶する検索制御情報生成過程と、
画像情報処理装置の表示手段および操作手段を用いたグラフィカルユーザインターフェースを介して、画像データの画面に対応するレイアウト表示領域内に、少なくとも被写体の顔の部分の位置を指定可能なアイコンをユーザに配置させ、該アイコンの前記レイアウト表示領域内における位置情報を前記キー情報として入力するグラフィカルユーザインターフェース過程と、
前記グラフィカルユーザインターフェース過程により入力された前記アイコンの前記レイアウト表示領域内における位置情報と、前記検索制御情報生成過程において生成され、画像データと関連づけて検索制御情報として記憶した画像データの画面内における被写体の顔部分の位置に関する情報を照合することにより前記記憶手段から画像データを検索する画像データ検索過程を用いる構成を採用した。

あるいはさらに、画像情報処理装置で画像データ入出力手段を用いて行なうタスクが実行されていない期間にアイドルタスクとして前記検索制御情報生成過程を実行する構成を採用した。

あるいはさらに、前記検索制御情報生成過程において検索制御情報として取得され、画像データと関連づけて記憶される前記被写体の顔部分に関する情報に、前記被写体の顔の位置に加え、被写体の顔の数または被写体の顔の大きさに関する情報を含み、前記グラフィカルユーザインターフェース過程によりキー情報として入力されたアイコンの前記レイアウト表示領域内における位置および数または大きさに関する情報と、前記被写体の顔の位置および被写体の顔の数または被写体の顔の大きさに関する情報を照合することにより前記記憶手段から画像データを検索する構成を採用した。

あるいはさらに、前記操作手段が前記表示手段の表示領域上に重ねて配置されたタッチパネルである構成を採用した。

あるいはさらに、前記グラフィカルユーザインターフェース過程において、サイズの異なるアイコンを配置させることにより、ユーザに被写体の顔の大きさに関する情報を入力させる構成を採用した。

本発明によれば、あらかじめ画像データの画面内における被写体の顔部分の位置に関する情報を検索制御情報として取得しておき、グラフィカルユーザインターフェースを介して指定された被写体の顔の部分の位置の情報を検索キー情報として、両者を照合することにより画像データの検索を行なうことができる。本発明の検索手法は、ファイル名やフォルダ（ディレクトリ）名の検索などによる擬似的な画像検索と異なり、検索キー情報と画像の特性情報の照合を行なっており、真の意味での画像データの機械検索を確実に行なうことができる。また、本発明によれば、ユーザは直感的かつ理解が容易なグラフィカルユーザインターフェースを用いて、容易かつ確実に検索キー情報を入力し、画像検索を行なわせることができる。

また、被写体の顔に関する特性情報を検索制御情報として画像データから生成（抽出あるいは検出）する処理をアイドルタスクを利用して事前に行なう構成によれば、画像処理装置の本来の処理、たとえば画像印刷や画像入出力処理に悪影響を与えることなく、また、高速に検索処理を行なうことができる。

また、被写体の顔の位置に加え、被写体の顔の数または被写体の顔の大きさに関する情報を検索制御情報として生成し、一方、前記グラフィカルユーザインターフェースを介してキー情報として入力された被写体の顔の位置および被写体の顔の数または被写体の顔の大きさに関する情報を照合することにより画像データを検索する構成によれば、被写体の顔の位置だけでなく、被写体の顔の数または被写体の顔の大きさに関する情報をさらに照合することにより、目的の画像データをより確実に検索することができる。

また、前記グラフィカルユーザインターフェースを構成する操作手段として表示手段の表示領域上に重ねて配置されたタッチパネルを用いることによって、ユーザは直感的かつ理解が容易なグラフィカルユーザインターフェースを用いて、容易かつ確実に検索キー情報を入力し、画像検索を行なわせることができる。

さらに、前記グラフィカルユーザインターフェースを介して顔の大きさに関する情報を入力するのに、大きさの異なるアイコンをドラッグしてレイアウトエリアに配置させる構成によれば、面倒な数値入力などを必要とせず、ユーザは容易に被写体の顔に関する情報を検索キー情報として入力することができる。

以上のように、本発明によれば、ユーザは操作性の良いグラフィカルユーザインターフェースを用いて、大量のデジタル画像データから目的の画像を容易に捜し出すことができる。

以下、発明を実施するための最良の形態として、ＭＦＰ（複合画像形成装置、複合機、複合プリンタ）に関する実施例を示す。

図１は、本発明を採用したＭＦＰのブロック構成を示している。

図１において、符号１００は装置全体を制御するための中央演算処理部（ＣＰＵ）、１０１はプログラムおよびデータを記憶するＲＯＭ、１０２はＣＰＵワークデータ、表示用データ、画像データなどを記憶する記憶部（ＤＲＡＭ）である。

符号１０５は装置の状態表示や操作の案内表示を行なうＬＣＤなどから構成された表示部、１０６はカーソルキーなどから構成される操作部、１０８はカラーＣＣＤなどから構成されたカラー読み取り部、１０７はプリンタなどの記録部、１０９はＨＤＤなどから構成されるストレージ部、１１１はデジタルカメラなどのメモリーカードを読み取ることのできるカードスロット、１１２はこのＭＦＰをスキャナやプリンタ、メモリーカードリーダーとして使用するときにＰＣと接続するためのＵＳＢインターフェースである。上記の各処理部はシステムバス１１０で相互に接続される。

図２は、図１の表示部１０５の構成を示している。表示部１０５は、タッチパネル付きカラーＬＣＤ２０２、ＬＣＤコントローラー２０１、タッチパネルコントローラー２０３から構成される。ＬＣＤコントローラー２０１は表示データを記憶するＶＲＡＭ２００の画像データをＬＣＤ２０２に表示する。タッチパネルは４線式抵抗膜方式であり、タッチパネルコントローラー２０３は抵抗膜への電圧印加を行なうと同時に抵抗膜の出力する電圧を内蔵のＡＤ変換器で変換してシステムバス１１０経由でＣＰＵ１００へ伝える。ＣＰＵ１００はこのデジタルに変換された電圧情報を入力し、タッチパネル上で押された部位の位置情報（座標情報）に変換する。

図３は、図１のＭＦＰの操作部１０６の構成を示している。図３に示すように、操作部１０６はタッチパネル付きカラーＬＣＤ２０２、ＭＦＰの動作モードを指定するためのモードキー５０７、各種設定モードへ入るためのメニューキー５０２、設定項目の移動や値の変更に使用するカーソルキー（上下左右キー）５０６、設定入力キーである決定キー５０５、コピーやスキャンなどの各種ジョブを開始させるためのスタートキー５０３およびジョブのキャンセルや設定のリセットに使用するキャンセルキー５０４などから構成されている。

なお、本実施例では上記のようにポインティングデバイスとしてタッチパネルを採用しているが、もちろん装置にマウスのインターフェースを設けてマウスの動きにしたがって画面上にカーソルを表示してもよいし、多少の操作性低下を生じるかもしれないが、カーソルキー５０６で画面上のカーソルを動かすような構成でも後述の技術は実施できる。

次に、上記構成における動作につき説明する。ここでは、まず本実施例における画像検索処理と画像検索処理に必要な検索制御情報（インデックスデータ、あるいはハッシュデータなど）情報の生成処理につき説明する。

まず、本ＭＦＰのカードスロット１１１にデジタルカメラの写真画像を記憶したメモリーカードを装着すると自動的に、あるいはユーザの操作パネルからの指示に基づきメモリーカード上の写真画像データをＭＦＰのストレージ１０９にコピーする。

本ＭＦＰのＣＰＵ１００で実行されている制御プログラムはＲＯＭ１０１に格納されており、所定のリアルタイムオペレーティングシステム（ＲＴＯＳ）上で実行されている。本実施例におけるＲＴＯＳはコピーやプリントなどのジョブがないスタンバイ状態において、図４に示すようなアイドルタスクを定期的に実行することができるものとする。

図４のアイドルタスク処理では、画像検索処理に必要な検索制御情報を生成する。このような処理をアイドルタスク処理で実行するようにすれば、コピーやプリントなどの処理が実行されていない期間に、本来の（比較的高負荷であることが多い）画像処理に悪影響を及ぼすことがない。

図４のアイドルタスクにおいては、まずステップＳ４０１で画像ファイルのヘッダ部分を検査し、画像に含まれている顔の数、顔の位置、あるいはさらに顔のサイズなどの情報が画像のヘッダ情報中に存在するかどうか確認する（画像のヘッダへの格納方法については後述）。顔の数の情報が存在しない画像ファイルに対しては、ステップＳ４０３以降の処理で顔検出処理を行なう。

一般に、デジタルカメラの画像ファイルはＪＰＥＧ方式で圧縮されているのでそのままでは画像処理ができない。そこでストレージ１０９に記憶されている画像データファイルをＪＰＥＧ伸張しつつ、ＤＲＡＭ１０２上に展開する。このＪＰＥＧ伸張処理はＲＯＭ１０１に格納されたファームウェアで行なうかハードウェアデコーダーを搭載し、これによりＪＰＥＧ伸張処理を行なってもよい。

このようにして伸張された写真画像データに対し、ＣＰＵ１００のファームウェア処理によって顔検出処理を行なう。

まず、ステップＳ４０３では顔の候補エリアを検出する。次にステップＳ４０４で、候補エリアの画像エリアが顔の画像であるか（あるいは顔の画像を含むか）どうかの判定を行なう。これらの処理には、肌色の画像領域を検出する特許文献１の技術や、顔の形状のパターンマッチングを行なう特許文献２の手法を用いることができる。いずれにしても、これらの公知技術により、画像中の顔の位置および数の情報を取得することができる。

ステップＳ４０４で顔の画像を検出している場合にはステップＳ４０５で、顔の位置情報、顔のサイズ情報を画像ファイルのヘッダに記憶するとともに、顔の数のカウンタをカウントアップする。

顔の位置情報の抽出は、たとえば特許文献１のような肌色エリアの検出を利用する場合は、この肌色エリアに属する画素のｘ、ｙ座標をそれぞれ平均して求める、といった手法が考えられる。あるいは特許文献２のように、顔のテンプレートとのマッチング度の高いエリアを顔として検出する場合には、この時のテンプレートの位置（その代表位置、たとえば重心位置など）の座標情報を顔の位置情報として検出することができる。

あるいはさらに、顔の位置とサイズを肌色エリアの画素数が所定の閾値より大か小かの２値情報として求めることもできるし（特許文献１の方式の場合）、マッチングに使用したテンプレートの大きさから顔の大、小の判断を行なうこともでき、（特許文献２の方式の場合）、このようにして得た顔のサイズ情報は、顔の位置および数の情報とともに画像ファイルのヘッダ中に格納する。

ステップＳ４０６では、全部の顔候補領域に対して検出処理を行なったか否かを判定し、全部の顔候補領域に対して検出処理を終了していればステップＳ４０７へ進み、未処理の顔候補領域がまだあればステップＳ４０４からの処理を繰り返す。

以上のようにして被写体の顔に関する情報、たとえば顔の数とサイズ、位置などの情報を検出したら、ステップＳ４０４でゼロ個の場合も含めて元のストレージ１０９上のＪＰＥＧファイルのヘッダ中のアプリケーションマーカー領域にこれらの情報を後の画像検索で用いるための検索制御情報として書き込む。

ＪＰＥＧファイル形式の場合、ヘッダ内に任意のデータを書き込むことができるので、このようなフォーマットを利用して、画像情報とともに当該画像データ中の顔に関する種々の情報（顔の数と顔の位置と顔のサイズなど）をひとつのファイル中に検索制御情報として記録することができる。

また、特にＤＣＦ／Ｅｘｉｆ形式のような拡張形式によれば、ヘッダ中に格納する被写体の顔に関する情報（検索制御情報）につき、その情報が顔に関する情報であること、あるいは本実施例において用いられる検索制御情報であることを示すタグデータとともにこれらの情報を格納することができ、このようなタグを利用して後の検索処理を効率よく行なうことができる。

その後、ステップＳ４０１へ戻り、顔検出の未処理の画像があれば再度ステップＳ４０３で続けて検出処理を行なう。未処理の画像がなければステップＳ４０２でアイドルタスクで行なうべき他の処理を行ってアイドルタスクを終了する。

以上のようなアイドルタスクを実装しておくことにより、カードスロットから写真画像データをストレージ１０９にコピーして一定時間経過後にはコピーした画像ファイルの顔の数、位置、サイズなどの検出処理は終わった状態になっている。

もちろん、上記の顔の数、サイズや位置を検索制御情報として検出する処理を画像検索時に併せて実行することも考えられるが、その場合、画像検索には多大な時間が必要となる。なぜなら、一般的なＭＦＰのＣＰＵで、顔検出の処理と検索処理を併せて行なう場合は、おそらく１枚あたり数秒以上の時間が必要と考えられ、数百枚の画像から所望の画像を検索するのには多大な時間がかかってしまうからである。

そこで、上記のようなアイドルタスクを利用してできる限り事前に処理しておけば、原理的には検索処理は画像のヘッダ中に記録したタグ情報との一致をとるだけで済み、高速に検索処理を行なうことができ、また、本来の画像印刷や画像入出力処理に悪影響を与えることがない。

以上のようにして（画像ファイル中に）記録した被写体の顔に関する検索制御情報は、図５に示すようにして画像の検索に利用することができる。図５の手順もＣＰＵ１００のプログラムとしてＲＯＭ１０１に格納しておけばよい。

画像検索を行なう場合、ユーザは操作部１０６から図３の写真プリントキー５０７を押下する。これにより、タッチパネル付きカラーＬＣＤ２０２で図７に示すような表示を行なう。

図７の表示状態では、ストレージの画像のうちの最新の日付のものが写真画像表示エリア７０１に表示されている。写真画像表示エリア７０１の左右には画像表示を順次前後に切り換える左キー７０２および右キー７０３が設けられるとともに、下部には印刷を指定する「印刷」キー７０４、画像検索を指定する「検索」キー７０５、自動的に画像表示を切り換えることにより行なういわゆるスライドショー表示を指定する「スライドショー」キー７０７が配置されている。

この状態でユーザが画面上の「検索」７０５キーをタッチ（押下）すると図５のフローチャートに示した動作を開始する。

ここでは、まずステップＳ５０１で図８に示す画面をタッチパネル付きカラーＬＣＤ２０２に表示し、ユーザのタッチパネルを介した操作を検出する。

図８の画面は本実施例における画像検索を制御するためのグラフィカルユーザインターフェース（ＧＵＩ）を構成するもので、検索したい画像の顔の配置などの特性情報を指定するためのレイアウトエリア８０１と、パーツボックス８０６を有している点に特徴がある。

図８のパーツボックス８０６は、大小の顔サイズをそれぞれ指定するための大、小の顔のアイコン８０５、背景などの色を指定するためのアイコン８０７、８０８などのパーツを含み、これらのパーツを図示のようにレイアウトエリア８０１の所望の位置にドラッグして配置することができる。

すなわち、図８のユーザーインターフェースは、レイアウトエリア８０１の所望の位置にそれぞれ所望のサイズ、数の顔のアイコン８０５を配置した後、画像検索を指令するレイアウト検索ボタン８０４を押下することにより、顔の位置、サイズ、数の条件にみあった画像を検索するために用いられる。

一般に人間は、写真などの画像に関して、画像の構図、たとえば、被写体の人数や、画像中の位置、顔の大きさ（大人か子供かなどによっても異なってくる）のような情報を漠然と記憶している（あるいはそれしか思い出さない）ケースが多いため、図８のようなユーザーインターフェースは、このような人間の記憶の特性に適しており、ユーザはレイアウトエリア８０１およびパーツボックス８０６を用いて容易に検索条件を生成することができる。

さらに、図８のグラフィカルユーザインターフェースによる検索画面では、前画面に戻るための「戻る」ボタン８０２、日付（撮影日付あるいはファイル記録の日付）により画像を検索するための日付検索ボタン８０３、そのための日付を入力するテキスト入力エリア８０９を設けている。

再び図５において、上記のようにして図８の検索画面を表示した後、ステップＳ５０２をループしつつユーザの操作を待ち、ユーザ操作があった場合はステップＳ５０３〜ステップＳ５０６でユーザ操作の内容を判定し、各動作へ分岐する。

ステップＳ５０３〜ステップＳ５０６では、図８のユーザーインターフェースにおけるパーツボックス８０６からレイアウトエリア８０１へのパーツのドラッグ（Ｓ５０３）、日付検索ボタン８０３の操作（Ｓ５０４）、レイアウト検索ボタン８０４の操作（Ｓ５０５）、「戻る」ボタン８０２の操作（Ｓ５０６）を検出する。

ユーザが図８の顔のアイコン８０１をレイアウト枠内にドラッグした場合は、ステップＳ５０３からステップＳ５０７に移行し、顔のアイコンをドラッグ操作に対応したレイアウト枠内の位置に配置し、ステップＳ５０１でその状態を表示する。

また、「日付で検索」のボタン８０３がタッチされた場合は、ステップＳ５０４からステップＳ５０８に進み、画像データファイルの日付がユーザ指定の日付に一致するファイルを検索する。ここでユーザによる日付の指定方法については詳しくは述べないが、たとえば、図８の画面の日付入力欄（テキスト入力エリア）８０９の年、月、日の欄をタッチすると入力可能な数値をリスト表示し、そこから所望の日付を選択するような方式で年月日データを入力することが考えられる（もちろん、キーボードからの入力によってもよい）。検索結果の画像はステップＳ５１０で表示する。

また、レイアウト検索ボタン８０４がタッチされた場合は、ステップＳ５０５からステップＳ５０９に進み、ここで指定されたレイアウトと一致度の高い画像を複数選び出し、ステップＳ５１０で検索結果として表示する。

ステップＳ５０９のレイアウト検索では、レイアウトエリア８０１に配置されたアイコンと検索対象画像の位置の一致度、大きさの一致度、数の一致度から総合の一致度を算出し、順位付けをする。

位置の一致度は、アイコンの座標と比較対象画像に含まれる全ての顔との距離を算出し、最も距離の近いものについて距離の逆数をそのアイコンの一致度とする。これを各アイコンについて実施して全てのアイコンの位置の一致度を平均して対象写真の位置の一致度とする。

また、上述のごとく、写真画像中の被写体の顔の大きさ（サイズ）を大・小のあらかじめ２種類に２値化して画像ヘッダ中に検索制御情報として記録しておけば、顔の大きさ（サイズ）により検索を行なうこともでき、その場合、大きさの一致度はあるのでアイコンの大小と一致する場合は２ポイント、不一致の場合は１ポイントなどとスコア付けを行ない、このスコアに基づき、一致度を判定することができる。

また、顔の数の一致度は一致すれば３ポイント、不一致の数をポイントから減算するなどで一致度を求める。

さらに、色情報のアイコン（図８の８０７、８０８など）がレイアウトエリア８０１に配置された場合は、アイコンの配置位置に対応する画面上の位置の近傍に対応する色の画情報が存在するか否かによって一致度を決定できる。その場合、彩度の違いや、位置の相違（座標の差分）などから一致度に対応するスコアを決定することができる。

以上のような各検索条件の総合の一致度は各一致度に所定の重みを付けて加算することで求めることができる。そして、総合の一致度が所定値より大きい画像を検索結果としてステップＳ５１０で表示する。

このステップＳ５１０における検索結果表示の様子を図９（後述）に示す。この画面状態で「戻る」ボタンがタッチされたときに、ステップＳ５１０での検索結果表示の処理は終了しステップＳ５０１の検索の初期画面に戻る。また、図５のステップＳ５０６において図８の「戻る」ボタン８０２がタッチされた時には、図８の画面の検索処理を終了し図７の画面に戻る。

以上のようにして、画像データに撮影されている顔の数、位置、サイズの検索キー情報に加え、さらに画像の日付などの検索条件を組み合せる（通常ＡＮＤ論理で。あるいは所望の検索条件をＯＲ論理で組合せる）ことができるように構成してもよい。

ここで、図５のステップＳ５１０の検索結果表示処理の動作を図６を用いて説明する。

この検索結果表示処理では、まずステップＳ６０１で図９のような表示を行なう。図９の表示では、前述の図５のステップＳ５０８、ステップＳ５０９での検索結果を表示するが、図９の表示フォーマットでは、９個の画像９０１を表示するようにしている。また、図９は「レイアウトで検索」のボタン８０４が押された場合の例で、顔が二つで配置や位置が図８でアイコンにより指定した構図に近いものから左上から表示している。

また、図９のユーザーインターフェースでは、９個の画像９０１とともに、その周辺にタッチ操作可能な右ボタン９０３、左ボタン９０２、「印刷」ボタン９０５、「拡大」ボタン９０６、「戻る」ボタン９０４などのボタンを配置してある。

図６のステップＳ６０１の後、ユーザによる操作が無い場合はステップＳ６０２をループし続け、操作があった場合はステップＳ６０３〜ステップＳ６０８から各動作へ分岐する。

ステップＳ６０３〜ステップＳ６０８では、タッチ操作による画像９０１の選択（Ｓ６０３）、右ボタン９０３の操作（Ｓ６０４）、左ボタン９０２の操作（Ｓ６０５）、印刷ボタン９０５の操作（Ｓ６０６）、拡大ボタン９０６の操作（Ｓ６０７）、「戻る」ボタン９０４の操作（Ｓ６０８）がそれぞれ検出される。

まず、画像のどれかがタッチされた場合はステップＳ６０３からステップＳ６０９へ進み、その画像が選択されたことを示す太枠の選択枠を表示してステップＳ６０１に戻る。図９では左上の画像９０１をタッチした場合を示している。

右ボタン９０３がタッチされた場合は、図６のステップＳ６０４からステップＳ６１０へ進み、検索結果のうち表示画像として次の９画像を選択しステップＳ６０１で表示する。

左ボタン９０２がタッチされた場合はステップＳ６０５からステップＳ６１１へ進み、検索結果のうち表示画像として前の９画像を選択しステップＳ６０１で表示する。

なお、右ボタン９０３や左ボタン９０２が操作された時、操作に対応する次の画像や前の画像が存在しない場合は表示しないようにしてもよい。

また、「印刷」ボタン９０５がタッチされた場合はステップＳ６０６からステップＳ６１２へ進み、選択されている画像の印刷を行ない、終了後ステップＳ６０１へ戻る。

さらに「拡大」ボタンがタッチされた場合は、ステップＳ６０７からステップＳ６１３へ進む。

ステップＳ６１３では、図１０に示すように選択中の画像を大きく表示する。これによりユーザは選択中の画像が所望の画像であるかどうかの確認ができる。拡大表示画面で「戻る」ボタン１００４が押されると拡大表示処理を終了してステップＳ６１３を終了しステップＳ６０１で９画面表示を再び行なう。

さらに、図１０の拡大画像表示のためのユーザーインターフェースでは、上記同様の右ボタン１００３、左ボタン１００２、「印刷」ボタン１００５、「戻る」ボタン１００４を配置してある。右ボタン１００３、および左ボタン１００２は、拡大状態のまま１枚づつ（図９の）左右方向に拡大表示する画像を切り換えるもので、これによりユーザは拡大表示を見ながら所望の画像を見つけることができる。また「印刷」ボタン１００５をタッチすることで印刷を実行できる。「戻る」ボタン１００４をタッチするとこの画面を終了して図９の検索結果表示画面に戻る。

図１０で「戻る」ボタン１００４がタッチされた場合は、ステップＳ６０８からこの検索結果表示処理を終了して、図８の検索画面に戻る。以上のようにしてユーザは、複数の検索結果から所望の画像を選択することができる。

以上の説明から明らかなように、本実施例によれば、画像データの特性情報、特に顔の数、位置やサイズなどの特性情報を画像データから生成（抽出あるいは検出）し、検索制御情報として画像データと関連づけて記憶させておくことができる。また、画像データから生成（抽出あるいは検出）した特性情報を検索制御情報として画像のヘッダ情報内に記憶させておくことにより、他のデータベースを用いることなく特性情報の管理が可能となる利点がある。

また、顔の数、位置やサイズなどの特性情報を検索制御情報として画像データから生成（抽出あるいは検出）する処理をアイドルタスクを利用して事前に行なうようにしているので、本来の画像印刷や画像入出力処理に悪影響を与えることなく、また、高速に検索処理を行なうことができる。

さらに、本実施例によれば、ユーザは、図８のような顔や背景色などの特性情報に対応するアイコンをレイアウトエリアに配置する、という直接的で理解が容易なユーザーインターフェースを用いて画像データの特性情報、顔の数、位置やサイズなどの検索キー情報を入力し、上記のようにして検索制御情報としてあらかじめ生成しておいた画像データ内部の特性情報と照合させる画像検索処理を行なわせることができる。図８に示したようなユーザーインターフェースには、その操作の意味の理解が容易であり、また、操作が簡単で誰でも容易に利用できる、という優れた利点がある。

さらに、検索情報の絞り込みには、さらに画像ファイルの日時情報など他の検索条件を組合せることができ、より確実に目的の所望の画像を見つけ出すことができる。

また、本実施例によれば、タッチパネル付きのＬＣＤを用いて、アイコンをドラッグして配置する構成を採用しており、直感的かつ理解が容易なグラフィカルユーザインターフェースを用いて、容易かつ確実に検索キー情報を入力することができる。

また、図８のように、顔のサイズを指定するのに、大きさの異なるアイコンをドラッグしてレイアウトエリアに配置させる構成によれば、面倒な数値入力などを必要とせず、ユーザは容易に被写体の顔に関する情報を検索キー情報として入力することができる。

また、本実施例の画像検索処理は、ファイル名やフォルダ（ディレクトリ）名の検索などによる擬似的な画像検索と異なり、キー情報と画像の特性情報の照合を行なっており、画像データ内部の情報検索であり、真の意味での画像データの機械検索を行なうことができる。

本発明の画像情報処理方法は、該方法を実施する画像情報処理装置の製品の名称（たとえば上記実施例におけるＭＦＰ（マルチファンクションプリンタ装置））などによって限定を受けることなく、読み取り手段と記録手段を有する種々の画像情報処理装置において実施することができる。本発明の制御プログラムは、画像情報処理装置の出荷時から画像情報処理装置のＲＯＭなどのメディアに格納しておく他、種々の外部記憶媒体（ＣＤＲＯＭ、フレキシブルディスクなど）からこれらの装置に供給することができ、あるいは任意のサーバからネットワーク経由で供給することもできる。

本発明を採用したＭＦＰの制御系の構成を示したブロック図である。 図１の装置の表示部の構成を示したブロック図である。 図１の装置の操作部の構成を示した説明図である。 図１の装置のアイドルタスクにより行なわれる検索制御情報の生成を示したフローチャート図である。 図１の装置の検索処理を示したフローチャート図である。 図１の装置の検索結果表示処理を示したフローチャート図である。 図１の装置における写真プリントモードの画面の一例を示した説明図である。 図１の装置における検索画面の一例を示した説明図である。 図１の装置における検索結果表示画面の一例を示した説明図である。 図１の装置における検索結果拡大画面の一例を示した説明図である。

符号の説明

１００ ＣＰＵ
１０１ ＲＯＭ
１０２ ＤＲＡＭ
１０５ 表示部
１０６ 操作部
１０７ 記録部
１０８ 読み取り部
１０９ ストレージ
１１０ システムバス
１１１ カードスロット
１１２ ＵＳＢ Ｉ／Ｆ
２００ ＶＲＡＭ
２０１ ＬＣＤコントローラー＆ドライバ
２０２ タッチパネル付きカラーＬＣＤ
２０３ タッチパネルコントローラー
５０２ メニューキー
５０３ スタートキー
５０４ キャンセルキー
５０５ 決定キー
５０６ 上下左右方向キー
５０７ モードキー
７０１、１００１ 写真画像表示エリア
７０２、９０２、１００２ 左キー
７０３、９０３、１００３ 右キー
７０４、９０５、１００５ 「印刷」キー
７０５ 「検索」キー
８０１ レイアウトエリア
８０２、９０４、１００４ 「戻る」キー
９０５、１００５ 「印刷」キー
９０６ 「拡大」キー

Claims (6)

1. 画像データを記憶する記憶手段からキー情報として画像の特性情報を入力することにより、キー情報に合致する画像データを前記記憶手段から検索する画像情報処理装置における画像情報処理方法において、
   前記記憶手段に記憶された画像データから被写体の顔部分を検出し、該被写体の顔部分に関する情報のうち、少なくとも当該画像データの画面内における被写体の顔部分の位置に関する情報を検索制御情報として取得し、当該画像データと関連づけて記憶する検索制御情報生成過程と、
   画像情報処理装置の表示手段および操作手段を用いたグラフィカルユーザインターフェースを介して、画像データの画面に対応するレイアウト表示領域内に、少なくとも被写体の顔の部分の位置を指定可能なアイコンをユーザに配置させ、該アイコンの前記レイアウト表示領域内における位置情報を前記キー情報として入力するグラフィカルユーザインターフェース過程と、
   前記グラフィカルユーザインターフェース過程により入力された前記アイコンの前記レイアウト表示領域内における位置情報と、前記検索制御情報生成過程において生成され、画像データと関連づけて検索制御情報として記憶した画像データの画面内における被写体の顔部分の位置に関する情報を照合することにより前記記憶手段から画像データを検索する画像データ検索過程を含むことを特徴とする画像情報処理方法。
2. 請求項１に記載の画像情報処理方法において、画像情報処理装置で画像データ入出力手段を用いて行なうタスクが実行されていない期間にアイドルタスクとして前記検索制御情報生成過程を実行することを特徴とする画像情報処理方法。
3. 請求項１に記載の画像情報処理方法において、前記検索制御情報生成過程において検索制御情報として取得され、画像データと関連づけて記憶される前記被写体の顔部分に関する情報に、前記被写体の顔の位置に加え、被写体の顔の数または被写体の顔の大きさに関する情報を含み、前記グラフィカルユーザインターフェース過程によりキー情報として入力されたアイコンの前記レイアウト表示領域内における位置および数または大きさに関する情報と、前記被写体の顔の位置および被写体の顔の数または被写体の顔の大きさに関する情報を照合することにより前記記憶手段から画像データを検索することを特徴とする画像情報処理方法。
4. 請求項１に記載の画像情報処理方法において、前記操作手段が前記表示手段の表示領域上に重ねて配置されたタッチパネルであることを特徴とする画像情報処理方法。
5. 請求項１に記載の画像情報処理方法において、前記グラフィカルユーザインターフェース過程において、サイズの異なるアイコンを配置させることにより、ユーザに被写体の顔の大きさに関する情報を入力させることを特徴とする画像情報処理方法。
6. 請求項１〜５のいずれか１項に記載の画像情報処理方法を実施する前記記憶手段、前記表示手段、および操作手段を少なくとも有することを特徴とする画像情報処理装置。

Images