JP2013140411A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】データベースの肥大化を抑制するとともにデータベース検索の処理時間の軽減を図り、且つ、データベースの更新処理を好適に行う仕組みを提供する。
【解決手段】記録媒体に在る画像を解析して得られた第１の解析情報と、カメラ辞書から抽出した情報を被写体ごとに識別子を付した照合辞書と、前記画像に存在する被写体に関する情報を前記識別子と関連付けたファイル情報とを含むデータベースを保存する。そして、データベースを検索する可能性がある所定の動作状態の時に、現時点で記録媒体に在る画像を解析して得られた第２の解析情報と前記第１の解析情報との整合確認を行い（Ｓ２０１）、前記識別子に基づいてデータベースを検索する際に、照合辞書の情報とカメラ辞書の情報との整合確認を行い（Ｓ２０８）、前記所定の動作状態の時に、前記各整合確認で不整合が確認された場合にデータベースを再構築する（Ｓ２０３及びＳ２１０）。
【選択図】図２

Description

本発明は、画像処理装置及びその制御方法に関し、特に、画像ファイルに付与された属性情報を解析し、データベース化された属性情報に基づいた画像管理を行う画像処理装置及びその制御方法に関するものである。

従来、画像処理装置等の情報処理装置において、データベースに基づきキーワードを用いて検索を行うことがなされている。

下記の特許文献１に記載の情報検索装置では、探したい番組に関する任意のキーワードを入力し、文字列検索により、キーワードに一致する番組を電子番組表から検索することが行われている。更に、インターネット上のサーバにそのキーワードを送って、そのキーワードに類似する拡張キーワードを受信し、拡張キーワードを用いて文字列検索により電子番組表を検索することが行われている。

また、下記の特許文献２に記載の人物識別装置では、顔辞書データに登録されている人物を、撮影した画像から認識することが行われている。

特開２００４−３６２１２１号公報 特開２０００−２２２５７６号公報

しかしながら、特許文献１のように、例えば、キーワードをデータベースに格納することは、データベースのファイルサイズの肥大化につながる。特に、デジタルカメラやスマートフォン等の画像処理装置において、扱う画像が膨大になると、データベースの肥大化とともに、データベース検索の処理に多くの時間がかってしまう。また、デジタルカメラや携帯電話のような組み込み画像処理装置においては、データ処理能力や内蔵メモリの容量に余裕が無いので、データベースの肥大化を抑制しつつ、ベータベース検索の処理時間の軽減を図ることが要求される。
さらに、データ処理能力等に余裕が無い画像処理装置においては、データベースの更新中（再構築中）は、他の処理（例えば撮影処理等）ができない等の不都合が発生する可能性もある。

本発明は、このような問題点に鑑みてなされたものであり、データベースの肥大化を抑制するとともにデータベース検索の処理時間の軽減を図り、且つ、データベースの更新処理を好適に行う仕組みを提供することを目的とする。

本発明の画像処理装置は、更新が可能に構成され、被写体の名称に係る情報と当該被写体の特徴を示す特徴情報とを関連付けた第１の辞書を記憶する第１の記憶手段と、記録媒体に記録されている画像ファイルを解析して得られた第１の解析情報と、前記第１の辞書に含まれる前記被写体の名称に係る情報および前記被写体の特徴を示す特徴情報のうちの少なくともいずれかの情報を被写体ごとに識別子を付した第２の辞書と、前記画像ファイルに関する情報であって当該画像ファイルに存在する被写体に関する情報を前記識別子と関連付けたファイル情報とを含むデータベースを記憶する第２の記憶手段と、前記記録媒体に現時点で記録されている画像ファイルを解析して得られた第２の解析情報と、前記第１の解析情報との整合確認を行う第１の整合確認手段と、前記第２の辞書における情報と、当該情報に対応する前記第１の辞書における情報との整合確認を行う第２の整合確認手段と、前記データベースを検索する可能性がある所定の動作状態の時に、前記第１の整合確認手段または前記第２の整合確認手段で不整合が確認された場合に、前記データベースを再構築する再構築手段とを有する。
また、本発明は、上述した画像処理装置の制御方法を含む。

本発明によれば、データベースの肥大化を抑制するとともにデータベース検索の処理時間の軽減を図り、且つ、データベースの更新処理を好適に行うことができる。

本発明の実施形態に係る画像処理装置（デジタルカメラ）の概略構成の一例を示すブロック図である。 本発明の実施形態に係る画像処理装置（デジタルカメラ）の再生モード時の処理手順の一例を示すフローチャートである。 本発明の実施形態に係る画像処理装置（デジタルカメラ）で生成するデータベースファイルの構成の一例を示す模式図である。 本発明の実施形態に係る画像処理装置（デジタルカメラ）で生成するデータベースファイルの構成の一例を示す模式図である。 本発明の実施形態に係る画像処理装置（デジタルカメラ）に記憶されるカメラ辞書の構成の一例を示す模式図である。 本発明の実施形態に係る画像処理装置（デジタルカメラ）に記憶されるカメラ辞書の構成の一例を示す模式図である。 図２のステップＳ２０６におけるお気に入り検索処理の詳細な処理手順の一例を示すフローチャートである。 図２のステップＳ２１２における個人認証検索処理の詳細な処理手順の一例を示すフローチャートである。 図５−１のステップＳ５０２におけるデータベース検索処理、及び、図５−２のステップＳ５１４におけるデータベース検索処理の詳細な処理手順の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。なお、以下に説明する本発明の実施形態においては、画像処理装置としてデジタルカメラを適用した例について説明を行うが、本発明はこれに限定されるものではなく、例えば画像処理装置としてプリンタや携帯電話、携帯端末などを適用してもよい。

本発明の実施形態では、画像処理装置として、動画及び静止画を記録することができるデジタルカメラについて説明する。また、本発明の実施形態に係る画像処理装置では、ＧＰＳ等の位置検出機能を有し、検出した位置情報を各ファイルに記録することが可能な構成となっている。

図１は、本発明の実施形態に係る画像処理装置（デジタルカメラ）１００の概略構成の一例を示すブロック図である。

図１において、制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）、揮発性メモリ（ＤＲＡＭ、ＳＲＡＭ）や不揮発性メモリの内蔵メモリなどからなる。この制御部１０１は、例えば不揮発性メモリに記憶されている、各種の処理に係るプログラムを実行することで、画像処理装置１００の各ブロック構成を制御したり、各ブロック構成間でのデータ転送を制御したりする。また、制御部１０１は、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、画像処理装置１００の各ブロック構成を制御する。また、制御部１０１は、後述の画像処理部１１１によって得られた画像を解析し、その解析結果に応じて、画像処理装置１００の各ブロック構成を制御する。

操作部１０２は、例えば、電源ボタン、モード切り換えスイッチ、静止画記録ボタン、動画記録開始／終了ボタン、ズーム調整ボタン、オートフォーカスボタンなどの画像処理装置１００の動作に関連する各種の操作を入力するスイッチ類を含む。さらに、操作部１０２は、例えば、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタン等が操作されると、制御部１０１に操作信号を送信する。

バス１０３は、各種のデータ、各種の制御信号、各種の指示信号などを画像処理装置１００の各ブロック構成に送るための汎用バスである。

メモリ１０４は、画像処理部１１１及び音声処理部１２１からそれぞれ得られた画像信号及び音声信号をファイルとして一時的に記憶する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログ／デジタル変換をして、画像処理部１１１に送信する。

画像処理部１１１は、撮像部１１０から送信されたデジタル画像信号に対して、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理等の画像処理を行う。そして、画像処理部１１１は、画像処理を行った画像信号を、制御部１０１の制御に基づいて、メモリ１０４や後述の映像出力部１５０や表示制御部１３１に送信する。

本実施形態においては、例えば、撮像部１１０は、「光学ズーム」機能、「光学防振」機能を有し、画像処理部１１１は、「電子ズーム」機能、「電子防振」機能を有している。ここで、「光学ズーム」機能、「電子ズーム」機能は、ユーザの操作に応じて得られる、画像を拡大／縮小する機能である。また、「光学防振」機能、「電子防振」機能は、画像処理装置１００本体の振動による画像の揺れを防止する機能である。そして、これらの機能は、制御部１０１の制御によって、同時に使用されたり交互に使用されたり、単独で使用されたりする。

具体的に、「光学ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、撮像部１１０のレンズを移動させ、取り込まれる被写体の光学像を拡大／縮小する機能である。また、「電子ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、画像処理部１１１が、撮像部１１０により生成された画像のうちの一部を切り出した画像を拡大した画像信号を生成する処理である。また、「光学防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、レンズの移動量を算出し、レンズを移動させることで、取得される画像の揺れを防止する機能である。また、「電子防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。また、「電子防振」機能は、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０の撮像素子における読み出し位置をずらすことによっても実現できる。これらの機能は公知の技術であるため、詳細な説明は省略する。

図１において、音声入力部１２０は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、画像処理装置１００の周囲の音声を集音（収音）し、音声信号を生成する。そして、音声入力部１２０は、生成した音声信号をアナログ／デジタル変換をして、音声処理部１２１に送信する。

音声処理部１２１は、音声入力部１２０から送信されたデジタル音声信号に対して、そのレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部１２１は、音声処理を行った音声信号を、制御部１０１の制御に基づいて、メモリ１０４に送信する。

ここで、画像処理部１１１及び音声処理部１２１は、それぞれ、メモリ１０４にファイルとして一時的に記憶された画像信号及び音声信号を読み出して、画像信号の符号化及び音声信号の符号化などを行い、圧縮画像信号及び圧縮音声信号等を生成する。そして、制御部１０１は、これらの圧縮画像信号及び圧縮音声信号を、記録再生部１４０に送信する。

図１において、表示部１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスである。

表示制御部１３１は、制御部１０１の制御に基づいて、画像処理部１１１から送信された画像信号に基づく映像や、画像処理装置１００の操作をするための操作画面（メニュー画面）等を表示部１３０に表示する。

記録再生部１４０は、記録媒体１４１に対して、画像処理部１１１及び音声処理部１２１で生成された圧縮画像信号及び圧縮音声信号、また、その他の撮影に関する制御データ等の各種のデータをファイルとして記録する。また、音声信号を圧縮符号化しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と画像処理部１１１により生成された圧縮画像信号とを、記録再生部１４０に送信して記録媒体１４１にファイルとして記録させる。また、記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号、圧縮音声信号または音声信号、各種のデータやプログラムを読み出す（再生する）。そして、記録再生部１４０は、読み出した圧縮画像信号及び圧縮音声信号を、制御部１０１の制御に基づいて、画像処理部１１１及び音声処理部１２１に送信する。

記録媒体１４１は、画像処理装置１００に内蔵された記録媒体でも、画像処理装置１００から取り外し可能な記録媒体でもよく、画像処理装置１００で生成した、圧縮画像信号、圧縮音声信号、音声信号、各種のデータなどを記録することができればよい。例えば、記録媒体１４１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリなどのあらゆる方式の記録媒体を含む。

ここで、画像処理部１１１及び音声処理部１２１は、それぞれ、圧縮画像信号及び圧縮音声信号をファイルとして一時的にメモリ１０４に記憶させ、所定の手順で復号する。そして、画像処理部１１１は、制御部１０１の制御に基づいて、復号化した画像信号を映像出力部１５０や表示制御部１３１に送信し、また、音声処理部１２１は、制御部１０１の制御に基づいて、復号化した音声信号を音声出力部１５１に送信する。なお、音声信号が記録媒体１４１に非圧縮で記録されている場合には、制御部１０１は、当該音声信号を直接音声出力部１５１に送信する。

図１において、映像出力部１５０は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。

音声出力部１５１は、例えば音声出力端子からなり、接続されたイヤホンやスピーカ等から音声を出力させるために音声信号を送信する。また、音声出力部１５１は、画像処理装置１００に内蔵され、音声信号に係る音声を出力するスピーカであってもよい。

ここで、映像出力部１５０や音声出力部１５１は、統合された１つの端子、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子のような端子であってもよい。

図１において、通信部１５２は、画像処理装置１００と外部装置との間の通信を司るものであり、例えば、画像信号、音声信号、圧縮画像信号、圧縮音声信号などのデータを送信したり受信したりする。また、通信部１５２は、撮影開始や撮影終了のコマンド等の撮影に係る制御信号や、その他の情報を送信したり受信したりする。通信部１５２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ信号受信モジュール等の無線通信モジュールである。

ここで、本実施形態に係る画像処理装置１００の通常の動作について説明する。
本実施形態に係る画像処理装置１００では、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、画像処理装置１００の各ブロック構成に対して電源を供給させる。

電源が供給されると、制御部１０１は、操作部１０２のモード切り換えスイッチが、例えば、静止画撮影モード、動画撮影モード、再生モード等のどのモードとなっているのかを、操作部１０２からの指示信号により確認する。

静止画撮影モードでは、画像処理装置１００は、撮影待機状態でユーザが操作部１０２の静止画記録ボタンを操作することにより、被写体の静止画撮影を行う。そして、画像処理装置１００は、静止画撮影により得られた画像信号に基づく圧縮画像信号をファイルとして記録媒体１４１に記録する。その後、再び撮影待機状態になる。

動画撮影モードでは、画像処理装置１００は、撮影待機状態でユーザが操作部１０２の動画記録開始ボタンを操作することにより、被写体の動画撮影を開始する。そして、画像処理装置１００は、動画撮影中に得られた画像信号に基づく圧縮画像信号と、動画撮影中に得られた音声信号または当該音声信号に基づく圧縮音声信号とを、ファイルとして記録媒体１４１に記録する。そして、画像処理装置１００は、ユーザが操作部１０２の動画記録終了ボタンを操作することにより動画撮影を終了する。その後、再び撮影待機状態になる。

再生モードでは、画像処理装置１００は、ユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号または音声信号を記録媒体１４１から再生する。そして、画像処理装置１００は、圧縮画像信号に基づく映像を表示部１３０に表示し、圧縮音声信号または音声信号に基づく音声を音声出力部１５１から出力する。

また、ユーザが操作部１０２を操作することにより、画像処理装置１００に設定の変更メニューに入ることができ、項目選択操作、選択された項目に対する設定値変更操作等が可能である。変更メニューとしては、例えば、画像処理装置１００の保持する日付情報、日時情報、時差情報、エリア設定、使用者情報、撮影モード、画像フォーマット等が挙げられる。

以下に、まず、静止画撮影モードの詳細について説明する。

操作部１０２により静止画撮影モードが設定されると、前述したように、まず、制御部１０１は、画像処理装置１００の各ブロック構成を撮影待機状態に設定する。この撮影待機状態では、画像処理部１１１は、制御部１０１の制御に基づいて、画像信号を表示制御部１３１に送信し、表示部１３０に画像信号に基づく映像を表示させる。ユーザはこの様にして表示された映像を見ながら静止画撮影の準備を行う。

撮影待機状態で、ユーザが操作部１０２の静止画記録ボタンを操作すると、操作部１０２から制御部１０１に静止画撮影指示信号が送信される。制御部１０１は、操作部１０２から静止画撮影指示信号を受信すると、画像処理装置１００の各ブロック構成に、以下のような動作をさせる制御を行う。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、これをアナログ／デジタル変換して、画像処理部１１１に送信する。画像処理部１１１は、撮像部１１０から送信されたデジタル画像信号の被写体情報の解析を行うとともに、画質調整処理（ホワイトバランスや色、明るさなど）を設定値及び被写体情報に基づいて行う。ここで、被写体情報とは、被写体の明るさの分布、顔の分布、各顔を認証した結果得られる個人認証情報、距離の分布等が挙げられる。そして、画像処理部１１１で処理された画像信号は、制御部１０１により、メモリ１０４や映像出力部１５０や表示制御部１３１に送信される。ここで、ユーザは、表示部１３０に表示された映像を見ることで、撮影した静止画を確認することができる。

そして、画像処理部１１１は、メモリ１０４にファイルとして一時的に記憶された画像信号を読み出し、この画像信号に所定の符号化を行って圧縮画像信号を生成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、圧縮画像信号を静止画ファイルとして属性情報とともに記録媒体１４１に記憶する。ここで、属性情報とは、前記被写体情報、及び、画像処理装置１００の設定情報、通信部１５２から取得した外部情報（位置情報やＭＡＣアドレス等）等である。なお、制御部１０１は、画像処理部１１１による符号化の動作が終了すると、撮影待機状態に移行させる旨の制御信号を画像処理装置１００の各ブロック構成に送信して、撮影待機状態に戻る。

次に、動画撮影モードの詳細について説明する。

操作部１０２により動画撮影モードが設定されると、前述したように、まず、制御部１０１は、画像処理装置１００の各ブロック構成を撮影待機状態に設定する。この撮影待機状態では、画像処理部１１１は、制御部１０１の制御に基づいて、画像信号を表示制御部１３１に送信し、表示部１３０に画像信号に基づく映像を表示させる。ユーザはこの様にして表示された映像を見ながら動画撮影の準備を行う。

撮影待機状態で、ユーザが操作部１０２の動画記録開始ボタンを操作すると、操作部１０２から制御部１０１に動画撮影開始の指示信号が送信される。制御部１０１は、操作部１０２から動画撮影開始の指示信号を受信すると、画像処理装置１００の各ブロック構成に、以下のような動作をさせる制御を行う。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、これをアナログ／デジタル変換して、画像処理部１１１に送信する。画像処理部１１１は、撮像部１１０から送信されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて行う。そして、画像処理部１１１で処理された画像信号は、制御部１０１により、メモリ１０４や表示制御部１３１に送信される。そして、表示制御部１３１は、受信した画像信号に基づく映像を表示部１３０に表示させる。

一方、音声入力部１２０は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号を音声処理部１２１に送信する。音声処理部１２１は、音声入力部１２０から送信されたデジタル音声信号のレベルの適正化処理等の処理を行う。制御部１０１は、音声処理部１２１で処理された音声信号をメモリ１０４に送信する。

そして、画像処理部１１１及び音声処理部１２１は、それぞれ、メモリ１０４にファイルとして一時的に記憶された画像信号及び音声信号を読み出して所定の符号化を行い、圧縮画像信号及び圧縮音声信号等を生成する。そして、制御部１０１は、これらの圧縮画像信号及び圧縮音声信号を合成して、データストリームを形成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを１つの動画ファイルとして記録媒体１４１に記憶する。

また、音声信号を圧縮しない場合には、制御部１０１は、音声処理部１２１で生成された音声信号を画像処理部１１１で生成された圧縮画像信号とともに、記録再生部１４０に出力する。そして、記録再生部１４０は、前述したように、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを１つの動画ファイルとして記録媒体１４１に記憶する。

以上の動作を動画撮影中は継続する。
また、動画撮影の間、ユーザによる操作部１０２の操作に応じて、または、画像処理部１１１により生成された画像信号の解析結果に応じて、制御部１０１は、撮像部１１０や画像処理部１１１、音声処理部１２１などに各種の制御信号を送信している。例えば、制御部１０１は、レンズの移動や絞り調整などをさせるための制御信号を撮像部１１０に送信するとともに、画像や音声を調整するための制御信号を画像処理部１１１、音声処理部１２１に送信する。

また、同様に動画撮影の間、ユーザが操作部１０２のズームキーを操作することにより、制御部１０１は、撮像部１１０の「光学ズーム」機能や、画像処理部１１１の「電子ズーム」機能を動作させる。また、不図示の振動検出部により検出された加速度信号に基づいて、制御部１０１は、撮像部１１０の「光学防振」機能や、画像処理部１１１の「電子防振」機能を動作させる。

そして、ユーザが操作部１０２の動画記録終了ボタンを操作すると、操作部１０２から制御部１０１に動画撮影終了の指示信号が送信される。制御部１０１は、操作部１０２から動画撮影終了の指示信号を受信すると、画像処理装置１００の各ブロック構成に、以下のような動作をさせる制御を行う。

画像処理部１１１及び音声処理部１２１は、それぞれ、画像信号及び音声信号のメモリ１０４への送信を停止する。そして、画像処理部１１１及び音声処理部１２１は、それぞれ、メモリ１０４に記憶されている残りの画像信号及び音声信号を読み出して所定の符号化を行い、圧縮画像信号及び圧縮音声信号等を生成する。そして、制御部１０１は、これらの最後の圧縮画像信号及び圧縮音声信号を合成して、データストリームを形成し、記録再生部１４０に出力する。また、音声信号を圧縮しない場合には、制御部１０１は、音声処理部１２１で生成された音声信号を画像処理部１１１で生成された圧縮画像信号とともに、記録再生部１４０に出力する。

記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを１つの動画ファイルとして記録媒体１４１に記憶する。そして、データストリームの供給が停止したら、制御部１０１は、サムネイルを生成するために、以下のような動作をさせる制御を行う。

記録再生部１４０は、記録媒体１４１に記録した動画ファイルの先頭フレームの圧縮画像信号を読み出し、画像処理部１１１に送信する。画像処理部１１１は、受信した圧縮画像信号を一時的にメモリ１０４に記憶し、所定の手順で復号する。続いて、画像処理部１１１は、得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。そして、制御部１０１は、画像処理部１１１で生成されたサムネイル用圧縮画像信号を記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、サムネイル用圧縮画像信号を、基となる動画ファイルに結合させて、これを上述した属性情報とともに記録媒体１４１に記憶する。このようにして、動画ファイルを完成させるとともに動画記録動作を停止する。なお、制御部１０１は、動画記録動作が停止すると、撮影待機状態に移行させる旨の制御信号を画像処理装置１００の各ブロック構成に送信して、撮影待機状態に戻る。

次に、再生モードの詳細について説明する。

操作部１０２により再生モードが設定されると、操作部１０２から制御部１０１に再生指示信号が送信される。制御部１０１は、操作部１０２から再生指示信号を受信すると、画像処理装置１００の各ブロック構成に、以下のような動作をさせる制御を行う。

記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号からなる静止画ファイル、または、圧縮画像信号と圧縮音声信号もしくは音声信号とからなる動画ファイルについて、ファイル名や更新日時等のファイルシステムで管理されている情報或いは各ファイルに関連付けて記録された属性情報によって、再生順を決定して読み出す。また、制御部１０１は、決定した再生順をメモリ１０４に配置されたデータベースにリスト化して管理する。また、このデータベースは、永続化のために、記録媒体１４１に記録し再利用されることもある。

制御部１０１は、読み出された圧縮画像信号や圧縮音声信号を、画像処理部１１１や音声処理部１２１に送信する。圧縮されていない音声信号であれば、制御部１０１は、音声出力部１５１に音声信号を送信する。

画像処理部１１１及び音声処理部１２１は、それぞれ、圧縮画像信号及び圧縮音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。そして、画像処理部１１１は、制御部１０１の制御に基づいて、復号化した画像信号を映像出力部１５０や表示制御部１３１に送信し、また、音声処理部１２１は、制御部１０１の制御に基づいて、復号化した音声信号を音声出力部１５１に送信する。そして、表示制御部１３１は、受信した画像信号に基づく映像を表示部１３０に表示させ、音声出力部１５１は、受信した音声信号に基づく音声を、内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。

本実施形態に係る画像処理装置１００は、以上のようにして、静止画、動画の記録再生を行う。

次に、図２、図３−１、図３−２、図４−１、図４−２、図５−１、図５−２及び図５−３を用いて、本実施形態に係る画像処理装置１００の再生モード時の動作について説明する。

操作部１０２により再生モードが設定されると、操作部１０２から制御部１０１に再生指示信号が送信される。制御部１０１は、操作部１０２から再生指示信号を受信すると、画像処理装置１００の各ブロック構成に、再生指示信号に基づく制御信号を送信し、図２に示す処理を実行する。

図２は、本発明の実施形態に係る画像処理装置（デジタルカメラ）１００の再生モード時の処理手順の一例を示すフローチャートである。

まず、図２のステップＳ２０１において、例えば制御部１０１は、ディレクトリ情報によるデータベースファイルの整合確認を行う。

ここで、データベースファイルついて、図３−１を用いて説明する。
図３−１は、本発明の実施形態に係る画像処理装置（デジタルカメラ）１００で生成するデータベースファイルの構成の一例を示す模式図である。

本実施形態に係る画像処理装置１００は、画像の属性情報による画像の検査機能を有する。この場合、画像の付属情報として記録されている属性情報を、記録媒体１４１からメモリ１０４に各画像を都度読み出して画像ごとに参照して検索することも考えられるが、全ての画像を都度読み出して解析することは処理時間が多大に必要とされる。

このため、本実施形態では、一度解析した画像の属性情報を画像のファイル名等の識別情報と関連付けてメモリ１０４内にデータベースとして格納した後、このデータベースを画像とは独立したファイルとして記録媒体１４１に保存する。そして、次の検索からは、このデータベースファイルを記録媒体１４１からメモリ１０４に読み出して、データベースファイルの参照のみで検索を高速に行えるようにする。

しかしながら、属性情報が画像ファイルとデータベースファイルの両方に格納されるため、データベースファイルの改竄や画像ファイルの変更等により、両者間の不一致を検出して補正するために、整合確認も必要となる。

図３−１において、ヘッダ３０１は、後述する照合辞書３０２、ディレクトリ情報３０３、及び、その他の情報３０４を持つ。その他の情報３０４は、データベースファイルのバージョン情報、チェックサム、ファイル情報３０５に含まれる各ファイル情報３０６のリスト数等を含み、データベースファイルの破損検出やバージョン管理に使用される。各ファイル情報３０６は、各画像ファイルにどのような属性情報が付与されているのかを記載し、管理対象の画像数分だけリスト化されて記録される。

図２のステップＳ２０１における整合確認は、管理対象画像のファイルシステム上に記載された情報とデータベースの情報とに不整合がないかの確認であり、これにより、画像ファイルの更新、追加、削除等を高速に検出する。

具体的には、管理対象画像ファイルの更新日時のチェックサム、ファイルサイズのチェックサム、ファイル数、ファイル名のチェックサム等を、データベースファイルのディレクトリ情報３０３に記録しておき、記録媒体１４１に記録されている画像ファイルに付与されている情報から同様の演算を行って、両者を比較する。比較の結果、全てが一致すれば、記録媒体１４１に記録されている画像ファイルとデータベースファイルで管理の画像ファイルとは整合が取れた（整合ＯＫ）と判断できる。一方、比較の結果、一致しなければ画像ファイル或いはデータベースファイルに何らかの変更が加えられて、記録媒体１４１に記録されている画像ファイルとデータベースファイルで管理の画像ファイルとは整合が取れない（整合ＮＧ）と判断できる。

図２のステップＳ２０２において、例えば制御部１０１は、図２のステップＳ２０１による整合確認の結果、整合ＯＫであるか否かを判断する。

図２のステップＳ２０２の判断の結果、整合ＯＫでない（即ち、整合ＮＧ）である場合には、図２のステップＳ２０３に進む。
図２のステップＳ２０３に進むと、例えば制御部１０１は、データベースを再構築する処理を行う。これは、再度、管理対象画像ファイルを参照して各属性情報を抽出し、データベースに記録することである。また、このとき、ディレクトリ情報３０３を再度算出してヘッダ３０１を作り直す。

図２のステップＳ２０２で整合ＯＫであると判断された場合、或いは、図２のステップＳ２０３の処理が終了した場合には、正しいデータベースが構築されていることになり、図２のステップＳ２０４に進む。

図２のステップＳ２０４に進むと、例えば制御部１０１は、表示制御部１３１を制御して、最終画像を表示部１３０に表示させる。ここで、最終画像とは、本実施形態に係る画像処理装置（デジタルカメラ）１００で使用される画像の保存規格であるＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）にしたがって記録媒体１４１に保存された画像のうち、ＤＣＦディレクトリ番号が最大のＤＣＦディレクトリ内の、ＤＣＦファイル番号が最大のファイル名を持つ画像であり、通常はユーザが最後に撮影した画像（記録媒体１４１に最後に記録された画像）である。

続いて、図２のステップＳ２０５において、例えば制御部１０１は、ユーザから操作部１０２を介して、お気に入り検索の指示があったか否かを判断する。

図２のステップＳ２０５の判断の結果、お気に入り検索の指示があった場合には、図２のステップＳ２０６に進む。
図２のステップＳ２０６に進むと、例えば制御部１０１は、お気に入り検索処理（お気に入り画像の検索表示処理）を行う。ここで、お気に入り検索とは、ユーザの指示により、お気に入り属性のついた画像のみを検索して閲覧すること目的としたものである。具体的には、データベースファイルを参照して各ファイル情報３０６に記録されたお気に入り情報が０を超える画像のファイル名を検索して、これに対応する画像のみを再生するものである。各画像の属性情報には、お気に入りの度合いを示すランキング情報が記録されていて、具体的には０から５の数字が記録される。お気に入り検索は、このランキング情報に基づく画像の検索である。この図２のステップＳ２０６におけるお気に入り検索処理の詳細な処理手順については、図５−１及び図５−３を用いて後述する。そして、この図２のステップＳ２０６におけるお気に入り検索処理が終了すると、図２のステップＳ２０５に戻る。

一方、図２のステップＳ２０５の判断の結果、お気に入り検索の指示がなかった場合には、図２のステップＳ２０７に進む。
図２のステップＳ２０７に進むと、例えば制御部１０１は、ユーザから操作部１０２を介して、個人認証検索の指示があったか否かを判断する。

図２のステップＳ２０７の判断の結果、個人認証検索の指示があった場合には、図２のステップＳ２０８に進む。
図２のステップＳ２０８に進むと、例えば制御部１０１は、辞書情報の整合確認を行う。ここで、辞書情報について、図４−１を用いて説明する。

図４−１は、本発明の実施形態に係る画像処理装置（デジタルカメラ）１００に記憶されるカメラ辞書の構成の一例を示す模式図である。このカメラ辞書は、例えば、制御部１０１に内蔵の不揮発性メモリに記憶されており、図３−１に示す照合辞書３０２等とは独立して更新されるものである。図４−１に示すカメラ辞書は、ＩＤと、被写体のニックネーム（名称）と、当該被写体の特徴データ（例えば、当該被写体の顔の特徴量を示す特徴データ）とが関連付けられて構成されている。

本実施形態に係る画像処理装置（デジタルカメラ）１００では、被写体から個人認証処理を行うことが可能である。この処理では、制御部１０１が、被写体から抽出された特徴データとカメラ辞書にＩＤごとに格納された特徴データとの一致度を算出して同一人物とみなせるか否かの演算を行って、カメラ辞書から対応するニックネームを画像に属性情報として記録する。

このカメラ辞書の一部の辞書情報は、図３−１に示すデータベースファイルのヘッダ３０１内の照合辞書３０２に記録される。具体的に、図３−１に示す照合辞書３０２の辞書情報は、図４−１に示すカメラ辞書に登録されているニックネームがＩＤと関連付けられて記録される。この照合辞書３０２のＩＤは、カメラ辞書のＩＤと共通のものである必要は必ずしもなく、この照合辞書３０２のＩＤをファイル情報３０５内の各ファイル情報３０６に関連付けることで各ファイルがどのようなニックネームを持つかを関連付けることが可能になる。さらには、図３−１に示すデータベースファイルにおいて、特定のＩＤを記録することなく照合辞書３０２における並び順をＩＤとしてもよい。このように、データベースファイル内の各ファイル情報３０６にニックネーム文字列そのものを記録することがないので、データベースファイルのファイルサイズの肥大化を抑制することが可能である。

ここで、図２のステップＳ２０８〜ステップＳ２１０までの処理の一例を、図３−１、図３−２、図４−１及び図４−２を併用して説明する。
この場合、図３−１は、図２のステップＳ２０８で辞書情報整合確認が行われるデータベースファイルであり、図４−１に示すカメラ辞書のもとで作成されたものであるとする。

図３−１に示すデータベースファイルには、図４−１に示すカメラ辞書を参照して作成された照合辞書３０２が記載されている。また、各ファイル情報３０６には、照合辞書３０２のＩＤが記載され、照合辞書３０２及びカメラ辞書のニックネームを導くことができる。

ここで、画像のファイル名：０００１．ＪＰＧに関するファイル情報３０６には、辞書個人ＩＤとして［１］、［４］が記載されているので、照合辞書３０２から"Ｋｏｂａｙａｓｈｉ"、"Ｔａｎａｋａ"が属性情報として付与されていることを表している。また、画像のファイル名：０００２．ＪＰＧに関するファイル情報３０６には、辞書個人ＩＤが記載されていないため、関連するニックネームがないことを表している。また、画像のファイル名：２０００．ＪＰＧに関するファイル情報３０６には、辞書個人ＩＤとして［１］、［２］、［３］、［４］が記載されているので、照合辞書３０２から"Ｋｏｂａｙａｓｈｉ"、"Ｎａｋａｍｕｒａ"、"Ｓａｔｏ"、"Ｔａｎａｋａ"が属性情報として付与されていることを表している。

ここで、カメラ辞書が図４−２のように変更された後、図２のステップＳ２０８の処理に進んだとする。
この場合、図２のステップＳ２０８では、カメラ辞書の変更前に（図４−１に示すカメラ辞書をもとに）構築された図３−１に示すデータベースファイルの照合辞書３０２の辞書情報と、図４−２に示すカメラ辞書の辞書情報とを比較し、その整合確認を行う。ここでの比較は、図４−２に示すカメラ辞書及び図３−１に示す照合辞書３０２をそれぞれニックネーム順に並べ替えを行い、先頭の辞書情報から文字列の比較を行うことにより、カメラ辞書へのニックネームの追加、削除、変更を検知する。ここでは、図３−１に示す照合辞書３０２の並べ替え後の先頭"Ｋｏｂａｙａｓｈｉ"と、図４−２に示すカメラ辞書の並べ替え後の先頭"Ｓａｔｏ"とを文字列比較した時点で、両者の不一致が検出される。また、カメラ辞書変更の確認は、後述する図２のステップＳ２１５において辞書変更後に制御部１０１内の不揮発メモリに設定される辞書変更フラグを参照することにより、行ってもよい。この辞書変更フラグがＯＮの状態の時には、カメラ辞書に変更が生じたが、データベースとの整合をまだとっていない状態を示している情報であり、後述する図２のステップＳ２１５でＯＮになる情報である。

続いて、図２のステップＳ２０９において、例えば制御部１０１は、図２のステップＳ２０８による辞書情報整合確認の結果、辞書情報が一致するか否かを判断する。

図２のステップＳ２０９の判断の結果、辞書情報が一致しない（即ち、不一致である）場合には、図２のステップＳ２１０に進む。
図２のステップＳ２１０に進むと、例えば制御部１０１は、データベースを再構築する処理を行う。このとき、図４−２に示すカメラ辞書をもとに、図３−２に示すデータベースファイルを構築する。具体的には、まず、図４−２に示すカメラ辞書をもとに、図３−２に示す照合辞書３１２を作成する。そして、作成した照合辞書３１２をもとに、ファイル情報３１５内の各ファイル情報３１６に各画像に関連するニックネームに対応する照合辞書のＩＤを記載する。そして、再構築（更新）されたデータベースファイルは、再利用のために記録媒体１４１に保存される。

なお、この照合辞書及びファイル情報内の辞書個人ＩＤの更新処理は、図２のステップＳ２０３におけるデータベース再構築処理で同時に行ってもよい。即ち、図２のステップ２０３では、各画像を解析して属性情報を取得するので、同時にニックネームを取得することも可能であり、その後、カメラ辞書の変更がない場合には、図２のステップＳ２０８において辞書情報の整合が取れることになる。一方、図２のステップＳ２０３においてニックネームを取得するのは、わずかながらも処理時間がかかるため、図２のステップＳ２０３では、ニックネームを取得しなくてもよい。この場合には、個人認証検索時に辞書情報の整合が保証される。

続いて、図２のステップＳ２１０において、例えば制御部１０１は、内蔵する不揮発メモリに設定されている辞書変更フラグをクリアする処理を行う。

図２のステップＳ２０９で辞書情報が一致すると判断された場合、或いは、図２のステップＳ２１１の処理が終了した場合には、辞書情報が整合した正しいデータベースが構築されていることになり、図２のステップＳ２１２に進む。

図２のステップＳ２１２に進むと、例えば制御部１０１は、個人認証検索処理を行う。ここで、個人認証検索とは、被写体のニックネームによる画像の検索のことである。この図２のステップＳ２１２における個人認証検索処理の詳細な処理手順については、図５−２及び図５−３を用いて後述する。そして、この図２のステップＳ２１２における個人認証検索処理が終了すると、図２のステップＳ２０５に戻る。

一方、図２のステップＳ２０７の判断の結果、個人認証検索の指示がなかった場合には、図２のステップＳ２１３に進む。
図２のステップＳ２１３に進むと、例えば制御部１０１は、ユーザから操作部１０２を介して、個人認証辞書（カメラ辞書）の変更指示があったか否かを判断する。

図２のステップＳ２１３の判断の結果、個人認証辞書（カメラ辞書）の変更指示があった場合には、図２のステップＳ２１４に進む。
図２のステップＳ２１４に進むと、例えば制御部１０１は、カメラ辞書の変更処理（編集処理）、即ち、ニックネームの追加や削除や変更、人物の追加や削除等を実行する。

続いて、図２のステップＳ２１５において、例えば制御部１０１は、内蔵する不揮発メモリに辞書変更フラグを設定する（即ち、辞書変更フラグをＯＮとする）。

図２のステップＳ２１５の処理が終了すると、図２のステップＳ２０５に戻る。

一方、図２のステップＳ２１３の判断の結果、個人認証辞書（カメラ辞書）の変更指示がなかった場合には、図２のステップＳ２１６に進む。
図２のステップＳ２１６に進むと、例えば制御部１０１は、通常の画像再生処理、即ち、ユーザからの操作部１０２を介した、画像送りや画像拡大や画像縮小の指示にしたがって、表示画像を切り替える処理を行う。

図２のステップＳ２１６の処理が終了すると、図２のステップＳ２０５に戻る。

なお、図２に示すフローチャートの一連の処理中は、モード変更や電源ボタンの操作等の割り込みにより処理を中断することが可能である。

次に、図２のステップＳ２０６におけるお気に入り検索処理の詳細について説明する。
図５−１は、図２のステップＳ２０６におけるお気に入り検索処理の詳細な処理手順の一例を示すフローチャートである。

まず、図５−１のステップＳ５０１において、例えば制御部１０１は、データベースファイル内のファイル情報を検索する条件として、"お気に入りが０を超えるもの"を設定する。

続いて、図５−１のステップＳ５０２において、データベース検索処理を実行する。この図５−１のステップＳ５０２におけるデータベース検索処理では、データベースファイルを参照して各ファイル情報に記録されたお気に入り情報が０を超える画像のファイル名を検索して、これに対応する画像のみを抽出する。この図５−１のステップＳ５０２におけるデータベース検索処理の詳細な処理手順については、図５−３を用いて後述する。その後、当該図５−１に示すフローチャートの処理を終了する。

次に、図２のステップＳ２１２における個人認証検索処理の詳細について説明する。
図５−２は、図２のステップＳ２１２における個人認証検索処理の詳細な処理手順の一例を示すフローチャートである。

初めに、図５−２のステップＳ５１１〜ステップＳ５１６において検索するために、ユーザの指示により、ニックネームの設定を行う。

そして、図５−２のステップＳ５１１において、例えば制御部１０１は、図４−１または図４−２に示す現在のカメラ辞書の先頭のニックネームを検索名として仮設定するともに、仮設定した検索名を表示部１３０を介してユーザに提示する。

続いて、図５−２のステップＳ５１２において、例えば制御部１０１は、ユーザから操作部１０２を介して、検索開始指示があったか否かを判断する。

図５−２のステップＳ５１２の判断の結果、検索開始指示があった場合には、図５−２のステップＳ５１３に進む。
図５−２のステップＳ５１３に進むと、例えば制御部１０１は、検索名として仮設定されたニックネームに対応するデータベースファイル内のＩＤを、図３−１または図３−２に示す現在のデータベースファイル内の照合辞書から特定する。

続いて、図５−２のステップＳ５１４において、例えば制御部１０１は、図５−２のステップＳ５１３で特定されたＩＤを検索条件として、データベース検索処理を行う。この図５−２のステップＳ５１４におけるデータベース検索処理では、図５−２のステップＳ５１３で特定されたＩＤを検索条件としてデータベースファイルの各ファイル情報に記録された辞書個人ＩＤを検索する。具体的に、図５−２のステップＳ５１３で特定されたＩＤと同じ辞書個人ＩＤを含む画像のファイル名を検索して、これに対応する画像のみを抽出する。この図５−２のステップＳ５１４におけるデータベース検索処理の詳細な処理手順については、図５−３を用いて後述する。その後、当該図５−２に示すフローチャートの処理を終了する。

一方、図５−２のステップＳ５１２の判断の結果、検索開始指示がなかった場合には、図５−２のステップＳ５１５に進む。
図５−２のステップＳ５１５に進むと、例えば制御部１０１は、ユーザから操作部１０２を介して、検索対象としてカメラ辞書内の他の人物の指示があったか否かを判断する。

図５−２のステップＳ５１５の判断の結果、検索対象としてカメラ辞書内の他の人物の指示があった場合には、図５−２のステップＳ５１６に進む。
図５−２のステップＳ５１６に進むと、例えば制御部１０１は、指示された人物のニックネームを検索名として仮設定するともに、仮設定した検索名を表示部１３０を介してユーザに提示する。その後、図５−２のステップＳ５１２に戻る。

一方、図５−２のステップＳ５１５の判断の結果、検索対象としてカメラ辞書内の他の人物の指示がなかった場合には、図５−２のステップＳ５１７に進む。
図５−２のステップＳ５１７に進むと、例えば制御部１０１は、ユーザから操作部１０２を介して、検索終了指示があったか否かを判断する。

図５−２のステップＳ５１７の判断の結果、検索終了指示があった場合には、当該図５−２に示すフローチャートの処理を終了する。
一方、図５−２のステップＳ５１７の判断の結果、検索終了指示がなかった場合には、図５−２のステップＳ５１２に戻る。

次に、図５−１のステップＳ５０２におけるデータベース検索処理、及び、図５−２のステップＳ５１４におけるデータベース検索処理の詳細について説明する。
図５−３は、図５−１のステップＳ５０２におけるデータベース検索処理、及び、図５−２のステップＳ５１４におけるデータベース検索処理の詳細な処理手順の一例を示すフローチャートである。

まず、図５−３のステップＳ５２１において、例えば制御部１０１は、表示部１３０に表示されている現在の表示画像を検索の起点画像に設定する。

続いて、図５−３のステップＳ５２２において、例えば制御部１０１は、ユーザから操作部１０２を介して、画像送り指示（即ち、次の検索対象画像の表示指示）があったか否かを判断する。

図５−３のステップＳ５２２の判断の結果、画像送り指示があった場合には、図５−３のステップＳ５２３に進む。
図５−３のステップＳ５２３に進むと、例えば制御部１０１は、データベースファイル内のファイル情報に次の画像情報があるか否かを判断する。

図５−３のステップＳ５２３の判断の結果、データベースファイル内のファイル情報に次の画像情報がある場合には、図５−３のステップＳ５２４に進む。
図５−３のステップＳ５２４に進むと、例えば制御部１０１は、次の画像情報を確認画像情報に設定する。

一方、図５−３のステップＳ５２３の判断の結果、データベースファイル内のファイル情報に次の画像情報がない場合には、図５−３のステップＳ５２５に進む。
図５−３のステップＳ５２５に進むと、例えば制御部１０１は、データベースファイル内のファイル情報のリスト先頭の画像情報を確認画像情報に設定する。

図５−３のステップＳ５２４の処理、或いは、図５−３のステップＳ５２４の処理が終了すると（確認画像情報が設定されると、即ち、データベースファイル内の特定のファイル情報が設定されると）、図５−３のステップＳ５２６に進む。
図５−３のステップＳ５２６に進むと、例えば制御部１０１は、設定された確認画像情報（即ち、データベースファイル内の特定のファイル情報）が検索対象であるか否かを判断する。この検索対象であるか否かの判断は、ファイル情報に記載されている検索のための属性項目の属性値が検索条件に合致するか否かの判断である。例えば、お気に入り検索の場合を例にすると、図３−２に示すデータベースファイルの場合、０００１．ＪＰＧのファイル情報には属性項目"お気に入り"が"３"と記載されている。この場合、図５−１のステップＳ５０１における検索条件"お気に入りが０を超えるもの"に合致するため、検索対象となる。

図５−３のステップＳ５２６の判断の結果、設定された確認画像情報が検索対象でない場合には、図５−３のステップＳ５２３に戻る。

一方、図５−３のステップＳ５２６の判断の結果、設定された確認画像情報が検索対象である場合には、図５−３のステップＳ５２７に進む。
図５−３のステップＳ５２７に進むと、例えば制御部１０１は、設定された確認画像情報に関する記録媒体１４１内の画像を画像送り対象画像に設定する。

続いて、図５−３のステップＳ５２８において、例えば制御部１０１は、表示制御部１３１を制御して、図５−３のステップＳ５２７で設定された画像送り対象画像を表示部１３０に表示する。

図５−３のステップＳ５２８の処理が終了した場合、或いは、図５−３のステップＳ５２２で画像送り指示がなかったと判断された場合には、図５−３のステップＳ５２９に進む。
図５−３のステップＳ５２９に進むと、例えば制御部１０１は、ユーザから操作部１０２を介して、検索終了指示があったか否かを判断する。

図５−３のステップＳ５２９の判断の結果、検索終了指示があった場合には、当該図５−３に示すフローチャートの処理を終了する。
一方、図５−３のステップＳ５２９の判断の結果、検索終了指示がなかった場合には、図５−３のステップＳ５２２に戻る。

なお、図５−３に示すフローチャートでは、画像送り処理について説明したが、画像戻し処理、即ち前の検索対象画像表示処理についても、本フローチャートの処理手順から適用できることは明らかである。

また、図３−１及び図３−２に示す照合辞書３０２及び３１２は、それぞれ、図４−１及び図４−２に示すカメラ辞書のニックネームを抽出して作成された例を示しているが、本発明の実施形態では、この形態に限定されない。例えば、カメラ辞書のニックネームに換えて特徴データを抽出して照合辞書を作成するようにしてもよく、更には、カメラ辞書のニックネーム及び特徴データを抽出して照合辞書を作成するようにしてもよい。

また、上述した実施形態では、図２及び図５−１〜図５−３の処理を行うのは、再生モード時（即ち、再生モードが起動された時または当該再生モードに移行した時）であったが、本発明の実施形態では、この形態に限定されない。再生モード時に限らず、例えば、画像処理装置１００の電源が投入された時やデータベース検索を実行する指示がなされた時など、少なくともデータベースを検索する可能性がある所定の動作状態の時に、図２及び図５−１〜図５−３の処理を行うようにしてもよい。

本実施形態に係る画像処理装置１００では、制御部１０１に内蔵の不揮発性メモリ（第１の記憶手段）に、更新が可能に構成されたカメラ辞書（第１の辞書）を記憶している。このカメラ辞書は、図４−１及び図４−２に示すように、被写体のニックネーム（被写体の名称に係る情報）と、当該被写体の特徴を示す特徴データ（特徴情報）とを関連付けて構成されている。
また、本実施形態に係る画像処理装置１００では、メモリ１０４或いは記録媒体１４１（第２の記憶手段）に、データベースを記憶するようにしている。このデータベースは、図３−１及び図３−２に示すように、記録媒体１４１に記録されている画像ファイルを解析して得られたディレクトリ情報（第１の解析情報）と、カメラ辞書（第１の辞書）に含まれる被写体のニックネーム等を被写体ごとにＩＤ（識別子）を付した照合辞書（第２の辞書）と、画像ファイルに関する情報であって当該画像ファイルに存在する被写体に関する情報（辞書個人ＩＤ）を前記ＩＤと関連付けたファイル情報とを含む。
そして、制御部１０１は、記録媒体１４１に現時点で記録されている画像ファイルを解析して得られた情報（第２の解析情報）と、前記第１の解析情報との整合確認（第１の整合確認）を行うようにしている（図２のＳ２０１）。この第１の整合確認を行う制御部１０１は、第１の整合確認手段を構成する。
また、制御部１０１は、照合辞書（第２の辞書）における情報と、当該情報に対応するカメラ辞書（第１の辞書）における情報との整合確認（第２の整合確認）を行うようにしている（図２のＳ２０８）。この第２の整合確認を行う制御部１０１は、第２の整合確認手段を構成する。
そして、制御部１０１は、前記データベースを検索する可能性がある所定の動作状態の時に、前記第１の整合確認または前記第２の整合確認で不整合が確認された場合に、データベースを再構築するようにしている（図２のＳ２０３及びＳ２１０）。このデータベースの再構築を行う制御部１０１は、再構築手段を構成する。

上述したように、本実施形態に係る画像処理装置１００では、記録媒体１４１に記録されている全画像ファイルの属性情報をデータベースで管理している。そして、データベースのファイル情報には、写っている人物を特定するための情報（辞書個人ＩＤ）として、ＩＤが記録されている。
このように、データベース内は、前記ＩＤで管理することで、データベースをコンパクトにする（即ち、データベースの肥大化を抑制する）とともに、単純な文字列検索よりも検索処理の負荷を軽減している。即ち、ＵＩ上はニックネーム等による文字列検索であっても、データベース内の検索はニックネーム等に関連したＩＤの検索となるため、逐次文字列比較が発生せず、また検索するデータベースのサイズも抑制されているので検索速度が文字列比較より高速に行える。また、通常、デジタルカメラで撮影した画像を当該デジタルカメラでニックネーム等を用いて検索するといったユーザ操作も従来通り実現可能となる。また、カメラ辞書（第１の辞書）に含まれる被写体のニックネームの中から選択された被写体のニックネームに基づいてデータベースを検索することで、検索対象をカメラ辞書内の被写体に限定することができ、検索の高速化に寄与する。

また、カメラ辞書が更新されると、データベース内の照合辞書及び各画像ファイルの属性情報と不整合が生じるため、これを一致（整合）させる処理が必要となる。
しかしながら、カメラ辞書が更新される度ごとに、毎回データベースを全部更新するのは、大変な処理の負荷がかかることになる。また、データベースの更新の間は撮影ができない等の不都合が発生する可能性もある。
そこで、本発明の実施形態では、不整合がある場合のデータベースの更新は、再生モード時（即ち、再生モードが起動された時または当該再生モードに移行した時）とか、画像処理装置１００の電源が投入された時とか、データベース検索を実行する指示がなされた時など、少なくともデータベースを検索する可能性がある所定の動作状態の時に行うようにしている。

また、本実施形態に係る画像処理装置１００によれば、カメラ辞書の変更（更新）があっても、データベースの整合を保つことが可能となる。また、本実施形態に係る画像処理装置１００では、カメラ辞書の変更（更新）の検出を個人認証に関する検索時のみとするので（図２のＳ２０７及びＳ２０８）、お気に入り画像の検索等の処理では当該カメラ辞書の変更が影響しない。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。

なお、前述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 画像処理装置（デジタルカメラ）、１０１ 制御部、１０２ 操作部、１０３ バス、１０４ メモリ、１１０ 撮像部、１１１ 画像処理部、１２０ 音声入力部、１２１ 音声処理部、１３０ 表示部、１３１ 表示制御部、１４０ 記録再生部、１４１ 記録媒体、１５０ 映像出力部、１５１ 音声出力部、１５２ 通信部

Claims (18)

1. 更新が可能に構成され、被写体の名称に係る情報と当該被写体の特徴を示す特徴情報とを関連付けた第１の辞書を記憶する第１の記憶手段と、
   記録媒体に記録されている画像ファイルを解析して得られた第１の解析情報と、前記第１の辞書に含まれる前記被写体の名称に係る情報および前記被写体の特徴を示す特徴情報のうちの少なくともいずれかの情報を被写体ごとに識別子を付した第２の辞書と、前記画像ファイルに関する情報であって当該画像ファイルに存在する被写体に関する情報を前記識別子と関連付けたファイル情報とを含むデータベースを記憶する第２の記憶手段と、
   前記記録媒体に現時点で記録されている画像ファイルを解析して得られた第２の解析情報と、前記第１の解析情報との整合確認を行う第１の整合確認手段と、
   前記第２の辞書における情報と、当該情報に対応する前記第１の辞書における情報との整合確認を行う第２の整合確認手段と、
   前記データベースを検索する可能性がある所定の動作状態の時に、前記第１の整合確認手段または前記第２の整合確認手段で不整合が確認された場合に、前記データベースを再構築する再構築手段と
   を有することを特徴とする画像処理装置。
2. 前記所定の動作状態の時とは、当該画像処理装置の電源が投入された時、前記記録媒体に記録されている画像ファイルを再生する再生モードが起動された時、当該再生モードに移行した時、または、前記データベースの検索を実行する指示がなされた時のいずれかであることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の整合確認手段で整合が確認された場合、または、前記第２の整合確認手段で不整合が確認された場合であって前記再構築手段によって前記データベースが再構築された場合に、検索する被写体に対応する前記識別子を検索条件に設定して、前記データベースを検索する検索手段を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検索手段は、前記第１の辞書に含まれる前記被写体の名称に係る情報の中から選択された被写体の名称に係る情報に基づいて、前記データベースを検索することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の整合確認手段で整合が確認された場合、または、前記第１の整合確認手段で不整合が確認された場合であって前記再構築手段によって前記データベースが再構築された場合に、前記記録媒体に記録されている画像ファイルのうち、前記記録媒体に最後に記録された画像ファイルに基づく画像を表示する表示手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記被写体の特徴を示す特徴情報は、当該被写体の顔の特徴を示す特徴情報であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２の辞書は、前記第１の辞書に含まれる前記被写体の名称に係る情報が被写体ごとに前記識別子としてＩＤが付されて構成されており、
   前記ファイル情報は、前記画像ファイルに存在する被写体に関する情報が前記ＩＤと関連付けられて構成されており、
   前記第２の整合確認手段は、前記第２の辞書における前記被写体の名称に係る情報と、前記第１の辞書における前記被写体の名称に係る情報との整合確認を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第２の辞書は、前記第１の辞書に含まれる前記被写体の特徴を示す特徴情報が被写体ごとに前記識別子としてＩＤが付されて構成されており、
   前記ファイル情報は、前記画像ファイルに存在する被写体に関する情報が前記ＩＤと関連付けられて構成されており、
   前記第２の整合確認手段は、前記第２の辞書における前記被写体の特徴を示す特徴情報と、前記第１の辞書における前記被写体の特徴を示す特徴情報との整合確認を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記第１の辞書は、前記第２の辞書とは独立して更新されるものであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 更新が可能に構成され、被写体の名称に係る情報と当該被写体の特徴を示す特徴情報とを関連付けた第１の辞書を記憶する第１の記憶手段と、記録媒体に記録されている画像ファイルを解析して得られた第１の解析情報と、前記第１の辞書に含まれる前記被写体の名称に係る情報および前記被写体の特徴を示す特徴情報のうちの少なくともいずれかの情報を被写体ごとに識別子を付した第２の辞書と、前記画像ファイルに関する情報であって当該画像ファイルに存在する被写体に関する情報を前記識別子と関連付けたファイル情報とを含むデータベースを記憶する第２の記憶手段とを備える画像処理装置の制御方法であって、
    前記記録媒体に現時点で記録されている画像ファイルを解析して得られた第２の解析情報と、前記第１の解析情報との整合確認を行う第１の整合確認ステップと、
    前記第２の辞書における情報と、当該情報に対応する前記第１の辞書における情報との整合確認を行う第２の整合確認ステップと、
    前記データベースを検索する可能性がある所定の動作状態の時に、前記第１の整合確認ステップまたは前記第２の整合確認ステップで不整合が確認された場合に、前記データベースを再構築する再構築ステップと
    を有することを特徴とする画像処理装置の制御方法。
11. 前記所定の動作状態の時とは、前記画像処理装置の電源が投入された時、前記記録媒体に記録されている画像ファイルを再生する再生モードが起動された時、当該再生モードに移行した時、または、前記データベースの検索を実行する指示がなされた時のいずれかであることを特徴とする請求項１０に記載の画像処理装置の制御方法。
12. 前記第２の整合確認ステップで整合が確認された場合、または、前記第２の整合確認ステップで不整合が確認された場合であって前記再構築ステップによって前記データベースが再構築された場合に、検索する被写体に対応する前記識別子を検索条件に設定して、前記データベースを検索する検索ステップを更に有することを特徴とする請求項１０または１１に記載の画像処理装置の制御方法。
13. 前記検索ステップは、前記第１の辞書に含まれる前記被写体の名称に係る情報の中から選択された被写体の名称に係る情報に基づいて、前記データベースを検索することを特徴とする請求項１２に記載の画像処理装置の制御方法。
14. 前記第１の整合確認ステップで整合が確認された場合、または、前記第１の整合確認ステップで不整合が確認された場合であって前記再構築ステップによって前記データベースが再構築された場合に、前記記録媒体に記録されている画像ファイルのうち、前記記録媒体に最後に記録された画像ファイルに基づく画像を表示する表示ステップを更に有することを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理装置の制御方法。
15. 前記被写体の特徴を示す特徴情報は、当該被写体の顔の特徴を示す特徴情報であることを特徴とする請求項１０乃至１４のいずれか１項に記載の画像処理装置の制御方法。
16. 前記第２の辞書は、前記第１の辞書に含まれる前記被写体の名称に係る情報が被写体ごとに前記識別子としてＩＤが付されて構成されており、
    前記ファイル情報は、前記画像ファイルに存在する被写体に関する情報が前記ＩＤと関連付けられて構成されており、
    前記第２の整合確認ステップは、前記第２の辞書における前記被写体の名称に係る情報と、前記第１の辞書における前記被写体の名称に係る情報との整合確認を行うことを特徴とする請求項１０乃至１５のいずれか１項に記載の画像処理装置の制御方法。
17. 前記第２の辞書は、前記第１の辞書に含まれる前記被写体の特徴を示す特徴情報が被写体ごとに前記識別子としてＩＤが付されて構成されており、
    前記ファイル情報は、前記画像ファイルに存在する被写体に関する情報が前記ＩＤと関連付けられて構成されており、
    前記第２の整合確認ステップは、前記第２の辞書における前記被写体の特徴を示す特徴情報と、前記第１の辞書における前記被写体の特徴を示す特徴情報との整合確認を行うことを特徴とする請求項１０乃至１５のいずれか１項に記載の画像処理装置の制御方法。
18. 前記第１の辞書は、前記第２の辞書とは独立して更新されるものであることを特徴とする請求項１０乃至１７のいずれか１項に記載の画像処理装置の制御方法。

Images