JP2006067357A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 動画像から所望のサムネイルを自動的かつ確実に作成することのできる画像処理装置及び画像処理方法を得る。
【解決手段】 サムネイルとしたい画像の特徴を示す特徴データ（辞書４８Ａ）を予めメモリ４８によって記憶しておき、ＣＰＵ４０により、処理対象とする動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出し、検出した静止画像を示すサムネイルを作成する。
【選択図】 図２

Description

本発明は、画像処理装置及び画像処理方法に係り、特に、動画像を示す動画像データからサムネイルを作成する画像処理装置及び画像処理方法に関する。

近年、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の撮像素子の高解像度化に伴い、デジタルカメラの需要が急増している。

ところで、この種のデジタルカメラでは、従来は主として静止画像の撮影機能のみが搭載されたものが主流であったが、動画像の撮影への要求が高まり、動画像の撮影機能を備えた機種も多数製品化されている。

一方、動画像の撮影機能を有するデジタルカメラでは、当該機能による撮影によって得られた動画像を示す画像データは電子化ファイルとして記録されるが、当該電子化ファイルに記録されている動画像の撮影対象をユーザに対して明示するため、当該動画像の先頭の１画像をサムネイル（Thumbnail）として表示することが一般的であった。

しかしながら、この場合、動画像における先頭画像が当該動画像の撮影対象を示すものとは限らず、必ずしもその役割を果たすことができるとは限らなかった。

この問題を解決するために適用できる技術として、従来、与えられた動画像信号からシーンチェンジを検出し、検出した各シーンに対して重要度を算出して、ユーザによって指定されたシーン数だけ重要度が高い順に代表シーンをサムネイルとして抽出する技術があった（例えば、特許文献１参照。）。

また、ビデオ記録媒体からインデックスプリントを作成する際に、音声認識、テロップ認識等によりシーンチェンジの検出処理を行い、キーワード、サムネイルを生成する技術もあった（例えば、特許文献２参照。）。

更に、動画像記録再生装置にインデックス挿入ボタンを設け、撮影者による当該ボタンの操作によって動画像の録画中における所望のタイミングでインデックスを挿入しておき、当該インデックスの位置のフレームをサムネイルとする技術もあった（例えば、特許文献３参照。）。
特開２００１−５４０５５公報 特開２００２−１８３２８８公報 特開２００３−３３３４８７公報

しかしながら、上記の指定されたシーン数だけ重要度が高い順に代表シーンをサムネイルとして抽出する技術や、音声認識、テロップ認識等によりシーンチェンジの検出処理を行ってキーワード、サムネイルを生成する技術では、途中でシーンチェンジが行われる動画像が前提とされているため、シーンチェンジのない動画像には適用することができない、という問題点があった。

また、これらの技術では、シーンチェンジされた際の画像がサムネイルとされるため、当該画像が動画像の撮影対象を示すものとは限らない場合が多く、必ずしもその役割を果たすことができるとは限らない、という問題点もあった。

更に、上記の動画像の撮影中にインデックスを挿入する技術では、撮影者が撮影中にインデックス挿入ボタンを操作する必要があり、利便性が低い、という問題点があった。

本発明は上記問題点を解消するためになされたものであり、動画像から所望のサムネイルを自動的かつ確実に作成することのできる画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために、請求項１記載の画像処理装置は、動画像を示す動画像データからサムネイルを作成する画像処理装置であって、サムネイルとしたい画像の特徴を示す特徴データを予め記憶した記憶手段と、前記動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出する検出手段と、前記検出手段によって検出された静止画像を示すサムネイルを作成する作成手段と、を備えている。

請求項１に記載の画像処理装置によれば、サムネイルとしたい画像の特徴を示す特徴データが記憶手段によって予め記憶される。なお、上記記憶手段には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュＥＥＰＲＯＭ（Flash EEPROM）等の半導体記憶素子、スマート・メディア（SmartMedia（登録商標））、ｘＤピクチャーカード（xD-Picture Card）、コンパクト・フラッシュ（CompactFlash）、ＡＴＡ（AT Attachment）カード、マイクロドライブ、フロッピィディスク、ＣＤ−Ｒ（Compact Disc-Recordable）、ＣＤ−ＲＷ（Compact Disc-ReWritable）、光磁気ディスク等の可搬記録媒体やハードディスク等の固定記録媒体、或いはネットワークに接続されたサーバ・コンピュータ等に設けられた外部記憶装置が含まれる。また、上記特徴データには、前記サムネイルとしたい画像を示す画像データ自身や、当該画像を横方向及び縦方向に複数領域に分割した場合の各分割領域毎の代表的な色データ、濃淡データ、形状データの他、当該分割を行わない状態でのサムネイルとしたい画像の代表的な色データ、形状データ等が含まれる。

ここで、本発明では、処理対象とする動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものが検出手段によって検出され、当該検出された静止画像を示すサムネイルが作成手段によって作成される。なお、上記類似の度合いの導出形態には、テンプレート・マッチング等の従来既知のパターン・マッチング等によって導出する形態が含まれる。

このように、請求項１に記載の画像処理装置によれば、サムネイルとしたい画像の特徴を示す特徴データを予め記憶手段により記憶しておき、処理対象とする動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出し、検出した静止画像を示すサムネイルを作成しているので、動画像から所望のサムネイルを自動的かつ確実に作成することができる。

なお、本発明は、請求項２に記載の発明のように、前記検出手段は、前記動画像データによって示される動画像を構成する複数の静止画像から前記類似の度合いが最大のものを検出するものとしてもよい。これによって、１つの動画像データからサムネイルとしたい画像に最も類似する１つのサムネイルのみを作成することができるので、サムネイルを記録するための記録容量を最小限に抑えることができると共に、サムネイルの参照時における参照対象数を最小とすることができる。

また、本発明は、請求項３に記載の発明のように、前記検出手段によって検出された静止画像の一部領域を指示するための指示情報を入力する入力手段を更に備え、前記作成手段は、前記指示情報によって指示された一部領域のサムネイルを作成するものとしてもよい。これによって、よりユーザの好みに応じたサムネイルを作成することができる。

一方、上記目的を達成するために、請求項４記載の画像処理方法は、動画像を示す動画像データからサムネイルを作成する画像処理方法であって、サムネイルとしたい画像の特徴を示す特徴データを予め記憶手段により記憶しておき、前記動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出し、検出した静止画像を示すサムネイルを作成するものである。

従って、請求項４に記載の画像処理方法によれば、請求項１に記載の発明と同様に作用するので、請求項１記載の発明と同様に、動画像から所望のサムネイルを自動的かつ確実に作成することができる。

本発明によれば、サムネイルとしたい画像の特徴を示す特徴データを予め記憶手段により記憶しておき、処理対象とする動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出し、検出した静止画像を示すサムネイルを作成しているので、動画像から所望のサムネイルを自動的かつ確実に作成することができる、という効果が得られる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、本発明に係る画像処理装置及び画像処理方法を、静止画像及び動画像の双方の撮影を行う機能を有するデジタルカメラに適用した場合について説明する。

まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の外観上の構成を説明する。

デジタルカメラ１０の正面には、被写体像を結像させるためのレンズ２１と、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、撮影する被写体の構図を決定するために用いられるファインダ２０と、が備えられている。また、デジタルカメラ１０の上面には、撮影を実行する際に押圧操作されるレリーズスイッチ（所謂シャッター）５６Ａと、電源スイッチ５６Ｂと、モード切替スイッチ５６Ｃと、が備えられている。

なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチ５６Ａは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。

そして、デジタルカメラ１０では、レリーズスイッチ５６Ａを半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ（Auto Focus、自動合焦）機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。

また、モード切替スイッチ５６Ｃは、静止画像の撮影を行うモードである静止画撮影モード、動画像の撮影を行うモードである動画撮影モード、及び被写体像を後述するＬＣＤ３８に再生するモードである再生モードの何れかのモードに設定する際に回転操作される。

一方、デジタルカメラ１０の背面には、前述のファインダ２０の接眼部と、撮影された被写体像やメニュー画面等を表示するための液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、十字カーソルスイッチ５６Ｄと、が備えられている。なお、十字カーソルスイッチ５６Ｄは、ＬＣＤ３８の表示領域における上・下・左・右の４方向の移動方向を示す４つの矢印キーを含んで構成されている。

更に、デジタルカメラ１０の背面には、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチと、それまでの操作内容を確定するときに押圧操作される決定スイッチと、直前の操作内容をキャンセルするときに押圧操作されるキャンセルスイッチと、ストロボ４４の発光状態を設定するときに押圧操作されるストロボスイッチと、マクロ撮影を行うときに押圧操作されるマクロ撮影スイッチと、が備えられている。

次に、図２を参照して、本実施の形態に係るデジタルカメラ１０の電気系の主要構成を説明する。

デジタルカメラ１０は、前述のレンズ２１を含んで構成された光学ユニット２２と、レンズ２１の光軸後方に配設された電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。

また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。

ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

一方、デジタルカメラ１０は、被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、後述する辞書４８Ａや撮影により得られたデジタル画像データ等を記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。

更に、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路５４と、を含んで構成されている。

なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてフラッシュ・メモリ（Flash Memory）が用いられ、メモリカード５２としてスマートメディア（Smart Media（登録商標））が用いられている。

デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８及びメモリカード５２へのメモリインタフェース４６及び外部メモリインタフェース５０を介したアクセスを各々行うことができる。

一方、デジタルカメラ１０には、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。

更に、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。

すなわち、本実施の形態に係るレンズ２１は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。

更に、前述のレリーズスイッチ５６Ａ、電源スイッチ５６Ｂ、モード切替スイッチ５６Ｃ、十字カーソルスイッチ５６Ｄ、メニュースイッチ等の各種スイッチ（同図では、「操作部５６」と総称。）はＣＰＵ４０に接続されており、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握できる。

また、デジタルカメラ１０には、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２が備えられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

次に、本実施の形態に係るデジタルカメラ１０の撮影時における全体的な動作について簡単に説明する。

まず、ＣＣＤ２４は、光学ユニット２２を介した撮像を行い、被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）毎のアナログ信号をアナログ信号処理部２６に順次出力する。アナログ信号処理部２６は、ＣＣＤ２４から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にＡＤＣ２８に順次出力する。

ＡＤＣ２８は、アナログ信号処理部２６から入力されたＲ、Ｇ、Ｂ毎のアナログ信号を各々１２ビットのＲ、Ｇ、Ｂの信号（デジタル画像データ）に変換してデジタル信号処理部３０に順次出力する。デジタル信号処理部３０は、内蔵しているラインバッファにＡＤＣ２８から順次入力されるデジタル画像データを蓄積して一旦メモリ４８の所定領域に直接格納する。

メモリ４８の所定領域に格納されたデジタル画像データは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理及びシャープネス処理を行なって８ビットのデジタル画像データを生成する。

そして、デジタル信号処理部３０は、生成した８ビットのデジタル画像データに対しＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をメモリ４８の上記所定領域とは異なる領域に格納する。

なお、ＬＣＤ３８は、ＣＣＤ２４による連続的な撮像によって得られた動画像（スルー画像）を表示してファインダとして使用することができるものとして構成されており、ＬＣＤ３８をファインダとして使用する場合には、生成したＹＣ信号を、ＬＣＤインタフェース３６を介して順次ＬＣＤ３８に出力する。これによってＬＣＤ３８にスルー画像が表示されることになる。

ここで、静止画撮影モードが設定されている場合、レリーズスイッチ５６Ａがユーザによって半押し状態とされたタイミングで前述のようにＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態とされたタイミングで、その時点でメモリ４８に格納されているＹＣ信号を、圧縮・伸張処理回路５４によって所定の圧縮形式（本実施の形態では、ＪＰＥＧ形式）で圧縮した後に外部メモリインタフェース５０を介してメモリカード５２に電子化ファイルとして記録する。

一方、動画撮影モードが設定されている場合には、レリーズスイッチ５６Ａが全押し状態とされたタイミングで、その時点からメモリ４８に格納されるＹＣ信号を、所定期間毎に時系列で圧縮・伸張処理回路５４により所定の圧縮形式（本実施の形態では、Ｍｏｔｉｏｎ ＪＰＥＧ形式）で圧縮した後に外部メモリインタフェース５０を介してメモリカード５２に順次記録していき、再度レリーズスイッチ５６Ａが全押し状態とされたタイミングで、当該記録動作を終了する。この動作により、動画像を示す動画像データが電子化ファイルとしてメモリカード５２に記録されることになる。

ところで、本実施の形態に係るデジタルカメラ１０には、メモリカード５２に記録されている動画像の電子化ファイルから自動的にサムネイルを作成するサムネイル作成機能が搭載されており、当該機能はメニュースイッチを押圧操作することによってＬＣＤ３８に表示されるメニュー画面上で実行を指示することができる。

本実施の形態に係るサムネイル作成機能では、サムネイルとしたい画像の特徴を示す特徴データをメモリ４８に予め記憶しておき、サムネイルの作成対象とする動画像データによって示される動画像を構成する複数の静止画像から、上記サムネイルとしたい画像との間の上記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出し、検出した静止画像をサムネイルとするようにしている。

なお、本実施の形態に係るデジタルカメラ１０では、上記類似の度合いを、サムネイルの作成対象とする動画像データによって示される動画像を構成する複数の静止画像と、サムネイルとしたい画像との間の上記特徴データに関するパターン・マッチングによって導出するものとしており、上記特徴データとして、当該サムネイルとしたい画像の特徴を示すデータを辞書４８Ａとしてメモリ４８の所定領域に予め記憶する。ここで、サムネイルとしたい画像としては、サムネイルとしたい人の顔が含まれる画像、サムネイルとしたい景色を示す画像等を例示することができる。本実施の形態に係るデジタルカメラ１０は、この辞書４８Ａのメモリ４８への記憶も、メニュースイッチを押圧操作することによってＬＣＤ３８に表示されるメニュー画面に対する操作によって行うことができるものとして構成されている。

なお、上記パターン・マッチングの手法としては、特開平５−１５９０６３号公報、特開平５−１７４１４９号公報、特開２００３−２０８６１７公報等に記載されている手法等の、画像間の類似の度合いを示す値を導出することのできる従来既知のあらゆる手法を適用することができる。本実施の形態に係るデジタルカメラ１０では、上記パターン・マッチングの手法として特開平５−１５９０６３号公報に記載の技術を適用する。

ここで、特開平５−１５９０６３号公報に記載の技術は、検索対象画像をＭ×Ｎ個のブロックに分割し、各ブロックの濃淡又はカラーの代表値を算出（モザイク化）し、辞書データとして記憶しておき、原画像（未知の自然画像）をＰ×Ｑ個のブロックに分割して各ブロックの代表値を算出し（モザイク化）、Ｐ×Ｑ個のブロックから取り出したＭ×Ｎ個のブロックの代表値群と辞書データが表す代表値群との距離を算出することを、Ｍ×Ｎ個のブロックの取り出し位置を順次変更しながら繰り返すことで距離の最小値を求め、距離の最小値を閾値と比較することで検索対象の画像が存在するか否かを判断するものである。

この技術を本実施の形態に係るサムネイル作成機能において類似の度合いを導出する技術として適用する場合、上記距離が大きくなるほど小さくなる値を上記類似の度合いとして適用する。また、この場合、上記検索対象画像が上記サムネイルとしたい画像に、上記原画像がサムネイルの作成対象とする動画像データによって示される動画像を構成する複数の静止画像に、各々相当する。

なお、本実施の形態に係るデジタルカメラ１０では、上記サムネイルとしたい画像として複数の画像を適用することができ、当該複数の画像について、各々の特徴を示す特徴データを辞書４８Ａとして登録することができる。

次に、図３を参照して、サムネイル作成機能を実行する際のデジタルカメラ１０の作用を説明する。なお、図３は、メニュースイッチを押圧操作することによってＬＣＤ３８に表示されるメニュー画面上でサムネイル作成機能の実行が指示された際にデジタルカメラ１０のＣＰＵ４０によって実行されるサムネイル作成処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ４８の所定領域に予め記憶されている。また、ここでは、ユーザによってサムネイルにしたい画像に対応する辞書４８Ａがメモリ４８に作成済みである場合について説明する。更に、ここでは、ユーザによってサムネイルの作成対象とする動画像の電子化ファイルが指定されている場合について説明する。

同図のステップ１００ではユーザによって指定されている電子化ファイルから動画像データを読み出し、次のステップ１０２では辞書４８Ａをメモリ４８から読み出す。

次のステップ１０４では、上記ステップ１００において読み出した動画像データによって示される動画像を構成する複数の静止画像（伸張処理後の静止画像）に対し、上記ステップ１０２において読み出した辞書４８Ａにおける何れか１つの登録画像に対応する特徴データとの間の前述した手法によるパターン・マッチングを行う。なお、当該パターン・マッチングを行う際には、上記複数の静止画像の各々と上記登録画像との間で算出される距離の最小値が小さくなるほど大きな値となるように類似度を導出して、対応する静止画像と対応付けてメモリ４８に記憶しておく。

次のステップ１０６では、上記ステップ１０４の処理によってメモリ４８に記憶された各静止画像毎の類似度に所定閾値以上であるものが存在するか否かを判定し、肯定判定となった場合はステップ１０８に移行する。なお、本実施の形態では、上記所定閾値として、デジタルカメラ１０実機による実験やデジタルカメラ１０の設計仕様に基づくコンピュータ・シミュレーション等によって、パターン・マッチングの対象となる２つの画像が視覚的に似ていると判断される可能性が高い類似度の最小値として統計的に得られた値を固定的に適用しているが、これに限定されず、デジタルカメラ１０を当該閾値が適宜設定することができるように構成しておき、サムネイルの用途や類似度の導出精度等に応じてユーザにより設定する形態とすることもできる。

ステップ１０８では、上記ステップ１０６において類似度が所定閾値以上であると判定された全ての静止画像に対するサムネイルを作成して、処理対象とする電子化ファイルと関連付けてメモリカード５２の所定領域に電子化ファイルとして記憶し、その後にステップ１１０に移行する。なお、上記サムネイルの電子化ファイルと動画像の電子化ファイルとの関連付けは、各電子化ファイルのファイル名の一部を共通化することや、関連付けする２つの電子化ファイルの各々のファイル名を対応付けるテーブル情報を別ファイルとして記憶しておくこと等によって実現することができる。

なお、上記ステップ１０６において否定判定となった場合は、上記ステップ１０８の処理を実行することなく、ステップ１１０に移行する。

ステップ１１０では、辞書４８Ａへの全ての登録画像について上記ステップ１０４〜ステップ１０８の処理が終了したか否かを判定し、否定判定となった場合は上記ステップ１０４に戻り、肯定判定となった時点でステップ１１２に移行する。

なお、上記ステップ１０４〜ステップ１１０の処理を繰り返し実行する際に、上記ステップ１０４では、それまでに適用しなかった登録画像に対応する特徴データを適用してパターン・マッチングを行う。

ステップ１１２では、作成したサムネイルに対するトリミングを行うための後述するトリミング処理プログラムを実行し、その後に本サムネイル作成処理プログラムを終了する。

本サムネイル作成処理プログラムにより、一例として図４に模式的に示されるように、ユーザによって予め辞書４８Ａに登録した所望の画像に類似する画像のサムネイルが作成されて電子化ファイルとして記憶される。従って、これ以降、当該電子化ファイルを読み出すことにより、これに対応する動画像の電子化ファイルに対するサムネイルの表示や印刷等を適宜行うことができる。

次に、図５を参照して、本実施の形態に係るトリミング処理プログラムについて説明する。なお、図５は、当該トリミング処理プログラムの処理の流れを示すフローチャートであり、当該プログラムもメモリ４８の所定領域に予め記憶されている。

まず、ステップ２００では、予め定められたトリミング設定画面をＬＣＤ３８に表示し、次のステップ２０２にて、所定情報の入力待ちを行う。

図６には、本実施の形態に係るトリミング設定画面の表示状態が示されている。同図に示すように、本実施の形態に係るトリミング設定画面では、サムネイルに対するトリミングを行うか否かの判定を促すメッセージが表示されると共に、「はい」ボタンと「いいえ」ボタンが表示される。これに応じて、ユーザは、サムネイルに対するトリミングを行う場合は「はい」ボタンを、当該トリミングを行わない場合は「いいえ」ボタンを、十字カーソルスイッチ５６Ｄによる操作によって指定する。これに応じて上記ステップ２０２が肯定判定となってステップ２０４に移行する。

ステップ２０４では、上記ステップ２０２において入力された情報が「はい」ボタンが指定されたことを示す情報であったか否かを判定することにより、サムネイルに対するトリミングを行うか否かを判定し、肯定判定となった場合はステップ２０６に移行する。

ステップ２０６では、予め定められたサムネイル編集画面をＬＣＤ３８に表示し、次のステップ２０８では、ユーザによるトリミング作業の終了待ちを行う。

図７には、本実施の形態に係るサムネイル編集画面の表示状態が示されている。同図に示すように、本実施の形態に係るサムネイル編集画面では、サムネイル作成処理プログラムの以上までの処理によって作成されたサムネイルの何れか１つが表示されると共に、トリミング領域の設定を行った後に「終了」ボタンの指定を行うことを指示するメッセージ、「終了」ボタン、及びトリミング枠６０が表示される。これに応じて、ユーザは、十字カーソルスイッチ５６Ｄによる操作によって、トリミング枠６０をトリミングしたい領域を囲むように位置やサイズを変更し、その後に「終了」ボタンを指定する。これに応じて、上記ステップ２０８が肯定判定となってステップ２１０に移行する。

ステップ２１０では、ユーザによって設定されたトリミング枠６０のアスペクト比が撮影画像のアスペクト比と同一となっているか否かを判定し、否定判定となった場合はステップ２１２に移行する。

ステップ２１２では、予め定められたアスペクト比設定画面をＬＣＤ３８に表示し、次のステップ２１４にて、所定情報の入力待ちを行う。

図８には、本実施の形態に係るアスペクト比設定画面の表示状態が示されている。同図に示すように、本実施の形態に係るアスペクト比設定画面では、サムネイルのアスペクト比を撮影画像と同一にするか否かの判定を促すメッセージが表示されると共に、「はい」ボタンと「いいえ」ボタンが表示される。これに応じて、ユーザは、サムネイルのアスペクト比を撮影画像と同一にする場合は「はい」ボタンを、同一にしない場合は「いいえ」ボタンを、十字カーソルスイッチ５６Ｄによる操作によって指定する。これに応じて上記ステップ２１４が肯定判定となってステップ２１６に移行する。

ステップ２１６では、上記ステップ２１４において入力された情報が「はい」ボタンが指定されたことを示す情報であったか否かを判定することにより、サムネイルのアスペクト比を撮影画像と同一にするか否かを判定し、肯定判定となった場合はステップ２１８に移行する。

ステップ２１８では、ユーザによってサムネイル編集画面上でトリミングされたサムネイルのアスペクト比を撮影画像と同一とするように、サムネイルのトリミング範囲を変更することによってトリミングされたサムネイルのリサイズを行い、その後にステップ２２０に移行する。

なお、上記ステップ２１６において否定判定となった場合は、上記ステップ２１８の処理を実行することなく、ステップ２２０に移行する。また、上記ステップ２１０において肯定判定となった場合には、上記ステップ２１２〜ステップ２１８の処理を実行することなく、ステップ２２０に移行する。

ステップ２２０では、以上の処理によって決定したトリミング画像を上記ステップ２０６の処理によってサムネイル編集画面にて表示したサムネイルに対して上書きすることによって当該サムネイルをトリミング画像に更新し、その後にステップ２２２に移行する。

ステップ２２２では、上記ステップ２０６〜ステップ２２０の処理がサムネイル作成処理プログラムによって作成された全てのサムネイルについて終了したか否かを判定し、否定判定となった場合は上記ステップ２０６に戻り、肯定判定となった時点で本トリミング処理プログラムを終了する。

一方、上記ステップ２０４において否定判定となった場合は、上記ステップ２０６〜ステップ２２２の処理を実行することなく、本トリミング処理プログラムを終了する。

本トリミング処理プログラムにより、一例として図９に示されるように、サムネイル作成処理プログラムによって作成されたサムネイル（図７参照。）から、更にサムネイルとしたい一部領域のみをトリミングして新たなサムネイルとすることができ、よりユーザの好みに応じたサムネイルを作成することができる。特に、サムネイルは通常の撮影画像よりも小さな画像であるため、撮影画像における主要被写体の専有面積が小さな場合や、主要被写体が何れであるのかが紛らわしい場合等に有効である。

以上詳細に説明したように、本実施の形態では、サムネイルとしたい画像の特徴を示す特徴データ（辞書４８Ａ）を予め記憶手段（メモリ４８）により記憶しておき、処理対象とする動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出し、検出した静止画像を示すサムネイルを作成しているので、動画像から所望のサムネイルを自動的かつ確実に作成することができる。

また、本実施の形態では、検出した静止画像の一部領域を指示するための指示情報（十字カーソルスイッチ５６Ｄの操作によるトリミング枠６０の位置やサイズの変更を指示する情報）を入力可能とし、当該指示情報によって指示された一部領域のサムネイルを作成するものとしているので、よりユーザの好みに応じたサムネイルを作成することができる。

なお、本実施の形態では、類似度が所定閾値以上である全ての静止画像をサムネイルとして記録する場合について説明したが、本発明はこれに限定されるものではなく、例えば、類似度が登録画像毎に最大である静止画像のみをサムネイルとして記録する形態とすることもできる。

図１０には、この場合のサムネイル作成処理プログラムの処理の流れの一例が示されている。なお、同図における図３と同一の処理を行うステップについては図３と同一のステップ番号が付してある。同図に示す例では、図３におけるステップ１０６の処理が削除されると共に、ステップ１０８の処理に代えて、ステップ１０４の処理によってメモリ４８に記憶された類似度における最大の類似度に対応する静止画像に対するサムネイルを作成して、処理対象とする電子化ファイルと関連付けてメモリカード５２の所定領域に電子化ファイルとして記憶するものとされたステップ１０８Ｂが適用されている。

この場合、登録画像毎に最も類似する１枚の静止画像のみをサムネイルとすることができるので、サムネイルを記録するための記録容量を最小限に抑えることができると共に、サムネイルの参照時における参照対象数を最小とすることができる。

また、本実施の形態では、本発明の特徴データとして、サムネイルとしたい画像の特徴を示す辞書を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、サムネイルとしたい画像を人が写っている画像であるものとし、人の一部又は全部の形状を示す情報、肌の色を示す情報、移動速度を示す情報の少なくとも１つの情報を上記特徴データとして予め記憶しておき、当該特徴データに類似する特徴を有する静止画像をサムネイル作成の対象として検出する形態とすることもできる。この場合も、本実施の形態と同様の効果を奏することができる。

また、本実施の形態では、動画像の圧縮形式としてＭｏｔｉｏｎ ＪＰＥＧ形式を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＭＰＥＧ形式を適用する形態とすることもできる。この場合も、本実施の形態と同様の効果を奏することができる。

また、本実施の形態では、サムネイルの電子化ファイルを、対応する動画像の電子化ファイルとは別体として構成した場合について説明したが、本発明はこれに限定されるものではなく、例えば、サムネイルを示す情報を、対応する動画像の電子化ファイルのヘッダ部分等の一部に格納することによって当該電子化ファイルと一体的に構成する形態とすることもできる。この場合、サムネイルの管理を簡易化することができ、利便性を向上させることができる。

また、本実施の形態では、辞書４８Ａをメモリ４８に記憶する場合について説明したが、本発明はこれに限定されるものではなく、例えば、メモリカード５２に記憶する形態とすることもできる。この場合も、本実施の形態と同様の効果を奏することができる。

その他、本実施の形態に係るデジタルカメラ１０の構成（図１、図２参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、本実施の形態において説明した各種処理プログラムの処理の流れ（図３、図５参照。）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

例えば、図５に示すトリミング処理プログラムにおいて行われるサムネイルのリサイズに関する処理（ステップ２１０〜ステップ２１８の処理）は必ずしも必要ではなく、削除することもできる。

更に、本実施の形態では、本発明をデジタルカメラに適用した場合について説明したが、本発明は、ＰＤＡ（Personal Digital Assistant、携帯情報端末）、携帯電話器、パーソナル・コンピュータ等、動画像を示す動画像データを記憶することのできる画像処理装置であれば如何なるものでも適用できることは言うまでもない。

実施の形態に係るデジタルカメラ１０の外観を示す外観図である。 実施の形態に係るデジタルカメラ１０の電気系の主要構成を示すブロック図である。 実施の形態に係るサムネイル作成処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係るサムネイル作成処理プログラムにより作成されたサムネイルを示す模式図である。 実施の形態に係るトリミング処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係るトリミング設定画面の表示状態を示す概略図である。 実施の形態に係るサムネイル編集画面の表示状態を示す概略図である。 実施の形態に係るアスペクト比設定画面の表示状態を示す概略図である。 実施の形態に係るトリミング処理プログラムによってトリミングされたサムネイルを示す概略図である。 実施の形態に係るサムネイル作成処理プログラムの変形例の処理の流れを示すフローチャートである。

符号の説明

１０ デジタルカメラ
４０ ＣＰＵ（検出手段、作成手段）
４８ メモリ（記憶手段）
５６Ｄ 十字カーソルスイッチ（入力手段）

Claims (4)

1. 動画像を示す動画像データからサムネイルを作成する画像処理装置であって、
   サムネイルとしたい画像の特徴を示す特徴データを予め記憶した記憶手段と、
   前記動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出する検出手段と、
   前記検出手段によって検出された静止画像を示すサムネイルを作成する作成手段と、
   を備えた画像処理装置。
2. 前記検出手段は、前記動画像データによって示される動画像を構成する複数の静止画像から前記類似の度合いが最大のものを検出する
   請求項１記載の画像処理装置。
3. 前記検出手段によって検出された静止画像の一部領域を指示するための指示情報を入力する入力手段を更に備え、
   前記作成手段は、前記指示情報によって指示された一部領域のサムネイルを作成する
   請求項１又は請求項２記載の画像処理装置。
4. 動画像を示す動画像データからサムネイルを作成する画像処理方法であって、
   サムネイルとしたい画像の特徴を示す特徴データを予め記憶手段により記憶しておき、
   前記動画像データによって示される動画像を構成する複数の静止画像から前記特徴データにより示される特徴に対する類似の度合いが所定度合い以上であるものを検出し、
   検出した静止画像を示すサムネイルを作成する、
   画像処理方法。

Images