JP2005109789A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】 動画像データに対応する適切なサムネイルを自動的に選択することである。
【解決手段】画像処理装置としてのデジタルカメラ１において動画を撮影するにあたり、動画撮影中にリアルタイムに、又は動画撮影後に、動画撮影とともに生成されるサムネイルのうち、各サムネイル中の適切な画質のサムネイルを選択し、その選択されたサムネイルが、内部の記憶部としてのフラッシュメモリに、撮影された動画像データに対応付けられて記憶される。
【選択図】 図１

Description

本発明は、画像データを処理する画像処理装置及び画像処理プログラムに関する。

従来、デジタル動画像を撮影するデジタルムービーカメラなどの画像撮影装置があった。また近年、デジタル静止画像を撮影するデジタルスチルカメラにも、動画撮影機能を有するものが販売されている。

動画撮影において、撮影された動画像データとともに、その動画像データの内容を一目で把握するための縮小画像としてのサムネイルが、メモリカードなどの記録媒体に記憶される。サムネイルは、例えば、動画像データの撮影開始後の最初の１フレームや、動画像データの撮影開始後から所定時間経過後の１フレームや、ユーザの選択入力したフレームが用いられる。

また、１つの動画像データに１つのサムネイルが対応する構成だけでなく、１つの動画像データに複数のサムネイルが対応する構成も考えられている。例えば、撮影後の動画データの再生において任意の撮影時刻の頭出しなどを容易に行うために、動画データの撮影中は所定時刻経過ごとにその瞬間のフレームからサムネイル画像データが作成されその動画像データに付加される。このように、サムネイルが自動的に付与される構成では、作成されたサムネイルが適切でない場合がある。

また、アナウンサーが複数のニュースを読み上げる動画などのように画像自体に変化が少なく、その画像中の字幕が次々に変化する場合、動画像データに字幕があるフレームを代表画像とする代表画像抽出装置が考えられている（例えば、特許文献１参照）。
特開平８−２１２２３１号公報

しかし、特許文献１に記載の代表画像抽出装置では、字幕のない動画撮影には適用できない。また、従来のサムネイル自動生成方式では、例えば、動画の輝度値に関して、真っ白、真っ黒、露出過多又は露出不足のサムネイルが抽出されるおそれがあった。また、従来のユーザの選択入力によるサムネイル選択方式では、明らかにサムネイルとして不適切な画像もいちいちチェックせねばならず、ユーザの操作入力作業が煩わしくなるおそれがあった。

本発明の目的は、動画像データに対応する適切なサムネイルを自動的に選択することである。

以上の課題を解決するために、請求項１に記載の発明は、撮影された動画像データからサムネイルを作成する画像処理装置において、
前記撮影された動画像データからサムネイルを作成するサムネイル作成部と、
前記作成されたサムネイルを画像解析し、当該画像解析の解析結果に基づいて適切な画質のサムネイルを抽出するサムネイル抽出部と、
前記抽出されたサムネイルから実際に用いるサムネイルを決定し、当該決定されたサムネイルを前記動画像データに対応付けるサムネイル決定部と、を備えることを特徴とする。

請求項９に記載の発明は、コンピュータに、
撮影された動画像データからサムネイルを作成する機能と、
前記作成されたサムネイルを画像解析し、その画像解析結果に基づいて適切な画質のサムネイルを抽出する機能と、
前記抽出されたサムネイルから実際に用いるサムネイルを決定し、当該決定されたサムネイルを前記動画像データに対応付ける機能と、
を実現させるための画像処理プログラムである。

本発明によれば、撮影された動画像データからサムネイルを作成し、当該作成されたサムネイルから画像解析結果に基づいて適切な画質のサムネイルを抽出し、当該抽出されたサムネイルから実際に用いるサムネイルを決定して前記動画像データに対応付けるので、動画像データに対応する適切な画質のサムネイルを選択して決定できる。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
動画像データを記憶する記憶部を備え、
前記サムネイル決定部は、前記決定されたサムネイルを前記動画像データに対応付けて前期記憶部に記憶することを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
被写体を撮影して動画像データを生成する画像撮影部を備え、
前記サムネイル抽出部は、前記画像撮影部による動画像データの撮影とともに、前記画像撮影部によりリアルタイムに作成されたサムネイルに第１の画像解析を行い、当該第１の画像解析の解析結果に基づいて所定の画質のサムネイルを予め抽出し、前記画像撮影部による動画像データの撮影終了後に、前記予め抽出されたサムネイルに第２の画像解析を行い、当該第２の画像解析の解析結果に基づいて適切な画質のサムネイルを抽出することを特徴とする。

請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記第１の画像解析は、処理負担の比較的小さい画像解析であり、
前記第２の画像解析は、処理負担の比較的大きい画像解析であることを特徴とする。

請求項５に記載の発明は、請求項１から４のいずれか一項に記載の画像処理装置において、
操作入力を受け付ける入力部を備え、
前記サムネイル決定部は、前記抽出されたサムネイルから１又は複数のサムネイルが前記入力部を介して選択入力された場合に、当該選択入力されたサムネイルを実際に用いるサムネイルとして決定することを特徴とする。

請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像処理装置において、
前記画像解析は、前記サムネイルの画像データの輝度値分布の解析であることを特徴とする。

請求項７に記載の発明は、請求項１から５のいずれか一項に記載の画像処理装置において、
前記画像解析は、前記サムネイルの画像データの色相成分分布の解析であることを特徴とする。

請求項８に記載の発明は、請求項１から７のいずれか一項に記載の画像処理装置において、
前記画像解析は、画像撮影時のシャッタスピード値及び絞り値のうちの少なくとも１つに基づく前記サムネイルの画像解析を含むことを特徴とする。

本発明によれば、撮影された動画像データからサムネイルを作成し、当該作成されたサムネイルから画像解析結果に基づいて適切な画質のサムネイルを抽出し、当該抽出されたサムネイルから実際に用いるサムネイルを決定して前記動画像データに対応付けるので、動画像データに対応する適切な画質のサムネイルを選択して決定できる。

以下、添付図面を参照して本発明に係る実施の形態を説明する。

先ず、図１及び図２を参照して、本実施の形態の装置構成を説明する。図１に、本実施の形態のデジタルカメラ１の外観を示し、（ａ）に主に前面の構成を示し、（ｂ）に主に背面の構成を示す。図２に、デジタルカメラ１の内部構成を示す。

図１に示すように、画像処理装置としてのデジタルカメラ１は、略矩形のボディ前面に、撮影レンズ２、セルフタイマランプ３、光学ファインダ窓４、及びストロボ発光部５が配設され、上面には電源キー６及びシャッタキー７が配される。また、デジタルカメラ１は、静止画撮影機能に加えて、動画撮影機能を有するものとする。

撮影レンズ２は、単焦点のレンズであり、後述するレンズ光学系２２の駆動手段により光学的に焦点位置などを変更可能であるものとする。
電源キー６は、１回押圧操作する毎に電源をオン／オフするキーであり、シャッタキー７は、撮影モード時にレリーズを指示する一方で、メニュー選択などでは設定／実行を指示するキーとしても機能するものとする。また、シャッタキー７は、動画撮影モード時には、押下により撮影開始を指示し、押下をやめること（開放）により撮影終了を指示するものとする。

また、デジタルカメラ１の背面には、モードスイッチ（ＳＷ）８、メニューキー９、十字キー１０、光学ファインダ１１、ストロボチャージランプ１２及び表示部１３を配する。
モードスイッチ８は、例えばスライドスイッチにより構成され、撮影モード「Ｒ」と再生モード「Ｐ」とを切換える。撮影モードは、静止画撮影モードと動画撮影モードとに分かれ、当該静止画撮影モード及び動画撮影モードはメニューキー９，十字キー１０からのユーザ入力により選択入力される。

メニューキー９は、各種メニュー選択時に操作する。
表示部１３は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてモニタ表示を行なう一方で、再生モード時には選択した画像を再生表示する。

なお、図示はしないがこのボディ下面には蓋付きのメモリカードスロットが設けられ、このデジタルカメラ１の記録媒体であるメモリカードが着脱自在に装着されるものとする。また、図示しないが、外部機器と通信するためのケーブルを接続するためのコネクタのスロットも設けられる。

次いで図２により上記デジタルカメラ１の電子回路構成を説明する。
撮影モードでのモニタリング状態においては、モータ（Ｍ）２１の駆動により焦点距離、絞り位置などが移動される、撮影レンズ２を含むレンズ光学系２２の撮像素子であるＣＣＤ２３が、タイミング発生器（ＴＧ）２４、垂直ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換され、カラープロセス回路２８で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、カラープロセス回路２８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行なう。

制御部３２は、ＣＰＵと、後述する色強調処理を含むＣＰＵで実行される動作プログラムを固定的に記憶したＲＯＭ及びワークメモリとして使用されるＲＡＭなどにより構成され、このデジタルカメラ１全体の制御動作を司るもので、上記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書込む。
デジタルビデオエンコーダ３５は、上記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部１３に出力する。

この表示部１３は、上述した如く撮影モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示することとなる。
このように表示部１３にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、静止画撮影又は動画撮影を行ないたいタイミングで、入力部としてのキー入力部３６を構成するシャッタキー７を操作すると、トリガ信号を発生する。

制御部３２は、静止画撮影モードでは、このトリガ信号に応じてその時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。
この記録保存の状態では、制御部３２がＤＲＡＭ３１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出して圧縮回路３７に書き込み、この圧縮伸長回路３７で、ＪＰＥＧ（Joint Photograph coding Experts Group）方式などにより、ＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化などの処理によりデータ圧縮する。

そして、得た符号データを１画像のデータファイルとして圧縮回路３７から読出し、このデジタルカメラ１の記録媒体として着脱自在に装着されるメモリカード内に封入された、不揮発性メモリであるフラッシュメモリ３８に書込む。さらにフラッシュメモリ３８は別にデジタルカメラ１に内蔵されていてもよい。
そして、１フレーム分の輝度及び色差信号の圧縮処理及びフラッシュメモリ３８への全圧縮データの書込み終了に伴なって、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び有効にする。

動画撮影モードにおいては、制御部３２により、シャッタキー７の押下から開放までの間、所定時間割合で、ＣＣＤ２３からＤＲＡＭ３１へ１フレーム分の輝度及び色差信号が次から次へと書き込まれ、圧縮伸長回路３７で、その輝度及び色差信号が読み出され、ＭＰＥＧ（Motion Picture Experts Group）４などの方式により圧縮されて、フラッシュメモリ３８に記憶される。なお、シャッタキー７とは別に動画撮影指示ボタンを設けて、この動画撮影指示ボタンが押されたら動画撮影を開始し、さらに動画撮影中に再度動画撮影指示ボタンが押されたら動画撮影を終了するといった構成としてもよい。

キー入力部３６は、電源キー６、シャッタキー７、モードスイッチ８、メニューキー９及び十字キー１０から構成され、それらのキー操作に伴なう信号は直接制御部３２へ送出される。
上記再生モード時には、制御部３２がフラッシュメモリ３８に記録されている静止画又は動画の画像データを選択的に読出し、圧縮伸長回路３７で画像撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に展開して記憶させた上で、このＶＲＡＭ３４より定期的に読出し、これらの画像データを元にビデオ信号を発生して表示部１３で再生出力させる。

なお、静止画撮影において、キー入力部３６のシャッタキー７が２段階のストロークで動作し、一般的に「半押し」と表現されている第１段階の操作状態でＡＥ（自動露光）処理やＡＦ（オートフォーカス）処理を始めとする撮影の準備を行い、一般的に「全押し」と表現されている、より強く押圧操作した第２段階の操作状態で撮影を実行するものとする。

また、制御部３２の内部ＲＯＭには、動画撮影プログラムが記憶されているものとする。また、制御部３２は、サムネイル作成部、サムネイル抽出部、サムネイル決定部としての機能を有する。

なお、以上の構成はデジタルカメラにおける代表的な構成例を示したに過ぎず、他の構成を有するものであってもよいことはいうまでもない。例えば、デジタルカメラとしては薄型でなくてもよい。
また、画像撮影装置としては、デジタルカメラに限るものではなく、動画撮影機能を有するデジタルムービーカメラ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistants）などでもよい。
また、動画像データを記録する記録媒体は、フラッシュメモリ及びフラッシュメモリを含むメモリカードだけではなく、ハードディスクやＣＤ−ＲＷ、ＤＶＤ―ＲＡＭなどとしてもよい。また、既に説明した書き込み可能なＣＤ−ＲＷやＤＶＤ−ＲＡＭなどの記録媒体の例の他にも、例えば、Blu-ray Disc（Ｒ）やAOD(Advanced Optical Disc)などの青色レーザを用いた次世代光ディスク記憶媒体、赤色レーザを用いるHD-DVD9、青紫色レーザを用いるBlue Laser DVDなど、今後開発される種々の大容量記憶媒体を用いて本発明を実施することが可能である。

次に、図３〜図８を参照して、デジタルカメラ１の動作を説明する。図３に、動画撮影処理を示す。図４に、動画撮影処理中のリアルタイムサムネイル記憶処理を示す。図５に、第１のリアルタイムサムネイル記憶処理を示す。図６に、第２のリアルタイムサムネイル記憶処理を示す。図７に、輝度に対する画像中の面積割合の分布例を示し、（ａ）に高輝度において面積割合が大きい分布例を示し、（ｂ）に低輝度において面積割合が大きい分布例を示す。図８に、色相成分に対する画像の輝度レベルの分布例を示し、（ａ）に色相成分によらず低輝度レベルの分布例を示し、（ｂ）にばらつきのある輝度レベルの分布例を示す。

図３を参照して、デジタルカメラ１において実行される動画撮影処理を説明する。動画撮影処理は、動画像データを撮影するとともに適切なサムネイルを選択する処理である。デジタルカメラ１において、ユーザ（撮影者）によりキー入力部３６（モードキー８、メニューキー９及び十字キー１０など）により動画撮影モードに設定され動画撮影処理の実行指示が入力されたことをトリガとして、制御部３２は、内部ＲＯＭなどに記憶されている動画撮影プログラムを読み出し適宜内部のＲＡＭのワークエリアに展開して、動画撮影処理を実行する。以下、各ステップの主体は、特に言及しない場合、制御部３２とする。

先ず、ユーザによりシャッタキー７押下により動画撮影が開始されたか否かが判別される（ステップＳ１）。動画撮影が開始されていない場合（ステップＳ１；ＮＯ）、ステップＳ１に戻る。

動画撮影が開始された場合（ステップＳ１；ＹＥＳ）、現在の瞬間の１コマ（１フレーム）の動画が撮影され、１コマの画像データが生成される（ステップＳ２）。そして、ステップＳ２において撮影された１コマの画像データがリアルタイムに画像解析される（ステップＳ３）。ここで、リアルタイムの画像解析とは、動画の撮影と並行して、リアルタイムに実行することができる処理負担の少ない画像解析であり、例えば、表示部１３の液晶表示のＡＦ、ＡＥ、ホワイトバランスを追従するための画像解析である。これらの画像解析は、通常、サムネイルを生成する必要がないような場合においても、動画の撮影と並行してリアルタイムに行われている事が多いため、これらの画像解析の結果を利用してサムネイルの生成・選択を行うことにより、処理の効率化が図れるという利点がある。

そして、ステップＳ２におけるリアルタイムの画像解析の解析結果に基づいて、デジタルカメラ１内のＤＲＡＭ３１に記憶されるログファイルが更新される（ステップＳ４）。ログファイルは、撮影後のパラメータ算出処理（ステップＳ９）に用いるための、各コマのリアルタイムの画像解析の解析結果を格納するファイルである。そして、サムネイル取得のタイミングか否かが判別される（ステップＳ５）。サムネイル取得のタイミングか否は、ステップＳ３の画像解析結果により、例えば、露出が過多であるか否か、露光が不足しているか否か、オートフォーカスが不可であったか否かなどに基づいて、適切なサムネイルの候補としてサムネイルを生成できるか否かが判別される。露出が過多である場合、露光が不足している場合、又はオートフォーカスが不可であった場合は、サムネイル取得のタイミングでないと判別される。

サムネイル取得のタイミングである場合（ステップＳ５；ＹＥＳ）、ステップＳ２において生成された１コマの画像データからサムネイルが作成される（ステップＳ６）。そして、この作成されたサムネイル画像を用いて、以下に述べるようなリアルタイムサムネイル記憶処理が実行される（ステップＳ７）。

ここで、図４を参照して、リアルタイムサムネイル記憶処理を説明する。先ず、リアルタイムのパラメータが算出される（ステップＳ７１）。ここで、リアルタイムのパラメータとは、上述のように、ＡＦ、ＡＥ、ホワイトバランスなどといった、リアルタイムに実行することができる処理負担の少ない画像解析の工程で求められる種々のパラメータをいう。これらのパラメータを求める処理は、通常、サムネイルを生成する必要がないような場合においても、動画の撮影と並行してリアルタイムに実行されている場合が多いことから、次のステップ（ステップＳ７２）における判断処理において活用できるようにすることが効率的である。そして次に、ステップＳ６において作成されたサムネイルが適切なサムネイルの候補として残されるか否かが判別される（ステップＳ７２）。サムネイルとして残す場合（ステップＳ７２；ＹＥＳ）、ステップＳ６において作成されたサムネイル画像データがフラッシュメモリ３８に記憶される（ステップＳ７３）。サムネイルとして残さない場合（ステップＳ７２：ＮＯ）には、サムネイル画像データを記憶せずに、そのままサムネイル記憶処理を終了して次のステップ（ステップＳ８）へ進む。なお、このリアルタイムサムネイル記憶処理の例は、第１及び第２のリアルタイムサムネイル記憶処理として、後で詳述する。

さらに図３に戻って、ユーザによるシャッタキー７の開放入力により動画撮影が終了されたか否かが判別される（ステップＳ８）。動画撮影が終了されていない場合（ステップＳ８；ＮＯ）、ステップＳ２に移行されて、引き続き動画を撮影するループを処理する。一方、ステップＳ５の判断処理に戻って、現在がサムネイル取得のタイミングでない場合（ステップＳ５；ＮＯ）、ステップＳ６とＳ７のサムネイル作成・記憶の処理を行わずに、直ちにステップＳ８に移行される。動画撮影が終了された場合（ステップＳ８；ＹＥＳ）、動画撮影後のパラメータが算出される（ステップＳ９）。また、動画撮影後、動画像データがフラッシュメモリ３８に記憶される。

ここで、動画撮影後のパラメータとは、比較的演算量が多い等の理由により、動画の撮影と並行してパラメータの算出を行うことが困難なパラメータをいう。撮影後のパラメータの算出は、撮影後の処理であるのでステップＳ３のリアルタイムの画像解析処理に比べて演算が複雑で処理負担が大きくても問題がない。撮影後のパラメータの算出は、例えば、ステップＳ４において更新されたログファイルのデータを用いて算出され、このパラメータを用いて、評価関数などを用いた動画像データの評価が算出される。このようなパラメータは、制御部３２の性能や，撮影される画像の画素サイズなどによって変わるため、一概にどのようなパラメータが該当するとはいえないが、例えば、色相成分（光のスペクトラム）の分布などが該当し、また、これを用いた評価としては、例えば、色相が豊かであるか、原色系の鮮やかな絵柄であるかなどのものが考えられ、評価が高いとサムネイルの候補として有望となる。

そして、フラッシュメモリ３８に記憶された１又は複数のサムネイルのうち、ステップＳ９において算出されたパラメータに基づいて、適切なサムネイルでない削除対象のサムネイルがあるか否かが判別される（ステップＳ１０）。削除対象のサムネイルがある場合（ステップＳ１０；ＹＥＳ）、削除対象のサムネイル画像データがフラッシュメモリ３８から削除される。

そして、フラッシュメモリ３８に記憶された１又は複数のサムネイルが表示部１３に一覧表示される（ステップＳ１２）。そして、ユーザからキー入力部３６を介して、一覧表示されているサムネイルのうちの、所望のサムネイルの選択入力が受け付けられる（ステップＳ１３）。そして、ステップＳ１３において選択されたサムネイルのサムネイル画像データが、フラッシュメモリ３８内の動画像データに関連付けられて、フラッシュメモリ３８に記憶され（ステップＳ１４）、画像撮影処理が終了される。

次いで、図５を参照して、図４に示したリアルタイムサムネイル記憶処理の具体例としての第１のリアルタイムサムネイル記憶処理を説明する。第１のリアルタイムサムネイル記憶処理は、ステップＳ６において作成されたサムネイルのうち露出過多又は露出不足でないサムネイルを選択・記憶する処理である。

図５に示すように、先ず、ステップＳ６の実行後、ステップＳ６において作成されたサムネイルの各画素の輝度値が算出される（ステップＳ７４）。そして、算出されたサムネイルの各画素の輝度値の平均値が算出される（ステップＳ７５）。そして、算出された輝度値の平均値が許容範囲内であるか否かが判別される（ステップＳ７６）。例えば、輝度値の平均値が２つの所定の閾値の間にあって許容範囲内であるか否かにより判別される。

輝度値の平均値が許容範囲内である場合（ステップＳ７６；ＹＥＳ）、ステップＳ６において作成されたサムネイルのサムネイル画像データがフラッシュメモリ３８に記憶され（ステップＳ７７）、ステップＳ８に移行される。輝度値の平均値が許容範囲内でない場合（ステップＳ７６；ＮＯ）、ステップＳ８に移行される。これにより、ステップＳ６において作成されたサムネイル画像の輝度値の平均値が、適切な範囲内の値となっていない場合、すなわち、暗すぎたり、明るすぎたりしてしまう画像がサムネイル画像として作成されてしまったような場合であっても、そのような画像をサムネイルとして記憶せずに破棄してしまうことが可能になる。

次いで、図６を参照して、図４に示したリアルタイムサムネイル記憶処理の具体例としての第２のリアルタイムサムネイル記憶処理を説明する。第２のリアルタイムサムネイル記憶処理も、上述の第１のリアルタイムサムネイル記憶処理と同様、ステップＳ６において作成されたサムネイルのうち露出過多又は露出不足でないサムネイルを選択・記憶する処理である。

図６に示すように、先ず、ステップＳ６の実行後、ステップＳ６において作成されたサムネイルの各画素の輝度値が算出される（ステップＳ７８）。そして、算出されたサムネイルの各画素の輝度値が許容範囲内である画素数がカウントされる（ステップＳ７９）。すなわち、図５のステップＳ７６では、輝度値の平均値を求めて判断するのに対し、本図のステップＳ７９では、輝度値の度数分布を用いて判断するようになっている。

そして、カウントされた画素数が所定の閾値以上であるか否かが判別される（ステップＳ８０）。カウントされた画素数が所定の閾値以上である場合（ステップＳ８０；ＹＥＳ）、ステップＳ６において作成されたサムネイルのサムネイル画像データがフラッシュメモリ３８に記憶され（ステップＳ８１）、ステップＳ８に移行される。カウントされた画素数が所定の閾値以上でない場合（ステップＳ８０；ＮＯ）、ステップＳ８に移行される。

第１又は第２のリアルタイムサムネイル記憶処理では、記憶するサムネイルとして露出過多又は露出不足のものを除外する。このように、露出が適正か否かを適切なサムネイル選択の判定条件とする構成に限られるものではない。

例えば、自動設定されるシャッタスピードが適正な範囲であるか否かを適切なサムネイル選択の判定条件としてもよい。デジタルカメラは、動画の追従でも静止画の追従でも、画像が暗すぎる場合にシャッタスピードを遅く開放して明るく保とうと補正し、逆に画像が明るすぎる場合にシャッタスピードを早く開放して暗く保とうと補正する。この明るく又は暗く補正する度合いが強すぎるか否かに基づき、シャッタスピードが適正か否かを適切なサムネイル選択の判定条件としてもよい。つまり、極端に白飛びがあるようなサムネイルや、極端に暗くノイズの多いサムネイルは、その補正量も大きく、適切なサムネイルからは除外される。

また、シャッタスピードと同様に自動設定される絞りが適正か否かを適切なサムネイル選択の判定条件としてもよい。また、輝度値に対する、サムネイル画像に占める面積の分布（輝度値の度数分布）としてのヒストグラムがあまりにも一箇所に固まっているか否かを適切なサムネイル選択の判定条件としてもよい。例えば、ヒストグラム中の輝度値の分布の分散が所定値以上であるか否かを条件とすることも可能であり、このようにすることで、例えば、一面ほぼ同色といったような単調な画像をサムネイルとして選択しないようにすることができる。

また、例えば、ヒストグラム中の所定範囲内（例えば中央付近）以外の輝度値の画素が所定数以上あるか否かを不適切なサムネイル除外の判定条件とすることも可能である。例えば、所定範囲内以外の輝度値の画素が所定数以上ある場合に、不適切な輝度値領域に画素が集中しており、不適切なサムネイルであるとすることとしてもよいし、一方、反対に、所定範囲内以外の輝度値の画素があまりにも少ない場合は、単調な画像であるとして、やはりサムネイルとして不適切であると判断するようにしてもよい。

また、例えば、ヒストグラム中、最も画素数が多いところ（最頻値）の輝度数が所定の閾値以上であるか否かを適切なサムネイル選択の判定条件としてもよい。ある程度の明るさがあるところがピークになっているか否かを条件とするためである。

また、例えば、ヒストグラム中の高輝度領域に画素が所定数以上あるか否かを不適切なサムネイル除外の判定条件としてもよい。例えば、図７（ａ）に示すヒストグラムは、高輝度な領域に画素数が集中しているので、白飛びが発生するかもしれないほど明る過ぎて不適切である。また、例えば、ヒストグラム中の低輝度領域に画素が所定数以上あるか否かを不適切なサムネイル除外の判定条件としてもよい。図７（ｂ）に示すヒストグラムは、低輝度な領域に画素数が集中しているので、暗過ぎて不適切である。これらは、画像の各画素の輝度値の度数分布を計数し、所定の閾値と比較して閾値以上若しくは閾値以下の画素がいくつ存在するかを計数することにより判断することができる。

また、上述のように、画像の輝度値のヒストグラム（度数分布）を用いて不適切なサムネイルを判断する方法の他にも、色相成分（ここでは、可視光の波長）に対する輝度レベル（輝度信号の振幅）の分布としてのスペクトラムを判断材料として、このスペクトラムが適正であるか否かを適切なサムネイル選択の判定条件としてもよい。例えば、スペクトラムにおいて、色相成分の全体にわたって、輝度レベルがある程度あるか否かを適切なサムネイル選択の判定条件としてもよい。具体的には、輝度レベルの積分値がある所定値以上であるか否かが判定される。図８（ａ）に示すスペクトラムは、色相成分の全体的に輝度レベルが足りず、暗過ぎて不適切である。

また、例えば、スペクトラムにおいて、輝度レベルのピークが所定の閾値以上であるか否かを適切なサムネイル選択の判定条件としてもよい。図８（ｂ）に示すスペクトラムは、輝度レベルのピークＰ１が所定の閾値以上である場合に適切とする。また、例えば、スペクトラムにおいて、ある程度高い輝度レベルが幅広く分布しているか否かを適切なサムネイル選択の判定条件としてもよい。図８（ｂ）に示すスペクトラムは、所定値以上の輝度レベルが所定長Ｌ１以上に分布している場合に適切とする。所定値以上の輝度レベルが所定長Ｌ１以上に分布している場合、その画像が、ベタ画像（全面同色などのような画像）のような単調な画像ではなく、サムネイルとして適切であると考えられるからである。

また、例えば、スペクトラムにおいて、輝度レベルの凹凸が適度に分布しているか否かを適切なサムネイル選択の判定条件としてもよい。例えば、変曲点の数が所定数以上であるか否かを適切なサムネイル選択の判定条件としてもよい。図８（ｂ）に示すスペクトラムは凹凸が適度に存在するものとする。

他にも、スペクトラムにおいて、輝度レベルがある色相成分の１箇所に集中しているか否かを不適切なサムネイル除去の判定条件としてもよい。輝度レベルがある色相成分の１箇所に集中している場合、その画像は単純過ぎる絵柄となり適切なサムネイルとはみなせないためである。つまり、サムネイルには、ある程度の複雑さが要求される。しかし、複雑すぎるものは除外される。図８（ａ）のヒストグラムは、輝度レベルがほぼ均質に分布されており、適度に複雑である。このような判定を行う場合、例えば、輝度レベルのピークＰ１が所定の閾値以上である場合に適切とする。また、例えば、スペクトラムにおいて、ある程度高い輝度レベルが幅広く分布しているか否かを適切なサムネイル選択の判定条件としてもよい。図８（ｂ）に示すスペクトラムは、所定値以上の輝度レベルが所定の所定長Ｌ１以上に分布している場合に適切とする。

なお、上記の複数の判定条件のうちの２つ以上を組み合わせて、適切な画質のサムネイル選択の判定条件としてもよい。この場合、適切なサムネイルをさらに正確に選択することができる。また、上記のヒストグラム、スペクトラムを用いるパラメータ算出は、ステップＳ７１のリアルタイムのパラメータ算出処理において実行される構成でもよい。

以上、本実施の形態によれば、デジタルカメラ１における動画撮影中に、撮影された動画像データからサムネイルが所定タイミングで次々と作成され、当該作成されたサムネイルのサムネイル絞込みのためのパラメータがリアルタイムに算出され、その算出結果に基づいて適切な画質のサムネイルが抽出され、動画撮影後に、さらなるサムネイル絞込みのためのパラメータが算出され、その算出結果に基づいてさらに適切な画質のサムネイルが抽出されるので、適切な画質のサムネイルを抽出できる。

そして、抽出されたサムネイルをキー入力部３６を介したユーザの選択入力に基づいて決定し、その決定されたサムネイルのサムネイル画像データを動画像データに対応付けてフラッシュメモリ３８に記憶するので、動画像データに対応するさらに適切な画質のサムネイルを選択して記憶できる。

また、ステップＳ７１において、リアルタイムに比較的処理負担の小さいパラメータ算出が行われるので、動画撮影処理及び動画撮影時のパラメータ算出処理の遅延又は中断の発生を防ぐとともに、動画撮影後のパラメータ算出処理の負担を軽減できる。また、ステップＳ９において、動画撮影後に比較的処理負担の大きいパラメータ算出が行われるので、動画撮影後にサムネイルをさらに適切に絞り込むことができる。

また、サムネイル画像データの輝度値分布に基づいてサムネイルが適切であるか否かが判別されるので、例えばサムネイルが極端に明るい、極端に暗い、露出過多又は露出不足などの輝度値分布が視覚的に不適切なサムネイルを除くことができる。
また、サムネイル画像データの輝度レベルの色相成分分布に基づいてサムネイルが適切であるか否かが判別されるので、例えばサムネイルが単調な画像であるなどの視覚的に不適切なサムネイルを除くことができる。

また、ステップＳ９において、動画撮影後にログファイル内に格納された情報を用いて各種パラメータが算出されるので、動画撮影時に用いた情報を有効活用することができる。なお、動画撮影後に、不適切なサムネイルを除去する処理（ステップＳ９，Ｓ１０，Ｓ１１）を行わない場合には、ステップＳ４のログファイル更新処理も必要でなくなる。

なお、上述した実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、これに限定されるものではない。
また、上記実施の形態においては、動画撮影機能を有するデジタルカメラ１を用いる攻勢を説明したがこれに限るものではない。例えば、動画撮影とリアルタイムにパラメータ算出処理を実行しなく、撮影後のみにパラメータ算出及びサムネイル抽出処理などを行う構成では、デジタルカメラ１などの画像撮影装置にパラメータ算出及びサムネイル抽出機能を有することなく、ＰＣ（Personal Computer）などの外部機器にパラメータ算出及びサムネイル抽出機能を設ける構成でもよい。この場合、画像撮影装置から動画像データが外部機器に入力され、外部機器において、入力された動画像データに対して、パラメータ算出及びサムネイル抽出処理が実行される構成となる。

デジタルカメラ１の外観を示す図であり、（ａ）は主に前面の構成を示す図であり、（ｂ）は主に背面の構成を示す図である。 デジタルカメラ１の内部構成を示すブロック図である。 動画撮影処理を示すフローチャートである。 動画撮影処理中のリアルタイムサムネイル記憶処理を示す。 第１のリアルタイムサムネイル記憶処理を示すフローチャートである。 第２のリアルタイムサムネイル記憶処理を示すフローチャートである。 輝度に対する画像中の面積割合の分布例を示す図であり、（ａ）は高輝度において面積割合が大きい分布例を示す図であり、（ｂ）は低輝度において面積割合が大きい分布例を示す図である。 色相成分に対する画像の輝度レベルの分布例を示す図であり、（ａ）は色相成分によらず低輝度レベルの分布例を示す図であり、（ａ）はばらつきのある輝度レベルの分布例を示す図である。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ セルフタイマランプ
４ 光学ファインダ窓
５ ストロボ発光部
６ 電源キー
７ シャッタキー
８ モードスイッチ
９ メニューキー
１０ 十字キー
１１ 光学ファインダ
１２ ストロボチャージランプ
１３ 表示部
２１ モータ（Ｍ）
２２ レンズ光学系
２３ ＣＣＤ
２４ タイミング発生器（ＴＧ）
２５ 垂直ドライバ
２６ サンプルホールド回路（Ｓ／Ｈ）
２７ Ａ／Ｄ変換器
２８ カラープロセス回路
２９ ＤＭＡコントローラ
３０ ＤＲＡＭインタフェース（Ｉ／Ｆ）
３１ ＤＲＡＭ
３２ 制御部
３３ ＶＲＡＭコントローラ
３４ ＶＲＡＭ
３５ デジタルビデオエンコーダ
３６ キー入力部
３７ 圧縮伸長回路
３８ フラッシュメモリ

Claims (9)

1. 撮影された動画像データからサムネイルを作成する画像処理装置において、
   前記撮影された動画像データからサムネイルを作成するサムネイル作成部と、
   前記作成されたサムネイルを画像解析し、当該画像解析の解析結果に基づいて適切な画質のサムネイルを抽出するサムネイル抽出部と、
   前記抽出されたサムネイルから実際に用いるサムネイルを決定し、当該決定されたサムネイルを前記動画像データに対応付けるサムネイル決定部と、を備えることを特徴とする画像処理装置。
2. 動画像データを記憶する記憶部を備え、
   前記サムネイル決定部は、前記決定されたサムネイルを前記動画像データに対応付けて前期記憶部に記憶することを特徴とする請求項１に記載の画像処理装置。
3. 被写体を撮影して動画像データを生成する画像撮影部を備え、
   前記サムネイル抽出部は、前記画像撮影部による動画像データの撮影とともに、前記画像撮影部によりリアルタイムに作成されたサムネイルに第１の画像解析を行い、当該第１の画像解析の解析結果に基づいて所定の画質のサムネイルを予め抽出し、前記画像撮影部による動画像データの撮影終了後に、前記予め抽出されたサムネイルに第２の画像解析を行い、当該第２の画像解析の解析結果に基づいて適切な画質のサムネイルを抽出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の画像解析は、処理負担の比較的小さい画像解析であり、
   前記第２の画像解析は、処理負担の比較的大きい画像解析であることを特徴とする請求項３に記載の画像処理装置。
5. 操作入力を受け付ける入力部を備え、
   前記サムネイル決定部は、前記抽出されたサムネイルから１又は複数のサムネイルが前記入力部を介して選択入力された場合に、当該選択入力されたサムネイルを実際に用いるサムネイルとして決定することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記画像解析は、前記サムネイルの画像データの輝度値分布の解析であることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記画像解析は、前記サムネイルの画像データの色相成分分布の解析であることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
8. 前記画像解析は、画像撮影時のシャッタスピード値及び絞り値のうちの少なくとも１つに基づく前記サムネイルの画像解析を含むことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. コンピュータに、
   撮影された動画像データからサムネイルを作成する機能と、
   前記作成されたサムネイルを画像解析し、その画像解析結果に基づいて適切な画質のサムネイルを抽出する機能と、
   前記抽出されたサムネイルから実際に用いるサムネイルを決定し、当該決定されたサムネイルを前記動画像データに対応付ける機能と、
   を実現させるための画像処理プログラム。

Images