(1)実施例の構成
図1は、本発明の実施例の電子スチルカメラシステムに適用される電子スチルカメラを示すブロック図である。この電子スチルカメラシステムは、この電子スチルカメラ1で撮影した撮像結果をコンピュータで編集処理する。
ここでこの電子スチルカメラ1において、図示しないレンズは、中央処理ユニット(CPU)2で指示された撮影の条件で、入射光を集光し、続く撮像素子3の撮像面に光学像を形成する。なおここでこのレンズにおける撮影の条件は、絞り、ズーム、フォーカス等の設定である。
撮像素子3は、CCD(Charge Coupled Device )固体撮像素子、CMOS(Complementary Metal-Oxide Semiconductor )固体撮像素子等により構成され、撮像面に形成された光学像の撮像結果を出力する。
前処理回路4は、撮像素子3の出力信号を相関二重サンプリング処理、自動利得調整処理、アナログディジタル変換処理し、撮像結果の画像データを生成して出力する。
光学補正回路5は、この前処理回路4から出力される画像データを欠陥補正処理し、RAWデータDRを出力する。
画像処理回路6は、このRAWデータDRを入力し、解像度変換処理、ガンマ補正処理、ホワイトバランス調整処理、画質補正処理等の画質補正処理を順次実行し、画質補正済みの画像データを出力する。この電子スチルカメラ1は、この画像処理回路6から出力される画質補正済みの画像データを図示しない表示装置で表示し、撮像結果のモニタ画像を表示する。
エンコーダ(ENC)7は、例えばJPEG(Joint Photographic Coding Experts Group )で画像処理回路6から出力される画像データをデータ圧縮し、さらにこの画像データからサムネイル画像を生成してデータ圧縮し、EXIFにより処理結果を出力する。また中央処理ユニット2の制御により動作を切り換え、このデータ圧縮されたサムネイル画像の画像データをRAWデータファイル生成回路10に出力する。
インターフェース(IF)8は、このエンコーダ7の出力データを記録媒体9に記録する。また中央処理ユニット2の制御により動作を切り換え、RAWデータファイル生成回路10から出力されるRAWデータファイルのデータを記録媒体9に記録する。また記録媒体9に記録されたデータを再生して各部に出力する。
記録媒体9は、この実施例ではメモリカードであり、インターフェース8から出力される各種のデータを記録する。なおこの記録媒体9は、メモリカードに限らず、光ディスク、磁気ディスク等、種々の記録媒体を広く適用することができる。
RAWデータファイル生成回路10は、光学補正回路5から出力されるRAWデータDR、中央処理ユニット2から出力されるサムネイル画像データDT、撮影時の撮影情報DS等でRAWデータファイルを生成し、このRAWデータファイルのデータをインターフェース8に出力する。ここでサムネイル画像データDTは、RAWデータDRを間引きして生成されるサムネイル画像の画像データである。撮影時の撮影情報DSは、RAWデータの撮影時、この電子スチルカメラ1に設定された撮影条件の情報であり、画像処理回路6における画質補正処理を特定する画質補正情報、レンズ、撮像素子3の設定を特定する光学系の情報等により構成される。具体的に、画質補正情報は、画像処理回路6における色相、階調、周波数特性等の補正を特定する情報であり、画質補正モード(色モード)の情報等により構成される。これに対して光学系の情報は、シャッター速度、焦点距離、絞り等の情報である。
RAWデータファイルは、図2に示すように、EXIFに準拠したフォーマットでRAWデータを記録するファイルであり、EXIFと同様にヘッダーが設けられ、IFD(Image File Directory)により各種のデータが割り当てられる。
ここでRAWデータファイルは、ファイル先頭のフィールドF1に、メイン画像データの再生に必要な情報(メイン画像データIFD0)、このメイン画像データの撮影時の情報(撮影情報IFD1)が記録される。ここでこの実施例では、メイン画像データにRAWデータDRが割り当てられ、メイン画像データの撮影時の情報は、RAWデータの撮影時に使用した電子スチルカメラ1を特定する情報、上述の撮影条件の情報が割り当てられる。具体的には、EXIFの対応する情報が割り当てられ、絞り、フォーカス距離、シャッター速度等の情報、画像処理回路6における画質補正モード等の情報、さらにファイル名、ユーザー名等のEXIFに定義された情報が割り当てられる。
またRAWデータファイルは、続くフィールドF2に、エンコーダ7で生成されるJPEGでデータ圧縮したサムネイル画像データが割り当てられ、さらに続くフィールドF3に、この電子スチルカメラ1のメーカーが独自に定義した情報(平文部メーカーノートIFD)が記録される。RAWデータファイルは、これら先頭3フィールドF1〜F3がEXIFのフォーマットで作成されることから、EXIFのファイルを処理可能な各種アプリケーションによっても、メイン画像データに割り当てたRAWデータを再生できるように形成される。
続いてRAWデータファイルは、メイン画像データの撮影時の撮影情報DS0が割り当てられる。具体的にこの実施例では、続くフィールドF4に、RAWデータDRの撮影時における電子スチルカメラ1の絞りの設定(0EV、−1EV等の設定)、シャッター速度、撮影モード等が記録される。また続いて撮影時に得られた具体的なパラメータが順次記録される。この実施例では、この具体的なパラメータとして、初めに、撮影時を再現する画像処理に必要なパラメータが記録された後、RAWデータを部分的に切り出す際に使用する基準のパラメータが各種記録される。以下、このRAWデータを部分的に切り出す際に使用する基準のパラメータを切り出し用基準情報と呼ぶ。
すなわちRAWデータファイルは、続くフィールドF5に、撮影時を再現する画像処理に必要なパラメータが記録される。以下このパラメータを撮影時の画像処理情報と呼ぶ。従って絞りは、先頭側のフィールドF4に、例えば0EVと記録され、続くフィールドF5の画像処理情報DS0Aに、具体的な絞り値5.6等が記録される。また画質補正モードは、先頭側のフィールドF4に、オートホワイトバランス調整モード、人物撮影の撮影モード等が記録され、また続くフィールドF5の画像処理情報DS0Aに、このオートホワイトバランス調整モードにおける各色信号の利得、撮影モードに応じた色補正のパラメータ等が記録される。
またRAWデータファイルは、続くフィールドF6に、各種の切り出し用基準情報DS0Bが設定される。具体的に、このフィールドF6には、フォーカス調整から検出される撮影時の合焦位置情報が記録される。ここでこの撮影時の合焦位置情報は、RAWデータDRの画像において合焦している領域の位置情報である。また続いて撮影時のフォーカスサーチ処理で検出された背景の合焦位置情報が記録される。従ってこの電子スチルカメラ1は、合焦位置を無限遠から手前側に順次近づけてフォーカスサーチの処理を実行し、このフォーカスサーチ時、最も遠い側で合焦した領域の位置情報をこの背景の合焦位置情報に設定する。
またRAWデータファイルは、このフィールドF6に、撮影時に検出された顔の位置情報が記録される。従ってこの電子スチルカメラ1では、撮影時、顔のテンプレートを用いて、中央処理ユニット2で顔が撮影されている領域を検出し、この顔が検出された領域をこの顔位置の情報に設定する。なおこの電子スチルカメラ1は、例えばユーザーが人物撮影の撮影モードを選択している場合には、この顔を検出した領域が合焦するようにフォーカス調整してRAWデータDRを取得する。なお顔が検出されない場合、顔の位置情報にはその旨が記録される。
またRAWデータファイルは、続いて逆光位置の情報が記録される。ここで逆光位置の情報は、撮像結果中で逆光の部分を示す位置情報であり、フォーカスサーチの際に撮像結果の各部における合焦位置を検出し、この合焦位置の検出結果から、1つの物体を撮影したと判断される領域であって、合焦位置が手前側程、輝度レベルの低い領域を検出し、この検出した領域の位置情報を逆光位置の情報に設定する。RAWデータファイルは、さらに飽和位置の情報が記録される。ここで飽和位置の情報は、この電子スチルカメラ1のダイナミックレンジによって輝度レベルが飽和している領域の位置である。電子スチルカメラ1は、撮影時、絞りを可変し、この絞りの可変に対する各部の輝度レベルの変化を判定して飽和している領域を検出する。またこの検出した領域の位置情報をこの飽和位置の情報に設定する。またRAWデータファイルは、撮影時における光軸中心の情報が記録される。ここでこの光軸中心の情報は、レンズに設けられたレンズの機種を特定する情報に基づいて設定される。なお、これら逆光位置情報、飽和位置情報、光軸中心位置情報にあっても、対応する位置情報を検出できない場合、それぞれその旨が記録される。RAWデータファイルは、続いて他の各種のパラメータが順次割り当てられてこのメイン画像データの撮影時の撮影情報DS0が形成される。
またRAWデータファイルは、続いて編集処理の撮影情報DS1、DS2、……が記録される。ここで編集処理の撮影情報DS1、DS2、……は、編集処理で設定される撮影情報であり、撮影時の撮影情報DS0に割り当てた撮影時を再現する画像処理情報DS0Aに対応して設定される。撮影情報DS1、DS2、……は、撮影時の撮影情報DS0のフィールドF4に割り当てた絞りの設定、シャッター速度、撮影モード等の撮影情報に、履歴の情報が追加されて、先頭側のフィールドF7が形成される。なお履歴の情報は、各撮影情報DS1、DS2、……をRAWデータファイルに設定した日時の情報である。さらにRAWデータファイルは、続くフィールドF8に、直前フィールドF7に割り当てた撮影情報に対応する具体的な画像処理情報が記録される。
RAWデータファイルは、この編集処理の撮影情報DS1、DC2、……の領域に続いて、サムネイル画像データDTの再生に必要な情報が割り当てられ、さらに続くフィールドにサムネイル画像データDTが割り当てられる。また続いてメイン画像データであるRAWデータDRが割り当てられる。RAWデータファイルは、このメイン画像データに続いて、撮影時の撮影情報DS0に割り当てた切り出し用基準情報(フイールドF6)に対応する情報であって、編集処理時に設定した切り出し用基準情報を追加可能に形成される。なおこの追加する情報は、撮影時の撮影情報DS0と同様のフィールド構造で、かつ編集処理時における撮影情報DS1、……と同様に履歴の情報が設定される。
ここでRAWデータファイルは、RAWデータのデータ量が全体のデータ量の95〔%〕程度を占めることになるが、このRAWデータがファイルの末尾に割り当てられていることから、ファイル先頭から5〔%〕程度を再生するだけで、サムネイル画像データ、撮影情報DS0、編集処理の撮影情報DS1〜DS3等を取得することができる。
この図2に示すフォーマットに従って、RAWデータファイル生成回路10は、RAWデータファイルで撮像結果を記録する場合、中央処理ユニット2の指示により画像処理回路6から出力されるRAWデータDR、中央処理ユニット2から出力される撮影情報DS及びサムネイル画像データDT、エンコーダ7で生成されるJPEGによるサムネイル画像データ等により、このRAWデータファイルのデータを生成してインターフェース8に出力する。
中央処理ユニット2は、メモリ11に記録された処理プログラムに従ってこの電子スチルカメラ1全体の動作を制御する制御部である。なおこの実施例において、この処理プログラムは、事前に、この電子スチルカメラ1にインストールされて提供されるものの、この事前のインストールに代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、また光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよい。
このプログラムの実行により、中央処理ユニット2は、ユーザーが撮像結果の取得を指示すると、撮像素子3、前処理回路4、光学補正回路5を制御してユーザーの指示した絞り、シャッター速度等で撮像結果を取得して図示しないメモリにRAWデータDRを保持する。また画像処理回路6を制御してこのRAWデータDRの撮像結果をユーザーが指示した画質に画質補正して画質補正済みの画像データを生成し、この画質補正済みの画像データを表示部で表示する。
またこの取得した撮像結果の記録をユーザーが指示すると、この撮像結果を記録媒体9に記録するように全体の動作を制御する。このときユーザーがEXIFファイルでの撮像結果の記録を指示している場合、中央処理ユニット2は、エンコーダ7、インターフェース8を制御して、画像処理回路6から出力される画質補正済み画像データをJPEGでデータ圧縮し、EXIFファイルで記録媒体9に記録する。
これに対してユーザーがRAWデータDRでの撮像結果の記録を指示した場合、中央処理ユニット2は、メモリに保持したRAWデータDRを処理してサムネイル画像データDTを生成する。ここで中央処理ユニット2は、このRAWデータDRの垂直方向及び水平方向の間引きによりサムネイル画像データDTを生成する。なお具体的に、この実施例では、垂直方向及び水平方向にそれぞれ連続する5サンプリングの領域毎に、1サンプリングを選択してサムネイル画像データDTを生成する。従って中央処理ユニット2は、間引き率1/5でサムネイル画像データDTを生成する。また事前に、ローパスフィルタを用いて水平方向及び垂直方向の解像度を低減し、間引き時の偽信号の発生を防止する。なおここでこのローパスフィルタによる処理は、連続するサンプリング値をd1〜d4とおいて、(1×d1+2×d2+2×d3+1×d4)/8の演算処理により実行される。
中央処理ユニット2は、さらにエンコーダ7を制御して画質補正済みの画像データからサムネイル画像データを生成し、またRAWデータDRの撮影時の各部の設定等から撮影時の撮影情報DSを生成する。またこの撮影情報DS、サムネイル画像データDT、エンコーダ7からのサムネイル画像データ等をRAWデータファイル生成回路10に出力し、RAWデータファイル生成回路10、インターフェース8を制御して上述したRAWデータファイルを記録媒体9に記録する。
このとき、中央処理ユニット2は、編集処理の撮影情報DS1、……のフィールドについては、例えばダミーデータの設定により意味を有しない情報を設定するようにRAWデータファイル生成回路10の動作を制御する。
これに対して撮像結果を取得してメモリに保持した状態で、ユーザーが撮像結果の削除を指示すると、中央処理ユニット2は、このメモリに保持したRAWデータDRを削除し、また表示部における撮像結果の表示を中止する。
またユーザーが動作モードを切り換え、記録媒体9に記録された撮像結果の再生を指示すると、中央処理ユニット2は、インターフェース8を介して記録媒体9をアクセスし、記録媒体9に記録されたファイルを記録時に設定したファイル名等によるメニューで一覧表示する。またこのメニューをユーザーが選択すると、対応するファイルを記録媒体9から再生して表示部で表示する。この処理において、中央処理ユニット2は、ユーザーが再生を指示したファイルがEXIFファイルの場合、このEXIFファイルに設定されたサムネイル画像により撮像結果を表示する。またユーザーが再生を指示したファイルがRAWデータファイルの場合、対応するRAWデータファイルの先頭側に設けられたデータ圧縮されたサムネイル画像データにより撮像結果を表示する。
図3は、この記録媒体9に記録された撮像結果を処理するコンピュータを示すブロック図である。このコンピュータ21において、インターフェース(IF)22は、中央処理ユニット23の制御により記録媒体9に記録されたデータを再生してバスBUSに出力し、またバスBUSに出力されるデータを記録媒体9に記録する。
表示部24は、中央処理ユニット23の制御により各種の画像を表示し、インターフェース(IF)25は、中央処理ユニット23の制御により印刷に必要な各種のデータをプリンタ26に出力する。入力部27は、キーボード、マウス等により形成され、ユーザーの操作を中央処理ユニット23に通知する。ハードディスク装置(HDD)28は、中央処理ユニット23の各種処理のプログラム、データを記録して保持する。
ここでこのハードディスク装置28に記録されたプログラムは、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録されて提供されるものの、このような記録媒体による提供に代えて、事前のインストールにより、又はインターネット等のネットワークを介したダウンロードにより提供してもよい。
中央処理ユニット23は、このコンピュータ21の演算処理部であり、リードオンリメモリ(ROM)29の記録に従ってランダムアクセスメモリ(RAM)30にワークエリアを確保してハードディスク装置28に記録されたオペレーションシステムを起動する。またこのオペレーションシステムにおけるユーザーの操作に応動して、記録媒体9に記録された撮像結果をユーザーが指示したフォルダにダウンロードする。
また入力部27を介して検出されるユーザーの指示に従って、ハードディスク装置28に記録された撮像結果を編集処理するプログラム(以下、編集プログラムと呼ぶ)を起動する。なお以下の説明においては、記録媒体9に上述のRAWデータファイルのみが記録されているとの前提により、中央処理ユニット23の一連の処理を説明する。
この編集プログラムの起動により中央処理ユニット23は、図4に示す編集プログラムのメイン画面M1を表示する。またこのメイン画面M1に表示したメニューの選択により、プルダウンメニューによるサブメニューを表示し、ユーザーによるサブメニューの選択を受け付ける。
中央処理ユニット23は、このサブメニューの選択によりユーザーがフォルダ又は記録媒体9に記録された撮像結果の一覧表示を指示すると、ユーザーが指示したフォルダ又は記録媒体9に記録されたファイルの情報をこれらフォルダ又は記録媒体9のファイル管理システムから取得し、この編集プログラムで処理可能なファイルを選択する。またディフォルトで、この選択したファイルのサムネイル画像をサブウインドウM2で一覧表示する。
ここで図5(A)は、ディフォルトの一覧表示のサブウインドウM2を示す平面図である。このサブウインドウM2は、最上段にタイトルバーが表示され、続いてファイルの保存場所が表示される。また続いて表示をスクロール操作するスライドボタン等が表示され、さらにサムネイル画像が順次表示される。中央処理ユニット23は、このサムネイル画像の表示を図6に示す処理手順で実行する。
すなわち中央処理ユニット23は、ユーザーが一覧表示を指示すると、ステップSP1からステップSP2に移り、記録媒体9又はフォルダのアクセスにより対応するファイルのデータを取得する。この処理において、中央処理ユニット23は、順次取得されるファイルデータの監視により、RAWデータの間引きによるサムネイル画像データDTと、RAWデータの画像処理に係る情報とを取得すると、このファイルの残るデータの取得を中止する。具体的に、中央処理ユニット23は、RAWデータファイルの先頭フィールドF1からサムネイル画像データDTのフィールドまでのデータを取得すると、残りのフィールドのデータの取得を中止する。
続いて中央処理ユニット23は、ステップSP3に移り、取得したデータのIFDを解析し、さらに取得したデータをデータ展開して振り分ける。このデータ展開して振り分ける処理により、中央処理ユニット23は、取得したデータからサムネイル画像データDTを取得し、またこのサムネイル画像データDTの再生に必要な情報を取得する。またユーザーの事前の設定に応じて撮影時の撮影情報DS0、編集処理の撮影情報DS1〜DS3を取得する。
続いて中央処理ユニット23は、ステップSP4に移り、ステップSP3で取得したサムネイル画像データDTを、撮影時の撮影情報DS0に設定された画質補正情報で画質補正し、撮影時に表示した画質のサムネイル画像データを生成する。具体的に中央処理ユニット23は、この撮影情報DS0に設定された画質補正情報に基づいて、メイン画像データの撮影時における画像処理回路6の設定を再現し、この再現された設定でサムネイル画像データDTをガンマ補正、ホワイトバランス調整し、さらに階調、色相、周波数特性等を調整する。中央処理ユニット23は、このようにして画質補正したサムネイル画像データDTの画像を、表示用の画像メモリに記録する。
続いて中央処理ユニット23は、ステップSP5に移り、サブウインドウM2に表示する枚数分、サムネイル画像の取得が完了したか否か判断し、ここで否定結果が得られると、ステップSP2に戻り、続くファイルの処理を開始する。これに対してステップSP5で肯定結果が得られると、中央処理ユニット23は、ステップSP6に移り、画像メモリに記録した画像データでサブウインドウM2を表示する。中央処理ユニット23は、この図6におけるステップSP2〜ステップSP6の処理により記録媒体9に記録された撮像結果、このコンピュータ21にダウンロードした撮像結果をサムネイル画像で一覧表示し、ステップSP7に移ってこの処理手順を終了する。
ここでこの図6の処理は、処理対象のRAWデータファイルに、編集処理の撮影情報DS1、……が記録されていない場合の処理であり、この場合、中央処理ユニット23は、撮影時の設定による撮影情報DS0によりサムネイル画像データDTを画像処理して撮影時に取得した撮像結果を一覧表示する。
これに対して編集処理の撮影情報DS1、……が記録されている場合、中央処理ユニット23は、ステップSP4において、これら編集処理の撮影情報DS1、……に設定された履歴の情報に基づいて、最も記録の時点が新しい撮影情報DS1、……を選択する。また撮影時の撮影情報DS0に代えて、この選択した編集処理の撮影情報DS1、……を用いてサムネイル画像データDTを処理し、編集処理した撮像結果をサムネイル画像で表示する。
なおこのような最も履歴の新しい撮影情報DS1、……を選択してサムネイル画像データDTを処理する代りに、撮影時の設定による撮影情報DS0、RAWデータファイルに記録された撮影情報DS1、……のそれぞれでサムネイル画像データDTを画像処理して、1つのRAWデータファイルに対して複数のサムネイル画像を表示するようにしてもよい。またユーザーの設定、指示に従って、サムネイル画像データの処理に使用する撮影情報DS0、……を選択するようにしてもよい。
さらにこの一覧表示の処理において、中央処理ユニット23は、何らユーザーが一覧表示の形態を指示していない場合、図5(A)に示すようにサムネイル画像のみにより撮像結果を一覧表示する。
これに対して事前の設定により、又は一覧表示の表示形態の切り換えにより、ユーザーがサムネイル画像とヒストグラムの一覧表示を指示した場合、図5(B)に示すように、各撮像結果における色信号の階調分布をサムネイル画像から検出し、この階調分布のヒストグラムをサムネイル画像と共に表示する。
これに対して一覧表示の表示形態の切り換えにより、サムネイル画像と部分拡大画像との一覧表示をユーザーが指示した場合、中央処理ユニット23は、さらに図7の処理手順を実行し、図5(A)に示すサムネイル画像のみによる一覧表示を、図5(C)に示すサムネイルナイル画像と対応する撮像結果の部分的な拡大画像との一覧表示に切り換える。
すなわちこの図7の処理手順において、中央処理ユニット23は、ステップSP11からステップSP12に移り、記録媒体9又はフォルダのアクセスによりそれまで一覧表示しているサムネイル画像に対応するファイルのデータを取得する。続いて中央処理ユニット23は、ステップSP13に移り、取得したデータのIFDを解析し、さらに取得したデータをデータ展開して振り分ける。
このデータ展開して振り分ける処理により、中央処理ユニット23は、切り出し用基準情報DS0B、撮影時の撮影情報DS0を取得する。なお中央処理ユニット23は、ディフォルトでは、撮影時における切り出し用基準情報DS0B、撮影情報DS0を取得する。しかしながら現在表示している対応するサムネイル画像が、編集処理時の撮影情報DS1、DS2、……を用いて画像処理している場合にあって、このサムネイル画像の画像処理に使用する撮影情報DS1、DS2、……に対応する編集処理時に設定した切り出し用基準情報がRAWデータファイルに存在する場合、この対応する編集処理時に設定した切り出し用基準情報を取得する。
続いて中央処理ユニット23は、ステップSP14に移り、ここでステップSP13で取得した切り出し用基準情報に基づいてメイン画像から切り出す領域を設定する。ここで中央処理ユニット23は、ユーザーの指定に基づいて、切り出し用基準情報に設定された複数のパラメータから切り出しに使用するパラメータを選択する。またこの選択したパラメータを用いてRAWデータ画像から切り出す領域を決定する。
具体的に、ディフォルトの状態で、中央処理ユニット23は、撮影時の合焦位置情報に基づいて、RAWデータ画像の合焦位置を中心にした所定範囲を切り出す領域に設定する。なおこの所定範囲は、ユーザー設定としてもよく、固定値としてもよい。またユーザーが背景の拡大表示を指示している場合、背景位置情報に基づいて、例えば背景とされた領域の中心位置を中心にした所定範囲を切り出す領域に設定する。またユーザーが顔の拡大表示を指示している場合、顔位置情報に基づいて、顔が撮影されているとされた領域の中心位置を中心にした所定範囲を切り出す領域に設定する。またユーザーが逆光箇所の拡大表示を指示している場合、逆光位置情報に基づいて、逆光とされた領域の中心位置を中心にした所定範囲を切り出す領域に設定する。またユーザーが飽和箇所の拡大表示を指示している場合、飽和位置情報に基づいて、飽和しているとされた領域の中心位置を中心にした所定範囲を切り出す領域に設定する。またユーザーが画面中央の拡大表示を指示している場合、光軸中心位置情報に基づいて、光軸位置を中心にした所定範囲を切り出す領域に設定する。
続いて中央処理ユニット23は、ステップSP15に移り、ステップSP14で設定した切り出す領域のRAWデータを選択的に取得し、この切り出す領域でRAWデータ画像を切り出す。また続くステップSP16でサムネイル画像データの一覧表示に対応するように、この切り出したRAWデータを画質補正する。従って撮影時、さらには後述する編集処理において、ユーザーがノイズリダクション処理を指定している場合、この画質補正の際に中央処理ユニット23は、撮影時の処理、編集処理に対応するように、ノイズリダクション処理を実行し、拡大表示用の画像データを生成する。なおここでこのノイズリダクション処理は、ユーザーの指示により、例えば単にランダムノイズを除去する処理、エッジ周辺に発生する低周波の偽信号によるノイズ除去処理等、種々のノイズ除去処理が適用される。
中央処理ユニット23は、続くステップSP17でサブウインドウM2に表示する枚数分、画像データの処理を完了したか否か判断し、ここで否定結果が得られると、ステップSP12に戻り、続くファイルの処理を開始する。これに対してステップSP17で肯定結果が得られると、中央処理ユニット23は、ステップSP18に移り、画像メモリに記録した拡大表示用の画像データでサブウインドウM2の表示を切り換えた後、ステップSP19に移ってこの処理手順を終了する。なおこの部分拡大用の画像データは、サムネイル画像データとは別のウインドウで表示するようにしてもよい。
これに対してサムネイル画像を一覧表示した状態で、ユーザーが合焦位置と背景との部分拡大画像の一覧表示を指示した場合、中央処理ユニット23は、さらに図8の処理手順を実行し、図9に示すように、別途、サブウインドウM2−1を表示する。またサブウインドウM2に表示したサムネイル画像に対応するように、このサブウインドウM2−1に各撮像結果の合焦位置と背景との部分的な拡大画像を表示する。
すなわち中央処理ユニット23は、この図8の処理手順において、ステップSP21からステップSP22に移り、記録媒体9又はフォルダのアクセスによりそれまで一覧表示しているサムネイル画像に対応するファイルのデータを取得する。続いて中央処理ユニット23は、ステップSP23に移り、取得したデータのIFDを解析し、さらに取得したデータをデータ展開して振り分ける。このデータ展開して振り分ける処理により、中央処理ユニット23は、切り出し用基準情報DS0B、撮影時の撮影情報DS0を取得する。また中央処理ユニット23は、切り出し用基準情報DS0Bから合焦位置の情報、背景位置の情報を取得する。
続いて中央処理ユニット23は、ステップSP24−1、SP24−2に移り、ここでそれぞれステップSP23で取得した合焦位置の情報、背景位置の情報に基づいて、メイン画像から切り出す合焦位置の領域、背景位置の領域を設定する。
続いて中央処理ユニット23は、ステップSP25−1、SP25−2に移り、ステップSP24−1、SP24−2で設定した切り出す領域で、それぞれRAWデータを切り出す。また続くステップSP26−1、SP25−2でサムネイル画像データの一覧表示に対応するように、切り出したRAWデータを画質補正する。従って撮影時、さらには後述する編集処理において、ユーザーがノイズリダクション処理を指定している場合、この画質補正の際に中央処理ユニット23は、撮影時の処理、編集処理に対応するように、ノイズリダクション処理を実行し、それぞれ合焦位置、背景の拡大表示用の画像データを生成する。
中央処理ユニット23は、続くステップSP27でサブウインドウM2−1に表示する枚数分、拡大表示画像の作成を完了したか否か判断し、ここで否定結果が得られると、ステップSP22に戻り、続くファイルの処理を開始する。これに対してステップSP27で肯定結果が得られると、中央処理ユニット23は、ステップSP28に移り、画像メモリに記録した拡大表示用の画像データでサブウインドウM2−1を表示した後、ステップSP29に移ってこの処理手順を終了する。なおこの部分拡大用の画像データは、サムネイル画像データを表示するウインドウM2を拡大してサムネイル画像と並べて表示するようにしてもよい。
これに対して中央処理ユニット23は、サブウインドウM2におけるサムネイル画像の一覧表示でユーザーがサムネイル画像を選択すると、メイン画面M1にサブウインドウM3を表示し(図4)、このサブウインドウM3に対応する撮像結果を拡大表示する。またこのサブウインドウM3において、ユーザーがサブウインドウM3の大きさを可変すると、このユーザーの操作に応動してサブウインドウM3の大きさを可変して対応する撮像結果を表示する。またこのサブウインドウM3で全画面表示が指示されると、図10に示すように、対応する撮像結果をメイン画面M1に全画面表示する。中央処理ユニット23は、この撮像結果の全画面表示をサムネイル画像を拡大表示して実行し、ユーザーの使い勝手を向上する。
図11は、この撮像結果の全画面表示に関する中央処理ユニット23の処理手順を示すフローチャートである。中央処理ユニット23は、この処理手順を開始すると、ステップSP41からステップSP42に移り、サムネイル画像データによるサムネイル画像の大きさと、サブウインドウM3、メイン画面M1における表示領域の大きさとの比較により、サブウインドウM3、メイン画面M1にサムネイル画像データDTによる画像を表示する際の拡大率を計算する。
また続くステップSP43において、このステップSP42で計算した拡大率に応じてサムネイル画像データを前置補間し、一覧表示に使用するサムネイル画像を拡大して画像メモリに展開する。また続くステップSP44において、この画像メモリに展開した拡大表示用のサムネイル画像をメイン画面M1に、又はサブウインドウM3に表示する。このステップSP42〜ステップSP44の処理により中央処理ユニット23は、始めにサムネイル画像データによる低解像度の撮像結果をこれらメイン画面M1又はサブウインドウM3に拡大表示する。
このようにしてサムネイル画像を拡大表示すると、中央処理ユニット23は、ステップSP45に移り、ここで拡大率が一定値以上か否か判断することにより、このようにして拡大表示したサムネイル画像をRAWデータDRの画像に置き換えて、画質の向上が図れるか否か判断する。ここで否定結果が得られると、中央処理ユニット23は、ステップSP45からステップSP46に移ってこの処理手順を終了する。
これに対してステップSP45で肯定結果が得られると、中央処理ユニット23は、ステップSP45からステップSP47に移る。ここで中央処理ユニット23は、この拡大表示に供しているサムネイル画像のRAWデータファイルからRAWデータDRを取得する。また続くステップSP48において、拡大表示中のサムネイル画像の撮影情報で、このRAWデータDRを画質補正し、また表示する領域の大きさに対応するように、解像度を変換する。
またステップSP49において、このステップSP48で処理したRAWデータDRの画像を、拡大表示中のサムネイル画像と置き換えて表示し、ステップSP46に移ってこの処理手順を終了する。
中央処理ユニット23は、ステップSP44によりサムネイル画像を拡大表示した後の、ステップSP45〜ステップSP49の処理については、いわゆるバックグラウンドにより空き時間を利用して実行する。このステップSP44における拡大表示により中央処理ユニット23は、ユーザーの操作に応動して撮像結果を短時間で表示してユーザーの使い勝手を向上する。またこのサムネイル画像の拡大表示により撮像結果を表示した後に、ステップSP45〜ステップSP49の処理をバックグラウンドで実行することによりユーザーの各種処理の妨げとならないようにして、この拡大表示した撮像結果の画質を向上させる。なお中央処理ユニット23は、ステップSP45〜ステップSP49の処理を実行している際に、ユーザーがこの撮像結果の表示の終了を指示すると、即座にこの図11に示す処理手順を終了する。
これに対してサムネイル画像の一覧表示において、ユーザーがサムネイル画像を選択して撮影情報の表示を指示すると、図12に示すように、サブウインドウM4を表示し、選択されたサムネイル画像の画質補正に使用した撮影情報DS0〜DS3を表示する。ここでこのサブウインドウM4は、右側に、ガンマ特性が特性曲線により表示され、左側に、撮影情報の各項目が表示される。この実施例ではこの各項目に、ホワイトバランス調整の調整モード、ホワイトバランス調整の微調整量、演色性の調整量、彩度の調整量、コントラストの調整量等が設けられる。なおこれらの調整量は、電子スチルカメラ1における設定操作のユーザーインターフェースに対応する操作量で表示される。従って上述のRAWデータファイルの各撮影情報DS0〜DS3には、このサブウインドウM4に表示されるこれらの情報が割り当てられていることになる。
またこのとき図13に示すように、サブウインドウM5を表示し、このユーザーの選択したサムネイル画像のRAWデータファイルについて、このRAWデータファイルに設定された撮影情報DS0〜DS3の種類を併せて表示する。ここで図13に示す例において、撮影時に設定は、撮影時の撮影情報DS0を示す。また履歴1〜履歴3は、編集処理の撮影情報DS1〜DS3をそれぞれ示し、このコンピュータ21における後述する編集処理で記録された撮影情報である。また明るめに補正は、同様に、コンピュータ21における編集処理で、ユーザーがタイトルを付けて記録した撮影情報である。
これらサブウンドウM4、又はサブウインドウM4及びM5を表示した状態で、ユーザーが撮影情報の表示の切り換えを指示すると、中央処理ユニット23は、サブウンドウM4、又はサブウインドウM4及びM5の表示を、対応する切り出し用基準情報の表示に切り換える。なおこの切り出し用基準情報の表示は、例えばサムネイル画像を表示し、このサムネイル画像上で対応する基準情報による領域を表示して実行される。
これに対してサムネイル画像の一覧表示でユーザーがサムネイル画像を選択して編集を指示すると、又はメイン画面M1、サブウインドウM3で表示した撮像結果の編集をユーザーが指示すると、中央処理ユニット23は、図13に示すように、編集操作用のサブウインドウM6を表示する。
ここでこの編集操作用のサブウインドウM6は、画質補正項目を選択し、画質補正量を設定するウインドウである。編集操作用のサブウインドウM6は、タブにより表示を切り換えて各画質補正項目を選択できるように形成される。またこのサブウンインドウM6は、調整項目毎に、電子スチルカメラ1における設定操作のユーザーインターフェースに対応する操作量で、調整量を設定できるように形成される。具体的にサブウインドウM6は、撮影時の設定を基準にして、例えば色温度、演色性、露出補正、シャープネス、ノイズリダクションの調整用ボタンが、それぞれ調整量と共に表示される。
また中央処理ユニット23は、同時に、サブウインドウM7でユーザーの選択した撮像結果の全画面をプレビュー表示し、またユーザーの指示に応動して、このプレビュー画面に表示した撮像結果の各種解析結果をサブウインドウM8で表示する。なおここでこの図13の例における解析結果の表示は、図5(B)について上述した各色信号の階調分布によるヒストグラム表示である。
中央処理ユニット23は、このプレビュー画面の表示、解析結果の表示をサムネイル画像データにより実行する。また中央処理ユニット23は、サブウインドウM6におけるタブの選択により、このサブウインドウM6の表示を切り換えて各調整項目の設定を受け付ける。このとき中央処理ユニット23は、ユーザーの調整量の可変に対応するように、プレビュー画面の画質を可変する。
すなわち中央処理ユニット23は、サブウインドウM6でユーザーが調整量を可変すると、プレビュー画面の表示中のサムネイル画像を画質補正した撮影情報をこの調整量の可変に対応するように、補正する。またこの補正した撮影情報でサムネイル画像データを画質補正し、その処理結果による画像をプレビュー表示する。またこのようにして画質補正した画像データの処理により解析結果の表示に必要な情報を取得し、この取得した情報でサブウインドウM8の表示を切り換える。
中央処理ユニット23は、このようにユーザーの操作に応動してプレビューの処理を実行するようにして、サブウインドウM6に表示した画質調整のチェックボックスをユーザーがチェックしている場合、サブウインドウM6によるプレビュー画面の画質の変更に対応するように、プレビュー画面における画質の変更と同時に、サブウインドウM3における撮像結果の表示の画質、メイン画面M1における撮像結果の全画面表示における画質を切り換える。またこのときユーザーがプレビュー画面の特定領域の拡大表示を指示すると、図14に示すように、プレビュー画面に枠Wを表示してこの特定領域を示し、破線により関係を示すように、サブウインドウM3における撮像結果の表示、又はメイン画面M1における撮像結果の全画面表示において、この特定領域を拡大表示する。
中央処理ユニット23は、これらの場合も、始めに、サムネイル画像により編集処理した撮像結果をサブウインドウM3又はメイン画面M1に表示することにより、ユーザーによる操作に応動して編集処理した撮影結果を短時間で表示し、ユーザーの使い勝手を向上する。またサムネイル画像の拡大表示により編集処理した撮像結果を表示した後に、RAWデータを編集処理して表示を置き換えることにより、ユーザーによる各種処理の妨げとならないようにして、この表示した撮像結果の画質を向上させる。
具体的に、図15は、この編集処理における中央処理ユニット23の処理手順を示すフローチャートである。中央処理ユニット23は、サブウインドウM6でユーザーが調整量を操作すると、この処理手順を開始してステップSP51からステップSP52に移る。ここで中央処理ユニット23は、このサブウインドウM6の調整画面に設定された調整量に応じて撮影時の撮影情報DS0を補正して編集処理の撮影情報を生成する。またこの編集処理の撮影情報でサムネイル画像データDTを編集処理し、サムネイル画像の画質を調整する。中央処理ユニット23は、続くステップSP53でこの編集処理したサムネイル画像でプレビュー画像の表示を切り換える。
中央処理ユニット23は、続くステップSP54において、サブウインドウM3又はメイン画面M1への表示に供する拡大率を計算する。またこの拡大率に応じた前置補間により、編集処理したサムネイル画像をサブウインドウM3又はメイン画面M1に拡大表示する。
続いて中央処理ユニット23は、ステップSP55に移る。ここで中央処理ユニット23は、ステップSP54で計算した拡大率が一定値以上か否か判断することにより、拡大表示したサムネイル画像をRAWデータDRの画像に置き換えて、画質の向上が図れるか否か判断する。ここで否定結果が得られると、中央処理ユニット23は、ステップSP55からステップSP56に移ってこの処理手順を終了する。
これに対してステップSP55で肯定結果が得られると、中央処理ユニット23は、ステップSP55からステップSP57に移る。ここで中央処理ユニット23は、この拡大表示中のサムネイル画像データDTのRAWデータファイルからRAWデータDRを取得する。また続くステップSP58において、拡大表示中のサムネイル画像の撮影情報で、このRAWデータDRを画質補正してRAWデータDRを編集処理し、また表示する領域の大きさに対応するように解像度を変換する。
またステップSP59において、このステップSP58で処理したRAWデータDRによる画像で、サブウインドウM3又はメイン画面M1の表示を置き換え、ステップSP55に移ってこの処理手順を終了する。
中央処理ユニット23は、ステップSP54によりサムネイル画像を拡大表示した後の、ステップSP55〜ステップSP59の処理については、いわゆるバックグラウンドにより空き時間を利用して実行する。また中央処理ユニット23は、ステップSP55〜ステップSP59の処理を実行している際に、ユーザーが調整量を変更すると、即座に実行中のこの図15に示す処理手順を終了し、改めて変更された調整量でこの処理手順を開始する。
中央処理ユニット23は、サブウインドウM6に設けられた撮影時の設定に戻すボタンをユーザーが選択すると、編集用のサブウインドウM5の設定をRAWデータファイルに記録された撮影時の撮影情報DS0の設定に切り換える。また中央処理ユニット23は、編集用のサブウインドウM6に設けられた設定の保存のボタンをユーザーが選択すると、この編集用のサブウインドウM6の設定により編集処理の撮影情報を生成し、この編集処理の撮影情報を対応するRAWデータファイルに記録する。
従ってこのRAWデータファイルは、再びこの編集プログラムにより表示する場合には、この新たに追加記録した編集処理の撮影情報でサムネイル画像が処理されて一覧表示され、さらには編集処理に係る一連の処理が実行される。
ところでこの図15の処理による調整項目が、シャープネス、ノイズリダクション処理等の、撮像結果の高域成分に変化を与える調整項目の場合、結局、ユーザーは、メイン画面M1、サブウインドウM3の拡大表示を目視で確認して撮像結果の細部を確認することになる。従ってユーザーの選択した調整項目が、このような細部の確認を要する撮像結果の高域成分を調整する処理の場合、中央処理ユニット23は、図15の処理手順に代えて、図16の処理手順を実行し、メイン画面M1、サブウインドウM3を表示し、またこれらメイン画面M1、サブウインドウM3の表示を切り換える。
すなわち中央処理ユニット23は、この処理手順を開始すると、ステップSP61からステップSP62に移り、記録媒体9又はフォルダのアクセスによりユーザーの選択したサムネイル画像に対応するファイルのデータを取得する。続いて中央処理ユニット23は、ステップSP63に移り、取得したデータのIFDを解析し、さらに取得したデータをデータ展開して振り分ける。このデータ展開して振り分ける処理により、中央処理ユニット23は、切り出し用基準情報DS0B、撮影時の撮影情報DS0を取得する。なおこの例では切り出し用基準情報DS0Bのうちの合焦位置情報を取得する。
続いて中央処理ユニット23は、ステップSP64に移り、ステップSP63で取得した切り出し用基準情報の合焦位置情報に基づいてメイン画像から切り出す領域を設定する。続くステップSP65において、中央処理ユニット23は、ステップSP64で決定した領域のRAWデータを選択的に取得し、ユーザーの選択したサムネイル画像に対応するようにこの取得したRAWデータを画質補正する。
続いて中央処理ユニット23は、ステップSP67において、この画像データによる拡大画像をサブウインドウM3、又はメイン画面M1に表示し、またこの表示に対応するようにプレビュー画像に枠Wを表示する。
続いて中央処理ユニット23は、ステップSP68に移り、改めてこの部分を拡大表示したRAWデータを全画面分取得し、このRAWデータを画質補正する。また続くステップSP69において、この画質補正したRAWデータを画像メモリに格納する。続いて中央処理ユニット23は、ステップSP70に移り、ここでユーザーが枠Wの位置を変化させたか否か判断し、ここで否定結果が得られると、ステップSP70を繰り返す。これに対してステップSP70で肯定結果が得られると、ステップSP70からステップSP71に移り、画像メモリに格納した全画面のRAWデータを用いて、サブウンドウM3、又はメイン画面M1に表示の部分拡大画像をスクロールさせ、ステップSP70に戻る。
中央処理ユニット23は、ユーザーがサブウインドウM6を操作してシャープネス、ノイズリダクションの調整量を可変すると、この調整量の可変に対応するように、切り出した拡大表示の画質を補正する。このとき中央処理ユニット23は、ユーザーが比較対象の表示を指示すると、図17の処理手順と同様の処理を繰り返し、例えば撮影時の画像、背景部分の画像等をサブウインドウで表示しながら、切り出した拡大画像の画質を補正する。
すなわち図17は、ユーザーが撮影時の画像を比較対象に設定した場合の処理手順を示すフローチャートである。中央処理ユニット23は、この処理手順を開始すると、ステップSP71からステップSP72に移り、ユーザーが調整量を可変するのを待機する。またユーザーが調整量を可変すると、ステップSP73に移り、対応するRAWデータファイルをアクセスしてデータを取得する。また続くステップSP74において、取得したデータを解析、振り分ける。
続いて中央処理ユニット23は、ステップSP75に移り、合焦位置情報から切り出す領域を決定し、続くステップSP76でRAWデータを切り出す。また続くステップSP77−1、SP77−2で、それぞれ撮影時の画質と、調整量を可変した後の画質に切り出した領域のRAWデータを画質補正する。また、続くステップSP78−1、SP78−2でそれぞれ画質補正した画像を対応するサブウインドウで表示し、ステップSP79に移ってこの処理手順を終了する。
これに対して図18は、比較対象としてユーザーが背景を選択した場合の処理手順を示すフローチャートである。この場合、中央処理ユニット23は、この処理手順を開始すると、ステップSP81からステップSP82に移り、ユーザーが調整量を可変するのを待機する。またユーザーが調整量を可変すると、ステップSP83に移り、対応するRAWデータファイルをアクセスしてデータを取得する。また続くステップSP84において、取得したデータを解析、振り分ける。また続くステップSP85−1、SP85−2において、それぞれ合焦位置情報、背景位置情報から切り出す領域を決定し、続くステップSP86−1、SP86−2において、それぞれこの決定した切り出す領域でRAWデータを切り出す。
また続くステップSP87−1、SP87−2において、それぞれ切り出したRAWデータを調整量を可変した後の画質に画質補正し、続くステップSP88−1、SP88−2でそれぞれ画質補正した画像を対応するサブウインドウで表示する。また続くステップSP89でこの処理手順を終了する。
なお細部の確認のためにRAWデータの画像を拡大表示する場合にも、初めにサムネイル画像データを前置補間して対応する部位の画像をサムネイル画像データで表示した後、RAWデータの拡大画像で置き換えるようにしてもよい。
(2)実施例の動作
以上の構成において、この実施例のシステムに係る電子スチルカメラ1では(図1)、ユーザーが設定したシャッター速度、絞り等により図示しない光学系で撮像素子3の撮像面に光学像が形成され、ユーザーによる操作子の操作によりこの光学像の撮像結果が撮像素子3から出力されて前処理回路4、光学補正回路5で処理され、撮像結果の画質補正前の画像データであるRAWデータDRが生成される。またこのRAWデータDRが画像処理回路6で画質補正されて表示部で表示される。
この電子スチルカメラ1では、この表示部に表示された撮像結果の確認により、ユーザーが不必要と判断した撮像結果については、何ら保存されることなく破棄されるのに対し、ユーザーが必要と判断した撮像結果については、ユーザーにより指示された保存形態で記録媒体9に記録される。すなわちこの場合、ユーザーがEXIFのファイルでの記録を指示している場合、画質補正済みの画像データがエンコーダ7でデータ圧縮されて、画質補正済みのサムネイル画像データ、撮影情報と共に、EXIFのファイルにまとめられ、このEXIFのファイルが記録媒体9に記録される。これに対してユーザーがRAWデータDRでの撮像結果の記録を指示している場合、RAWデータDR、このRAWデータDRを間引きして作成されたサムネイル画像データDT、画像処理回路6における画質補正処理を特定する画質補正情報を有する撮影時の撮影情報DS0等によりRAWデータファイルが作成され、このRAWデータファイルが記録媒体9に記録される。
従ってこのRAWデータファイルは、RAWデータDRにより撮像結果が記録され、このRAWデータDRの撮像結果をサムネイル画像でユーザーに紹介する場合には、サムネイル画像データDTを画質補正情報で画質補正して、撮影時、ユーザーが確認した画質の撮像結果をサムネイル画像で表示することができる。ここでこのサムネイル画像データを画質補正情報で画質補正して表示する処理は、RAWデータDRからサムネイル画像データを生成しなくてもよいことから、短時間で表示して撮像結果を確認することができ、ユーザーの使い勝手を従来に比して一段と向上することができる。
実際上、RAWデータは、大容量であることから、記録媒体からロードするだけでも、結構な時間を要する。しかしながらこの実施例によれば、ファイル先頭からRAWデータの記録開始位置までの、RAWデータに比して格段的に少ないデータ量をロードして処理すれば良いことから、従来に比して極めて短時間で撮像結果を表示することができ、ユーザーの使い勝手を向上することができる。
また電子スチルカメラ1では、このRAWデータファイル(図2)のファイル先頭側がEXIFファイルと同様に、メイン画像データの情報、JPEGによりデータ圧縮した画質補正済みのサムネイル画像データ等により形成され、末尾にRAWデータDRが割り当てられる。従ってこの電子スチルカメラ1では、このRAWデータファイルの途中に記録されたフィールドを処理困難な各種のアプリケーションプログラムによっても、RAWデータDRについては処理可能に、またJPEGによりデータ圧縮した画質補正済みのサムネイル画像データについては、表示可能とすることができ、このRAWデータファイルの汎用性を高めることができる。なおEXIFファイルでは、データ圧縮した画質補正済みのサムネイル画像データに代えて、データ圧縮する前のサムネイル画像データを適用することも可能であることから、データ圧縮した画質補正済みのサムネイル画像データに代えて、データ圧縮する前のサムネイル画像データを適用するようにしてもよい。
またこの電子スチルカメラ1では、このRAWデータファイルが、撮影時の撮影情報DS0に対応する編集処理の撮影情報DS1〜DS3を追加記録可能に、事前にフィールドが確保されて生成される。従ってこのRAWデータファイルの編集処理では、撮影時の撮影情報DS0に対応する編集処理の撮影情報DS1〜DS3を追加記録することにより、また撮影時の撮影情報DS0に代えて、この編集処理の撮影情報DS1〜DS3でサムネイル画像データを処理することにより、従来に比して短時間で編集結果を反映させたサムネイル画像でRAWデータの撮像結果を紹介することができ、一段とユーザーの使い勝手を向上することができる。
なお電子スチルカメラにおける撮像結果の記録は、このようなRAWデータによる方法以外に、EXIFファイルのように、画像処理済みの画像データをデータ圧縮して記録する方法がある。しかしながらこのEXIFファイルでは、このデータ圧縮した画像処理済みの画像データに対応するように、画像処理済みのサムネイル画像データを記録することから、編集処理による画質の変化が反映されるように、サムネイル画像を表示することが困難な特徴がある。これに対してこの実施例のRAWデータファイルでは、上述した編集処理の撮影情報の利用により、編集処理による画質の変化をサムネイル画像の表示に反映させることができ、ユーザーの使い勝手を向上することができる。
またこの撮影時の撮影情報には、画像処理回路6における画質補正処理を特定する画質補正情報に加えて、シャッター速度、絞り等の光学系の設定の情報が含まれる。従って編集処理では、電子スチルカメラ1における撮影時の操作に対応する各種の設定を変更して種々に編集処理することができる。
しかしながらRAWデータを処理する各種の編集処理では、ノイズリダクションの調整量を可変したり、またシャープネスを調整したりする場合がある。またフォーカスを確認する場合もある。このような場合には、サムネイル画像では処理結果を確認し得ず、撮像結果の細部を詳細に検討することが必要になる。そこでこのRAWデータファイルでは、このように細部の確認のための領域設定用の基準情報として、合焦位置情報、背景位置情報、顔位置情報等が設けられ、これらの情報が撮影時の情報として記録される(図2)。
従ってこの実施例のRAWデータファイルによれば、編集処理時、RAWデータの画像からユーザーの所望する部位を部分的に拡大して表示する場合に、この領域設定用の基準情報に基づいて、この拡大して表示する部位を簡易かつ確実に設定することができ、撮像結果の細部の確認に要する時間を従来に比して短くすることができる。
すなわちこのようにして記録媒体9に記録された撮像結果は、この記録媒体9がコンピュータ21に装着されて(図3)、ユーザーの操作により、サムネイル画像データ、撮影時の撮影情報DS0が順次再生され、このサムネイル画像データが撮影時の撮影情報DS0で画質補正処理されて一覧表示される(図4〜図6)。また所定のフォルダにダウンロードされた後、一覧表示される。従ってユーザーは、RAWデータファイルの撮像結果をサムネイル画像で一覧表示することにより、従来に比して一段と短時間でサムネイル画像が提供され、従来に比して一段と使い勝手を向上することができる。
またこのようにして撮像結果をサムネイル画像により一覧表示する際に、必要に応じて撮影時の撮影情報DS0に代えて、編集処理の撮影情報DS1〜DS3でサムネイル画像データが画質補正されて表示され、編集処理による画質の変化を反映させてRAWデータの撮像結果をサムネイル画像で一覧表示することができる。
またこの一覧表示において、撮像結果における輝度分布、色のヒストグラム等の、画像データの解析結果の表示が指示された場合には、サムネイル画像データの処理により表示に供する解析結果が検出され、この解析結果による特性曲線がサムネイル画像と共に表示される(図5(B))。この表示にあっても、この実施例では、サムネイル画像データの解析により実行されることにより、格段的に短時間で解析結果を取得して表示することができ、従来に比してユーザーの使い勝手を向上することができる。
すなわちRAWデータの撮像結果は、このようにしてサムネイル画像が表示された状態で、ユーザーの操作に応動して撮影時の撮影情報DS0等が表示され(図12及び図13)、編集用のメニュー画面M6が表示され(図14)、またこの編集用のメニュー画面M6におけるユーザーの操作に応動して、サムネイル画像データが画質補正処理されてプレビュー画面M7が表示され(図4)、またこのプレビュー画面M7に表示された撮像結果の解析結果が表示される(図14、M8)。
またこのようにしてプレビューの処理を実行する際に、サブウインドウM3による拡大表示、メイン画面M1における全画面表示が指示されている場合には、プレビュー画面による表示と連動して画質を補正した撮像結果がこれらサブウインドウM3、メイン画面M1に表示される。またプレビューの表示の一部領域の拡大表示が指示された場合には、サブウインドウM3、メイン画面M1にこの領域が拡大表示される。
この処理において、撮像結果は、始めにユーザーが指示した条件でサムネイル画像データDTが画質補正処理されて、これらサブウインドウM3、メイン画面M1に表示された後、バックグラウンドの処理によりRAWデータDRが処理されて、これらサブウインドウM3、メイン画面M1の表示が、このRAWデータDRの表示に置き換えられる。
従ってユーザーは、編集処理に係る各種の設定量を可変した場合に、この設定量の可変による画質の変化を即座に確認することができ、使い勝手を向上することができる。またバックグラウンドの処理によりRAWデータDRを処理して表示を置き換えることにより、最終的な編集結果の詳細な確認については、実際に編集処理したRAWデータDRの画像で確認することができ、使い勝手を向上することができる。
このシステムでは、このようにして撮影時の撮影情報に対応するように、編集作業の撮影情報を種々に変更してユーザーが編集結果の保存を指示すると、この編集作業の撮影情報がRAWデータファイルの対応するフィールドに追加記録され、以降のファイルの再生において、編集結果による画質をサムネイル画像による表示に反映させることができる。
これに対してサムネイル画像の一覧表示、各画像の編集処理において、細部の確認を要する場合、コンピュータ21では、ユーザーの操作に応動して確認する領域の画像データがRAWデータから切り出され、この切り出された画像データが対応する画質補正処理を受けた後、拡大表示される。
すなわちサムネイル画像の一覧表示では、各サムネイル画像に対応して合焦位置の細部がそれぞれ拡大表示され(図5(C))、また合焦位置と背景とがそれぞれ拡大表示される(図9)。このときこのコンピュータ21では、拡大表示する領域の画像データだけ、RAWデータが選択的に取得されて画質補正されることから、全画面分のRAWデータを読み出した後、画質補正し、その後、部分的に拡大表示する場合に比して、格段的に短い時間で細部を確認することができ、ユーザーの使い勝手を向上することができる。
またこのときRAWデータに設定された領域設定用の基準情報に基づいて、RAWデータから切り出す領域が設定され、この設定した領域で合焦位置、背景位置、顔位置等が切り出される。従ってこのコンピュータ21では、例えばサムネイル画像の表示で拡大表示する領域の選定を受け付ける等の処理を別途実行しなくても、ユーザーの確認したい箇所を、迅速かつ正確に拡大表示することができ、これによっても細部の確認に要する時間を従来に比して短くすることができる。
すなわちこの実施例では、この基準情報が、合焦位置情報、背景位置情報、顔位置情報等であることから、合焦位置、背景、顔等を迅速かつ正確に拡大表示することができ、これらの各部の確認に要する時間を従来に比して短くすることができる。
具体的に、このような合焦位置、顔位置等を確認してノイズリダクション処理結果等を確認して、調整量の過不足を詳細に検討することができる。
これに対して編集処理時には、サムネイル画像の一覧表示でユーザーが選択した撮像結果のプレビュー画像が表示され、このプレビュー画像において、拡大表示する部位が枠Wで囲まれて表示され(図14、M7)、この部位の拡大画像が表示される。この場合も、この拡大表示する領域は、RAWデータファイルに設定された基準情報に基づいて設定され、またこの拡大表示する領域に対応するようにプレビュー画面に枠Wが表示される。またこの拡大表示する領域のRAWデータが選択的に取得された画質補正されて表示される。またその後、残りの領域を含む全画面のRAWデータが画質補正されて画像メモリに格納され、拡大表示する部位がスクロール可能となる(図16)。
またこの拡大表示した状態で、ユーザーがノイズリダクションの調整量を可変すると、この調整量の分だけ画質補正量が補正されて拡大表示が更新される。このときユーザーが比較対象の拡大表示を指示している場合、ユーザーの指示に従って調整量を可変前の例えば撮影時の画質による対応する部位の拡大表示、同様に画質補正した背景部分の拡大表示等が実行され(図17、図18)、この場合も、RAWデータファイルに記録された基準情報に基づいて所望する箇所の詳細を簡易かつ確実に確認することができる。
(3)実施例の効果
以上の構成によれば、RAWデータを部分的に切り出し、画質補正して表示することにより、撮像結果の細部の確認に要する時間を従来に比して短くすることができる。
またこの切り出す領域を撮像結果のファイルに設けられた領域設定用の基準情報に基づいて実行することにより、簡易かつ確実に所望する箇所の詳細を確認することができる。
またこの領域設定用の基準情報が、撮像結果において合焦している位置を示す合焦情報であることから、合焦している箇所の詳細を簡易かつ確実に確認することができる。
またこの画質補正が、撮像結果の高域成分を可変する処理であることから、より具体的にノイズ抑圧処理であることから、過度な高域成分の抑圧等を簡易に確認することができる。
またこの切り出した領域の拡大表示が、撮像結果のファイルの一覧表示であることから、例えば動きのある被写体を連続して撮影した複数枚の撮像結果から最もシャープな撮像結果を選択する等の作業を簡略化することができる。
またサムネイル画像を表示した後、切り出した画像で置き換えることにより、確認に要するユーザーのいらいら感を低減させることができる。
また一覧表示でユーザーが選択した撮像結果について、画質補正前の画像データを選択的に取得して画質補正して表示することにより、ユーザーの所望する画像の詳細を簡易かつ迅速に確認することができる。
またユーザーによる操作に応動して画質補正量を可変することにより、補正結果を即座に確認することができる。
1……電子スチルカメラ、2、23……中央処理ユニット、3……撮像素子、4……前処理回路、5……光学補正回路、6……画像処理回路、7……エンコーダ、9……記録媒体、10……RAWデータファイル生成回路