JP2010124114A - デジタルカメラおよび画像データ処理プログラム - Google Patents

Abstract

【課題】
従来、容量の大きいＲＡＷデータを保存するか、ＲＡＷデータを復元するための多くのパラメータなどを記憶しておかなければならず、保存するデータ量が多くなるという問題があった。
【解決手段】
本発明に係るデジタルカメラは、被写体光を電気信号に変換して第１画像データを生成する撮像部と、前記撮像部が生成した第１画像データに画像変換処理を施して第２画像データに変換する画像変換処理部と、前記第２画像データに画像逆変換処理を施して第３画像データを生成する画像逆変換処理部と、前記第３画像データと前記第１画像データとの差分データを生成する差分データ生成部と、前記第２画像データと前記差分データとを関連付けて記憶媒体に記録するデータ記録部とを有することを特徴とする。
【選択図】 図２

Description

本発明は、画像データ処理技術に関する。

一般的なデジタルカメラは、撮影時に撮像素子から得られる生の画像データ（ＲＡＷデータ）に対して、ホワイトバランス処理，ディベイヤ処理，色変換処理，ガンマ補正処理およびＪＰＥＧ圧縮処理などを行った後、作成されたＪＰＥＧデータを記憶媒体に記録している。一方、撮影後の画像に画像補正（色補正やガンマ特性の変更など）を行う場合、撮影時の情報が欠落しているＪＰＥＧデータに画像処理を行うよりも、ＲＡＷデータに画像処理を行った方が画質が損なわれないという利点がある。そこで、撮影時にＪＰＥＧデータと共にＲＡＷデータを記憶媒体に記録するようにしたデジタルカメラが使われている。

ところが、撮影毎にＪＰＥＧデータとＲＡＷデータの２つの画像データを保存しなければならず、データサイズの大きいＲＡＷデータの場合、記憶媒体に記憶できる画像枚数が少なくなるという問題がある。そこで、例えばＲＡＷデータからＪＰＥＧデータを作成する時に行われるホワイトバランス処理，ディベイヤ処理，色変換処理，ガンマ補正処理および画像圧縮処理などの各処理毎の正確なパラメータをサブファイルとして記憶しておき、このサブファイルを用いてＪＰＥＧデータから元のＲＡＷデータを再生する方法が考えられている（例えば、特許文献１参照）。
特開２００２−１５２６８０号公報

ところが、従来技術では元のＲＡＷデータを再生するために、各処理毎に変換処理時と同じパラメータを記憶しておかなければならず、パラメータデータのデータ量が多くなるという問題があった。特に、デジタルカメラの機種毎にＲＡＷデータからＪＰＥＧデータに変換するまでの処理自体が異なる場合があり、元のＲＡＷデータを再生するにはＪＰＥＧデータを作成する時と全く同じ処理を行うことができるハードウェアやソフトウェアが必要であった。

本発明の目的は、保存するデータ量が少なく且つ容易に実用レベルのＲＡＷデータを再生することができるデジタルカメラおよび画像データ処理プログラムを提供することである。

本発明に係るデジタルカメラは、被写体光を電気信号に変換して第１画像データを生成する撮像部と、前記撮像部が生成した第１画像データに画像変換処理を施して第２画像データに変換する画像変換処理部と、前記第２画像データに画像逆変換処理を施して第３画像データを生成する画像逆変換処理部と、前記第３画像データと前記第１画像データとの差分データを生成する差分データ生成部と、前記第２画像データと前記差分データとを関連付けて記憶媒体に記録するデータ記録部とを有することを特徴とする。

また、好ましくは、前記画像変換処理部が行う画像変換処理は、所定の画像補正処理と所定の画像圧縮処理とで構成され、前記画像逆変換処理部が行う画像逆変換処理は、所定の画像伸長処理で構成されることを特徴とする。

また、好ましくは、前記画像変換処理部が行う前記画像変換処理は、所定の画像補正処理と所定の画像圧縮処理とで構成され、前記画像逆変換処理部が行う前記画像逆変換処理は、所定の画像伸長処理と所定の画像逆補正処理とで構成されることを特徴とする。

また、好ましくは、前記画像変換処理部が行う前記画像変換処理と前記画像逆変換処理部が行う前記画像逆変換処理は必ずしも同一ではないことを特徴とする。

また、好ましくは、前記第１画像データをＲＡＷデータ、前記第２画像データをＪＰＥＧデータで構成することを特徴とする。

また、好ましくは、前記画像逆変換処理部が作成する前記第３画像データは、前記第１画像データの色空間に合致する画像データであることを特徴とする。

また、好ましくは、前記データ記録部は、前記第２画像データと前記差分データとをそれぞれ別ファイルとして記憶媒体に記録することを特徴とする。

また、好ましくは、前記データ記録部は、前記差分データを前記第２画像データのヘッダ情報として記憶媒体に記録することを特徴とする。

また、好ましくは、前記差分データ生成部が生成した差分データに所定の変換処理を施して第２差分データに変換する差分データ変換部を更に設け、前記データ記録部は、前記差分データの代わりに前記第２差分データと前記第２画像データとを関連付けて記憶媒体に記録することを特徴とする。

本発明に係る画像データ処理プログラムは、記憶媒体に記憶された画像データに対して画像処理を行うコンピュータで実行される画像データ処理プログラムであって、記憶媒体から第１画像データを入力する画像入力手順と、前記画像入力手順が入力した第１画像データに画像変換処理を施して第２画像データに変換する画像変換処理手順と、前記第２画像データに逆変換処理を施して第３画像データを生成する画像逆変換処理手順と、前記第３画像データと前記第１画像データとの差分データを生成する差分データ生成手順と、前記第２画像データと前記差分データとを関連付けて記憶媒体に記録するデータ記録手順とを有することを特徴とする。

本発明に係るデジタルカメラおよび画像データ処理プログラムは、保存するデータ量が少なく且つ容易に実用レベルのＲＡＷデータを再生することができる。

以下、本発明に係るデジタルカメラおよび画像データ処理プログラムに関する実施形態について図面を用いて詳しく説明する。

図１は、本実施形態に係るデジタルカメラ１０１の構成を示すブロック図である。尚、本実施形態に係るデジタルカメラ１０１は、本発明に係る画像データ処理プログラムを含む。図１において、デジタルカメラ１０１は、撮影光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、Ａ／Ｄ変換部１０６と、画像バッファ１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、メモリカードＩ／Ｆ１１１と、操作部１１２とで構成される。

図１において、撮影光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、撮影光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、絞り１０２ａを有している。

撮像素子１０４の受光面には、二次元状に光電変換部が配置されており、各光電変換部に入射された光量に応じて電気信号に変換し、ＡＦＥ１０５に出力する。

ＡＦＥ１０５は、撮像素子１０４から出力される電気信号のノイズ除去や増幅などを行って、Ａ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、ＡＦＥ１０５から出力される電気信号をデジタル信号に変換し、１画面分のデジタル信号をＲＡＷ形式の画像データ（以降、ＲＡＷデータと称する）として画像バッファ１０７に一時的に記憶する。尚、ＲＡＷデータとは、撮像素子１０４から読み出した加工されていない光量リニアな生の画像データのことで、撮像素子１０４を構成するベイヤー配列の画素データで構成される。また、画像バッファ１０７は画像処理を行う際の画像バッファや表示部１１０に画像を表示する際の表示用画像バッファとしても利用される。

制御部１０８は、画像バッファ１０７に一時的に記憶されている画像データに対して、ホワイトバランス処理，ベイヤ補間処理（ディベイヤ処理），色補正処理（色マトリクス処理），ガンマ変換処理およびＪＰＥＧ圧縮処理などの画像処理を実行する。そして、ＪＰＥＧ圧縮後のＪＰＥＧ形式の画像データ（以降、ＪＰＥＧデータと称する）は、メモリカードＩ／Ｆ１１１を介してメモリカード１１１ａに保存される。また、本実施形態では、制御部１０８は、ＲＡＷデータとＪＰＥＧデータとの差分データもメモリカード１１１ａに保存する。尚、差分データについては、後で詳しく説明する。

メモリ１０９は、デジタルカメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータや設定値を記憶する。尚、メモリカード１１１ａに保存する画像データや差分データなどをメモリ１０９に保存するようにしても構わない。

表示部１１０は、制御部１０８の指令に応じて、撮影画像やメニュー画面などを表示する。

操作部１１２は、電源ボタン、レリーズボタン、カーソルキーなどの操作ボタンで構成される。ユーザーは、これらの操作ボタンを操作してデジタルカメラ１０１を操作する。これらの操作ボタンの操作情報は制御部１０８に出力され、制御部１０８は、操作部１１２から入力する操作情報に応じて、デジタルカメラ１０１の全体の動作を制御する。

次に、図１の制御部１０８について詳しく説明する。制御部１０８は、内部に予め記憶されているプログラムに従って動作し、デジタルカメラ１０１の各部を制御する。制御部１０８は、撮影処理部１２１と、ＷＢ（ホワイトバランス）処理部１２２と、ベイヤ補間部１２３と、色補正処理部１２４と、ガンマ変換部１２５と、ＪＰＥＧ処理部１２６と、逆変換処理部１２７と、差分データ処理部１２８と、データ記録部１２９とで構成される。尚、本実施形態では説明が分かり易いように、ＷＢ処理部１２２，ベイヤ補間部１２３，色補正処理部１２４，ガンマ変換部１２５，ＪＰＥＧ処理部１２６，逆変換処理部１２７，差分データ処理部１２８，データ記録部１２９などは、制御部１０８に含めて描いてあるが、制御部１０８とは別にハードウェアなどの回路で構成しても構わない。

撮影処理部１２１は、撮影する画像のフォーカス制御や露出制御などを行う。例えば、フォーカス制御は、画像バッファ１０７に取り込まれた画像から焦点位置を求めて撮影光学系１０２のフォーカスレンズの位置を移動する。露出制御は、画像バッファ１０７に取り込まれた画像の測光を行い、適正露光になるように、撮影光学系１０２の絞り１０２ａの絞り値やメカニカルシャッタ１０３のシャッタ速度などを決定する。尚、これらの処理はプレビュー画像の撮影時に撮像素子１０４を介して画像バッファ１０７に取り込まれた画像を用いて行われるが、専用のＡＦセンサやＡＥセンサを用いてフォーカス制御や露出制御を行っても構わない。また、プレビュー画像の撮影時は、メカニカルシャッタ１０３を常に開放状態にして撮像素子１０４の露光時間によってシャッタ速度を制御する電子シャッタで撮影を行う。ここで、プレビュー画像とは、撮像素子１０４で時間的に連続して撮影される動画像を表示部１１０に表示して、撮影者が撮影構図などを決めるための画像である。そして、撮影者が操作部１１２のレリーズボタンを押下すると、フォーカス制御や露出制御などが行われた後、本撮影された画像データ（ＲＡＷデータ）が画像バッファ１０７に一時的に記憶される。

次に、制御部１０８のＷＢ処理部１２２，ベイヤ補間部１２３，色補正処理部１２４，ガンマ変換部１２５，ＪＰＥＧ処理部１２６，逆変換処理部１２７，差分データ処理部１２８およびデータ記録部１２９について、図２を用いて詳しく説明する。

ＷＢ処理部１２２は、画像バッファ１０７に一時的に取り込まれたＲＡＷデータに対してホワイトバランス処理を行い、再び画像バッファ１０７に記憶する。ホワイトバランス処理は、環境光の特性に依らず無彩色の被写体が無彩色な画像として撮影されるように調整する処理である。

ベイヤ補間部１２３は、画像バッファ１０７に記憶されているホワイトバランス処理後の画像データに対してベイヤ補間（色補間）処理を行い、再び画像バッファ１０７に記憶する。ベイヤ補間処理は、撮像素子１０４のカラーフィルタの配列がベイヤ配列の場合に、ベイヤ配列の画像データを画素単位でＲＧＢ形式の画像データに変換する処理（ディベイヤ処理）である。図３にベイヤ配列の画像データとディベイヤ処理後の画像データの画素配置を示す。尚、図３は、分かり易いように、撮像素子１０４が４行４列（行ｒ１からｒ４，列ｃ１からｃ４）の１６個の画素で構成されている場合の例を示している。図３（ａ）はベイヤ配列の画像データの例で、１行目ｒ１はＲａ，Ｇａ，Ｒｂ，ＧｂのようにＲ（赤）とＧ（緑）の画素が交互に配置されている。２行目ｒ２はＧｃ，Ｂａ，Ｇｄ，ＢｂのようにＧ（緑）とＢ（青）の画素が交互に配置されている。同様に、３行目ｒ３はＲとＧの画素が交互に配置され、４行目ｒ４はＧとＢの画素が交互に配置されている。ベイヤ補間部１２３は、図３（ａ）に示すようにベイヤ配列の画像データを図３（ｂ）に示すようなＲＧＢ形式の画像データに変換する。ここで、図３（ｂ）のＲＧＢ形式の画像データは、各画素毎にＲＧＢ３色のデータを有する。尚、図３（ａ）の各行ｒ１からｒ４と各列ｃ１からｃ４は、図３（ｂ）の各行ｒ１からｒ４と各列ｃ１からｃ４にそれぞれ対応し、１画面を構成する画素数は図３（ａ）と同じ４×４の１６画素である。ここで、本実施形態では、撮像素子１０４はベイヤ配列のカラーフィルタを有するものとし、ＲＡＷデータはベイヤ配列の画像データであるものとして説明するが、ベイヤ配列以外の配列の画像データであってもＲＧＢ形式の画像データに変換すれば同様に実現できる。

色補正処理部１２４は、画像バッファ１０７に記憶されているディベイヤ処理後の画像データに対して色補正処理を行い、再び画像バッファ１０７に記憶する。色補正処理は、彩度などの色補正を行うマトリクス演算処理である。

ガンマ変換部１２５は、画像バッファ１０７に記憶されている色補正処理処理後の画像データに対してガンマ変換を行い、再び画像バッファ１０７に記憶する。ガンマ変換は、撮影された画像の階調と表示部１１０などに表示する際の輝度が比例関係になるように補正する非線形の階調変換処理である。

ＪＰＥＧ処理部１２６は、画像バッファ１０７に記憶されているガンマ変換後の画像データに対してＪＰＥＧ圧縮処理を行い、再び画像バッファ１０７に記憶する。ＪＰＥＧ圧縮処理は、ＪＰＥＧ規格に準拠した画像圧縮処理で、圧縮処理する前に図３（ｂ）で説明したＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換する。ＹＵＶ形式の画像データは、例えば、輝度成分を示すＹ、Ｇ（緑）とＲ（赤）の色差成分Ｃｒを示すＵ、Ｇ（緑）とＢ（青）の色差成分Ｃｂを示すＶで構成される画像データである。図４は、図３のＲＧＢ形式の画像データに対応させて、ＹＵＶ形式（４：２：２の場合）の画像データの様子を示した図である。図４（ａ）に示すように輝度成分Ｙは４×４の１６画素分のデータを有するが、図４（ｂ）に示すように色差成分ＵおよびＶは列方向に２画素ずつ（列ｃ１とｃ２および列ｃ３とｃ４）が同じ値を有し、半分のデータ量に間引かれる。このように、ＪＰＥＧ処理部１２６は、輝度成分Ｙと色差成分ＵＶとに分けて直交変換を行い、さらに高周波成分を圧縮する量子化テーブルやランレングス符号化などを行って画像圧縮後のＪＰＥＧデータを作成する。尚、ＪＰＥＧ圧縮処理後のＪＰＥＧデータは画像バッファ１０７に一時的に記憶されると共にメモリカード１１１ａに保存される。また、メモリカード１１１ａに保存されているＪＰＥＧデータを読み出して表示部１１０に画像を表示する場合（画像再生時）は、ＪＰＥＧ処理部１２６は、メモリカード１１１ａに保存されているＪＰＥＧデータに対してＪＰＥＧ伸長処理を行い、ＹＵＶ形式やＲＧＢ型式の画像データに変換して画像バッファ１０７に一時的に記憶し、表示部１１０に画像を表示する。

逆変換処理部１２７は、画像バッファ１０７に記憶されているＪＰＥＧデータをＪＰＥＧ伸長処理した画像データに対して予め設定された逆変換処理を行う。予め設定された逆変換処理は、例えば、逆ガンマ変換処理、逆色補正処理、逆ＷＢ処理などである。ここで、本実施形態で行う逆変換処理は、元のＲＡＷデータそのものを再生する可逆処理である必要はない。例えば、逆ガンマ変換処理は、先に説明したガンマ変換部１２５が行うガンマ特性と全く同一の逆ガンマ特性を用いる必要はない。同様に、逆色補正処理や逆ＷＢ処理についても、先に説明した色補正処理部１２４やＷＢ処理部１２２と全く同一の逆処理を行う必要はない。但し、逆変換処理部１２７の処理後の画像データがＲＡＷデータにできるだけ近くなる方がよい。これにより、後に説明する差分データをできるだけ小さくすることができる。

ここで、逆ガンマ変換処理の場合について図５を用いて説明する。図５（ａ）はガンマ変換部１２５が行うガンマ特性を示し、その逆ガンマ特性は図５（ｂ）のような特性になる。本実施形態では、例えば、図５（ａ）のガンマ特性を近似した図５（ｃ）に示すような近似ガンマ特性を用いて図５（ｄ）に示すような近似逆ガンマ特性を求める。そして、逆変換処理部１２７は、図５（ｄ）の近似逆ガンマ特性を用いて逆ガンマ変換処理を行う。この結果、図５（ｂ）のようなアナログ的に変化する逆ガンマ特性を用いるよりも制御部１０８の処理負荷を小さくできる。また、ガンマ特性のパラメータを記憶する際のデータ量も図５（ｂ）の逆ガンマ特性に比べて小さくできる。同様に、逆色補正処理や逆ＷＢ処理についても、色補正処理部１２４やＷＢ処理部１２２とは異なる簡易的な処理を行っても構わない。尚、逆変換処理部１２７が行う逆変換処理で用いた近似逆ガンマ特性などのパラメータデータは、画像バッファ１０７に一時的に記憶され、後に作成する差分データやＪＰＥＧデータに関連付けられて、最終的にメモリカード１１１ａに保存される。ここで、パラメータデータには、どの逆変換処理を行ったかを示す情報も含まれる。例えば、逆ガンマ変換処理を行った場合は、逆ガンマ変換処理を行ったという情報と、近似逆ガンマ特性データとがパラメータデータとして保存される。

次に、差分データ処理部１２８は、逆変換処理部１２７の処理後の画像データと、ＲＡＷデータとの差分データを作成する。尚、差分データの作成は対応する画素毎に行われる。ここで、逆変換処理部１２７の処理後の画像データは図３（ｂ）で説明したＲＧＢ形式の画像データであり、ＲＡＷデータは図３（ａ）で説明したようなベイヤ配列の画像データなので、例えば、画素（ｒ１，ｃ１）の差分データは（Ｒａ−Ｒ１）を計算する。同様に、画素（ｒ１，ｃ２）の差分データは（Ｇａ−Ｇ２）、画素（ｒ１，ｃ３）の差分データは（Ｒｂ−Ｒ３）、画素（ｒ１，ｃ４）の差分データは（Ｇｂ−Ｇ４）、画素（ｒ２，ｃ１）の差分データは（Ｇｃ−Ｇ５）、画素（ｒ２，ｃ２）の差分データは（Ｂａ−Ｂ６）・・・のように、各画素毎にＲＡＷデータの画素の色に対応するＲＧＢ形式の画像データの色を用いて差分データを計算する。図３（ａ）のＲＡＷデータと図３（ｂ）のＲＧＢ形式の画像データとの差分データの例を図６に示す。

ここで、逆変換処理部１２７が処理する元の画像データは、図７に示すようにＪＰＥＧデータを伸長処理したＪＰＥＧ伸長データでＲＧＢ各８ビットのデータである。従って、逆変換処理部１２７の処理後の画像データもＲＧＢ各８ビットのデータになる。一方、ＲＡＷデータは撮像素子１０４の階調を有し、通常１２ビット程度の階調数を有している。このため、差分を計算する際に階調数をいずれかに合わせる必要がある。本実施形態では、逆変換処理部１２７の処理後の画像データをＲＡＷデータの階調数（１２ビット）に合わせた後で差分を計算する。尚、逆変換処理部１２７の処理の中で逆変換処理と同時に階調数を変換するようにしても構わない。また、ＲＡＷデータの各画素に対応する色のみの階調数を変換し、それ以外の色の階調数は変換しなくても構わない。

このようにして、逆変換処理部１２７の処理後の画像データとＲＡＷデータとの差分を計算し、図７に示すようなＲＧＢ各１２ビットの階調の差分データが得られる。ここで、差分データの階調数について図８を用いて説明する。図８は差分データの一例を示した図である。図８において、縦軸は１２ビット階調に対応する（−２０４７）から（＋２０４８）の４０９６階調のファイルを示し、横軸は画素毎の差分値を示している。例えば、逆変換処理部１２７の処理後の画像データとＲＡＷデータとが全く同じデータであれば差分データは０になるが、ＪＰＥＧ圧縮処理時の不可逆性処理や近似逆ガンマ特性などの逆変換処理による誤差があるので、逆変換処理部１２７の処理後の画像データとＲＡＷデータとは必ずしも一致せず、図８に示すように誤差などが差分値として各画素に現れる。ところが、逆変換処理部１２７の処理後の画像データがＲＡＷデータに近い程、差分値が小さくなるので、図８の右側のスケールに示したように、例えば差分値の範囲が８ビット階調（−１２７から＋１２８の２５６階調）以内に収めることも可能である。この場合は、図７に示すように、ＲＧＢ各１２ビット階調の差分データの負号を除く上位４ビットを削減してＲＧＢ各８ビット階調の差分データとしても構わない。

さらに、求めた差分データのファイルサイズが小さくなるように圧縮しても構わない。例えば、ＪＰＥＧ圧縮処理と同様のＤＣＴ変換を各色毎に行い、ベクトル量子化や非線形量子化などの処理を行う。特に、差分データは値が小さく高周波成分が高いという特性があるので、小さな値を重点的に量子化する非線形量子化や高周波成分を効率的に量子化するベクトル量子化を用いることで圧縮率の向上を図ることができる。

データ記録部１２９は、画像バッファ１０７に記憶されているＪＰＥＧ処理部１２６が作成したＪＰＥＧデータと逆変換処理部１２７が逆変換処理に用いたパラメータデータおよび差分データ処理部１２８が作成した差分データとを関連付けてメモリカード１１１ａに保存する。

ここで、ＪＰＥＧデータと差分データおよびパラメータデータの記録方法について説明する。例えば、それぞれのデータを別ファイルとして保存する方法がある。この場合は、例えばＪＰＥＧデータのファイル名を「ａｂｃ．ｊｐｇ」，差分データのファイル名を「ａｂｃ．ｄｅｆ」，パラメータデータのファイル名を「ａｂｃ．ｐａｒ」などとして、同じファイル名で属性だけを変えて保存する。これにより、ＲＡＷデータを再生する際に、ＪＰＥＧデータのファイルに対応する差分データやパラメータデータのファイルを容易に検索することができる。

或いは、デジタルカメラのＥｘｉｆファイル形式を用いる場合は、ＪＰＥＧデータを保存するＥｘｉｆファイルのヘッダ情報として差分データやパラメータデータを格納しても構わない。これにより、１つのファイルにＪＰＥＧデータとこれに対応する差分データやパラメータデータを保存できるので、ＪＰＥＧデータに対応する差分データのファイルやパラメータデータのファイルを検索する必要がなくなる。尚、Ｅｘｉｆ規格のファイル形式ではなく、独自のファイル形式でＪＰＥＧデータと差分データおよびパラメータデータを保存しても構わない。

次に、本実施形態に係るデジタルカメラ１０１の撮影時の処理について図９のフローチャートを用いて説明する。尚、図９のフローチャートは、制御部１０８の内部に予め記憶されたプログラムによって動作する。以下、撮影者が操作部１１２のレリーズボタンを押下した後の処理から説明する。

（ステップＳ１０１）撮影者がレリーズボタンを押下すると、制御部１０８はメカニカルシャッタ１０３を開閉し、撮影光学系１０２を介して入射する被写体光は撮像素子１０４に受光される。

（ステップＳ１０２）制御部１０８は、撮像素子１０４が受光した被写体光を電気信号に変換してＡＦＥ１０５に出力する。

（ステップＳ１０３）制御部１０８は、ＡＦＥ１０５でノイズ除去や増幅などを行って、Ａ／Ｄ変換部１０６に出力する。

（ステップＳ１０４）制御部１０８は、ＡＦＥ１０５から出力されるアナログの電気信号をＡ／Ｄ変換部１０６でデジタルの画像データ（ＲＡＷデータ）に変換する。

（ステップＳ１０５）制御部１０８は、Ａ／Ｄ変換部１０６が出力するＲＡＷデータを画像バッファ１０７に一時的に記憶する。

（ステップＳ１０６）ＷＢ処理部１２２は、先に説明したようにホワイトバランス処理を実行する。

（ステップＳ１０７）ベイヤ補間部１２３は、先に説明したようにディベイヤ処理を実行する。

（ステップＳ１０８）色補正処理部１２４は、先に説明したように色補正のマトリクス演算処理を実行する。

（ステップＳ１０９）ガンマ変換部１２５は、先に説明したようにガンマ特性変換処理を実行する。

（ステップＳ１１０）ＪＰＥＧ処理部１２６は、先に説明したようにＪＰＥＧ圧縮処理を実行する。

（ステップＳ１１１）逆変換処理部１２７は、先に説明したようにＪＰＥＧ伸長処理を実行する。

（ステップＳ１１２）さらに、逆変換処理部１２７は、逆ガンマ変換処理，逆色補正処理，逆ＷＢ処理など予め設定された処理を実行する。尚、どの逆変換処理を行うかは、予め撮影者がメニュー画面で選択してデジタルカメラ１０１のメモリ１０９に記憶されているものとする。

（ステップＳ１１３）差分データ処理部１２８は、ステップＳ１０５で画像バッファ１０７に一時的に記憶しておいたＲＡＷデータとステップＳ１１２で逆変換処理部１２７が求めた画像データとの差分データを作成する。尚、この時、先に図７で説明したように、差分を取るデータ間の階調合わせが行われる。

（ステップＳ１１４）さらに、差分データ処理部１２８は、ステップＳ１１３で求めた差分データに対して、先に説明したようなビット削減処理や圧縮処理を行う。尚、本処理ステップは必ずしも行う必要はなく、ステップＳ１１３から次のステップＳ１１５に進んでも構わない。

（ステップＳ１１５）先に説明した制御部１０８のデータ記録部１２９は、ステップＳ１１０で作成したＪＰＥＧデータとステップＳ１１３またはステップＳ１１４で作成した差分データとを関連付けてメモリカード１１１ａに保存する。尚、データ記録部１２９は、ステップＳ１１２で逆変換処理部１２７が処理した際のパラメータデータ（例えば、近似逆ガンマ特性データなど）も一緒に記憶する。

次に、メモリ１１１ａに保存されたＪＰＥＧデータや差分データおよびパラメータデータを用いて実用レベルのＲＡＷデータを再生する際の再生処理について図１０のフローチャートを用いて説明する。尚、図１０のフローチャートは、制御部１０８の内部に予め記憶されたプログラムによって動作する。以下、デジタルカメラ１０１の表示部１１０にはメモリカード１１１ａに保存された画像や画像リストが表示され、撮影者がＲＡＷデータを再生したい画像を選択する処理から説明する。

（ステップＳ２０１）撮影者は、表示部１１０に表示されている画像や画像リストの中からＲＡＷデータを再生したい画像を選択する。尚、画像の選択は、操作部１１２のカーソルボタンなどの操作ボタンを用いて行われる。

（ステップＳ２０２）制御部１０８は、撮影者が選択した画像のＪＰＥＧデータをメモリカード１１１ａから読み出し、画像バッファ１０７に一時的に記憶される。

（ステップＳ２０３）制御部１０８は、ステップＳ２０２で読み出したＪＰＥＧデータに関連付けされた差分データおよびパラメータデータをメモリカード１１１ａから読み出す。尚、この時、ＪＰＥＧデータと差分データおよびパラメータデータとの関連付けの方法は先に説明した通りである。また、読み出された各データは、画像バッファ１０７に一時的に記憶される。

以降、メモリカード１１１ａから読み出したＪＰＥＧデータと差分データおよびパラメータデータを用いて実用レベルのＲＡＷデータを再生する処理を行う。尚、ＲＡＷデータの再生処理は、図７で説明した差分データの作成処理とは逆の処理である。以下、順番に説明する。

（ステップＳ２０４）制御部１０８は、画像バッファ１０７に読み出されたＪＰＥＧデータの伸長処理を行い、再び画像バッファ１０７に記憶する。

（ステップＳ２０５）制御部１０８は、画像バッファ１０７に記憶されたＪＰＥＧ伸長処理後の画像データに対して、パラメータデータを用いて逆変換処理を行い、再び画像バッファ１０７に記憶する。尚、逆変換処理は、例えば逆ガンマ変換処理などで、逆ガンマ特性データもパラメータデータとして読み出されている。

（ステップＳ２０６）制御部１０８は、逆ガンマ変換処理した画像データに差分データを加算して再生後のＲＡＷデータを求め、再び画像バッファ１０７に記憶する。

このように、本実施形態に係るデジタルカメラ１０１は、ＪＰＥＧデータと差分データおよび簡易なパラメータデータを保存しておくだけで、実用レベルのＲＡＷデータを再生することができる。特に、本実施形態に係るデジタルカメラ１０１は、ＪＰＥＧデータを逆変換処理してＲＡＷデータに近い画像データを作成し、この画像データとＲＡＷデータとの差分を求めるので、差分データ自体を小さくすることができ、ファイル容量を削減することができる。しかも、逆変換処理は、簡易な近似処理を用いるので、パラメータのデータ量を少なくでき、逆変換処理時の処理負荷も低減することができる。また、差分データに対してもビット削減処理や圧縮処理を行うことにより、データ量をさらに少なくすることができる。

尚、本実施形態では、デジタルカメラ１０１で図１０のフローチャートの処理を行ったが、ＪＰＥＧデータに関連付けして差分データおよびパラメータデータが保存されているメモリカード１１１ａをパソコンなどに装着して、ＲＡＷデータの再生処理を行うようにしても構わない。この場合は、図１０のフローチャートの処理を行う画像データ処理プログラムをパソコンなどにインストールして使用する。尚、画像データ処理プログラムは、ＣＤなどの記憶媒体に記憶して配布しても構わないし、インターネットなどの通信媒体を介してダウンロードするようにしても構わない。

また、撮影済みのＲＡＷデータが保存されたメモリカード１１１ａをパソコンに装着して、図９で説明したフローチャートの画像データ処理プログラムをパソコンで実行しても構わない。この場合は、図９のフローチャートのステップＳ１０１からＳ１０５の処理の代わりに、ユーザーがメモリカード１１１ａに保存された撮影済みのＲＡＷデータ選択して、メモリカード１１１ａからＲＡＷデータを読み出す処理を行った後、ステップＳ１０６以降は同様の処理をパソコン上で実行する。尚、ユーザーがメモリカード１１１ａに保存された撮影済みの複数のＲＡＷデータ選択して、一括してＪＰＥＧデータと差分データおよびパラメータデータを作成するようにしても構わない。これにより、例えばメモリカード１１１ａの空き容量が少なくなった時に、保存されている複数のＲＡＷデータを容量の小さい差分データおよびパラメータデータに置き換えることができるので、メモリカード１１１ａの空き容量を増やすことができる。しかも、ＲＡＷデータが必要になった場合は、実用レベルのＲＡＷデータを再生することができる。

尚、本実施形態ではＪＰＥＧデータを基にして逆変換処理してＲＡＷデータと差分データを求めるようにしたが、ＪＰＥＧデータを用いるのではなく、Ｅｘｉｆファイルのサムネイル画像として記憶される画像データを基にして差分データを作成するようにしても構わない。

また、ＲＡＷデータよりも画素数の少ない画像データとの差分を取って差分データを作成する場合は、ＲＡＷデータの画素数に合わせる処理を行う。例えば、ＲＡＷデータの画素数に合わせるために、差分データ作成用の画像データを高解像度化する補間処理を行ったり、単純にＲＡＷデータの複数画素に差分データ作成用の画像データの同じ画素を対応させて差分を取るなどの処理を行う。

以上、各実施形態において説明してきたように、本発明に係るデジタルカメラ１０１および画像データ処理プログラムは、ＲＡＷデータを保存する代わりにＲＡＷデータとＪＰＥＧデータから逆変換された画像データとの差分データを保存するので、保存するデータの容量を少なくすることができる。しかも、ＲＡＷデータが必要になった場合は、実用レベルのＲＡＷデータを再生することができる。

第１の実施形態に係るデジタルカメラ１０１のブロック図である。 ＲＡＷデータから差分データを作成する処理の流れを示すブロック図である。 ＲＡＷデータとＲＧＢデータの画素配置を示す説明図である。 ＹＵＶデータの画素配置を示す説明図である。 ガンマ特性と近似ガンマ特性を示す説明図である。 差分データの画素配置を示す説明図である。 差分処理と階調数との関係を示す説明図である。 差分データの階調数の一例を示す説明図である。 撮影時の制御部１０８の処理を示すフローチャートである。 再生時の制御部１０８の処理を示すフローチャートである。

符号の説明

１０１・・・デジタルカメラ １０２・・・撮影光学系
１０３・・・メカニカルシャッタ １０４・・・撮像素子
１０５・・・ＡＦＥ １０６・・・Ａ／Ｄ変換部
１０７・・・画像バッファ １０８・・・制御部
１０９・・・メモリ １１０・・・表示部
１１１・・・メモリカードＩ／Ｆ １１２・・・操作部
１２１・・・撮影処理部 １２２・・・ＷＢ処理部
１２３・・・ベイヤ補間部 １２４・・・色補正処理部
１２５・・・ガンマ変換部 １２６・・・ＪＰＥＧ処理部
１２７・・・逆変換処理部 １２８・・・差分データ処理部
１２９・・・データ記録部

Claims (10)

1. 被写体光を電気信号に変換して第１画像データを生成する撮像部と、
   前記撮像部が生成した第１画像データに画像変換処理を施して第２画像データに変換する画像変換処理部と、
   前記第２画像データに画像逆変換処理を施して第３画像データを生成する画像逆変換処理部と、
   前記第３画像データと前記第１画像データとの差分データを生成する差分データ生成部と、
   前記第２画像データと前記差分データとを関連付けて記憶媒体に記録するデータ記録部と
   を有することを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記画像変換処理部が行う画像変換処理は、所定の画像補正処理と所定の画像圧縮処理とで構成され、
   前記画像逆変換処理部が行う画像逆変換処理は、所定の画像伸長処理で構成される
   ことを特徴とするデジタルカメラ。
3. 請求項１に記載のデジタルカメラにおいて、
   前記画像変換処理部が行う前記画像変換処理は、所定の画像補正処理と所定の画像圧縮処理とで構成され、
   前記画像逆変換処理部が行う前記画像逆変換処理は、所定の画像伸長処理と所定の画像逆補正処理とで構成される
   ことを特徴とするデジタルカメラ。
4. 請求項１または２に記載のデジタルカメラにおいて、
   前記画像変換処理部が行う前記画像変換処理と前記画像逆変換処理部が行う前記画像逆変換処理は必ずしも同一ではないことを特徴とするデジタルカメラ。
5. 請求項１から４のいずれか一項に記載のデジタルカメラにおいて、
   前記第１画像データをＲＡＷデータ、前記第２画像データをＪＰＥＧデータで構成することを特徴とするデジタルカメラ。
6. 請求項１から５のいずれか一項に記載のデジタルカメラにおいて、
   前記画像逆変換処理部が作成する前記第３画像データは、前記第１画像データの色空間に合致する画像データである
   ことを特徴とするデジタルカメラ。
7. 請求項１から６のいずれか一項に記載のデジタルカメラにおいて、
   前記データ記録部は、前記第２画像データと前記差分データとをそれぞれ別ファイルとして記憶媒体に記録することを特徴とするデジタルカメラ。
8. 請求項１から６のいずれか一項に記載のデジタルカメラにおいて、
   前記データ記録部は、前記差分データを前記第２画像データのヘッダ情報として記憶媒体に記録することを特徴とするデジタルカメラ。
9. 請求項１から８のいずれか一項に記載のデジタルカメラにおいて、
   前記差分データ生成部が生成した差分データに所定の変換処理を施して第２差分データに変換する差分データ変換部を更に設け、
   前記データ記録部は、前記差分データの代わりに前記第２差分データと前記第２画像データとを関連付けて記憶媒体に記録する
   ことを特徴とするデジタルカメラ。
10. 記憶媒体に記憶された画像データに対して画像処理を行うコンピュータで実行される画像データ処理プログラムであって、
    記憶媒体から第１画像データを入力する画像入力手順と、
    前記画像入力手順が入力した第１画像データに画像変換処理を施して第２画像データに変換する画像変換処理手順と、
    前記第２画像データに逆変換処理を施して第３画像データを生成する画像逆変換処理手順と、
    前記第３画像データと前記第１画像データとの差分データを生成する差分データ生成手順と、
    前記第２画像データと前記差分データとを関連付けて記憶媒体に記録するデータ記録手順と
    を有することを特徴とする画像データ処理プログラム。

Images