JP2016092664A - デジタルカメラ、画像出力プログラムおよび画像記録プログラム - Google Patents

Abstract

【課題】低解像度用画像データにおいてモアレや偽色を低減すること。【解決手段】デジタルカメラ１００は、被写体を撮影して撮像画像データを生成する撮像手段と、撮像画像データを、所定数の画素を含む複数の画素の組に分割する分割手段と、画素の組に含まれる画素値の平均値を、画素の組ごとに算出して、低解像度用画像データを作成する低解像度用画像データ作成手段と、画素の組に含まれる画素のうちの１画素を除いた残りの画素の画素値を、画素の組ごとに抽出して、残余画像データを作成する残余画像データ抽出手段と、低解像度用画像データと残余画像データとを関連付けて記録媒体に記録する記録制御手段と、を備える。【選択図】図１

Description

本発明は、デジタルカメラ、画像出力プログラムおよび画像記録プログラムに関する。

撮像時のＲＡＷデータよりも画素数の少ない低解像度用ＲＡＷデータと、撮像時のＲＡＷデータから低解像度用ＲＡＷデータを除いた残余画像データとを作成して記録するカメラが知られている（特許文献１参照）。このように記録することで、比較的低解像度の出力装置に画像を出力する場合には、低解像度用ＲＡＷデータを用いることで、画像処理の負荷を低減することができる。一方、比較的高解像度の出力装置に画像を出力する場合には、低解像度用ＲＡＷデータと残余画像データとを用いて撮像時のＲＡＷデータを作成することで、高精細の画像を出力することができる。

特開２０１３−２１１７２０号公報

上述した従来技術では、撮像時のＲＡＷデータにおいて４つの画素の組ごとに画素値の平均値を算出し、４つの画素の画素値の中から当該平均値に最も近い画素値を代表値として抽出し、この代表値を低解像度用ＲＡＷデータの画素値とすることで、モアレや偽色などの発生を防止している。しかしながら、このようにして作成した低解像度用ＲＡＷデータにおいても、モアレや偽色が発生する場合があった。

（１）請求項１に記載のデジタルカメラは、被写体を撮影して撮像画像データを生成する撮像手段と、撮像画像データを、所定数の画素を含む複数の画素の組に分割する分割手段と、画素の組に含まれる画素値の平均値を、画素の組ごとに算出して、低解像度用画像データを作成する低解像度用画像データ作成手段と、画素の組に含まれる画素のうちの１画素を除いた残りの画素の画素値を、画素の組ごとに抽出して、残余画像データを作成する残余画像データ抽出手段と、低解像度用画像データと残余画像データとを関連付けて記録媒体に記録する記録制御手段と、を備えることを特徴とする。
（２）請求項５に記載の画像出力プログラムは、撮像画像データが所定数の画素を含む複数の画素の組に分割され、画素の組に含まれる画素値の平均値が画素の組ごとに算出されることにより作成される低解像度用画像データと、画素の組に含まれる画素のうちの１画素を除いた残りの画素の画素値が画素の組ごとに抽出されることにより作成される残余画像データとを入力する画像データ入力手順と、出力装置において画像出力に使用される画素数に基づいて、低解像度用画像データ、または低解像度用画像データおよび残余画像データを選択する選択手順と、選択手順により低解像度用画像データが選択された場合には、低解像度用画像データを用いて出力装置へ出力するための出力画像データを作成し、選択手順により低解像度用画像データおよび残余画像データが選択された場合には、低解像度用画像データおよび残余画像データから復元される撮像画像データを用いて出力装置へ出力するための出力画像データを作成する出力画像データ作成手順と、をコンピュータに実行させることを特徴とする。
（３）請求項８に記載の画像記録プログラムは、撮像手段により被写体を撮影して生成された撮像画像データを取得する取得手順と、撮像画像データを、所定数の画素を含む複数の画素の組に分割する分割手順と、画素の組に含まれる画素値の平均値を、画素の組ごとに算出して、低解像度用画像データを作成する低解像度用画像データ作成手順と、画素の組に含まれる画素のうちの１画素を除いた残りの画素の画素値を、画素の組ごとに抽出して、残余画像データを作成する残余画像データ抽出手順と、低解像度用画像データと残余画像データとを関連付けて記録媒体に記録する記録手順と、をコンピュータに実行させることを特徴とする。

本発明によれば、低解像度用画像データにおいてモアレや偽色を低減することができる。

デジタルカメラの構成を示すブロック図である。 画像記録処理の流れを示すフローチャートである。 撮像素子の画素配列を示す図である。 ベイヤー配列の４×４画素から低解像度用ＲＡＷデータを作成する場合の具体例を模式的に示した図である。 ベイヤー配列の４×４画素から低解像度用ＲＡＷデータを作成する場合の具体例をＲ、Ｇ、Ｂの各チャンネルごとに示した図である。 ４つの画素の画素値における平均値の算出を説明する図である。 Ｇチャンネルにおいて、ベイヤー配列の４×４画素から低解像度用ＲＡＷデータを作成する場合の別の具体例を示した図である。 残余画像データの具体例を示す図である。 画像表示処理の流れを示すフローチャートである。 撮像ＲＡＷデータを復元する方法の説明に用いる図である。 プログラムの提供の様子を示す図である。

図１は、本発明の一実施の形態におけるデジタルカメラの構成を示すブロック図である。デジタルカメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、デジタルカメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用されたりする。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、デジタルカメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やデジタルカメラ１００を設定するための設定メニューなどが表示される。

本実施の形態におけるデジタルカメラ１００では、制御装置１０４は、使用者による撮影指示に基づいて撮影を行う。このとき、制御装置１０４は、撮像素子１０３から入力される画像信号に対して画像処理を施さないＲＡＷデータを格納した画像ファイル（ＲＡＷファイル）と、撮像素子１０３から入力される画像信号に対して所定の画像処理を施して生成されるＪＰＥＧデータを格納した画像ファイル（ＪＰＥＧファイル）とを生成することができる。そして、制御装置１０４は、生成した画像ファイルをメモリカードスロット１０５へ出力して、メモリカードに記録する。なお、撮影時にＲＡＷファイルを記録するか（ＲＡＷ記録）、ＪＰＥＧファイルを記録するか（ＪＰＥＧ記録）は、使用者が任意に設定することが可能である。

ＪＰＥＧデータは、光電変換して得られたＲＧＢ３色画像信号に対し、ベイヤー補間、ホワイトバランス変換、マトリックス変換、γ変換などの変換を施した後に、データ圧縮された画像データであり、Ｂｉｔ精度は８ｂｉｔである。一方、ＲＡＷデータは、光電変換して得られたＲＧＢ３色画像信号に対して上記のような処理を行わず記録する。ＲＡＷ形式で記録した場合には、アプリケーションソフトウェアなどにより、ベイヤー補間、ホワイトバランス変換、マトリックス変換、γ変換などの変換を行なう。Ｂｉｔ精度は１２〜１４ｂｉｔである。

ＪＰＥＧファイルとＲＡＷファイルとを比較してみると、ＪＰＥＧファイルは、データ圧縮して記録すること、Ｂｉｔ精度が８Ｂｉｔであることなどから、ファイルサイズがＲＡＷファイルに比べて小さい。ＲＡＷファイルは撮像素子１０３により撮像されたデータをすべて記録するものであり、ＪＰＥＧファイルに対してファイルサイズが大きくなるものの、アプリケーションソフトウェアによる高精度な画像調整が可能である。

ＲＡＷデータの利用は、一般に処理負荷が大きく、この処理負荷は、画像処理の内容や撮像素子１０３の画素数に依存する。撮像素子１０３の画素数については、近年高画素のデジタルカメラが開発され、２４００万画素（６０４８×４０３２）程度のデジタルカメラが市販されている。

デジタルカメラの高画素化に対し、パーソナルコンピュータなどと共に使用されるディスプレイの画素数について見てみると、比較的高解像のもので１９２０×１２００画素程度であり、一般にはさらに低い解像度のものとなる。アプリケーションソフトウェアで画像を表示する場合は全画面表示以外では、ディスプレイの表示領域の一部を使用することになり、画像表示の画素数はさらに少なくなる。

そのため、上記のような高画素のデジタルカメラでＲＡＷ形式で記録した画像を、アプリケーションソフトウェアで表示する場合は、全画像データを一度メモリ上に読み込み縮小処理を施した上で表示することになる。デジタルカメラの画素数が多くなるほど処理負荷が大きくなり、コンピュータの使用可能メモリ量を超えるとスワップ処理を行うことになり、処理時間の増大を招くことになる。

そこで、本実施の形態のデジタルカメラ１００では、撮像素子１０３の画素数を有するＲＡＷデータ、すなわち撮像時のＲＡＷデータ（以下、撮像ＲＡＷデータと表記する）から、これよりも画素数の少ない低解像度用ＲＡＷデータを作成する。さらに、制御装置１０４は、撮像ＲＡＷデータから所定の画素位置の画素値を除いた残余画像データを抽出する。そして、制御装置１０４は、撮像ＲＡＷデータをメモリカードに記録するのではなく、低解像度用ＲＡＷデータと残余画像データとを関連付けてメモリカードに記録する。

このように記録することにより、画像を出力装置（例えばモニタやプリンタなど）に出力する際に、出力装置の解像度に応じた処理を行うことができる。比較的低解像度の出力装置に画像を出力する場合には、低解像度用ＲＡＷデータを用いて画像を出力することで、画像データの読み込み負荷、画像処理の負荷、およびメモリ消費量を低減でき、高速な処理を行うことができる。一方、比較的高解像度の出力装置に画像を出力する場合には、低解像度用ＲＡＷデータと残余画像データとを用いて撮像ＲＡＷデータを復元して画像を出力することで、出力装置において微細な情報を有した高精細の画像を扱うことができる。

図２は、本実施の形態における画像記録処理の流れを示すフローチャートである。図２に示す処理は、使用者によって操作部材１０１に含まれるレリーズボタンが操作されることにより、撮影が行われると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１において、制御装置１０４は、撮像素子１０３から入力される画像信号を取得して撮影処理を行う。その後、ステップＳ２へ進み、制御装置１０４は、撮影処理により得られた撮像ＲＡＷデータを取得して、バッファメモリに記憶する。ここでは、制御装置１０４は、メモリカードなどの記録媒体へのファイル記録は行わず、一時的な記憶領域に撮像ＲＡＷデータを保持する。図３は、撮像素子１０３の画素配列を示すものである。これはベイヤー配列と呼ばれるものであり、２×２の４画素のうちＲとＢが１画素、Ｇが２画素から構成される。撮像素子１０３の画素数は、例えば６０００×４０００であるとする。ＲＡＷ記録の場合は通常、この画素数分の画像データを連続して記録する。またｂｉｔ精度は１４ｂｉｔとする。

その後、ステップＳ３へ進み、制御装置１０４は、撮像ＲＡＷデータから低解像度用ＲＡＷデータを作成する。ここでは、制御装置１０４は、ベイヤー配列で構成された撮像ＲＡＷデータを４行４列（４×４）の画素ブロックに分割して処理を行う。すなわち、撮像ＲＡＷデータの画素数が６０００×４０００である場合には、撮像ＲＡＷデータは１５００×１０００個の画素ブロックに分割される。そして、制御装置１０４は、図４（ａ）に示すように４×４画素のベイヤー配列の画像データから、図４（ｂ）に示す２×２画素のベイヤー配列の画像データを低解像度用ＲＡＷデータとして作成する。したがって低解像度用ＲＡＷデータは、撮像ＲＡＷデータの画素数（６０００×４０００）の４分の１の画素数（３０００×２０００）をもつことになる。なお、以下の説明では、４×４の画素ブロック内の画素位置を水平方向ｘ（１〜４の整数）および垂直方向ｙ（１〜４の整数）を用いて（ｘ，ｙ）の形で示す。

図５は、図４をＲ、Ｇ、Ｂの各チャンネルごとに見た図である。制御装置１０４は、図５（ａ）、（ｃ）、（ｅ）、（ｇ）に示す各チャンネルごとの撮像ＲＡＷデータから、図５（ｉ）に示す低解像度用ＲＡＷデータを作成する。具体的には、制御装置１０４は、図５（ａ）に示す２×２のＲ画素（１，１）、（１，３）、（３，１）、（３，３）の画素値の平均値を算出し、当該平均値を図５（ｂ）に示す低解像度用ＲＡＷデータのＲ画素の画素値とする。また、図５（ｃ）に示す２×２のＢ画素（２，２）、（２，４）、（４，２）、（４，４）の画素値の平均値を算出し、当該平均値を図５（ｄ）に示す低解像度用ＲＡＷデータのＢ画素の画素値とする。また、図５（ｅ）に示す２×２のＧ画素（２，１）、（２，３）、（４，１）、（４，３）の画素値の平均値を算出し、当該平均値を図５（ｆ）に示す低解像度用ＲＡＷデータのＧ画素の画素値とする。また、図５（ｇ）に示す２×２のＧ画素（１，２）、（１，４）、（３，２）、（３，４）の画素値の平均値を算出し、当該平均値を図５（ｈ）に示す低解像度用ＲＡＷデータのＧ画素の画素値とする。図５（ｉ）に示す低解像度用ＲＡＷデータは、図５（ｂ）、（ｄ）、（ｆ）、（ｈ）に示すＲ画素、Ｂ画素、および２つのＧ画素の画素値から構成される。

例えば、図６（ａ）に示すように、２×２の画素（１，１）、（１，３）、（３，１）、（３，３）の画素値が１２００、１３００、１４００、１６００であるとする。この場合、制御装置１０４は、図６（ｂ）に示すように、これらの画素値の平均値である１３７５を低解像度用ＲＡＷデータの画素値として用いる。このように、制御装置１０４は、ベイヤー配列で構成された撮像ＲＡＷデータを４×４の画素ブロックに分割する。そして、制御装置１０４は、各画素ブロックにおけるそれぞれの色成分（ＲＧＢ）において、２×２の４つの画素を１つの組とし、各組ごとに画素値の平均値を算出し、算出した平均値を低解像度用ＲＡＷデータにおける１画素の画素値とする。制御装置１０４は、以上の処理を画像全領域分の画素ブロックについて行うことにより、低解像度用ＲＡＷデータを作成する。

なお、Ｇチャンネルにおいては、図７（ａ）に示すように、２×２の４つのＧ画素（１，１）、（１，３）、（３，１）、（３，３）と、これらの中央に位置するＧ画素（２，２）を合わせた５つのＧ画素において、画素値の平均値を算出し、図７（ｂ）に示すように、低解像度用ＲＡＷデータにおけるＧ画素の画素値としてもよい。

その後ステップＳ４へ進み、制御装置１０４は、撮像ＲＡＷデータから残余画像データを抽出する。残余画像データは、撮像ＲＡＷデータ全てを抽出するのではなく、撮像ＲＡＷデータが復元可能で、なるべく記録容量が小さくなるように抽出される。ここでは、残余画像データは、撮像ＲＡＷデータから、所定の画素サイト（画素位置）の画素値を除いて配列したデータとして抽出される。

図８を用いて、残余画像データの抽出例を説明する。図８（ａ）は、撮像ＲＡＷデータにおけるＲチャンネルの画素を示し、図８（ｂ）は残余画像データにおけるＲチャンネルの画素を示す。ステップＳ４において制御装置１０４は、撮像ＲＡＷデータを、ステップＳ３と同様の４×４の画素ブロックに分割して処理を行う。制御装置１０４は、各画素ブロックにおいて、２×２の４つのＲ画素を１つの組とし、この４つのＲ画素のうち、相対的に左上に位置するＲ画素を除いた残り３つのＲ画素の画素値を残余画像データとして抽出する。たとえば、図８に示す画素ブロックＫ１では、４つのＲ画素、Ｒ００、Ｒ０１、Ｒ１０、Ｒ１１のうち、相対的に左上に位置するＲ００の画素が除かれている。同様に、画素ブロックＫ２では、４つのＲ画素、Ｒ０２、Ｒ０３、Ｒ１２、Ｒ１３のうち、相対的に左上に位置するＲ０２の画素が除かれる。制御装置１０４は、残余画像データの記録については、Ｒ０１、Ｒ０３、・・・、Ｒ１０、Ｒ１１、Ｒ１２、Ｒ１３、・・・Ｒ２１、Ｒ２３、・・・、Ｒ３０、Ｒ３１、Ｒ３２、Ｒ３３、・・・のように、抽出されたデータを敷き詰めて記録する。制御装置１０４は、このような処理を、ＧチャンネルおよびＢチャンネルについても同様に行う。したがって、残余画像データは、撮像ＲＡＷデータの画素数（６０００×４０００＝２４００万画素）の４分の３の画素数（すなわち１８００万画素）分のデータ量となる。

このように、制御装置１０４は、各画素ブロックにおけるそれぞれの色成分において、２×２の４つの画素を１つの組とし、各組ごとに、その組に含まれる４つの画素のうち、相対的に左上に位置する１画素を除いた残りの３画素の画素値を、残余画像データとして抽出する。また、制御装置１０４は、残余画像データを抽出する際、全ての２×２の画素の組において、相対的に同一（共通）の位置（本実施の形態では左上）にある１画素の画素値を除く。制御装置１０４は、以上の処理を画像全領域分の画素ブロックについて行うことにより、残余画像データを抽出する。

その後、ステップＳ５へ進み、制御装置１０４は、ステップＳ３で作成した低解像度用ＲＡＷデータとステップＳ４で抽出した残余画像データとを関連付けて、メモリカードに画像ファイルとして記録する。このとき、制御装置１０４は、低解像度用ＲＡＷデータを一続きのデータとして連続して記録する。また制御装置１０４は、残余画像データも一続きのデータとして連続して記録する。さらに、制御装置１０４は、撮像ＲＡＷデータの画素数、例えば６０００×４０００画素と、低解像度用ＲＡＷデータの画素数、例えば３０００×２０００画素も、低解像度用ＲＡＷデータおよび残余画像データに関連付けてメモリカードに記録する。そして、制御装置１０４は、図２に示す画像記録処理を終了する。

次に、上述したデジタルカメラ１００で撮影され記録された画像ファイルを開き、画像の全領域をディスプレイに表示する画像表示処理について説明する。図９は、この画像表示処理の流れを示すフローチャートである。使用者によって、メモリカードに記録されているいずれかの画像ファイルの表示が指示されると、制御装置１０４は、図９の画像表示処理を実行するプログラムを起動して、画像表示処理を開始する。なお、画像表示先の表示機器は、デジタルカメラ１００の背面に搭載されたモニタ１０６であってもよいし、外部のディスプレイであってもよい。

ステップＳ１１において、制御装置１０４は、画像表示先の表示機器における表示領域情報の取得を行う。具体的には、制御装置１０４は、表示領域情報として、表示機器において画像表示に使用される表示領域の画素数（表示機器画素数）を取得する。その後、ステップＳ１２へ進む。

ステップＳ１２において、制御装置１０４は、表示対象の画像ファイルに記録された低解像度用ＲＡＷデータの画素数を読み込む。ここでは上述したように、低解像度用ＲＡＷデータの画素数として３０００×２０００画素が読み込まれる。

その後、ステップＳ１３へ進み、制御装置１０４は、ステップＳ１１で取得した表示機器画素数と、ステップＳ１２で読み出した低解像度用ＲＡＷデータの画素数とを比較する。そして、制御装置１０４は、低解像度用ＲＡＷデータの画素数が表示機器画素数よりも多いか（すなわち高精細であるか）否かを判定する。低解像度用ＲＡＷデータの画素数が表示機器画素数よりも高精細である、すなわち表示機器が比較的低解像度である場合には、制御装置１０４は、ステップＳ１３を肯定判定してステップＳ１４へ進む。一例として、ステップＳ１１で取得された表示機器画素数が９００×６００画素であるとすると、低解像度用ＲＡＷデータの画素数は３０００×２０００画素であるため、ステップＳ１４へ進むことになる。

ステップＳ１４において、制御装置１０４は、出力対象画像データとして低解像度用ＲＡＷデータを選択し、表示対象の画像ファイルから低解像度用ＲＡＷデータを読み込んで、ステップＳ１５へ進む。ステップＳ１５において、制御装置１０４は、読み込んだ低解像度用ＲＡＷデータに対して、ベイヤー補間、ホワイトバランス処理、マトリックス処理、γ処理などの画像処理を行い、ディスプレイ表示に最適な表示用画像データを作成する。その後、ステップＳ１６へ進み、制御装置１０４は、ステップＳ１５で作成した表示用画像データを表示機器へ出力して、画像を表示した後、処理を終了する。

一方、表示機器画素数の方が低解像度用ＲＡＷデータの画素数よりも多い、すなわち表示機器が比較的高解像度である場合の処理について説明する。たとえば表示機器画素数が３８４０×２１６０画素である場合、低解像度用ＲＡＷデータの画素数は３０００×２０００画素であるため、この場合には、制御装置１０４は、ステップＳ１３を否定判定してステップＳ１７へ進む。ステップＳ１７において、制御装置１０４は、出力対象画像データとして低解像度用ＲＡＷデータおよび残余画像データの両方を選択し、表示対象の画像ファイルから低解像度用ＲＡＷデータおよび残余画像データを読み込んで、ステップＳ１８へ進む。

ステップＳ１８において、制御装置１０４は、ステップＳ１７で読み込んだ低解像度用ＲＡＷデータおよび残余画像データに基づいて、撮像ＲＡＷデータを復元する。撮像ＲＡＷデータの復元方法について、図１０を用いて説明する。撮像ＲＡＷデータの復元は、低解像度用ＲＡＷデータと残余画像データとの関係を考慮して行う。図１０（ａ）は、撮像ＲＡＷデータの４×４の画素ブロックにおけるＲチャンネルの画素を示す。図１０（ｂ）に示す低解像度用ＲＡＷデータのＲ画素Ｒｃの画素値は、図１０（ａ）に示す４つのＲ画素、Ｒ００、Ｒ０１、Ｒ１０、Ｒ１１の画素値の平均値である。また、残余画像データでは、図１０（ｃ）に示すように４つのＲ画素、Ｒ００、Ｒ０１、Ｒ１０、Ｒ１１において、相対的に最も左上に位置するＲ００の画素が除かれている。

したがって、残余画像データに含まれるＲ画素、Ｒ０１、Ｒ１０、Ｒ１１の画素値をｓＲ０１、ｓＲ１０、ｓＲ１１とし、低解像度用ＲＡＷデータに含まれるＲ画素Ｒｃの画素値をｓＲｃとし、残余画像データを抽出する際に除かれたＲ００の画素値ｓＲ００とすると、これらの画素値の関係は、次式（１）で示される。
（ｓＲ００＋ｓＲ０１＋ｓＲ１０＋ｓＲ１１）／４＝ｓＲｃ ・・・（１）

ゆえに、残余画像データを抽出する際に除かれたＲ画素Ｒ００の画素値ｓＲ００は、次式（２）により算出することができる。
ｓＲ００＝４×ｓＲｃ−（ｓＲ０１＋ｓＲ０２＋ｓＲ０３） ・・・（２）

制御装置１０４は、式（２）により算出した画素値ｓＲ００を、Ｒ００の画素位置に配置し、残余画像データの画素値ｓＲ０１、ｓＲ１０、ｓＲ１１を、Ｒ０１、Ｒ１０、Ｒ１１の画素位置に配置することで、Ｒチャンネルの撮像ＲＡＷデータを復元することができる。なお、本実施の形態では、上述したように、残余画像データを抽出する際、全ての２×２の画素の組において、相対的に同一（共通）の位置（本実施の形態では左上）にある１画素の画素値が除かれる。そのため、どの画素位置の画素値が除かれたかが予めわかっているので、どの画素位置の画素値が除かれたかを示す位置情報がなくても、撮像ＲＡＷデータを復元することができる。

このように、制御装置１０４は、低解像度用ＲＡＷデータおよび残余画像データから上記式（２）を用いて残余画像データを抽出する際に除かれたＲ画素の画素値を算出する。そして、制御装置１０４は、算出した画素値と残余画像データとからＲチャンネルの撮像ＲＡＷデータを復元する。制御装置１０４は、Ｇチャンネル、Ｂチャンネルについても同様の処理で撮像ＲＡＷデータを復元する。制御装置１０４は、以上の処理を画像全領域分の画素ブロックについて行い、撮像ＲＡＷデータを復元する。

その後、ステップＳ１９へ進み、制御装置１０４は、ステップＳ１８で復元した撮像ＲＡＷデータに対して、ベイヤー補間、ホワイトバランス処理、マトリックス処理、γ処理などの画像処理を行って、ディスプレイ表示に最適な表示用画像データを作成する。その後、ステップＳ２０へ進み、制御装置１０４は、ステップＳ１９で作成した表示用画像データを表示機器へ出力して、画像を表示した後、処理を終了する。

上述した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１００において、制御装置１０４は、撮像ＲＡＷデータを、所定数の画素（本実施形態では２×２の４つ）を含む複数の画素の組に分割し、当該画素の組に含まれる画素値の平均値を、当該画素の組ごとに算出して、低解像度用ＲＡＷデータを作成する。また、制御装置１０４は、撮像ＲＡＷデータにおいて、上記画素の組に含まれる画素のうちの１画素を除いた残りの３画素の画素値を、上記画素の組ごとに抽出して残余画像データを作成する。制御装置１０４は、低解像度用画像データと残余画像データとを関連付けて記録媒体に記録する。このような構成により、比較的低解像度の出力装置に画像を出力する場合には、低解像度用ＲＡＷデータを用いることで、画像処理の負荷を低減することができる。一方、比較的高解像度の出力装置に画像を出力する場合には、低解像度用ＲＡＷデータと残余画像データとを用いて撮像ＲＡＷデータを復元して、高精細の画像を出力することができる。また、上述した従来技術（特許文献１参照）では、撮像ＲＡＷデータにおいて４つの画素の組ごとに画素値の平均値を算出し、４つの画素の画素値の中から当該平均値に最も近い画素値を代表値として抽出して、これを低解像度用ＲＡＷデータの画素値としていた。しかしながら、このようにして作成した場合、必ずしも抽出した代表値と上記平均値との差分が小さいわけではなく、当該差分が大きい場合もあり、モアレや偽色が発生する場合があった。これに対して、本実施の形態では、撮像ＲＡＷデータにおいて４つの画素の組ごとに画素値の平均値を算出し、当該平均値を低解像度用ＲＡＷデータの画素値とするようにしたので、上述した従来技術に比べて、モアレや偽色を低減することができる。

（２）また、上述した従来技術（特許文献１参照）では、撮像ＲＡＷデータから低解像度用画像データを除いて残余画像データを抽出していたため、残余画像データにおいてどの画素位置が除かれたかを示す位置情報も記録しておかなければ、撮像ＲＡＷデータを復元することができなかった。これに対して、本実施の形態のデジタルカメラ１００では、制御装置１０４は、残余画像データを抽出する際、全ての２×２の画素の組において、相対的に同一（共通）の位置（本実施の形態では左上）にある１画素の画素値を除くようにした。そのため、どの画素位置の画素値が除かれたかが予めわかっているので、どの画素位置の画素値が除かれたかを示す位置情報がなくても、撮像ＲＡＷデータを復元することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した実施の形態では、デジタルカメラ１００の制御装置１０４が画像表示処理（図９）を行う例について説明した。しかしながら、上述した画像表示処理（図９）をパーソナルコンピュータ（パソコン）などの画像処理装置が行ってもよい。この場合は、パソコンは、デジタルカメラ１００から低解像度用ＲＡＷデータおよび残余画像データが記録された画像ファイルを入力し、入力した画像ファイルを用いて上記画像表示処理（図９）を行う。なお、この画像表示処理（図９）は、アプリケーションソフトウェアによって実行されるようにしてもよい。

また、上述した実施の形態では、デジタルカメラ１００の制御装置１０４が画像記録処理（図２）を行う例について説明した。しかしながら、上述した画像記録処理（図２）をパソコンなどの画像処理装置が行ってもよい。この場合は、パソコンは、デジタルカメラ１００から撮像ＲＡＷデータを入力し、入力した撮像ＲＡＷデータから上述した画像記録処理（図２）によって低解像度用ＲＡＷデータと残余画像データとを作成して記録媒体に記録する。なお、この画像記録処理（図２）は、アプリケーションソフトウェアによって実行されるようにしてもよい。

さらに、上述した画像記録処理（図２）および画像表示処理（図９）を実行するためのプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図１１はその様子を示す図である。パソコン２００は、ＣＤ−ＲＯＭ２０４を介してプログラムの提供を受ける。また、パソコン２００は通信回線２０１との接続機能を有する。コンピュータ２０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク２０３などの記録媒体にプログラムを格納する。通信回線２０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ２０２はハードディスク２０３を使用してプログラムを読み出し、通信回線２０１を介してプログラムをパソコン２００に送信する。すなわち、プログラムをデータ信号として搬送波を介して、通信回線２０１を介して送信する。このように、プログラムは、記録媒体やデータ信号（搬送波）などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

（変形例２）
上述した実施の形態では、デジタルカメラ１００により撮影されて記録された画像を表示機器に表示する場合に本発明を適用する例について説明したが、他の出力機器、例えばプリンタ用の画像データを作成する場合に本発明を適用するようにしてもよい。

（変形例３）
上述した実施の形態では、画像表示処理（図９）のステップＳ１３において、低解像度用ＲＡＷデータを用いて表示を行うか撮像ＲＡＷデータを復元して表示を行うかを、低解像度用ＲＡＷデータの画素数と表示機器画素数とを比較して判定する例について説明した。しかしながら、ステップＳ１３の判定に用いる判定基準を、実験や主観評価などを行った結果に基づいて予め決定しておくようにしてもよい。たとえば、低解像度用ＲＡＷデータの画素数が表示機器画素数よりも多くても、これらの差分が予め定められた閾値以下である場合には、ステップＳ１３を否定判定して撮像ＲＡＷデータを復元して表示するという判定基準であってもよい。また、ステップＳ１３の判定に用いる判定基準を画像によって変えるようにしてもよい。たとえば、変化に富んだ画像、すなわち比較的高周波成分が多い画像である場合には、低解像度用ＲＡＷデータの画素数が表示機器画素数よりも多くても、撮像ＲＡＷデータを復元して表示するようにする。これに対して、変化が乏しい画像、すなわち比較的低周波成分が多い画像である場合には、低解像度用ＲＡＷデータの画素数が表示機器画素数よりも少なくても、低解像度用ＲＡＷデータを表示するようにする。

（変形例４）
上述した実施の形態では、撮像ＲＡＷデータにおいて４つの同色画素の画素値の平均値を算出して低解像度用ＲＡＷデータにおける１つの画素の画素値とし、低解像度用ＲＡＷデータの画素数を撮像ＲＡＷデータの画素数の４分の１とする例について説明した。しかしながら、撮像ＲＡＷデータに対する低解像度用ＲＡＷデータの縮小率は４分の１に限らなくてもよく、この他の縮小率であってもよい。たとえば、撮像ＲＡＷデータにおいて３×３の９つの同色画素の画素値の平均値を算出して低解像度用ＲＡＷデータにおける１つの画素の画素値とし、低解像度用ＲＡＷデータの画素数を撮像ＲＡＷデータの画素数の９分の１としてもよい。この場合、撮像ＲＡＷデータにおいて３×３の９つの同色画素の組から１画素を除いて残り８画素を残余画像データとして抽出するようにして、残余画像データの画素数を撮像ＲＡＷデータの画素数の９分の８とする。

（変形例５）
制御装置１０４は、上述した画像記録処理（図２）において、撮像ＲＡＷデータから残余画像データを抽出する際に除いた画素に対応する画素位置を示す位置情報を、低解像度用ＲＡＷデータおよび残余画像データに関連付けてメモリカードに記録するようにしてもよい。この場合、制御装置１０４は、画像表示処理（図９）において、上記位置情報を用いて、上述したように低解像度用ＲＡＷデータと残余画像データとから撮像ＲＡＷデータを復元する。具体的には、制御装置１０４は、低解像度用ＲＡＷデータおよび残余画像データを用いて、残余画像データを抽出する際に除かれた画素の画素値を算出する。そして、制御装置１０４は、算出した画素値が撮像ＲＡＷデータにおいてどの位置にあったかを、上記位置情報を用いて特定し、特定した位置に画素値を配置し、残りの位置に残余画像データを配置することで、撮像ＲＡＷデータを復元する。

上述したように、残余画像データにおいてどの画素位置の画素値が除かれているかが予めわかっている場合には、上記位置情報を用いなくても撮像ＲＡＷデータを復元できる。しかしながら、たとえばメーカーの違いなどにより各デジタルカメラにおいてどの画素位置の画素値を除いて残余画像データを抽出するかが異なり、パソコンなどで画像表示処理を行う際に、どの画素位置の画素値が除かれたかがわからない場合も想定される。このような場合には、画像表示処理において、上記位置情報を用いることで、低解像度用ＲＡＷデータと残余画像データとから撮像ＲＡＷデータを復元することができる。

（変形例６）
上述した実施の形態では、制御装置１０４は、ベイヤー配列の撮像ＲＡＷデータを低解像度用データと残余画像データとに分けて記録する例について説明したが、本発明は、一般のＲＧＢ３色画像データにも適用するようにしてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１００…デジタルカメラ、１０２…レンズ、１０３…撮像素子、１０４…制御装置、１０６…モニタ、２００…パソコン

Claims (8)

1. 被写体を撮影して撮像画像データを生成する撮像手段と、
   前記撮像画像データを、所定数の画素を含む複数の画素の組に分割する分割手段と、
   前記画素の組に含まれる画素値の平均値を、前記画素の組ごとに算出して、低解像度用画像データを作成する低解像度用画像データ作成手段と、
   前記画素の組に含まれる画素のうちの１画素を除いた残りの画素の画素値を、前記画素の組ごとに抽出して、残余画像データを作成する残余画像データ抽出手段と、
   前記低解像度用画像データと前記残余画像データとを関連付けて記録媒体に記録する記録制御手段と、
   を備えることを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記残余画像データ抽出手段は、前記複数の画素の組において相対的に同一の位置にある１画素を除いた残りの画素の画素値を、前記残余画像データとして抽出することを特徴とするデジタルカメラ。
3. 請求項１または２に記載のデジタルカメラにおいて、
   前記撮像画像データはベイヤー配列で構成され、
   前記分割手段は、前記撮像画像データを、色成分ごとに、前記所定数の画素を含む複数の画素の組に分割し、
   前記低解像度用画像データ作成手段は、前記画素の組に含まれる画素値の平均値を前記画素の組ごとに算出してベイヤー配列の前記低解像度用画像データを作成することを特徴とするデジタルカメラ。
4. 請求項１〜３のいずれか一項に記載のデジタルカメラにおいて、
   前記記録制御手段は、前記残余画像データ抽出手段によって除かれた画素に対応する画素位置を示す位置情報を、前記低解像度用画像データおよび前記残余画像データに関連付けて記録媒体に記録することを特徴とするデジタルカメラ。
5. 撮像画像データが所定数の画素を含む複数の画素の組に分割され、前記画素の組に含まれる画素値の平均値が前記画素の組ごとに算出されることにより作成される低解像度用画像データと、前記画素の組に含まれる画素のうちの１画素を除いた残りの画素の画素値が前記画素の組ごとに抽出されることにより作成される残余画像データとを入力する画像データ入力手順と、
   出力装置において画像出力に使用される画素数に基づいて、前記低解像度用画像データ、または前記低解像度用画像データおよび前記残余画像データを選択する選択手順と、
   前記選択手順により前記低解像度用画像データが選択された場合には、前記低解像度用画像データを用いて前記出力装置へ出力するための出力画像データを作成し、前記選択手順により前記低解像度用画像データおよび前記残余画像データが選択された場合には、前記低解像度用画像データおよび前記残余画像データから復元される前記撮像画像データを用いて前記出力装置へ出力するための出力画像データを作成する出力画像データ作成手順と、
   をコンピュータに実行させることを特徴とする画像出力プログラム。
6. 請求項５に記載の画像出力プログラムにおいて、
   前記出力画像データ作成手順では、前記低解像度用画像データと前記残余画像データとを用いて、前記残余画像データが抽出される際に除かれた画素の画素値を算出し、当該算出した画素値と前記残余画像データとから前記撮像画像データを復元することを特徴とする画像出力プログラム。
7. 請求項５または６に記載の画像出力プログラムにおいて、
   前記残余画像データが抽出される際に除かれた画素に対応する画素位置を示す位置情報が前記低解像度用画像データおよび前記残余画像データに関連付けられて記録媒体に記録されており、
   前記出力画像データ作成手順では、前記位置情報を用いて、前記低解像度用画像データおよび前記残余画像データから前記撮像画像データを復元することを特徴とする画像出力プログラム。
8. 撮像手段により被写体を撮影して生成された撮像画像データを入力する画像データ入力手順と、
   前記撮像画像データを、所定数の画素を含む複数の画素の組に分割する分割手順と、
   前記画素の組に含まれる画素値の平均値を、前記画素の組ごとに算出して、低解像度用画像データを作成する低解像度用画像データ作成手順と、
   前記画素の組に含まれる画素のうちの１画素を除いた残りの画素の画素値を、前記画素の組ごとに抽出して、残余画像データを作成する残余画像データ抽出手順と、
   前記低解像度用画像データと前記残余画像データとを関連付けて記録媒体に記録する記録手順と、をコンピュータに実行させることを特徴とする画像記録プログラム。

Images