JP2009017586A - 画像再生装置およびその再生方法 - Google Patents

Abstract

【課題】撮影時の色温度情報だけでなく、撮影時の色空間情報をも考慮して画像を再生できる画像再生装置およびその再生方法を提供。
【解決手段】再生装置200は、ストレージ202でディジタルカメラにて設定された撮影のRGB色空間に画像データを変換する複数の係数で表されるRGB色空間情報およびRGB色空間情報に対して最適な色温度情報を、画像データとともに、データ208として読み出し、リニアMTX回路214で撮影のRGB色空間情報に基づき画像データ208を補正し、ゲイン補正回路218で色温度情報に基づきリニアMTX回路214からの画像データ230を補正し、リニアMTX回路216で再生装置200にて設定する再生のRGB色空間に画像データを変換する複数の係数で表される所望のRGB色空間情報に基づき、ゲイン補正回路218からの画像データ232のRGB色空間を補正し、所望の色調に補正した画像データ236を出力する。
【選択図】図４

Description

本発明は画像再生装置およびその再生方法に関し、とくに、撮影における色空間の設定と再生における色空間の設定とが異なる画像データに適用して好適な画像再生装置に関するものであり、また、本発明は画像再生方法に関し、とくに、ディジタル化して記録した生の撮像データを、設定したRGB色空間により所望の色空間で再生する方法に関するものである。

ディジタルカメラ等の画像入力装置は、撮影された画像データの記録において画像データに信号処理を施して記録する場合と、撮像された生の画素データを画像データとして直接記録する場合とがある。後者の場合、たとえば再生装置として機能するパーソナルコンピュータにおいてアプリケーションソフトウェアを実行して画像を生成している。

この場合における画像の生成方法においてホワイトバランスの調整は、適切な画像処理を生のデータに行う上で重要である。この調整には、再生装置のモニタにプレビュー画像として画像データを表示させ、画像を確認しながらマニュアル操作による方法と、撮影時に判断されたホワイトバランス情報に基づいて行う方法とがある。ホワイトバランス情報は、オートマチックのモードにおいて得られる場合やユーザ設定モードにおいて得られる場合等がある。

特許文献１に記載の静止画画像処理装置は、撮影時にカメラが設定した絞り情報およびカメラが判断した色温度情報を再生装置に伝えるためこれらの情報を生の画素データとともに、記録する。これらの情報は、画素データに対して付加情報として記録される。静止画画像処理装置は、再生時に画像データとともに、色温度情報（ホワイトバランス情報）を読み取り、撮影時に判断されたホワイトバランスに補正して撮影時の画像を再現している。
特開平7-231418号公報

ところで、ディジタルカメラにおいて現在、生の画像データ記録は、記録モードの一つに過ぎないことが多い。このような観点の延長として、生の画像データを記録するRAWモードを有するディジタルカメラにおいても、カメラ単体で完成画像の作成することが求められてきている。ディジタルカメラは、この要求に応じてカメラ単体で最適な色空間の画像が得られるように設計されている。ディジタルカメラは、この色空間に最適化されたホワイトバランスとなるように判断している。

再生装置は、この生の画像データ、絞り情報および色温度情報を基に撮影時の画像を再現しようとしても、ホワイトバランスの崩れた画像を生成してしまうことがある。これは、再生装置の色空間とカメラで設定している最適な色空間とが異なる場合に生じる。また、再生装置は、ユーザの希望に応じて色空間を自由に変更できる機能を備えている場合が多い。したがって、再生装置は、この変更により設定した任意の色空間で画像を再生すると、ホワイトバランスの崩れが生じる。記録されている色温度情報は、カメラの色空間だけに最適化しているからである。

本発明はこのような課題に鑑み、撮影時の色温度情報だけでなく、撮影時の色空間情報をも考慮して画像を再生することができる画像再生装置およびその再生方法を提供することを目的とする。

本発明は上述の課題を解決するために、撮影装置により得られた画像データを再生する画像再生装置において、この画像再生装置は、撮影装置において設定された撮影のRGB色空間に前記画像データを変換する複数の係数で表される第１のRGB色空間情報および第１のRGB色空間情報に対して最適な色温度情報を、画像データとともに、記録されたデータより読み出す読出し手段と、撮影のRGB色空間情報に基づいて画像データを補正する第１のRGB色空間補正手段と、色温度情報に基づいて第１のRGB色空間補正手段からの画像データを補正する色温度補正手段と、この画像再生装置において設定する再生のRGB色空間に画像データを変換する複数の係数で表される第２のRGB色空間情報に基づいて、色温度補正手段からの画像データのRGB色空間を補正する第２のRGB色空間補正手段とを含むことを特徴とする。

また、本発明は上述の課題を解決するために、撮影装置により得られた画像データを再生する画像再生方法において、この方法は、撮影装置において設定された撮影のRGB色空間に画像データを変換する複数の係数で表される第１のRGB色空間情報および第１のRGB色空間情報に対して最適な色温度情報を、画像データとともに、記録されたデータより読み出す第１の工程と、撮影のRGB色空間情報に基づいて画像データを補正する第２の工程と、色温度情報に基づいて第２の工程で補正した画像データを補正する第３の工程と、この方法において設定する再生のRGB色空間に画像データを変換する複数の係数で表される第２のRGB色空間情報に基づいて、第３の工程で補正した画像データのRGB色空間を補正する第４の工程とを含むことを特徴とする。

本発明に係る画像再生装置およびその再生方法によれば、読出し手段で撮影装置において設定された撮影のRGB色空間に前記画像データを変換する複数の係数で表される第１のRGB色空間情報および第１のRGB色空間情報に対して最適な色温度情報を、画像データとともに、記録されたデータより読み出し、第１のRGB色空間補正手段で撮影のRGB色空間情報に基づいて画像データを補正し、色温度補正手段で色温度情報に基づいて第１のRGB色空間補正手段からの画像データを補正し、第２のRGB色空間補正手段でこの画像再生装置において設定する再生のRGB色空間に画像データを変換する複数の係数で表される第２のRGB色空間情報に基づいて、色温度補正手段からの画像データのRGB色空間を所望のRGB色空間を表わす色調に補正することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができる。

次に添付図面を参照して本発明による画像再生装置の実施例を詳細に説明する。本実施例は、本発明の画像再生装置をディジタルカメラ10に適用した場合である。 本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

ディジタルカメラ10は、図２に示すように、光学系12、絞り調節機構14、撮像部16、前処理部18、信号処理部20、システム制御部22、操作部24、タイミング信号発生器26、ドライバ28、モニタ30およびストレージ32を含んでいる。

光学系12は、絞り調節機構14の他に、図示しないがメカニカルシャッタ、光学系レンズ、ズーム機構、およびオートフォーカス（AF: Automatic Focus)調節機構を含む。光学系12は、光学レンズを上述した各種の機構を調整して入射光を撮像部16に送る機能を有している。

ズーム機構は、図示しないが被写界の画角を調整する。AF調節機構は、複数の光学レンズの配置を自動的に変位調節して被写体を焦点の合った位置関係に調節する機構である。機構のそれぞれには、上述した位置に光学レンズを移動させるためモータが配設されている。これらの機構は、各モータにドライバ28からそれぞれ供給される駆動信号34に応動して動作している。

絞り調節機構14は、具体的に図示しないが入射光量を調節するAE（Automatic Exposure）調節機構であり、ドライバ28からの駆動信号36に応じてリング部を回転させる。リング部は、羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り調節機構はアイリスの口径を変えている。絞り調節機構14は、メカニカルシャッタをレンズシャッタとして光学系レンズに組み込んでもよい。

メカニカルシャッタは、撮像部16に撮影のとき以外に光が照射されないように遮光するとともに、露光の開始と終了により露光時間を決める機能を有している。メカニカルシャッタには、たとえば一眼レフカメラで使用されているようなフォーカルプレン式がある。この方式は、シャッタ幕が縦または横に走り、この瞬間にできるスリットで露光を行うものである。また、上述したようにレンズシャッタ式を用いてもよい。メカニカルシャッタは、たとえば絞り調節機構14内に設けられている場合、ドライバ28から供給される駆動信号36に応じてシャッタを開閉させるようにするとよい。

撮像部16は、光学ローパスフィルタ38および色フィルタ40が入射光側に配され、色フィルタセグメントに対応して入射光を光電変換する固体撮像素子42を備えている。光学ローパスフィルタ38は、入射光の空間周波数をナイキスト周波数以下にするフィルタである。色フィルタ40については後段でさらに説明する。固体撮像素子42は、電荷結合素子（CCD: Charge Coupled Device)で蓄積した信号電荷を垂直転送路に読み出すトランスファゲート（TG： Transfer Gate）が配設されている。固体撮像素子42にもドライバ28から駆動信号44が供給されている。駆動信号44は、固体撮像素子42の動作モードに応じた水平駆動信号、垂直駆動信号およびOFD（Over Flow Drain)信号等である。撮像部16は、固体撮像素子42から得られたアナログ電圧信号46を前処理部18に出力する。固体撮像素子42は、CCDに限定されるものでなく、CMOS（Complementary Metal Oxide Semiconductor)でもよい。

色フィルタ40には、たとえば３原色RGBの色フィルタセグメントが配されている。色フィルタ40は、単板であり、色フィルタセグメントの配置パターンに応じて各色の空間周波数が決まる。配置パターンは、適切な配置を採ることによりエリアシングによるしみや偽色等の発生を抑える効果を有する。

前処理部18には、アナログ回路48およびA/D変換器（Analog-to-Digital Converter)50が含まれている。アナログ回路48は、図示しないが、ノイズ除去に相関二重サンプリング（Correlated Double Sampling: CDS)回路およびゲイン調整アンプ（GCA: Gain-Controlled Amplifier)を含む。CDS回路には、タイミング信号発生器26からサンプリング信号としてCDSパルス52が供給され、A/D変換器50には、変換クロック信号54が供給されている。前処理部18は、供給されるアナログ信号46に対してノイズ除去、波形整形、ディジタル化を行って得られた撮像データのすべてをディジタルデータ（画像データ）56としてデータバス58を介して信号処理部20に出力する。

信号処理部20は、メモリ制御部60、メインメモリ62、ディジタル処理部64、圧縮伸長処理部66、IF（InterFace)部68および表示制御部70を含む。 信号処理部20は、制御バス72を介してシステム制御部22から供給される制御信号74に応じて制御される。メモリ制御部60は、制御信号74に応じて画像データ56をメインメモリ62に対する書込み/読出しの制御やメインメモリ62に対するリフレッシュ制御等を行う機能を有する。メインメモリ62には、たとえばSRAM（Static Random Access Memory)等のメモリが用いられる。

ディジタル処理部64は、供給された画像データ56に対して複数のディジタル処理を施す機能を有する。本実施例におけるディジタル処理部64は、図１に示すように、リニアマトリクス（MTX：MaTriX）回路76、ホワイトバランス判定回路78、ゲイン補正回路80、ガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90を含んでいる。ディジタル処理部64には、メインメモリ62に一時格納された画像データ56を読み出し、データバス58を介して画像データ56が供給される。

リニアMTX回路76は、システム制御部22から供給される所定のリニアマトリクス係数92を基に供給される画像データ56に対するRGBの色空間を変換する演算機能を有する。所定のリニアマトリクス係数92は、一般的に企業が提案したいくつかある色空間の内、ディジタルカメラ10にて採用した一つの色空間に変換する係数である。所定のリニアマトリクス係数92には、マイクロソフト社等が提案するsRGB、Adobe社の提案するAdobe RGB、コダック社の提案するProPhoto RGB、富士写真フイルム社の提案するFinePix RGB等がある。リニアMTX回路76は、所定の色空間に変換した画像データをゲイン補正回路80に出力する。

ホワイトバランス判定回路78は、供給される画像データ56を基にホワイトバランスを調整し、調整したホワイトバランスゲインが適正か否かを判定する機能を有している。ここでのホワイトバランスは、ディジタルカメラ10において設定されている所定の色空間だけを最適化するように調整する。ホワイトバランス判定回路78は、最適化の範囲内にあるか否かを判定し、範囲内にあるホワイトバランスゲイン94をゲイン補正回路80に出力する。また、ホワイトバランス判定回路78は、このホワイトバランスゲイン94を再生において撮影時の状況を反映する色温度情報として記録するためデータバス58、IF部68を介してストレージ32に供給される。

ゲイン補正回路80は、供給される画像データに対して供給されるホワイトバランスゲイン94に基づいてゲインを補正し、ホワイトバランス調整を行う。ゲイン補正回路80は、ガンマ補正回路82に出力する。ガンマ補正回路82は、非直線性の特性に合わせる補正機能である。ガンマ補正回路82は、たとえばガンマ補正用のルックアップテーブルを含む。ガンマ補正回路82は、メインメモリ62から供給される画像データをルックアップテーブルのデータを用いて変換し、ガンマ補正する。ガンマ補正回路82は補正した画像データをRGB補間回路84に送る。

RGB補間回路84は、赤色（R), 緑色（G)および 青色（B)の３種類の色フィルタセグメントによるパターンに応じて供給される画像データに対して各画素の位置にて欠如している色属性の画素データを補間により生成する同時化機能を有している。RGB補間回路84は、色のパターンおよび分光感度特性も考慮に入れて補間係数を設定することが好ましい。RGB補間回路84は、RGBの三原色の画素データ96, 98, 100をYC変換回路86に送る。

YC変換回路86は、供給される三原色RGBの画素データ96, 98, 100を基に輝度信号（Y)102と画素データ96, 98, 100を３刺激値として用いて色信号（C)104とを生成する機能を有する。YC変換回路86は、生成した輝度信号102を輪郭補正回路88および色差MTX回路90に出力し、色信号104を色差MTX回路90に出力する。

輪郭補正回路88は、供給される輝度信号102に含まれる画像中のエッジ部分を強調するアパーチャ補正機能を有する。輪郭補正回路88は、輪郭の補正された輝度信号106をデータバス58に出力する。色差MTX回路90は、供給される輝度信号102と色信号104とを基に演算して色差信号108をデータバス58に出力する。この一連の処理は通常の圧縮記録モードの場合に行われる処理である。したがって、データバス58を介して輝度信号106および色差信号108は、圧縮伸長処理回路66に供給される。

画像データ56は、生の画像データを記録するRAWモードに対応してデータバス58を介して信号線110の前段に供給されている。信号線110の前段には、図示しないモード選択回路が配設されている。モード選択回路は、通常の圧縮記録モードで圧縮処理の施された輝度信号および色差信号と、RAWモードで生の画像データ56とが供給され、ディジタルカメラ10がどのモードを採るかに応じて信号線110に供給する画像データを選択している。したがって、信号線110には、モードに応じた画像データが供給されることになる。

IF部68には、信号線110を経た画像データ、色温度情報94およびリニアマトリクス係数92が供給される。図１や図２において、これらの信号は、まとめてバス112として表している。IF部68は、供給される各種のデータの入出力にともなう電気的なレベル変換だけでなく、書込み/読出しも制御する機能を有する。書込み/読出し制御は、システム制御部22から供給される制御信号74に応じて行われる。IF部68は、ストレージ32に供給されるデータの書込みとストレージからの読出しを管理している。

ここで、後述する画像再生装置にない、ディジタル処理部64に特徴的な回路を記録調整回路114とする。記録調整回路114は、リニアMTX回路76、ホワイトバランス判定回路78およびゲイン補正回路80を含む。

なお、図示しないが、ディジタル処理部64は、リニアMTX回路76の前段にオフセット補正回路およびシェーディング補正回路を配設してもよい。オフセット補正回路は、画像データ56に含まれるオフセット分を補正する機能を有し、シェーディング補正回路に出力する。シェーディング補正回路は、レンズの周辺で生じるシェーディング現象を電気的に補正する機能を有し、画像に現れるシェーディング特性の逆特性を施すことで補正を行う。

また、YC変換回路86の後段にノイズ低減回路を配設してもよい。ノイズ低減回路は、供給される信号に含まれるノイズ成分を抑制するフィルタ機能を有している。ノイズ低減回路は、ローパスフィルタと、メディアンフィルタとを含む。ローパスフィルタは、輝度信号として供給される画素データと色信号の画素データに対してエリアシングが生じないように広い帯域にわたって信号を通す機能を有する。メディアンフィルタは、画像におけるエッジをぼかすことなく、雑音を減らす機能を有する。

図２に戻って、圧縮伸長処理部66は、静止画や動画（ムービ）モードにおいて供給される画像データ（Y/C）や色差データ等にJPEG（Joint Photographic coding Experts Group）やMPEG（Moving Picture coding Experts Group)-1, MPEG-2等の規格でそれぞれ、圧縮処理を施す。圧縮伸長処理部66は、圧縮処理した画像データをIF部68に供給する。IF部68は、ストレージ32のカード記録媒体との書込み/読出しにおける電気的な特性の調整および書込み/読出し制御を行うだけでなく、タイミング調整機能も有し、処理された画像データをストレージ32に出力している。また、圧縮伸長処理部66は、ストレージ部32に記録した画像データを読み出し、IF部68、データバス58を介して供給される画像データに伸長処理を施す。この伸長処理は、圧縮処理の逆処理である。

表示制御部70は、ディジタル処理部64で生成した画像データや再生にともなってストレージ32から読み出した画像データに伸長処理して得られた画像データ等に対してRGB変換を行い、このRGB変換した画像データをモニタ30が表示可能な画素サイズにする機能を有している。表示制御部70は、制御バス72を介して供給される制御信号74に応じて動作する。画像表示におけるサイズは、間引き処理によって破綻のない画像を生成する。表示制御部70は、生成した画像データをモニタ30に供給する。

なお、信号処理部20は、図示しないが評価値算出部を含めてもよい。評価値算出部は、AE、AF、シャッタ速度、AWB（Automatic White Balance)および階調補正に用いる積算値を算出する演算機能等を備える。評価値算出部は、たとえばバス92を介して算出された積算値をパラメータとしてシステム制御部22に供給する。また、信号処理部20には、タイミング信号発生器26から図示しないタイミング信号が供給されている。このタイミング信号は、水平同期信号HD、垂直同期信号VDや各部の動作クロック等を含んでいる。

システム制御部22は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU（Central Processing Unit）である。システム制御部22は、図示しないが、シーン判別や所定の係数を格納するEEPROMや動作手順の指示プログラムを格納するROM（Read Only Memory)等を含んでいる。システム制御部22は、たとえば供給される積算値とあらかじめ設定した所定の積算値とを比較し、この比較結果に応じて制御信号116, 118をそれぞれ、生成してタイミング信号発生器26およびドライバ28に出力する。

システム制御部22は、操作部24から供給されるモードや操作のトリガを指示する指示信号120を受けて、指示信号120に応じてディジタルカメラ10を静止画撮影モード、動画撮影モード、低感度モードおよび高感度モード等に設定し、図示しないレリーズシャッタボタンから撮像タイミングの報知を受けて、積算値に応じた制御信号74, 116, 118をそれぞれ、生成する。

また、システム制御部22は、制御信号74で信号処理部20を制御するだけでなく、たとえばディジタル処理部64にリニアマトリクス係数92を制御データとして供給している。制御信号74は、図１に示すように、ディジタル処理部64やIF部68に供給されている。とくに、ディジタル処理部64は、リニアMTX回路76、ホワイトバランス判定回路78、ゲイン補正回路80、ガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90が制御信号74により制御されている。

操作部24は、図示しないがモード選択部およびレリーズシャッタボタンを含んでいる。モード選択部は、静止画撮影モードおよび動画撮影モード、ならびに低感度モードおよび高感度モード等のようにいくつかあるモードのうち、いずれのモードにするか選択を行う。モード選択部は、選択したモードを指示信号120としてシステム制御部22に出力する。

レリーズシャッタボタンは、２段階のストロークを有するボタンで、第１段のストロークでディジタルカメラ10を予備撮像の段階（S1)にし、第２段のストロークで本撮像の段階（S2)にするトリガタイミングを指示信号124としてシステム制御部22に出力する。操作部24には、この他、ズーム選択スイッチおよび十字ボタンを設けてもよく、液晶表示パネルに表示される条件を選択する機能を持たせてもよい。

タイミング信号発生器26は、タイミング信号の動作周波数を生成する発振器（SG： Signal Generator)を含む。SGは、制御信号116に応じて発振周波数を変える機能を有している。SGは、たとえばとくに水平転送信号の生成において通常に使用する第１周波数とこの周波数の半分程度に低下させた第２周波数を発振するとよい。

また、タイミング信号発生器26は、基準とするクロック信号（図示せず）を基に各種のタイミング信号を生成する。タイミング信号には、水平転送信号の他、垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、および電子シャッタパルス等がある。また、タイミング信号発生器26は、CDSパルス52および変換クロック信号54も生成して前処理部18に供給している。タイミング信号発生器26は、これら生成した垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、水平転送信号および電子シャッタパルスを含むタイミング信号122をドライバ28に供給している。

ドライバ28は、供給されるタイミング信号122や制御信号118を基に駆動信号34, 36, 44を生成する駆動回路を有している。ドライバ28は、制御信号118を基に駆動信号34, 36を光学系12の光学レンズおよび絞り調節機構14にそれぞれ供給してAF調節やAE調節を行わせる。ドライバ28は、操作部24のレリーズシャッタボタンから供給される本撮像のタイミングに応動してメカニカルシャッタの開閉を行う駆動信号36を絞り調節機構14に設けたメカニカルシャッタに出力する。

また、ドライバ28は、タイミング信号122を基に生成した駆動信号44を撮像部16の固体撮像素子42に供給し、各受光素子の感光領域に信号電荷を露光期間中に蓄積させ、蓄積した信号電荷を前述した条件に応じた制御により読み出す。CCDの場合、撮像部16は、この信号電荷を垂直転送レジスタに読み出して、水平転送レジスタに転送させ、さらに水平転送レジスタ、出力アンプを経てアナログ電圧信号46を出力している。

モニタ30は、表示制御部72を経て供給される画像データを表示する。モニタ30には、一般的に液晶モニタが用いられる。液晶モニタには、液晶表示コントローラが配設されている。液晶コントローラは、画像データを基に液晶分子の並び方や電圧の印加によりスイッチング制御している。この制御により液晶モニタは、画像を表示する。モニタ30は、液晶モニタに限定されず、小型、画像の確認および電力の消費が抑えられる表示機器であれば、十分に用いることができることは言うまでもない。

ストレージ32は、半導体メモリ等を記録媒体として用いて、信号処理部20からディジタル処理された画像データおよび何もディジタル処理の施されない画像データのいずれかとともに、リニアマトリクス係数92および色温度情報であるホワイトバランスゲイン94を記録する。記録媒体には、光ディスクや光磁気ディスク等を用いてもよい。ストレージ32は、各記録媒体に適したピックアップやピックアップと磁気ヘッドを組み合わせて記録再生用ヘッドを用いてデータの書込み/読出しを行う。データの書込み/読出しは、システム制御部22の制御信号74に応じて行われる。

このようにディジタルカメラ10は、記録する画像データ、ホワイトバランスゲイン（ホワイトバランス情報）の他に、リニアマトリクス係数（色空間変換情報）を付加して記録することにより、再生において撮影時のホワイトバランスを反映できるように情報を伝えることができる。

ストレージ32の記録フォーマット124は、図３に示すように、ヘッダ領域126と画像データ領域128を含む。ヘッダ領域126は、何番目の画像ファイルであるかを示すファイル情報130、撮影の日時を示す撮影時情報132、ホワイトバランスゲイン134およびリニアマトリクス係数136を含む。画像データ領域128は、モードに応じたデータが供給され、格納されている。

次に本発明の画像再生装置を適用した再生装置200の構成について図４を用いて簡単に説明する。図４に示す再生装置200は、ストレージ202、IF部204およびディジタル処理部206を含む。また、図示していないが、再生装置200の動作を制御するシステム制御部を有することは言うまでもない。ストレージ202およびIF部204は、基本的に、ディジタルカメラ10の構成要素に同じである。同じ構成要素については、同じ説明を繰り返す煩雑さを回避するため説明を省略する。ストレージ202は、図示しない、記録媒体である半導体メモリに前述した記録フォーマット124で書き込まれたデータが読み出して、IF部204を介してディジタル処理部206に画像データ208、リニアマトリクス係数210およびホワイトバランスゲイン212を出力する。

ディジタル処理部206は、リニアMTX回路214, 216、ゲイン補正回路218、ガンマ補正回路220、RGB補間回路222、YC変換回路224、輪郭補正回路226および色差MTX回路228を含む。再生装置200のディジタル処理部206は、図１に示したディジタルカメラ10のディジタル処理部64と比較すると、リニアMTX回路214, 216を２つ有する点と、ホワイトバランス判定回路78がない点で異なり、ガンマ補正回路220〜色差MTX回路228の構成が同じであることがわかる。

ストレージ202にディジタルカメラ10にて書込みに使用した半導体メモリが装着され、この半導体メモリに記録された画像の内、RAWモードで記録された画像を再生する場合について説明する。リニアMTX回路214, 216は、マトリクス演算機能を有する回路であり、リニアMTX回路214には、リニアマトリクス係数210が供給されている。読み出したリニアマトリクス係数210は、上述した再生する半導体メモリの条件からリニアマトリクス係数92である。リニアMTX回路214は、リニアマトリクス係数92に応じて撮影時に設定した色空間のRGBに画像データを変換する。変換された画像データ230がゲイン補正回路218に供給される。

ところで、リニアMTX回路214を設けて、色空間の変換を行う理由は、次段のゲイン補正回路218がすでに撮影段階で設定した色空間に基づいてホワイトバランスを調整するようにホワイトバランスゲインを設定しているからである。RAWモードにおける画像データは、何等色空間の設定が考慮されていない画像データである。ここでのホワイトバランス調整は、ホワイトバランスゲイン212で調整しても、色空間が考慮されていない画像データのため、この画像データには結果的に、ホワイトバランスの崩れたゲイン調整が行われることになるからである。これを回避するため、リニアMTX回路214を設けて、RAWモードの画像データ208に対して色空間の設定を行っている。

ゲイン補正回路218には、半導体メモリから読み出した撮影時のホワイトバランスゲイン212が供給されている。ゲイン補正回路218は、画像データ230に対して撮影時のホワイトバランスゲイン212でゲインを調整する。リニアMTX回路214およびゲイン補正回路218を配設して処理することにより、これまでの一連の処理は、撮影時の色空間に応じた画像データにして、この画像データに対する最適なホワイトバランス調整が行われる。ゲイン補正回路218は、適切にホワイトバランス調整された画像データ232をリニアMTX回路216に供給する。

リニアMTX回路216は、再生装置200においてユーザが所望の色空間に変換する機能を有する。このため、リニアMTX回路216には、所望の色空間に変換するリニアマトリクス係数234が供給される。この場合、すでにホワイトバランスを最適に調整した後での色の調整であることから、ホワイトバランスの崩れは起き難い。リニアMTX回路216は、所望の色空間に変換した画像データ236をガンマ補正回路220に出力する。

ガンマ補正回路220〜色差MTX回路228までの処理は、ディジタルカメラ10の対応する各部の処理手順に同じである。輪郭補正回路226は、エッジ強調された輝度信号238をIF部204に送り、色差MTX回路228は、生成した色差信号240をIF部204に供給する。IF部204にはユーザが所望の色空間に変換された画像データおよびリニアマトリクス係数234をまとめたデータ242として供給される。IF部204は、ストレージ202の半導体メモリにデータ242を記録する。これにより、記録時に半導体メモリにおいて、記録フォーマットにおけるヘッダ領域126の内、リニアマトリクス係数に所望のリニアマトリクス係数234を書き込んでおくことが好ましい。再生装置200の処理はソフトウェア的にプログラムで記述し、実行させてもRAWモードにおける画像データに対して設定に基づくリニアマトリクス変換およびホワイトバランスの調整を行い、この後に所望の色空間変換を行っても、ホワイトバランスの崩れのない所望の画像を得ることができる。

また、構成上、再生装置200に特有な回路を再生調整回路244とする。再生調整回路244には、リニアMTX回路214, 216およびゲイン補正回路218を含む。

このように動作させることにより、とくに、RAWモードの画像データを再生する際にホワイトバランスの崩れが生じないように画像データを処理した上で、所望の色空間RGBに変換しているから、画像データを色空間の変換、すなわちリニアマトリクス変換しても、ホワイトバランスが保たれた所望の画像に再生することができる。

次にディジタルカメラ10のディジタル処理部64に再生装置200の機能を備えた構成を図５に示す。ここで、共通する構成要素には、同じ参照番号を付して説明を省略する。図５のディジタル処理部64は、図１に示した撮影処理に対応する記録調整回路114、図４に示した再生処理に対応する再生調整回路244、記録/再生切換スイッチ246ならびに記録・再生における共通処理回路248を含む。

記録/再生切換スイッチ246は、通常モードの記録と再生とを切り換える。記録/再生切換スイッチ246は、記録調整回路114からの出力端が端子a側に接続され、再生調整回路244からの出力端が端子b側に接続され、システム制御部22から供給される切換制御信号250に応じて供給元となる端子a, bのいずれかを選択する。切換制御信号250は、操作部24にて記録/再生のいずれかがユーザにより選択され、この選択に応じてシステム制御部22に供給される指示信号120を基に生成される。

共通処理回路248は、記録および再生処理において、共通処理を行うガンマ補正回路82、RGB補間回路84、YC変換回路86、輪郭補正回路88および色差MTX回路90を含む。輪郭補正回路88および色差MTX回路90は、輝度信号と色差信号とをデータバス58に供給する。このように構成することにより、回路構成を簡略化することができる。IF部68は、制御信号74の書込み/読出しの制御等に応じてデータ252のストレージ32への書込み/読出しを制御する。

ここで、ディジタル処理回路64の動作を簡単に説明する。RAWモードの場合、書込み/読出しにおいて画像データ56、記録調整回路114から出力される色温度情報としてのホワイトバランスゲイン94およびシステム制御部22から供給されるリニアマトリクス係数92がデータ252である。これら３つのデータがIF部68を介してストレージ32に書き込まれる。

また、通常の圧縮モードの場合、画像データ56は、記録調整回路114、記録/再生切換スイッチ246の端子aおよび共通処理回路248を経て輝度信号および色差信号を生成する。これにより、IF部68には、データ252として輝度信号および色差信号ならびにホワイトバランスゲイン94が供給される。

RAWモードの記録されている画像データを再生する場合、データ252は、生の画像データ208、ホワイトバランスゲイン212およびリニアマトリクス係数210である。とくに、再生時における記録との対応関係を考慮すると、データ252は、生の画像データ56、ホワイトバランスゲイン94、リニアマトリクス係数92に同じである。さらに、再生においてユーザは、所望の色空間に変換する場合、たとえば操作部24で任意の色空間をあらかじめ設定しておく。システム制御部22は、この設定を受けて、所望の色空間に変換するリニアマトリクス係数234をデータバス58を介して再生調整回路244に供給する。

再生調整回路244は、所望の色空間に変換された画像データ236を記録/再生切換スイッチ246の端子bに出力する。記録/再生切換スイッチ246が再生に応じて端子b側に切り換えられているから、共通処理回路248に供給される画像データ236は、輝度信号および色差信号に変換される。この場合も、通常の記録モードと同様に輝度信号および色差信号は、データバス58を介してストレージ32に記録される。ストレージ32には、ホワイトバランスゲインおよびユーザが設定したリニアマトリクス係数234が記録フォーマットに従って記録される。

これにより、記録および再生機能を備えたディジタルカメラ10においても、ホワイトバランス調整および色空間の変更を行うことによって、ホワイトバランスの崩れが生じる画像生成にともなう不具合を抑制することができる。とくに、RAWモードでの発生を抑える記録を行い、再生において記録における情報を有効に利用して画像を再生することにより、所望の色空間に変更してもホワイトバランスの崩れが生じ難い処理を行うことができ、良好な画像を再生し、記録することができる。

以上のように構成することにより、RAWモードにおいて生の画像データ56、ホワイトバランスゲイン94およびリニアマトリクス係数92を記録することにより、再生において生じるホワイトバランスの崩れの防止に大いに貢献することができる。

また、再生においてRAWモードで記録されたデータを読み出して生の画像データ208に読み出したリニアマトリクス係数210で撮像時における色空間の設定に対応した画像データ230にし、読み出したホワイトバランスゲイン212でゲイン補正して、画像データ230にホワイトバランス調整を施し、ユーザが所望の色空間にリニアマトリクス係数234によって変更することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができる。

さらに、ディジタルカメラ10のディジタル処理部64において、とくにRAWモードに対して記録にて生の画像データ56およびホワイトバランスゲイン94だけでなく、リニアマトリクス係数92も記録し、再生にて生の画像データにリニアマトリクス係数92、ホワイトバランスゲイン94を順次用いて撮影時の色空間におけるホワイトバランス調整を行った上で、ユーザが所望の色空間に変更することにより、所望の色空間に変更された画像にホワイトバランスの崩れを生じ難くし、良好な再生画像を提供することができ、使い勝手が良好なシステムを提供することができる。

本発明の固体撮像装置を適用したディジタルカメラにおけるディジタル処理部の概略的な構成および記録に関する構成を示すブロック図である。 本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。 図２のストレージに記録するデータのフォーマットを説明する図である。 本発明の画像再生装置を適用した再生装置の概略的な構成を示すブロック図である。 図２および図４のディジタル処理部の機能を併せ持つ最適な構成および記録に関する構成を示すブロック図である。

符号の説明

10 ディジタルカメラ
12 光学系
14 絞り調節機構
16 撮像部
18 前処理部
20 信号処理部
22 システム制御部
24 操作部
26 タイミング信号発生器
28 ドライバ
30 モニタ
32 ストレージ
64 ディジタル処理部
76 リニアマトリクス回路
78 ホワイトバランス判定回路
80 ゲイン補正回路

Claims (3)

1. 撮影装置により得られた画像データを再生する画像再生装置において、該画像再生装置は、
   前記撮影装置において設定された撮影のRGB色空間に前記画像データを変換する複数の係数で表される第１のRGB色空間情報および第１のRGB色空間情報に対して最適な色温度情報を、前記画像データとともに、記録されたデータより読み出す読出し手段と、
   撮影のRGB色空間情報に基づいて前記画像データを補正する第１のRGB色空間補正手段と、
   前記色温度情報に基づいて第１のRGB色空間補正手段からの画像データを補正する色温度補正手段と、
   該画像再生装置において設定する再生のRGB色空間に前記画像データを変換する複数の係数で表される第２のRGB色空間情報に基づいて、前記色温度補正手段からの画像データのRGB色空間を補正する第２のRGB色空間補正手段とを含むことを特徴とする画像再生装置。
2. 請求項１に記載の装置において、第１のRGB色空間情報は、前記撮影にてメーカ側が提案するRGB色空間の標準規格を含み、第２のRGB色空間情報は、該装置のユーザが所望のRGB色空間であることを特徴とする画像再生装置。
3. 撮影装置により得られた画像データを再生する画像再生方法において、該方法は、
   前記撮影装置において設定された撮影のRGB色空間に前記画像データを変換する複数の係数で表される第１のRGB色空間情報および第１のRGB色空間情報に対して最適な色温度情報を、前記画像データとともに、記録されたデータより読み出す第１の工程と、
   撮影のRGB色空間情報に基づいて前記画像データを補正する第２の工程と、
   前記色温度情報に基づいて第２の工程で補正した画像データを補正する第３の工程と、
   該方法において設定する再生のRGB色空間に前記画像データを変換する複数の係数で表される第２のRGB色空間情報に基づいて、第３の工程で補正した画像データのRGB色空間を補正する第４の工程とを含むことを特徴とする画像再生方法。

Images