JP2018056969A

JP2018056969A - 画像処理装置

Info

Publication number: JP2018056969A
Application number: JP2016194771A
Authority: JP
Inventors: 晃弘大石; Akihiro Oishi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-09-30
Filing date: 2016-09-30
Publication date: 2018-04-05
Anticipated expiration: 2036-09-30
Also published as: US20180096456A1; JP6793511B2; US10497093B2

Abstract

【課題】ＲＡＷ画像を圧縮する場合であっても、画像調整による画質劣化を抑制することを可能とする技術を提供する。
【解決手段】画像処理装置であって、第１のＲＡＷ画像の現像処理を行なう現像処理手段と、現像処理された前記第１のＲＡＷ画像を出力する出力手段と、第２のＲＡＷ画像を圧縮し、圧縮された状態の第２のＲＡＷ画像を生成するＲＡＷ圧縮手段と、前記圧縮された前記第２のＲＡＷ画像を記憶媒体に書き込む制御手段とを備え、前記第１のＲＡＷ画像と前記第２のＲＡＷ画像とは、同一のＲＡＷ画像から得られる画像であって、かつ、前記第２のＲＡＷ画像は、前記第１のＲＡＷ画像よりも暗部の画素のレベルがより持ち上げられていることを特徴とする。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

画像符号化復号装置では、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記憶媒体に記録するのが一般的である。

一方で、ＲＡＷ画像を記録できる装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。ただし、ＲＡＷ画像はデータ量が膨大であるため、限りある記憶媒体に少しでも多くの画像を記録出来るようデータ量を抑えたい。このため、ＲＡＷ画像を圧縮することでデータ量を抑える。しかし、撮影条件によっては圧縮処理により画質劣化を招くことがある。

特許文献１は、画質劣化を抑えるため、人間視覚システムの特性に応じて量子化を変更する技術が提案されている。

特開２０００−１５２２４０号公報

しかしながら、上記提案技術では、現像処理等による画像調整により画質劣化が発生してしまうことがある。そこで、本発明は、ＲＡＷ画像を圧縮する場合であっても、画像調整による画質劣化を抑制することを可能とする技術を提供する。

上記課題を解決するための発明は、画像処理装置であって、
第１のＲＡＷ画像の現像処理を行なう現像処理手段と、
現像処理された前記第１のＲＡＷ画像を出力する出力手段と、
第２のＲＡＷ画像を圧縮し、圧縮された状態の第２のＲＡＷ画像を生成するＲＡＷ圧縮手段と、
前記圧縮された前記第２のＲＡＷ画像を記憶媒体に書き込む制御手段と
を備え、
前記第１のＲＡＷ画像と前記第２のＲＡＷ画像とは、同一のＲＡＷ画像から得られる画像であって、かつ、前記第２のＲＡＷ画像は、前記第１のＲＡＷ画像よりも暗部の画素のレベルがより持ち上げられていることを特徴とする。

本発明によれば、ＲＡＷ画像を圧縮する場合であっても、画像調整による画質劣化を抑制することができる。

発明の実施形態１に係る画像処理装置の構成例を示すブロック図。画素配列の説明図、及び、ウェーブレット変換のサブバンド形成図。発明の実施形態に係る第１データ変換及び第２データ変換である非線形変換の一例を示すグラフ。発明の実施形態１に係るファイルフォーマット、メインヘッダ部、プレーンヘッダ部、サブバンドヘッダ部の各データ構造の一例を示す図。発明の実施形態２に係る画像処理装置の構成例を示すブロック図。

［実施形態１］
以下、図面を参照しながら、発明の実施形態１を詳細に説明する。図１は、発明の実施形態に係る画像処理装置１００の構成例を示すブロック図である。

当該画像処理装置１００は、例えばデジタルカメラ、デジタルビデオカメラとして実現することができる。また、それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、携帯型メディアプレーヤなどの任意の情報処理端末或いは撮像装置として実現することもできる。なお、図１は、デジタルカメラ等として機能する場合を考慮して撮像センサ部１０２を含む構成を示した。しかし、発明の実施形態として、ＲＡＷ画像を圧縮し、記録することが可能な画像符号化復号化装置、画像記録装置、画像圧縮装置等として、撮像センサ部１０２を有しない構成で実現してもよい。

また、図１に示す画像処理装置１００の構成において、撮像素子や表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

図１において、制御部１５０は、装置全体の制御を司るものであり、ＣＰＵ、そのＣＰＵが実行するプログラムを格納したＲＯＭ、さらにはワークエリアとして使用するＲＡＭを含む。この制御部１５０は、ユーザからの指示入力を受け付ける操作部１５１と接続されている。

図示の構成において、操作部１５１を介してユーザが撮影指示を入力すると、制御部１５０の制御下にて、撮像対象となる被写体の光学像が撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。

当該カラーフィルターの例を図２（ａ）に示す。図２（ａ）は、撮像センサ部１０２に配置されるカラーフィルターの一例を示す図であり、画像処理装置１００が扱う画像の画素配列を表している。図２（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれている。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像を、生（未現像）の画像を意味するＲＡＷ画像と称す。

センサ信号処理部１０３から出力されたＲＡＷ画像は第１データ変換部１０４、及びカメラ情報生成部１０９へ供給される。まず、第１データ変換部１０４では、入力されたＲＡＷ画像のデータ変換が行われる。第１データ変換部１０４が行なうデータ変換は、ダイナミックレンジを確保し、表示及び編集等に適したデータにするための非線形変換（第１データ変換）である。本実施形態では、非線形変換としてLog変換を用いて説明を行う。図３（ａ）は、発明の実施形態に対応する第１データ変換部１０４における非線形変換を示すグラフである。実線が第１データ変換の入出力関係を示し、一点鎖線は変換前を示している。第１データ変換部１０４では、以下に示す式１に従って、処理対象のＲＡＷ画像の各画素の値を変換する。
y₁ = a・Log10(b・x + c) + d...式１

ここで、ｘはセンサ信号処理部１０３から出力されたＲＡＷ画像の各画素値を表し、ｙはＬｏｇ変換後の画素値を表す。a,b,c,dは所定の固定値であり、実数とすることができる。具体的に、ａは、変換後の値の取り得る範囲を決定するパラメータである。ｂは、暗部の画素値の立ち上がりの度合いを決定するためのパラメータであり、ｂの値が大きいほど暗部の画素値の立ち上がりが急峻になる。ｃは、主に初期値を決定するために作用するパラメータであり、ｄは変換後の値の大きさを全体として調整するためのパラメータである。

第１データ変換部１０４は、図３（ａ）に対応する変換テーブルを保持しておき、当該変換テーブルに基づいて入力されたＲＡＷ画像の各画素値を決定することができる。図３（ａ）のグラフでは、縦軸が変換前のＲＡＷ画像の画素値を表し、横軸は変換後のＲＡＷ画像の画素値を表す。本実施形態では8bit（各画素値は０から２５５までのいずれかの値を取り得る。）のデータで表しているが、ビット幅は何ビットでもよい。本実施形態では、変換後の画像もＲＡＷ画像とする。このような第１データ変換により、図３（ａ）の一点鎖線で示す元の値に対して、値の小さい暗部側が持ち上がると共に、値の大きい高輝度側は、最大値（８ビットで２５５）に到達しない範囲で値が寝かせられる。

図１に戻ると、第１データ変換部１０４は、変換したＲＡＷ画像（第１ＲＡＷ画像）を、現像部１０５と、第２データ変換部１１０にそれぞれ供給する。現像部１０５は、入力されたＲＡＷ画像の現像処理を行う。現像部１０５は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、ホワイトバランス調整を行い、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、また表示部１０７の出力特性に応じたガンマ補正を行なって画像を適正化するなどの所謂現像処理を行う。

現像部１０５には、第１データ変換部１０４からのＲＡＷ画像か、第３データ変換部１１５からのＲＡＷ画像のいずれかが入力される。撮像センサ部１０２で撮影されたＲＡＷ画像を撮影と同時に表示部１０７で表示する、いわゆるスルー表示（ライブビュー）の場合には第１データ変換部１０４からのＲＡＷ画像が入力される。また、操作部１５１に対するユーザ操作に応じて記憶媒体１１３に記憶されたＲＡＷ画像を表示部１０７に表示する場合には、第３データ変換部１１５からのＲＡＷ画像が入力される。

現像部１０５によって現像処理された画像情報は、表示処理部１０６を介して表示部１０７にて表示される。また、現像処理された画像情報は、映像出力端子１０８により、外部に接続された表示機器に出力されてもよい。映像出力端子１０８は、例えばＨＤＭＩやＳＤＩのような汎用インタフェースを含む。また、図１では簡単のために記載を省略しているが、現像処理された画像情報は不図示の画像処理部に供給されて圧縮符号化されてＪＰＥＧ等の別のフォーマットの画像に変換されても良い。画像処理部により生成されたＪＰＥＧ画像等は記憶媒体１１３に記憶することができる。

カメラ情報生成部１０９は、センサ信号処理部１０３、第１データ変換部１０４及び現像部１０５から、それぞれＲＡＷ画像を取得し、任意の矩形ブロック毎に算出されるレベル平均値の情報やヒストグラム等を基にカメラ情報を生成する。カメラ情報には、ＲＡＷ画像における暗部、中間域、高輝度部の範囲を含むことができる。カメラ情報生成部１０９は、生成したカメラ情報とセンサ信号処理部１０３から取得したＲＡＷ画像を第２データ変換部１１０へ供給する。

第２データ変換部１１０は、カメラ情報生成部１０９から入力されたカメラ情報とＲＡＷ画像とに基づき、第１データ変換部１０４から供給されたＲＡＷ画像に対して後段のＲＡＷ圧縮部１１１における圧縮処理に適したデータ変換（第２データ変換）を行う。第２データ変換部１１０におけるデータ変換処理の詳細は後述する。第２データ変換部１１０は、データ変換により得られたＲＡＷ画像（第２ＲＡＷ画像）をＲＡＷ圧縮部１１１に供給する。

ＲＡＷ圧縮部１１１は供給されたＲＡＷ画像に対して圧縮処理を行う。一般に、圧縮処理では高周波成分の情報を削減しても視覚的に分かりづらい。このため、ウェーブレット変換によって高周波成分と低周波成分に分解し、より高い周波数成分の情報を圧縮する方が符号化効率がよいと知られている。

図２（ｂ）は、ウェーブレット変換を垂直、水平フィルタリングをそれぞれ２回施した、分解レベル２の場合のサブバンド形成図である。図において、Lv1が高周波成分であるため、Lv1の情報を量子化等により削減する。ＲＡＷ圧縮部１１１では、ウェーブレット変換により出力された係数を量子化、差分符号化及びエントロピー符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換する。この際、制御部１５０は、ＲＡＷファイルのヘッダに、復号に必要な情報を含める処理も行う。

ここで第２データ変換部１１０の動作の詳細を説明する。ＲＡＷ画像を表示、もしくは別形式のファイル（例えば、ＪＰＥＧ画像ファイル等）に変換する場合に、現像処理及び画像調整を実施することができる。当該現像処理及び画像調整では、黒つぶれ、白飛びを抑えるように階調補正を行う。黒つぶれを抑えるためには黒レベルを決め、更に階調補正を行うことにより暗部を特に持ち上げる処理を行う。従って、ＲＡＷ圧縮により暗部に圧縮誤差が生じていた場合には、現像処理等で暗部を持ち上げることにより当該圧縮誤差が増大或いは強調されてしまう。このようなＲＡＷ圧縮による暗部に生ずる圧縮誤差は、以下のような原理で発生すると考えられる。

例えば、ウェーブレット変換によって出力されたウェーブレット係数を量子化する圧縮処理を行なう場合、暗部は信号レベルが低いためウェーブレット係数が概ね低くなる傾向がある。更に、ウェーブレット係数が小さいと量子化によって係数０となり情報を失ってしまうこともある。この場合、ＲＡＷ圧縮により暗部の画素値がつぶれてしまい暗部の解像度が得られない。このような画像について現像処理等でさらに暗部を持ち上げる処理を行なうと、上記のように圧縮誤差が強調されてしまうことになる。

そこで、本実施形態ではＲＡＷ圧縮部１１１における圧縮処理に先立って、暗部の圧縮誤差を軽減するためのデータ変換（第２データ変換）を行う。具体的に、第１データ変換部１０４で得られた変換後のＲＡＷ画像の信号レベルについて、暗部を更に持ち上げ、量子化による係数０の発生を抑制する。その際、白飛びを抑えるために高輝度部は最大値を下回るようにデータを寝かせ最大値に張り付く（クリップする）ことを抑制する。

ウェーブレット変換によって出力されたウェーブレット係数を量子化する圧縮処理において、高輝度部は信号レベルが高いためウェーブレット係数が概ね高くなる傾向がある。ウェーブレット係数が大きいとき、量子化を行っても符号量が大きくなってしまう。このため、データ変換を行い、信号レベルを寝かせ、量子化による発生符号量を抑制する。

第２データ変換部１１０は、以下の式２に従って、処理対象のＲＡＷ画像の各画素の値を変換する。ここで処理対象となるＲＡＷ画像はセンサ信号処理部１０３が出力したＲＡＷ画像とする。当該処理対象のＲＡＷ画像は、上述のようにカメラ情報生成部１０９から供給されても良い。
y₂ = f・Log10(g・x + h) + i...式２
となる。ただし、f,g,h,iは任意の実数である。f,g,h,iの各パラメータは、式１のa, b, c, dにそれぞれ対応する性質を有する。

第２データ変換部１１０は、式１と式２とで得られた結果を合成（加算）して出力することにより第２データ変換を実行する。これは、第１データ変換部１０４における第１データ変換の実行結果に、式２に基づく変換結果を加算して出力することに相当する。或いは、第１データ変換の実行結果を式２に基づき補正すると言い換えることもできる。第２データ変換部１１０は、第１データ変換部１０４における変換結果を補正、修正或いは調整するものであり、その度合いは上記式２に含まれるパラメータによって制御が可能となっている。

本実施形態では、第２データ変換部１１０はカメラ情報生成部１０９からカメラ情報として、ＲＡＷ画像における暗部、中間域、高輝度部の範囲の情報を取得する。よって、第２データ変換部１１０は処理対象の画素値が暗部、中間部、高輝度部のいずれに属するかに応じて、パラメータの大きさを調整することができる。ここで、ＲＡＷ画像の各画素が８ビットで０から２５５の範囲のいずれかの値を取る場合、暗部に属するレベルの小さい画素値における立ち上がりは、上記パラメータｂに対応するｇを調節することにより制御できる。ｇが大きい程、暗部の立ち上がりは大きくなるため、その分、第１データ変換結果の調整度合い（補正量）が大きくなる。

よって、第２データ変換部１１０は、カメラ情報生成部１０９から取得したカメラ情報により、処理対象の画素値が暗部に属すると判定した場合には、ｇの値を他の場合よりも大きくすることができる。例えば、暗部、中間部、高輝度部の各パラメータをｇ１、ｇ２、ｇ３とした場合、ｇ１＞ｇ２＞ｇ３とすることができる。また、圧縮処理のブロック単位に暗部、中間部、高輝度部の割合を判定し、割合に応じてパラメータｇの大きさを決定しても良い。

その他のパラメータについては、例えばｆ（式１のaに対応）は、変換後の値の取り得る範囲を規定するためのパラメータであり、固定値でも良い。また、ｈ、iについても同様に固定値であっても良い。

第２データ変換部１１０は上記式１及び式２で得られた結果を合成し、ＲＡＷ圧縮部１１１に供給する。ここでの合成は、以下の式３として近似することができる。
y₁+ y₂ = Y= aLog10(b・x + c) + d+ fLog10(g・x + h) + i
≒j・Log10(k・x² + m・x + n) + p...式３
ここで、係数k,m,nは、k・x² + m・x + n = (b・x + c)・(g・x + h)で置換した値であり、pは、p = d + iで置換した値であり、jは、ｘが最大値のときにyが最大値となる係数である。Yの最大値は、ホワイトレベルである。

図３（ｂ）は、第１データ変換及び第２データ変換の入出力関係を対比したグラフである。実線は第１データ変換における入出力関係を示し、破線が第２データ変換における入出力関係を示す。図３（ｂ）を参照すると、縦軸で示される変換後のＲＡＷ画像の画素値は、第２データ変換部１１０による第２データ変換後の方が値が大きくなっている。特に、変換後の値が１５０に到達する変換前の値は第１データ変換では約５０なのに対し、第２データ変換ではその半分の約２５となっており、第２データ変換の方がより暗部の立ち上がりが急峻となっている。これにより、暗部であっても信号レベルが高くなるのでウェーブレット係数の低下を解消し、量子化処理における係数０の発生を抑制することができる。

第２データ変換部１１０は、図３（ｂ）に対応する変換テーブルを保持しておき、当該変換テーブルに基づいて入力されたＲＡＷ画像の各画素値を決定することができる。また、図３（ｂ）に対応するテーブルは、カメラ情報に応じた複数パターンのテーブル、例えば暗部の割合が多いブロックに適用するテーブルや、高輝度部の割合が多いブロックに適用するテーブル等を用意しておくことができる。

図１に戻り、処理の説明を行う。ＲＡＷ圧縮部１１１では、第２データ変換部１１０から出力された変換後のＲＡＷ画像に対して圧縮処理を行なう。本実施形態では、ウェーブレット変換（周波数変換の１つ）を実行する。ウェーブレット変換では、サブバンドに分解され、サブバンド毎にサブバンド係数が出力される。出力された係数を量子化及びエントロピー符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換する。この際、制御部１５０は、ＲＡＷファイルのヘッダに、復号に必要な情報を含める処理も行う。

図４（ａ）はＲＡＷファイルのファイルフォーマットの一例である。図において、ＲＡＷファイルはヘッダ部とデータ部とに分かれており、ヘッダ部はメインヘッダ部とサブヘッダ部とを含む。サブヘッダ部は複数のプレーンヘッダ部を含むように構成され、各プレーンヘッダ部には複数のサブバンドヘッダ部が含まれる。データ部は複数のプレーンデータを含み、各プレーンデータは複数のサブバンドデータを含むように構成されている。プレーンヘッダ及びサブバンドヘッダには、プレーンデータとサブバンドデータに対応する情報が含まれている。

図４（ｂ）はメインヘッダ部のデータ構造の一例を示す。メインヘッダ部には、識別番号、画像サイズ、画像のビット幅、データ変換情報、ウェーブレット変換の分解レベル、ヘッダ長、データ部のアドレス、データ長及びサブヘッダ長が含まれている。データ変換情報には、式２に用いた任意の実数f, g, h, iもしくは、k, m, n, pを含むことができる。或いは、予め定められたテーブルを用いる場合には当該テーブルを特定するための情報を含めることができる。図４（ｃ）はプレーンヘッダ部のデータ構造の一例を示す。プレーンヘッダ識別番号、ヘッダ長、データ部のアドレス及びデータ長、サブバンド数及びサブバンドヘッダが含まれる。図４（ｄ）はサブバンドヘッダ部のデータ構造の一例を示す。サブバンドヘッダ部は識別番号、ヘッダ長、データ部のアドレス及びデータ長が含まれる。

図１に戻り、ＲＡＷ圧縮部１１１から出力されたＲＡＷファイルは、バッファ１１２に保持される。制御部１５０は、バッファ１１２が保持するＲＡＷファイルを記憶媒体１１３に書き込む。記憶媒体１１３は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。更にはネットワークを介した記憶装置であってもよい。

ユーザから操作部１５１を介してＲＡＷファイルを表示部１０７で再生表示する再生指示を受付けると、制御部１５０は、記憶媒体１１３から、ユーザが指定したＲＡＷファイルを記憶媒体１１３から読み出してバッファ１１２に書き込む。ＲＡＷ伸張部１１４は、バッファ１１２に格納されているＲＡＷファイルを読みだして、圧縮済みのＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４による伸張処理により得られたＲＡＷ画像は、第３データ変換部１１５に入力される。第３データ変換部１１５では、ファイルヘッダに記載されたデータ変換情報を読み出し、逆変換処理を行う。

第２データ変換部１１０における第２データ変換はＲＡＷ圧縮のために行なった処理であるから、表示部１０７における表示等のために、この逆変換処理により第１データ変換部１０４による第１データ変換時のＲＡＷ画像に戻す。これにより、スルー表示した場合と記憶媒体１１３からＲＡＷファイルを読み出して表示する場合とで現像部１０５における処理を切替える必要もなく、また、処理経路によってＲＡＷ画像が異なって表示されることもなくなる。

第３データ変換部１１５が実行する逆変換は、第１データ変換によるＲＡＷ画像（第１ＲＡＷ画像）と、第２データ変換によるＲＡＷ画像（第２ＲＡＷ画像）との差分に相当する値を、該第２ＲＡＷ画像から減ずることにより第１ＲＡＷ画像を得る処理である。具体的には、式３で算出されたデータから式１で算出されたデータへ戻す処理であり、式１をLogAとし、式２をLogBとした場合、LogA＋LogBである式３は、Log(A*B)と表せる。式３をLogCとすれば、式３から式１への逆変換は、(LogA＋LogB)−LogBであるがLog(C/B)であり、その処理を行えばよい。或いは、予め逆変換用のテーブルを用意しておいても良い。逆変換により得られたＲＡＷ画像は、現像部１０４に入力される。現像部１０４以降の説明は前述の通りである。

以上のように、本実施形態に対応する画像処理装置では、ＲＡＷ画像を圧縮処理する場合にＲＡＷ画像の特徴に応じてＲＡＷ画像の画素値を補正することで、圧縮処理による圧縮誤差の発生を抑制することができる。特に本実施形態では、表示用のＲＡＷ画像を生成するための第１データ変換と、当該表示用のＲＡＷ画像を記録用のＲＡＷ画像に変換するための第２データ変換とを実行し、第２データ変換では、変換対象のＲＡＷ画像の特徴に応じて、変換用パラメータを調整する。これにより、ＲＡＷ画像の特徴に応じて圧縮処理による圧縮誤差の発生を効果的に抑制することができる。特に、暗部における圧縮誤差の発生を抑制することができる。その結果、記憶媒体１１３に記憶されたＲＡＷファイルを再生する場合であっても、撮影時にスルー表示する場合と同等の表示が可能となる。

［実施形態２］
図５は発明の実施形態２に係る画像処理装置の構成例を示すブロック図である。図５中で、前述の実施形態１で用いた図１と同一構成要素には同一の番号を付している。また、全体的な処理は実施形態１と同様であるので、処理が異なる部分について以下に説明する。

センサ信号処理部１０３から出力されたＲＡＷ画像は第４データ変換部５０１に入力される。第４データ変換部５０１は、上述の実施形態１における式３に対応するデータ変換を行う。第４データ変換部５０１で変換されたＲＡＷ画像は、ＲＡＷ圧縮部１１１に入力される。更にはスイッチ５０２を介し第５データ変換部５０３に入力される。この第５データ変換部５０３は図１の第３データ変換部１１５と同様の動作を行なう。第５データ変換部５０３に入力されたＲＡＷ画像は、実施形態で記載の式１に対応する値に変換される。第５データ変換部５０３は生成したＲＡＷ画像を現像部１０５に入力する。

スイッチ５０２がＯＮの場合には、ＲＡＷ圧縮部１１１及びバッファ１１２を介した記憶媒体１１３への書き込みと、第５データ変換部５０３、現像部１０５、表示処理部１０６及び表示部１０７を介したスルー表示とを同時に実施することができる。また、スイッチ５０２がＯＦＦの場合には、記憶媒体１１３への記録のみを行って、消費電力を抑えることもできる。また、操作部１５１に対するユーザ操作に基づいて記憶媒体１１３から読み出したＲＡＷファイルを表示部１０７に表示させる場合にも、スイッチ５０２はＯＦＦとすることができる。
本実施形態でも、実施形態１と同様に、カメラ情報に応じてＲＡＷ画像のデータ変換を行なうことで、現像処理等による画像調整を考慮したデータとして、圧縮処理による画像の画質劣化を抑制することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１撮像光学部、１０２撮像センサ部、１０３センサ信号処理部、１０４第１データ変換部、１０５現像部、１０６表示処理部、１０７表示部、１０８映像出力端子、１０９カメラ情報生成部、１１０第２データ変換部、１１１ＲＡＷ圧縮部、１１２バッファ、１１３記憶媒体、１１４ＲＡＷ伸張部、１１５第３データ変換部、１５０制御部、１５１操作部

Claims

第１のＲＡＷ画像の現像処理を行なう現像処理手段と、
現像処理された前記第１のＲＡＷ画像を出力する出力手段と、
第２のＲＡＷ画像を圧縮し、圧縮された状態の第２のＲＡＷ画像を生成するＲＡＷ圧縮手段と、
前記圧縮された前記第２のＲＡＷ画像を記憶媒体に書き込む制御手段と
を備え、
前記第１のＲＡＷ画像と前記第２のＲＡＷ画像とは、同一のＲＡＷ画像から得られる画像であって、かつ、前記第２のＲＡＷ画像は、前記第１のＲＡＷ画像よりも暗部の画素のレベルがより持ち上げられていることを特徴とする画像処理装置。
撮像手段から出力されたＲＡＷ画像を変換して前記第１のＲＡＷ画像を生成する第１の変換手段と、
前記撮像手段から出力されたＲＡＷ画像を変換して前記第２のＲＡＷ画像を生成する第２の変換手段と
を更に備えることを特徴とする請求項１に記載の画像処理装置。
前記第２の変換手段は、前記第１のＲＡＷ画像に、前記撮像手段から出力されたＲＡＷ画像に対する変換結果を合成することにより前記第２のＲＡＷ画像を生成し、
前記第２の変換手段による前記変換により前記暗部の画素のレベルを持ち上げる度合いは、前記第１の変換手段による前記変換により前記暗部の画素のレベルを持ち上げる度合いよりも小さいことを特徴とする請求項２に記載の画像処理装置。
前記第２の変換手段は前記撮像手段から出力されたＲＡＷ画像が有する特徴に応じて前記暗部の画素のレベルを持ち上げる度合いを変更することを特徴とする請求項３に記載の画像処理装置。
前記第２の変換手段は前記撮像手段から出力されたＲＡＷ画像が暗部を含む割合が高いほど、前記暗部の画素のレベルを持ち上げる度合いを大きくすることを特徴とする請求項４に記載の画像処理装置。
前記制御手段が前記記憶媒体から読み出した前記圧縮された前記第２のＲＡＷ画像を伸張する伸張手段と、
伸張された前記第２のＲＡＷ画像を前記第１のＲＡＷ画像に変換する第３の変換手段と
を更に備え、
前記現像処理手段は、前記第３の変換手段により得られた第１のＲＡＷ画像に対して前記現像処理を行なうことを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
撮像手段から出力されたＲＡＷ画像を変換して前記第２のＲＡＷ画像を生成する第４の変換手段と、
前記第２のＲＡＷ画像を変換して前記第１のＲＡＷ画像を生成する第５の変換手段と
を更に備えることを特徴とする請求項１に記載の画像処理装置。
前記第５の変換手段は、前記第１のＲＡＷ画像と前記第２のＲＡＷ画像との差分に相当する値を、前記第２のＲＡＷ画像から減ずることにより前記第１のＲＡＷ画像を生成することを特徴とする請求項７に記載の画像処理装置。
前記第４の変換手段は、前記撮像手段から出力されたＲＡＷ画像に対する第１の非線形変換と第２の非線形変換との合成により前記第２のＲＡＷ画像を生成し、
前記第５の変換手段は、前記第２のＲＡＷ画像から前記第２の非線形変換の変換結果を減ずることにより前記第１のＲＡＷ画像を生成することを特徴とする請求項８に記載の画像処理装置。
前記第４の変換手段は前記撮像手段から出力されたＲＡＷ画像が有する特徴に応じて前記暗部の画素のレベルを持ち上げる度合いを変更することを特徴とする請求項７から９のいずれか１項に記載の画像処理装置。
前記第４の変換手段は前記撮像手段から出力されたＲＡＷ画像が暗部を含む割合が高いほど、前記暗部の画素のレベルを持ち上げる度合いを大きくすることを特徴とする請求項１０に記載の画像処理装置。
撮像手段を更に備えることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
第１のＲＡＷ画像の現像処理を行なう現像処理工程と、
現像処理された前記第１のＲＡＷ画像を出力する出力工程と、
第２のＲＡＷ画像を圧縮し、圧縮された状態の第２のＲＡＷ画像を生成するＲＡＷ圧縮工程と、
前記圧縮された前記第２のＲＡＷ画像を記憶媒体に書き込む制御工程と
を含み、
前記第１のＲＡＷ画像と前記第２のＲＡＷ画像とは同一のＲＡＷ画像から得られる画像であって、かつ、前記第２のＲＡＷ画像は、前記第１のＲＡＷ画像よりも暗部の画素のレベルがより持ち上げられていることを特徴とする画像処理方法。
コンピュータを請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。