JP2014110623A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】ＲＡＷデータをより効率よく圧縮させることが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】撮像により得られた未加工の画像であるＲＡＷ画像を示すＲＡＷデータに基づいて、ＲＡＷ画像に含まれる白とび領域に該当する領域を判定する判定部と、判定された白とび領域に該当する領域に対応するＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行う変換部とを備え、変換部は、白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする、画像処理装置が提供される。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

ＲＡＷデータのゲインを調整することによってホワイトバランスを調整するホワイトバランス処理が、ＲＡＷデータに対する画像処理の一つとして行われている。ＲＡＷデータに対してホワイトバランス処理を行う技術としては、例えば特許文献１に記載の技術が挙げられる。

特開２０１１−１５５６９６号公報

近年、ＲＡＷデータ（撮像により得られた未加工の画像であるＲＡＷ画像を示すデータ。以下、同様とする。）に対する画像処理を、撮像を行った撮像装置に行わせるのではなく、ＲＡＷデータを記録媒体に記録させ、当該記録媒体に記憶されているＲＡＷデータに対する画像処理を、ＰＣ（Personal Computer）などのコンピュータに行わせるユーザが、増加している

ここで、ＲＡＷデータは、例えば、ホワイトバランス処理やコントラスト調整処理、ノイズ除去処理などの画像処理前の未加工のデータであることから、一般的にサイズが大きい。そのため、ＲＡＷデータをより効率よく圧縮して、ＲＡＷデータのサイズをより小さくすることができれば、例えば記録媒体へと記録可能な画像数（ＲＡＷデータが示す画像の数）を増やすことが可能となる。よって、例えば、ＲＡＷデータをより効率よく圧縮することによって、ユーザの利便性の向上を図ることができる。

また、撮像装置においてＲＡＷデータに対して画像処理を行う場合においても、撮像素子から得られたＲＡＷデータを、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などのメモリに転送して記録した後に、当該メモリに記憶されたＲＡＷデータに対して画像処理を行うことは、一般的に行われている。

上記のように、撮像装置においてＲＡＷデータに対して画像処理を行う場合においても、ＲＡＷデータをより効率よく圧縮して、ＲＡＷデータのサイズをより小さくすることによって、データ転送により発生する消費電力を抑えることが可能となる。よって、例えば撮像装置がバッテリなどの内部電源によって駆動する場合には、ＲＡＷデータのサイズをより小さくすることによって、撮像装置の駆動時間をより長くすることができる。

よって、ＲＡＷデータをより効率よく圧縮することは、ユーザの利便性の向上を図る上で、また、データ転送に係る消費電力を低減する上で、重要である。

ここで、例えば特許文献１に記載の技術では、ＲＡＷデータに対してホワイトバランス処理を行い、その後、ホワイトバランス処理後の画像を圧縮している。しかしながら、例えば特許文献１に記載の技術では、ＲＡＷデータをより効率よく圧縮することについては、何らの考慮もなされていない。よって、例えば特許文献１に記載の技術を用いたとしても、非効率な圧縮となる恐れがある。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ＲＡＷデータをより効率よく圧縮させることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、撮像により得られた未加工の画像であるＲＡＷ画像を示すＲＡＷデータに基づいて、上記ＲＡＷ画像に含まれる白とび領域に該当する領域を判定する判定部と、判定された上記白とび領域に該当する領域に対応する上記ＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行う変換部と、を備え、上記変換部は、上記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする、画像処理装置が提供される。

かかる構成によって、ＲＡＷデータにおける不要な情報を低減することが可能となるので、ＲＡＷデータをより効率よく圧縮させることができる。

また、上記変換部は、上記白とび領域に該当する領域において、上記基準画素以外の画素の輝度変化をゼロにしてもよい。

また、上記判定部は、上記基準画素の画素値と所定の閾値との比較結果、および、上記基準画素以外の画素それぞれの画素値と対応するホワイトバランス係数とを乗算した値と、上記所定の閾値との比較結果に基づいて、上記白とび領域に該当する領域を判定してもよい。

また、上記画像空間周波数の分布変換が選択的に行われたＲＡＷデータに対して、画像圧縮処理を行う圧縮処理部をさらに備えていてもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、撮像により得られた未加工の画像であるＲＡＷ画像を示すＲＡＷデータに基づいて、上記ＲＡＷ画像に含まれる白とび領域に該当する領域を判定するステップと、判定された上記白とび領域に該当する領域に対応する上記ＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行うステップと、を有し、上記画像空間周波数の分布変換を行うステップでは、上記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする、画像処理方法が提供される。

かかる方法を用いることによって、ＲＡＷデータにおける不要な情報を低減することが可能となるので、ＲＡＷデータをより効率よく圧縮させることができる。

また、上記目的を達成するために、本発明の第３の観点によれば、撮像により得られた未加工の画像であるＲＡＷ画像を示すＲＡＷデータに基づいて、上記ＲＡＷ画像に含まれる白とび領域に該当する領域を判定する判定手段、判定された上記白とび領域に該当する領域に対応する上記ＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行う変換手段、としてコンピュータを機能させ、上記変換手段は、上記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする、プログラムが提供される。

かかるプログラムが用いられることによって、ＲＡＷデータにおける不要な情報を低減することが可能となるので、ＲＡＷデータをより効率よく圧縮させることができる。

本発明によれば、ＲＡＷデータをより効率よく圧縮させることができる。

ＲＡＷデータに対する既存の画像圧縮における問題の一例を説明するための説明図である。 本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本発明の実施形態に係る判定部の構成の一例を示すブロック図である。 本発明の実施形態に係る変換部の構成の一例を示すブロック図である。 本発明の実施形態に係る画像処理装置が備える変換処理部の処理の一例を説明するための説明図である。 本発明の実施形態に係る画像処理装置における処理の一例を示す流れ図である。 本発明の実施形態に係る画像空間周波数の分布変換が選択的に行われたＲＡＷデータに対する画像圧縮処理の結果の一例を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、ＲＡＷデータが、ベイヤ配列の撮像素子やカラーフィルタにより得られる、Ｒ（Ｒｅｄ）画素、Ｇ（Ｇｒｅｅｎ）画素、Ｂ（Ｂｌｕｅ）画素を含む画像データである場合を例に挙げて説明する。なお、本発明の実施形態に係る画像処理方法が適用可能なＲＡＷデータは、ベイヤ配列の撮像素子などにより得られた画像データに限られない。例えば、本発明の実施形態に係る画像処理方法は、“ＲＧＢ＋Ｗ”や、“ＲＧＢ＋ＩＲ”、“ＲＧＢ＋Ｓ”など様々な画像データに適用することが可能である。

［１］既存の画像圧縮における問題
本発明の実施形態に係る画像処理方法に係る処理を行うことが可能な、本発明の実施形態に係る画像処理装置の構成の一例について説明する前に、まず、ＲＡＷデータに対する既存の画像圧縮における問題の一例について説明する。

図１は、ＲＡＷデータに対する既存の画像圧縮における問題の一例を説明するための説明図である。図１に示すＡは、ホワイトバランス処理が行われる前のＲＡＷデータの画素値の一例を示しており、図１に示すＢは、ホワイトバランス処理が行われた後のＲＡＷデータの画素値の一例を示している。ここで、図１において横軸は光源の強さのレベル（１＜２＜３＜４＜５）を示しており、縦軸は画素値を示している。また、図１では、ＲＡＷデータが、グレー（１：より黒に近いグレー、…、５：より白に近いグレー）を示す画像である例を示している。また、図１に示す飽和値とは、ＲＡＷデータのビット数の上限値（例えば、８ビットであれば、２５６）を示している。

例えば、図１のＡに示すように、ＲＡＷデータがグレーを示す画像である場合には、画素値は、“Ｇ＞Ｒ＞Ｂ”となる特性を有する。上記特性を鑑みて、Ｒ画素／Ｇ画素／Ｂ画素がそれぞれ同じ値となるように、ゲイン係数を乗算する処理が行われることによって、例えば図１のＢに示すように、ホワイトバランス処理が実現される。

撮像素子は、表現可能なレンジが決まっており、ホワイトバランス処理のＲＡＷデータは、例えば図１のＡに示す“３”、“４”、“５”に示すように、被写体の輝度がある一定より大きくなると、Ｇ画素から飽和する。

ホワイトバランス処理が行われると、例えば、Ｒ画素／Ｇ画素／Ｂ画素それぞれに、ホワイトバランスを調整するためのゲイン係数（以下、「ホワイトバランス係数」と示す場合がある。）が乗算される。その結果、例えば図１のＢに示す“３”、“４”、“５”に示すように、Ｒ画素／Ｇ画素／Ｂ画素がそれぞれ飽和する。ここで、例えば図１のＢに示す“３”、“４”、“５”に示すように、ホワイトバランス処理後に、Ｒ画素／Ｇ画素／Ｂ画素が飽和している領域は、「白とび領域」とよばれる。

一般的に、ユーザが鑑賞する画像は、ホワイトバランス処理を含む画像処理後の画像データが示す画像であるため、ＲＡＷデータにおける“白とび領域に該当する領域”（ホワイトバランス処理後に、白とび領域となる領域。以下、同様とする。）中の、Ｒ画素／Ｂ画素の輝度差（画像空間周波数成分）は、不要な情報（データ）であるといえる。

しかしながら、既存の技術に係るＲＡＷデータに対する画像圧縮処理は、上記不要な情報を含めて圧縮を行う。よって、既存の技術に係るＲＡＷデータに対する画像圧縮処理は、非効率な圧縮であるといえる。

［２］本発明の実施形態に係る画像処理装置
そこで、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、ＲＡＷデータに基づいて、ＲＡＷ画像に含まれる白とび領域に該当する領域を判定する（判定処理）。本発明の実施形態に係る判定処理の一例については、後述する。

また、本発明の実施形態に係る画像処理装置は、上記判定処理において判定された白とび領域に該当する領域に対応するＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行う（変換処理）。より具体的には、本発明の実施形態に係る画像処理装置は、例えば、白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする。

ここで、本発明の実施形態に係る基準画素としては、例えば、被写体の輝度がある一定より大きくなると最初に飽和する色の画素が挙げられる。例えば図１に示す例では、設定される本発明の実施形態に係る基準画素としては、Ｇ画素が挙げられる。なお、本発明の実施形態に係る基準画素は、Ｇ画素に限られない。例えば、光源の種類によっては、Ｒ画素や、Ｂ画素が、設定される本発明の実施形態に係る基準画素となりうる。ここで、本発明の実施形態に係る基準画素は、例えば、予め設定されていてもよいし、ユーザ操作や光源の検出結果などに基づいて、設定（再設定）されてもよい。

上記のように、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、判定処理および変換処理を行う。ここで、本発明の実施形態に係る画像処理装置は、変換処理において、白とび領域に該当する領域における基準画素以外の画素の輝度変化（情報）を小さくする。よって、本発明の実施形態に係る画像処理装置において変換処理が行われたＲＡＷデータに対して画像圧縮処理を行う場合には、ＲＡＷデータにおける上記不要な情報が低減されたＲＡＷデータに対して圧縮を行うことが可能である。

したがって、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理（判定処理および変換処理）を行うことによって、ＲＡＷデータをより効率よく圧縮させることができる。

なお、本発明の実施形態に係るＲＡＷデータに対する画像圧縮処理は、例えば、本発明の実施形態に係る画像処理装置において行われてもよいし、画像圧縮処理を行うことが可能な外部装置において行われてもよい。

以下、本発明の実施形態に係る画像処理装置の構成の一例を説明しつつ、本発明の実施形態に係る画像処理方法に係る処理（判定処理および変換処理）について、より具体的に説明する。

以下では、Ｇ画素が基準画素であり、Ｒ画素およびＢ画素が、基準画素以外の画素である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例について説明する。なお、上述したように、本発明の実施形態に係る基準画素は、Ｇ画素に限られない。

図２は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、判定部１０２と、変換部１０４とを備える。

ここで、図２では、画像処理装置１００が処理するＲＡＷデータ、すなわち、本発明の実施形態に係る画像処理方法に係る処理が行われる前のＲＡＷデータを「入力ＲＡＷデータ」と示している。また、図２では、画像処理装置１００が処理したＲＡＷデータ、すなわち、本発明の実施形態に係る画像処理方法に係る処理が行われた後のＲＡＷデータを「出力ＲＡＷデータ」と示している。

本発明の実施形態に係る入力ＲＡＷデータとしては、例えば、撮像部（後述する）や外部撮像デバイスから撮像に応じて伝達されるＲＡＷデータが挙げられる。なお、本発明の実施形態に係る入力ＲＡＷデータは、上記に限られない。例えば、本発明の実施形態に係る入力ＲＡＷデータは、記憶部（後述する）や、ネットワークを介して（あるいは、直接的に）接続された外部装置が備える外部記録媒体などの記録媒体から読み出された、当該記録媒体に記憶されているＲＡＷデータであってもよい。

また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、判定部１０２および変換部１０４（または、いずれか一方）の役目を果たしてもよい。なお、判定部１０２および変換部１０４は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。

また、制御部（図示せず）は、例えば、出力ＲＡＷデータを記憶部（図示せず）に記録する処理や、後述する圧縮処理部に係る処理など、出力ＲＡＷデータに対する処理を行う役目を果たしてもよい。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。

操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することも可能である。

表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。

通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

撮像部（図示せず）は、例えば静止画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成されたＲＡＷデータを処理することが可能である。

ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子が挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。

判定部１０２は、本発明の実施形態に係る判定処理を行う役目を果たし、入力ＲＡＷデータに基づいて、ＲＡＷ画像に含まれる白とび領域に該当する領域を判定する。

図３は、本発明の実施形態に係る判定部１０２の構成の一例を示すブロック図である。判定部１０２は、例えば、画素判定部１１０Ａ、１１０Ｂ、１１０Ｃと、白とび領域判定部１１２とを備える。

画素判定部１１０Ａには、ＲＡＷデータにおけるＲ画素に対応する画素値（以下、「Ｒ−Ｐｉｘｅｌ」または「画素値Ｒ−Ｐｉｘｅｌ」と示す場合がある。）と、Ｒ画素に対応するホワイトバランス係数（以下、「ＷＢ−ＲＧａｉｎ」、または「ホワイトバランス係数ＷＢ−ＲＧａｉｎ」と示す場合がある。）とが入力される。ここで、ホワイトバランス係数ＷＢ−ＲＧａｉｎは、例えば、制御部（図示せず）や検波回路において、ＲＡＷデータを検波した結果に基づいて決定される。

画素判定部１１０Ａは、画素値Ｒ−Ｐｉｘｅｌ（基準画素以外の画素の画素値）およびホワイトバランス係数ＷＢ−ＲＧａｉｎ（対応するホワイトバランス係数）を乗算した値と、所定の閾値Ｆｕｌｌ−Ｒａｎｇｅとを比較する。

ここで、本発明の実施形態に係る所定の閾値Ｆｕｌｌ−Ｒａｎｇｅは、例えば、予め設定された固定値であってもよいし、ユーザ操作などによって変更可能な可変値であってもよい。具体例を挙げると、所定の閾値Ｆｕｌｌ−Ｒａｎｇｅとしては、例えば、表現可能な最大値（例えば、１２ｂｉｔ表現では“４０９５”、１０ｂｉｔ表現では“１０２３”）が挙げられる。

また、画素判定部１１０Ａは、例えば、比較結果を示すデータを、白とび領域判定部１１２に伝達する。ここで、本発明の実施形態に係る比較結果を示すデータとしては、例えば、上記乗算した値が所定の閾値Ｆｕｌｌ−Ｒａｎｇｅより大きいか否か（または、上記乗算した値が所定の閾値Ｆｕｌｌ−Ｒａｎｇｅ以上であるか否か。以下、同様とする。）を示すフラグＲ−Ｐｉｘｅｌ_Ｆｕｌｌ_ｆｌａｇが挙げられる。なお、本発明の実施形態に係る比較結果を示すデータが、フラグに限られないことは言うまでもない。

画素判定部１１０Ｂには、ＲＡＷデータにおけるＢ画素に対応する画素値（以下、「Ｂ−Ｐｉｘｅｌ」または「画素値Ｂ−Ｐｉｘｅｌ」と示す場合がある。）と、Ｂ画素に対応するホワイトバランス係数（以下、「ＷＢ−ＢＧａｉｎ」、または「ホワイトバランス係数ＷＢ−ＢＧａｉｎ」と示す場合がある。）とが入力される。ここで、ホワイトバランス係数ＷＢ−ＢＧａｉｎは、例えば、制御部（図示せず）や検波回路において、ＲＡＷデータを検波した結果に基づいて決定される。

画素判定部１１０Ｂは、画素判定部１１０Ａと同様に、画素値Ｂ−Ｐｉｘｅｌ（基準画素以外の画素の画素値）およびホワイトバランス係数ＷＢ−ＢＧａｉｎ（対応するホワイトバランス係数）を乗算した値と、所定の閾値Ｆｕｌｌ−Ｂａｎｇｅとを比較する。

また、画素判定部１１０Ｂは、例えば画素判定部１１０Ａと同様に、比較結果を示すデータを、白とび領域判定部１１２に伝達する。ここで、本発明の実施形態に係る比較結果を示すデータとしては、例えば、上記乗算した値が所定の閾値Ｆｕｌｌ−Ｒａｎｇｅより大きいか否かを示すフラグＢ−Ｐｉｘｅｌ_Ｆｕｌｌ_ｆｌａｇが挙げられる。なお、本発明の実施形態に係る比較結果を示すデータが、フラグに限られないことは言うまでもない。

画素判定部１１０Ｃには、ＲＡＷデータにおけるＧ画素に対応する画素値（以下、「Ｇ−Ｐｉｘｅｌ」または「画素値Ｇ−Ｐｉｘｅｌ」と示す場合がある。）が入力される。

画素判定部１１０Ｃは、画素値Ｇ−Ｐｉｘｅｌ（基準画素の画素値）と、所定の閾値Ｆｕｌｌ−Ｒａｎｇｅとを比較する。そして、画素判定部１１０Ｃは、例えば画素判定部１１０Ａと同様に、比較結果を示すデータを、白とび領域判定部１１２に伝達する。ここで、本発明の実施形態に係る比較結果を示すデータとしては、例えば、画素値Ｇ−Ｐｉｘｅｌが所定の閾値Ｆｕｌｌ−Ｒａｎｇｅより大きいか否かを示すフラグＧ−Ｐｉｘｅｌ_Ｆｕｌｌ_ｆｌａｇが挙げられる。なお、本発明の実施形態に係る比較結果を示すデータが、フラグに限られないことは言うまでもない。

白とび領域判定部１１２は、画素判定部１１０Ａ、１１０Ｂ、１１０Ｃそれぞれから伝達される比較結果を示すデータに基づいて、ＲＡＷ画像に含まれる白とび領域に該当する領域を判定する。

より具体的には、白とび領域判定部１１２は、例えば、フラグＲ−Ｐｉｘｅｌ_Ｆ、フラグＢ−Ｐｉｘｅｌ_Ｆ、フラグＧ−Ｐｉｘｅｌ_Ｆが、全て、所定の閾値Ｆｕｌｌ−Ｒａｎｇｅより大きいことを示す場合に、これらのフラグに対応する画素が、白とび領域に該当する領域に含まれる画素であると判定する。

なお、白とび領域判定部１１２における処理は、上記に限られない。例えば、白とび領域判定部１１２は、下記の条件式を満たす場合に、白とび領域に該当する領域に含まれる画素であると判定することも可能である。
条件式：
（Ｇ−Ｐｉｘｅｌ＝＝Ｆｕｌｌ−Ｒａｎｇｅ）＆＆
（Ｒ−Ｐｉｘｅｌ＊ＷＢ−ＲＧａｉｎ＞Ｆｕｌｌ−Ｒａｎｇｅ）＆＆
（Ｂ−Ｐｉｘｅｌ＊ＷＢ−ＢＧａｉｎ＞Ｆｕｌｌ−Ｒａｎｇｅ）

判定を行うと、白とび領域判定部１１２は、白とび領域に該当する領域の判定結果を示すデータを、変換部１０４へ伝達する。ここで、本発明の実施形態に係る判定結果を示すデータとしては、例えば、白とび領域に該当する領域であるか否かを示すフラグＦｕｌｌ_ｆｌａｇが挙げられる。なお、本発明の実施形態に係る判定結果を示すデータが、フラグに限られないことは言うまでもない。

判定部１０２は、例えば、画素判定部１１０Ａ、１１０Ｂ、１１０Ｃと、白とび領域判定部１１２とを備えることによって、入力ＲＡＷデータに基づいて、白とび領域に該当する領域を判定する。そして、判定部１０２は、フラグＦｕｌｌ_ｆｌａｇ（判定結果を示すデータの一例。以下、同様とする。）を変換部１０４へ伝達する。

再度図２を参照して、画像処理装置１００の構成の一例について説明する。変換部１０４は、本発明の実施形態に係る変換処理を行う役目を果たし、伝達されるフラグＦｕｌｌ_ｆｌａｇに基づいて、白とび領域に該当する領域に対応するＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行う。より具体的には、変換部１０４は、例えば、白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくする。

図４は、本発明の実施形態に係る変換部１０４の構成の一例を示すブロック図である。変換部１０４は、例えば、変換処理部１１４Ａ、１１４Ｂ、１１４Ｃを備える。

変換処理部１１４Ａは、伝達されるフラグＦｕｌｌ_ｆｌａｇに基づいて、選択的に画素値Ｒ−Ｐｉｘｅｌに対して画像空間周波数の分布変換を行う。そして、変換処理部１１４Ａは、選択的に画像空間周波数の分布変換が行われた画素値Ｒｏｕｔを出力する。

より具体的には、変換処理部１１４Ａは、フラグＦｕｌｌ_ｆｌａｇが白とび領域に該当する領域であることを示す場合に、画像空間周波数の分布変換を行い、フラグＦｕｌｌ_ｆｌａｇが白とび領域に該当する領域であることを示さない場合には、画像空間周波数の分布変換を行わない。図４の例では、フラグＦｕｌｌ_ｆｌａｇが“１”を示す場合に、フラグＦｕｌｌ_ｆｌａｇが白とび領域に該当する領域であることを示す例を示している。

ここで、“白とび領域”から“非白とび領域”へ状態が変わるときに、最も輝度変化が少なくなる値となる。よって、変換処理部１１４Ａは、例えば、下記の数式１に示す演算を行うことによって、画素値Ｒ−Ｐｉｘｅｌ（基準画素以外の画素の画素値）の輝度変化をゼロにする。

Ｒｏｕｔ＝（Ｆｕｌｌ_Ｒａｎｇｅ／ＷＢ−ＲＧａｉｎ）
・・・（数式１）

図５は、本発明の実施形態に係る画像処理装置１００が備える変換処理部１１４Ａの処理の一例を説明するための説明図である。図５に示すＡは、変換処理部１１４Ａが処理する前の画素値Ｒ−Ｐｉｘｅｌの一例を示しており、図５に示すＢは、変換処理部１１４Ａが処理した後の画素値Ｒｏｕｔの一例を示している。

例えば図５のＢに示すように、変換処理部１１４Ａは、例えば、白とび領域に該当する領域と判定された画素値を、同一の値へと変換する。つまり、変換処理部１１４Ａは、例えば、白とび領域に該当する領域における不要な輝度変化（情報）を消去する。

したがって、変換処理部１１４Ａが、例えば、下記の数式１に示す演算を行うことによって、入力ＲＡＷデータにおける上記不要な情報を低減することができる。

なお、変換処理部１１４Ａにおける処理は、上記数式１に示す演算を行う処理に限られない。変換処理部１１４Ａは、画素値Ｒ−Ｐｉｘｅｌ（基準画素以外の画素の画素値）の輝度変化を小さくすることが可能な、任意の演算を行うことが可能である。

再度図４を参照して、本発明の実施形態に係る変換部１０４の構成の一例について説明する。変換処理部１１４Ｂは、伝達されるフラグＦｕｌｌ_ｆｌａｇに基づいて、選択的に画素値Ｂ−Ｐｉｘｅｌに対して画像空間周波数の分布変換を行う。そして、変換処理部１１４Ｂは、選択的に画像空間周波数の分布変換が行われた画素値Ｂｏｕｔを出力する。

より具体的には、変換処理部１１４Ｂは、変換処理部１１４Ａと同様に、フラグＦｕｌｌ_ｆｌａｇが白とび領域に該当する領域であることを示す場合に、画像空間周波数の分布変換を行い、フラグＦｕｌｌ_ｆｌａｇが白とび領域に該当する領域であることを示さない場合には、画像空間周波数の分布変換を行わない。

ここで、“白とび領域”から“非白とび領域”へ状態が変わるときに、最も輝度変化が少なくなる値となる。よって、変換処理部１１４Ｂは、例えば、下記の数式２に示す演算を行うことによって、画素値Ｂ−Ｐｉｘｅｌ（基準画素以外の画素の画素値）の輝度変化をゼロにする。

Ｂｏｕｔ＝（Ｆｕｌｌ_Ｒａｎｇｅ／ＷＢ−ＢＧａｉｎ）
・・・（数式２）

なお、変換処理部１１４Ｂにおける処理は、上記数式２に示す演算を行う処理に限られない。変換処理部１１４Ｂは、画素値Ｂ−Ｐｉｘｅｌ（基準画素以外の画素の画素値）の輝度変化を小さくすることが可能な、任意の演算を行うことが可能である。

変換処理部１１４Ｃは、伝達されるフラグＦｕｌｌ_ｆｌａｇによらず、画素値Ｇ−Ｐｉｘｅｌ（基準画素の画素値）を画素値Ｇｏｕｔとして出力する。

変換部１０４は、例えば、変換処理部１１４Ａ、１１４Ｂ、１１４Ｃを備えることによって、伝達されるフラグＦｕｌｌ_ｆｌａｇに基づいて、白とび領域に該当する領域に対応するＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行う。

ここで、図５を参照して示したように、変換部１０４は、例えば、基準画素以外の画素において、白とび領域に該当する領域と判定された画素値を、同一の値へと変換する（輝度変化をゼロにする場合）。つまり、変換部１０４は、例えば、基準画素以外の画素において、白とび領域に該当する領域における不要な輝度変化を消去する（輝度変化をゼロにする場合）。なお、変換部１０４における処理は、上記に限られず、変換部１０４は、例えば、基準画素以外の画素において、白とび領域に該当する領域における不要な輝度変化を小さくしてもよい。

よって、変換部１０４が、本発明の実施形態に係る変換処理を行うことによって、入力ＲＡＷデータにおける上記不要な情報を低減することができる。したがって、変換部１０４が、本発明の実施形態に係る変換処理を行うことによって、ＲＡＷデータをより効率よく圧縮させることが可能となる。

画像処理装置１００は、例えば図２に示すように、判定部１０２と変換部１０４とを備えることによって、白とび領域に該当する領域を判定し、判定された白とび領域に該当する領域に対応するＲＡＷデータに対して、選択的に画像空間周波数の分布変換を行う。

ここで、画像処理装置１００における処理の一例を示す。

図６は、本発明の実施形態に係る画像処理装置１００における処理の一例を示す流れ図である。ここで、例えば、図６に示すステップＳ１０２、Ｓ１０４の処理が、判定部１０２における処理に該当し、また、図６に示すステップＳ１０６、Ｓ１０８の処理が、変換部１０４における処理に該当する。また、図６は、Ｇ画素が基準画素であり、Ｒ画素およびＢ画素が、基準画素以外の画素である場合における処理の一例を示している。

画像処理装置１００は、入力ＲＡＷデータが入力されたか否かを判定する（Ｓ１００）。ステップＳ１００において入力ＲＡＷデータが入力されたと判定されない場合には、画像処理装置１００は、処理を進めない。

また、ステップＳ１００において入力ＲＡＷデータが入力されたと判定された場合には、画像処理装置１００は、画素値Ｒ−Ｐｉｘｅｌおよび画素値Ｂ−Ｐｉｘｅｌそれぞれに対して、対応するホワイトバランス係数（ＷＢ−ＲＧａｉｎ、ＷＢ−ＢＧａｉｎ）を乗算する（Ｓ１０２）。ここで、ステップＳ１０２の処理は、白とび領域に該当する領域を判定するために用いる画素値を生成する処理に該当する。

画像処理装置１００は、画素値Ｇ−Ｐｉｘｅｌと、ステップＳ１０２において生成した画素値と、所定の閾値Ｆｕｌｌ−Ｒａｎｇｅとを用いて、白とび領域に該当する領域を判定する（Ｓ１０４）。

ここで、画像処理装置１００は、ステップＳ１０４において、例えば下記の条件式を満たす場合に、白とび領域に該当する領域であると判定する。
条件式：
（Ｇ−Ｐｉｘｅｌ＝＝Ｆｕｌｌ−Ｒａｎｇｅ）＆＆
（Ｒ−Ｐｉｘｅｌ＊ＷＢ−ＲＧａｉｎ＞Ｆｕｌｌ−Ｒａｎｇｅ）＆＆
（Ｂ−Ｐｉｘｅｌ＊ＷＢ−ＢＧａｉｎ＞Ｆｕｌｌ−Ｒａｎｇｅ）

なお、ステップＳ１０４における処理は、上記条件式を用いる処理に限られない。例えば、画像処理装置１００は、上述したように、フラグＲ−Ｐｉｘｅｌ_Ｆ、フラグＢ−Ｐｉｘｅｌ_Ｆ、フラグＧ−Ｐｉｘｅｌ_Ｆを用いて、白とび領域に該当する領域であるか否かを判定してもよい。

ステップＳ１０４において白とび領域に該当する領域であると判定された場合には、画像処理装置１００は、画像空間周波数の分布変換を行う（Ｓ１０６）。画像処理装置１００は、例えば、上記数式１および上記数式２に示す演算を行うことによって、画像空間周波数の分布変換を行う。

また、ステップＳ１０４において白とび領域に該当する領域であると判定されない場合には、画像処理装置１００は、画像空間周波数の分布変換を行わない（Ｓ１０８）。

ステップＳ１０６の処理またはステップＳ１０８の処理が行われると、画像処理装置１００は、出力ＲＡＷデータ（画像空間周波数の分布変換が選択的に行われたＲＡＷデータ）を出力する（Ｓ１１０）。

ここで、画像処理装置１００は、例えば、ＲＡＷデータを記憶することが可能な記録媒体に対して、出力ＲＡＷデータを出力してもよいし、ＲＡＷデータに対して画像圧縮処理を行うことが可能な圧縮処理部（後述する）や外部装置に対して、出力ＲＡＷデータを出力してもよい。

画像処理装置１００は、例えば、判定部１０２と変換部１０４とを備え、図６に示す処理を行うことによって、白とび領域に該当する領域を判定し、判定された白とび領域に該当する領域に対応するＲＡＷデータに対して、選択的に画像空間周波数の分布変換を行う。

ここで、上述したように、画像処理装置１００は、例えば、基準画素以外の画素において、白とび領域に該当する領域における不要な輝度変化（情報）を、消去、または小さくする。

したがって、画像処理装置１００は、入力ＲＡＷデータにおける上記不要な情報を低減することが可能であるので、ＲＡＷデータをより効率よく圧縮させることができる。

図７は、本発明の実施形態に係る画像空間周波数の分布変換が選択的に行われたＲＡＷデータに対する画像圧縮処理の結果の一例を説明するための説明図である。

ここで、図７に示すＡは、出力ＲＡＷデータ（画像空間周波数の分布変換が選択的に行われたＲＡＷデータ）に対して画像圧縮処理が行われた結果得られる、圧縮後の画像のデータサイズの一例を示している。また、図７に示すＢは、図７のＡに対する比較例を示している。具体的には、図７に示すＢは、画像空間周波数の分布変換が行われていないＲＡＷデータ（すなわち、入力ＲＡＷデータに該当するＲＡＷデータ）に対して画像圧縮処理が行われた結果得られる、既存の技術に係る圧縮後の画像のデータサイズの一例を示している。

また、図７は、白とび領域に該当する領域におけるＲ画素の画素値、または、白とび領域に該当する領域におけるＢ画素の画素値を示している。

また、図７は、隣接画素との差分値を算出し、ハフマン符号により符号化することによって出力ＲＡＷデータが圧縮される場合における、圧縮後の画像のデータサイズの一例を示している。

既存の技術では、白とび領域であるか否かによらずに、差分値を算出して符号化が行われる。よって、図７のＢに示すように、既存の技術を用いる場合の符号化後のデータサイズは、４６ｂｉｔである。

これに対して、本発明の実施形態に係る出力ＲＡＷデータは、変換部１０４において画像空間周波数の分布変換が選択的に行われたＲＡＷデータである。ここで、変換部１０４は、上述したように、判定された白とび領域に該当する領域において、基準画素以外の画素の輝度変化を小さくするので、変換部１０４から伝達される出力ＲＡＷデータでは、白とび領域に該当する領域における差分値がより小さくなる。例えば、変換部１０４が、判定された白とび領域に該当する領域において、基準画素以外の画素の輝度変化をゼロとした場合には、例えば図７のＡに示すように、白とび領域に該当する領域における差分値はゼロとなる。

よって、図７のＡに示すように、出力ＲＡＷデータ（画像空間周波数の分布変換が選択的に行われたＲＡＷデータ）に対して画像圧縮処理が行われた結果得られる、符号化後のデータサイズは、例えば８ｂｉｔとなる。

図７のＡに示す符号化後のデータサイズと、図７のＢに示す符号化後のデータサイズとを比較すれば明らかなように、出力ＲＡＷデータ（画像空間周波数の分布変換が選択的に行われたＲＡＷデータ）に対して画像圧縮処理が行われることによって、ＲＡＷデータの圧縮効率をより向上させることができる。つまり、出力ＲＡＷデータ（画像空間周波数の分布変換が選択的に行われたＲＡＷデータ）に対して画像圧縮処理が行われることによって、圧縮後の画像データのサイズをより小さくすることができる。

よって、例えば図７に示すように、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理（判定処理および変換処理）を行うことによって、ＲＡＷデータをより効率よく圧縮させることができることが分かる。

また、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理（判定処理および変換処理）を行うことによって、ＲＡＷデータをより効率よく圧縮させることが可能となるので、例えば、記録媒体へと記録可能な画像数（ＲＡＷデータが示す画像の数）を増やすことが可能となる。よって、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理（判定処理および変換処理）を行うことによって、ユーザの利便性の向上を図ることができる。

また、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理（判定処理および変換処理）を行うことによって、ＲＡＷデータをより効率よく圧縮させることが可能となるので、例えば、ＲＡＷデータのデータ転送により発生する消費電力を抑えることができ、また、ＲＡＷデータのデータ転送に要する帯域を低減することができる。

なお、本発明の実施形態に係る画像処理装置の構成は、図２に示す構成に限られない。

例えば、本発明の実施形態に係る画像処理装置は、変換部１０４において画像空間周波数の分布変換が選択的に行われたＲＡＷデータ（出力ＲＡＷデータ）に対して、画像圧縮処理を行う圧縮処理部（図示せず）をさらに備えていてもよい。

圧縮処理部（図示せず）は、例えば、隣接画素との差分値を算出し、ハフマン符号により符号化することによって、出力ＲＡＷデータが示す画像を圧縮する。ここで、上記符号化とは、出現確率の高い情報を短い符号長とし、出現確率の低い情報に対して長い符号長へ変換する処理である。自然画像の場合は、隣接画素の差分値は小さくなるという特徴があるので、差分値“０”を最小の符号長２ｂｉｔに変換する。また、差分値が大きくなると（出現確率が小さくなると）、変換する符号長は長くなる。

なお、圧縮処理部（図示せず）における画像圧縮処理は、ハフマン符号により符号化する処理に限られない。圧縮処理部（図示せず）は、例えば、画像を圧縮することが可能な任意の符号化方式を用いて出力ＲＡＷデータが示す画像を圧縮することが可能である。

以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、ＲＡＷデータを処理することが可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、コンピュータを、判定部、変換部として機能させることが可能なプログラム）が、コンピュータにおいて実行されることによって、ＲＡＷデータをより効率よく圧縮させることができる。

また、コンピュータを、さらに圧縮処理部（図示せず）として機能させることが可能なプログラムが、コンピュータにおいて実行されることによって、ＲＡＷデータをより効率よく圧縮して、圧縮後の画像データのサイズをより小さくすることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

１００ 画像処理装置
１０２ 判定部
１０４ 変換部
１１０Ａ、１１０Ｂ、１１０Ｃ 画素判定部
１１２ 白とび領域判定部
１１４Ａ、１１４Ｂ、１１４Ｃ 変換処理部

Claims (6)

1. 撮像により得られた未加工の画像であるＲＡＷ画像を示すＲＡＷデータに基づいて、前記ＲＡＷ画像に含まれる白とび領域に該当する領域を判定する判定部と、
   判定された前記白とび領域に該当する領域に対応する前記ＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行う変換部と、
   を備え、
   前記変換部は、前記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくすることを特徴とする、画像処理装置。
2. 前記変換部は、前記白とび領域に該当する領域において、前記基準画素以外の画素の輝度変化をゼロにすることを特徴とする、請求項１に記載の画像処理装置。
3. 前記判定部は、前記基準画素の画素値と所定の閾値との比較結果、および、前記基準画素以外の画素それぞれの画素値と対応するホワイトバランス係数とを乗算した値と、前記所定の閾値との比較結果に基づいて、前記白とび領域に該当する領域を判定することを特徴とする、請求項１、または２に記載の画像処理装置。
4. 前記画像空間周波数の分布変換が選択的に行われたＲＡＷデータに対して、画像圧縮処理を行う圧縮処理部をさらに備える、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 撮像により得られた未加工の画像であるＲＡＷ画像を示すＲＡＷデータに基づいて、前記ＲＡＷ画像に含まれる白とび領域に該当する領域を判定するステップと、
   判定された前記白とび領域に該当する領域に対応する前記ＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行うステップと、
   を有し、
   前記画像空間周波数の分布変換を行うステップでは、前記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくすることを特徴とする、画像処理方法。
6. 撮像により得られた未加工の画像であるＲＡＷ画像を示すＲＡＷデータに基づいて、前記ＲＡＷ画像に含まれる白とび領域に該当する領域を判定する判定手段、
   判定された前記白とび領域に該当する領域に対応する前記ＲＡＷデータに対して、画像空間周波数の分布変換を選択的に行う変換手段、
   としてコンピュータを機能させ、
   前記変換手段は、前記白とび領域に該当する領域において、設定されている基準画素以外の画素の輝度変化を小さくすることを特徴とする、プログラム。
   

Images