JP2018097897A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】適切に広ダイナミックレンジの画像を得ることができる画像処理装置及び画像処理プログラムを提供する。
【解決手段】画像処理装置１０は、ｎビットのデータで構成される画像を、第１輝度部と第１輝度部より低輝度の第２輝度部とに分ける分割部と、第１輝度部における階調差を残すように、第１輝度部に含まれるデータをビット数がｎより小さいｍビットのデータへ変換する第１変換部と、第２輝度部における階調差を残すように、第２輝度部に含まれるデータをｍビットのデータへ変換する第２変換部と、第１変換部による変換後のデータおよび第２変換部３１による変換後のデータから１枚の画像を合成する合成部と、を備える。分割部、第１変換部、第２変換部、合成部の機能は、プログラム実行部３１によって実現する。
【選択図】図２

Description

本発明は、画像処理装置および画像処理プログラムに関する。

撮像素子の蓄積時間を水平ラインの上下で異ならせることにより、画面上下で異なる露光時間の画像を取得して広ダイナミックレンジの画像を得る技術が知られている（特許文献１参照）。

特表２０１１−５１１５１３号公報

従来技術では、画面上下において異なる蓄積時間を設定可能な専用の撮像素子が必要な上に、例えば空と地面のように、地平線（水平線）を境に明暗部が分かれる場合に限られるという問題がある。

本発明の第１の態様による画像処理装置は、ｎビットのデータで構成される画像のうち、第１輝度部に含まれる第１データと、前記第１輝度部より低輝度の第２輝度部に含まれる第２データと、のそれぞれをビット数がｎより小さいｍビットのデータへ変換する変換部と、前記変換部により変換された第１データと、前記変換部により変換された第２データと、を合成する合成部と、を備える。
本発明の第２の態様による画像処理プログラムは、ｎビットのデータで構成される画像のうち、第１輝度部に含まれる第１データと、前記第１輝度部より低輝度の第２輝度部に含まれる第２データと、のそれぞれをビット数がｎより小さいｍビットのデータへ変換する変換処理と、前記変換処理により変換された第１データと、前記変換処理により変換された第２データとを合成する合成処理と、をコンピュータに実行させる。

本発明によれば、適切に広ダイナミックレンジの画像が得られる。

本発明の第一の実施形態による画像処理装置の外観を例示する図である。 画像処理装置の要部構成を例示するブロック図である。 元画像を例示する図である。 分割した明領域および暗領域を例示する図である。 各輝度部から抽出する画素信号のbit範囲を説明する図である。 プログラム実行部が実行する処理の流れを説明するフローチャートである。 変形例２における処理の流れを説明するフローチャートである。 アンダー画像を例示する図である。 オーバー画像を例示する図である。 スルー画像を例示する図である。 対象物毎の理想的な画素値を例示する図である。 画像処理装置へのプログラム供給を説明する図である。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による画像処理装置１０の外観を例示する図である。画像処理装置１０は、例えば、タブレット端末によって構成される。タブレット端末は、オペレーションシステム（ＯＳ）と呼ばれる基本プログラムを実行した上で、画像を加工するアプリケーションプログラム（以下、画像処理プログラムと呼ぶ）を実行することにより、画像処理装置１０として動作する。

図１において、画像処理装置１０の正面に表示・入力部２０が設けられる。表示・入力部２０は、画像やアイコン２５などを表示する表示機能と、ユーザによる接触操作を受け付ける入力機能と、を兼ね備えたタッチパネル液晶ディスプレイによって構成される。

表示・入力部２０は画像処理装置１０の前面を覆うように設けられており、表示面が操作面を兼ねる。表示・入力部２０は、ユーザの指で接触操作されると、接触部の静電容量の変化に基づいて、接触操作されたこと、および接触位置を示す位置検出信号を出力する。

画像処理装置１０は、表示・入力部２０に表示するアイコン２５に対応づけられているプログラムを起動させることにより、画像加工機能、メール機能や通信機能など、起動プログラムによって実現される機能を発揮する。なお、図１に例示する表示・入力部２０の表示例は、いわゆるホーム画面の例である。

図２は、図１の画像処理装置１０の要部構成を例示するブロック図である。図２において、画像処理装置１０は、表示・入力部２０と、制御部３０と、カメラユニット１１と、通信部１５とを有する。

＜表示・入力部２０＞
表示・入力部２０は、位置検出部２１と、表示部２２とを有する。位置検出部２１は、指による接触位置を示す位置検出信号と、表示制御部３２が有する表示情報（表示・入力部２０の表示部２２のどこに、何を表示させているかを示す情報）とに基づいて、表示・入力部２０の画面上の対象（画像やアイコン２５等）を特定する。表示部２２は、表示制御部３２からの表示制御信号に基づいて、画像やアイコン２５などを表示する。

＜制御部３０＞
制御部３０は、プログラム実行部３１と、表示制御部３２と、通信制御部３３と、不揮発性メモリ３４とを含み、画像処理装置１０内の各部の動作を制御する。プログラム実行部３１は、上記アイコン２５に対応づけられているプログラムのうち、上記位置検出部２１によって特定されたアイコン２５に対応するプログラムを実行する。表示制御部３２は、上記表示部２２に、画像やアイコン２５などを表示させる。通信制御部３３は、通信部１５による外部機器との通信を制御する。不揮発性メモリ３４は、プログラムや画像を格納する。

＜カメラユニット１１＞
カメラユニット１１は、例えば１４ビット出力の撮像素子と、撮像素子上に被写体像を結像する撮像光学系と、撮像素子を駆動する駆動部とを含む。カメラユニット１１に対する撮影制御および撮影指示は、制御部３０が行う。

＜通信部１５＞
通信部１５は、通信制御部３３からの指示に応じて無線通信を行う。通信部１５は、例えば、無線ＬＡＮ(Local Area Network)のアクセスポイントを介した通信が可能に構成されている。画像処理装置１０で加工する画像は、通信部１５を介して外部機器から取得してもよいし、画像処理装置１０が備えるカメラユニット１１で撮影してもよい。また、プログラム実行部３１が実行するアプリケーションプログラムは、通信部１５を介して外部機器から取得し、不揮発性メモリ３４に格納される。

＜広ダイナミック処理＞
本実施形態において、プログラム実行部３１が行う画像加工の手順について、画像を例示する図を参照しながら説明する。プログラム実行部３１は、画像データに加工を施すことにより、見かけ上、広ダイナミックレンジの画像を生成する。図３は、加工前の元画像を例示する図である。元画像データは、撮像素子の全ての画素において同じ露光時間で撮像された、１枚の画像のＲＡＷデータである。本実施形態では、１４ビット出力の撮像素子を用いて撮像された１４bit長の画像データに基づいて、１２bit長の広ダイナミックレンジ画像のデータを生成する。なお、画像データのbit長については本実施形態のように１４bit→１２bitへ変換する場合に限らず、１２ビット出力の撮像素子を用いて１２bit→８bitへ変換しても、１６ビット出力の撮像素子を用いて１６bit→１０bitへ変換しても構わない。

図３において、画像は「山」領域と「空」領域とを含み、「空」領域の輝度が高く「山」領域の輝度が低い。図３の場合、輝度が高い「空」領域が飽和しないように露出制御の上撮影されているので、「山」領域においてコントラストが低く、特に低輝度部分が黒く沈んで見える。

プログラム実行部３１は、図３の画像から輝度分布を求め、この輝度分布に基づいて画像を明領域４０と暗領域５０とに分割する。図４は、分割した明領域４０および暗領域５０を例示する図である。例えば、画像データを構成する全１４bitのうち最上位bit１３（ＭＳＢ）が「１」となる画素信号で構成される画素領域を明領域４０とし、最上位bit１３（ＬＳＢ）が「０」となる画素信号で構成される画素領域を暗領域５０とする。

そして、プログラム実行部３１は、明領域４０をそのまま高輝度部とし、高輝度部については全１４bitの信号値のうち下位２bitを除く上位１２bit分（bit１３〜bit２）を抽出する。プログラム実行部３１は、暗領域５０のうち、例えば、上位から２番目のbit１２が「１」となる画素で構成される領域を中輝度部とし、上位から２番目のbit１２が「０」となる画素で構成される領域を低輝度部とする。

プログラム実行部３１は、中輝度部については全１４bitの信号値のうち最上位bit１３および最下位bit０を除く中間１２bit分（bit１２〜bit１）を抽出する。さらにプログラム実行部３１は、低輝度部については全１４bitの信号値のうち上位２bitを除く下位１２bit分（bit１１〜bit０）を抽出する。図５は、高輝度部、中輝度部、および低輝度部においてそれぞれ抽出する画素信号のbit範囲を説明する図である。

抽出したbit範囲（本例では１２bit分）は、各輝度部における階調差を実質的に表す。このため、図５に例示したような輝度別に抽出した画素信号を対応する画素位置に配置すると、各輝度部で階調差を有する１枚の広ダイナミックレンジの画像が得られる。プログラム実行部３１は、輝度部毎に異なるbit範囲でそれぞれ抽出した１２bit長のデータで表される広ダイナミックレンジの画像に対し、通常の１２bit長の画像データに対する現像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）と同様の現像処理を施す。

なお、上記説明では、画像データの所定bitの値に着目して明領域４０、暗領域５０、高輝度部、中輝度部、および低輝度部を分ける例を説明したが、全１４bitで示される信号値に応じて画像の輝度部を分別してもよいし、全画素の信号値の平均値との比較に基づいて画像の輝度部を分別してもよい。

＜フローチャートの説明＞
プログラム実行部３１が実行する処理の流れについて、図６に例示するフローチャートを参照して説明する。例えば、表示・入力部２０の表示部２２に表示している「広ダイナミック加工」アイコン２５Ｂがタップ操作されたことが位置検出部２１によって特定されると、プログラム実行部３１は、図６による処理を開始させる。

図６のステップＳ１０において、プログラム実行部３１は、加工対象画像のデータを読み込んでステップＳ２０へ進む。画像は、上述したように、通信部１５を介して外部機器から取得した画像、またはカメラユニット１１で撮影した画像である。なお、加工対象の候補とする複数の画像データを読込み、これら複数の画像に対応する複数の縮小画像（サムネイル）を表示部２２に一覧表示させて、ユーザがタップ操作によって加工対象画像を指示するように構成してもよい。

ステップＳ２０において、プログラム実行部３１は、加工対象画像（本画像）の縮小画像（サムネイル）データに基づいて輝度分布を求め、ステップＳ３０へ進む。この輝度分布に基づいて、本画像を異なる輝度部に分割できる。なお、縮小画像データに基づいて輝度分布を求める代わりに、本画像データに基づいて輝度分布を求めてもよい。

ステップＳ３０において、プログラム実行部３１は、図５に例示したように、全１４bitのデータから、輝度部毎に所定のbit範囲（本実施形態では、全１４bit中１２bit）を抽出する。プログラム実行部３１は、全画素信号について１２bitの信号を抽出するとステップＳ４０へ進む。輝度別に抽出した信号を対応する画素位置に配置すると、各輝度部で階調差を有する１枚の広ダイナミックレンジの画像が得られる。ステップＳ４０において、プログラム実行部３１は、１２bit長の画像データに対して公知の現像処理を行ってステップＳ５０へ進む。

ステップＳ５０において、プログラム実行部３１は、現像処理後の画像を保存するとともに、その縮小画像（サムネイル）を表示部２２に表示させてステップＳ６０へ進む。ステップＳ６０において、プログラム実行部３１は、終了か否かを判定する。プログラム実行部３１は、終了操作が行われた場合にステップＳ６０を肯定判定して図６による処理を終了する。プログラム実行部３１は、終了操作が行われない場合はステップＳ６０を否定判定してステップＳ１０へ戻る。ステップＳ１０へ戻る場合は、上述した処理を繰り返す。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）画像処理装置１０は、１４ビットのデータで構成される画像を、明領域４０と明領域４０より低輝度の暗領域５０とに分けるプログラム実行部３１と、明領域４０における階調差を残すように、明領域４０に含まれるデータをビット数が１４より小さい１２ビットのデータへ変換するプログラム実行部３１と、暗領域５０における階調差を残すように、暗領域５０に含まれるデータを１２ビットのデータへ変換するプログラム実行部３１と、明領域４０における変換後のデータおよび暗領域５０における変換後のデータから１枚の画像を合成するプログラム実行部３１と、を備えるので、地平線（水平線）を境に明暗部が分かれる場合に限られることなく、適切に広ダイナミックレンジの画像が得られる。

具体的には、各輝度部のそれぞれで実質的に階調差を表すbit範囲を選択するようにしたことで、画像の情報を潰すことなく、広ダイナミックレンジの画像に反映できる。この結果、ＲＡＷデータ上で高輝度部に階調情報が含まれているにもかかわらず、現像処理後は白とびによって再現できていないとか、ＲＡＷデータ上で低輝度部に階調情報が含まれているにもかかわらず、現像処理後は黒つぶれによって再現できていないという状態を回避できる。このように、領域毎の階調差を活かすことで、コントラスト感が失われた「ねむい」印象となることを避けられる。

（２）明領域４０における変換は、１４ビットのデータから上位１２ビット分を抽出して変換後のデータとし、暗領域５０における変換は、１４ビットのデータから下位１２ビット分を抽出して変換後のデータとするので、処理が簡単で、高速に処理できる。

（３）明領域４０と暗領域５０との分割は、撮影で取得された本画像に基づく縮小画像（サムネイル）の輝度分布に基づいて本画像を分割するようにした。サムネイル画像は本画像に比べてデータ数が少ないので、本画像から輝度分布を求める場合に比べて処理負担が軽くなり、高速に処理できる。

（４）本実施形態によれば、異なるタイミングで撮影された複数枚の画像を合成して広ダイナミックレンジの画像を得る場合と異なり、複数の画像間で被写体移動や被写体ブレに起因する画像間の位置合わせ処理が不要となるため、処理負担が軽く、高速に処理できる。また、１枚の広ダイナミックレンジ画像へ合成した後は、従来通りの現像処理をそのまま使用できるので、汎用性が高い。

（変形例１）
上述した説明では、全１４bitのうち輝度部毎に所定のbit範囲（１２bit）のデータを抽出するに際し、高輝度部についてはＭＳＢ側の１２bit、低輝度部についてはＬＳＢ側の１２bit、そして中輝度部については中間１２bitを単純に抽出する例を説明した。この代わりに、各輝度部の画像データに対して、専用のガンマカーブを用いて１４bit→１２bitの画像データへ変換するように構成してもよい。

変形例１においては、１４bit→１２bitへ変換するためのガンマカーブとして、輝度部に応じたガンマカーブをあらかじめ複数本用意して不揮発性メモリ３４に格納しておく。例えば、高輝度部の場合は高輝度部の階調差の保持に適したガンマカーブ、中輝度部の場合は中輝度部の階調差の保持に適したガンマカーブ、低輝度部の場合は黒つぶれが起きにくいガンマカーブを用意する。

変形例１によれば、全１４bitのうち単純に隣り合う１２bitの信号を抽出する第一の実施形態に比べて、例えば、階調部間の境界が目立たなくすることができる。

（変形例２）
上述した第一の実施形態では、撮影済みの画像データ（ＲＡＷデータ）に基づいて広ダイナミックレンジの画像を生成する例を説明したが、カメラユニット１１による撮影時において広ダイナミックレンジの画像を生成するようにしてもよい。

変形例２において、プログラム実行部３１は、撮影（本露光）前にカメラユニット１１で撮像されるスルー画像データに基づいて、輝度分布を求める。スルー画像は、本露光前に所定のフレームレート（例えば３０フレーム／秒）で繰り返し撮像されるモニタ用露光で得られる画像である。ここで、輝度分布を求める画像は、可能な限り本露光直前の画像が望ましい。なお、本露光で得られる画像が本画像である。

＜フローチャートの説明＞
変形例２においてプログラム実行部３１が実行する処理の流れについて、図７に例示するフローチャートを参照して説明する。例えば、表示・入力部２０の表示部２２に表示している「広ダイナミック撮影」アイコン２５Ｂがタップ操作されたことが位置検出部２１によって特定されると、プログラム実行部３１は、図７による処理を開始させる。

図７のステップＳ１１０において、プログラム実行部３１は、カメラユニット１１からスルー画像のデータを読み込んでステップＳ１２０へ進む。ステップＳ１２０において、プログラム実行部３１は、スルー画像データに基づいて輝度分布を求め、ステップＳ１２５へ進む。

プログラム実行部３１は、レリーズ指示（例えば、表示部２２に表示するカメラアイコンがタップ操作される）を受けると、ステップＳ１２５において、カメラユニット１１に本露光を行わせる。ステップＳ１２６において、プログラム実行部３１は、カメラユニットで黒レベル補正など所定の処理を行わせてステップＳ１３０へ進む。黒レベル補正は、撮像素子に被写体光が入射されない状態でも僅かな光が入射したかのように現れる信号（ノイズ）成分による影響を排除する処理をいう。

ステップＳ１３０において、プログラム実行部３１は、図５に例示したように、本露光で得られた全１４bitのデータから、ステップＳ１２０で求めた輝度部毎に所定のbit範囲（本実施形態では、全１４bit中１２bit）を抽出する。プログラム実行部３１は、全画素信号について１２bitの信号を抽出するとステップＳ１４０へ進む。輝度別に抽出した信号を対応する画素位置に配置すると、各輝度部で階調差を有する１枚の広ダイナミックレンジの画像が得られる。ステップＳ１４０において、プログラム実行部３１は、１２bit長の画像データに対して公知の現像処理を行ってステップＳ１５０へ進む。

ステップＳ１５０において、プログラム実行部３１は、現像処理後の画像を保存するとともに、その縮小画像（サムネイル）を表示部２２に表示させてステップＳ１６０へ進む。ステップＳ１６０において、プログラム実行部３１は、終了か否かを判定する。プログラム実行部３１は、終了操作が行われた場合にステップＳ１６０を肯定判定して図７による処理を終了する。プログラム実行部３１は、終了操作が行われない場合はステップＳ１６０を否定判定してステップＳ１１０へ戻る。ステップＳ１１０へ戻る場合は、上述した処理を繰り返す。

以上説明した変形例２においては、高輝度部の白とびや暗部の黒つぶれが抑えられた、広ダイナミックレンジの撮影画像が得られる。なお、黒レベル補正とbit範囲の抽出の順番を逆順としてもよい。

（第二の実施形態）
第一の実施形態や変形例１、変形例２においては、１枚の画像データに基づいて直接１枚の広ダイナミックレンジの画像を生成する例を説明したが、第二の実施形態では、１枚の画像データから一旦２枚の画像を生成し、２枚の画像に基づいて１枚の広ダイナミックレンジの画像を生成する。

＜撮影済みの画像データに基づいて広ダイナミックレンジの画像を生成する場合＞
プログラム実行部３１は、撮影済みの画像データに基づいて広ダイナミックレンジの画像を生成する場合は、図６のステップＳ３０の処理に代えて以下の処理を行う。すなわち、プログラム実行部３１は、上述した明領域４０（図３）において、全１４bitの信号値のうち下位２bitを除く上位１２bit分（bit１３〜bit２）を抽出するとともに、暗領域５０において、全１４bitの信号値のうち最上位bit１３および最下位bit０を除く中間１２bit分（bit１２〜bit１）を抽出して、アンダー画像を生成する。図８は、アンダー画像を例示する図である。アンダー画像は、明領域４０における高輝度部、暗領域５０における中輝度部の階調差を表す。

また、プログラム実行部３１は、上述した明領域４０（図３）において、全１４bitの信号値のうち最上位bit１３および最下位bit０を除く中間１２bit分（bit１２〜bit１）を抽出するとともに、暗領域５０において、全１４bitの信号値のうち上位２bitを除く下位１２bit分（bit１１〜bit０）を抽出して、オーバー画像を生成する。図９は、オーバー画像を例示する図である。オーバー画像は、明領域４０における中輝度部、暗領域５０における低輝度部の階調差を表す。

プログラム実行部３１はさらに、上記オーバー画像およびアンダー画像を合成して１枚の広ダイナミックレンジの画像を得る。例えば、明領域４０において全１４bitのうち上位２bitがともに「１」となる画素信号で構成される画素領域は、全１４bitの信号値のうち下位２bitを除く上位１２bit分（bit１３〜bit２）を抽出する。さらに、明領域４０において最上位bit１３（ＭＳＢ）が「１」、かつ上位から２番目のbit１２が「０」となる画素で構成される領域は、全１４bitの信号値のうち最上位bit１３および最下位bit０を除く中間１２bit分（bit１２〜bit１）を抽出する。

また、暗領域５０において全１４bitのうち上位２bitがともに「０」となる画素信号で構成される画素領域は、全１４bitの信号値のうち上位２bitを除く下位１２bit分（bit１１〜bit０）を抽出する。さらに、暗領域４０において最上位bit１３（ＭＳＢ）が「０」、かつ上位から２番目のbit１２が「１」となる画素で構成される領域は、全１４bitの信号値のうち最上位bit１３および最下位bit０を除く中間１２bit分（bit１２〜bit１）を抽出する。

上述したように、明領域４０および暗領域５０でそれぞれ輝度別に抽出した信号を対応する画素位置に配置すると、各輝度部で階調差を有する１枚の広ダイナミックレンジの画像が得られる。プログラム実行部３１は、合成後の１枚の広ダイナミックレンジの画像に対し、通常の１２bit長の画像データに対する現像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）と同様の現像処理を施す。

＜撮影時に広ダイナミックレンジの画像を生成する場合＞
プログラム実行部３１は、撮影時に広ダイナミックレンジの画像を生成する場合は、図７のステップＳ１３０の処理に代えて以下の処理を行う。すなわち、プログラム実行部３１は、本露光で得られた１４bit長の画像データから、ステップＳ１２０で求めた輝度部毎に所定のbit範囲（本実施形態では、全１４bit中１２bit）を抽出する。

具体的には、「撮影済みの画像データに基づいて広ダイナミックレンジの画像を生成する場合」と同様に、アンダー画像（図８）およびオーバー画像（図９）を生成する。プログラム実行部３１はさらに、上記オーバー画像およびアンダー画像を合成して１枚の広ダイナミックレンジの画像を得る。

プログラム実行部３１は、合成後の１枚の広ダイナミックレンジの画像に対し、通常の１２bit長の画像データに対する現像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）と同様に現像処理を施す。

以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）画像処理装置１０において、明領域４０と暗領域５０に対する分割は、明領域４０および暗領域５０をそれぞれ高輝度部と低輝度部とに分け、明領域４０のうち高輝度部のデータをビット数が１４より小さい１２ビットのデータへ変換した第１上位データ（上位１２ビット）とし、明領域４０のうち低輝度部のデータを１２ビットのデータへ変換した第２上位データ（中間１２ビット）とし、暗領域５０のうち高輝度部のデータをビット数が１４より小さい１２ビットのデータへ変換した第１下位データ（中間１２ビット）とし、暗領域５０のうち低輝度部のデータを１２ビットのデータへ変換した第２下位データ（下位１２ビット）とした。また、合成は、第１上位データ（上位１２ビット）および第１下位データ（中間１２ビット）からアンダー画像を合成し、第２上位データ（中間１２ビット）および第２下位データ（下位１２ビット）からオーバー画像を合成し、さらにアンダー画像およびオーバー画像を１枚の画像へ合成した。これにより、地平線（水平線）を境に明暗部が分かれる場合に限られることなく、適切に広ダイナミックレンジの画像が得られる。

（２）具体的には、各輝度部のそれぞれで実質的に階調差を表すbit範囲を選択するようにしたことで、画像の情報を潰すことなく、広ダイナミックレンジの画像に反映できる。この結果、ＲＡＷデータ上で高輝度部に階調情報が含まれているにもかかわらず、現像処理後は白とびによって再現できていないとか、ＲＡＷデータ上で低輝度部に階調情報が含まれているにもかかわらず、現像処理後は黒つぶれによって再現できていないという状態を回避できる。このように、領域毎の階調差を活かすことで、コントラスト感が失われた「ねむい」印象となることを避けられる。

（変形例３）
上述した第二の実施形態では、各輝度部から所定のbit範囲（１２bit）の画像データを抽出するに際し、高輝度部についてはＭＳＢ側の１２bit、低輝度部についてはＬＳＢ側の１２bit、そして中輝度部については中間１２bitを単純に抽出する例を説明した。しかしながら、元画像の明領域４０が明るいと、上位bitが「１」になる飽和点が多く存在し、単純なbit範囲を抽出するのみではアンダー画像とオーバー画像を生成するのが困難な場合も想定される。

そこで、変形例３におけるプログラム実行部３１は、明領域４０に含まれる画素信号に対し、上位所定数bit(例えば上位８bit)を抽出し、専用のガンマカーブを用いて８bit→１２bitの画像データへ拡張する。

変形例３の画像処理装置１０では、８bit→１２bitへ拡張するためのガンマカーブとして、アンダー画像用のガンマカーブとオーバー画像用のガンマカーブをあらかじめ用意して不揮発性メモリ３４に格納しておく。

変形例３によれば、第二の実施形態に比べて、元画像の明領域４０が明るい場合に、適切なオーバー画像およびアンダー画像を生成できる結果、適切に広ダイナミックレンジの画像が得られる。

（変形例４）
以上説明した各実施形態および各変形例では、画像の輝度に応じて所定のbit範囲のデータを得る例を説明したが、画像に対するシーン判定結果に基づいて、bit範囲のデータを得るように構成してもよい。変形例４において、プログラム実行部３１は、元画像に対して公知の被写体判定処理を施すことにより、例えば、「山」、「空」、「顔」、…などの主要被写体となっている対象物を判定する。不揮発性メモリ３４には、あらかじめ想定される対象物毎に、理想的な画素値をテーブルとして格納しておく。プログラム実行部３１は、元画像において判定した対象物を含む領域の画素値がその対象物の理想値に近づくように、単純抽出する場合はbit範囲を決めたり、ガンマカーブを用いた変換を行う場合は変換に用いるガンマカーブを決めたりする。

図１１は、対象物毎の理想的な画素値を例示する図である。画素値は、１２bitデータの場合の例である。理想値は、「撮影済みの画像データに基づいて広ダイナミックレンジの画像を生成する場合」の値であり、スルー画像における値は、「撮影時に広ダイナミックレンジの画像を生成する場合」の値である。両者の値が異なるのは、スルー画像取得時と本撮影時とで露光条件が異なることによる。

プログラム実行部３１は、図１０に例示するスルー画像において、「山」領域と「空」領域とを判定した場合において、「空」領域の画素値が、３３６０−４０９５の範囲に収まるように、例えば、専用のガンマカーブを用いて１４bit→１２bitの画像データへ変換する。ガンマカーブは、上述した通り複数通り用意して、あらかじめ不揮発性メモリ３４の中に格納しておく。

プログラム実行部３１は、複数通りのガンマカーブから、対象物に応じたガンマカーブを選んで１４bit→１２bitの画像データへ変換する。このように主要被写体を判定してガンマカーブを選ぶ手法は、第一の実施形態や変形例１、変形例２のように、１枚の画像データから直接１枚の広ダイナミックレンジの画像を生成する場合に適用してもよいし、第二の実施形態のように、１枚の画像データに基づいて生成した２枚の画像（アンダー画像およびオーバー画像）を合成して１枚の広ダイナミックレンジの画像を得る場合に適用してもよい。

以上説明した各実施形態において、画像処理装置１０へのプログラムの供給は、図１２に例示するように、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体４５をユーザへ提供してもよいし、ネットワークなどの通信回線４２を経由する方法で画像処理装置１０へローディングしてもよい。通信回線４２に接続されている無線ＬＡＮのアクセスポイント４３を介して、無線通信で画像処理装置１０へ提供される。通信回線４２を経由する場合は、通信回線４２に接続されたサーバー４１のストレージ装置などにプログラムを格納しておく。プログラムは、記憶媒体４５や通信回線４２を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

（変形例５）
以上の説明では、画像処理装置１０をタブレット端末で構成する例を説明したが、タブレット端末の代わりにフォトビューワや高機能携帯電話機によって画像処理装置１０を構成してもよい。また、画像処理装置をデジタルカメラに搭載してもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。各実施形態および変形例は、適宜組合わせてもよい。

１０…画像処理装置
１１…カメラユニット
１５…通信部
２０…表示・入力部
２２…表示部
３０…制御部
３１…プログラム実行部
３４…不揮発性メモリ

Claims (5)

1. ｎビットのデータで構成される画像のうち、第１輝度部に含まれる第１データと、前記第１輝度部より低輝度の第２輝度部に含まれる第２データと、のそれぞれをビット数がｎより小さいｍビットのデータへ変換する変換部と、
   前記変換部により変換された第１データと、前記変換部により変換された第２データと、を合成する合成部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記変換部は、前記第１輝度部に含まれる前記第１データから上位ｍビット分を抽出して変換後のデータとする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記変換部は、前記第２輝度部に含まれる前記第２データから下位ｍビット分を抽出して変換後のデータとする画像処理装置。
4. 請求項２または３に記載の画像処理装置において、
   画像の主要被写体を判定するシーン判定部をさらに備え、
   前記変換部は、前記シーン判定部による判定結果に基づいて、前記主要被写体に相当する変換後のデータを所定値に近づけるように、前記ｎビットのデータから前記抽出するビット範囲を決める画像処理装置。
5. ｎビットのデータで構成される画像のうち、第１輝度部に含まれる第１データと、前記第１輝度部より低輝度の第２輝度部に含まれる第２データと、のそれぞれをビット数がｎより小さいｍビットのデータへ変換する変換処理と、
   前記変換処理により変換された第１データと、前記変換処理により変換された第２データとを合成する合成処理と、をコンピュータに実行させる画像処理プログラム。

Images