JP2022119630A - 画像処理装置、画像処理方法、および撮像装置、ならびにそれらの制御方法 - Google Patents

Abstract

【課題】画質劣化を抑えつつ、効率的に合成画像を生成することのできる画像処理装置、画像処理方法、および撮像装置を提供すること。【解決手段】露出量の異なる複数の画像データのデータ量を削減する符号化を適用し、符号化データを伝送することにより、伝送データ量を削減する。符号化データを復号したのち合成画像を生成する。符号化の前と復号の後に、画像データのレベル変換とその逆変換を適用する。レベル変換に用いる入出力特性を、複数の画像データの合成比率に応じて設定する。【選択図】図１

Description

本発明は画像処理装置、画像処理方法、および撮像装置に関し、特には合成画像の生成技術に関する。

異なる露出量で撮像された複数の画像を合成することにより、ダイナミックレンジを拡張した画像（HDR(High Dynamic Range)画像）を生成する技術が知られている。また、特許文献１には、異なる露出量で複数回撮像する代わりに、１回の撮像で得られた画像信号に対して異なるゲインを適用して生成した複数の画像信号を合成してＨＤＲ画像を生成する技術が開示されている。

特開２０１９－１８６９１０号公報

特許文献１に記載の技術では、１回の撮像でＨＤＲ画像を生成できるという利点がある。しかし、撮像素子の各画素から信号を複数回読み出すため、１フレーム伝送期間内に処理すべきデータ量が増加し、メモリやデータバスの帯域がひっ迫する可能性がある。一方で、画像信号のデータ量を単純に削減すると、ＨＤＲ画像の画質を低下させる原因となる。

本発明は、画質劣化を抑えつつ、効率的に合成画像を生成することのできる画像処理装置、画像処理方法、および撮像装置を提供することを目的の１つとする。

上述の目的は、露出量の異なる複数の画像データを取得する取得手段と、複数の画像データに入出力特性を適用してレベル変換する変換手段と、レベル変換された複数の画像データのデータ量を削減する符号化を適用する符号化手段と、符号化された複数の画像データを復号する復号手段と、復号された複数の画像データに入出力特性の逆特性を適用する逆変換手段と、逆変換手段が出力する複数の画像データから合成画像データを生成する合成手段と、を有し、入出力特性は、合成手段における複数の画像データの合成比率に応じて設定されることを特徴とする画像処理装置によって達成される。

本発明により、画質劣化を抑えつつ、効率的に合成画像を生成することのできる画像処理装置、画像処理方法、および撮像装置を提供することができる。

実施形態に係る撮像装置１０の機能構成例を示すブロック図 第１実施形態に係る撮像部２０の機能構成例を示す図 図２における単位画素２０１から水平転送回路２０５までの回路構成例を示す図 第１実施形態に係る画素部２００の画素配列、露光時間の設定、通常モードおよびＨＤＲモードでの画像の出力形式を示す図 実施形態に係る合成部８０の機能構成例を示すブロック図 実施形態に係るゲイン補正回路８０１および８０２の動作に関する図 実施形態に係る合成回路８０４における合成比率の例を示す図 実施形態に係る符号化部４０の機能構成例を示すブロック図 実施形態に係る復号部６０の機能構成例を示すブロック図 実施形態に係るレベル変換部３０の機能構成例を示すブロック図 実施形態に係るレベル変換部３０の入出力特性の例を示す図 実施形態に係るレベル変換部３０の入出力特性の例を示す図 実施形態に係るレベル変換部３０の動作に関するフローチャート 実施形態に係るレベル逆変換部７０のブロック構成図 実施形態に係るレベル逆変換部７０の入出力特性の例を示す図 第２実施形態に係る列アンプ部２０３の列アンプの構成例を示す回路図 第３実施形態に係る撮像部２０の動作タイミング例を示す図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下では、本発明をデジタルカメラのような撮像装置で実施する場合に関して説明する。しかし、撮像装置は本発明を実施可能な画像処理装置の一例である。本発明を実施可能な画像処理装置は、撮像素子から得られる画像信号を処理可能な任意の電子機器であってよい。このような電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

●（第１実施形態）
＜撮像装置全体＞
図１は、本発明を実施可能な撮像装置１０の機能構成例を示すブロック図である。撮像装置１０の各機能ブロックは、撮像素子、メモリ５０、記録媒体１１０のような、ハードウェアでのみ実現可能な部分を除き、ソフトウェア、ハードウェア、またはその組み合わせのいずれによって実現されてもよい。例えば、機能ブロックは、ＡＳＩＣのような専用のハードウェアにより実現されてもよい。また、機能ブロックは、ＣＰＵなどのプロセッサがメモリに記憶されたプログラムを実行することによって実現されてもよい。なお、複数の機能ブロックが共通の構成（例えば１つのＡＳＩＣ）によって実現されてもよい。また、ある機能ブロックの一部の機能を実現するハードウェアが、他の機能ブロックを実現するハードウェアに含まれてもよい。

撮像部２０は、被写体の光学像を生成する光学系と、光学系が生成した光学像を電気信号群に変換する撮像素子とを含む。光学系は着脱可能であっても固定されていてもよい。撮像素子は例えばCCDやCMOSイメージセンサであってよく、光電変換領域を有する画素が行列状に配置された画素部または画素アレイと、画素部に制御信号を供給する周辺回路とを有する。本実施形態において、撮像部２０はＡ／Ｄ変換機能を有し、デジタル形式の画素信号群（ＲＡＷデータ）を出力するものとする。撮像部２０のより詳細な構成については後述する。

レベル変換部３０は、撮像部２０から供給される画像データを構成する個々の画素信号のレベルを、設定された入出力特性に従って変換する。

符号化部４０は、レベル変換部３０から供給される画像データを符号化し、画像データよりもデータ量が少ない符号化データを生成する。符号化部４０の詳細については後述する。符号化データは、メモリ５０に記憶される。メモリ５０は、符号化データのバッファメモリとして機能する。

復号部６０は、メモリ５０に記憶された符号化データを読み出して復号する。復号部６０は復号により得られた画像データをレベル逆変換部７０に出力する。符号化によって画像データのデータ量を削減することにより、符号化部４０から復号部６０までの間の伝送路の帯域使用量を削減することができる。そのため、１回の撮影で複数フレーム分の画像データを伝送する必要がある場合でも、伝送路の帯域が逼迫することを抑制できる。また、符号化部４０と復号部６０との間にメモリ５０を設けることにより、復号部６０に要求される処理速度を低減することができる。

レベル逆変換部７０は、レベル変換部３０が適用した入出力特性と逆の入出力特性によって画像データを構成する個々の画素信号のレベルを変換する。これら２つの入出力特性を合成すると入力と出力が等しい線形の入出力特性となる。レベル逆変換部７０は、レベル変換した画像データを合成部８０に出力する。

合成部８０は、レベル逆変換部７０から供給される複数フレーム分の画像データを後述する合成比率特性に基づいて合成して合成画像データを生成する。合成部８０は、生成した合成画像データを現像処理部９０に出力する。

合成部８０により出力される合成画像データはＲＡＷデータである。現像処理部９０は、合成画像データに現像処理を適用し、表示用および／または記録用の画像データを生成する。より具体的には、現像処理部９０は、デベイヤ（デモザイク）処理とも呼ばれる色補間処理、ホワイトバランス調整処理、色空間変換処理、ノイズ抑制処理、光学系に起因する歪みや収差の補正、拡大・縮小処理などを適用する。現像処理部９０は、例えばYCｂCr４：２：２など、輝度と色差で表される画像データを生成する。現像処理部９０はまた、生成した画像データから、制御部１２０が露出や焦点の調節に用いる評価値を生成したり、顔認識などの特徴領域を検出したりしてもよい。

なお、本実施形態では現像処理前の画像データを合成する構成について説明した。しかし、合成部８０を現像処理部９０の後段に配置して、現像処理後の画像データを合成する構成としてもよい。

記録処理部１００は、現像処理部９０から出力される記録用の画像データを必要に応じて符号化し、符号化データとその付随情報を含んだ画像データファイルを生成する。記録処理部１００が適用する符号化は、ＪＰＥＧ、ＪＰＥＧ２０００、Ｈ．２６４、またはＨＥＶＣ／Ｈ．２６５など、規格として採用されている任意の符号化方式を用いることができる。

また、記録処理部１００は、生成した画像データファイルを記録媒体１１０に記録する。記録媒体１１０は半導体メモリカード、ＳＳＤ、ハードディスクドライブなどであってよい。記録媒体１１０は着脱可能であっても、内蔵されていても、通信可能に外部接続されていてもよい。

表示処理部１３０は、現像処理部９０から出力される表示用の画像データを、あるいは記録用の画像データを表示サイズにスケーリングして、表示部１４０に表示する。表示処理部１３０はまた、撮像装置１０の設定値などの各種情報を表す画像のデータを撮像で得られた画像データと合成して表示部１４０に表示したり、メニュー画面などのＧＵＩ画面を表示部１４０に表示したりする。

表示部１４０は例えば液晶ディスプレイである。表示部１４０はタッチディスプレイであってもよい。表示部１４０に動画をリアルタイムに表示することで、表示部１４０をＥＶＦとして機能させることができる。

操作部１２１はユーザが撮像装置１０に指示を入力するためのキー、ボタン、スイッチ、ダイヤルなどの入力デバイスの総称である。表示部１４０がタッチディスプレイの場合、タッチパネル部分は操作部１２１を構成する。

制御部１２０は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有する。図１では省略されているが、制御部１２０は撮像装置１０が有する各機能ブロックと通信可能に接続されている。制御部１２０は、ＲＯＭに記憶されたプログラムをＲＡＭに読み込んでＣＰＵで実行することにより、撮像装置１０の各機能ブロックの動作を制御し、撮像装置１０の機能を実現する。制御部１２０は操作部１２１を監視しており、操作部１２１の操作を検出すると、操作に応じた動作を実行する。

＜撮像部２０＞
撮像部２０が有する撮像素子は、画素単位で露光時間（電荷蓄積時間）を制御可能である。したがって、異なる露光時間で制御される画素群を適切に配置することにより、所定の１フレーム期間内に、露出期間が重複し、かつ露出量の異なる複数フレーム分の画像データを出力可能である。例えば、Quad Bayer配列のカラーフィルタを有する撮像素子を用い、隣接する２×２の同色画素の２つを第１の露光時間で、残りの２つを第２の露光時間で制御することにより、露光時間の異なる２フレーム分の画像データを得ることができる。この場合、通常の撮影において２×２の同色画素を１つの画素として画像データを生成すれば、露光時間の異なる２フレーム分の画像データの解像度は、通常撮影で得られる画像データの解像度と等しくなる。

なお、画素単位で露光時間を制御することにより、露出期間が重複し、かつ露出量の異なる複数フレーム分の画像を１フレーム期間内に取得する方法は特に限定されない。このようにして得られる複数フレーム分の画像データを、フレーム間で対応する画素ごとに合成することで、１回の露光でＨＤＲ画像を得ることができる。

撮像部２０は全ての画素の露光時間が等しい通常モードと、画素群ごとに露光時間が異なるHDRモードとを含む、複数の動作モードを有する。

通常モードにおいて撮像部２０は、１度の撮影で所定の露出量を有する１フレーム分の画像データを出力する。一方、HDRモードにおいて撮像部２０は、１度の撮影で露出量の異なる複数フレーム分の画像データを出力する。各動作モードにおける露光時間は、制御部１２０が決定してもよいし、操作部１２１を通じてユーザが設定してもよい。

本実施形態では、HDRモードでは第１の露光時間で制御される画素群から低露出量の画像データを、第２の露光時間（＞第１の露光時間）で制御される画素群から高露出量の画像データを得るものとする。

通常モードとHDRモードとで同じ解像度の画像データを得るものとすると、１フレーム期間に撮像部２０から出力される画像データ量は、通常モードのときに対してHDRモードでは２倍になる。そのため、レベル変換部３０から現像処理部９０までの後段の機能ブロックの１つ以上を複数設けてもよい。また、HDRモードにおいて３種類以上の露光時間を用いるようにしてもよい。

図２は、撮像部２０の構成例を示すブロック図である。画素部２００には、フォトダイオードなどを含んだ単位画素２０１が複数、行列状に配置されている。画素部２００に配置されている単位画素２０１の動作は、タイミング制御部２０８が供給する制御信号によって制御される。したがって、単位画素２０１の露光時間についても、タイミング制御部２０８によって制御される。

垂直走査回路２０２は、単位画素２０１を行単位で順次選択する。垂直走査回路２０２は、１フレーム期間中に全ての行から画素信号を読み出せるように選択する行および順番を制御する。

列アンプ部２０３は、画素部２００の列ごとに配置された複数の列アンプを有し、読み出された画素信号の電圧を増幅する。列アンプ部２０３で信号を増幅することにより、後段の列ＡＤＣ部２０４で発生するノイズに対する画素信号レベルを相対的に高めることができ、Ｓ／Ｎ比を改善することができる。

列ＡＤＣ部２０４は、画素部２００の列ごとに配置された複数のＡ／Ｄ変換部を有し、対応する列アンプから出力される画素信号をデジタル画素信号に変換する。デジタル画素信号は、水平転送回路２０５により順次読み出されて、信号処理部２０６に入力される。

信号処理部２０６は画素信号に対してオフセット値を加えたり、シフト演算（乗除算）を適用して、画素信号にデジタルゲインを付与したりする。また、画素部２００が遮光された画素（オプティカルブラック）領域を有する場合、オプティカルブラック領域から得られる画素信号に基づいて黒レベルクランプ動作を実施してもよい。また、信号処理部２０６は、パラレル／シリアル変換機能を有し、信号処理部２０６で多ビットパラレル信号として取り扱った信号をシリアル信号に変換する。信号処理部２０６は、このシリアル信号をＬＶＤＳ信号等に変換し、外部装置やレベル変換部３０に出力する。

メモリ２０７は、画素部２００から読み出され、列アンプ部２０３、列ＡＤＣ部２０４、信号処理部２０６により処理されたデジタル画素信号を一時的に保持する。

タイミング制御部２０８は、撮像部２０内の各ブロックに動作クロック信号やタイミング信号を供給して、撮像部２０の全体動作を制御する。また、タイミング制御部２０８は、後述する制御信号２１６、２１７によって単位画素２０１の露光時間を制御することができる。

次に、図３を参照して、単位画素２０１から水平転送回路２０５まで画素信号がどのように読み出されるかについて説明する。
図３は、単位画素２０１の回路構成例と、単位画素２０１から水平転送回路２０５までの間に存在する構成について示した図である。

光電変換部２１３はフォトダイオードであり、単位画素２０１に入射した光を電荷に変換する。転送スイッチ２１５は、制御信号２１６によってオン・オフが制御され、オン状態のときに、光電変換部２１３で発生した電荷を電荷保持部２１８に転送する。

制御信号２１６、２１７は単位画素２０１の転送スイッチ２１５のオン・オフを制御する信号である。単位画素２０１には制御信号２１６および２１７の一方が供給される。タイミング制御部２０８は、通常モードでは制御信号２１６と２１７を同じ信号とすることにより、全ての単位画素２０１の露光時間を同じタイミングならびに期間で制御する。一方、HDRモードにおいてタイミング制御部２０８は、電荷蓄積期間の開始から電荷転送を開始するまでの期間が異なるように制御信号２１６および２１７のタイミングを異ならせる。これにより、制御信号２１６が供給される単位画素２０１と、制御信号２１７が供給される単位画素２０１の電荷蓄積期間、すなわち露光時間を異ならせることができる。

電荷保持部２１８はフローティングディフュージョンであり、光電変換部２１３から転送スイッチ２１５を通じて転送された電荷を保持し、電圧に変換する。単位画素２０１が含まれる画素行が垂直走査回路によって選択されている場合、画素アンプ２１９は、電荷保持部２１８の電圧レベルを増幅して、垂直信号線（列信号線）２２０を通して列アンプ部２０３内の対応する列アンプへ出力する。電流制御部２２１は、垂直信号線２２０の電流を制御する。

列ＡＤＣ部２０４には列ごとにＡ／Ｄ変換部２２２と、メモリ２２３および２２４と、減算器２２５とが設けられている。Ａ／Ｄ変換部２２２は、列アンプの出力する電圧値を所定のビット深度に応じた範囲（例えば８ビット（０～２５５）、１２ビット（０～４０９６）など）内の値を有するデジタル信号に変換する。メモリ２２３、２２４は、Ａ／Ｄ変換部２２２の出力するデジタル信号を一時的に保持する。

メモリ２２３は、光電変換部２１３から読みだされた電荷に基づく画素信号に、読み出し回路部（電荷保持部２１８からＡ／Ｄ変換部２２２までの回路）のノイズ信号が加わったデジタル信号を保持する。一方、メモリ２２４は、読み出し回路部のノイズ信号を保持する。このノイズ信号は、電荷保持部２１８がリセットされた際に読み出された画素信号に相当する。減算器２２５は、メモリ２２３の出力からメモリ２２４の出力を減算し、減算結果を画素信号として水平転送回路２０５へ出力する。

次に、画素部２００の画素配列構造について図４（ａ）を参照して説明する。本実施形態において撮像素子の画素部２００はQuad Bayer配列のカラーフィルタが設けられている。すなわち、一般的なBayer配列における１画素を水平方向２画素と垂直方向２画素の４画素に分割した構成を有する。２×２画素を単位としたBayer配列とも言える。以下、赤（Ｒ）のカラーフィルタが設けられた画素を赤画素もしくはＲ画素と呼ぶ。緑（ＧｒまたはＧｂ）および青（Ｂ）のカラーフィルタが設けられた画素についても同様である。

図４（ａ）に示した画素配列を有する画素部２００の単位画素の露光時間をHDRモードにおいてどのように制御するかの例を、図４（ｂ）を参照して説明する。以下の説明では、画素部２００の水平方向をｘ軸、垂直方向をｙ軸とする直交座標系を設定し、画素の位置をｘ座標（列番号）とｙ座標（行番号）の組み合わせで表す。また、左上隅の画素の座標（１，１）とする。

図４（ｂ）において、灰色の画素は第１の露光時間、白色の画素は第２の露光時間となるように制御するものとする。ここでは第２の露光時間が第１の露光時間より長いものとする。したがって、灰色の画素を短時間露光画素、白色の画素を長時間露光画素と呼ぶ。本実施形態においては、図４（ｂ）に示すように、水平方向および垂直方向に同じ露光時間の画素が隣接しないように個々の単位画素に制御信号２１６と２１７の一方が供給される。これにより、隣接する２×２の同色画素は対角に位置する２画素ずつが同じ露光時間に制御される。

例えば、左上端の４つのＲ画素の座標設定は以下のとおりである。
Ｒ（１，１）：短時間露光画素
Ｒ（２，１）：長時間露光画素
Ｒ（１，２）：長時間露光画素
Ｒ（２，２）：短時間露光画素

このように、各列において短時間露光画素と長時間露光画素が交互に設定され、各行に短時間露光画素と長時間露光画素が交互に設定される。第１列と、第２列においてｙ方向に短時間露光画素のみを辿ると、上から、
第１行では第１列が短時間露光画素、
第２行では第２列が短時間露光画素、
第３行では第１列が短時間露光画素、
第４行では第２列が短時間露光画素
というようにジグザグ状に短時間露光画素が配列されている。

同様に、第１列と、第２列においてｙ方向に長時間露光画素のみを辿ると、上から、
第１行では第２列が長時間露光画素、
第２行では第１列が長時間露光画素、
第３行では第２列が長時間露光画素、
第４行では第１列が長時間露光画素
というようにジグザグ状に長時間露光画素が配列されている。

次に、通常モードにおいて、図４（ａ）に示した画素配列を有する画素部２００から出力される画素信号の配列について、図４（ｃ）を参照して説明する。撮像部２０が通常モードで動作する場合、露光時間は全ての単位画素２０１について等しくなるように制御される。通常モードにおいて撮像部２０は、図４（ｃ）ａ内の灰色のひし形で示してい２ｘ２の同色画素をそれぞれ１画素として出力する。例えば、図４（ｃ）ｂに示す撮像部２０が出力する画素信号は、以下のように、同色４画素の平均値として導出可能である。

図４（ｃ）ｂに示すように、撮像部２０から出力される画像データのＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素の配列は、一般的なベイヤー配列型のカラーフィルタを有する撮像素子から出力される画像データと同じ配列である。

次に、HDRモードにおいて、図４（ａ）に示した画素配列を有する画素部２００から出力される画素信号の配列について、図４（ｄ）を参照して説明する。撮像部２０がHDRモードで動作する場合、図４（ｂ）に示すように短時間露出画素と長時間露出画素とが配置されるように露光時間が制御される。HDRモードにおいて撮像部は、２×２の同色画素のうち、露光時間が同じ２画素を１画素として出力する。具体的には、２つの短時間露出画素から読み出された画素信号を低露出量画像の１画素分の画素信号として、２つの長時間露出画素から読み出された画素信号を高低露出量画像の１画素分の画素信号として出力する。

例えば、図４（ｄ）ｂに示す低露出量画像データは、以下のように、同色の短時間露出画素の画素信号の平均値として導出可能である。

一方、図４（ｄ）ｂに示す高露出量画像データは、以下のように、同色の長時間露出画素の画素信号の平均値として導出可能である。

本実施形態では、HDRモードにおいて撮像部２０から出力される低露出量画像データおよび高露出量画像データは、レベル変換部３０でそれぞれの画像データに対して用意された入出力特性を用いて画素レベルが変換される。しかし、レベル変換部３０で用いる入出力特性は、合成部８０における合成比率を踏まえて決定されるため、まず合成部８０における合成画像（ＨＤＲ画像）の生成方法について説明する。

＜合成部８０＞
図５は、合成部８０の機能構成例を示すブロック図である。合成部８０は、低露出量画像用のゲイン補正回路８０１、高露出量画像用のゲイン補正回路８０２、セレクタ８０３、および合成回路８０４を有する。

露出の異なる画像を合成してHDR画像を生成する場合、合成される複数の画像は適正露出の撮影で得られる画像と、適性露出に対して露出オーバーおよび／または露出アンダーの撮影で得られる画像で構成されることが多い。この場合、適性露出の撮影で得られた画像を基準画像として用い、残りの画像は基準画像の階調性を改善することによりダイナミックレンジを拡張するために用いられる。なお、適性露出の撮影で得られた画像を用いることは必須でない。本実施形態では説明および理解を容易にするため、適性露出の撮影で得られた画像（適性露出量画像）を含む２フレーム分の画像を合成するものとする。以下、高露出量画像が適正露出画像である場合と、低露出量画像が適正露出画像である場合の合成動作について説明する。

なお本発明の撮像装置１０においては、ユーザー操作、または予め定めた動作モードに応じて、制御部１２０が自動露出制御を行い、適正露出を得るための撮影条件（シャッター速度、絞り値、ＩＳＯ感度など）を決定するものとする。そして、合成部８０は、合成対象の画像データのいずれが適正露出の撮影で得られた画像であるかを、制御部１２０を通じて知ることができるものとする。

ゲイン補正回路８０１および８０２は、低露出量画像と高露出量画像の露出量を揃えるために用いられる。ゲイン補正回路８０１および８０２の動作について図６を用いて詳細を説明する。

図６（ａ）は、高露出量画像が適性露出量画像である場合のゲイン補正回路８０１および８０２の動作例を示す。ここでは、適正露出では白飛びが生じるが、露出アンダーでは白飛びが生じない例を示している。このような場合、ゲイン補正回路８０１で低露出量画像データに１より大きいゲインを適用する（ゲインアップする）ことで、高露出量画像において白飛びが発生している部分９０１における画素値を推定する。

さらに、合成回路８０４において、ゲインアップされた低露出量画像データと高露出量画像データとを合成することで、適性露出で白とびする輝度領域についても階調を有するHＤＲ画像のデータを生成することができる。この場合、高露出量画像データについてはゲイン補正回路８０２でゲインを適用しなくてよい（あるいはゲイン１を適用してもよい）。

一方、図６（ｂ）は、低露出画像が適性露出量画像である場合のゲイン補正回路８０１および８０２の動作例を示す。ここでは、適正露出では黒つぶれが生じるが、露出オーバーでは黒つぶれが生じない例を示している。このような場合、ゲイン補正回路８０２で高露出量画像データに１未満のゲインを適用する（ゲインダウンする）ことで、低露出量画像において黒つぶれが発生している部分９０２における画素値を推定する。

さらに、合成回路８０４において、ゲインダウンされた高露出量画像データと低露出量画像データと合成することで、低露出量画像で黒つぶれする輝度領域についても階調を有するHＤＲ画像のデータを生成することができる。この場合、低露出量画像データについてはゲイン補正回路８０１でゲインを適用しなくてよい（あるいはゲイン１を適用してもよい）。

なお、ゲイン補正回路８０１および８０２が適用するゲインは、低露出量画像と高露出量画像の露出量もしくは露光時間の比などに基づいて決定することができる。例えば、適正露出の撮影で高露出量画像データを取得し、低露出量画像と高露出量画像の露出量比が１：４であるとする。この場合、ゲイン補正回路８０１が低露出量画像データに適用するゲインは４となる。これにより、低露出量画像データの画素値が４倍され、高露出量画像データの露出量と揃えることができる。露出量もしくは露光時間の比は、制御部１２０がタイミング制御部２０８に設定するパラメータによって制御可能である。したがって、制御部１２０が露出量もしくは露光時間の比に応じて、ゲインを適用すべきゲイン補正回路８０１または８０２に対してゲインの値を設定することができる。

セレクタ８０３は、ゲイン補正回路８０１および８０２が出力する低露出量画像データおよび高露出量画像データのうち、適正露出の撮影で得られた一方の画像データの画素値を合成回路８０４へ出力する。

合成回路８０４は、ゲイン補正回路８０１および８０２が出力する低露出量画像データおよび高露出量画像データを画素ごとに合成し、合成画像（ＨＤＲ画像）のデータを生成する。ここで、合成回路８０４における合成方法の一例を、図７を用いて説明する。

図７の各グラフの横軸は、適正露出量画像の各画素がとりうる値の範囲を示し、縦軸は合成画像における低露出量画像データもしくは高露出量画像データの合成比率（０～１）を示している。なお、本実施形態では画素値のビット深度は１２ｂｉｔ（０～４０９５）とする。

本実施形態では、合成比率の合計が常に１となるように各画像データに合成比率を設定する。つまり、本実施形態のように２フレーム分の画像データを合成する場合、合成回路８０４から出力されるＨＤＲ画像の画素値ｈｄｒ＿ｉｍｇは以下の式（１３）で導出可能である。
α×main_img+(1-α)×sub_img = hdr_img ...（１３）
ここで、αは適正露出の撮影で得られた画像データの合成比率、ｍａｉｎ＿ｉｍｇは適正露出の画像の画素値、ｓｕｂ＿ｉｍｇは露出アンダーまたは露出オーバーの撮影で得られた画像データの画素値を示している。

図７（ａ）は、適正露出量画像が高露出量画像である場合の、高露出量画像データと低露出量画像データの合成比率の一例を示す。図７（ａ）の例では、高露出量画像データの画素値が高くなる（明るくなる）につれて、段階的に、高露出量画像データの合成比率が低く、低露出量画像データの合成比率が高くなる。また、低輝度および中輝度領域では適正露出の撮影で得られた高露出量画像データの合成比率が低露出量画像データの合成比率より大きい。一方、高輝度領域では高露出量画像データの合成比率が低露出量画像データの合成比率より小さい。これは、低輝度および中輝度領域では露出が適性である高露出量画像データを優先的に用い、白飛びが発生する高輝度部分については低露出両画像データによって階調性を改善するためである。

また、図７（ｂ）は、適正露出量画像が低露出量画像データである場合の、高露出量画像データと低露出量画像データの合成比率の一例を示す。図７（ｂ）の例では、低露出量画像データの画素値が高くなる（明るくなる）につれて、段階的に、低露出量画像データの合成比率が高く、高露出量画像データの合成比率が低くなる。また、中輝度および高輝度領域では適正露出の撮影で得られた低露出量画像データの合成比率が高露出量画像データの合成比率より大きい。一方、低輝度領域では低露出量画像データの合成比率が高露出量画像データの合成比率より小さい。これは、中輝度および高輝度領域では露出が適性である低露出量画像データを優先的に用い、黒つぶれが発生する低輝度部分については高露出両画像データによって階調性を改善するためである。

なお、図７では説明および理解を容易にするため、合成比率を段階的に制御する例を示した。基本的に基準画像のデータにおいて白とびおよび黒つぶれが生じる輝度領域についての階調性を他の画像データを用いて改善することによりダイナミックレンジを拡大する任意の方法で合成比率を決定することができる。

このように、合成部８０における合成比率は、合成する画像の露出量および画素値に応じて決定される。また、合成比率が大きい画像データは合成画像における画質に対する影響も大きい。そのため、画像データの合成比率を考慮したレベル変換をレベル変換部３０で適用することにより、符号化部４０における符号化による画質低下を軽減する。レベル変換の詳細については後述する。

＜符号化部４０＞
図８は、符号化部４０の機能構成例を示すブロック図である。本実施形態において符号化部４０は、画像データを構成する画素データごとに、量子化を伴う不可逆符号化を適用する。

加算器１１０１は、符号化を適用する画素データ（注目画素データ）と、予測画素生成部１１０６で生成される予測画素のデータとの差を求める。加算器１１０１は求めた差を量子化部１１０２に出力する。

量子化部１１０２は、加算器１１０１から入力された差を、符号量制御部１１０５から通知される量子化パラメータに従って量子化する。より具体的には、量子化部１１０２は、入力された差の下位ビットを、量子化パラメータが示すビット数分、切り捨てる。例えば、量子化パラメータの示す値が「４」であった場合、量子化部１１０２は、入力された差の下位４ビット分を切り捨てることにより、差を量子化する。そして、量子化部１１０２は、量子化した差を可変長符号化部１１０４と逆量子化部１１０３に出力する。

可変長符号化部１１０４は、量子化部１１０２から入力された値（量子化された差）を可変長符号化する。可変長符号化は、値が小さいほど短い符号長を割り当て、圧縮効率を高めるエントロピー符号化方式であってよい。可変長符号化部１１０４は生成した可変長符号を符号列生成部１１０８へ出力する。可変長符号化部１１０４はまた、生成した可変長符号の符号長を符号量制御部１１０５に出力する。

符号量制御部１１０５は、可変長符号化部１１０４から入力された符号長を参照し、あらかじめ設定された目標圧縮率へ符号量が近づくように、所定の画素数ごとに量子化パラメータを決定し、量子化部１１０２へ出力する。

逆量子化部１１０３は量子化された差を逆量子化して加算器１１０７に出力する。加算器１１０７は逆量子化値と注目画素に対する予測画素値とを加算し、予測画素生成部１１０６に保存する。

予測画素生成部１１０６は、加算器１１０７が出力する予測画素値を複数保持可能なメモリを有する。そして、予測画素生成部１１０６は、注目画素に対して予測方向に位置する画素、例えば左隣りの画素の予測画素値を選択して出力する。

符号列生成部１１０８は、可変長符号化部１１０４から出力される可変長符号と、符号量制御部１１０５から出力される量子化パラメータなどの符号の復号に必要なパラメータとを含んだ符号化ストリームをメモリ５０へ出力する。

メモリ５０に格納された符号化ストリームは、メモリ５０から復号部６０に出力されて復号される。

＜復号部６０＞
図９は、復号部６０の機能構成例を示すブロック図である。本実施形態において復号部６０は、メモリ５０に格納された符号化ストリームを復号する。

分離部１２０１は、符号化ストリームを解析し、符号データと量子化パラメータとを分離する。また、分離部１２０１は、符号データを可変長復号部１２０２へ出力し、量子化パラメータを逆量子化部１２０３へ出力する。

可変長復号部１２０２では、入力された符号データを復号し、復号されたデータを逆量子化部１２０３へ出力する
逆量子化部１２０３は可変長復号部１２０２から入力された復号値を、分離部１２０１から入力された量子化パラメータに従って逆量子化し、加算器１２０４に出力する。

予測画素生成部１２０５は、例えば復号済みの複数の画素を保持する容量を有し、加算器１２０４の出力を保持する。注目画素からの予測方向、例えば左隣りの画素を選択し、予測画素として出力する。

加算器１２０４は、逆量子化部１２０３から入力された値と、予測画素生成部１２０５から入力された予測画素値とを加算し、復号済みの画素データとして出力する。

＜レベル変換部３０＞
図１０は、レベル変換部３０の機能構成例を示すブロック図である。レベル変換部３０には、撮像部２０から、高露出量画像データと低露出量画像データとが例えば画素行単位で時分割多重されて入力されるものとする。

セレクタ１３０１は、露出量選択信号１３０２の信号に基づいて、入力される画像データを第１レベル変換部１３０３もしくは第２レベル変換部１３０４のどちらに入力するかを選択する。なお、同一データに対して第１レベル変換部１３０３および第２レベル変換部１３０４の両方で処理を適用する構成の場合、セレクタ１３０１は不要である。
露出量選択信号１３０２は、撮像部２０から入力され、高露出量画像データと低露出量画像データのいずれが入力されているかを示す。

セレクタ１３０１は、露出量選択信号１３０２が高露出量画像データを示す場合には入力された画像データを第１レベル変換部１３０３に出力する。また、セレクタ１３０１は、露出量選択信号１３０２が低露出量画像データを示す場合には入力された画像データを第２レベル変換部１３０４に出力する。

第１レベル変換部１３０３および第２レベル変換部１３０４は、入力された画像データを構成する画素データのそれぞれについて、設定されている入出力特性を適用して値を変換して出力する。第１レベル変換部１３０３および第２レベル変換部１３０４が適用する入出力特性は、制御部１２０が設定および変更可能である。
第１レベル変換部１３０３は高露出量画像データ用の入出力特性を、第２レベル変換部１３０４は低露出量画像データ用の入出力特性を、それぞれ適用する。

セレクタ１３０５は、露出量選択信号１３０２の信号に基づいて、第１レベル変換部１３０３および第２レベル変換部１３０４のどちらの出力を後段の符号化部４０へ出力するかを選択する。
セレクタ１３０５は、露出量選択信号１３０２が高露出量画像データを示す場合には第１レベル変換部１３０３の出力を選択する。また、セレクタ１３０５は、露出量選択信号１３０２が低露出量画像データを示す場合には第２レベル変換部１３０４の出力を選択する。

図１１（ａ）および図１１（ｂ）は、高露出量画像が適正露出量画像である場合に第１レベル変換部１３０３および第２レベル変換部１３０４で適用する入出力特性の例を示す図である。横軸が入力画素値（１２ｂｉｔ）、縦軸が出力画素値（１２ｂｉｔ）を示している。

上述したように、符号化部４０の量子化部１１０２に入力された差は量子化パラメータが示すビット数分、切り捨てられる。そのため、復号部６０が復号した画素データは、量子化部で切り捨てられた下位ビットの情報に相当する量子化ノイズを有している。

高露出量画像が適正露出量画像である場合、図７（ａ）に示したように、高露出量画像の画素値が小さいほど高露出画像データの合成比率が高く、したがって合成画像の画質への影響が大きくなる。そのため、高露出量画像が適正露出量画像である場合には、高露出量画像の相対的に小さな値を有する画素データに対する量子化ノイズを低減することで、合成後のＨＤＲ画像の画質を向上させる。

より具体的には、図１１（ａ）に示すように、第１レベル変換部１３０３の入出力特性の傾きを、画素値が小さな領域において１より大きくする。本実施形態では、画素値が取り得る範囲（０～４０９５）のうち、最下位の約１８．７５％（３／１６）の画素値（０～７６７）について、１より大きな傾きを有する入出力特性を用いている。

一方で、高露出量画像が適正露出量画像である場合、図７（ａ）に示したように、高露出量画像の画素値が大きいほど高露出画像データの合成比率が低く、したがって合成画像の画質への影響が小さくなる。そのため、高露出量画像が適正露出量画像である場合には、高露出量画像の相対的に大きな値を有する画素データに対する符号量を削減することで、符号化効率を向上させる。

より具体的には、図１１（ａ）に示すように、第１レベル変換部１３０３の入出力特性の傾きを、画素値が大きな範囲に対応する区間で１より小さくする。本実施形態では、画素値が取り得る範囲（０～４０９５）のうち、最上位の６２．５％（１０／１６）の画素値（１５３６～４０９５）に対応する区間で１より小さな傾きを有する入出力特性を用いている。

図１１（ａ）に示した入出力特性は、
最下位の６．２５％（１／１６）に相当する第１の範囲の画素値（０～２５５）に対応する区間では傾き４、
続く１２．５％（２／１６）に相当する第２の範囲の画素値（２５６～７６７）に対応する区間では傾き２、
続く１８．７５％（３／１６）に相当する第３の範囲の画素値（７６８～１５３５）に対応する区間では傾き１、
最後の６２．５％（１０／１６）に相当する第４の範囲の画素値（１５３６～４０９５）に対応する区間では傾き１／２、
を有する。

なお、入力画素値の取り得る範囲の分割数や個々の範囲の大きさ、個々の範囲に対応する入出力特性の区間に割り当てる傾きについては例示であり、変更可能である。ただし、最小画素値を含む画素値の範囲に対応する区間は１より大きな傾きを有し、かつ、入力画素値の増加に伴って傾きが減少しないように入出力特性を設定する。

図１１（ａ）に示す入出力特性を用いる第１レベル変換部１３０３は、入力画素値が１４１であった場合、４倍の傾きを乗じて画素値５６４を出力する。レベル逆変換部７０では、復号後の画素値にレベル変換部３０の入出力特性の逆特性を適用する。したがって、画素値５６４の符号化データは復号後に１／４倍される。符号化の前に画素値をｎ倍（ｎ＞１）し、復号後に画素値を１／ｎ倍することで、量子化ノイズも１／ｎ倍される。このように、符号化前および復号後に画素レベルを変換することにより、合成後のＨＤＲ画像の画質を向上させることができる。

また、第１レベル変換部１３０３は、入力画素値が２８３８であった場合、図１１（ａ）の入出力特性に従って画素値３４６７（=(2838-1536)/2+2816）を出力する。仮に画素レベル変換を行わない場合、予測画素の画素値が１５３６であったとすると、入力画素と予測画素との差分値は２８３８－１５３６＝１３０２となり、差分値”１３０２”が符号化される。一方、本実施形態のように画素レベル変換を行う場合、予測画素の画素値”１５３６”も入力画素と同様に画素レベル変換されて２８１６になるため、入力画素と予測画素との差分値は３４６７―２８１６＝６５１となり、差分値”６５１”が符号化される。

符号化部４０は入力画素値と予測画素値との差が小さいほど短い符号長を割り当てる。そのため、画素レベル変換を行った場合の差分値”６５１”の符号長は、画素レベル変換を行わない場合の差分値”１３０２”の符号長よりも短くなる。このように、入出力特性の傾きが１より小さい範囲の入力画素値については、画素レベル変換を行うことによって符号量を削減することができる。

なお、レベル変換部３０において１より小さな傾きが適用された画素値は、レベル逆変換部において１より大きな傾きが適用されるため、復号後の量子化ノイズが拡大される。しかしながら、レベル変換部３０において、合成比率が小さい画素値について１より小さな傾きを適用することで、量子化ノイズの拡大が合成後のＨＤＲ画像の画質に与える影響は小さい。したがって、符号量の低減による効果を優先する。

次に、図１１（ｂ）に示す第２レベル変換部１３０４の入出力特性について説明する。 高露出量画像が適正露出量画像である場合、図７（ｂ）に示したように、低露出量画像の画素値が大きいほど低露出画像データの合成比率が高く、したがって合成画像の画質への影響が大きくなる。そのため、高露出量画像が適正露出量画像である場合には、低露出量画像の相対的に大きな値を有する画素データに対する量子化ノイズを低減することで、合成後のＨＤＲ画像の画質を向上させる。

よって、第１レベル変換部１３０３が適用する入出力特性とは逆に、第２レベル変換部１３０４が適用する入出力特性は、図１１（ｂ）に示すように、画素値が大きな範囲に対応する区間の傾きを１より大きくする。本実施形態では、画素値が取り得る範囲（０～４０９５）のうち、最上位の３１．２５％（５／１６）の画素値（２８１６～４０９６）に対応する区間について、１より大きな傾きを有する入出力特性を用いている。

また、合成比率が小さくなる、低露出量画像の相対的に小さな値を有する画素データに対する符号量を削減することで、符号化効率を向上させる。より具体的には、図１１（ｂ）に示すように、第２レベル変換部１３０４の入出力特性の傾きを、画素値が小さな領域に対応する区間で１より小さくする。本実施形態では、画素値が取り得る範囲（０～４０９５）のうち、最下位の５０％（８／１６）の画素値（０～２０４７）の範囲に対応する区間で、１より小さな傾きを有する入出力特性を用いている。

図１１（ｂ）に示した入出力特性は、
最下位の２５％（４／１６）に相当する第１の範囲の画素値（０～１０２３）に対応する区間では傾き１／４、
続く２５％（４／１６）に相当する第２の範囲の画素値（１０２４～２０４７）に対応する区間では傾き１／２、
続く１８．７５％（３／１６）に相当する第３の範囲の画素値（２０４８～２８１５）に対応する区間では傾き１、
最後の３１．２５％（５／１６）に相当する第４の範囲の画素値（２８１６～４０９５）に対応する区間では傾き２、
を有する。

このような入出力特性を適用することにより、第２レベル変換部１３０４は、低露出量画像について、合成後のＨＤＲ画像の画質に対する影響の大きな画素値の範囲について量子化ノイズを削減し、ＨＤＲ画像の画質を向上する。一方で、第２レベル変換部１３０４は、合成後のＨＤＲ画像の画質に対する影響の小さな画素値の範囲については符号量を削減する。

図１２（ａ）および図１２（ｂ）は、低露出量画像が適正露出量画像である場合に第１レベル変換部１３０３および第２レベル変換部１３０４で適用する入出力特性の例を図１１と同様に示す図である。横軸が入力画素値（１２ｂｉｔ）、縦軸が出力画素値（１２ｂｉｔ）を示している。

低露出量画像が適正露出量画像である場合、図７（ｂ）に示したように、高露出量画像の画素値が小さいほど高露出画像データの合成比率が高く、したがって合成画像の画質への影響が大きくなる。そのため、低露出量画像が適正露出量画像である場合には、高露出量画像の相対的に小さな値を有する画素データに対する量子化ノイズを低減することで、合成後のＨＤＲ画像の画質を向上させる。

これは、高露出量画像が適正露出量画像である場合と同様である。したがって、本実施形態では、図１２（ａ）に示すように、第１レベル変換部１３０３は、高露出量画像が適正露出量画像である場合と同じ入出力特性を適用する。しかしながら、図７（ａ）および図７（ｂ）に示したように、高露出量画像の合成比率の変化は、適正露出量画像が高露出量画像の場合と低露出量画像の場合とで異なる。そのため、第１レベル変換部１３０３で適用する入出力特性についても、適正露出量画像が高露出量画像の場合と低露出量画像の場合とで異ならせてもよい。

例えば、高露出量画像の合成比率が所定値（例えば５０％または０．５を超える値）となる画素値の範囲に対応する区間の傾きが１を超えるように、第１レベル変換部１３０３で適用する入出力特性を設定することができる。こうすることで、適正露出量画像が高露出量画像の場合と低露出量画像の場合とで異なる入出力特性が適用され、かつ合成後のＨＤＲ画像の画質を向上させることができる。

このように、低露出量画像が適正露出量画像である場合においても、第１レベル変換部１３０３で高露出量画像に対し、合成比率が第１の所定値以上となる画素値の範囲に対応する区間が１より大きな傾きを有する入出力特性を用いたレベル変換を行う。これにより、合成後のＨＤＲ画像の画質を向上させることができる。また、第１レベル変換部１３０３で高露出量画像に対し、合成比率が第２の所定値未満となる画素値の範囲に対応する区間が１より小さな傾きを有する入出力特性を用いたレベル変換を行う。これにより、合成後のＨＤＲ画像の画質に与える影響が少ない画素値についての符号量を削減することができる。

次に、第２レベル変換部１３０４で低露出量画像に適用する入出力特性について説明する。低露出量画像を適正露出で撮影し、高露出量画像と合成するのは、低露出量画像における画素値の小さな領域での黒つぶれ発生を防止することが主な目的である。低露出量画像では白飛びは発生しづらいことに加え、人間は明るい領域の変化に気づきにくいという視覚特性を持つ。したがって、画素値の大きな領域においては量子化ノイズによる画質低下が目立ちにくい。これらを踏まえると、適正露出で撮影した低露出量画像の合成比率が高くなる画素値の大きな範囲が合成画像の画質に与える影響は必ずしも大きいとは言えない。

そのため、本実施形態の第２レベル変換部１３０４は、図１２（ｂ）に示すような入出力特性を用いる。具体的には、入出力特性は、画素値が最小値（０）から所定値未満までの範囲に対応する区間では、画素値が小さいほど小さく、最大で１の傾きを有する。また、入出力特性は、所定の画素値から最大の画素値までの範囲に対応する区間で１よりも小さい傾きを有する。

より具体的には、図１２（ｂ）に示した入出力特性は、
最下位の２５％（４／１６）に相当する第１の範囲の画素値（０～１０２３）に対応する区間では傾き１／４、
続く２５％（４／１６）に相当する第２の範囲の画素値（１０２４～２０４７）に対応する区間では傾き１／２、
続く１８．７５％（３／１６）に相当する第３の範囲の画素値（２０４８～２８１５）に対応する区間では傾き１、
最後の３１．２５％（５／１６）に相当する第４の範囲の画素値（２８１６～４０９５）に対応する区間では傾き１／２、
を有する。

このように、低露出量画像が適正露出量画像である場合、合成比率が低い画素値の範囲と、合成比率が高い画素値の範囲との両方について、対応する区間が１より小さな傾きを有する入出力特性を適用して低露出量画像データをレベル変換する。これにより、合成比率が低く、合成画像の画質に与える影響が小さな暗い領域の画素値に加え、合成比率が高いが量子化ノイズが目立ちにくい明るい領域の画素値の両方について符号量を削減することができる。

なお、図１２に示した入出力特性において、入力画素値の取り得る範囲の分割数や個々の範囲の大きさ、個々の範囲に割り当てる傾きについては例示であり、変更可能である。ただし、高露出量画像に適用する入出力特性は、最小画素値を含む画素値の範囲に対応する区間では１より大きな傾きを有し、かつ、入力画素値の増加に伴って傾きが減少しないように傾きを設定する。また、低露出量画像に適用する入出力特性は、最小画素値から所定の画素値までの範囲に対応する区間では１を超えない傾きを有し、かつ、入力画素値の増加に伴って傾きが減少しないように傾きを設定する。また、所定の画素値から最大画素値までの範囲に対応する区間には１より小さな傾きを設定する。ただし、合成比率が高い、所定の画素値から最大画素値までの範囲について、符号量の削減より画質を優先する場合には、その画素値の範囲に対応する入出力特性の区間に１以上の傾きを設定してもよい。

次に、図１３に示すフローチャートを用いて、レベル変換部３０の動作について説明する。本実施形態ではレベル変換部３０が用いる入出力特性が４つの区間に分割されているため、区間の区分点に対応する入力画素値と対応する出力画素値を以下の様に定義する。

ｘ＿ｍｉｎ：入力画素の最小値
ｘ＿ｍａｘ：入力画素の最大値
ｘ＿ｔｈｎ：区分点に対応する入力画素値（ｎは１以上の整数）
また、それぞれに対応する出力値を、ｙ＿ｍｉｎ、ｙ＿ｍａｘ、ｙ＿ｔｈｎとする。

例えば、図１１（ａ）に示す入出力特性では、
ｘ＿ｍｉｎ＝０
ｘ＿ｍａｘ＝４０９５
ｘ＿ｔｈ１＝２５６
ｘ＿ｔｈ２＝７６８
ｘ＿ｔｈ３＝１５３６
ｙ＿ｍｉｎ＝０
ｙ＿ｍａｘ＝４０９５
ｙ＿ｔｈ１＝１０２４
ｙ＿ｔｈ２＝２０４８
ｙ＿ｔｈ３＝２８１６
である。

また、ｘ＿ｍｉｎ≦ｘ＜ｘ＿ｔｈ１に対応する区間を第１の区間、ｘ＿ｔｈ１≦ｘ＜ｘ＿ｔｈ２に対応する区間を第２の区間、ｘ＿ｔｈ２≦ｘ＜ｘ＿ｔｈ３に対応する区間を第３の区間、ｘ＿ｔｈ３≦ｘ≦ｘ＿ｍａｘに対応する区間を第４の区間とする。

また、入出力特性の第ｍの区間における傾きをαｍとする（ｍは１から４の整数）。 例えば、図１１（ａ）に示す入出力特性では、
α１＝４
α２＝２
α３＝１
α４＝１／２
である。

以下の説明ではレベル変換部３０が実行する物として説明するが、図１３に示すフローチャートは、第１レベル変換部１３０３および第２レベル変換部１３０４のそれぞれにおいて、入力される画素データごとに実行される。

Ｓ１６０１においてレベル変換部３０は、入力された画素データの値（画素値）がｘ＿ｔｈ１未満であるか否かを判定する。レベル変換部３０は、画素値がｘ＿ｔｈ１未満であると判定されればＳ１６０４を、判定されなければＳ１６０２を実行する。

Ｓ１６０２においてレベル変換部３０は、入力された画素データの値（画素値）がｘ＿ｔｈ２未満であるか否かを判定する。レベル変換部３０は、画素値がｘ＿ｔｈ２未満であると判定されればＳ１６０５を、判定されなければＳ１６０３を実行する。

Ｓ１６０３においてレベル変換部３０は、入力された画素データの値（画素値）がｘ＿ｔｈ３未満であるか否かを判定する。レベル変換部３０は、画素値がｘ＿ｔｈ３未満であると判定されればＳ１６０６を、判定されなければＳ１６０７を実行する。

Ｓ１６０４においてレベル変換部３０は、出力レベルｙの算出式（後述）におけるパラメータｘ＿ｔｈ、ｙ＿ｔｈ、およびαを、
ｘ＿ｔｈ＝０
ｙ＿ｔｈ＝０
α＝α１
に設定する。その後、レベル変換部３０はＳ１６０８を実行する。

Ｓ１６０５においてレベル変換部３０は、
ｘ＿ｔｈ＝ｘ＿ｔｈ１
ｙ＿ｔｈ＝ｙ＿ｔｈ１
α＝α２
に設定する。その後、レベル変換部３０はＳ１６０８を実行する。

Ｓ１６０６においてレベル変換部３０は、
ｘ＿ｔｈ＝ｘ＿ｔｈ２
ｙ＿ｔｈ＝ｙ＿ｔｈ２
α＝α３
に設定する。その後、レベル変換部３０はＳ１６０８を実行する。

Ｓ１６０７においてレベル変換部３０は、
ｘ＿ｔｈ＝ｘ＿ｔｈ３
ｙ＿ｔｈ＝ｙ＿ｔｈ３
α＝α４
に設定する。その後、レベル変換部３０はＳ１６０８を実行する。

Ｓ１６０８においてレベル変換部３０は、以下の式（１４）にしたがって、画素値ｘに対する出力値ｙを算出する。
ｙ＝（ｘ－ｘ＿ｔｈ）×α＋ｙ＿ｔｈ ...（１４）

レベル変換部３０は、出力値ｙを算出し、対象の画素データに対するレベル変換処理を終了する。

なお、高露出量画像データと低露出量画像データとが並列に読み出される場合には、それぞれの画像データを第１レベル変換部１３０３および第２レベル変換部１３０４に直接入力することができる。この場合、第１レベル変換部１３０３および第２レベル変換部１３０４は上述したレベル変換動作を並列に実行すればよい。また、レベル変換した画素データは、並列に出力してもよいし、セレクタ１３０５で多重化してシリアルデータとして出力してもよい。

なお、図１３で説明した方法とは異なる方法で入力画素値ｘに対する出力値ｙを求めてもよい。例えば、入出力特性をテーブルとして実装し、入力画素値ｘによってテーブルを参照することにより出力値ｙを求めてもよい。また、入力画素値ｘの全範囲についての入出力特性が入力画素値ｘの関数で表現できる場合には、関数に入力画素値ｘを代入して出力値ｙを求めてもよい。

＜レベル逆変換部７０＞
図１４は、レベル逆変換部７０の構成例を示すブロック図である。レベル逆変換部７０には、復号部６０から復号された高露出量画像データと低露出量画像とが例えば行単位で時分割多重されて入力されるものとする。

セレクタ１７０１は、露出量選択信号１７０２の信号に基づいて、入力される画像データを第１レベル逆変換部１７０３もしくは第２レベル逆変換部１７０４のどちらに入力するかを選択する。なお、同一データに対して第１レベル逆変換部１７０３および第２レベル逆変換部１７０４の両方で処理を適用する構成の場合、セレクタ１７０１は不要である。
露出量選択信号１７０２は、復号部６０から入力され、高露出量画像データと低露出量画像データのいずれが入力されているかを示す。

セレクタ１７０１は、露出量選択信号１７０２が高露出量画像データを示す場合には入力された画像データを第１レベル逆変換部１７０３に出力する。また、セレクタ１７０１は、露出量選択信号１７０２が低露出量画像データを示す場合には入力された画像データを第２レベル逆変換部１７０４に出力する。

第１レベル逆変換部１７０３および第２レベル逆変換部１７０４は、入力された画像データを構成する画素データのそれぞれについて、設定されている入出力特性を適用して値を変換して出力する。第１レベル逆変換部１７０３および第２レベル逆変換部１７０４が適用する入出力特性は、制御部１２０が設定および変更可能である。

第１レベル逆変換部１７０３は高露出量画像データ用の入出力特性を、第２レベル逆変換部１７０４は低露出量画像データ用の入出力特性を、それぞれ適用する。また、第１レベル逆変換部１７０３が適用する入出力特性は、第１レベル変換部１３０３が符号化前に適用した入出力特性の逆特性である。そして、第２レベル逆変換部１７０４が適用する入出力特性は、第２レベル変換部１３０４が符号化前に適用した入出力特性の逆特性である。ここで、ある入出力特性とその逆特性とは、入力値に対して両方の特性を適用した場合に、出力値が入力値に等しくなる関係を有するものとする。

セレクタ１７０５は、露出量選択信号１７０２の信号に基づいて、第１レベル逆変換部１７０３および第２レベル逆変換部１７０４のどちらの出力を後段の合成部８０へ出力するかを選択する。
セレクタ１７０５は、露出量選択信号１７０２が高露出量画像データを示す場合には第１レベル逆変換部１７０３の出力を選択する。また、セレクタ１７０５は、露出量選択信号１７０２が低露出量画像データを示す場合には第２レベル逆変換部１７０４の出力を選択する。

先に説明したように、レベル変換部３０とレベル逆変換部７０とにおいて、適正露出量画像の種類と合成比率とを考慮した入出力特性を用いることにより、量子化ノイズに起因する合成画像の画質劣化の抑制と、効率的な符号化とを実現することができる。

図１５（ａ）および図１５（ｂ）は、高露出量画像が適正露出量画像である場合に第１レベル逆変換部１７０３および第２レベル逆変換部１７０４で適用する入出力特性の例を示す図である。横軸が入力画素値（１２ｂｉｔ）、縦軸が出力画素値（１２ｂｉｔ）を示している。

図１５（ａ）に示す入出力特性は、図１１（ａ）に示した入出力特性によって変換された画素値を元の画素レベルに変換するための入出力特性である。したがって、図１５（ａ）に示す入出力特性は、図１１（ａ）に示した入出力特性の入力と出力とを入れ替えたものに相当する。

同様に、図１５（ｂ）に示す入出力特性は、図１１（ｂ）に示した入出力特性によって変換された画素値を元の画素レベルに変換するための入出力特性である。したがって、図１５（ｂ）に示す入出力特性は、図１１（ｂ）に示した入出力特性の入力と出力とを入れ替えたものに相当する。

レベル逆変換部７０によって、復号後の画像データの画素値の範囲が復号前の画素値の範囲に戻される。したがって、合成部８０において正しい明るさの合成画像を得る事ができる。

なお、復号部６０が高露出量画像データと低露出量画像データとを並列に出力する場合には、それぞれの画像データを第１レベル逆変換部１７０３および第２レベル逆変換部１７０４に直接入力することができる。この場合、第１レベル逆変換部１７０３および第２レベル逆変換部１７０４は並列にレベル逆変換を実行すればよい。また、レベル逆変換した画素データは、並列に出力してもよいし、セレクタ１７０５で多重化してシリアルデータとして出力してもよい。

本実施形態において、レベル変換部およびレベル逆変換部で適用する入出力特性は傾きの異なる直線から構成されるものであったが、少なくとも一部の傾きが連続的に変化する非線形の入出力特性を用いてもよい。例えば、図１１および図１２に示した個々の入出力特性について、少なくとも一部を曲線で近似した入出力特性を用いることができる。この場合、非線形部分の傾きは接線の傾きとすればよい。

本実施形態によれば、１回の撮影によって撮像素子から出力される複数フレーム分の画像データを合成して合成画像を生成する構成において、符号化によって画像データのデータ量を削減して伝送することにより、伝送路の帯域を有効に使用することができる。また、符号化の前と復号の後において、適切な入出力特性を用いて画素値をレベル変換および逆変換することにより、符号化に伴う合成画像の画質低下を抑制することができる。さらに、適切な入出力特性を用いて画素値をレベル変換することにより、符号化によるデータ量削減に加え、人間の視覚特性を利用した符号量の削減が実現できる。画像データに適用する入出力特性は、合成画像に対する寄与（合成比率）の大きさに基づいて設定される。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、画素ごとに露光時間の制御が可能な撮像素子を用いて、１回の撮影により、露出期間が重複し、かつ露出量の異なる複数フレーム分の画像を取得した。

第２の実施形態では、列アンプ部２０３において撮像素子の列ごとに設けられた増幅回路のゲインを制御することにより、１回の撮影により、露出期間が重複し、かつ露出量の異なる複数フレーム分の画像を取得する構成について説明する。具体的には、同じ画像データに対して異なるゲインを適用することにより、露出量が異なる画像データに相当する画像データを得る。

本実施形態では、第１の実施形態のように画素ごとに露光時間を制御するための構成を設ける必要が無い。すなわち、単位画素２０１の転送スイッチ２１５を制御するための制御信号は画素行あたり１種類であり、隣接する画素には異なる色のカラーフィルタが設けられた撮像素子を用いることができる。読み出した画素信号を加算する必要もない。

本実施形態は、１回の撮影により、露出期間が重複し、かつ露出量の異なる複数フレーム分の画像を取得するための構成以外は第１実施形態と同様の構成で実現できる。そのため、以下では本実施形態における列アンプ部２０３の構成とその動作について重点的に説明し、第１実施形態と同様の内容については説明を省略する。

図１６は、本実施形態における列アンプ部２０３のうち、１つの列アンプを抜き出してその回路の構成例を示した図である。
列アンプは、オペアンプ２３３と、入力側コンデンサ２２８、２２９と、フィードバックコンデンサ２３１、２３２で構成された反転増幅回路である。オペアンプ２３３の正側入力端子（非反転入力端子）には、基準電源から所定の基準電圧が入力されている。また、タイミング制御部２０８は、スイッチ２２６、２２７、２３０の動作を制御する制御信号を供給することにより、入力側コンデンサ２２８、２２９と、フィードバックコンデンサ２３１とを接続するか否かを切り替えることができる。

フィードバックコンデンサ２３１、２３２は、オペアンプ２３３の反転入力端子と出力端子に並列に接続される。スイッチ２３０は、フィードバックコンデンサ２３１とオペアンプ２３３の反転入力端子の間に接続されており、フィードバックコンデンサ２３１を接続するか否かを切り替える。したがって、スイッチ２３０によってオペアンプ２３３のフィードバック容量を変更する（切り替える）ことができる。

また、入力側コンデンサ２２８、２２９は、垂直信号線２２０とオペアンプ２３３の反転入力端子との間に並列に接続されている。また、スイッチ２２６、２２７が列信号線２２０と入力側コンデンサ２２８、２２９との間にそれぞれ接続されている。スイッチ２２６、２２７は、入力側コンデンサ２２８、２２９をオペアンプ２３３の反転入力端子に接続するか否かを切り替える。したがって、スイッチ２２６、２２７によってオペアンプ２３３の入力側の容量を変更する（切り替える）ことができる。

オペアンプ２３３の増幅率は「入力側の容量／フィードバック容量」により定まる。したがって、スイッチ２２６、２２７、２３０を制御することにより、オペアンプ２３３の増幅率、すなわちゲインを変更する（切り替える）ことができる。

具体的には、スイッチ２２６をＯＮとし、かつ、スイッチ２２７、２３０をＯＦＦとしたとき、オペアンプ２３３は、入力側コンデンサ２２８とフィードバックコンデンサ２３２との静電容量比によって定まるゲイン（第１のゲイン）を有する。また、スイッチ２２６をＯＦＦとし、かつ、スイッチ２２７、２３０をＯＮとしたとき、オペアンプ２３３は、入力側コンデンサ２２９の静電容量と、フィードバックコンデンサ２３１、２３２の合成静電容量との比によって定まるゲイン（第２のゲイン）を有する。したがって、スイッチ２２６、２２７、２３０を制御することにより、１フレーム分の画像データから、低露出量画像データと高露出量画像データとを生成することができる。

列ＡＤＣ部２０４には、スイッチ２２６、２２７、２３０の状態に応じて低露出量画像データもしくは高露出量画像データが列アンプ部２０３から出力される。その後の動作については第１実施形態と同様であるため説明を省略する。

本実施形態によっても、第１実施形態と同様の効果を実現することができる。また、本実施形態では、一般的な構成の撮像部を用いることができるため、撮像部のコストを第１実施形態よりも低減することができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態では、露出量の異なる複数回の撮影によって、高露出量画像データと低露出量画像データを取得する場合について説明する。

図１７は、露出量を変えて複数回撮影する場合の、撮像部２０の動作タイミング例を示す図である。図１７において、撮像部２０によりｉ－１番目の画像が適正露出に相当する露光時間Ｔ１で撮影されている。また、ｉ－１番目の画像撮影から一定時間Ｔ２経過後、ｉ番目の画像がｉ－１番目の画像よりも短い露光時間Ｔ３で撮影されている。ｉ－１番目の画像は、ｉ番目の画像よりも相対的に露光時間の長い高露出量画像かつ適正露出量画像となり、ｉ番目の画像は低露出量画像となる。なお、図１７に示す撮像部２０の動作タイミングや露光時間は、制御部１２０が、撮像部２０のタイミング制御部２０８の動作を制御することにより変更可能である。

この場合、撮像部２０からレベル変換部３０には、高露出量画像データと、低露出量画像データとが順次出力される。その後の動作については第１実施形態と同様であるため説明を省略する。

本実施形態では、撮像部２０が１回の撮影で１フレーム分の画像データをレベル変換部３０に出力するため、第１実施形態および第２実施形態よりも伝送路の帯域使用量が少ない。しかしながら、第１実施形態と同様のレベル変換と符号化とを適用することにより、符号化に伴う画質劣化を抑制しつつ、伝送路の帯域使用量をさらに削減することができる。

（その他の実施形態）
上述の実施形態では、撮影時に画像合成を実施する構成について説明した。しかしながら、本発明はあらかじめ用意された画像データを用いて画像合成を実施する構成についても適用することができる。この場合、画像データを格納した記憶装置またはメモリと、合成処理回路との間の帯域使用量の削減を実現できる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

２０…撮像部、３０…レベル変換部、４０…符号化部、６０…復号部、７０…レベル逆変換部、８０…合成部、１２０…制御部

Claims (17)

1. 露出量の異なる複数の画像データを取得する取得手段と、
   前記複数の画像データに入出力特性を適用してレベル変換する変換手段と、
   前記レベル変換された前記複数の画像データのデータ量を削減する符号化を適用する符号化手段と、
   前記符号化された前記複数の画像データを復号する復号手段と、
   前記復号された前記複数の画像データに前記入出力特性の逆特性を適用する逆変換手段と、
   前記逆変換手段が出力する前記複数の画像データから合成画像データを生成する合成手段と、を有し、
   前記入出力特性は、前記合成手段における前記複数の画像データの合成比率に応じて設定されることを特徴とする画像処理装置。
2. 前記符号化が不可逆符号化であり、
   前記入出力特性は、前記符号化に起因する画質低下を低減するように前記合成比率に応じて設定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記入出力特性は、前記合成比率が所定値より大きい画素値についての画質低下を低減するように設定されることを特徴とする請求項２に記載の画像処理装置。
4. 前記入出力特性は、前記合成比率が所定値より大きい画素値であっても、あらかじめ定められた値より大きい画素値については画質低下を低減しないように設定されることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記入出力特性は、１より大きな傾きを有する区間と、１より小さな傾きを有する区間との少なくとも一方を有することを特徴とする請求項１に記載の画像処理装置。
6. 前記１より大きな傾きを有する区間は、前記合成比率があらかじめ定められた値より大きい画素値の範囲に対応することを特徴とする請求項５に記載の画像処理装置。
7. 前記１より小さな傾きを有する区間は、前記合成比率があらかじめ定められた値より小さい画素値の範囲に対応することを特徴とする請求項５に記載の画像処理装置。
8. 前記複数の画像データが、適性露出量の第１の画像データと、前記適性露出量よりも低い露出量の第２の画像データであり、
   前記合成手段は、画素値に応じた合成比率を用いて前記第１の画像データと前記第２の画像データを合成し、
   前記第１の画像データに適用される入出力特性は、最小画素値から第１の画素値までの区間で１より大きな傾きを有し、前記第１の画素値より大きな第２の画素値から最大画素値までの区間で１より小さな傾きを有する、ことを特徴とする請求項１に記載の画像処理装置。
9. 前記複数の画像データが、適性露出量の第１の画像データと、前記適性露出量よりも低い露出量の第２の画像データであり、
   前記合成手段は、画素値に応じた合成比率を用いて前記第１の画像データと前記第２の画像データを合成し、
   前記第２の画像データに適用される入出力特性は、最小画素値から第３の画素値までの区間で１より小さな傾きを有し、前記第３の画素値より大きな第４の画素値から最大画素値までの区間で１より大きな傾きを有する、ことを特徴とする請求項１または８に記載の画像処理装置。
10. 前記複数の画像データが、適性露出量の第１の画像データと、前記適性露出量よりも高い露出量の第２の画像データであり、
    前記合成手段は、画素値に応じた合成比率を用いて前記第１の画像データと前記第２の画像データを合成し、
    前記第２の画像データに適用される入出力特性は、最小画素値から第５の画素値までの区間と、前記第５の画素値より大きな第６の画素値から最大画素値までの区間とで１より小さな傾きを有する、ことを特徴とする請求項１、８、および９のいずれか１項に記載の画像処理装置。
11. 前記複数の画像データが、適性露出量の第１の画像データと、前記適性露出量よりも高い露出量の第２の画像データであり、
    前記合成手段は、画素値に応じた合成比率を用いて前記第１の画像データと前記第２の画像データを合成し、
    前記第１の画像データに適用される入出力特性は、最小画素値から第７の画素値までの区間で１より大きな傾きを有し、前記第７の画素値より大きな第８の画素値から最大画素値までの区間で１より小さな傾きを有する、ことを特徴とする請求項１および８から１０のいずれか１項に記載の画像処理装置。
12. 前記取得手段は、画素単位で露光時間を制御可能な撮像素子を用い、１回の撮影により前記複数の画像データを取得することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記取得手段は、１回の撮影で得られる画像データに対して適用するゲインを異ならせることにより、前記複数の画像データを取得することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
14. 前記取得手段は、露出量を異ならせて複数回撮影することにより前記複数の画像データを取得することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
15. 請求項１から１１のいずれか１項に記載の画像処理装置と、
    前記複数の画像データを出力する撮像手段と、
    を有することを特徴とする撮像装置。
16. 画像処理装置が実行する画像処理方法であって、
    露出量の異なる複数の画像データを取得する取得工程と、
    前記複数の画像データに入出力特性を適用してレベル変換する変換工程と、
    前記レベル変換された前記複数の画像データのデータ量を削減する符号化を適用する符号化工程と、
    前記符号化された前記複数の画像データを復号する復号工程と、
    前記復号された前記複数の画像データに前記入出力特性の逆特性を適用する逆変換工程と、
    前記逆変換工程から出力される前記複数の画像データから合成画像データを生成する合成工程と、を有し、
    前記入出力特性は、前記合成工程における前記複数の画像データの合成比率に応じて設定されることを特徴とする画像処理方法。
17. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images