JP2004221645A

JP2004221645A - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP2004221645A
Application number: JP2003003135A
Authority: JP
Inventors: Tomoo Mitsunaga; 知生光永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-01-09
Filing date: 2003-01-09
Publication date: 2004-08-05
Anticipated expiration: 2023-01-09
Also published as: JP4161719B2

Abstract

【課題】使用するメモリの容量がより小さく、演算量が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現する。
【解決手段】ステップＳ１において、ＤＳＰは、入力された現フレームの広ＤＲ輝度画像を、１フレーム前の広ＤＲ輝度画像に対して算出され、保持されている中間情報を基づいて狭ＤＲ輝度画像に変換する。また、ＤＳＰは、現フレームの広ＤＲ輝度画像に対する中間情報を算出する。ステップＳ２において、ＤＳＰは、算出した中間情報を用いて、保持していた１フレーム前の中間情報を更新する。ステップＳ３において、ＤＳＰは、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。本発明は、ディジタルビデオカメラに適用することができる。
【選択図】図１８

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画素値のダイナミックレンジが通常よりも広い広ダイナミックレンジ画像を、画素値のダイナミックレンジがより狭い狭ダイナミックレンジ画像に変換する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子がビデオカメラやスチルカメラなどの撮像機器、ＦＡ（ＦａｃｔｏｒｙＡｕｔｏｍａｔｉｏｎ）における部品検査装置、ＭＥ（ＭｅｄｉｃａｌＥｌｅｃｔｒｏｎｉｃｓ）における電子内視鏡などの光計測装置等に幅広く利用されている。
【０００３】
近年、これらの固体撮像素子を用いて光学フィルム写真に匹敵するような画素値のダイナミックレンジが広い画像（以下、広ＤＲ画像と記述する）を得るための技術が多数提案されている（例えば、特許文献１参照）。
【０００４】
一方、動画像や静止画像を表示するＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等の表示装置、プロジェクタ等の投影装置、各種の印刷装置は、現在においても、対応できる画素値のダイナミックレンジは広域化されておらず、対応可能な輝度階調に制限がある。このため、広ＤＲ画像を撮影したとしても、それをその状態で表示、投影あるいは印刷可能な装置が存在していないのが現状である。
【０００５】
そこで、当面においては、広ＤＲ画像の画素値のダイナミックレンジを狭めて、換言すれば、輝度階調を圧縮して、表示装置などのダイナミックレンジに適応させた画像（以下、狭ＤＲ画像と記述する）を生成するための技術（以下、階調圧縮技術と記述する）が必要とされている。
【０００６】
ここで、従来において提案された階調圧縮技術について説明する。階調圧縮技術は、単純には、広ＤＲ画像の画素値の階調を、表示装置等が対応可能なより狭いダイナミックレンジの階調に合わせて再配分することにより実現される。
【０００７】
しかしながら、上述したように、単に、広ＤＲ画像の画素値の階調を、狭いダイナミックレンジに均等に階調を再配分しただけでは、画像全体の輝度変化が小さくなってしまい、コントラストが低下した見栄得が悪い画像に変換されてしまうことになる。そこで、従来、コントラスト低下を抑制することができる階調圧縮技術がいくつか提案されている。以下、従来提案されている３種類の階調圧縮技術について説明する。
【０００８】
第１の階調圧縮技術としては、入力する広ＤＲ画像の輝度のヒストグラムに基づき、階調の再配分規則を適応的に決定する（具体的には、階調変換曲線を、入力画像のヒストグラムを元に算出する）技術を挙げることができる。第１の階調圧縮技術は、画像中の重要な被写体が占める面積の比率は大きいことを前提として、ヒストグラムのピーク近辺の輝度値になるべく多くの階調を配分するように階調変換曲線を決定するようにし、少なくとも重要な被写体におけるコントラスト低下を抑制しようとするものである（例えば、特許文献２参照）。
【０００９】
しかしながら、このような階調配分のみの工夫ではあらゆる状況で満足のいく結果を得ることは難しい。例えば、重要な被写体が画像中に複数存在する場合、背景が均一な輝度であって、かつ、比較的広い面積を占めている場合（例えば青空）などでは、しばしば被写体に十分な階調が配分されなくなることがある。
【００１０】
第２の階調圧縮技術としては、階調変換前または後のどちらか一方において画像中の高周波成分を強調する技術を挙げることができる。第２の階調圧縮技術は、階調変換によって失われた（または階調変換によって失われると思われる）コントラストを画像から見積もり、その分をアンシャープマスキングなどの高周波強調フィルタを用いて補償するものである（例えば、特許文献３参照）。
【００１１】
第２の階調圧縮技術は、第１の階調圧縮技術のように画像の構図に依存する問題は生じないという利点がある。しかしながら、高周波強調フィルタは被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があり、必ずしも良い画像が得られるとはいえない。
【００１２】
第３の階調変換技術としては、広ＤＲ画像を低周波成分画像と高周波成分画像に分離し、高周波成分画像はそのままに、低周波成分画像に対して適当な階調変換処理を施して、最後にそれらを１つの画像に加算合成する技術を挙げることができる（例えば、特許文献４参照）。
【００１３】
第３の階調変換技術によれば、広ＤＲ画像の高周波成分はそのままであるので、階調変換によるコントラスト低下を防ぐことができる。しかしながら、第３の階調変換技術も、第２の階調変換技術と同様に、被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があるので、低周波成分画像と高周波成分画像に分離する処理に非線形フィルタ（例えば、メディアンフィルタ）を用いることにより、この問題を解決する方法も提案されている（例えば、特許文献４参照）。
【００１４】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平９−３３１４６９号公報
【特許文献３】
特開２０００−１１５５３４号公報
【特許文献４】
特開平９−２１４７６６号公報
【００１５】
【発明が解決しようとする課題】
以上に説明した第１乃至第３の階調圧縮技術をまとめると、近傍の画素を利用する比較的局所的な処理で階調圧縮を行うもの（第１および第２の階調圧縮技術）と、画像全体または比較的大きな領域を使って階調圧縮を行うもの（第３の階調圧縮技術）に分けられる。前者によれば、ごく高周波成分のみが強調されたような不自然な画像となり、効果的な階調圧縮結果が得られるとは言い難い。また、後者によれば、高周波成分の強調にあわせて比較的低周波の成分も調整することが可能な分だけ、前者よりもより自然な画像が得られ、階調圧縮の効果は高いということができる。
【００１６】
しかしながら、後者によれば、その処理に、主にディレイラインまたはフレームメモリとして大量のメモリが必要となるので、ハードウェア化に適していないという問題があった。例えば、第３の階調圧縮技術は、輝度を複数の周波数成分に分離するときに空間フィルタが必要であるが、画像に対して比較的大きな空間フィルタを適用しなければ、人為的でない効果的な階調圧縮を施すことができないので、大きな空間フィルタを実装するために大量のディレイラインを回路に盛り込む必要がある。
【００１７】
ところで、例えば、ディジタルビデオカメラやディジタルスチルカメラのような撮影装置の出力部に、広ＤＲ画像に階調圧縮処理を施す機能を組み込むことを考慮した場合、例えば、ディジタルビデオカメラでは、所定のフレームレートを保証して映像信号を出力しなければならないので、高速な信号処理が必要となり、階調圧縮処理の機能をハードウェア化することの要請は高い。また、例えば、静止画を撮影するディジタルスチルカメラであっても、構図を決定するためにファインダにモニタ画像を所定のフレームレートで出力する必要があるので、階調圧縮処理が高速であることが望まれる。
【００１８】
以上のように、使用するメモリの容量がより小さく、演算も軽量でハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術が必要とされているが、従来そのような階調圧縮技術は提案されていない課題があった。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現することを目的とする。
【００２０】
【課題を解決するための手段】
本発明の画像処理装置は、現フレームの画像の画素値を、変換関数に基づいて変換し、トーン変換画像を生成する変換手段と、変換手段によって生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成手段と、縮小画像生成手段によって生成された縮小画像、および変換関数の傾きを保持する保持手段と、保持手段によって保持された縮小画像、および変換関数の傾きに基づき、変換手段によって生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正手段とを含むことを特徴とする。
【００２１】
前記保持手段は、１フレーム前の画像に対応する縮小画像、および１フレーム前の画像に適用された変換関数の傾きを保持するようにすることができる。
【００２２】
前記変換手段は、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換するようにし、前記補正手段は、保持手段によって保持された縮小画像、および１種類以上の変換関数にそれぞれ対応する傾きの積に基づき、変換手段によって生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成するようにすることができる。
【００２３】
前記１種類以上の変換関数のうち、少なくとも１種類の変換関数は、単調増加関数であるようにすることができる。
【００２４】
本発明の画像処理装置は、変換手段によって生成されたトーン変換画像の画素値の平均値を算出する平均値算出手段をさらに含むことができ、前記１種類以上の変換関数のうち、少なくとも１種類の変換関数の傾きは、平均値算出手段によって算出された平均値の逆数に比例するようにすることができる。
【００２５】
前記平均値算出手段は、トーン変換画像を複数のブロックに分割し、各ブロックの画素値の平均を算出して重み付け加算した値を、平均値として算出するようにすることができる。
【００２６】
前記縮小画像生成手段は、変換手段によって生成されたトーン変換画像を縮小して第１の縮小画像を生成し、第１の縮小画像の画素値の平均値の逆数に比例する値を第１の縮小画像の各画素値に乗算して、第２の縮小画像を生成するようにすることができる。
【００２７】
本発明の画像処理装置は、変換手段に供給される現フレームの画像の画素値を対数変換する対数変換手段と、補正手段によって生成されたコントラスト補正画像の画素値を対数逆変換する対数逆変換手段をさらに含むことができる。
【００２８】
本発明の画像処理装置は、補正手段によって生成されたコントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段によって算出された輝度域情報に基づき、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段とをさらに含むことができる。
【００２９】
前記輝度域情報算出手段は、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の輝度成分の上限値および下限値を、輝度域情報として算出するようにし、前記正規化手段は、輝度域情報算出手段によって算出されたコントラスト補正画像の輝度成分の上限値および下限値が、それぞれ、想定される再現デバイスが再現可能な輝度成分の範囲の上限値および下限値に一致するように、コントラスト補正画像の画素値を変換するようにすることができる。
【００３０】
前記保持手段は、輝度域情報算出手段によって算出された１フレーム前の輝度域情報も保持するようにすることができる。
【００３１】
前記画像は、輝度成分を有する画素から構成されたモノクロ画像とすることができる。
【００３２】
前記画像は、複数の色成分を有する画素から構成されたカラー画像とすることができる。
【００３３】
前記変換手段は、カラー画像を元にして、輝度成分を有する画素から構成された第１の輝度画像を生成し、第１の輝度画像をトーン変換輝度画像に変換し、トーン変換輝度画像に基づいて、複数の色成分を有する画素から構成されたカラーのトーン変換画像を生成するようにすることができる。
【００３４】
前記変換手段は、カラー画像の各色成分の値と第１の輝度画像の輝度成分の値の差分値を算出し、差分値と変換関数の傾きとの積を算出し、積をトーン変換輝度画像の各色成分の値に加算して、トーン変換画像の各色成分を算出するようにすることができる。
【００３５】
前記変換手段は、第１の輝度画像の輝度成分の平均値を算出し、平均値の逆数に比例する係数を算出し、係数をカラー画像の各色成分の値に乗算して、トーン変換画像の各色成分を算出するようにすることができる。
【００３６】
前記補正手段は、変換手段によって生成されたカラーのトーン変換画像を元にして、輝度成分を有する画素から構成された第２の輝度画像を生成し、第２の輝度画像、保持手段によって保持された縮小画像、および変換関数の傾きに基づき、変換手段によって生成されたカラーのトーン変換画像のコントラストを補正して、カラーのコントラスト補正画像を生成するようにすることができる。
【００３７】
本発明の画像処理装置は、補正手段によって生成されたカラーのコントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、ガンマ変換手段によってガンマ変換されたカラーのコントラスト補正画像を元にして、輝度成分を有する画素から構成された第３の輝度画像を生成し、第３の輝度画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段によって算出された輝度域情報に基づき、ガンマ変換手段によってガンマ変換されたカラーのコントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段とをさらに含むことができる。
【００３８】
本発明の画像処理方法は、現フレームの画像の画素値を、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および変換関数の傾きを保持する保持ステップと、保持ステップの処理で保持された縮小画像、および変換関数の傾きに基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含むことを特徴とする。
【００３９】
本発明の記録媒体のプログラムは、現フレームの画像の画素値を、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および変換関数の傾きを保持する保持ステップと、保持ステップの処理で保持された縮小画像、および変換関数の傾きに基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含むことを特徴とする。
【００４０】
本発明のプログラムは、現フレームの画像の画素値を、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および変換関数の傾きを保持する保持ステップと、保持ステップの処理で保持された縮小画像、および変換関数の傾きに基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００４１】
【発明の実施の形態】
以下、本発明の一実施の形態であるディジタルビデオカメラについて、図面を参照して説明する。
【００４２】
図１は、本発明の一実施の形態であるディジタルビデオカメラの構成例を示している。このディジタルビデオカメラ１は、被写体を撮影して、画素値のダイナミックレンジが通常よりも広い広ＤＲ画像を生成し、所定の記憶媒体に記録するとともに、構図決定のファインダや映像モニタを兼ねる内蔵されたディスプレイ、あるいは外部機器に対しては、広ＤＲ画像を、画素値のダイナミックレンジがより狭い狭ＤＲ画像に変換して出力するものである。
【００４３】
ディジタルビデオカメラ１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００４４】
光学系は、被写体の光画像を集光するレンズ２、光画像の光量を調整する絞り３、および集光された光画像を所定のフレームレートで光電変換して広ＤＲ画像を生成するＣＣＤイメージセンサ４から構成される。なお、以下においては、ＣＣＤイメージセンサ４が生成する広ＤＲ画像に関しては、１チャンネルの輝度信号からなるモノクロ画像である場合と、多チャンネル（例えば、３チャンネル）の輝度信号からなるカラー画像である場合の２通りについて説明する。
【００４５】
信号処理系は、ＣＣＤイメージセンサ４から出力された広ＤＲ画像をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（ＣＤＳ）５、相関２重サンプリング回路５によってノイズが除去された広ＤＲ画像を、例えば１４乃至１６ビット程度のビット幅を有する値にＡＤ変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６が出力する広ＤＲ画像に対して階調圧縮処理を施すＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）７から構成される。
【００４６】
Ａ／Ｄコンバータ６が出力する１４乃至１６ビットのビット幅を有する広ＤＲ画像のように、階調が多い画像信号は、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号では再現しきれないが、ＤＳＰ７による階調圧縮処理により、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号では再現できる範囲に階調を圧縮されるようになされている。ＤＳＰ７については、図２以降を参照して詳述する。
【００４７】
ディジタルビデオカメラ１の記録系は、ＤＳＰ７から入力される広ＤＲ画像または狭ＤＲ画像をエンコードしてメモリ１３に記録したり、メモリ１３に記憶されている符号データを読み出してデコードし、ＤＳＰ７に供給したりするＣＯＤＥＣ（Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１２、および、エンコードされた広ＤＲ画像または狭ＤＲ画像を記憶する、磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ１３から構成される。
【００４８】
表示系は、ＤＳＰ７から供給される狭ＤＲ画像をＤＡ変換するＤ／Ａコンバータ９、Ｄ／Ａコンバータ９が出力するアナログの狭ＤＲ画像を、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号に変換してディスプレイ１１に出力するビデオエンコーダ１０、およびビデオ信号に対応する画像を表示することによってファインダやビデオモニタとして機能するＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等よりなるディスプレイ１１から構成される。
【００４９】
制御系は、ＣＣＤイメージセンサ４乃至ＤＳＰ７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）８、ユーザからの各種の操作を受け付けるインプットデバイス１５、およびディジタルビデオカメラ１の全体を制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１４から構成される。
【００５０】
次に、ディジタルビデオカメラ１の動作の概要について説明する。被写体の光学画像（入射光）は、レンズ２および絞り３を介してＣＣＤイメージセンサ４に入射され、ＣＣＤイメージセンサ４によって光電変換され、得られた広ＤＲ画像の画素となる電気信号は、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、ＤＳＰ７に供給される。
【００５１】
ＤＳＰ７は、Ａ／Ｄコンバータ６から入力された広ＤＲ画像に対して階調圧縮処理を施し、狭ＤＲ画像を生成して、Ｄ／Ａコンバータ９またはＣＯＤＥＣ１２、あるいは両方に出力する。Ｄ／Ａコンバータ９に供給された狭ＤＲ画像は、ＤＡ変換され、ビデエンコーダ１０により通常のビデオ信号に変換されて、その画像がディスプレイ１１に表示される。一方、ＣＯＤＥＣ１２に供給された狭ＤＲ画像は、符号化されてメモリ１３に記録される。以上で、ディジタルビデオカメラ１の動作概要の説明を終了する。
【００５２】
次に、本発明の主眼となるＤＳＰ７について説明する。
【００５３】
図２は、モノクロ画像である広ＤＲ画像に対応したＤＳＰ７の第１の構成例を示している。以下、ＤＳＰ７に入力されるモノクロの広ＤＲ画像を、広ＤＲ輝度画像Ｌと記述する。また、広ＤＲ輝度画像の画素値（すなわち、輝度値）を、Ｌ（ｐ）と記述する。ここで、ｐは、ｐ＝（ｘ，ｙ）のように、画像における画素位置を示すベクトルまたは座標である。したがって、Ｌ（ｐ）は、画素位置と輝度値の両方の情報を含むものとして、広ＤＲ輝度画像を表すＬとは区別して用いることとする。後述するその他の画像とその画素値についても同様である。
【００５４】
ＤＳＰ７には、広ＤＲ輝度画像Ｌの輝度Ｌ（ｐ）がラスタ順に入力されるものとする。
【００５５】
ＤＳＰ７の第１の構成例において、対数変換部２１は、入力される輝度Ｌ（ｐ）を対数変換し、得られる対数輝度ｌｏｇＬ（ｐ）をトーンカーブ補正部２２に出力する。トーンカーブ補正部２２は、入力される対数輝度ｌｏｇＬ（ｐ）に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数輝度ｌｏｇＬ_ｃ（ｐ）を縮小画像生成部２３およびコントラスト補正部２５に出力する。また、トーンカーブ補正部２２は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部２５に出力する。以下、適用したトーンカーブの傾きを示す代表値γを、単に代表値γとも記述する。
【００５６】
縮小画像生成部２３は、トーンカーブ補正部２２から入力される１フレーム分の対数輝度ｌｏｇＬ_ｃ（ｐ）に基づき、縮小画像ｌｏｇＬ_ｃｌを生成して、縮小画像メモリ２４に保持させる。
【００５７】
コントラスト補正部２５は、トーンカーブ補正部２２から入力される現フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）のトーンカーブ補正によって弱められているコントラストを、代表値γおよび縮小画像メモリ２４に保持されている１フレーム前の縮小画像ｌｏｇＬ_ｃｌに基づいて補正し、得られる対数輝度ｌｏｇＬ_ｕ（ｐ）を対数逆変換部２６に出力する。対数逆変換部２６は、コントラストが補正された対数輝度ｌｏｇＬ_ｕ（ｐ）を、対数逆変換して、得られる通常軸の輝度Ｌ_ｕ（ｐ）をガンマ補正部２７に出力する。
【００５８】
ガンマ補正部２７は、対数逆変換部２６から入力される輝度Ｌ_ｕ（ｐ）に対して、再生デバイス（例えば、ディスプレイ１１）のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の輝度Ｙ（ｐ）を輝度情報算出部２８および輝度域正規化部３０に出力する。輝度情報算出部２８は、ガンマ補正部２７から入力される１フレーム分の輝度Ｙ（ｐ）に対して、それぞれ、輝度の分布を示す輝度域情報を算出して輝度域情報メモリ２９に保持させる。ここで、輝度域情報とは、１フレームにおける輝度の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度Ｙ_ｄと、最も明るい方に近い輝度Ｙ_ｂを輝度域情報［Ｙ_ｄ，Ｙ_ｂ］として算出するようにする。
【００５９】
輝度域正規化部３０は、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙ_ｄ，Ｙ_ｂ］に基づき、ガンマ補正部２７から入力される現フレームの輝度Ｙ（ｐ）を、その分布範囲が再生デバイス（例えば、ディスプレイ１１）が表現可能な範囲に合致するように変換し、得られる輝度Ｙ_ｎ（ｐ）を、狭ＤＲ画像の画素値として後段に出力する。
【００６０】
以上説明したように、ＤＳＰ７の第１の構成例による階調圧縮処理の過程において、縮小画像生成部２３により縮小画像ｌｏｇＬ_ｃｌが生成され、輝度域情報算出部２８により輝度域情報［Ｙ_ｄ，Ｙ_ｂ］が算出される。この縮小画像ｌｏｇＬ_ｃｌおよび輝度域情報［Ｙ_ｄ，Ｙ_ｂ］を以下、中間情報と記述する。
【００６１】
ＤＳＰ７によれば、入力される広ＤＲ輝度画像の各フレーム対して中間情報が算出され、算出された中間情報が、１フレーム後の広ＤＲ輝度画像を処理するために用いられる。
【００６２】
一般に、階調圧縮を効果的に施すためには、画像全体または画像上で広域な範囲の輝度値に基づいて算出された情報が必要であるが、当該情報を算出するまでのタイムラグが大きくなることが実装上の問題となる。そこで、ＤＳＰ７では、当該情報として、時間的に非常に変化し難いものを選ぶことによって、１フレーム前の中間情報を現フレームに対する階調圧縮に利用する。このような構成をとることにより、実装してもメモリ使用量や回路規模が大きくなることを回避することができる。
【００６３】
次に、ＤＳＰ７の第１の構成例の各部の詳細について、図面を参照して説明する。
【００６４】
図３は、トーンカーブ補正部２２の第１の構成例を示している。当該第１の構成例において、ＬＵＴメモリ４１には、図４に示すような単調増加のトーンカーブに相当するルックアップテーブル（以下、ＬＵＴと記述する）とトーンカーブの傾きを示す代表値γが予め保持されている。なお、ＬＵＴの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部４２は、ＬＵＴメモリ４１に保持されているＬＵＴに基づいて対数輝度ｌｏｇＬ（ｐ）を対数輝度ｌｏｇＬ_ｃ（ｐ）に補正する。
【００６５】
図４は、トーンカーブの一例を示しており、横軸が入力輝度Ｌ（ｐ）を、縦軸がトーンカーブ補正後の輝度Ｌ_ｃ（ｐ）を、それぞれ［０，１］に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆Ｓ字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、後述するコントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な狭ＤＲ画像が得られる。
【００６６】
なお、トーンカーブの傾きを示す代表値γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値γとすればよい。図４に示されたトーンカーブの場合、代表値γ＝０．６７である。
【００６７】
図５は、トーンカーブ補正部２２の第２の構成例を示している。当該第２の構成例は、第１の構成例のように予め用意されているＬＵＴを用いるのではなく、フレーム毎に代表値γを算出して、対数輝度ｌｏｇＬ（ｐ）を、対数輝度ｌｏｇＬ_ｃ（ｐ）に補正するものである。第２の構成例において、平均輝度算出部５１は、１フレーム分の対数輝度ｌｏｇＬ（ｐ）の平均値μを算出する。除算器５２は、所定の定数ｌｏｇＬ_Ｔを平均値μで除算し、代表値γを算出する。γメモリ５３は、除算器５２から入力された代表値γを保持する。乗算器５４は、現フレームの対数輝度ｌｏｇＬ（ｐ）に、γメモリ５３に保持されている１フレーム前の代表値γを乗算して、トーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）を算出する。
【００６８】
ここで、所定の定数ｌｏｇＬ_Ｔを、中庸レベルの対数輝度と定めておけば、１フレーム分の対数輝度ｌｏｇＬ（ｐ）の平均値が、ｌｏｇＬ_Ｔと等しい値のトーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）に変換されることになる。
【００６９】
代表値γはフレーム毎に算出されるが、現実的には各フレームの対数輝度ｌｏｇＬ（ｐ）の平均値μに基づいて決定されるので、前後のフレームではあまり変化がないことが期待できる。したがって、この代表値γも、上述した縮小画像ｌｏｇＬ_ｃｌおよび輝度域情報［Ｙ_ｄ，Ｙ_ｂ］と同様に、１フレーム前のものを、現フレームに対するトーンカーブ補正に用いるようにしている。以下、代表値γも、中間情報に含めることにする。
【００７０】
図６は、トーンカーブ補正部２２の第３の構成例を示している。当該第３の構成例は、いわば、第１の構成例と第２の構成例を組み合わせたものである。第３の構成例において、ＬＵＴメモリ６１には、図４に示されたようなトーンカーブに相当するＬＵＴと、トーンカーブの傾きを示す代表値γ_１が予め保持されている。テーブル参照部６２は、ＬＵＴメモリ６１に保持されているＬＵＴに基づいて対数輝度ｌｏｇＬ（ｐ）を、対数輝度ｌｏｇＬ_ｃ’（ｐ）に補正して平均輝度算出部６３および乗算器６６に出力する。
【００７１】
平均輝度算出部６３は、１フレーム分の対数輝度ｌｏｇＬ_ｃ’（ｐ）の平均値μを算出して、除算器６４に出力する。除算器６４は、所定の定数ｌｏｇＬ_Ｔを平均値μで除算し、代表値γ_２を算出し、γ_２メモリ６５に保持させる。乗算器６６は、現フレームの対数輝度ｌｏｇＬ_ｃ’（ｐ）に、γ_２メモリ６５に保持されている１フレーム前の代表値γ_２を乗算して、トーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）を算出する。乗算器６７は、代表値γ_１，γ_２の積を代表値γ（＝γ_１・γ_２）として後段のコントラスト補正部２５に出力する。
【００７２】
次に、図７は、縮小画像生成部２３の構成例を示している。縮小画像生成部２３のソート部７１は、前段のトーンカーブ補正部２２から入力された１フレーム分の対数輝度ｌｏｇＬ_ｃ（ｐ）を、画像全体をｍ×ｎ個のブロックに分割したときに属するブロックに応じて分類し、平均値計算部７２−１乃至７２−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されるものは平均値計算部７２−１に供給され、２番目のブロックに分類されるものは平均値計算部７２−２に供給される。以下同様であり、Ｎ番目のブロックに分類されるものは平均値計算部７２−Ｎに供給される。以下、平均値計算部７２−１乃至７２−Ｎを個々に区別する必要がない場合、単に平均値計算部７２と記述する。
【００７３】
平均値計算部７２−ｉ（ｉ＝１，２，…，Ｎ）は、１フレーム分の対数輝度ｌｏｇＬ_ｃ（ｐ）のうち、ｉ番目のブロックに分類される対数輝度ｌｏｇＬ_ｃ（ｐ）の平均値を算出して、合成部７３に出力する。合成部７３は、平均値計算部７２−ｉからそれぞれ入力される対数輝度ｌｏｇＬ_ｃ（ｐ）の平均値を画素値とするｍ×ｎ画素の縮小画像ｌｏｇＬ_ｃｌを生成し、後段の縮小画像メモリ２４に保持させる。
【００７４】
図８は、平均値計算部７２の構成例を示している。平均値計算部７２の加算器８１は、前段のソート部７１から入力される対数輝度ｌｏｇＬ_ｃ（ｐ）に、レジスタ（ｒ）８２が保持する値を加算して、レジスタ（ｒ）８２が保持する値を更新する。除算器８３は、レジスタ８２が最終的に保持している値を、１個のブロックを構成する画素数Ｑで除算することにより、１個のブロックに分類されたＱ個の対数輝度ｌｏｇＬ_ｃ（ｐ）の平均値を算出する。
【００７５】
次に、図９は、コントラスト補正部２５の構成例を示している。コントラスト補正部２５の補間位置指定部９１は、前段のトーンカーブ補正部２２から入力された対数輝度ｌｏｇＬ_ｃ（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部９２に出力する。補間部９２は、縮小画像メモリ２４に保持されている１フレーム前の縮小画像ｌｏｇＬ_ｃｌを用いて、補間位置ｐに対応する画素ｌｏｇＬ_ｃｌ（ｐ）を補間により算出してコントラスト強調部９４に出力する。
【００７６】
ゲイン値設定部９３は、トーンカーブ補正部２２からの前フレームに対する代表値γと、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）に基づいて、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。コントラスト強調部９４は、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）を、ゲイン値ｇ（ｐ）および縮小画像の補間値ｌｏｇＬ_ｃｌ（ｐ）に基づき、低周波数成分以外のコントラストが強調された対数輝度ｌｏｇＬ_ｕ（ｐ）を算出する。
【００７７】
図１０は、補間部９２の構成例を示している。補間部９２は、１フレーム前の縮小画像ｌｏｇＬ_ｃｌの補間位置ｐの近傍の４×４画素を用いた双３次補間により、補間位置ｐに対応する画素ｌｏｇＬ_ｃｌ（ｐ）を補間するものである。
【００７８】
近傍選択部１０１は、補間位置ｐの入力を受けて、縮小画像メモリ２４に保持されている１フレーム前のｍ×ｎ画素の縮小画像ｌｏｇＬ_ｃｌから、補間位置ｐの近傍の４×４画素の画素値ａ［４］［４］を取得して、積和部１０４に出力する。ここでａ［ｉ］［ｊ］の表記は、画素値ａがｉ×ｊの２次元配列データであることを示す。また、近傍選択部１０１は、取得した画素値ａ［４］［４］と補間位置ｐとの水平方向の位置ずれ量ｄｘ、垂直方向の位置ずれ量ｄｙを、それぞれ、水平係数算出部１０２または垂直係数算出部１０３に出力する。
【００７９】
ここで、補間位置ｐ、近傍の画素値ａ［４］［４］、位置ずれ量ｄｘ，ｄｙの関係について、図１１を参照して説明する。
【００８０】
図１１のｍ×ｎのマス目は、ｍ×ｎ画素の縮小画像ｌｏｇＬ_ｃｌを表している。いま、補間位置ｐ＝（ｐｘ，ｐｙ）が与えられたとすると、補間位置ｐに対応する縮小画像ｌｏｇＬ_ｃｌ上の位置ｑは、ｑ＝（ｑｘ，ｑｙ）＝（ｐｘ／ｂｘ−０．５，ｐｙ／ｂｙ−０．５）である。ただし、（ｂｘ，ｂｙ）＝（画像ｌｏｇＬ_ｃの水平画素数／ｍ，画像ｌｏｇＬ_ｃの垂直画素数／ｎ）である。
【００８１】
補間位置ｐに対応する縮小画像上の位置ｑから近傍画素を得るには、図１１においては斜線で示されたｑｘ−２＜ｘ＜ｑｘ＋２、ｑｙ−２＜ｙ＜ｑｙ＋２の範囲に位置する縮小画像ｌｏｇＬ_ｃｌの画素を取得すればよい。斜線で示された領域内の４×４の”＋”マークで示された位置が取得される画素の位置である。近傍画素と補間位置ｐのずれ量（ｄｘ，ｄｙ）は、補間位置ｑの左下方向の最も近い画素との差分とする。すなわち、ずれ量（ｄｘ，ｄｙ）＝（ｑｘの小数部，ｑｙの小数部）である。
【００８２】
図１０に戻る。水平係数算出部１０２は、近傍選択部１０１から入力された水平方向ずれ量ｄｘに基づき、水平方向の３次補間係数ｋ_ｘ［４］を計算する。同様に、垂直係数算出部１０３は、近傍選択部１０１から入力された垂直方向ずれ量ｄｙに基づき、垂直方向の３次補間係数ｋ_ｙ［４］を計算する。
【００８３】
例えば、水平方向の３次補間係数ｋ_ｘ［４］は、次式（１）を用いて計算する。
【数１】

【００８４】
また、例えば、垂直方向の３次補間係数ｋ_ｙ［４］は、次式（２）を用いて計算する。
【数２】

【００８５】
なお、３次補間係数ｋ_ｘ［４］，ｋ_ｙ［４］の計算には、上述した式（１），（２）の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。
【００８６】
積和部１０４は、近傍の画素値ａ［４］［４］と、水平方向の補間係数ｋ_ｘ［４］および垂直方向の補間係数ｋ_ｙ［４］との積和計算により、縮小画像ｌｏｇＬ_ｃｌの補間位置ｐの補間値Ｌ_ｃｌ（ｐ）を、次式（３）を用いて算出する。
【数３】

【００８７】
次に、ゲイン値設定部９３について説明する。ゲイン値設定部９３は、上述したように、後段のコントラスト強調部９４により低周波数域以外が強調される際の強調量を調節するゲイン値ｇ（ｐ）を設定するものである。ゲイン値ｇ（ｐ）＝１である場合、コントラスト強調部９４においてコントラストは強調も抑制も行われない。ゲイン値ｇ（ｐ）＞１である場合、その値に対応してコントラストが強調される。また、ゲイン値ｇ（ｐ）＜１である場合、その値に対応してコントラストが抑制される。
【００８８】
ゲイン値設定の概略を説明する。画像のコントラストは、トーンカーブ補正による階調圧縮によって既に抑制されているが、その抑制量はトーンカーブの傾きに依存している。例えば、強い階調圧縮を行うように傾きの小さなトーンカーブが適用されていれば、コントラストの抑制も強くなされていることになる。また、例えばトーンカーブとして傾き１の直線が適用されていれば、画像が変化しない、すなわち、コントラストの抑制は行われていないことになる。
【００８９】
そこで、ゲイン値設定部９３では、トーンカーブの傾きの代表値γが１よりも小さい場合には、ゲイン値が１より大きくなるように、トーンカーブの傾きの代表値γの逆数１／γをゲイン値として採用する。
【００９０】
また、入力される対数輝度ｌｏｇＬ_ｃ（ｐ）が白レベルまたは黒レベルに近い場合には、中間輝度域と同じようなコントラスト強調を行うとクリッピングが生じて逆に画像のディテールを失う結果となるので、入力される対数輝度ｌｏｇＬ_ｃ（ｐ）が白レベルまたは黒レベルに近くなるにしたがって、ゲイン値が１に近づくようする。
【００９１】
すなわち、代表値γの逆数１／γ＝ｇ_０として、ゲイン値ｇ（ｐ）を次式（４）のように算出する。

ここで、ａｔｔｎ（ｐ）は、減衰する係数であって、次式（５）を用いて計算される。
【数４】

【００９２】
なお、式（５）において、ｌｏｇＬ_ｇｒａｙは、中庸なグレイレベルの対数輝度を示し、ｌｏｇＬ_{ｗｈｉｔｅ}は、白クリップレベル（最大の白レベル）の対数輝度を示しており、どちらも予め設定されている定数である。
【００９３】
図１２は、ゲイン値設定部９３の構成例を示している。除算器１１１は、前段から入力される代表値γの逆数１／γ＝ｇ_０を算出して減算器１１２に出力する。減算器１１２は、（ｇ_０−１）を演算して乗算器１１８に出力する。
【００９４】
減算器１１３は、対数輝度ｌｏｇＬ_ｃ（ｐ）と、中庸なグレイレベルの対数輝度ｌｏｇＬ_ｇｒａｙの差（ｌｏｇＬ_ｃ（ｐ）−ｌｏｇＬ_ｇｒａｙ）を演算して、除算器１１５に出力する。減算器１１４は、白クリップレベルの対数輝度ｌｏｇＬ_{ｗｈｉｔｅ}と、対数輝度ｌｏｇＬ_ｇｒａｙの差（ｌｏｇＬ_{ｗｈｉｔｅ}−ｌｏｇＬ_ｇｒａｙ）を演算して、除算器１１５に出力する。除算器１１５は、減算器１１３の出力（ｌｏｇＬ_ｃ（ｐ）−ｌｏｇＬ_ｇｒａｙ）を、減算器１１４の出力（ｌｏｇＬ_{ｗｈｉｔｅ}−ｌｏｇＬ_ｇｒａｙ）で除算して、絶対値計算器１１６に出力する。絶対値計算器１１６は、除算器１１５の出力の絶対値を計算してクリップ器１１７に出力する。クリップ器１１７は、絶対値計算器１１６の出力が１を超過する場合、その値を１にクリッピングし、絶対値計算器１１６の出力が１を超過しない場合、その値をそのまま、ａｔｔｎ（ｐ）として乗算器１１８に出力する。
【００９５】
乗算器１１８は、減算器１１２の出力に、クリップ器１１７の出力を乗算して、加算器１１９に出力する。加算器１１９は、乗算器１１８の出力に１を加算し、演算結果をゲイン値ｇ（ｐ）として後段に出力する。
【００９６】
次に、図１３は、コントラスト強調部９４の構成例を示している。減算器１２１は、対数輝度ｌｏｇＬ_ｃ（ｐ）と、縮小画像の補間値ｌｏｇＬ_ｃｌ（ｐ）との差（ｌｏｇＬ_ｃ（ｐ）−ｌｏｇＬ_ｃｌ（ｐ））を演算して、乗算器１２２に出力する。乗算器１２２は、減算器１２１の出力とゲイン値ｇ（ｐ）との積を演算して、加算器１２３に出力する。加算器１２３は、乗算器１２２の出力に、縮小画像の補間値ｌｏｇＬ_ｃｌ（ｐ）を加算して、コントラスト補正がなされた対数輝度ｌｏｇＬ_ｕ（ｐ）を後段に出力する。
【００９７】
なお、縮小画像の補間値ｌｏｇＬ_ｃｌ（ｐ）は、ｍ×ｎ画素の縮小画像を元にして補間された値であるから、縮小前の画像ｌｏｇＬ_ｃのごく低周波域成分だけをもつものである。
【００９８】
つまり、減算器１２１の出力（ｌｏｇＬ_ｃ（ｐ）−ｌｏｇＬ_ｃｌ（ｐ））は、元の対数輝度ｌｏｇＬ_ｃ（ｐ）からごく低域成分だけを差し引いたものである。このように輝度信号をごく低周波域の成分とそれ以外の成分の２つに分離し、そのうち、低周波域成分以外をゲイン値ｇ（ｐ）を乗算して強調した後、再び加算器１２３により合成したものが、コントラスト補正がなされた対数輝度ｌｏｇＬ_ｕ（ｐ）である。
【００９９】
このように、コントラスト強調部９４では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値ｇ（ｐ）で強調されるようになっている。したがって、コントラスト補正がなされた対数輝度ｌｏｇＬ_ｕ（ｐ）は、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。
【０１００】
次に、輝度域情報算出部２８および輝度域正規化部３０について説明する。
【０１０１】
まず、輝度域正規化処理の概要を説明する。ＤＳＰ７による階調圧縮処理の目的は広ＤＲ輝度画像を、ディスプレイ１１などの再生デバイスのダイナミックレンジに適合した狭ＤＲ画像に変換することであり、そのために、再生デバイスのダイナミックレンジにあわせたトーンカーブがトーンカーブ補正部２２に予め用意されている。これにより、撮影された大多数の広ＤＲ輝度画像を、適切に階調圧縮することができる。
【０１０２】
しかしながら、撮影する被写体によっては、入射光のダイナミックレンジが元々それほど大きくないこともあり得るので、その画像に階調圧縮処理を施した場合、必要以上に階調圧縮が行われてしまい、再生デバイスの再生可能なダイナミックレンジよりも狭いレンジに、輝度が押し込められてしまうこともあり得る。
【０１０３】
これを抑止するために、輝度域正規化部３０では、階調圧縮処理の最終段階の処理として、ガンマ補正後の輝度信号Ｙ（ｐ）のダイナミックレンジが、再生デバイスが再生可能なダイナミックレンジに一致するように、ガンマ補正後の輝度信号Ｙ（ｐ）を正規化する。
【０１０４】
図１４は、輝度域正規化部３０による輝度域正規化処理の様子を示している。同図の折れ線グラフは、横軸に輝度域正規化前のガンマ補正された輝度Ｙを示し、縦軸に輝度域正規化後の輝度Ｙ_ｎを示しており、階調変換曲線αは、輝度ＹをＹ_ｎに変換するときに用いる変換テーブルを示している。
【０１０５】
階調変換曲線αの求め方について説明する。折れ線グラフの下に示された斜線の図形１３１は、輝度域正規化前の輝度画像Ｙのヒストグラムの一例である。この例においては、ガンマ補正が行われた輝度域正規化前の段階で、ディジタルビデオカメラ１が生成し得る最低輝度Ｙ_ｍｉｎから最高輝度Ｙ_ｍａｘまでのダイナミックレンジよりも狭いダイナミックレンジに階調圧縮された輝度画像が得られている。
【０１０６】
このダイナミックレンジのままで再生デバイスに出力すると、再生デバイスの再生可能なダイナミックレンジが有効に使われないので、輝度域正規化前の輝度画像Ｙの輝度分布が、再生デバイスのダイナミックレンジの全域に亘って分布するように正規化を実行する。
【０１０７】
そのためにまず、輝度域正規化前の輝度画像Ｙのヒストグラム形状１３１が分布する範囲［Ｙ_ｄ，Ｙ_ｂ］を、輝度域正規化前の輝度画像Ｙの輝度域情報として算出する。そして、再生デバイスの輝度域［Ｙ_ｎｂ，Ｙ_ｎｃ］の上下端よりも若干内側の輝度Ｙ_ｎａ，Ｙ_ｎｓを設定し、横軸の輝度｛Ｙ_ｍｉｎ，Ｙ_ｄ，Ｙ_ｂ，Ｙ_ｍａｘ｝が縦軸の輝度｛Ｙ_ｎｂ，Ｙ_ｎａ，Ｙ_ｎｓ，Ｙ_ｎｃ｝に対応するように階調変換曲線αを決定する。
【０１０８】
この階調変換曲線αを用いて階調変換を行えば、折れ線グラフの左に示された斜線の図形１３２のようなヒストグラム形状をもつ輝度画像Ｙ_ｎを得ることができる。
【０１０９】
なお、輝度域正規化前の輝度域［Ｙ_ｄ，Ｙ_ｂ］を、再生デバイスの輝度域［Ｙ_ｎｂ，Ｙ_ｎｃ］よりも若干狭い輝度域［Ｙ_ｎａ，Ｙ_ｎｓ］に写像するように、階調変換曲線αを決定したが、その理由は、輝度Ｙ_ｎｂ，Ｙ_ｎｃ付近での急激な輝度クリッピングが画像上に現れないようにするためである。
【０１１０】
ここで、輝度Ｙ_ｎａ，Ｙ_ｎｓは、輝度Ｙ_ｎｂ，Ｙ_ｎｃに基づいて予め適切な値を設定されているものとする。
【０１１１】
なお、輝度域正規化前の輝度域［Ｙ_ｄ，Ｙ_ｂ］の取得は、輝度域情報算出部２８が行い、階調変換曲線αの決定および輝度Ｙ_ｎ（ｐ）の算出は、輝度域正規化部３０が実行する。
【０１１２】
図１５は、輝度域情報算出部２８の構成例を示している。輝度域情報算出部２８において、間引き部１４１は、ガンマ補正部２７から入力された輝度Ｙ（ｐ）を、その画素位置ｐに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段のＭＩＮソート部１４２およびＭＡＸソート部１４５に供給する。
【０１１３】
ＭＩＮソート部１４２は、比較部１４３とレジスタ１４４の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を小さい順にレジスタ１４４−１乃至１４４−ｋに保持するようになされている。
【０１１４】
例えば、比較部１４３−１は、間引き部１４１からの輝度Ｙ（ｐ）とレジスタ１４４−１の値を比較し、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも小さい場合、間引き部１４１からの輝度Ｙ（ｐ）を用いてレジスタ１４４−１の値を更新する。反対に、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも小さくない場合、間引き部１４１からの輝度Ｙ（ｐ）は後段の比較部１４３−２に供給される。
【０１１５】
比較部１４３−２は、比較部１４３−１からの輝度Ｙ（ｐ）とレジスタ１４４−２の値を比較し、比較部１４３−１からの輝度Ｙ（ｐ）がレジスタ１４４−２の値よりも小さい場合、比較部１４３−１からの輝度Ｙ（ｐ）を用いてレジスタ１４４−２の値を更新する。反対に、比較部１４３−１からの輝度Ｙ（ｐ）がレジスタ１４４−２の値よりも小さくない場合、比較部１４３−１からの輝度Ｙ（ｐ）は後段の比較部１４３−３に供給される。
【０１１６】
比較部１４３−３以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ１４４−１に輝度Ｙ（ｐ）の最小値Ｙ_ｍｉｎが保持され、レジスタ１４４−２乃至１４４−ｋに、輝度Ｙ（ｐ）が小さい順に保持されることになり、レジスタ１４４−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙ_ｄとして後段に出力される。
【０１１７】
ＭＡＸソート部１４５は、比較部１４６とレジスタ１４７の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を大きい順にレジスタ１４７−１乃至１４７−ｋに保持するようになされている。
【０１１８】
例えば、比較部１４６−１は、間引き部１４１からの輝度Ｙ（ｐ）とレジスタ１４７−１の値を比較し、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも大きい場合、間引き部１４１からの輝度Ｙ（ｐ）を用いてレジスタ１４７−１の値を更新する。反対に、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４７−１の値よりも大きくない場合、間引き部１４１からの輝度Ｙ（ｐ）は後段の比較部１４６−２に供給される。
【０１１９】
比較部１４６−２は、比較部１４６−１からの輝度Ｙ（ｐ）とレジスタ１４７−２の値を比較し、比較部１４６−１からの輝度Ｙ（ｐ）がレジスタ１４７−２の値よりも大きい場合、比較部１４６−１からの輝度Ｙ（ｐ）を用いてレジスタ１４７−２の値を更新する。反対に、比較部１４６−１からの輝度Ｙ（ｐ）がレジスタ１４７−２の値よりも大きくない場合、比較部１４６−１からの輝度Ｙ（ｐ）は後段の比較部１４６−３に供給される。
【０１２０】
比較部１４６−３以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ１４７−１に輝度Ｙ（ｐ）の最大値Ｙ_ｍａｘが保持され、レジスタ１４７−２乃至１４７−ｋに、輝度Ｙ（ｐ）が大きい順に保持されることになり、レジスタ１４７−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙ_ｂとして後段に出力される。
【０１２１】
なお、ＭＩＮソート部１４２およびＭＡＸソート部１４５に入力される輝度Ｙ（ｐ）は、間引き部１４１により間引きされたものであるので、間引きの間隔と、ＭＩＮソート部１４２およびＭＡＸソート部１４５の段数ｋを適切に調整すれば、１フレームの全画素のうち、例えば、上限および下限のそれぞれ１％等に相当する輝度Ｙ_ｄ，Ｙ_ｂを得ることが可能になる。
【０１２２】
図１６は、輝度域正規化部３０の構成例を示している。輝度域正規化部３０は、上述したように、階調変換曲線αを決定し、階調変換曲線αを用いてガンマ補正後の輝度Ｙ（ｐ）を輝度域正規化後の輝度Ｙ_ｎ（ｐ）に変換するものである。
【０１２３】
図１４に示されたように、階調変換曲線αは５本の線分で構成されているので、輝度域正規化部３０では、入力された輝度Ｙ（ｐ）がどの線分の範囲であるかを判別し、入力された輝度Ｙ（ｐ）に階調変換曲線αを構成する５本の線分のうちの１つを適用して、輝度域正規化後の輝度Ｙ_ｎ（ｐ）に変換する。
【０１２４】
輝度域正規化部３０のセレクタ１５１は、入力端子ｉに入力される輝度Ｙ（ｐ）に基づき、入力端子ａ乃至ｈにそれぞれ入力される輝度Ｙ_ｍａｘ，Ｙ_ｂ，Ｙ_ｄ，Ｙ_ｍｉｎ，Ｙ_ｎｃ，Ｙ_ｎｓ，Ｙ_ｎａ，Ｙ_ｎｂのうちの４つの輝度を、出力端子ｊ乃至ｍから出力する。この対応関係は、以下の通りである。
【数５】

【０１２５】
減算器１５２は、出力端子ｋの出力と出力端子ｊの出力の差を演算して、除算器１５５に出力する。減算器１５３は、出力端子ｌの出力と減算器１５４の出力の差を演算して、除算器１５５に出力する。減算器１５４は、輝度Ｙ（ｐ）と出力端子ｍの出力との差を演算して、乗算器１５６に出力する。除算器１５５は、減算器１５２の出力と減算器１５３の出力の比を演算して乗算器１５６に出力する。乗算器１５６は、除算器１５５の出力と減算器１５４の出力の積を演算して、加算器１５７に出力する。加算器１５７は、出力端子ｊの出力と乗算器１５６の出力を加算して出力する。
【０１２６】
加算器１５７の出力Ｙ_ｎ（ｐ）は、ガンマ補正後の輝度Ｙ（ｐ）に基づいて判別された階調変換曲線αの線分を示す次式（６）に示すとおりとなる。
【数６】

【０１２７】
以上で、図２に示されたＤＳＰ７を構成する各部の説明を終了する。
【０１２８】
ところで、図６に示されたトーンカーブ補正部２２の平均輝度算出部６３と、図７に示された縮小画像生成部２３の平均輝度計算部７２が同様の計算を実行することに着目すれば、よりシンプルな回路構成で演算量を減少させることが可能である。具体的には、図２のトーンカーブ補正部２２、縮小画像生成部２３、縮小画像メモリ２４、およびコントラスト補正部２５を組み合わせて、図１７に示すような複合部を設ければよい。
【０１２９】
この複合部１６０は、図２に示されたトーンカーブ補正部２２、縮小画像生成部２３、縮小画像メモリ２４、およびコントラスト補正部２５と置換可能なものである。
【０１３０】
複合部１６０のＬＵＴメモリ１６１には、図４に示されたようなトーンカーブに相当するＬＵＴと、トーンカーブの傾きを示す代表値γ_１が予め保持されている。テーブル参照部１６２は、上段から入力された対数輝度ｌｏｇＬ（ｐ）を、ＬＵＴメモリ１６１に保持されているＬＵＴに基づいて対数輝度ｌｏｇＬ_ｃ’（ｐ）に補正して縮小画像生成部１６３および乗算器１７２に出力する。
【０１３１】
縮小画像生成部１６３は、対数輝度画像ｌｏｇＬ_ｃ’をｍ×ｎ個のブロックに分割し、各ブロックに属する画素の対数輝度ｌｏｇＬ_ｃ’（ｐ）の平均値を算出して、ｍ×ｎ画素の第１の縮小画像を生成し、第１の縮小画像メモリ１６４に保持させる。
【０１３２】
平均輝度算出部６３は、第１の縮小画像メモリ１６４に保持されている１フレーム前の第１の縮小画像の画素値の平均値μを算出して、除算器１６６に出力する。除算器１６６は、所定の定数ｌｏｇＬ_Ｔを平均値μで除算し、代表値γ_２を算出し、γ_２メモリ１６７に保持させる。乗算器１６８は、第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、γ_２メモリ６５に保持されている代表値γ_２を乗算して、第２の縮小画像ｌｏｇＬ_ｃｌを生成し、第２の縮小画像メモリ１６９に持させる。
【０１３３】
乗算器１７０は、テーブル参照部１６２から入力された現フレームの対数輝度ｌｏｇＬ_ｃ’（ｐ）に、γ_２メモリ１６７に保持されている１フレーム前の代表値γ_２を乗算して、トーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）を算出する。乗算器１７１は、代表値γ_１，γ_２の積を代表値γ（＝γ_１・γ_２）としてゲイン値設定部１７２に出力する。
【０１３４】
ゲイン値設定部１７２は、乗算器１７１から入力された前フレームに対する代表値γと、乗算器１７０から入力された現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）に基づいて、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。
【０１３５】
補間位置指定部１７３は、乗算器１７０から入力された現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部１７４に出力する。補間部１７４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像ｌｏｇＬ_ｃｌを用いて、補間位置ｐに対応する画素ｌｏｇＬ_ｃｌ（ｐ）を補間により算出してコントラスト強調部１７５に出力する。
【０１３６】
コントラスト強調部１７５は、乗算器１７０から入力された現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）について、ゲイン値ｇ（ｐ）および縮小画像の補間値ｌｏｇＬ_ｃｌ（ｐ）に基づき、低周波数成分以外のコントラストが強調された対数輝度ｌｏｇＬ_ｕ（ｐ）を算出する。
【０１３７】
この複合部１６０を用いれば、平均輝度算出部１６５は、第１の縮小画像のｍ×ｎ画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像ｌｏｇＬ_ｃの画素の平均値を算出する図６の平均輝度算出部６３に比較して、演算量を削減することができる。したがって、演算に起因する遅延時間を短縮することができる。
【０１３８】
次に、図１７に示された複合部１６０が適用されたＤＳＰ７の第１の構成例による総合的な階調圧縮処理について、図１８のフローチャートを参照して説明する。
【０１３９】
ステップＳ１において、ＤＳＰ７は、入力された現フレームの広ＤＲ輝度画像Ｌを、１フレーム前の広ＤＲ輝度画像に対して算出され、保持されている中間情報（第２の縮小画像ｌｏｇＬ_ｃ（ｐ）、代表値γ、輝度域情報［Ｙ_ｄ，Ｙ_ｂ］）を基づいて狭ＤＲ輝度画像Ｙ_ｎに変換する。また、ＤＳＰ７は、現フレームの広ＤＲ輝度画像Ｌに対する中間情報を算出する。
【０１４０】
ステップＳ２において、ＤＳＰ７は、算出した現フレームの広ＤＲ輝度画像Ｌに対する中間情報を用いて、保持していた１フレーム前の広ＤＲ輝度画像に対する中間情報を更新する。
【０１４１】
ステップＳ３において、ＤＳＰ７は、入力された現フレームの広ＤＲ輝度画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。
【０１４２】
ステップＳ１における画素単位の処理の詳細を、図１９のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタ順に入力される注目画素（画素位置ｐ）に対して実行される。
【０１４３】
ステップＳ１１において、ＤＳＰ７に注目画素（画素位置ｐ）の輝度Ｌ（ｐ）が入力される。ステップＳ１２において、対数変換部２１は、入力された輝度Ｌ（ｐ）を対数変換し、得られた対数輝度ｌｏｇＬ（ｐ）を複合部１６０に出力する。ステップＳ１３において、複合部１６０のテーブル参照部１６２は、対数変換部２１から入力された対数輝度ｌｏｇＬ（ｐ）を、ＬＵＴメモリ１６１に保持されているＬＵＴに基づいて対数輝度ｌｏｇＬ_ｃ’（ｐ）に補正して縮小画像生成部１６３および乗算器１７２に出力する。これと同時に、ＬＵＴメモリ１６１は、トーンカーブの傾きの代表値γ_１を乗算器１７１に出力する。乗算器１７１は、代表値γ_１とγ_２メモリ１６７に保持されている１フレーム前の第１の縮小画像に基づいて算出されたγ_２の積を代表値γとしてゲイン値設定部１７２の出力する。
【０１４４】
ステップＳ１４において、縮小画像生成部１６３は、トーンカーブ補正後の１フレーム分の対数輝度ｌｏｇＬｃ’（ｐ）を元に、第１の縮小画像を生成する。ここで、生成された第１の縮小画像に基づき、代表値γ_２が算出される。また、生成された第１の縮小画像に算出された代表値γ_２が乗算されて、第２の縮小画像ｌｏｇＬ_ｃｌが生成される。
【０１４５】
ステップＳ１５において、乗算器１７０は、テーブル参照部１６２から入力された現フレームの対数輝度ｌｏｇＬ_ｃ’（ｐ）に、γ_２メモリ１６７に保持されている１フレーム前の代表値γ_２を乗算して、トーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）を算出する。
【０１４６】
ステップＳ１６において、ゲイン値設定部１７２は、乗算器１７１から入力された前フレームに対する代表値γと、乗算器１７０から入力された現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）に基づいて、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。
【０１４７】
ステップＳ１７において、補間部１７４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像ｌｏｇＬ_ｃｌを用いて、補間位置ｐに対応する画素ｌｏｇＬ_ｃｌ（ｐ）を補間により算出してコントラスト強調部１７５に出力する。ステップＳ１８において、コントラスト強調部１７５は、第２の縮小画像の補間値ｌｏｇＬ_ｃｌ（ｐ）およびゲイン値ｇ（ｐ）に基づき、トーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）の低周波域成分以外を強調し、その結果得られたコントラスト補正された対数輝度ｌｏｇＬ_ｕ（ｐ）を後段の対数逆変換部２６に出力する。
【０１４８】
ステップＳ１９において、対数逆変換部２６は、コントラスト補正された対数輝度ｌｏｇＬ_ｕ（Ｐ）を、通常軸の輝度Ｌ_ｕ（Ｐ）に変換し、ガンマ補正部２７に出力する。ステップＳ２０において、ガンマ補正部２７は、所定のガンマ補正を行い、得られた輝度Ｙ（ｐ）を輝度域情報算出部２８および輝度域正規化部３０に出力する。
【０１４９】
ステップＳ２１において、輝度域情報算出部２８は、１フレーム分の輝度Ｙ（ｐ）を元にして、輝度域情報［Ｙ_ｄ，Ｙ_ｂ］を生成する。ステップＳ２２において、輝度域正規化部３０は、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙ_ｄ，Ｙ_ｂ］に基づき、ガンマ補正部２７から入力された輝度Ｙ（ｐ）を正規化して、輝度Ｙ_ｎ（ｐ）を算出する。ステップＳ２３において、輝度域正規化部３０は、輝度Ｙ_ｎ（ｐ）を、階調圧縮された狭ＤＲ輝度画像の画素値として出力する。以上で、図１８のステップＳ１の処理の詳細な説明を終了する。
【０１５０】
次に、図１８のステップＳ２の処理の詳細を、図２０のフローチャートを参照して説明する。ステップＳ３１において、縮小画像生成部１６３は、トーンカーブ補正後の１フレーム分の対数輝度ｌｏｇＬｃ’（ｐ）を元に生成した第１の縮小画像を用いて、第１の縮小画像メモリ１６４に保持されている第１の縮小画像を更新する。
【０１５１】
ステップＳ３２において、除算器１６６は、所定の定数ｌｏｇＬ_Ｔを、平均輝度算出部１６５から入力された平均値μで除算して代表値γ_２を算出し、算出した代表値γ_２を用いて、γ_２メモリ１６７に保持されている代表値γ_２を更新する。
【０１５２】
ステップＳ３３において、乗算器１６８は、ステップＳ３１の処理で更新された第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、ステップＳ３２の処理で更新されたγ_２メモリ６５に保持されている代表値γ_２を乗算して、第２の縮小画像ｌｏｇＬ_ｃｌを生成し、第１の縮小画像メモリ１６９に保持されている第２の縮小画像ｌｏｇＬ_ｃｌを更新する。
【０１５３】
ステップＳ３４において、輝度域情報算出部２８は、１フレーム分の輝度Ｙ（ｐ）を元にして算出した輝度域情報［Ｙ_ｄ，Ｙ_ｂ］を用いて、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙ_ｄ，Ｙ_ｂ］を更新する。以上で、図１８のステップＳ２の処理の詳細な説明を終了する。
【０１５４】
次に、図２１は、カラー画像である広ＤＲ画像に対応したＤＳＰ７の構成例を示している。なお、ＤＳＰ７にラスタ順に入力される広ＤＲ画像は、全ての画素がそれぞれＲ，Ｇ，Ｂ成分の全てを有しているのではなく、Ｒ，Ｇ，Ｂ成分のうちのいずれか１つを有しているものとする。以下、ＤＳＰ７の第２の構成例に入力されるカラー画像である広ＤＲ画像を、広ＤＲ色モザイク画像と記述する。なお、広ＤＲ色モザイク画像の各画素がＲ，Ｇ，Ｂ成分のうちのいずれを有しているかは、画素位置によって決定されている。
【０１５５】
ＤＳＰ７にラスタ順に入力される広ＤＲ色モザイク画像の画素値を、Ｌ（ｐ）と記述する。
【０１５６】
ＤＳＰ７の当該第２の構成例において、デモザイク部２０１は、画素毎に異なる色成分を有する１フレーム分の画素値Ｌ（ｐ）を元に対し、全て画素がＲ，Ｇ，Ｂ成分を全て有するようにデモザイク処理を施して、色信号［Ｒ（ｐ），Ｇ（ｐ），Ｂ（ｐ）］を生成し、色バランス調整部２０２に出力する。以下、デモザイク部２０１から出力される色信号からなる画像を広ＤＲカラー画像と記述する。
【０１５７】
色バランス調整部２０２は、画像全体の色バランスが適切になるように、Ｒ，Ｇ，Ｂ成分それぞれを調整して、色信号［Ｒ_ｂ（ｐ），Ｇ_ｂ（ｐ），Ｂ_ｂ（ｐ）］を生成する。なお、デモザイク部２０１および色バランス調整部２０２は、単板式ＣＣＤイメージセンサが搭載された一般的なディジタルビデオに実装されているものである。
【０１５８】
対数変換部２０３は、色バランス調整部２０２から入力される色信号［Ｒ_ｂ（ｐ），Ｇ_ｂ（ｐ），Ｂ_ｂ（ｐ）］を対数変換し、得られる対数色信号［ｌｏｇＲ_ｂ（ｐ），ｌｏｇＧ_ｂ（ｐ），ｌｏｇＢ_ｂ（ｐ）］をトーンカーブ補正部２０４に出力する。トーンカーブ補正部２０４は、入力される対数色信号［ｌｏｇＲ_ｂ（ｐ），ｌｏｇＧ_ｂ（ｐ），ｌｏｇＢ_ｂ（ｐ）］に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数色信号［ｌｏｇＲ_ｃ（ｐ），ｌｏｇＧ_ｃ（ｐ），ｌｏｇＢ_ｃ（ｐ）］を縮小画像生成部２０５およびコントラスト補正部２０７に出力する。また、トーンカーブ補正部２０４は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部２０７に出力する。
【０１５９】
縮小画像生成部２０５は、トーンカーブ補正部２０４から入力される１フレーム分の対数色信号［ｌｏｇＲ_ｃ（ｐ），ｌｏｇＧ_ｃ（ｐ），ｌｏｇＢ_ｃ（ｐ）］を元に、縮小画像ｌｏｇＬ_ｃｌを生成して、縮小画像メモリ２０６に保持させる。
【０１６０】
コントラスト補正部２０７は、トーンカーブ補正部２０４から入力される現フレームの対数色信号［ｌｏｇＲ_ｃ（ｐ），ｌｏｇＧ_ｃ（ｐ），ｌｏｇＢ_ｃ（ｐ）］のトーンカーブ補正によって弱められているコントラストを、代表値γおよび縮小画像メモリ２０６に保持されている１フレーム前の縮小画像ｌｏｇＬ_ｃｌに基づいて補正し、得られる対数色信号［ｌｏｇＲ_ｕ（ｐ），ｌｏｇＧ_ｕ（ｐ），ｌｏｇＢ_ｕ（ｐ）］を対数逆変換部２０８に出力する。対数逆変換部２０８は、コントラストが補正された対数色信号［ｌｏｇＲ_ｕ（ｐ），ｌｏｇＧ_ｕ（ｐ），ｌｏｇＢ_ｕ（ｐ）］を、対数逆変換して、得られる通常軸の色信号［Ｒ_ｕ（ｐ），Ｇ_ｕ（ｐ），Ｂ_ｕ（ｐ）］をガンマ補正部２０９に出力する。
【０１６１】
ガンマ補正部２０９は、対数逆変換部２０８から入力される色信号［Ｒ_ｕ（ｐ），Ｇ_ｕ（ｐ），Ｂ_ｕ（ｐ）］に対して、再生デバイス（例えば、ディスプレイ１１）のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の色信号［Ｒ_ｇ（ｐ），Ｇ_ｕ（ｐ），Ｂ_ｇ（ｐ）］を輝度情報算出部２１０および輝度域正規化部２１２に出力する。輝度情報算出部２１０は、ガンマ補正部２０９から入力される１フレーム分の色信号［Ｒ_ｇ（ｐ），Ｇ_ｕ（ｐ），Ｂ_ｇ（ｐ）］を輝度Ｙ（ｐ）に変換した後、輝度Ｙ（ｐ）の分布を示す輝度域情報を算出して輝度域情報メモリ２１１に保持させる。ここで、輝度域情報とは、１フレームにおける輝度Ｙ（ｐ）の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度Ｙ_ｄと、最も明るい方に近い輝度Ｙ_ｂを輝度域情報［Ｙ_ｄ，Ｙ_ｂ］として算出するようにする。
【０１６２】
輝度域正規化部２１２は、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙ_ｄ，Ｙ_ｂ］に基づき、ガンマ補正部２０９から入力される現フレームの色信号［Ｒ_ｇ（ｐ），Ｇ_ｕ（ｐ），Ｂ_ｇ（ｐ）］を、その分布範囲が再生デバイス（例えば、ディスプレイ１１）が表現可能な範囲に合致するように変換し、得られる色信号［Ｒ_ｎ（ｐ），Ｇ_ｎ（ｐ），Ｂ_ｎ（ｐ）］を、カラー画像である狭ＤＲ画像の画素値として後段に出力する。
【０１６３】
以下説明したように、カラー画像に対応するＤＳＰ７の第２の構成例は、デモザイク部２０１および色バランス部２０２が追加されていること以外、図２に示されたモノクロ画像に対応する第１の構成例とほぼ同様であるが、各部の内部の構成がカラー画像に対応するために若干変更されている。
【０１６４】
図２２は、トーンカーブ補正部２０４の第１の構成例を示している。当該第１の構成例において、輝度生成部２２１は、入力される対数色信号［ｌｏｇＲ_ｂ（ｐ），ｌｏｇＧ_ｂ（ｐ），ｌｏｇＢ_ｂ（ｐ）］の線形和を演算することにより対数輝度ｌｏｇＬ_ｂ（ｐ）を生成し、減算器２２２−Ｒ乃至２２２−Ｂおよびテーブル参照部２２４に出力する。
【０１６５】
減算器２２２−Ｒは、対数色信号ｌｏｇＲ_ｂ（ｐ）から対数輝度ｌｏｇＬ_ｂ（ｐ）を減算して、乗算器２２５−Ｒに出力する。ＬＵＴメモリ２２３には、図４に示されたようなトーンカーブに相当するＬＵＴとトーンカーブの傾きを示す代表値γが予め保持されている。テーブル参照部２２４は、ＬＵＴメモリ２２３に保持されているＬＵＴに基づいて対数輝度ｌｏｇＬ（ｐ）を対数輝度ｌｏｇＬ_ｃ（ｐ）に補正し、加算器２２６−Ｒ乃至２２６−Ｂに出力する。
【０１６６】
乗算器２２５−Ｒは、減算器２２２−Ｒの出力に、ＬＵＴメモリ２２３から入力される代表値γを乗算して、加算器２２６−Ｒに出力する。加算器２２６−Ｒは、乗算器２２５−Ｒの出力と、対数輝度ｌｏｇＬ_ｃ（ｐ）との和を演算して、トーンカーブ補正後の対数色信号ｌｏｇＲ_ｃ（ｐ）として後段に出力する。
【０１６７】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１６８】
図２３は、トーンカーブ補正部２０４の第２の構成例を示している。当該第２の構成例において、輝度生成部２３１は、入力される対数色信号［ｌｏｇＲ_ｂ（ｐ），ｌｏｇＧ_ｂ（ｐ），ｌｏｇＢ_ｂ（ｐ）］の線形和を演算することにより対数輝度ｌｏｇＬ_ｂ（ｐ）を生成し、平均輝度算出部２３２に出力する。平均輝度算出部２３２は、１フレーム分の対数輝度ｌｏｇＬ（ｐ）の平均値μを算出して、除算器２３３に出力する。除算器２３３は、所定の定数ｌｏｇＬ_Ｔを平均値μで除算して代表値γを算出し、γメモリ２３４に保持させる。
【０１６９】
乗算器２３５−Ｒは、現フレームの対数色信号ｌｏｇＲ_ｂ（ｐ）に、γメモリ２３４に保持されている１フレーム前の代表値γを乗算して、トーンカーブ補正後の対数色信号ｌｏｇＲ_ｃ（ｐ）を算出する。
【０１７０】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１７１】
図２４は、トーンカーブ補正部２０４の第３の構成例を示している。当該第３の構成例は、いわば、第１の構成例と第２の構成例を組み合わせたものである。第３の構成例において、輝度生成部２４１は、入力される対数色信号［ｌｏｇＲ_ｂ（ｐ），ｌｏｇＧ_ｂ（ｐ），ｌｏｇＢ_ｂ（ｐ）］の線形和を演算することにより対数輝度ｌｏｇＬ_ｂ（ｐ）を生成し、減算器２４２−Ｒ乃至２４２−Ｂおよびテーブル参照部２４４に出力する。
【０１７２】
減算器２４２−Ｒは、対数色信号ｌｏｇＲ_ｂ（ｐ）から対数輝度ｌｏｇＬ_ｂ（ｐ）を減算して、乗算器２５０−Ｒに出力する。ＬＵＴメモリ２４３には、図４に示されたようなトーンカーブに相当するＬＵＴとトーンカーブの傾きを示す代表値γ_１が予め保持されている。テーブル参照部２４４は、ＬＵＴメモリ２４３に保持されているＬＵＴに基づいて対数輝度ｌｏｇＬ（ｐ）を、対数輝度ｌｏｇＬ_ｃ’（ｐ）に補正して平均輝度算出部２４５および乗算器２４９に出力する。
【０１７３】
平均輝度算出部２４５は、１フレーム分の対数輝度ｌｏｇＬ_ｃ’（ｐ）の平均値μを算出して、除算器２４６に出力する。除算器２４６は、所定の定数ｌｏｇＬ_Ｔを平均値μで除算して代表値γ_２を算出し、γ_２メモリ２４７に保持させる。乗算器２４８は、代表値γ_１，γ_２の積を代表値γ（＝γ_１・γ_２）として後段のコントラスト補正部２０７に出力する。
【０１７４】
乗算器２４９は、現フレームの対数輝度ｌｏｇＬ_ｃ’（ｐ）に、γ_２メモリ２４７に保持されている１フレーム前の代表値γ_２を乗算してトーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）を算出市、加算器２５１−Ｒ乃至２５１−Ｂに出力する。
【０１７５】
乗算器２５０−Ｒは、減算器２４２−Ｒの出力に、乗算器２４８から入力される代表値γを乗算して、加算器２５１−Ｒに出力する。加算器２５１−Ｒは、乗算器２５０−Ｒの出力と、乗算器２４９の出力の積を演算し、トーンカーブ補正後の対数色信号ｌｏｇＲ_ｃ（ｐ）として後段に出力する。
【０１７６】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１７７】
次に、図２５は、縮小画像生成部２０５の構成例を示している。縮小画像生成部２０５の輝度生成部２６１は、入力されるトーンカーブ補正後の対数色信号［ｌｏｇＲ_ｃ（ｐ），ｌｏｇＧ_ｃ（ｐ），ｌｏｇＢ_ｃ（ｐ）］の線形和を演算することにより対数輝度ｌｏｇＬ_ｃ（ｐ）を生成し、ソート部２６２に出力する。
【０１７８】
ソート部２６２は、対数輝度ｌｏｇＬ_ｃ（ｐ）を、画像をｍ×ｎ個のブロックに分割したときに属するブロックに応じて分類し、平均値計算部２６３−１乃至２６３−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されるものは平均値計算部２６３−１に供給され、２番目のブロックに分類されるものは平均値計算部２６３−２に供給される。以下同様であり、Ｎ番目のブロックに分類されるものは平均値計算部２６３−Ｎに供給される。
【０１７９】
平均値計算部２６３−ｉ（ｉ＝１，２，…，Ｎ）は、１フレーム分の対数輝度ｌｏｇＬ_ｃ（ｐ）のうち、ｉ番目のブロックに分類される対数輝度ｌｏｇＬ_ｃ（ｐ）の平均値を算出して、合成部２６４に出力する。合成部２６４は、平均値計算部２６３−ｉからそれぞれ入力される対数輝度ｌｏｇＬ_ｃ（ｐ）の平均値を画素値とするｍ×ｎ画素の縮小画像ｌｏｇＬ_ｃｌを生成し、後段の縮小画像メモリ２０６に保持させる。
【０１８０】
次に、図２６は、コントラスト補正部２０７の構成例を示している。コントラスト補正部２５の輝度生成部２７０は、入力されるトーンカーブ補正後の対数色信号［ｌｏｇＲ_ｃ（ｐ），ｌｏｇＧ_ｃ（ｐ），ｌｏｇＢ_ｃ（ｐ）］の線形和を演算することにより対数輝度ｌｏｇＬ_ｃ（ｐ）を生成し、補間位置指定部２７１およびゲイン値設定部２７３に出力する。
【０１８１】
補間位置指定部２７１は、対数輝度ｌｏｇＬ_ｃ（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部２７２に出力する。補間部２７２は、縮小画像メモリ２０６に保持されている１フレーム前の縮小画像ｌｏｇＬ_ｃｌを用いて、補間位置ｐに対応する画素ｌｏｇＬ_ｃｌ（ｐ）を補間により算出して、減算器２７４−Ｒ乃至２７４−Ｂおよび加算器２７６−Ｒ乃至２７６−Ｂに出力する。
【０１８２】
ゲイン値設定部２７３は、トーンカーブ補正部２２から入力される前フレームに対する代表値γと、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）に基づいて、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出し、乗算器２７５−Ｒ乃至２７５−Ｂに出力する。
【０１８３】
減算器２７４−Ｒは、対数色信号ｌｏｇＲ_ｃ（ｐ）から補間値ｌｏｇＬ_ｃｌ（ｐ）を減算して、乗算器２７５−Ｒに出力する。乗算器２７５−Ｒは、減算器２７４−Ｒの出力に、ゲイン値ｇ（ｐ）を乗算して、加算器２７６−Ｒに出力する。加算器２７６−Ｒは、乗算器２７５−Ｒの出力に、補間値ｌｏｇＬ_ｃｌ（ｐ）を加算して、得られたコントラスト補正後の対数色信号ｌｏｇＲ_ｕ（ｐ）を後段に出力する。
【０１８４】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１８５】
次に、図２７は、図２１のトーンカーブ補正部２０４、縮小画像生成部２０５、縮小画像メモリ２０６、およびコントラスト補正部２０７と置換することができる複合部３００の構成例を示している。
【０１８６】
複合部３００の輝度生成部３０１は、入力される対数色信号［ｌｏｇＲ_ｂ（ｐ），ｌｏｇＧ_ｂ（ｐ），ｌｏｇＢ_ｂ（ｐ）］の線形和を演算することにより対数輝度ｌｏｇＬ_ｂ（ｐ）を生成し、減算器３０２−Ｒ乃至３０２−Ｂおよびテーブル参照部３０４に出力する。減算器３０２−Ｒは、対数色信号ｌｏｇＲ_ｂ（ｐ）から、対数輝度ｌｏｇＬ_ｂ（ｐ）を減算して乗算器３１６−Ｒに出力する。
【０１８７】
ＬＵＴメモリ３０３には、図４に示されたようなトーンカーブに相当するＬＵＴと、トーンカーブの傾きを示す代表値γ_１が予め保持されている。テーブル参照部３０４は、輝度生成部３０１から入力された対数輝度ｌｏｇＬ（ｐ）を、ＬＵＴメモリ３０３に保持されているＬＵＴに基づいて対数輝度ｌｏｇＬ_ｃ’（ｐ）に補正し乗算器３０５および縮小画像生成部３０６に出力する。
【０１８８】
乗算器３０５は、テーブル参照部３０４から入力された現フレームの対数輝度ｌｏｇＬ_ｃ’（ｐ）に、γ_２メモリ１６７に保持されている１フレーム前の代表値γ_２を乗算して、トーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）を算出し、加算器３１７−Ｒ乃至３１７−Ｂに出力する。
【０１８９】
縮小画像生成部３０６は、対数輝度画像ｌｏｇＬ_ｃ’をｍ×ｎ個のブロックに分割し、各ブロックに属する画素の対数輝度ｌｏｇＬ_ｃ’（ｐ）の平均値を算出して、ｍ×ｎ画素の第１の縮小画像を生成し、第１の縮小画像メモリ３０７に保持させる。
【０１９０】
平均輝度算出部３０８は、第１の縮小画像メモリ３０７に保持されている１フレーム前の第１の縮小画像の画素値の平均値μを算出して、除算器３０９に出力する。除算器３０９は、所定の定数ｌｏｇＬ_Ｔを平均値μで除算し、代表値γ_２を算出し、γ_２メモリ３１０に保持させる。乗算器３１１は、代表値γ_１，γ_２の積を代表値γ（＝γ_１・γ_２）として求め、ゲイン値設定部３１５および乗算器３１６−Ｒ乃至３１６−Ｂに出力する。
【０１９１】
乗算器３１２は、第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、γ_２メモリ３１０に保持されている代表値γ_２を乗算して、第２の縮小画像ｌｏｇＬ_ｃｌを生成し、第２の縮小画像メモリ３１３に持させる。
【０１９２】
補間部３１４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像ｌｏｇＬ_ｃｌを用いて、乗算器１７０から入力された現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）に対応する画素ｌｏｇＬ_ｃｌ（ｐ）を補間により算出して、減算器３１８−Ｒ乃至３１８−Ｂおよび加算器３２０−Ｒ乃至３２０−Ｂに出力する。
【０１９３】
ゲイン値設定部３１５は、乗算器３１１から入力された前フレームに対する代表値γと、乗算器３０５から入力された現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）に基づいて、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出し、乗算器３１９−Ｒ乃至３１９−Ｂに出力する。
【０１９４】
乗算器３１６−Ｒは、減算器３０２−Ｒの出力と代表値γの積を演算して、加算器３１７−Ｒに出力する。加算器３１７−Ｒは、乗算器３１６−Ｒの出力と、乗算器３０５の出力との和を演算して、減算器３１８−Ｒに出力する。減算器３１８−Ｒは、加算器３１７−Ｒの出力から、補間値ｌｏｇＬ_ｃｌ（ｐ）を減算して、乗算器３１９−Ｒに出力する。乗算器３１９−Ｒは、減算器３１８−Ｒの出力にゲイン値ｇ（ｐ）を乗算して、加算器３２０−Ｒに出力する。加算器３２０−Ｒは、乗算器３１９−Ｒの出力と、補間値ｌｏｇＬ_ｃｌ（ｐ）の和を演算して、を加算して、得られたコントラスト補正後の対数色信号ｌｏｇＲ_ｕ（ｐ）を後段に出力する。
【０１９５】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１９６】
この複合部３００を用いれば、平均輝度算出部３０８は、第１の縮小画像のｍ×ｎ画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像ｌｏｇＬ_ｃの画素の平均値を算出する図２４の平均輝度算出部２４５に比較して、演算量を削減することができる。したがって、演算に起因する遅延時間を短縮することができる。
【０１９７】
次に、図２８は、輝度域情報算出部２１０の構成例を示している。輝度域情報算出部２１０において、輝度生成部３３１は、ガンマ補正後の色信号［Ｒ_ｇ（ｐ），Ｇ_ｇ（ｐ），Ｂ_ｇ（ｐ）］の線形和を演算することにより輝度Ｙ（ｐ）を生成し、間引き部３３２に出力する。間引き部３３２は、輝度生成部３３１から入力された輝度Ｙ（ｐ）を、その画素位置ｐに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段のＭＩＮソート部３３３およびＭＡＸソート部３３６に供給する。
【０１９８】
ＭＩＮソート部３３３は、比較部３３４とレジスタ３３５の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を小さい順にレジスタ３３５−１乃至３３５−ｋに保持するようになされている。
【０１９９】
例えば、比較部３３４−１は、間引き部３３２からの輝度Ｙ（ｐ）とレジスタ３３５−１の値を比較し、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３５−１の値よりも小さい場合、間引き部３３２からの輝度Ｙ（ｐ）を用いてレジスタ３３５−１の値を更新する。反対に、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３５−１の値よりも小さくない場合、間引き部３３２からの輝度Ｙ（ｐ）は後段の比較部３３４−２に供給される。
【０２００】
比較部３３４−２以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ３３５−１に輝度Ｙ（ｐ）の最小値Ｙ_ｍｉｎが保持され、レジスタ３３５−２乃至３３５−ｋに、輝度Ｙ（ｐ）が小さい順に保持されることになり、レジスタ３３５−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙ_ｄとして後段に出力される。
【０２０１】
ＭＡＸソート部３３６は、比較部３３７とレジスタ３３８の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を大きい順にレジスタ３３８−１乃至３３８−ｋに保持するようになされている。
【０２０２】
例えば、比較部３３７−１は、間引き部３３２からの輝度Ｙ（ｐ）とレジスタ３３８−１の値を比較し、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３８−１の値よりも大きい場合、間引き部３３２からの輝度Ｙ（ｐ）を用いてレジスタ３３８−１の値を更新する。反対に、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３８−１の値よりも大きくない場合、間引き部３３２からの輝度Ｙ（ｐ）は後段の比較部３３７−２に供給される。
【０２０３】
比較部３３７−２以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ３３８−１に輝度Ｙ（ｐ）の最大値Ｙ_ｍａｘが保持され、レジスタ３３８−２乃至３３８−ｋに、輝度Ｙ（ｐ）が大きい順に保持されることになり、レジスタ３３８−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙ_ｂとして後段に出力される。
【０２０４】
なお、ＭＩＮソート部３３３およびＭＡＸソート部３３６に入力される輝度Ｙ（ｐ）は、間引き部３３２により間引きされたものであるので、間引きの間隔と、ＭＩＮソート部３３３およびＭＡＸソート部３３６の段数ｋを適切に調整すれば、１フレームの全画素のうち、例えば上下１％や０．１％などに相当する輝度値Ｙ_ｄ，Ｙ_ｂを得ることが可能になる。
【０２０５】
次に、図２７に示された複合部３００が適用されたＤＳＰ７の第２の構成例による総合的な階調圧縮処理について、図２９のフローチャートを参照して説明する。
【０２０６】
ステップＳ４１において、ＤＳＰ７（デモザイク部２０１）は、広ＤＲ色モザイク画像にデモザイク処理を施して、広ＤＲカラー画像を生成し、その画素値、すなわち、色信号［Ｒ（ｐ），Ｇ（ｐ），Ｂ（ｐ）］をラスタ順に色バランス調整部２０２に出力する。ステップＳ４２において、ＤＳＰ７（色バランス調整部２０２）は、画像全体の色バランスが適切になるように、Ｒ，Ｇ，Ｂ成分それぞれを調整して、色信号［Ｒ_ｂ（ｐ），Ｇ_ｂ（ｐ），Ｂ_ｂ（ｐ）］を生成する。
【０２０７】
ステップＳ４３おいて、ＤＳＰ７は、入力される現フレームの広ＤＲカラー画像の色信号を、１フレーム前の広ＤＲカラー画像に対して算出され、保持されている中間情報（第２の縮小画像ｌｏｇＬ_ｃ（ｐ）、代表値γ、輝度域情報［Ｙ_ｄ，Ｙ_ｂ］）を基づいて狭ＤＲカラー画像Ｙ_ｎに変換する。また、ＤＳＰ７は、現フレームの広ＤＲカラー画像Ｌに対する中間情報を算出する。
【０２０８】
ステップＳ４４において、ＤＳＰ７は、算出した現フレームの広ＤＲカラー画像Ｌに対する中間情報を用いて、保持していた１フレーム前の広ＤＲカラー画像に対する中間情報を更新する。
【０２０９】
ステップＳ４５において、ＤＳＰ７は、入力された現フレームの広ＤＲカラー画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ４１に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。
【０２１０】
ステップＳ４２における画素単位の処理の詳細を、図３０のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタ順に入力される注目画素（画素位置ｐ）に対して実行される。
【０２１１】
ステップＳ５１において、色バランス調整部２０２は、生成した色信号［Ｒ_ｂ（ｐ），Ｇ_ｂ（ｐ），Ｂ_ｂ（ｐ）］を、対数変換部２０３に出力する。ステップＳ５２において、対数変換部２０３は、入力された色信号［Ｒ_ｂ（ｐ），Ｇ_ｂ（ｐ），Ｂ_ｂ（ｐ）］を対数変換し、得られた対数色信号［ｌｏｇＲ_ｂ（ｐ），ｌｏｇＧ_ｂ（ｐ），ｌｏｇＢ_ｂ（ｐ）］を複合部３００に出力する。
【０２１２】
ステップＳ５３において、複合部３００の輝度生成部３０１は、入力された対数色信号［ｌｏｇＲ_ｂ（ｐ），ｌｏｇＧ_ｂ（ｐ），ｌｏｇＢ_ｂ（ｐ）］の線形和を演算することにより対数輝度ｌｏｇＬ_ｂ（ｐ）を生成し、減算器３０２−Ｒ乃至３０２−Ｂおよびテーブル参照部３０４に出力する。ステップＳ５４において、テーブル参照部３０４は、入力された対数輝度ｌｏｇＬ（ｐ）を、ＬＵＴメモリ３０３に保持されているＬＵＴに基づいて対数輝度ｌｏｇＬ_ｃ’（ｐ）に補正して、乗算器３０５および縮小画像生成部３０６に出力する。
【０２１３】
ステップＳ５５において、縮小画像生成部３０６は、トーンカーブ補正後の１フレーム分の対数輝度ｌｏｇＬｃ’（ｐ）を元に、第１の縮小画像を生成する。ここで、生成された第１の縮小画像に基づき、代表値γ_２が算出される。また、生成された第１の縮小画像に算出された代表値γ_２が乗算されて、第２の縮小画像ｌｏｇＬ_ｃｌが生成される。
【０２１４】
ステップＳ５６において、乗算器３０５は、テーブル参照部３０４から入力された現フレームの対数輝度ｌｏｇＬ_ｃ’（ｐ）に、γ_２メモリ３１０に保持されている１フレーム前の代表値γ_２を乗算して、トーンカーブ補正後の対数輝度ｌｏｇＬ_ｃ（ｐ）を算出する。
【０２１５】
ステップＳ５７において、Ｒ成分については減算器３０２−Ｒ、乗算器３１６−Ｒ、および加算器３１７−Ｒの演算により、トーンカーブ補正後の対数色信号ｌｏｇＲ_ｃ（ｐ）が生成される。Ｇ成分については減算器３０２−Ｇ、乗算器３１６−Ｇ、および加算器３１７−Ｇの演算により、トーンカーブ補正後の対数色信号ｌｏｇＧ_ｃ（ｐ）が生成される。Ｂ成分については減算器３０２−Ｂ、乗算器３１６−Ｂ、および加算器３１７−Ｂの演算により、トーンカーブ補正後の対数色信号ｌｏｇＢ_ｃ（ｐ）が生成される。
【０２１６】
ステップＳ５８において、ゲイン値設定部３１５は、乗算器３１１から入力された前フレームに対する代表値γと、乗算器３０５から入力された現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）に基づいて、現在フレームの対数輝度ｌｏｇＬ_ｃ（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。ステップＳ５９において、補間部３１４は、第２の縮小画像メモリ３１３に保持されている１フレーム前の第２の縮小画像ｌｏｇＬ_ｃｌを用いて、補間位置ｐに対応する画素ｌｏｇＬ_ｃｌ（ｐ）を補間により算出する。
【０２１７】
ステップＳ６０において、Ｒ成分については減算器３１８−Ｒ、乗算器３１９−Ｒ、および加算器３２０−Ｒの演算により、コントラスト補正後の対数色信号ｌｏｇＲ_ｕ（ｐ）が生成される。Ｇ成分については減算器３１８−Ｇ、乗算器３１９−Ｇ、および加算器３２０−Ｇの演算により、コントラスト補正後の対数色信号ｌｏｇＧ_ｕ（ｐ）が生成される。Ｂ成分については減算器３１８−Ｂ、乗算器３１９−Ｂ、および加算器３２０−Ｂの演算により、コントラスト補正後の対数色信号ｌｏｇＢ_ｕ（ｐ）が生成される。
【０２１８】
ステップＳ６１において、対数逆変換部２０８は、コントラスト補正後の対数色信号［ｌｏｇＲ_ｕ（ｐ），ｌｏｇＧ_ｕ（ｐ），ｌｏｇＢ_ｕ（ｐ）］を、対数逆変換して、通常軸の色信号［Ｒ_ｕ（ｐ），Ｇ_ｕ（ｐ），Ｂ_ｕ（ｐ）］を生成し、ガンマ補正部２０９に出力する。ステップＳ６２において、ガンマ補正部２０９は、所定のガンマ補正を行い、得られたガンマ補正後の色信号［Ｒ_ｇ（ｐ），Ｇ_ｇ（ｐ），Ｂ_ｇ（ｐ）］を輝度情報算出部２１０および輝度域正規化部２１２に出力する。
【０２１９】
ステップＳ６３において、輝度域情報算出部２１０の輝度生成部３３１は、ガンマ補正後の色信号［Ｒ_ｇ（ｐ），Ｇ_ｇ（ｐ），Ｂ_ｇ（ｐ）］を元にして輝度Ｙ（ｐ）を生成する。ステップＳ６４において、輝度域情報算出部２１０のＭＩＮソート部３３３およびＭＡＸソート部３３６は、１フレーム分の輝度Ｙ（ｐ）を元にして、輝度域情報［Ｙ_ｄ，Ｙ_ｂ］を生成する。
【０２２０】
ステップＳ６５において、輝度域正規化部２１２は、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙ_ｄ，Ｙ_ｂ］に基づき、ガンマ補正部２０９から入力された色信号［Ｒ_ｇ（ｐ），Ｇ_ｇ（ｐ），Ｂ_ｇ（ｐ）］を正規化して、色信号［Ｒ_ｎ（ｐ），Ｇ_ｎ（ｐ），Ｂ_ｎ（ｐ）］を算出する。ステップＳ６６において、輝度域正規化部２１２は、算出した色信号［Ｒ_ｎ（ｐ），Ｇ_ｎ（ｐ），Ｂ_ｎ（ｐ）］を、階調圧縮された狭ＤＲカラー画像の画素値として出力する。以上で、図２９のステップＳ４３処理の詳細な説明を終了する。
【０２２１】
次に、図２９のステップＳ４４の処理の詳細を、図３１のフローチャートを参照して説明する。ステップＳ７１において、縮小画像生成部３０６は、トーンカーブ補正後の１フレーム分の対数輝度ｌｏｇＬ_ｃ’（ｐ）を元に生成した第１の縮小画像を用いて、第１の縮小画像メモリ３０７に保持されている第１の縮小画像を更新する。
【０２２２】
ステップＳ７２において、除算器３０９は、所定の定数ｌｏｇＬ_Ｔを、平均輝度算出部１６５から入力された平均値μで除算して代表値γ_２を算出し、算出した代表値γ_２を用いて、γ_２メモリ３１０に保持されている代表値γ_２を更新する。
【０２２３】
ステップＳ７３において、乗算器３１２は、ステップＳ７１の処理で更新された第１の縮小画像メモリ３０７に保持されている第１の縮小画像の各画素に、ステップＳ７２の処理で更新されたγ_２メモリ３１０に保持されている代表値γ_２を乗算して、第２の縮小画像ｌｏｇＬ_ｃｌを生成し、第１の縮小画像メモリ３１３に保持されている第２の縮小画像ｌｏｇＬ_ｃｌを更新する。
【０２２４】
ステップＳ７４において、輝度域情報算出部２１０は、１フレーム分の［Ｒ_ｇ（ｐ），Ｇ_ｇ（ｐ），Ｂ_ｇ（ｐ）］を元にして生成した輝度域情報［Ｙ_ｄ，Ｙ_ｂ］を用いて、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙ_ｄ，Ｙ_ｂ］を更新する。以上で、図２９のステップＳ４４の処理の詳細な説明を終了する。
【０２２５】
以上で、ＤＳＰ７の第２の構成例の説明を終了する。
【０２２６】
なお、例えば、図５に示された平均輝度算出部５１、図６に示された平均輝度算出部６３、図１７の平均輝度算出部１６５、図２３に示された平均輝度算出部２３２、図２４に示された平均輝度算出部２４５のそれぞれにおいては、輝度値の平均値を算出するようにしたが、平均値を求める演算に、重み付き平均を用いるようにしてもよい。例えば、画像の中央部分の重みを周辺部分の重みよりも大きくすることによって、画像の中央部分に存在する被写体の反射率に重点をおいた明るさ補正を行うことが可能になる。
【０２２７】
図１７に示された複合部１６０および図２７に示された複合部３００においては、生成された第１の縮小画像を保持するメモリと、生成された第１の縮小画像に代表値γ_２を乗算して生成された第２の縮小画像を保持するメモリが設けられているが、第２の縮小画像が生成された時点で、第１の縮小画像を保持する必要がなくなるので、この２つのメモリを１つにまとめることも可能である。
【０２２８】
本実施の形態のように、本発明を、広ＤＲ画像を撮影し、その階調を圧縮して、狭いダイナミックレンジのディスプレイに表示可能な画像として出力するディジタルビデオカメラに適用すれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で階調圧縮処理を実現でき、かつ、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない出力画像を得ることができるようになる。
【０２２９】
このことによって、いままで実現できなかった高品質、かつ、安価なディジタルビデオカメラを実現することができる。
【０２３０】
なお、本発明は、ディジタルビデオカメラの他、ディジタルスチルカメラのような撮影装置や、画像データを処理するＡＶ装置やソフトウェアに適用することが可能である。
【０２３１】
また、本実施の形態においては、広ＤＲ画像を、ディスプレイ１１を再現デバイスに想定して、階調圧縮処理を施すようにしたが、例えば、ディジタルビデオカメラ１に外部接続するにモニタやプリンタの表現可能なダイナミックレンジに適合させて階調圧縮処理を施すことも可能である。
【０２３２】
ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２３３】
図３２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ３５０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３５１を内蔵している。ＣＰＵ３５１にはバス３５４を介して、入出力インタフェース３５５が接続されている。バス３５４には、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３５２およびＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３５３が接続されている。
【０２３４】
入出力インタフェース３５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部３５６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部３５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部３５８、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部３５９が接続されている。また、磁気ディスク３６１（フレキシブルディスクを含む）、光ディスク３６２（ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）を含む）、光磁気ディスク３６３（ＭＤ（ＭｉｎｉＤｉｓｃ）を含む）、もしくは半導体メモリ３６４などの記録媒体に対してデータを読み書きするドライブ３６０が接続されている。
【０２３５】
ＣＰＵ３５１は、ＲＯＭ３５２に記憶されているプログラム、または磁気ディスク３６１乃至半導体メモリ３６４から読み出されて記憶部３５８にインストールされ、記憶部３５８からＲＡＭ３５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ３５３にはまた、ＣＰＵ３５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２３６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３７】
【発明の効果】
以上のように、本発明によれば、使用するメモリの容量がより小さく、演算量が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるディジタルビデオカメラの構成例を示すブロック図である。
【図２】図１のＤＳＰの第１の構成例を示すブロック図である。
【図３】図２のトーンカーブ補正部の第１の構成例を示すブロック図である。
【図４】トーンカーブの一例を示す図である。
【図５】図２のトーンカーブ補正部の第２の構成例を示すブロック図である。
【図６】図２のトーンカーブ補正部の第３の構成例を示すブロック図である。
【図７】図２の縮小画像生成部の構成例を示すブロック図である。
【図８】図７の平均値計算部の構成例を示すブロック図である。
【図９】図２のコントラスト補正部の構成例を示すブロック図である。
【図１０】図９の補間部の構成例を示すブロック図である。
【図１１】図９の補間部の処理を説明するための図である。
【図１２】図９のゲイン値設定部の構成例を示すブロック図である。
【図１３】図９のコントラスト強調部の構成例を示すブロック図である。
【図１４】図２の輝度域正規化部の処理を説明するための図である。
【図１５】図２の輝度域情報算出部の構成例を示すブロック図である。
【図１６】図２の輝度域正規化部の構成例を示すブロック図である。
【図１７】図２のトーンカーブ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すブロック図である。
【図１８】ＤＳＰの第１の構成例による階調圧縮処理を説明するフローチャートである。
【図１９】図１８のステップＳ１の処理の詳細を説明するフローチャートである。
【図２０】図１８のステップＳ２の処理の詳細を説明するフローチャートである。
【図２１】図１のＤＳＰの第２の構成例を示すブロック図である。
【図２２】図２１のトーンカーブ補正部の第１の構成例を示すブロック図である。
【図２３】図２１のトーンカーブ補正部の第２の構成例を示すブロック図である。
【図２４】図２１のトーンカーブ補正部の第３の構成例を示すブロック図である。
【図２５】図２１の縮小画像生成部の構成例を示すブロック図である。
【図２６】図２１のコントラスト補正部の構成例を示すブロック図である。
【図２７】図２１のトーンカーブ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すブロック図である。
【図２８】図２１の輝度域情報算出部の構成例を示すブロック図である。
【図２９】ＤＳＰの第２の構成例による階調圧縮処理を説明するフローチャートである。
【図３０】図２９のステップＳ４３の処理の詳細を説明するフローチャートである。
【図３１】図２９のステップＳ４４の処理の詳細を説明するフローチャートである。
【図３２】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
７ＤＳＰ，２１対数変換部，２２トーンカーブ補正部，２３縮小画像生成部，２４縮小画像メモリ，２５コントラスト補正部，２６対数逆変換部，２７ガンマ補正部，２８輝度域情報算出部，２９輝度域情報メモリ，３０輝度域正規化部，１６０複合部，２０１デモザイク部，２０２色バランス調整部，２０３対数変換部，２０４トーンカーブ補正部，２０５縮小画像生成部，２０６縮小画像メモリ，２０７コントラスト補正部，２０８対数逆変換部，２０９ガンマ補正部，２１０輝度域情報算出部，２１１輝度域情報メモリ，２１２輝度域正規化部，３００複合部，３５１ＣＰＵ，３６１磁気ディスク，３６２光ディスク，３６３光磁気ディスク，３６４半導体メモリ

Claims

画像の画素値の階調を圧縮する画像処理装置において、
現フレームの画像の画素値を、変換関数に基づいて変換し、トーン変換画像を生成する変換手段と、
前記変換手段によって生成された前記トーン変換画像を縮小して、縮小画像を生成する縮小画像生成手段と、
前記縮小画像生成手段によって生成された前記縮小画像、および前記変換関数の傾きを保持する保持手段と、
前記保持手段によって保持された前記縮小画像、および前記変換関数の傾きに基づき、前記変換手段によって生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正手段と
を含むことを特徴とする画像処理装置。
前記保持手段は、１フレーム前の画像に対応する前記縮小画像、および１フレーム前の画像に適用された前記変換関数の傾きを保持する
ことを特徴とする請求項１に記載の画像処理装置。
前記変換手段は、現フレームの画像の画素値を、１種類以上の前記変換関数を段階的に用いて変換し、
前記補正手段は、前記保持手段によって保持された前記縮小画像、および１種類以上の前記変換関数にそれぞれ対応する傾きの積に基づき、前記変換手段によって生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
前記１種類以上の変換関数のうち、少なくとも１種類の前記変換関数は、単調増加関数である
ことを特徴とする請求項３に記載の画像処理装置。
前記変換手段によって生成された前記トーン変換画像の画素値の平均値を算出する平均値算出手段をさらに含み、
前記１種類以上の変換関数のうち、少なくとも１種類の変換関数の傾きは、前記平均値算出手段によって算出された前記平均値の逆数に比例する
ことを特徴とする請求項３に記載の画像処理装置。
前記平均値算出手段は、前記トーン変換画像を複数のブロックに分割し、各前記ブロックの画素値の平均を算出して重み付け加算した値を、前記平均値として算出する
ことを特徴とする請求項５に記載の画像処理装置。
前記縮小画像生成手段は、前記変換手段によって生成された前記トーン変換画像を縮小して第１の縮小画像を生成し、前記第１の縮小画像の画素値の平均値の逆数に比例する値を前記第１の縮小画像の各画素値に乗算して、第２の縮小画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
前記変換手段に供給される現フレームの前記画像の画素値を対数変換する対数変換手段と、
前記補正手段によって生成された前記コントラスト補正画像の画素値を対数逆変換する対数逆変換手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。
前記補正手段によって生成された前記コントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、
前記ガンマ変換手段によってガンマ変換された前記コントラスト補正画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、
前記輝度域情報算出手段によって算出された前記輝度域情報に基づき、前記ガンマ変換手段によってガンマ変換された前記コントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段と
をさらに含むことを特徴とする請求項１に記載の画像処理装置。
前記輝度域情報算出手段は、前記ガンマ変換手段によってガンマ変換された前記コントラスト補正画像の輝度成分の上限値および下限値を、前記輝度域情報として算出し、
前記正規化手段は、前記輝度域情報算出手段によって算出された前記コントラスト補正画像の輝度成分の上限値および下限値が、それぞれ、想定される再現デバイスが再現可能な輝度成分の範囲の上限値および下限値に一致するように、前記コントラスト補正画像の画素値を変換する
ことを特徴とする請求項９に記載の画像処理装置。
前記保持手段は、前記輝度域情報算出手段によって算出された１フレーム前の前記輝度域情報も保持する
ことを特徴とする請求項９に記載の画像処理装置。
前記画像は、輝度成分を有する画素から構成されたモノクロ画像である
ことを特徴とする請求項１に記載の画像処理装置。
前記画像は、複数の色成分を有する画素から構成されたカラー画像である
ことを特徴とする請求項１に記載の画像処理装置。
前記変換手段は、前記カラー画像を元にして、輝度成分を有する画素から構成された第１の輝度画像を生成し、前記第１の輝度画像をトーン変換輝度画像に変換し、前記トーン変換輝度画像に基づいて、複数の色成分を有する画素から構成されたカラーの前記トーン変換画像を生成する
ことを特徴とする請求項１３に記載の画像処理装置。
前記変換手段は、前記カラー画像の各色成分の値と前記第１の輝度画像の輝度成分の値の差分値を算出し、前記差分値と前記変換関数の傾きとの積を算出し、前記積を前記トーン変換輝度画像の各色成分の値に加算して、前記トーン変換画像の各色成分を算出する
ことを特徴とする請求項１４に記載の画像処理装置。
前記変換手段は、前記第１の輝度画像の輝度成分の平均値を算出し、前記平均値の逆数に比例する係数を算出し、前記係数を前記カラー画像の各色成分の値に乗算して、前記トーン変換画像の各色成分を算出する
ことを特徴とする請求項１４に記載の画像処理装置。
前記補正手段は、前記変換手段によって生成されたカラーの前記トーン変換画像を元にして、輝度成分を有する画素から構成された第２の輝度画像を生成し、前記第２の輝度画像、前記保持手段によって保持された前記縮小画像、および前記変換関数の傾きに基づき、前記変換手段によって生成されたカラーの前記トーン変換画像のコントラストを補正して、カラーの前記コントラスト補正画像を生成する
ことを特徴とする請求項１３に記載の画像処理装置。
前記補正手段によって生成されたカラーの前記コントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、
前記ガンマ変換手段によってガンマ変換されたカラーの前記コントラスト補正画像を元にして、輝度成分を有する画素から構成された第３の輝度画像を生成し、前記第３の輝度画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、
前記輝度域情報算出手段によって算出された前記輝度域情報に基づき、前記ガンマ変換手段によってガンマ変換されたカラーの前記コントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段と
をさらに含むことを特徴とする請求項１３に記載の画像処理装置。
画像の画素値の階調を圧縮する画像処理方法において、
現フレームの画像の画素値を、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、
前記変換ステップの処理で生成された前記トーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、
前記縮小画像生成ステップの処理で生成された前記縮小画像、および前記変換関数の傾きを保持する保持ステップと、
前記保持ステップの処理で保持された前記縮小画像、および前記変換関数の傾きに基づき、前記変換ステップの処理で生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップと
を含むことを特徴とする画像処理方法。
画像の画素値の階調を圧縮するためのプログラムであって、
現フレームの画像の画素値を、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、
前記変換ステップの処理で生成された前記トーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、
前記縮小画像生成ステップの処理で生成された前記縮小画像、および前記変換関数の傾きを保持する保持ステップと、
前記保持ステップの処理で保持された前記縮小画像、および前記変換関数の傾きに基づき、前記変換ステップの処理で生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
画像の画素値の階調を圧縮するためのプログラムであって、
現フレームの画像の画素値を、変換関数に基づいて変換し、トーン変換画像を生成する変換ステップと、
前記変換ステップの処理で生成された前記トーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、
前記縮小画像生成ステップの処理で生成された前記縮小画像、および前記変換関数の傾きを保持する保持ステップと、
前記保持ステップの処理で保持された前記縮小画像、および前記変換関数の傾きに基づき、前記変換ステップの処理で生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。