JP2006109490A - 映像のダイナミックレンジの圧縮装置及び映像のダイナミックレンジの圧縮方法 - Google Patents

Abstract

【課題】映像のダイナミックレンジの圧縮装置及び映像のダイナミックレンジの方法を提供する。
【解決手段】周辺画素の周辺情報を、映像の前フレームのアナログピクセルストリームから生成したＳＡＴを利用して多面体ごとに計算し、この計算した周辺情報と所定の加重値とを乗算し、この乗算した結果を加算し、この加算した結果を周辺値として出力する周辺値生成部１２と、対象画素の画素値を周辺値を利用して補正し、この補正した結果を出力する画素値補正部１４とを備える。周辺画素は、対象画素の周辺に位置し、及び前フレームに含まれる。映像に含まれる画素の位置による加重値の分布であるカーネル関数によって表現されるカーネル分布は、多面体の和に近似する。
【選択図】図１

Description

本発明は、カメラ付き携帯電話、デジタルカメラまたはカムコーダのような映像処理装置で行われる映像処理に係り、特に、映像のダイナミックレンジを圧縮する装置及び映像のダイナミックレンジを圧縮する方法に関する。

映像処理装置、例えば、デジタルカメラやカムコーダなどを利用してコントラストの激しい映像を撮影する場合、映像が暗くなり過ぎたり、明るくなり過ぎたりすることがある。すなわち、映像のダイナミックレンジが大きい場合、肉眼で認識した映像が映像処理装置で得た映像と異なることがある。なお、映像のダイナミックレンジとは、映像で最も明るい部分と最も暗い部分との輝度差のことをいう。例えば、明るい窓際に立っている人の姿を、肉眼では区別できていても、カメラで撮ると姿が黒くなることがある。このような問題点を補償するために、Ｅｄｗｉｎ Ｌａｎｄが提案したレチネックス（Ｒｅｔｉｎｅｘ）アルゴリズムを利用することで、肉眼の特性と同様の後処理を行うことができる。しかし、既にデジタルに量子化された映像に、このような後処理を行うと、映像に飽和が発生し、この飽和した部分から量子化エラーが発生するために画質劣化を避けられないという問題点が生じる。

映像処理装置が普及するとともに、デジタル映像についての関心が高まっている。しかし、プロの写真家でない一般人が良質の映像を得るためには、多くの問題がある。室内の明るい窓際に立っている人や物体を撮ったり、逆光状況で撮ったりすると、ほとんど認知不可能な写真が撮れることがある。これは、単にデジタル映像のみの問題でなく、肉眼とカメラとの映像取得の特性に関する差から生じるものである。しかし、幸いにもデジタル映像の場合は、コンピュータなどによる後処理を通じてこのような特性の差をある程度克服できる。

人間は、目で見るだけでなく、目に入った映像情報を大脳皮質で処理した後に解釈する。これは、Ｅｄｗｉｎ Ｌａｎｄの先駆的な研究を通じてレチネックス（Ｒｅｔｉｎｅｘ）という理論で知られている。なお、レチネックスとは、網膜を意味するＲｅｔｉｎａと大脳皮質を意味するＣｏｒｔｅｘとの合成語である。レチネックス理論の核心は、カメラで結ばれる像は、ピクセルごとの物理的な光量により値が決定されるが、目で見る映像は、ピクセル値とその周辺の輝度分布との比率による相対的な値として認識されるというものである。これは、物理的に同じ灰色であっても、黒色の背景に置かれた場合より、白色の背景に置かれた場合のほうが肉眼では更に暗く見えるという現象から容易に理解できる。このレチネックス理論に基づき、ＮＡＳＡの研究員であったＤａｎｉｅｌ Ｊ． Ｊｏｂｓｏｎ、Ｚｉａ−ｕｒＲａｈｍａｎ及びＧｌｅｎｎ Ａ． Ｗｏｏｄｅｌｌらは、各種の関連する実験と改善から、“Ｍｕｌｔｉ Ｓｃａｌｅ Ｒｅｔｉｎｅｘ”理論を発表した。これについては、非特許文献１に開示されている。

このレチネックスフィルタリング手法は、周辺部に広く分散したガウスフィルタの結果を、中央のピクセルの値から減算するものである。ここで、値の比率を求めずに、値の差を求めるのは、視覚のｌｏｇ特性を反映させるためである。つまり、二つの値をＡ及びＢとすると、ｌｏｇ（Ａ／Ｂ）＝ｌｏｇ（Ａ）−ｌｏｇ（Ｂ）の関係を利用したものである。この方法を利用すれば、映像の暗い部分は相対的に明るくなり、明るい部分は相対的に暗くなるという結果が得られる。例えば、最も暗いピクセルと最も明るいピクセルとの範囲が０〜２５５の映像をレチネックス処理すれば、ピクセルの範囲を約４０〜２００に圧縮することができる。このように、ピクセル範囲が０〜２５５の広いダイナミックレンジが約４０〜２００の狭いダイナミックレンジに変化する現象を、ダイナミックレンジ圧縮という。

プリントやディスプレイにおいて、通常、肉眼で感知できるシーンの反射率のサイズ変動は、２０：１から５０：１程度であるのに対して、カメラが認知できるシーンの反射率のサイズ変動、つまり、比率は、２０００：１以上にもなる。このような差により、カメラで撮った映像を８ビットでサンプリングして表示すると、実際に肉眼で見る映像とは異なった映像になってしまう。この問題を解決するためには、レチネックスをアナログ回路として実装するか、あるいは、８ビットの代わりに、１０〜１４ビットの高解像度Ａ／Ｄ変換を行うことで、画質劣化を防止する方法が考えられる。しかし、１０〜１４ビットの高解像度Ａ／Ｄ変換には高性能のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が必要となる。基本的に、レチネックスアルゴリズムは、大がかりな畳み込み演算に基づいているため、演算量が増大し、ピクセル数が増えればそれに比例してさらに演算量も増大する。ハードウェアの発達により、ＤＳＰの性能が向上する一方で、映像の解像度も増加している。したがって、レチネックス処理をＤＳＰに依存する場合、比較的処理時間に制限のないデジタルカメラなどの静止画では有効だが、デジタルカムコーダや近年普及したデジタルビデオカメラなどによる動画撮影のように、リアルタイムな処理や移動性が要求される場合にはより多くの電力を消費することになる。例えば、Ｇｌｅｎｎ Ｈｉｎｅｓらは、１５０ＭＨｚ動作の浮動小数点ＤＳＰを使用して、２５６×２５６グレー映像において毎秒２０フレームの処理を実現している。しかし、同じＤＳＰシステムで一般のＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）級カラー映像を処理するとなれば、処理に必要な計算量が大幅に増大する。また、計算量を減らすために、範囲総和テーブル（Ｓｕｍｍｅｄ Ａｒｅａ Ｔａｂｌｅ：以下、ＳＡＴ）法や、他の最適化法を導入したとしても、センサ特性が変わればシーンの反射率が変動するため、こうした変動への対応が困難になるという問題も生じる。

Ａｎｄｒｅｗ Ｍｏｏｒｅらが提案したＡｎａｌｏｇ−ＶＬＳＩ構造は、Ａ／Ｄ変換に先立って利得を調節することで画質の劣化を防止するものである。しかし、この方式は、対象画素の周辺値を得るためのレジスティブグリッドを映像解像度に近似する比率で作成する必要があるため、量産化において問題がある。加えて、マルチスケールレチネックスのように構造が進化したものになれば実装が難しくなり、対象画素の周辺値を得る方法が一つに限定される。

"Ａ ｒｅａｌ−ｔｉｍｅ ｎｅｕｒａｌ ｓｙｓｔｅｍ ｆｏｒ ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ"， Ａ．Ｍｏｏｒｅ， ｅｔ． Ａｌ,（１９９１）, ＩＥＥＥ Ｔｒａｎｓ． Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， ｖｏｌ.２， ｐ．２３７―２４７

本発明が達成しようとする技術的課題は、畳み込み動作の代りに、乗算及び加算動作のみで映像のダイナミックレンジを圧縮できる映像のダイナミックレンジの圧縮装置を提供するところにある。

本発明が達成しようとする他の技術的課題は、畳み込み動作の代りに、乗算動作及び加算動作のみで映像のダイナミックレンジを圧縮できる映像のダイナミックレンジの圧縮方法を提供するところにある。

上記の課題を達成するための本発明に係る映像のダイナミックレンジの圧縮装置は、周辺画素についての周辺情報を、映像の前フレームのアナログピクセルストリームから生成したＳＡＴを利用して多面体ごとに計算し、この計算した周辺情報と所定の加重値とを乗算し、この乗算した結果を加算し、この加算した結果を周辺値として出力する周辺値生成部と、現フレームのアナログピクセルストリームに含まる、注目する対象画素の画素値を、周辺値を利用して補正し、この周辺値を利用して対象画素の画素値を補正した結果を出力する画素値補正部とから構成され、周辺画素は、対象画素の周辺に位置し、映像の前フレームに含まれることが好ましい。
また、映像に含まれる画素の位置により異なる値を持った加重値の分布であるカーネル関数によって表現されるカーネル分布は、多面体の総和に近似することが好ましい。

他の課題を達成するための本発明に係る映像のダイナミックレンジの圧縮方法は、周辺画素についての周辺情報を、映像の前フレームのアナログピクセルストリームから生成したＳＡＴを利用して多面体ごとに計算し、計算した周辺情報と所定の加重値とを乗算し、この乗算した結果を加算し、この加算した結果を周辺値として決定するステップと、現フレームのアナログピクセルストリームに含まれる注目の対象画素の画素値を、周辺値を利用して補正するステップと、を含み、周辺画素は、注目する対象画素の周辺に位置し、前フレームに含まれることが好ましい。
また、映像に含まれる画素の位置により異なる値を持った加重値の分布であるカーネル関数によって表現されるカーネル分布は、多面体の和に近似することが好ましい。

映像のダイナミックレンジを圧縮する従来の方法では、大がかりな演算を伴う畳み込み動作を行うため、高解像度ＡＤＣと高性能デジタル信号処理部が必要となる。しかし、本発明に係る映像のダイナミックレンジの圧縮装置及び映像のダイナミックレンジの圧縮方法によれば、こうした畳み込み動作を行うことなく、周辺値生成部において、ＳＡＴを生成するための加算動作、周辺情報と加重値とを乗算する乗算動作、及びこの乗算した結果を加算する加算動作を実行し、さらに、付加的動作として、加重値が浮動小数点以下のときにシフト演算動作を実行することで、映像のダイナミックレンジの圧縮を実現するものである。これにより、演算量を低減し、従来よりも電力の消費を低減できるため、持ち運び可能な映像処理装置に好適に実装できる。また、ＳＡＴを利用して周辺情報を求めるため、映像のダイナミックレンジの圧縮の高速化が図れる。さらに、アナログのビットストリームをデジタルへ量子化する前に対象画素の画素値を補正することで、小さかったカラー量子化の差が増幅されてしまうという従来の問題点を解決して、画質の改善を図ることができる。加えて、オフセットと利得を利用して対象画素の画素値を調節するため、映像を感知するセンサ（図示せず）のダイナミックレンジを物理的限界まで活用できる。また、カーネル関数を変更するだけで様々なカーネル分布を得ることができるため、多様な周辺値が得られ、対象画素の画素値を多様に補正することができる。さらに、利得調節部は、単一チップとして実装可能であるため、利得調節部をチップの形で備える従来の自動利得制御（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：ＡＧＣ）装置においても、簡単なチップ交替を行うだけで映像の画素値を補正できるため、従来の映像処理装置をそのまま利用することが可能となる。

以下、図面を参照しつつ、本発明の実施形態に係る映像のダイナミックレンジの圧縮装置の構成と動作、及び本発明の実施形態に係る映像のダイナミックレンジの圧縮方法について説明する。

図1及び図２を参照して、本発明に係る映像のダイナミックレンジの圧縮装置の一実施形態を説明する。
まず、図１は、本発明に係る映像のダイナミックレンジの圧縮装置の一実施形態を示すブロック図である。図１に示す映像のダイナミックレンジの圧縮装置は、利得調節部１０、周辺値生成部１２、画素値補正部１４及び制御部１６から構成される。

図２は、本発明の実施形態に係る映像のダイナミックレンジの圧縮方法を説明するためのフローチャートである。図２に示す映像のダイナミックレンジの圧縮方法は、映像の利得を調節するステップ（Ｓ３０）、周辺値を求めるステップ（Ｓ３２）及び対象画素の画素値を補正するステップ（Ｓ３４）から構成される。

図１に示す利得調節部１０は、映像の輝度により映像の利得を調節し、この調節した利得を反映したアナログピクセルストリームを出力する（ステップＳ３０）。具体的には、利得調節部１０は、映像センサ（図示せず）で映像を感知した結果であるアナログピクセルストリームを、入力端子ＩＮ１を介して外部から入力する。このとき、利得調節部１０は、入力したアナログピクセルストリームから映像の全体輝度を分析し、この分析結果に応じて全体映像の利得を調節し、この利得を調節した結果をアナログピクセルストリームに反映させて、これを出力する。例えば、利得調節部１０は、映像全体が非常に明るい場合は、映像全体がやや暗くなるように映像の利得を調節し、映像全体が非常に暗い場合はやや明るくなるように映像の利得を調節する。

また、図１に示す利得調節部１０は、映像に対してガンマ補償を行ってもよい。

本発明の他の実施形態によれば、図１に示す映像のダイナミックレンジの圧縮装置は、利得調節部１０を備えなくてもよい。この場合には、図２に示す映像のダイナミックレンジの圧縮方法において、ステップＳ３０を設けなくてもよい。このとき、周辺値生成部１２は、入力端子ＩＮ１を介して外部からアナログピクセルストリームを直接入力する。

また、図１に示すように、映像のダイナミックレンジの圧縮装置に利得調節部１０を備える場合は、利得調節部１０、周辺値生成部１２及び画素値補正部１４を、単一チップとして実装してもよい。さらに、制御部１６も単一チップに内蔵してもよい。

以下、本発明の理解を助けるために、便宜上、図１に示す映像のダイナミックレンジの圧縮装置は、利得調節部１０を備えているものとして説明するが、本発明はこれに限定されない。

また、対象画素とは、利得調節部１０から出力する、現フレームのアナログピクセルストリームに含まれる注目の対象画素、すなわち、現在において補正の対象となる画素値を有する画素をいう。周辺画素とは、対象画素の周辺に位置する画素であって、現フレームの前のフレーム、つまり、前フレームに含まれるものである。さらに、周辺画素についての周辺情報とは、後述する多面体における周辺画素の位置（ｘ、ｙ）により表される面積のことであり、加重値とは、映像に含まれる画素の位置により異なる値である。

ステップＳ３０に続いて、周辺値生成部１２は、後記するＳＡＴを使って、周辺画素についての周辺情報を多面体ごとに計算し、この計算した周辺情報と所定の加重値とを乗算し、この乗算した結果を加算し、この加算した結果を周辺値として画素値補正部１４及び制御部１６にそれぞれ出力する（ステップＳ３２）。このとき、周辺値生成部１２は、利得調節部１０から入力した映像の前フレームのアナログピクセルストリームを利用してＳＡＴを生成する。なお、周辺値生成部１２で生成したＳＡＴは、次の式（２）のように表すことができる。

ここで、（ｘ，ｙ）は、前フレームのアナログピクセルストリームに含まれる画素の位置を表し、ｉ（ｘ，ｙ）は、前フレームの画素値を表し、ｓ（ｘ，ｙ）は、前フレームの縦方向に画素値を総和した結果であり、ｉｉ（ｘ，ｙ）は、この縦方向に総和した値をさらに横方向に総和した結果である。ここで、ｙが０ならば、ｓ（ｘ,−１）は０になり、ｘが０ならば、ｉｉ（−１，ｙ）は０になる。このとき、画素値は輝度レベルあるいはグレーレベルであってもよい。

図３は、式（２）を説明するための前フレームを例示する図である。
図３では、ＳＡＴに含まれる値をそれぞれ求めるために、前フレームの左上端から右下端の方向に総和を求める。また、逆に、右下端から左上端の方向に総和を求めてもよい。

図４（ａ）及び図４（ｂ）において、前記のＳＡＴについて説明する。
なお、図４（ａ）及び図４（ｂ）は、図３を実際値を通じて説明したものである。
図４（ａ）は前フレームのアナログピクセルストリームを、また、図４（ｂ）は、このアナログピクセルストリームから生成されたＳＡＴを示す。

図４（ａ）に示すアナログピクセルストリームは、１６個の画素を表し、各画素の画素値は、０〜２^n-1（ｎは画素値を表すビット数値）の範囲で変化するが、ここでは、便宜上、すべて１と仮定する。例えば、図４（ａ）に示すアナログピクセルストリームにおいて破線で囲まれ、符号４０で示した４個の画素値を総和すれば、図４（ｂ）の符号４４で示した数値４となる。これと同様に、図４（ａ）に示すアナログピクセルストリームにおいて破線で囲まれ、符号４２で示した９個の画素値を総和すれば、図４（ｂ）に示すように、符号４６で示した数値９となる。このような方式により、周辺値生成部１２は、利得調節部１０から入力した図４（ａ）に示す前フレームのアナログピクセルストリームを、図４（ｂ）に示すＳＡＴに変換する。

利得調節部１０から出力されるアナログピクセルストリームは、図４（ａ）に示すように、左上端から右下端へ向かって順次に周辺値生成部１２に入力される。このとき、周辺値生成部１２では、利得調節部１０から入力したアナログピクセルストリームをデジタルに変換し、このデジタル変換したビットストリームを行単位で累積する。累積した行の総和結果を直上の行の総和結果に加算することで、ＳＡＴを生成する。

上記のＳＡＴは、従来の映像のダイナミックレンジを圧縮する方法において畳み込み動作で得られる結果に代わるものであって、グラフィック分野でテクスチャマッピングを行う際のアンチエイリアシングのために開発されたテーブルである。

本発明に係るカーネル分布とは、カーネル関数により表現され、映像における画素の位置によりそれぞれ異なる値を持った加重値の分布であって、多面体の総和に近似するものである。このとき、多面体は、カーネル分布と多面体の総和とが大きくかけ離れることなく、互いに近似するように決定される。

また、本発明に係る各多面体は、面積と高さとを有する直六面体または正六面体などであってもよい。カーネル関数については、“Ｐｒｏｐｅｒｔｉｅｓ ａｎｄ Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ａ Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ”， Ｄａｎｉｅｌ Ｊ．Ｊｏｂｓｏｎ， ｅｔ． Ａｌ, ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ， ＶＯＬ.６， ＮＯ.３， １９９７ ｐ．４５１―４６２に開示されている。

さらに、本発明の理解を助けるために、カーネル関数はガウス関数であり、カーネル分布はガウス分布であり、多面体は直六面体であると仮定する。

図５は、２次元円形ガウス分布５０を多面体で例示した図である。図５における（ｘ，ｙ）、は多面体についての画素の位置を表し、ｚ軸は加重値を表す。

例えば、ガウス分布は、図５に示すように、４個の直六面体６０、６２、６４、６６の総和に近似すると仮定する。ここで、周辺値生成部１２は、直六面体６０についての周辺情報である画素の位置（ｘ₁，ｙ₁）で表される面積と所定の加重値ａとを、直六面体６２についての周辺情報である画素の位置（ｘ₂，ｙ₂）で表される面積と所定の加重値ｂとを、直六面体６４についての周辺情報である画素の位置（ｘ₃，ｙ₃）で表される面積と所定の加重値ｃとを、直六面体６６についての周辺情報である（ｘ₄，ｙ₄）で表される面積と所定の加重値ｄとを、それぞれ乗算する。なお、所定の加重値ａ、ｂ、ｃ、ｄは、あらかじめ実験により決定されたものである。具体的には、カーネル分布と多面体の総和との誤差が最小化されるように、所定の加重値ａ、ｂ、ｃ、ｄをあらかじめ決定する。本実施形態によれば、所定の加重値ａ、ｂ、ｃ、ｄは、小数点以下の値を含んでいてもよい。この場合、所定の加重値と周辺情報との乗算演算は、シフト演算により行なってもよい。

次いで、周辺値生成部１２は、上記の乗算した結果を加算し、この加算した結果を周辺値として出力する。ここで、図５に示すように、所定の加重値ａ、ｂ、ｃ、ｄは、直六面体６０、６２、６４、６６の高さに相当することが分かる。

なお、前記した直六面体６０、６２、６４、６６のそれぞれに含まれる周辺画素についての周辺情報は、多面体の面積に含まれる周辺画素の画素値の総和をＳＡＴを利用して得た結果であってもよい。
以下、図６を参照しつつ、ＳＡＴを利用して得た多面体についての周辺情報について説明する。

図６は、ＳＡＴを利用して、任意の領域に含まれる画素値の総和を求める方法を例示的に説明する図である。図６は、任意の領域をＳＡＴに当てはめたものであり、領域Ａ、領域Ｂ、領域Ｃ及び領域Ｄから構成される。

図６の領域Ｄは、図５に示す直六面体６０、６２、６４、６６それぞれについての、画素の位置（ｘ、ｙ）により形成される面積であってもよい。例えば、図５に示す直六面体６６の面積は、斜線で表示される面積６８に該当する。ここで、多面体の面積を前記のＳＡＴに当てはめて求めると、図６に示す領域をＳＡＴで表すならば、図６の点１における値ｉｉ（１）は、領域Ａに含まれる画素の画素値の総和であり、点２における値ｉｉ（２）は、領域Ａと領域Ｂとに含まれる画素の画素値の総和であり、点３における値ｉｉ（３）は、領域Ａと領域Ｃとに含まれる画素の画素値の総和であり、点４における値ｉｉ（４）は、領域Ａ、領域Ｂ、領域Ｃ及び領域Ｄに含まれる画素の画素値の総和である。

例えば、周辺画素が領域Ｄに限定して含まれているとすると、この領域Ｄに含まれる画素の画素値の総和（ΔＤ）が、図５に示す多面体での周辺情報となる。図６に示す領域Ｄに含まれる画素の画素値の総和を、下の式（３）のように求めることができる。

ここで、点４における値ｉｉ（４）、点３における値ｉｉ（３）、点２における値ｉｉ（２）及び点１における値ｉｉ（１）は、それぞれ下の式（４）のように求めることができる。

図７は、図１に示した周辺値生成部の好ましい実施形態を示すブロック図である。図７に示す周辺値生成部１２ａは、アナログ／デジタル変換部（以下、ＡＤＣ）８０、テーブル生成部８２及び周辺値演算部８４から構成される。

ＡＤＣ８０は、入力端子ＩＮ２を介して利得調節部１０から入力した前フレームのアナログピクセルストリームをデジタルに変換し、デジタル変換した結果をデジタルピクセルストリームとしてテーブル生成部８２に出力する。ここで、ＡＤＣ８０は、低解像度の分解能であっても図１に示す映像のダイナミックレンジの圧縮装置の性能には影響しないため、高解像度の分解能である必要はない。これは、図７の周辺値生成部１２ａが、現フレームに含まれる対象画素の画素値を補正するのに周辺値を求めるためのものであり、前フレームの概略的な情報を求めるだけでよいからである。したがって、ＡＤＣ８０の解像度は、例えば、約４ビットもあれば充分である。

ここで、テーブル生成部８２は、デジタルピクセルストリームをＳＡＴに変換し、変換したＳＡＴを周辺値演算部８４に出力する。
周辺値演算部８４は、テーブル生成部８２で生成したＳＡＴを利用して、六直面体ごとに上記の通りの計算を行って周辺情報を求め、この計算した周辺情報と所定の加重値とをそれぞれ乗算し、この六直面体ごとに周辺情報と所定の加重値とを乗算した結果をそれぞれ加算し、この六直面体を加算した結果を周辺値として出力端子ＯＵＴ２を介して出力する。

図８は、図７に示した周辺値演算部の一例を示すブロック図である。図８における周辺値演算部８４ａは、第１バッファ９０及び第２バッファ９２、テーブル選択部９４、及び計算部９６から構成される。

図８に示す第１バッファ９０及び第２バッファ９２は、図７のテーブル生成部８２で生成したＳＡＴをダブルバッファリングする。ここで、ダブルバッファリングとは、テーブル生成部８２と計算部９６との間で発生するデータバス問題を解消するために、テーブル生成部８２で生成したＳＡＴを第１バッファ９０及び第２バッファ９２へ交互に保存することである。つまり、テーブル生成部８２で生成したＳＡＴは、入力端子ＩＮ５を介して第１バッファ９０に入力されるか、あるいは、入力端子ＩＮ６を介して第２バッファ９２に入力されるか、のどちらかである。具体的には、図７のテーブル生成部８２は、入力端子ＩＮ３を介して制御部１６から入力された書き込み制御信号２０に応答して、生成したＳＡＴを第１バッファ９０あるいは第２バッファ９２のどちらかに書き込む。このときに、図１に示す制御部１６は、書き込み制御信号２０を発生させ、これをテーブル生成部８２へ出力する。

なお、図８に示す第１バッファ９０及び第２バッファ９２のサイズは、映像の解像度によって変化する。

次に、テーブル選択部９４は、第１バッファ９０と第２バッファ９２に保存しているＳＡＴのいずれかを選択制御信号に応答して選択し、これを読み出し、読み出した結果を計算部９６に出力する。この場合、テーブル選択部９４は、例えば、第１バッファ９０と第２バッファ９２に保存しているＳＡＴをそれぞれ交互に選択してもよい。さらに、図８のテーブル選択部９４は、入力端子ＩＮ７を介して制御部１６から選択制御信号を入力する。つまり、図７の周辺値演算部８４は、入力端子ＩＮ４を介して制御部１６から選択制御信号を入力することになる。このとき、図１の制御部１６は、選択制御信号２０を発生させ、周辺値生成部１２へ出力する。

次に、計算部９６は、テーブル選択部９４で選択したＳＡＴを利用して、各多面体についての周辺情報を計算し、この計算した周辺情報と所定の加重値とを乗算し、この乗算した結果を加算して周辺値として出力端子ＯＵＴ３を介して出力する。

なお、上記のダブルバッファリングは、図１に示す映像のダイナミックレンジの圧縮装置に備えられた制御部１６により行われるが、この場合、制御部１６を複数設けることもできる。この制御部１６は、書き込み制御信号及び選択制御信号２０を使ってダブルバッファリングを制御する。

一方、ステップＳ３２の後に、図１に示す画素値補正部１４は、利得調節部１０から入力した対象画素の画素値を、周辺値生成部１２から入力した周辺値を利用して補正し、この補正した対象画素の画素値の結果を出力端子ＯＵＴ１を介して出力する（ステップＳ３４）。この画素値補正部１４から出力した対象画素の補正画素値からなるストリームは、従来のレチネックスフィルタリングにより得られる映像ストリームに該当する。このとき、画素値補正部１４で補正した対象画素の画素値の結果をデジタルに量子化する。画素値補正部１４で量子化した対象画素の補正画素値の解像度は、図７のＡＤＣ８０の解像度より高くてもよい。

制御部１６は、上述の通りのダブルバッファリングを制御する役割を担うだけでなく、補正制御信号、オフセット、及び利得のうち、少なくともいずれかを発生させて画素値補正部１４に出力する役割も担う。なお、制御部１６は、オフセット及び利得を出力するために、オフセット及び利得を保存する機能を有していてもよい。また、オフセット及び利得を制御部１６以外の外部から提供することもできる。この場合、画素値補正部１４は、制御部１６から入力した補正制御信号に応答して対象画素の画素値を補正し、また、制御部１６から入力したオフセット及び利得に応答して対象画素の画素値のオフセット及び利得をそれぞれ調節する。

本発明によれば、制御部１６は、図７に示す周辺値生成部１２ａの周辺値演算部８４から入力したデジタルの周辺値をアナログに変換し、このアナログ変換した結果２２（図１参照）を画素値補正部１４に出力するためのデジタル／アナログ変換部（以下、ＤＡＣ）１８を設けてもよい。ＤＡＣ１８は、前記の文献“Ｐｒｏｐｅｒｔｉｅｓ ａｎｄ Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ａ Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ”，に開示された下の式（５）の部分に示されるような、ｌｏｇ特性を備えるように設計してもよい。

ここで、F(x,y)/I_i(x,y)は、デジタルの対象画素Ｆ（ｘ，ｙ）とデジタルの周辺値I_i（ｘ，ｙ）との比率を表す。画素値補正部１４は、周辺値生成部１２の代りに、ＤＡＣ１８から入力したアナログの周辺値を利用して対象画素の画素値を補正する。

このとき、利得やオフセットは、保存先の制御部１６から、あるいは、制御部１６以外の外部から提供されると、ＤＡＣ１８でアナログに変換して画素値補正部１４へ提供することも可能である。

図９は、図１に示す画素値補正部の一例を示すブロック図である。図９に示す画素値補正部１４は、経路選択部１１０、周辺値反映部１１２、オフセット加算部１１４及び利得乗算部１１６から構成される。

次に、図１０（ａ）、図１０（ｂ）、図１０（ｃ）は、図９に示す画素値補正部についての変形例を示すブロック図である。
まず、図１０（ａ）に示す画素値補正部１４ａは、周辺値反映部１１２ａのみで構成されていてもよい。図１０（ａ）に示す周辺値反映部１１２ａは、入力端子ＩＮ８を介して利得調節部１０から入力した対象画素の画素値に、入力端子ＩＮ９を介して周辺値生成部１２から入力した周辺値を反映させ、この周辺値を反映した対象画素の画素値の結果をＯＵＴ５へ出力する。結果的に、対象画素の画素値についての補正値は、この周辺値反映部１１２ａで反映した結果に該当する。

ここで、図１１（ａ）は、図９に示す周辺値反映部の一例を示すブロック図である。図１１（ａ）に示す周辺値反映部１１２ｄはｌｏｇ増幅部１３０及び差計算部１３２から構成される。

ｌｏｇ増幅部１３０は、利得調節部１０から入力端子ＩＮ１３を介して入力した対象画素の画素値をｌｏｇ増幅し、ｌｏｇ増幅した結果を差計算部１３２に出力する。ここで、ｌｏｇ増幅とは、増幅比率が線形ではなく、ｌｏｇ型に増幅することである。このとき、差計算部１３２は、ｌｏｇ増幅部１３０から入力したｌｏｇ増幅の結果と、周辺値生成部１２から入力端子ＩＮ１４を介して入力した周辺値との差を計算し、この計算した差を出力端子ＯＵＴ６へ出力する。結果的に、対象画素の画素値についての補正値は、この差計算部１３２で計算した差に該当する。

さらに、図１１（ｂ）は、図９に示す周辺値反映部の他の一例を示すブロック図である。図１１（ｂ）に示す周辺値反映部１１２ｅは、除算部１４０で構成される。
除算部１４０は、利得調節部１０から入力端子ＩＮ１５を介して入力した対象画素の画素値を、周辺値生成部１２から入力端子ＩＮ１６を介して入力した周辺値で除算し、この除算した結果を、対象画素の画素値の補正結果として出力端子ＯＵＴ７へ出力する。結果的に、対象画素の画素値についての補正値は、この除算部１４０で除算した結果に該当する。

図１０に戻って、図９に示す画素値補正部の他の変形例についての説明を続ける。
図１０（ｂ）に示す画素値補正部１４ｂは、図１０（ａ）に示す画素値補正部１４ａの構成に、更に、経路選択部１１０ｂを備える。この場合、図１０（ｂ）に示す経路選択部１１０ｂは、制御部１６から入力端子ＩＮ１０を介して入力した補正制御信号に応答して、対象画素の画素値を出力端子ＯＵＴ４へそのまま出力するか、あるいは周辺値反映部１１２ｂへ出力する。例えば、制御部１６は、対象画素の補正についてのユーザの要求に応じて補正制御信号を発生させ、この補正制御信号をＩＮ１０を介して経路選択部１１０ｂへ出力する。ここで、経路選択部１１０ｂは、この補正制御信号により、ユーザが対象画素の画素値の補正を要求していることを認識すると、利得調節部１０から入力端子ＩＮ８を介して入力した対象画素の画素値を周辺値反映部１１２ｂへ出力する。したがって、周辺値反映部１１２ｂは、対象画素の画素値を入力端子ＩＮ８から直接入力する代わりに、経路選択部１１０ｂを介して入力することになる。しかし、経路選択部１１０ｂは、この補正制御信号を通じて、ユーザが対象画素の画素値の補正を要求していないと認識すると、入力端子ＩＮ８を介して入力した対象画素の画素値を周辺値反映部１１２ｂに経由させることなく出力端子ＯＵＴ４へ出力する。

図１０ｃは、図９に示す画素値補正部のさらに他の変形例である。図１０ｃに示す画素値補正部１４ｃは、図１０（ｂ）に示す画素値補正部１４ｂの構成に、更に、オフセット加算部１１４ｃ及び利得乗算部１１６ｃを備える。なお、画素値補正部１４ｃはオフセット加算部１１４ｃまたは利得乗算部１１６ｃのいずれかのみを備える構成であってもよい。

図１０（ｃ）に示すオフセット加算部１１４ｃは、対象画素の画素値に周辺値を反映した結果を周辺値反映部１１２ｃから入力し、この周辺値を反映した結果を、入力端子ＩＮ１１を介して制御部１６から入力したオフセットに加算し、この加算した結果を利得乗算部１１６ｃへ出力する。利得乗算部１１６ｃは、オフセット加算部１１４ｃで加算した結果に、制御部１６から入力端子ＩＮ１２を介して入力した利得を乗算し、この利得を乗算した結果を出力端子ＯＵＴ５へ出力する。このとき、対象画素の画素値についての補正値は、この利得乗算部１１６ｃで乗算した結果に該当する。このように、オフセットを調節することで、対象画素の画素値の直流レベルを調整し、これにより、利得の調節が行われる。このため、対象画素の画素値の最大値あるいは最小値を調節することができる。こうして、オフセットと利得とを利用することで、対象画素の画素値の輝度及びコントラストを調節することが可能となる。

また、例えば、オフセットが０であり、利得が１である場合には、周辺値反映部１１２ｃにて周辺値を反映させ、この周辺値を反映させた値を対象画素の画素値の補正値として、そのまま出力端子ＯＵＴ５へ出力する。このように、オフセット加算部１１４ｃと利得乗算部１１６ｃとを備えていても、対象画素の画素値のオフセット及び利得を調節しない場合があってもよい。

前述の通り、本発明に係る映像のダイナミックレンジの圧縮装置及びダイナミックレンジの圧縮方法では、現フレームに含まれる対象画素の画素値の補正を、前フレームに含まれる周辺画素についての周辺情報を利用して行った。本発明に係る映像のダイナミックレンジの圧縮装置及びダイナミックレンジの圧縮方法によれば、映像を構成するフレーム間での映像の差が小さいほど、対象画素の画素値をより良好に補正できる。例えば、映像のフレーム間の時間間隔は、１／３０秒であるため、動きが高速な場合を除いて、フレーム間の映像差は小さいと考えられる。

また、本発明に係るダイナミックレンジの圧縮装置及びダイナミックレンジの圧縮方法は、スペクトルバンドごとに複数使用することが可能である。例えば、映像が、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）及びＢ（Ｂｌｕｅ）の画素で表現される場合、図１に示すダイナミックレンジの圧縮装置は、Ｒ、Ｇ及びＢそれぞれを処理するために３つ備えることも可能である。

本発明は、カメラ携帯電話、デジタルカメラやカムコーダのような映像処理装置に関連した技術分野に好適に適用可能である。

本発明に係る映像のダイナミックレンジの圧縮装置の一実施形態を示すブロック図である。 本発明に係る映像のダイナミックレンジの圧縮方法を説明するためのフローチャートである。 式（２）を説明するための前フレームを例示する図である。 （ａ）は、アナログピクセルストリームから生成されるＳＡＴを例示する図であり、（ｂ）は、アナログピクセルストリームから生成されるＳＡＴを例示する図である。 ２次元円形のガウス分布を多面体で例示した図である。 ＳＡＴを利用して任意の領域に含まれる画素値の総和を求める方法を例示する図である。 図１の周辺値生成部の好ましい実施形態である周辺値生成部１２ａを示すブロック図である。 図７における周辺値演算部の一例を示すブロック図である。 図１における画素値補正部の一例を示すブロック図である。 （ａ）は、図９における画素値補正部の一変形例を示すブロック図であり、（ｂ）は、図９における画素値補正部の他の変形例を示すブロック図であり、（ｃ）は、図９における画素値補正部のさらに他の変形例を示すブロック図である。 （ａ）は、図９における周辺値反映部の一例を示すブロック図であり、（ｂ）は、図９における周辺値反映部の他の一例を示すブロック図である。

符号の説明

１０ 利得調節部
１２ 周辺値生成部
１４ 画素値補正部
１６ 制御部
１８ ＤＡＣ
２０ 書き込み制御信号及び選択制御信号
２２ デジタルの周辺値をアナログへ変換した結果

Claims (16)

1. 注目する対象画素の周辺に位置し、映像の前フレームに含まれる周辺画素についての周辺情報を、前記映像の前フレームのアナログピクセルストリームから生成した範囲総和テーブルを利用して多面体ごとに計算し、この計算した周辺情報と所定の加重値とを乗算し、この乗算した結果を加算し、この加算した結果を周辺値として出力する周辺値生成部と、
   現フレームのアナログピクセルストリームに含まれる、前記対象画素の画素値を、前記周辺値を利用して補正し、この周辺値を利用して前記対象画素の画素値を補正した結果を出力する画素値補正部と、を備え、
   映像に含まれる画素の位置により異なる値を有する加重値の分布であるカーネル関数によって表現されるカーネル分布は、前記多面体の総和に近似することを特徴とする映像のダイナミックレンジの圧縮装置。
2. 前記映像の輝度により前記映像の利得を調節し、この調節した利得を反映したアナログピクセルストリームを出力する利得調節部を更に備えることを特徴とする請求項１に記載の映像のダイナミックレンジの圧縮装置。
3. 前記利得調節部、前記周辺値生成部及び前記画素値補正部は、単一チップとして実装されることを特徴とする請求項２に記載の映像のダイナミックレンジの圧縮装置。
4. 前記範囲総和テーブルは、式（１）の通りに表現されることを特徴とする請求項１に記載の映像のダイナミックレンジの圧縮装置。
   

   

   ここで、（ｘ，ｙ）は、前記前フレームの前記アナログピクセルストリームにより生成された一般テーブルに含まれる画素の位置を表し、ｉ（ｘ，ｙ）は、前フレームの画素値を表し、ｓ（ｘ，ｙ）は、前記前フレームの縦方向に画素値を総和した結果であり、ｉｉ（ｘ，ｙ）は、この縦方向に総和した値を、横方向に総和した結果であり、ｓ（ｘ,−１）とｉｉ（−１，ｙ）は０に該当する。
5. 前記周辺値生成部は、
   前記前フレームのアナログピクセルストリームをデジタルに変換し、このデジタル変換した結果をデジタルピクセルストリームとして出力するアナログ／デジタル変換部と、
   前記デジタルピクセルストリームを前記範囲総和テーブルに変換するテーブル生成部と、
   前記生成した範囲総和テーブルを利用して、前記周辺情報を前記多面体ごとに計算し、この計算した周辺情報と前記所定の加重値とを乗算し、この乗算した結果を加算し、この加算した結果を前記周辺値として出力する周辺値演算部と、
   を備えることを特徴とする請求項１に記載の映像のダイナミックレンジの圧縮装置。
6. 補正制御信号、オフセット及び利得のうち、少なくとも１つを発生する制御部を更に備え、
   前記画素値補正部は、前記対象画素の画素値を、前記補正制御信号に応答して補正し、前記オフセット及び前記利得に応答して、前記対象画素の画素値のオフセット及び利得をそれぞれ調節することを特徴とする請求項５に記載の映像のダイナミックレンジの圧縮装置。
7. 前記制御部は、
   前記周辺値演算部から入力した前記デジタルの周辺値をアナログに変換し、このアナログ変換した周辺値の結果を前記画素値補正部に出力するデジタル／アナログ変換器を備え、
   前記画素値補正部は、前記デジタル／アナログ変換部から入力したアナログの周辺値を利用して、前記対象画素の画素値を補正することを特徴とする請求項６に記載の映像のダイナミックレンジの圧縮装置。
8. 前記画素値補正部で補正した前記対象画素の画素値の結果を、デジタルの信号に量子化することを特徴とする請求項７に記載の映像のダイナミックレンジの圧縮装置。
9. 前記周辺値演算部は、
   前記生成した範囲総和テーブルをダブルバッファリングする第１バッファ及び第２バッファと、
   前記第１バッファ及び前記第２バッファに保存した範囲総和テーブルのいずれか１つを選択制御信号に応答して選択的に読み出すテーブル選択部と、
   前記テーブル選択部で選択した前記範囲総和テーブルを利用して、前記多面体ごとの前記周辺情報を計算し、この計算した周辺情報と前記所定の加重値とを乗算し、この乗算した結果を加算し、この加算した結果を前記周辺値として出力する計算部と、を備え、
   前記テーブル生成部は、前記生成した範囲総和テーブルを、書き込み制御信号に応答して前記第１バッファ及び前記第２バッファのいずれかに書き込ませ、このとき、前記制御部は、前記書き込み制御信号及び前記選択制御信号を発生することを特徴とする請求項６に記載の映像のダイナミックレンジの圧縮装置。
10. 前記画素値補正部は、
    前記対象画素の画素値に前記周辺値を反映する周辺値反映部を備え、
    前記対象画素の画素値を補正した結果は、前記周辺値反映部で前記対象画素の画素値に前記周辺値を反映させた結果に該当することを特徴とする請求項６に記載の映像のダイナミックレンジの圧縮装置。
11. 前記周辺値反映部は、
    前記対象画素の画素値をｌｏｇ増幅するｌｏｇ増幅部と、
    前記ｌｏｇ増幅した対象画素の画素値の結果と前記周辺値との差を計算する差計算部と、を備え、
    前記対象画素の画素値を補正した結果は、前記差計算部で計算した前記ｌｏｇ増幅した対象画素の画素値の結果と前記周辺値との差に該当することを特徴とする請求項１０に記載の映像のダイナミックレンジの圧縮装置。
12. 前記周辺値反映部は、
    前記対象画素の画素値を前記周辺値で除算する除算部を備え、
    前記対象画素の画素値を補正した結果は、前記除算部で前記対象画素の画素値を前記周辺値で除算した結果に該当することを特徴とする請求項１０に記載の映像のダイナミックレンジの圧縮装置。
13. 前記画素値補正部は、更に経路選択部を備え、
    前記補正制御信号に応答して、前記対象画素の画素値を、そのまま出力させるか、あるいは、前記経路選択部を介して前記周辺値反映部へ出力することを特徴とする請求項１０に記載の映像のダイナミックレンジの圧縮装置。
14. 前記画素値補正部は、
    前記周辺値反映部で前記対象画素の画素値に前記周辺値を反映した結果と、前記オフセットとを加算し、この加算した結果を出力するオフセット加算部と、
    前記オフセット加算部で加算した結果に前記利得を乗算する利得乗算部と、を備え、
    前記対象画素の画素値を補正した結果は、前記利得乗算部で乗算した結果に該当することを特徴とする請求項１０に記載の映像のダイナミックレンジの圧縮装置。
15. 前記多面体はそれぞれ、面積と高さとを有する六面体であって、前記多面体のそれぞれに含まれる前記周辺画素についての周辺情報は、前記面積に属する周辺画素の画素値の総和を、前記範囲総和テーブルを利用して生成した結果であり、前記加重値とは、前記多面体の各高さに該当することを特徴とする請求項１に記載の映像のダイナミックレンジの圧縮装置。
16. 周辺画素についての周辺情報を、映像の前フレームのアナログピクセルストリームから生成した範囲総和テーブルを利用して多面体ごとに計算し、計算した周辺情報と所定の加重値とを乗算し、この乗算した結果を加算し、この加算した結果を周辺値として決定するステップと、
    現フレームのアナログピクセルストリームに含まれる注目の対象画素の画素値を、前記周辺値を利用して補正するステップと、を含み、
    前記周辺画素は、前記対象画素の周辺に位置し、前記前フレームに含まれ、
    前記映像に含まれる画素の位置によって異なる値を有する加重値の分布であるカーネル関数によって表現されるカーネル分布は、前記多面体の和に近似することを特徴とする映像のダイナミックレンジの圧縮方法。

Images