JP2004015708A

JP2004015708A - 画像信号のダイナミックレンジ制御装置

Info

Publication number: JP2004015708A
Application number: JP2002170024A
Authority: JP
Inventors: Minoru Okuyama; 奥山　実
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-06-11
Filing date: 2002-06-11
Publication date: 2004-01-15

Abstract

【課題】動画像符号化装置において情報量を削減するために帯域通過フィルタをかけると、精細部がつぶれたり、エッジがにじんだりするので、制御がより簡易で、画像の繊細部を欠くことなく、情報量を抑える画像信号のダイナミックレンジ制御装置を提供すること。
【解決手段】動画像入力手段に統計量算出部１、複雑度記憶メモリ２、ダイナミックレンジ調整器３及びダイナミックレンジ制御回路４を設けて、入力画像の複雑度に応じて画像のダイナミックレンジを調整して、情報量を削減する。前記画像信号の複雑度は、水平方向の隣接する画素信号の差分値に基づいて算出したり、１ライン画素信号の平均値と入力画素信号との差分値に基づいて算出する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像の入力画素値のダイナミックレンジを狭くして情報量を削減する画像信号のダイナミックレンジ制御装置に関するものである。
【０００２】
【従来の技術】
動画像の高能率符号化方式として、例えばＭＰＥＧ方式がある。ＭＰＥＧは、ＩＳＯ／ＩＥＣ１１１７２やＩＳＯ／ＩＥＣ１３８１８として規格化されている方式で、量子化スケールコードで量子化の粗さを変化させている。ＭＰＥＧ方式で符号化した動画像のビットストリームを復号する際、量子化が粗く行なわれているため、ブロック歪が目立つことがある。これは符号化時に、目標とする符号量に比べて発生符号量が多くなった場合に、発生符号量を抑えるために粗い量子化を行った場合に起こりうる。
【０００３】
粗い量子化を行わずに発生符号量を抑える従来の方法としては、動画像符号化前に量子化スケールコードの大きさや符号化出力前の符号バッファの占有率などから判定して、入力画素に適応的に低域通過フィルタ（プリフィルタ）を掛ける方法がある。
【０００４】
上記プリフィルタを用いるものとして、例えば特開平６ー２２５２７６号公報に開示されているものは、図７に示すように動画像の符号化器３１の前に、プリフィルタ３２とフィルタ制御回路３３を備える可変プリフィルタ３０を設けるものである。
【０００５】
プリフィルタ３２は、帯域可変のローパスフィルタでありフィルタ制御回路３３より与えられる帯域パラメータＫにより、適応的に特性を変化させ、入力画像に対し、フィルタ処理を行なう。
【０００６】
フィルタ制御回路３３は、図示しない動画像の符号化器より符号化出力レートＩを受けとり、これに基づいて量子化スケールコードＱと帯域パラメータＫを決定する。
【０００７】
尚、前記符号化器３１は、ＤＣＴ回路３４、量子化回路３５、可変長符号化回路３６、逆量子化回路３７、逆ＤＣＴ回路３８、動き補償付き復号画像メモリ３９を有している。
【０００８】
ＤＣＴ回路３４は、符号化器入力信号に対し、ＤＣＴ演算を行う。
【０００９】
量子化回路３５は、ＤＣＴ回路３４で得られた信号に対し、フィルタ制御回路３３で決定された量子化ステップサイズを用いて、量子化を行い、得られた信号を可変長符号化回路３６、および逆量子化回路３７へ送る。
【００１０】
可変長符号化回路３６は、量子化回路３５で量子化された信号に対し、可変長符号などの２進符号を割り当て、伝送路に出力する。
【００１１】
逆量子化回路３７は、量子化回路３５で用いたものと同一の量子化ステップサイズによる逆量子化を行う。
【００１２】
逆ＤＣＴ演算部３８は、ＤＣＴ回路３４で行った変換の逆変換演算を行う。
【００１３】
復号画像メモリ３９は、局部復号された画像信号を蓄える。
【００１４】
【発明が解決しようとする課題】
しかしながら、このようなプリフィルタ３０はローパスフィルタをかけるもので、画像のエッジが損なわれたり、繊細部分がボケることがあり、また動画像の符号化装置のパラメータを使用することから実装が容易でない。
【００１５】
本発明は、前記の問題点を解消するためになされたものであって、制御がより簡易で、画像の繊細部を欠くことなく、情報量を抑える、動画像の符号化器に用いる、画像信号のダイナミックレンジ制御装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、上記の目的を達成するため、次の構成を有する。
本発明は、入力画像の複雑度を計算し、過去複数フィールドの画像の複雑度に応じて、適応的に現フィールドの画素値のダイナミックレンジを変化させて、画像のエッジや繊細部を維持したまま情報量を削減することを特徴とする。
【００１７】
本発明の第１の要旨は、所定入力フィールド分の画像信号の複雑度を算出する複雑度算出手段と、前記複雑度に応じて、画像信号のダイナミックレンジを変化させるダイナミックレンジ調整手段と、を有することを特徴とする画像信号のダイナミックレンジ制御装置にある。
【００１８】
本発明の第１の要旨によれば、複雑度算出手段が所定入力フレーム又はフィールド分の画像信号の複雑度を定量的（例えば、数量、数値）に算出することで、後の符号化器での画像信号の符号化量を判断できる。よって、係る複雑度が高い場合、すなわち符号化量が多くなる合には画像信号のダイナミックレンジを小さくすることで符号化画像情報量を抑えることができる。本発明の要旨によれば、符号化器への画像信号の削除手段として、信号のダイナミックレンジを小さくする手段とするため、画像の繊細部を欠くことなく符号化画像情報量を抑えることができる。
【００１９】
本発明の第２の要旨は、要旨１記載の画像信号のダイナミックレンジ制御装置において、前記画像信号の複雑度は、水平方向の隣接する画素信号の差分値に基づいて算出することにある。
【００２０】
本発明の第２の要旨によれば、画素信号単位で隣接する画素値の変化量を求めることで複雑度が容易に計算できる。
【００２１】
本発明の第３の要旨は、要旨１記載の画像信号のダイナミックレンジ制御装置において、前記画像信号の複雑度は、所定数の画素信号を平均した平均画素信号と入力画素信号との差分値に基づいて算出することにある。
【００２２】
本発明の第３の要旨によれば、所定数の画素信号、例えば１ラインの画素信号の平均画素信号との差異を求めることで複雑度が容易に計算できる。
【００２３】
本発明の第４の要旨は、要旨２乃至３に記載の画像信号のダイナミックレンジ制御装置において、複数フレーム又はフレームの複雑度を記憶するメモリを有し、前記ダイナミックレンジ調整手段は、前記複数フレーム又はフィールドの複雑度に基づいて、前記画像信号のダイナミックレンジを変化させることにある。
【００２４】
本発明の第４の要旨によれば、複数フレーム又はフィールドの複雑度に基づいて複雑度を決定することで、より正確な複雑度を求めることができる。
【００２５】
本発明の第５の要旨は、要旨４記載の画像信号のダイナミックレンジ制御装置において、前記ダイナミックレンジ調整手段は、前記複数フレーム又はフィールドの複雑度に重み付けを行い、前記重み付けは、第２フレーム又はフィールドよりも現入力フレーム又はフィールドに近い第１フレーム又はフィールドの複雑度への第１重みを、前記第２フレーム又はフィールドの複雑度への第２重みよりも大きくすることにある。
【００２６】
本発明の第５の要旨によれば、画像は時間と共に連続的に変化するために、現フレーム又はフィールドに時間的に近いフレーム又はフィールドほど画像自体が類似するため、現フレーム又はフィールドに時間的に近いフレーム又はフィールドの重みを高くし、時間的に遠いフレーム又はフィールドの複雑度の重みを低くすることとで、より現在画像のフレーム又はフィールドの複雑度をより正確に算出できる。
【００２７】
本発明の第６の要旨は、要旨１乃至５記載の画像信号のダイナミックレンジ制御装置において、動画像のビットレートを示す情報を入力して、ビットレートを示す情報に応じて入力画素信号のダイナミックレンジを変化させることにある。
【００２８】
本発明の第６の要旨によれば、ビットレートを示す情報、例えば録音モード等が得られれば、ダイナミックレンジを変化させる必要のないケースを識別できるので、ダイナミックレンジを変化させる必要のない場合にはそのまま符号化器に送ることができるので、画像信号のダイナミックレンジ制御の処理量を適切に減らすことができ、処理の効率化が図れる。
【００２９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
＜第１の実施の形態＞
１画面で表示する２次元画像は、１次元の電気信号として伝達するために（１次元画像に並べ替えため）、従来知られる通り、該画像を垂直方向に走査線数ｎ本で標本化した１フレームで構成する。該１フレームは、走査線数ｎ／２本の２フィールドで構成され、該２フィールドは奇数本目の走査線に相当する奇数フィールドと、偶数本目の走査線に相当する偶数フィールドで構成される。また、１走査線に相当する水平方向の画像を１ラインとし、１フレームはｎラインから構成され、１フィールドはｎ／２ラインより構成される。
【００３０】
本実施形態では、上記走査後の１次元の電気信号の画素値（画素信号）を、順次、以下のダイナミックレンジ制御装置ＤＣを介してダイナミックレンジを制御した後に、符号化器に入力する。
【００３１】
図１は、符号化器３１に対して信号伝達方向上流側に位置するダイナミックレンジ制御装置ＤＣを示している。ダイナミックレンジ制御装置ＤＣは、統計量算出部１、過去複数フィールドの画像の複雑度を記憶させる複雑度記憶メモリ２、ダイナミックレンジ調整器３及びダイナミックレンジ制御回路４を有し、それらにより画像のダイナミックレンジを圧縮するものであり、ダイナミックレンジを圧縮した画像を符号化器３１に送る。
【００３２】
尚、符号化器３１は、画像の符号化を行うものであればよく、本実施形態では前記した動画像の符号化器３１を用い、詳細な説明は省略する。
【００３３】
統計量算出部１では、入力画素のライン毎の所定パラメータ（変数、特質、要素等）に関する統計量を計算する。
【００３４】
例えば、上記所定パラメータとして水平方向に隣接する画素の絶対差分を採り、その統計量として該絶対差分の１ライン分の平均値をとる。水平方向に隣接する画素の絶対差分Ｓの算出式を下記式（１）に示す。尚、式（１）のＰ（Ｘ）は入力画素値である。
【数１】

【００３５】
統計量算出部１では、隣接画素の差分を算出して、１ライン中の７２０画素について７１９個の隣接画素差分を記憶するメモリを有し、メモリに記憶した７１９個の隣接画素差分の平均値をライン平均差分として算出する。
【００３６】
その他の所定パラメータとして、水平方向（１ライン）の全画素の平均値と各画素の絶対差分を採り、その統計量として該絶対差分の１ライン分の合計値（ライン合計差分：以下、「アクィビティ」という）ともできる。アクティビティ（ＡＣＴＩＶＩＴＹ）は、下記式（２）および式（３）により算出される。尚、式（２）、（３）のＰ（Ｘ）は入力画素値である。
【数２】

【００３７】
尚、図１の実施の形態は統計量として隣接差分の１ライン分の平均値やアクティビティ（１ラインの平均値との絶対差分の合計）を算出するものであるが、ライン単位で画素の特徴を表すものであればこれ以外のものでも構わない。
【００３８】
図１の複雑度記憶メモリ２は、統計量算出部１から与えられる１フィールド中の全ラインである２４０個ラインについて前記ライン平均差分又はアクティビティの平均値をフィールド平均差分ＳＢＡＲとして算出する。
【００３９】
フィールドの複雑度は、フィールド平均差分ＳＢＡＲの値によって複数レベルに分類した、例えば、０から３のいずれかの数値、分類記号として表現できる。この分類例の様子を図２に示す。図２ではフィールド平均差分ＳＢＡＲに対して閾値ＴＨＲ１、ＴＨＲ２及びＴＨＲ３を設けて「０」、「１」、「２」、「３」のいずれかに分類し、この値をフィールドの複雑度としている。
【００４０】
例えば、図２ではフィールド平均差分ＳＢＡＲが閾値ＴＨＲ１以上かつ閾値ＴＨＲ２以下なのでフィールドの複雑度は「１」となる。そして複雑度記憶メモリ２はこの複雑度をメモリに記憶する。
【００４１】
上記閾値ＴＨＲ１、ＴＨＲ２及びＴＨＲ３は等間隔でも、そうでなくともよい。また一例として閾値ＴＨＲ１、ＴＨＲ２及びＴＨＲ３の３つを設けたがこれ以外でもよい。
【００４２】
ダイナミックレンジ制御回路４では、複雑度記憶メモリ２で得られた過去複数フィールドの複雑度を示す複雑度信号６からダイナミックレンジ制御信号７を決定する。その際現フィールドに近いフィールドの複雑度に重みが付けられて、ダイナミックレンジ制御信号７が計算される。本実施の形態ではダイナミックレンジ制御信号７は、下記式（４）により算出される。式（４）で「ＣＯＭＰ（Ｎ）」はＮフィールド前の複雑度を示し、「Ｍ（Ｎ）」はＮフィールド前の複雑度に対する重み係数であり、Ｍ（Ｎ）≧Ｍ（Ｎ＋１）、Ｎ＝１〜２０の関係とする。
【数３】

【００４３】
上記式（４）では現フィールドに近いＮフィールド前の複雑度は現フィールドから離れたＮ＋１フィールド前の複雑度より高い重み係数Ｍ（Ｎ）がつけられている。重み係数の総和は１であり、ダイナミックレンジ制御信号７は整数に丸められて０から３のいずれかの値となる。前記Ｎフィールドの数は、任意に設定できるものであり１以上のフィールドであればよい。
【００４４】
ダイナミックレンジ調整器３は、ダイナミックレンジ制御信号７によって入力画素のダイナミックレンジを変更するものである。ダイナミックレンジ調整器３の詳細を図３に示す。図３のダイナミックレンジ調整器３では、ダイナミックレンジ入力信号８を変更した信号が４種類生成され、ダイナミックレンジ制御信号７によって、前記４種類の信号から１つ選択され、ダイナミックレンジ出力信号９として出力される。
【００４５】
図３では、まず減算器２０でダイナミックレンジ入力信号８と画素の中心値１２８の差分が算出され信号１００となる。除算器２１、２２では、信号１００をそれぞれ１／１６、１／８して信号１０１及び１０２を生成する。除算器２３では、信号１００を加算器２３ａで３回加算することで信号１００を３倍した信号をさらに１／１６倍して信号１０３を生成する。
【００４６】
ダイナミックレンジ制御回路４から入力されるダイナミックレンジ制御信号７が複雑度「１」、「２」及び「３」のときは、セレクタ２４により信号１０４としてそれぞれ信号１０１、信号１０２及び信号１０３が選択される。すなわち、ダイナミックレンジ制御信号７が複雑度「１」の時には信号１０１が、制御信号７が複雑度「２」の時には信号１０２が、制御信号７が複雑度「３」の時には信号１０３が、信号１０４となる。
【００４７】
減算器２５では、ダイナミックレンジ入力信号８と信号１０４の差分が算出され信号１０５となる。
【００４８】
セレクタ２６には、ダイナミックレンジ入力信号８と信号１０５とが入力され、ダイナミックレンジ制御信号７が複雑度「０」の時には、ダイナミックレンジ入力信号８をダイナミックレンジ出力信号９として選択出力し、制御信号７が複雑度「１」〜「３」では信号１０５をダイナミックレンジ出力信号９として選択出力される。
【００４９】
以上により、ダイナミックレンジ制御信号７の複雑度「０」、「１」、「２」及び「３」に対応してダイナミックレンジ入力信号８をそれぞれ１倍、１５／１６倍、１４／１６倍及び１３／１６倍したダイナミックレンジ出力信号９が生成され、図示しない符号化器に送られることとなる。
【００５０】
一例として図４にダイナミックレンジ入力信号８を画素の中心値１２８を原点として１４／１６倍する場合（複雑度「２」の場合）を説明する。ダイナミックレンジ入力信号８の範囲は、画素値１６から２４０で中心値は１２８であるものとする。図４の（ａ）にダイナミックレンジ入力信号８が中心値に対して＋の場合と−の場合を示す。
【００５１】
図３の減算器２０でダイナミックレンジ入力信号８と中心値１２８との差分である信号１００が作成される様子を図４の（ｂ）に示す。ダイナミックレンジ入力信号８が中心値に対して−の方向にある場合、ダイナミックレンジ入力信号８と中心値との差分の符号は−になる。
【００５２】
図３の信号１００が除算器２２によって１／８倍され信号１０２として出力される様子を図４の（ｃ）に示す。ここでもダイナミックレンジ入力信号８が中心値に対して−の方向にある場合、信号１０２の符号は−になる。
【００５３】
図３でダイナミックレンジ制御信号７として複雑度「２」が入力され、セレクタ２４によって、信号１０４として前記信号１０２が選択される。減算器２５ではダイナミックレンジ入力信号８と信号１０４の差分である信号１０５が生成される。そしてセレクタ２６によってダイナミックレンジ出力信号９として信号１０５が選択される。これがダイナミックレンジ入力信号８について中心値を原点として１４／１６倍したものでこの様子を図４の（ｄ）に示す。
【００５４】
ダイナミックレンジ入力信号８が中心値に対して＋の方向にある場合、−の方向にある場合ともに図４の（ｄ）で示したダイナミックレンジ出力信号９は、ダイナミックレンジ入力信号８よりも中心値に近い。即ちダイナミックレンジ入力信号８のダイナミックレンジが狭くなって符号化器、例えば従来技術として説明した図７の符号化器３１に入力される。
【００５５】
尚、上記ダイナミックレンジを変更する出力信号９として、ダイナミックレンジ入力信号８の１５／１６倍、１４／１６倍及び１３／１６倍の信号を生成するものを説明したがそれに限定するものではなく、生成信号の数（選択信号の数）や元画素値との倍率はこれに限るものではない。
【００５６】
図５に、元画像信号にプリフィルタをかけた場合（従来の技術）とダイナミックレンジを狭くした場合（本実施形態）の画素値の変化の様子を示す。図５の（ａ）は元画像信号で、急峻なエッジがある場合である。図５の（ｂ）は（ａ）の元画像信号に対して、プリフィルタをかけた場合の信号でプリフィルタによる高帯域カットにより、前記（ａ）における急峻なエッジが損なわれ視覚的にボケたものになる。図５の（ｃ）は（ａ）の元画像信号に対して、ダイナミックレンジを狭くした場合の信号で、画素値が元画像のものに比べ小さくなるだけで、エッジが保存されている。このように、本発明の実施の形態では画像のエッジや繊細部が保存されるため、視覚的な効果は高い。
【００５７】
＜第２の実施の形態＞
図６に本発明の第２の実施の形態のブロック図を示す。本実施形態は、前記第１の実施の形態とダイナミックレンジ制御回路のみが異なり、図６では前記第１の実施の形態の構成と同一部分には同一符号を付し、その説明を省略する。図６においてダイナミックレンジ制御回路１４には過去複数フィールドの複雑度とともにビットレートを示す情報１５が入力される。
【００５８】
ビットレート情報として、例えば通常録画モードか長時間録画モードのいずれかを示す情報があるものとする。長時間録画モードでは、ビットレートを抑えて録画する必要があり、ビットレートを抑えてかつ画質も良好な状態を保持するために、ダイナミックレンジを狭くして情報量を少なくする。逆に、通常録画モードでは情報量を削減する必要はない。ゆえに、長時間録画モードではダイナミックレンジ制御を有効（使用）にして、通常録画モードではダイナミックレンジ制御を無効（不使用）にする。従って、ダイナミックレンジ制御回路１４に長時間録画モード情報が入力された場合には、第１の実施の形態と同様にダイナミックレンジ制御信号７を算出してダイナミックレンジ調整器３に出力し、ダイナミックレンジ制御回路１４に通常録画モード情報が入力された場合にはダイナミックレンジ制御信号７として「０」を出力し、ダイナミックレンジ入力信号８をダイナミックレンジ出力信号９として出力する。
【００５９】
本実施形態によれば、ビットレート情報をも加味することで、不必要なダイナミックレンジ制御を抑えることができ、処理の効率化が図れる。
【００６０】
尚、上記本実施形態では、フィールドの複雑度からダイナミックレンジを変更する説明を行ったが、フレームの複雑度からダイナミックレンジを変更しても同様の作用効果を得ることができる。
【００６１】
【発明の効果】
以上説明した通り、本発明によれば、ダイナミックレンジ制御装置はダイナミックレンジを狭くすることにより画像の情報量を削減するので、動画像符号化器の前段に備え、動画像符号化器に情報量が削減された画像を入力するので、特に低ビットレートでもブロック歪みの少ない符号化を行うことができる。
【００６２】
また情報量の削減はダイナミックレンジを狭くするだけで達成しているので、画像の繊細部が劣化したり、エッジ部のボケが発生したりすることがない。
【００６３】
本ダイナミックレンジ制御装置は動画像符号化器とは完全に独立しているため、実装が極めて容易であるという効果もある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るダイナミックレンジ制御装置の概略ブロック図である。
【図２】フィールドの複雑度を算出する様子を示す説明図である。
【図３】ダイナミックレンジ調整器３の概略ブロック図である。
【図４】ダイナミックレンジ調整器３においてダイナミックレンジ入力信号として中心値を原点として１４／１６倍した場合の信号変化の説明図である。
【図５】元画像信号（ａ）、元画像信号にプリフィルタをかけた場合（ｂ）、元画像信号のダイナミックレンジを狭くした場合（ｃ）を比較的に示す説明図である。
【図６】本発明の第２の実施形態に係るダイナミックレンジ制御装置のブロック図である。
【図７】従来の技術のブロック図である。
【符号の説明】
１　統計算出部
２　複雑度記憶メモリ
３　ダイナミックレンジ調整器
４　ダイナミックレンジ制御回路
５　入力画素
６　過去複数フィールド複雑度
７　ダイナミックレンジ制御信号
８　ダイナミックレンジ入力信号
９　ダイナミックレンジ出力信号
１４　ダイナミックレンジ制御回路
１５　ビットレート情報
２０、２５　減算器
２１、２２、２３　除算器
２４、２６　セレクタ
３１　符号化器

Claims

所定入力フレーム又はフィールド分の画像信号の複雑度を算出する複雑度算出手段と、
前記複雑度に応じて、画像信号のダイナミックレンジを変化させるダイナミックレンジ調整手段と、を有することを特徴とする画像信号のダイナミックレンジ制御装置。
請求項１記載の画像信号のダイナミックレンジ制御装置において、
前記画像信号の複雑度は、水平方向の隣接する画素信号の差分値に基づいて算出することを特徴とする画像信号のダイナミックレンジ制御装置。
請求項１記載の画像信号のダイナミックレンジ制御装置において、
前記画像信号の複雑度は、所定数の画素信号を平均した平均画素信号と入力画素信号との差分値に基づいて算出することを特徴とする画像信号のダイナミックレンジ制御装置。
請求項２乃至３に記載の画像信号のダイナミックレンジ制御装置において、
複数フレーム又はフィールドの複雑度を記憶するメモリを有し、
前記ダイナミックレンジ調整手段は、前記複数フレーム又はフィールドの複雑度に基づいて、前記画像信号のダイナミックレンジを変化させることを特徴とする画像信号のダイナミックレンジ制御装置。
請求項４記載の画像信号のダイナミックレンジ制御装置において、
前記ダイナミックレンジ調整手段は、前記複数フレーム又はフィールドの複雑度に重み付けを行い、
前記重み付けは、第２フレーム又はフィールドよりも現入力フレーム又はフィールドに近い第１フレーム又はフィールドの複雑度への第１重みを、前記第２フレーム又はフィールドの複雑度への第２重みよりも大きくすることを特徴とする画像信号のダイナミックレンジ制御装置。
請求項１乃至５記載の画像信号のダイナミックレンジ制御装置において、
動画像のビットレートを示す情報を入力して、ビットレートを示す情報に応じて入力画素信号のダイナミックレンジを変化させることを特徴とする画像信号のダイナミックレンジ制御装置。