JP2005039321A

JP2005039321A - Flicker reduction quantizer, flicker reduction quantization method, and program therefor

Info

Publication number: JP2005039321A
Application number: JP2003197008A
Authority: JP
Inventors: Kazuhisa Iguchi; 和久井口; Masahide Naemura; 昌秀苗村; Shinichi Sakaida; 慎一境田; Makoto Ikeda; 誠池田; Montiero Daniele; モンティエロダニエル
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-07-15
Filing date: 2003-07-15
Publication date: 2005-02-10
Anticipated expiration: 2023-07-15
Also published as: JP4185413B2

Abstract

<P>PROBLEM TO BE SOLVED: To reduce flicker due to a quantization processing caused by encoding an image with high accuracy. <P>SOLUTION: The flicker reduction quantizer for reducing the occurrence of flicker caused by decoding a moving picture encoded by quantization includes: a quantization section for quantizing a first frame included in an input signal; a comparison section for comparing the input signal with a preset threshold value; and a selection section for selecting the output signal of the quantization section for quantizing the first frame or the output signal of the quantization section for quantizing the frame just before the first frame in order to solve the task above. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラムに係り、特に動画像符号化において、フレーム単位で動画像を符号化する際の量子化処理に起因するフリッカを低減させるためのフリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラムに関する。
【０００２】
【従来の技術】
従来、映像の伝送や、デジタルスチルカメラ等で撮影した動画像の保存、動画像の編集装置で映像を保存するための圧縮符号化方式等は多数開発されており、例えば、ＭｏｔｉｏｎＪＰＥＧ方式や、ＭＰＥＧ−４方式、ＪＶＴ方式（Ｈ．２６４、ＭＰＥＧ−４ｐａｒｔ１０、又はＡＶＣと呼ばれることもある）等がある。
【０００３】
ところで、ＭｏｔｉｏｎＪＰＥＧ方式と、ＭＰＥＧ−４方式及びＪＶＴ方式とは量子化処理に関連した相違点があり、それは予測の有無である。ＭｏｔｉｏｎＪＰＥＧ方式では予測を行わずに入力信号を量子化するのに対し、ＪＶＴ方式やＭＰＥＧ−４方式では予測を行った後の残差信号を量子化する。
【０００４】
次に、上述の内容について図を用いて説明する。図１は、予測を伴う符号化における量子化部付近のブロック図である。図１は、差分部１０１と、量子化部１０２とを有しており、差分部１０１で入力信号と予測信号の差分を求め、差分部１０１で求めた残差信号を量子化部１０２で量子化する。一方、ＭｏｔｉｏｎＪＰＥＧ方式では予測信号および差分部１０１がない。
【０００５】
ここで、量子化としては下記式（１）の関数Ｑ（）が用いられることが多い。また、逆量子化は式（１）の関数Ｑ^−１（）が用いられることが多い。
【０００６】
【数１】

ここで、式（１）中のＱ_ｓｔｅｐは量子化ステップを示し、／／／は除算した結果の四捨五入を表している。なお、四捨五入の替わりに切り捨て、又は切り上げを行う量子化が用いられることもある。
【０００７】
なお、動画像符号化におけるフリッカを抑制する方法も開示されている（例えば、非特許文献１参照。）。
【０００８】
また、Ａ／Ｄ変換におけるフリッカを抑制する方法は公知の技術である（例えば、特許文献１参照。）。
【０００９】
非特許文献１は、ＪＶＴ方式を用いて動画像の全フレームをイントラフレームとして符号化する際に発生するフリッカを軽減する手法である。非特許文献１におけるＪＶＴ符号化の一例について図を用いて説明する。図２は、従来のＪＶＴ符号化エンコーダの一構成例を示す図である。
【００１０】
図２は、差分部２０１と、量子化部２０２と、予測信号を量子化する予測信号量子化部２０３と、量子化した予測信号を逆量子化する予測信号逆量子化部２０４とを有するよう構成されている。なお、図２における入力信号、予測信号、差分部２０１、量子化部２０２は、夫々図１における入力信号、予測信号、差分部１０１、量子化部１０２と等しい。また、図２の点線領域２０５で囲まれた部分が、非特許文献１により追加された部分であり、点線２０５を取り除くと、元のＪＶＴ符号化エンコーダにおける量子化部と同じものになる。
【００１１】
予測信号量子化部２０３及び予測信号逆量子化部２０４では量子化部２０２と同じ量子化ステップを用いる。非特許文献１は、入力画像と予測画像の差分を計算する前に、予測画像を量子化・逆量子化することで、予測画像における小さな変動を除去し、動画像中のフリッカを低減することを目的としている。
【００１２】
【非特許文献１】
ＪｏｉｎｔＶｉｄｅｏＴｅａｍ（ＪＶＴ）ｏｆＩＳＯ／ＩＥＣＭＰＥＧ＆ＩＴＵ−ＴＶＣＥＧ（ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１ａｎｄＩＴＵ−ＴＳＧ１６Ｑ．６），５ｔｈＭｅｅｔｉｎｇ：Ｇｅｎｅｖａ，Ｓｗｉｔｚｅｒｌａｎｄ，９−１７Ｏｃｔｏｂｅｒ，２００２，文書番号ＪＶＴ−Ｅ７０「ＦｌｉｃｋｉｎｇＲｅｄｕｃｔｉｏｎｉｎＡｌｌＩｎｔｒａＦｒａｍｅＣｏｄｉｎｇ」
【００１３】
【特許文献１】
特開平８−１６３４７０号公報
【００１４】
【発明が解決しようとする課題】
ところで、動画像を符号化した場合、復号画像中にフリッカ妨害が起きることがある。フリッカ妨害の直接の原因は、１フレーム毎又は数フレーム毎に輝度や色が大きく変化する領域が発生することであり、輝度や色が大きく変化する原因は、符号化を行う際の量子化歪みにある。
【００１５】
ここで、輝度や色を大きく変化させることにより生じる量子化歪みについて図を使って説明する。図３は、量子化で発生するフリッカの一例を示す図である。
【００１６】
この例では、量子化および逆量子化に式（１）を用い、量子化ステップＱ_ｓｔｅｐ＝１６とする。図３（ａ）は原画像の輝度変化を示したもので、横軸は時間、縦軸は輝度レベルを示している。また、図３（ｂ）は、図３（ａ）を量子化した結果であり、横軸は時間、縦軸は量子化レベルを示している。更に、図３（ｃ）は、図３（ｂ）を逆量子化した結果であり復号画像に相当する。図３（ｃ）の横軸は時間、縦軸は輝度レベルを示している。このように、量子化と逆量子化を行うことで、図３（ａ）のような微少な変動が、図３（ｃ）のような大きな変動に変化し、これがフリッカ妨害の原因となる。
【００１７】
なお、この説明では単純にするために輝度レベルを直接量子化する手法を用いて説明したが、ＭｏｔｉｏｎＪＰＥＧ方式等の一般の符号化方式では、画面を１６画素×１６ライン程度の小ブロックに分割した後に、ＤＣＴ変換を行った結果のＤＣＴ係数を量子化する。最初のＤＣＴ係数は、小ブロック全体のＤＣ成分（輝度信号の場合は輝度レベル）を表しているため、ＤＣＴ係数のＤＣ成分が量子化及び逆量子化により大きく変化すると小ブロック全体にフリッカが発生するため、主観的な画質はこの例で示した輝度レベルを直接量子化する場合以上に大きく低下する。
【００１８】
また、上述した特許文献１にて開示されている内容は、Ａ／Ｄ変換直後の現フィールドの信号と、１フィールド前におけるフリッカ軽減回路の出力とを比較し、階調差が１以下の場合に、１フィールド前におけるフリッカ軽減回路の出力を出力するものである。この技術の持つ課題について図を用いて説明する。
【００１９】
図４は、従来のフリッカ抑制を説明するための一例の図である。また、図４の横軸はフレームを示し、横軸の刻みはフレーム間隔を示している。図４の縦軸は輝度レベルを示し、縦軸の刻みはＡ／Ｄ変換後のデジタル信号の間隔を示している。図４（ａ）に示す線が、上述の特許文献１に記載されている入力となるアナログ信号の例で、この信号は、時間の経過と共に単調に輝度レベルが大きくなる信号である。
【００２０】
また、図４（ｂ）は、Ａ／Ｄ変換直後の信号を示した図であり、特許文献１によれば、Ａ／Ｄ変換直後の信号と前フレームの出力信号との差が１以下の時は前フィールドの出力信号を出力する。その結果、出力は図４（ｃ）に示す出力信号となる。
【００２１】
しかしながら、この例に示すように輝度レベルが単調に増加（あるいは減少）する映像（例えば、フェードイン、フェードアウトといったフェード効果等）に対して特許文献１に記載された内容を適用すると、輝度の変化が遅延すると共にレベル変化も粗くなるため、輝度の変化がぎくしゃくして見える妨害が発生する。
【００２２】
次に、ＪＶＴ符号化等、予測を伴う符号化方式の持つ課題について図を用いて説明する。図５は、予測を伴う符号化で発生するフリッカの一例を示す図である。ここで、図５の横軸はフレーム番号を示し、縦軸は信号レベルを示している。また、縦軸についている刻みは量子化ステップの間隔を示している。すなわち量子化した信号を逆量子化した結果は、縦軸の刻みの位置に限定されることになる。
【００２３】
図５（ａ）は、入力信号と予測信号の例であり、図５（ａ）の入力信号と予測信号を図１のブロック図に入力した場合、差分部１０１が出力する残差信号が図５（ｂ）である。また、図５（ｃ）は、量子化部１０２の出力を逆量子化した信号である。復号時には図５（ｃ）の信号と予測信号を加算する。その結果得られた復号信号が図５（ｄ）である。
【００２４】
ここで、予測を伴わない符号化方式とは状況が異なるが、入力信号と比べてフレーム毎のＤＣＴ係数の変動が大きくなっており、これがフリッカ妨害となる。
【００２５】
次に、ＪＶＴ符号化におけるフリッカ（特に、全フレームをイントラ符号化したときのフリッカ）を低減する手法である非特許文献１に記載されている内容を適用したエンコーダを用いても、フリッカが低減できない例について図を用いて説明する。
【００２６】
図６は、予測を伴う符号化に非特許文献１の内容を適用した場合に発生するフリッカの一例を示す図である。図６（ａ）の入力信号と予測信号は、図５（ａ）の入力信号と予測信号の例と同じ信号とする。
【００２７】
図６（ａ）の入力信号と予測信号とを図２のブロック図に入力したときの予測信号逆量子化部２０４の出力を図６（ｂ）に示す。
【００２８】
ここで、非特許文献１における効果として、予測信号逆量子化部２０４の出力値が縦軸の刻みに揃っている。つまり、一定の信号レベルで出力される。また、図６（ｃ）は、差分部２０１の出力であり、図６（ｄ）は、量子化部２０２の出力を逆量子化した信号である。
【００２９】
更に、図６（ｅ）は、図６（ｄ）の信号と図６（ｂ）の予測信号逆量子化部２０４の出力信号（量子化・逆量子化後の予測信号）を加算した結果であり、復号信号を示している。
【００３０】
図６（ｅ）に示すように、復号信号のフレーム毎の変動が大きく、フリッカ妨害が発生している。このように、非特許文献１に記載の内容を用いた量子化器においてもフリッカを低減できないことがある。
【００３１】
本発明は、上述した問題点に鑑みなされたものであり、連続するフレームで類似した値を持つ画素の量子化値を調整することで、フリッカ妨害を低減するためのフリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラムを提供することを目的とする。
【００３２】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００３３】
請求項１に記載された発明は、量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化器において、入力信号に含まれる第１のフレームを量子化する量子化部と、前記入力信号と予め設定された閾値とを比較する比較部と、前記比較部により比較した結果に基づき、前記第１のフレームの前記量子化部における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択部とを有することを特徴とする。
【００３４】
請求項１記載の発明によれば、連続フレームで似た値を持つ画素に対して直前のフレームにおける量子化値を出力信号とすることで、量子化値を揃えてフリッカ妨害を低減することができる。つまり、入力信号が量子化の境界付近で微細に振動していても、予め設定される閾値の範囲内では、前フレームの出力と同じ値が出力されるため、出力信号にフリッカが発生することを防止することができる。
【００３５】
請求項２に記載された発明は、前記比較部は、前記入力信号が前記閾値の範囲内にあり、更に、前記直前のフレームの量子化された信号レベルと前記第１のフレームの量子化された信号レベルとの差分が予め設定される設定範囲に含まれるかを比較することを特徴とする。
【００３６】
請求項２記載の発明によれば、第１のフレームの入力信号が閾値の範囲内にあり、更に、直前のフレームの量子化された値と、前記第１のフレームの量子化された値との差分が前記閾値とは別に設定される設定範囲に含まれるかを比較することにより、高精度にフリッカの発生を防止することができる。更に、閾値と設定範囲とを設定することができるため、フリッカの抑制精度を調整することができ、出力された信号を逆量子化したときに得られる動画像におけるフリッカの発生有無を調整することができるため、所望する動画像を容易に取得することができる。
【００３７】
請求項３に記載された発明は、前記入力信号と予測信号の差分後の信号を用いて前記動画像の符号化を行う場合、前記予測信号を量子化する予測信号量子化部と、前記予測信号量子化部にて量子化された予測信号を逆量子化する予測信号逆量子化部とを有することを特徴とする。
【００３８】
請求項３記載の発明によれば、量子化におけるフリッカの発生を高精度に防止することができる。また、動画像の符号化において、予測を行うインター符号化や、同一フレーム内にて予測を行うこともあるイントラ符号化形式においても、フリッカ妨害を低減することができる。
【００３９】
請求項４に記載された発明は、前記予測信号逆量子化部にて出力される逆量子化出力信号と前記入力信号との残差信号を出力する第１の差分部と、前記第１差分部から得られる残差信号と前記逆量子化出力信号とを加算する加算部と、前記逆量子化出力信号を量子化する第２の量子化部と、前記加算部から得られる出力信号と前記第２の量子化部が出力する予測信号の量子化値との残差信号を出力する第２の差分部とを有することを特徴とする。
【００４０】
請求項４記載の発明によれば、量子化におけるフリッカの発生を高精度に防止することができる。また、インター符号化やイントラ符号化形式においても、高精度にフリッカ妨害を低減することができる。
【００４１】
請求項５に記載された発明は、量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化方法において、入力信号に含まれる第１のフレームを量子化する量子化段階と、前記入力信号と予め設定された閾値とを比較する比較段階と、前記比較段階により比較した結果に基づき、前記第１のフレームの前記量子化段階における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択段階とを有することを特徴とする。
【００４２】
請求項５記載の発明によれば、連続フレームで似た値を持つ画素に対して直前のフレームにおける量子化値を出力信号とすることで、量子化値を揃えてフリッカ妨害を低減することができる。つまり、入力信号が量子化の境界付近で微細に振動していても、予め設定される閾値の範囲内では、前フレームの出力と同じ値が出力されるため、出力信号にフリッカが発生することを防止することができる。
【００４３】
請求項６に記載された発明は、量子化により符号化された動画像を復号化する際に生じるフリッカの発生を低減するためのフリッカ低減量子化処理をコンピュータに実行させるためのプログラムにおいて、入力信号に含まれる第１のフレームを量子化する量子化処理と、前記入力信号と予め設定された閾値とを比較する比較処理と、前記比較処理により比較した結果に基づき、前記第１のフレームの前記量子化処理における出力信号と前記第１のフレームの直前のフレームの出力信号とを選択して出力する選択処理とをコンピュータに実行させる。
【００４４】
請求項６記載の発明によれば、連続フレームで似た値を持つ画素に対して直前のフレームにおける量子化値を出力信号とすることで、量子化値を揃えてフリッカ妨害を低減することができる。つまり、入力信号が量子化の境界付近で微細に振動していても、予め設定される閾値の範囲内では、前フレームの出力と同じ値が出力されるため、出力信号にフリッカが発生することを防止することができる。
【００４５】
【発明の実施の形態】
＜本発明の特徴＞
本発明は、符号化する際に生じる量子化処理において、量子化後の値が変化する境界の前後に閾値範囲を設定し、入力信号がこの範囲に含まれており、更に前フレームにおける量子化直後の値と現フレームにおける量子化直後の値との差が閾値とは別に設定された範囲内にある場合に、現フレームにおける本発明の出力の値として前フレームにおける本発明の出力の値を用い、それ以外の場合には現フレームにおける量子化直後の値を出力する。
【００４６】
以下に、上記のような特徴を有する本発明におけるフリッカ低減量子化器を好適に実施した形態について、図面を用いて詳細に説明する。
【００４７】
＜システム構成＞
図７は、本発明におけるフリッカ低減量子化器の一構成例を示す図である。図７のフリッカ低減量子化器は、量子化部３０１と、閾値発生部３０２と、閾値比較部３０３と、遅延部３０４と、選択部３０５と、比較部３０６と、乗算部３０７とを有するよう構成されている。
【００４８】
量子化部３０１は、上述の式（１）に示した量子化と同じ計算を行う。したがって、式（１）におけるＶが量子化部３０１への入力信号で、Ｌが量子化部３０１の出力信号となる。
【００４９】
閾値発生部３０２は、式（２）で示す２つの閾値Ｔ_ｌｏｗとＴ_ｈｉｇｈとを発生する。
【００５０】
【数２】

ここで、
【００５１】
【数３】

である。また、Ｔｈは閾値の大きさを変えるための係数であり、通常は係数Ｔｈの値は０．２程度とする。
【００５２】
なお、本発明の量子化部で利用する量子化手法は、式（１）に示した方法に限らず、本発明を適用しようとする量子化・逆量子化手法を利用することができる。また、量子化手法によっては、量子化後の値が変化する境界が量子化ステップの中央値ではない場合がある。そのような量子化を行う場合は、式（２）における（Ｖ_ｈｉｇｈ＋Ｖ_ｌｏｗ）／２の部分を所望の境界の値に置き換えればよい。
【００５３】
閾値比較部３０３は、入力信号Ｖと閾値発生部３０２の出力を比較し、Ｔ_ｌｏｗ＜Ｖ＜Ｔ_ｈｉｇｈの場合には‘真’を、それ以外の場合には‘偽’を出力する。
【００５４】
遅延部３０４は、本発明による出力（選択部３０５の出力）を１フレーム遅延させるフレームメモリである。遅延部３０４の出力（すなわち、１フレーム前における遅延部３０４からの出力）をＭ_ｐｒｅｖとする。
【００５５】
比較部３０６は、量子化部３０１の出力（Ｌ）と、遅延部３０４の出力（Ｍ_ｐｒｅｖ）を比較し、量子化部３０１の出力（Ｌ）と、遅延部３０４の出力（Ｍ_ｐｒｅｖ）との差の絶対値が｜Ｌ−Ｍ_ｐｒｅｖ｜≦１の場合は‘真’を出力し、それ以外の場合は‘偽’を出力する。なお、本発明における上述の差の絶対値は１に限らず、任意の値を設定値として設定することができる。
【００５６】
例えば、差の絶対値を｜Ｌ−Ｍ_ｐｒｅｖ｜≦２とすると、量子化に伴い発生するフリッカだけでなく、入力信号にあるフリッカ（この場合は量子化ステップの値の２倍まで）のフリッカを除去することができる。
【００５７】
これにより、フリッカの抑制精度を調整することができ、入力される動画像においてフリッカの発生有無を調整することができるため、所望する動画像を容易に取得することができる。
【００５８】
また、乗算部３０７は、比較部３０６の出力と閾値比較部３０３の出力の論理積を出力する。
【００５９】
選択部３０５は、量子化部３０１の出力と遅延部３０４の出力と選択条件により切り替えて出力する。選択条件として乗算部３０７の出力が‘真’の場合は、遅延部３０４に蓄積された値を選択部３０５から出力し、乗算部３０７の出力が‘偽’の場合は、量子化部３０１の値を選択部３０５から出力する。
【００６０】
次に、動画像を符号化する際の本発明の実施例を説明する。ＭｏｔｉｏｎＪＰＥＧ方式のように予測を行わない符号化方式については、符号化の過程にある量子化処理部を本発明と置き換えることによりフリッカを低減することができる。
【００６１】
また、ＪＶＴ方式のように予測を伴う符号化方式では、上述の非特許文献１に記載されている方式と本発明とを組み合わせて用いる。ここで、上述の内容を図を用いて説明する。図８は、動画像を符号化する場合の量子化部のブロック構成例を示す図である。
【００６２】
図８に示すブロック構成は、予測信号量子化部４０１と、予測信号逆量子化部４０２と、第１差分部４０３と、加算部４０４と、第１量子化部４０５と、第２差分部４０６と、第２量子化部４０７とを有するよう構成されている。ここで、図８において、図８中の予測信号量子化部４０１，予測信号逆量子化部４０２，第１差分部４０３は、図２に示した予測信号量子化部２０３，予測信号逆量子化部２０４，差分部２０１と等しい。また、第２量子化部４０７は、図２に示した予測符号量子化部２０３と同じ機能を有する量子化器である。
【００６３】
また、加算部４０４では、第１差分部４０３の出力と予測信号逆量子化部４０２の出力とを加算し、第２差分部４０６では、第１量子化部４０５の出力から予測信号逆量子化部４０２の出力を減算する。
【００６４】
すなわち、予測を伴う符号化方式の場合は、残差信号に対する量子化部（たとえば、図１では１０２、図２では２０２）を、図８の点線領域４０８で示すブロック構成部と置き換えることでフリッカ妨害を低減させることができる。
【００６５】
また、加算部４０４の出力は、第１差分部４０３の入力と等しい。したがって、第１差分部４０３及び加算部４０４は省略することができる。また、予測信号量子化部４０１の出力及び第２量子化部４０７の出力も等しいため、第１差分部４０３及び加算部４０４を省略した場合は、予測信号逆量子化部４０２及び第２量子化部４０７も同時に省略することができる。
【００６６】
ここで、図８に示す量子化部の応用例として、上述した構成部を省略した量子化部のブロック構成例を図９に示す。図９に示すように、予測符号量子化部４０１と、第１量子化部４０５と、第２差分部４０６とを有する構成にすることで、装置コストも削減でき、高精度なフリッカ低減量子化処理が実現できる。
【００６７】
上述した構成を有することにより、入力信号が量子化の境界付近で微細に振動していても、図７で示した閾値発生部３０２で設定される閾値の範囲内では、前フレームの出力と同じ値が発生されるため、出力信号にフリッカが発生することを防止することができる。
【００６８】
次に、本発明により、フリッカが抑制される効果について具体的に図を用いて説明する。図１０は、本発明におけるフリッカ抑制の一例を示す図である。ここで、図１０（ａ）は、図３（ａ）で示す信号と同一の入力信号とする。また、図３と同様にＱ_ｓｔｅｐ＝１６とする。更に、閾値の大きさを変えるための係数Ｔｈは０．２とする。また、図１０（ａ）の横軸は時間、縦軸は輝度レベルを示している。
【００６９】
また、図１０（ｂ）は、図１０（ａ）を量子化した結果であり、横軸は時間、縦軸は量子化レベルを示している。更に、図１０（ｃ）は、図１０（ｂ）を逆量子化した結果であり復号画像に相当する。図１０（ｃ）の横軸は時間、縦軸は輝度レベルを表している。
【００７０】
本発明による図１０（ａ）の第１フレームの出力信号が３であったとする。このとき、図１０（ｂ）の第２フレームでの処理について説明を行う。第２フレームの輝度レベル、すなわち本発明への入力信号の値は、図１０（ａ）よりＶ＝３９である。ここで、Ｖ＝３９を式（１）に代入すると、量子化器３０１の出力Ｌ＝２となる。したがって、比較部３０６の出力は‘真’となる。
【００７１】
また、上述の式（３）よりＶ_ｌｏｗ＝３２、Ｖ_ｈｉｇｈ＝４８、Ｔ＝３となり、上述の式（２）よりＴ_ｌｏｗ＝３７、Ｔ_ｈｉｇｈ＝４３となる。よって閾値比較部３０３の出力も‘真’となるため、選択部３０５は、前フレームの出力（この場合は３）を出力する。
【００７２】
次に、第３フレーム以降も同様の処理が続き、図１０（ａ）の入力に対し、本発明の出力は図１０（ｂ）に示すように一定の量子化レベルとなる。更に、本発明の出力を逆量子化した結果が図１０（ｃ）であり、図１０（ｃ）に示したように本発明に量子化部を用いることにより、フリッカの発生を防止することができる。
【００７３】
また、フェード画像のように単調にレベルが変化する画像についても、入力信号に対して、出力信号のレベル変化を僅かに遅延させるだけで済むため、レベル変化がぎくしゃくするというフリッカ妨害の発生を防止することができる。
【００７４】
次に、上述のフェード画像に本発明を適用した効果について図を用いて説明する。図１１は、本発明におけるフェード画像を用いた実施の様子を示す一例の図である。ここで、図１１（ａ）は、時間の経過と共に輝度レベルが高くなるフェード画像の例である。また、図１１（ｂ）は、従来の量子化器による出力を逆量子化した結果であり、図１１（ｃ）は本発明による出力を逆量子化した結果を示している。なお、図１１の横軸はフレームを示し、横軸の刻みはフレーム間隔を示している。また、図１１の縦軸は輝度レベルを示し、縦軸の刻みはＡ／Ｄ変換後のデジタル信号の間隔を示している。
【００７５】
従来の量子化器の出力（図１１（ｂ））と比較して本発明の出力（図１１（ｃ））は、時間的に若干の遅延が発生するだけで済み、フェード画像に上述した特許文献１に示す内容を適用したときのように輝度変化がぎくしゃくする妨害が発生しない。この遅延量は、閾値発生部３０２で設定する係数Ｔｈに依存し、係数Ｔｈが大きいほど遅延が大きくなる。
【００７６】
なお、ここでは説明を簡単にするために、輝度レベルを直接量子化する例を示しているが、ＭｏｔｉｏｎＪＰＥＧ方式のように、ＤＣＴ等の変換を行った後に量子化する際にも本発明は有効である。輝度レベルを直接量子化する場合に本発明を適用する場合よりも、ＤＣＴ係数を量子化する際に本発明を適用する場合の方が本発明の効果は顕著に現れる。これは、ＤＣＴ等の変換後に従来の量子化を行うと、変換に用いたブロック内の全画素でフリッカが発生するのに対し、ＤＣＴ等の変換後に本発明による量子化を行うとフリッカを抑制できるためである。
【００７７】
また、ＤＣＴ変換後のＤＣＴ係数のＤＣ成分（直流成分）、ＡＣ成分（交流成分）のどちらにも本発明は適用可能である。ＤＣ成分に本発明を適用すれば、空間的に低周波のフリッカ（ブロック全体の輝度レベルが変化するフリッカ）を抑制することができる。また、ＡＣ成分に適用すれば、空間的に高周波（ブロック内のテクスチャの細かいチラつき）を抑制することができる。
【００７８】
このように、ＤＣ成分とＡＣ成分の両方に本発明を適用するとどちらのフリッカも抑制できるため、ＤＣ成分とＡＣ成分の両方に本発明を適用すると従来の量子化器と比較して最も高い改善効果が得られる。
【００７９】
上述したようにＭｏｔｉｏｎＪＰＥＧ方式のように予測を伴わない動画像符号化に本発明を適用した場合は、このようにフリッカ妨害を低減することができる。
【００８０】
また、ＪＶＴ符号化のように予測を伴う動画像符号化については、非特許文献１に示す手法と、本発明とを組み合わせることで、更に高精度にフリッカ妨害を低減することができる。この効果について図を用いて説明する。
【００８１】
図１２は、予測を伴う符号化に対して本発明を適用した場合に発生するフリッカの一例を示す図である。ここで、図１２（ａ）は、非特許文献１に示す手法（図２）と、本発明を組み合わせたブロック図（図８）への入力の例で、図５（ａ）に示した入力信号及び予測信号と同じ信号である。
【００８２】
また、図１２（ｂ）は、予測信号逆量子化部４０２の出力であり、図１２（ｃ）は、第１差分部４０３の出力する残差信号である。また、図１２（ｄ）は、加算部４０４の出力信号であり、図１２（ｄ）で網のかかった領域Ａは、予め設定される閾値の範囲を示している。更に、図１２（ｅ）は、第１量子化部４０５の出力を逆量子化した信号である。
【００８３】
復号信号は、図１２（ｅ）で示した信号と、図１２（ｂ）の予測信号逆量子化部４０２の出力信号とを加算した図１２（ｆ）である。このように、上述した非特許文献１による手法と本発明を組み合わせることで、予測を伴う符号化におけるフリッカ妨害を高精度に低減することができる。
【００８４】
なお、予測を伴う符号化に対して、非特許文献１に示す方法を併用せずに、本発明だけを適用した場合は、フリッカを低減できないことがある。この例について、図を用いて説明する。図１３は、予測を伴う符号化に本発明における量子化手法のみを適用した場合のブロック構成図の一例である。図１３は、予測を伴う符号化における量子化部を、本発明を含むブロック構成で置き換えた図である。図１３のブロック図は、第１差分部５０１と、加算部５０２と、量子化部５０３と、第２差分部５０４とを有するよう構成されている。
【００８５】
すなわち、第１差分部５０１は、図１に示した差分部１０１と同じものであり、点線領域５０５で囲んだブロック構成は量子化部１０２を置き換えたものである。また、加算部５０２は、第１差分部５０１が出力する残差信号と、予測信号とを加算し、量子化部５０３は、加算部５０２からの出力信号を量子化する。更に、第２差分部５０４は、量子化部５０３からの信号と予測信号との差分を求める。
【００８６】
また、図１４は、図１３に基づき発生するフリッカの一例を示す図である。つまり、予測を伴う符号化に本発明における量子化手法のみを適用した場合のフリッカの一例を説明するための図である。
【００８７】
ここで、図１４（ａ）は、図１３に示したブロック図への入力の例であり、図５（ａ）の入力信号及び予測信号と同じものである。図１４（ｂ）は、第１差分部５０１が出力する残差信号で、図１４（ｃ）は、加算部５０２の出力である。また、図１４（ｃ）で網のかかった領域Ａは、図１２（ｄ）に示すように予め設定される閾値の範囲を示している。
【００８８】
また、図１４（ｄ）は、量子化部５０３の出力を逆量子化した信号である。図１４（ｄ）に示した信号と図１４（ａ）の予測信号とを加算した結果は図１４（ｅ）に示すようになり、これが復号信号である。図１４（ａ）に示す入力信号と比較するとフレーム毎の変動が大きくなっているためフリッカ妨害となることがある。このため、非特許文献１に示す内容を組み合わせ上述したフリッカ妨害を防止する。
【００８９】
上述したように本発明によれば、動画像等の符号化において、フレーム単位で動画像を符号化する際に生じる量子化処理に起因するフリッカを高精度に低減させることができる。
【００９０】
なお、非特許文献１には、全フレームをイントラ符号化した場合の効果についてのみが記述されているが、非特許文献１の手法と本発明の組み合わせにより、イントラ符号化であっても、インター符号化であっても同様に量子化に起因するフリッカの発生を低減させる効果を有する。
【００９１】
次に、フリッカ低減量子化プログラムがインストールされたコンピュータにて実行されるフリッカ低減量子化手順について、フローチャートを用いて説明する。
【００９２】
図１５は、本発明におけるフリッカ低減量子化手順を示す一例のフローチャートである。まず、入力信号の量子化処理を行う（Ｓ０１）。ここで、量子化処理は図７における量子化部３０１に相当し、式（１）に示した量子化の計算を行う。したがって、式（１）におけるＶがＳ０１への入力信号で、Ｓ０１で算出する量子化値はＬとなる。
【００９３】
次に、２つの閾値Ｔ_ｌｏｗ及びＴ_ｈｉｇｈの算出を行う（Ｓ０２）。閾値の算出は、図７における閾値発生部３０２に相当し、閾値は式（２）及び式（３）により求めることができる。なお、式（３）におけるＴｈは、閾値の大きさを変えるための係数であり、通常はＴｈの値は０．２程度とする。
【００９４】
Ｓ０２のステップが終了後、入力信号（Ｖ）が閾値の範囲内にあり（Ｔ_ｌｏｗ＜Ｖ＜Ｔ_ｈｉｇｈ）、且つ量子化値と前回出力値の差の絶対値が一定の範囲内（｜Ｌ−Ｍ_ｐｒｅｖ｜≦Ｎ、Ｎは通常１）にあるかの判断を行う（Ｓ０３）。なお、ここでの処理は、図７における閾値比較部３０３、比較部３０６及び乗算部３０７に相当する。
【００９５】
入力信号が前記閾値の範囲内にあり、且つ差の絶対値が前記一定の範囲内にある場合（Ｓ０３において、ＹＥＳ）、上述のＳ０１にて算出した量子化値（Ｌ）の値を前回出力値（Ｍ_ｐｒｅｖ）に変更する処理を行う（Ｓ０４）。なお、この処理は、図７における選択部３０５に相当する。
【００９６】
次に、前回出力値（Ｍ_ｐｒｅｖ）を量子化値（Ｌ）とする処理を行う（Ｓ０５）。なお、ここでの処理は、図７における遅延部３０４に相当する。
【００９７】
Ｓ０５のステップが終了後、本発明を適用する量子化処理が予測を伴うか否かの判断を行う（Ｓ０６）。予測を伴う場合は（Ｓ０６において、ＹＥＳ）、式（１）に従い予測信号の量子化を行う（Ｓ０７）。なお、ここでの処理は、図８における量子化部４０１（図９における量子化部４０１）に相当する。また、量子化値（Ｌ）からＳ０７で求めた量子化後の予測信号を減算して出力し処理を終了する（Ｓ０８）。ここでの処理は、図８における第２差分部４０６（図９における第２差分部４０６）に相当する。
【００９８】
一方、予測を伴わない場合（Ｓ０６において、ＮＯ）、量子化値（Ｌ）を出力して処理を終了する（Ｓ０９）。
【００９９】
ここで、Ｓ０６〜Ｓ０９は、予測を伴う符号化に本発明を適用するときのステップである。
【０１００】
上述したフリッカ低減量子化プログラムにより、量子化値を揃えてフリッカ妨害を低減することができる。
【０１０１】
上述したように本発明によれば、画像を符号化する際の量子化処理に起因するフリッカを高精度に低減させることができる。更に詳細に説明すれば、第１のフレームの入力信号が閾値の範囲内にあり、且つ直前のフレームの量子化された値と、前記第１のフレームの量子化された値との差分が前記閾値とは別に設定される設定範囲に含まれるかを比較して、設定範囲内にある場合は、直前のフレームにおける量子化値を出力信号とすることで、量子化値を揃えてフリッカ妨害を低減することができる。
【０１０２】
また、閾値と設定範囲とを設定することでフリッカの抑制精度を調整することができ、出力された信号を逆量子化したときに得られる動画像におけるフリッカの発生有無を調整することができるため、所望する動画像を容易に取得することができる。
【０１０３】
また、動画像の符号化において、予測を行うインター符号化や、同一フレーム内にて予測を行うこともあるイントラ符号化形式においても、フリッカ妨害を低減することができる。
【０１０４】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【０１０５】
【発明の効果】
上述の如く本発明によれば、画像を符号化する際の量子化処理に起因するフリッカを高精度に低減させることができる。
【図面の簡単な説明】
【図１】予測を伴う符号化における量子化部付近のブロック図である。
【図２】従来のＪＶＴ符号化エンコーダの一構成例を示す図である。
【図３】量子化で発生するフリッカの一例を示す図である。
【図４】従来のフリッカ抑制を説明するための一例の図である。
【図５】予測を伴う符号化で発生するフリッカの一例を示す図である。
【図６】予測を伴う符号化に非特許文献１の内容を適用した場合に発生するフリッカの一例を示す図である。
【図７】本発明におけるフリッカ低減量子化器の一構成例を示す図である。
【図８】動画像を符号化する場合の量子化部のブロック構成例を示す図である。
【図９】図８に示す量子化部の応用例を示す図である。
【図１０】本発明におけるフリッカ抑制の一例を示す図である。
【図１１】本発明におけるフェード画像を用いた実施の様子を示す一例の図である。
【図１２】予測を伴う符号化に対して本発明を適用した場合に発生するフリッカの一例を示す図である。
【図１３】予測を伴う符号化に本発明における量子化手法のみを適用した場合のブロック構成図の一例である。
【図１４】図１３に基づき発生するフリッカの一例を示す図である。
【図１５】本発明におけるフリッカ低減量子化手順を示す一例のフローチャートである。
【符号の説明】
１０１，２０１差分部
１０２，２０２，３０１量子化部
２０３，４０１予測信号量子化部
２０４，４０２予測信号逆量子化部
３０２閾値発生部
３０３閾値比較部
３０４遅延部
３０５選択部
３０６比較部
３０７乗算部
４０３，５０１第１差分部
４０４，５０２加算部
４０５，５０３本発明に係る量子化部
４０６，５０４第２差分部
４０７第２量子化部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a flicker reduction quantizer, a flicker reduction quantization method, and a program thereof, and more particularly to reducing flicker caused by quantization processing when encoding a moving image in units of frames in moving image encoding. The present invention relates to a flicker reduction quantizer, a flicker reduction quantization method, and a program thereof.
[0002]
[Prior art]
Conventionally, many compression encoding methods for transmitting video, storing moving images taken with a digital still camera, and storing images with a moving image editing device have been developed. For example, Motion JPEG method, MPEG -4 method, JVT method (sometimes called H.264, MPEG-4 part 10, or AVC).
[0003]
By the way, the Motion JPEG system, the MPEG-4 system, and the JVT system have a difference related to the quantization processing, which is the presence or absence of prediction. In the Motion JPEG system, the input signal is quantized without performing prediction, whereas in the JVT system or MPEG-4 system, the residual signal after performing the prediction is quantized.
[0004]
Next, the above contents will be described with reference to the drawings. FIG. 1 is a block diagram of the vicinity of a quantization unit in encoding with prediction. 1 includes a difference unit 101 and a quantization unit 102. The difference unit 101 obtains a difference between the input signal and the prediction signal, and the quantization unit 102 quantizes the residual signal obtained by the difference unit 101. Turn into. On the other hand, in the Motion JPEG method, there is no prediction signal and difference unit 101.
[0005]
Here, the function Q () of the following formula (1) is often used for quantization. The inverse quantization is performed by the function Q in the equation (1). ^-1 () Is often used.
[0006]
[Expression 1]

Here, Q in formula (1) _step Represents a quantization step, and /// represents rounding of the result of division. Note that quantization that rounds down or rounds up may be used instead of rounding off.
[0007]
A method for suppressing flicker in moving image encoding is also disclosed (for example, see Non-Patent Document 1).
[0008]
A method for suppressing flicker in A / D conversion is a known technique (for example, see Patent Document 1).
[0009]
Non-Patent Document 1 is a technique for reducing flicker that occurs when all frames of a moving image are encoded as intra frames using the JVT method. An example of JVT encoding in Non-Patent Document 1 will be described with reference to the drawings. FIG. 2 is a diagram illustrating a configuration example of a conventional JVT encoding encoder.
[0010]
2 includes a difference unit 201, a quantization unit 202, a prediction signal quantization unit 203 that quantizes the prediction signal, and a prediction signal inverse quantization unit 204 that inversely quantizes the quantized prediction signal. It is configured. Note that the input signal, the prediction signal, the difference unit 201, and the quantization unit 202 in FIG. 2 are the same as the input signal, the prediction signal, the difference unit 101, and the quantization unit 102 in FIG. 2 is a portion added by Non-Patent Document 1, and when the dotted line 205 is removed, it becomes the same as the quantization unit in the original JVT encoding encoder.
[0011]
The prediction signal quantization unit 203 and the prediction signal inverse quantization unit 204 use the same quantization steps as the quantization unit 202. Non-Patent Document 1 eliminates small fluctuations in a predicted image and reduces flicker in a moving image by quantizing / dequantizing the predicted image before calculating the difference between the input image and the predicted image. It is an object.
[0012]
[Non-Patent Document 1]
Joint Video Team (JVT) of ISO / IEC MPEG & ITU-T VCEG (ISO / IEC JTC 1 / SC29 / WG11 and ITU-T SG16 Q.6, 5th Meeting: Geneva, Switzerland 9) Document No. JVT-E70 “Flicking Reduction in All Intra Frame Coding”
[0013]
[Patent Document 1]
JP-A-8-163470
[0014]
[Problems to be solved by the invention]
By the way, when a moving image is encoded, flicker interference may occur in the decoded image. The direct cause of flicker interference is the occurrence of a region where the luminance and color change greatly every frame or every few frames. The cause of the large change in luminance and color is the quantization distortion during encoding. It is in.
[0015]
Here, quantization distortion caused by greatly changing luminance and color will be described with reference to the drawings. FIG. 3 is a diagram illustrating an example of flicker generated by quantization.
[0016]
In this example, Equation (1) is used for quantization and inverse quantization, and the quantization step Q _step = 16. FIG. 3A shows the change in luminance of the original image. The horizontal axis indicates time, and the vertical axis indicates the luminance level. FIG. 3B shows the result of quantizing FIG. 3A, where the horizontal axis indicates time and the vertical axis indicates the quantization level. Further, FIG. 3C is a result of inverse quantization of FIG. 3B and corresponds to a decoded image. In FIG. 3C, the horizontal axis indicates time, and the vertical axis indicates the luminance level. In this way, by performing quantization and inverse quantization, the minute fluctuation as shown in FIG. 3A changes to the big fluctuation as shown in FIG. 3C, which causes flicker interference.
[0017]
In this description, the method of directly quantizing the luminance level has been described for the sake of simplicity. However, in a general encoding method such as the Motion JPEG method, the screen is divided into small blocks of about 16 pixels × 16 lines. Later, the DCT coefficient resulting from the DCT transformation is quantized. Since the first DCT coefficient represents the DC component of the entire small block (in the case of a luminance signal, the luminance level), flicker occurs in the entire small block when the DC component of the DCT coefficient changes greatly due to quantization and inverse quantization. Therefore, the subjective image quality is much lower than when the luminance level shown in this example is directly quantized.
[0018]
In addition, the contents disclosed in Patent Document 1 described above include a case where the current field signal immediately after the A / D conversion is compared with the output of the flicker reduction circuit one field before, and the gradation difference is 1 or less. In addition, the output of the flicker reduction circuit one field before is output. The problems of this technology will be described with reference to the drawings.
[0019]
FIG. 4 is a diagram illustrating an example of conventional flicker suppression. Further, the horizontal axis in FIG. 4 indicates the frame, and the step on the horizontal axis indicates the frame interval. The vertical axis in FIG. 4 indicates the luminance level, and the vertical axis indicates the interval between the digital signals after A / D conversion. The line shown in FIG. 4A is an example of an analog signal that is an input described in Patent Document 1 described above, and this signal is a signal whose luminance level monotonously increases with time.
[0020]
FIG. 4B shows a signal immediately after A / D conversion. According to Patent Document 1, the difference between the signal immediately after A / D conversion and the output signal of the previous frame is 1 or less. At the time, the output signal of the previous field is output. As a result, the output is an output signal shown in FIG.
[0021]
However, when the content described in Patent Document 1 is applied to an image in which the luminance level monotonously increases (or decreases) as shown in this example (for example, a fade effect such as fade-in and fade-out), a change in luminance occurs. Delays and the level change becomes rough, causing a disturbance in which the change in luminance appears jerky.
[0022]
Next, a problem of an encoding method with prediction such as JVT encoding will be described with reference to the drawings. FIG. 5 is a diagram illustrating an example of flicker that occurs in encoding with prediction. Here, the horizontal axis of FIG. 5 indicates the frame number, and the vertical axis indicates the signal level. Further, the step on the vertical axis indicates the interval between quantization steps. That is, the result of inverse quantization of the quantized signal is limited to the position of the vertical axis.
[0023]
5A is an example of an input signal and a prediction signal. When the input signal and the prediction signal of FIG. 5A are input to the block diagram of FIG. 1, the residual signal output by the difference unit 101 is illustrated. 5 (b). FIG. 5C shows a signal obtained by dequantizing the output of the quantization unit 102. At the time of decoding, the signal of FIG. 5C and the prediction signal are added. The decoded signal obtained as a result is shown in FIG.
[0024]
Here, although the situation is different from the encoding method without prediction, the variation of the DCT coefficient for each frame is larger than that of the input signal, which causes flicker interference.
[0025]
Next, even when using an encoder to which the content described in Non-Patent Document 1, which is a technique for reducing flicker in JVT coding (particularly flicker when all frames are intra-coded), is used, flicker is reduced. Examples that cannot be described will be described with reference to the drawings.
[0026]
FIG. 6 is a diagram illustrating an example of flicker that occurs when the content of Non-Patent Document 1 is applied to encoding with prediction. The input signal and the prediction signal in FIG. 6A are the same signals as the input signal and the prediction signal in FIG.
[0027]
FIG. 6B shows the output of the prediction signal inverse quantization unit 204 when the input signal and the prediction signal of FIG. 6A are input to the block diagram of FIG.
[0028]
Here, as an effect in Non-Patent Document 1, the output values of the prediction signal inverse quantization unit 204 are aligned in steps of the vertical axis. That is, it is output at a constant signal level. 6C shows the output of the difference unit 201, and FIG. 6D shows a signal obtained by dequantizing the output of the quantization unit 202.
[0029]
Further, FIG. 6E shows the result of adding the signal of FIG. 6D and the output signal (predicted signal after quantization / inverse quantization) of the prediction signal inverse quantization unit 204 of FIG. 6B. Yes, indicating a decoded signal.
[0030]
As shown in FIG. 6E, the fluctuation of the decoded signal for each frame is large, and flicker interference occurs. Thus, even in a quantizer using the content described in Non-Patent Document 1, flicker may not be reduced.
[0031]
The present invention has been made in view of the above-described problems, and is a flicker reduction quantizer for reducing flicker interference by adjusting the quantization value of pixels having similar values in consecutive frames. An object of the present invention is to provide a reduction quantization method and a program therefor.
[0032]
[Means for Solving the Problems]
In order to solve the above problems, the present invention employs means for solving the problems having the following characteristics.
[0033]
According to the first aspect of the present invention, there is provided a flicker reduction quantizer for reducing occurrence of flicker that occurs when a moving image encoded by quantization is decoded. A quantization unit that quantizes the input signal, a comparison unit that compares the input signal with a preset threshold, and an output signal in the quantization unit of the first frame based on a result of comparison by the comparison unit; And a selection unit that selects and outputs an output signal of a frame immediately before the first frame.
[0034]
According to the first aspect of the present invention, the quantized value in the immediately preceding frame is used as an output signal for pixels having similar values in consecutive frames, thereby reducing flicker interference by aligning the quantized values. it can. In other words, even if the input signal vibrates finely near the quantization boundary, the same value as the output of the previous frame is output within the preset threshold range, and thus flicker occurs in the output signal. Can be prevented.
[0035]
According to a second aspect of the present invention, the comparison unit includes the quantized signal level of the immediately preceding frame and the quantized signal of the first frame when the input signal is within the threshold range. It is compared whether or not the difference from the signal level is included in a preset setting range.
[0036]
According to the second aspect of the present invention, the input signal of the first frame is within the threshold value range, and further, the quantized value of the immediately preceding frame, the quantized value of the first frame, It is possible to prevent the occurrence of flicker with high accuracy by comparing whether or not the difference is included in a setting range set separately from the threshold value. Furthermore, since the threshold value and the setting range can be set, the flicker suppression accuracy can be adjusted, and the occurrence of flicker in the moving image obtained when the output signal is inversely quantized can be adjusted. Therefore, a desired moving image can be easily acquired.
[0037]
According to a third aspect of the present invention, when the moving image is encoded using a signal after the difference between the input signal and the prediction signal, a prediction signal quantization unit that quantizes the prediction signal; and the prediction And a prediction signal inverse quantization unit that inversely quantizes the prediction signal quantized by the signal quantization unit.
[0038]
According to the third aspect of the present invention, it is possible to prevent the occurrence of flicker in quantization with high accuracy. In addition, flicker interference can be reduced even in inter-coding that performs prediction in moving image encoding or in an intra-coding format that may perform prediction in the same frame.
[0039]
According to a fourth aspect of the present invention, there is provided a first difference unit that outputs a residual signal between the dequantized output signal output from the prediction signal dequantization unit and the input signal, and the first difference. An addition unit for adding the residual signal obtained from the unit and the inverse quantization output signal, a second quantization unit for quantizing the inverse quantization output signal, an output signal obtained from the addition unit, and the And a second difference unit that outputs a residual signal with the quantized value of the prediction signal output by the second quantization unit.
[0040]
According to the fourth aspect of the present invention, the occurrence of flicker in quantization can be prevented with high accuracy. In addition, flicker interference can be reduced with high accuracy even in inter coding and intra coding formats.
[0041]
According to a fifth aspect of the present invention, in the flicker reduction quantization method for reducing the occurrence of flicker that occurs when a moving image encoded by quantization is decoded, the first frame included in the input signal A quantization stage for quantizing the input signal, a comparison stage for comparing the input signal with a preset threshold, and an output signal in the quantization stage of the first frame based on a result of comparison by the comparison stage, And a selection step of selecting and outputting an output signal of a frame immediately before the first frame.
[0042]
According to the invention described in claim 5, flicker interference can be reduced by aligning the quantized values by using the quantized values in the immediately preceding frame as output signals for pixels having similar values in consecutive frames. it can. In other words, even if the input signal vibrates finely near the quantization boundary, the same value as the output of the previous frame is output within the preset threshold range, and thus flicker occurs in the output signal. Can be prevented.
[0043]
According to a sixth aspect of the present invention, there is provided a program for causing a computer to execute a flicker reduction quantization process for reducing the generation of flicker that occurs when a moving image encoded by quantization is decoded. A quantization process for quantizing the first frame included in the signal, a comparison process for comparing the input signal with a preset threshold value, and a result of comparison by the comparison process; The computer executes selection processing for selecting and outputting the output signal in the quantization processing and the output signal of the frame immediately before the first frame.
[0044]
According to the sixth aspect of the present invention, the quantization value in the immediately preceding frame is used as the output signal for the pixels having similar values in the continuous frames, thereby reducing the flicker interference by aligning the quantization values. it can. In other words, even if the input signal vibrates finely near the quantization boundary, the same value as the output of the previous frame is output within the preset threshold range, and thus flicker occurs in the output signal. Can be prevented.
[0045]
DETAILED DESCRIPTION OF THE INVENTION
<Features of the present invention>
The present invention sets a threshold range before and after the boundary where the value after quantization changes in the quantization process that occurs when encoding, and the input signal is included in this range. When the difference between the value immediately after and the value immediately after quantization in the current frame is within a range set separately from the threshold, the value of the output of the present invention in the previous frame is set as the value of the output of the present invention in the current frame. Otherwise, the value immediately after quantization in the current frame is output.
[0046]
In the following, a preferred embodiment of the flicker-reducing quantizer according to the present invention having the above features will be described in detail with reference to the drawings.
[0047]
<System configuration>
FIG. 7 is a diagram illustrating a configuration example of the flicker reduction quantizer according to the present invention. The flicker reduction quantizer of FIG. 7 includes a quantization unit 301, a threshold generation unit 302, a threshold comparison unit 303, a delay unit 304, a selection unit 305, a comparison unit 306, and a multiplication unit 307. It is configured.
[0048]
The quantization unit 301 performs the same calculation as the quantization shown in the above equation (1). Therefore, V in Equation (1) is an input signal to the quantization unit 301 and L is an output signal of the quantization unit 301.
[0049]
The threshold generation unit 302 includes two threshold values T expressed by Equation (2). _low And T _high And generate.
[0050]
[Expression 2]

here,
[0051]
[Equation 3]

It is. Further, Th is a coefficient for changing the magnitude of the threshold, and the value of the coefficient Th is normally set to about 0.2.
[0052]
Note that the quantization method used in the quantization unit of the present invention is not limited to the method shown in Expression (1), and a quantization / inverse quantization method to which the present invention is applied can be used. Also, depending on the quantization method, the boundary where the value after quantization changes may not be the median value of the quantization step. When performing such quantization, (V) in equation (2) _high + V _low ) / 2 may be replaced with a desired boundary value.
[0053]
The threshold comparison unit 303 compares the input signal V with the output of the threshold generation unit 302, and T _low <V <T _high 'True' is output in the case of, and 'false' is output in other cases.
[0054]
The delay unit 304 is a frame memory that delays the output according to the present invention (the output of the selection unit 305) by one frame. The output of the delay unit 304 (that is, the output from the delay unit 304 one frame before) is M _prev And
[0055]
The comparison unit 306 outputs the output (L) of the quantization unit 301 and the output (M) of the delay unit 304. _prev ), The output (L) of the quantization unit 301 and the output (M) of the delay unit 304 _prev ) Is the absolute value of | LM _prev When | ≦ 1, “true” is output; otherwise, “false” is output. The absolute value of the difference in the present invention is not limited to 1, and any value can be set as the set value.
[0056]
For example, if the absolute value of the difference is | LM _prev When | ≦ 2, it is possible to remove not only the flicker generated by quantization but also the flicker in the input signal (in this case, up to twice the value of the quantization step).
[0057]
As a result, the flicker suppression accuracy can be adjusted, and the presence or absence of flicker can be adjusted in the input moving image, so that a desired moving image can be easily acquired.
[0058]
The multiplication unit 307 outputs a logical product of the output of the comparison unit 306 and the output of the threshold comparison unit 303.
[0059]
The selection unit 305 switches between the output of the quantization unit 301, the output of the delay unit 304, and the selection condition, and outputs the result. When the output of the multiplication unit 307 is “true” as the selection condition, the value accumulated in the delay unit 304 is output from the selection unit 305. When the output of the multiplication unit 307 is “false”, the quantization unit 301 The value is output from the selection unit 305.
[0060]
Next, an embodiment of the present invention when encoding a moving image will be described. For an encoding method that does not perform prediction, such as the Motion JPEG method, flicker can be reduced by replacing the quantization processing unit in the process of encoding with the present invention.
[0061]
Moreover, in the encoding method with prediction like the JVT method, the method described in Non-Patent Document 1 and the present invention are used in combination. Here, the above-mentioned content is demonstrated using figures. FIG. 8 is a diagram illustrating a block configuration example of a quantization unit when a moving image is encoded.
[0062]
The block configuration illustrated in FIG. 8 includes a prediction signal quantization unit 401, a prediction signal inverse quantization unit 402, a first difference unit 403, an addition unit 404, a first quantization unit 405, and a second difference unit 406. And a second quantizing unit 407. Here, in FIG. 8, the prediction signal quantization unit 401, the prediction signal inverse quantization unit 402, and the first difference unit 403 in FIG. 8 are the prediction signal quantization unit 203 and the prediction signal inverse quantization shown in FIG. 2. Unit 204 and difference unit 201 are the same. The second quantization unit 407 is a quantizer having the same function as the predictive code quantization unit 203 illustrated in FIG.
[0063]
Further, the adding unit 404 adds the output of the first difference unit 403 and the output of the prediction signal inverse quantization unit 402, and the second difference unit 406 calculates the prediction signal inverse quantization from the output of the first quantization unit 405. The output of the unit 402 is subtracted.
[0064]
In other words, in the case of an encoding method with prediction, flicker is obtained by replacing the quantization unit (for example, 102 in FIG. 1 and 202 in FIG. 2) with a block configuration unit indicated by a dotted line region 408 in FIG. Interference can be reduced.
[0065]
Further, the output of the adding unit 404 is equal to the input of the first difference unit 403. Therefore, the first difference unit 403 and the addition unit 404 can be omitted. In addition, since the output of the prediction signal quantization unit 401 and the output of the second quantization unit 407 are also equal, when the first difference unit 403 and the addition unit 404 are omitted, the prediction signal inverse quantization unit 402 and the second quantization are performed. The part 407 can be omitted at the same time.
[0066]
Here, as an application example of the quantization unit shown in FIG. 8, a block configuration example of the quantization unit in which the above-described configuration unit is omitted is shown in FIG. As shown in FIG. 9, the configuration having the predictive code quantization unit 401, the first quantization unit 405, and the second difference unit 406 can reduce the apparatus cost, and the flicker reduction quantization with high accuracy. Processing can be realized.
[0067]
By having the above-described configuration, even if the input signal vibrates finely near the quantization boundary, it is the same as the output of the previous frame within the threshold range set by the threshold generator 302 shown in FIG. Since the value is generated, flicker can be prevented from occurring in the output signal.
[0068]
Next, the effect of suppressing flicker by the present invention will be specifically described with reference to the drawings. FIG. 10 is a diagram illustrating an example of flicker suppression according to the present invention. Here, FIG. 10A is the same input signal as the signal shown in FIG. Also, as in FIG. _step = 16. Furthermore, the coefficient Th for changing the magnitude of the threshold is 0.2. In FIG. 10A, the horizontal axis indicates time, and the vertical axis indicates the luminance level.
[0069]
FIG. 10B shows the result of quantizing FIG. 10A, where the horizontal axis indicates time and the vertical axis indicates the quantization level. Further, FIG. 10C shows the result of inverse quantization of FIG. 10B and corresponds to a decoded image. In FIG. 10C, the horizontal axis represents time, and the vertical axis represents the luminance level.
[0070]
Assume that the output signal of the first frame in FIG. At this time, processing in the second frame in FIG. 10B will be described. The luminance level of the second frame, that is, the value of the input signal to the present invention is V = 39 from FIG. Here, when V = 39 is substituted into equation (1), the output L of the quantizer 301 becomes L = 2. Therefore, the output of the comparison unit 306 is “true”.
[0071]
Further, from the above equation (3), V _low = 32, V _high = 48, T = 3. From the above equation (2), T _low = 37, T _high = 43. Therefore, since the output of the threshold comparison unit 303 is also “true”, the selection unit 305 outputs the output of the previous frame (3 in this case).
[0072]
Next, the same processing continues in the third and subsequent frames, and the output of the present invention becomes a constant quantization level as shown in FIG. 10 (b) with respect to the input of FIG. 10 (a). Furthermore, the result of inverse quantization of the output of the present invention is shown in FIG. 10C, and the occurrence of flicker can be prevented by using the quantization unit in the present invention as shown in FIG. 10C. it can.
[0073]
In addition, even for an image whose level changes monotonously, such as a fade image, it is only necessary to slightly delay the level change of the output signal with respect to the input signal, thus preventing the occurrence of flicker interference that the level change becomes jerky. can do.
[0074]
Next, the effect of applying the present invention to the above-described fade image will be described with reference to the drawings. FIG. 11 is a diagram illustrating an example of an implementation using a fade image in the present invention. Here, FIG. 11A is an example of a fade image in which the luminance level increases with time. FIG. 11B shows the result of inverse quantization of the output from the conventional quantizer, and FIG. 11C shows the result of inverse quantization of the output according to the present invention. In FIG. 11, the horizontal axis indicates the frame, and the step on the horizontal axis indicates the frame interval. In addition, the vertical axis in FIG. 11 indicates the luminance level, and the vertical axis indicates the interval between the digital signals after A / D conversion.
[0075]
Compared with the output of the conventional quantizer (FIG. 11 (b)), the output of the present invention (FIG. 11 (c)) only requires a slight delay in time. There is no disturbing change in brightness as in the case of applying the contents shown in Document 1. This delay amount depends on the coefficient Th set by the threshold generator 302, and the delay increases as the coefficient Th increases.
[0076]
Here, for simplicity of explanation, an example in which the luminance level is directly quantized is shown. However, the present invention is also effective when quantizing after conversion such as DCT as in the Motion JPEG method. It is. The effect of the present invention is more apparent when the present invention is applied when quantizing DCT coefficients than when the present invention is applied when directly quantizing the luminance level. This is because when conventional quantization is performed after conversion such as DCT, flicker occurs in all pixels in the block used for conversion, whereas when quantization according to the present invention is performed after conversion such as DCT, flicker is suppressed. This is because it can.
[0077]
In addition, the present invention can be applied to both DC components (DC components) and AC components (AC components) of DCT coefficients after DCT conversion. If the present invention is applied to the DC component, spatially low frequency flicker (flicker in which the luminance level of the entire block changes) can be suppressed. Further, when applied to the AC component, spatially high frequency (fine flickering of texture in the block) can be suppressed.
[0078]
As described above, when the present invention is applied to both the DC component and the AC component, both flickers can be suppressed. Therefore, when the present invention is applied to both the DC component and the AC component, the highest improvement is obtained as compared with the conventional quantizer. An effect is obtained.
[0079]
As described above, when the present invention is applied to moving picture coding without prediction as in the Motion JPEG method, flicker interference can be reduced in this way.
[0080]
In addition, with regard to moving picture coding with prediction such as JVT coding, flicker interference can be reduced with higher accuracy by combining the method shown in Non-Patent Document 1 and the present invention. This effect will be described with reference to the drawings.
[0081]
FIG. 12 is a diagram showing an example of flicker that occurs when the present invention is applied to encoding involving prediction. Here, FIG. 12A is an example of input to the block diagram (FIG. 8) combining the method shown in Non-Patent Document 1 (FIG. 2) and the present invention, and the input shown in FIG. 5A. It is the same signal as the signal and the prediction signal.
[0082]
12B shows the output of the prediction signal inverse quantization unit 402, and FIG. 12C shows the residual signal output by the first difference unit 403. FIG. 12D shows an output signal of the addition unit 404, and a shaded area A in FIG. 12D shows a preset threshold range. Further, FIG. 12E shows a signal obtained by dequantizing the output of the first quantization unit 405.
[0083]
The decoded signal is FIG. 12F in which the signal shown in FIG. 12E and the output signal of the prediction signal inverse quantization unit 402 in FIG. 12B are added. Thus, by combining the method according to Non-Patent Document 1 described above and the present invention, flicker interference in encoding with prediction can be reduced with high accuracy.
[0084]
Note that flicker may not be reduced when only the present invention is applied to encoding with prediction without using the method shown in Non-Patent Document 1. This example will be described with reference to the drawings. FIG. 13 is an example of a block configuration diagram when only the quantization method of the present invention is applied to encoding with prediction. FIG. 13 is a diagram in which a quantization unit in encoding with prediction is replaced with a block configuration including the present invention. The block diagram of FIG. 13 is configured to include a first difference unit 501, an addition unit 502, a quantization unit 503, and a second difference unit 504.
[0085]
In other words, the first difference unit 501 is the same as the difference unit 101 illustrated in FIG. 1, and the block configuration surrounded by the dotted line region 505 is obtained by replacing the quantization unit 102. Further, the addition unit 502 adds the residual signal output from the first difference unit 501 and the prediction signal, and the quantization unit 503 quantizes the output signal from the addition unit 502. Further, the second difference unit 504 obtains a difference between the signal from the quantization unit 503 and the prediction signal.
[0086]
FIG. 14 is a diagram showing an example of flicker generated based on FIG. That is, it is a figure for demonstrating an example of the flicker at the time of applying only the quantization method in this invention to the encoding accompanying prediction.
[0087]
Here, FIG. 14A is an example of input to the block diagram shown in FIG. 13, and is the same as the input signal and the prediction signal of FIG. FIG. 14B is a residual signal output from the first difference unit 501, and FIG. 14C is an output from the addition unit 502. Further, a shaded area A in FIG. 14C shows a preset threshold range as shown in FIG.
[0088]
FIG. 14D shows a signal obtained by dequantizing the output of the quantization unit 503. The result of adding the signal shown in FIG. 14 (d) and the prediction signal shown in FIG. 14 (a) is as shown in FIG. 14 (e), which is a decoded signal. Compared with the input signal shown in FIG. 14 (a), flicker interference may occur because of the large fluctuation for each frame. For this reason, the contents shown in Non-Patent Document 1 are combined to prevent the flicker interference described above.
[0089]
As described above, according to the present invention, it is possible to reduce flicker caused by quantization processing that occurs when a moving image is encoded in units of frames in encoding of a moving image or the like with high accuracy.
[0090]
Note that Non-Patent Document 1 describes only the effect when all frames are intra-encoded, but even if intra-encoding is performed by combining the method of Non-Patent Document 1 and the present invention, the Even encoding is effective in reducing the occurrence of flicker due to quantization.
[0091]
Next, a flicker reduction quantization procedure executed by a computer in which the flicker reduction quantization program is installed will be described using a flowchart.
[0092]
FIG. 15 is a flowchart of an example showing the flicker reduction quantization procedure in the present invention. First, the input signal is quantized (S01). Here, the quantization process corresponds to the quantization unit 301 in FIG. 7 and performs the calculation of quantization shown in Expression (1). Therefore, V in Equation (1) is an input signal to S01, and the quantized value calculated in S01 is L.
[0093]
Next, two threshold values T _low And T _high Is calculated (S02). The calculation of the threshold corresponds to the threshold generation unit 302 in FIG. 7, and the threshold can be obtained by Expression (2) and Expression (3). Note that Th in Equation (3) is a coefficient for changing the magnitude of the threshold, and the value of Th is normally about 0.2.
[0094]
After step S02 is completed, the input signal (V) is within the threshold range (T _low <V <T _high ) And the absolute value of the difference between the quantized value and the previous output value is within a certain range (| LM _prev It is determined whether or not | ≦ N and N are normally 1) (S03). The processing here corresponds to the threshold value comparison unit 303, the comparison unit 306, and the multiplication unit 307 in FIG.
[0095]
When the input signal is within the threshold range and the absolute value of the difference is within the certain range (YES in S03), the quantized value (L) calculated in S01 is output last time. Value (M _prev (S04). This process corresponds to the selection unit 305 in FIG.
[0096]
Next, the previous output value (M _prev ) Is set to a quantized value (L) (S05). The processing here corresponds to the delay unit 304 in FIG.
[0097]
After the step of S05 is completed, it is determined whether or not the quantization process to which the present invention is applied involves prediction (S06). When the prediction is accompanied (YES in S06), the prediction signal is quantized according to Expression (1) (S07). The processing here corresponds to the quantization unit 401 in FIG. 8 (quantization unit 401 in FIG. 9). Also, the quantized prediction signal obtained in S07 is subtracted from the quantized value (L) and output, and the process ends (S08). This process corresponds to the second difference unit 406 in FIG. 8 (second difference unit 406 in FIG. 9).
[0098]
On the other hand, when no prediction is involved (NO in S06), the quantized value (L) is output and the process is terminated (S09).
[0099]
Here, S06 to S09 are steps when the present invention is applied to encoding with prediction.
[0100]
The flicker reduction quantization program described above can reduce flicker interference by aligning quantized values.
[0101]
As described above, according to the present invention, flicker caused by quantization processing when an image is encoded can be reduced with high accuracy. More specifically, the difference between the quantized value of the immediately preceding frame and the quantized value of the first frame is that the input signal of the first frame is within the threshold range. If it is within the set range that is set separately from the threshold and if it is within the set range, the quantized value in the immediately preceding frame is used as the output signal, so that the quantized value is aligned and flicker interference is prevented. Can be reduced.
[0102]
In addition, flicker suppression accuracy can be adjusted by setting a threshold and a setting range, and flicker occurrence in a moving image obtained when the output signal is inversely quantized can be adjusted. The desired moving image can be easily acquired.
[0103]
In addition, flicker interference can be reduced even in inter-coding that performs prediction in moving image encoding or in an intra-coding format that may perform prediction in the same frame.
[0104]
The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications, within the scope of the gist of the present invention described in the claims, It can be changed.
[0105]
【The invention's effect】
As described above, according to the present invention, flicker caused by quantization processing when an image is encoded can be reduced with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram in the vicinity of a quantization unit in encoding with prediction.
FIG. 2 is a diagram illustrating a configuration example of a conventional JVT encoding encoder.
FIG. 3 is a diagram illustrating an example of flicker generated by quantization.
FIG. 4 is a diagram illustrating an example of conventional flicker suppression.
FIG. 5 is a diagram illustrating an example of flicker that occurs in encoding with prediction.
FIG. 6 is a diagram illustrating an example of flicker that occurs when the contents of Non-Patent Document 1 are applied to encoding with prediction.
FIG. 7 is a diagram illustrating a configuration example of a flicker reduction quantizer according to the present invention.
[Fig. 8] Fig. 8 is a diagram illustrating a block configuration example of a quantization unit when a moving image is encoded.
9 is a diagram illustrating an application example of a quantization unit illustrated in FIG.
FIG. 10 is a diagram illustrating an example of flicker suppression according to the present invention.
FIG. 11 is a diagram illustrating an example of an implementation using a fade image in the present invention.
FIG. 12 is a diagram illustrating an example of flicker that occurs when the present invention is applied to encoding with prediction.
FIG. 13 is an example of a block configuration diagram in the case where only the quantization method of the present invention is applied to encoding with prediction.
FIG. 14 is a diagram showing an example of flicker generated based on FIG.
FIG. 15 is a flowchart illustrating an example of a flicker reduction quantization procedure according to the present invention.
[Explanation of symbols]
101, 201 Difference part
102, 202, 301 Quantization unit
203, 401 Prediction signal quantization unit
204, 402 Predictive signal inverse quantization unit
302 Threshold generator
303 Threshold comparison unit
304 delay unit
305 selector
306 comparison unit
307 Multiplier
403,501 First difference unit
404, 502 Adder
405, 503 Quantization unit according to the present invention
406, 504 Second difference unit
407 Second quantization unit

Claims

In a flicker reduction quantizer for reducing the occurrence of flicker that occurs when a moving image encoded by quantization is decoded,
A quantization unit for quantizing the first frame included in the input signal;
A comparator for comparing the input signal with a preset threshold;
A selection unit that selects and outputs an output signal in the quantization unit of the first frame and an output signal of a frame immediately before the first frame based on a result of comparison by the comparison unit; Flicker-reducing quantizer characterized.

The comparison unit includes:
The input signal is within the threshold range, and further includes a setting range in which a difference between the quantized signal level of the immediately preceding frame and the quantized signal level of the first frame is set in advance. The flicker reduction quantizer according to claim 1, wherein the flicker reduction quantizer is compared.

A prediction signal quantization unit that quantizes the prediction signal when encoding the moving image using a signal after the difference between the input signal and the prediction signal;
The flicker reduction quantizer according to claim 1, further comprising: a prediction signal inverse quantization unit that inversely quantizes the prediction signal quantized by the prediction signal quantization unit.

A first difference unit that outputs a residual signal between the dequantized output signal output by the prediction signal dequantization unit and the input signal;
An adder for adding the residual signal obtained from the first difference unit and the inverse quantized output signal;
A second quantization unit for quantizing the inversely quantized output signal;
2. A second difference unit that outputs a residual signal between an output signal obtained from the addition unit and a quantized value of a prediction signal output from the second quantization unit. 4. The flicker reduction quantizer according to any one of 3 above.

In a flicker reduction quantization method for reducing the occurrence of flicker that occurs when a moving image encoded by quantization is decoded,
A quantization stage for quantizing a first frame included in the input signal;
A comparison step of comparing the input signal with a preset threshold;
And a selection step of selecting and outputting the output signal in the quantization step of the first frame and the output signal of the frame immediately before the first frame based on the result of comparison in the comparison step. Flicker-reducing quantization method characterized.

In a program for causing a computer to execute flicker reduction quantization processing for reducing the occurrence of flicker that occurs when a moving image encoded by quantization is decoded,
A quantization process for quantizing the first frame included in the input signal;
A comparison process for comparing the input signal with a preset threshold;
Based on the result of comparison by the comparison process, a selection process for selecting and outputting the output signal in the quantization process of the first frame and the output signal of the frame immediately before the first frame is executed on the computer Program to let you.