JP3664626B2

JP3664626B2 - Filter device

Info

Publication number: JP3664626B2
Application number: JP2000032847A
Authority: JP
Inventors: 浩行岡田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-02-10
Filing date: 2000-02-10
Publication date: 2005-06-29
Anticipated expiration: 2020-02-10
Also published as: JP2001224031A

Description

【０００１】
【発明の属する技術分野】
本発明は、ブロック分割して、直交変換・量子化・符号化された符号化データを復号し、逆量子化・逆直交変換して得られる復号画像に発生するブロックひずみとモスキート雑音を低減するフィルタ装置に関する。
【０００２】
【従来の技術】
近年、ISDN (Integrated Services Digital Network), GSTN (General Switched Telephone Network)を有効に活用するサービスとしてテレビ電話やテレビ会議などの画像通信サービスが有望視され、このような動画像の効率的な伝送を目的とした高能率符号化の研究が盛んに行われている。これらの研究は、画像の統計的な性質を利用して、その画像に含まれる冗長性を取り除くことにより、情報量の削減を行っている。このような符号化方式として動き補償予測と離散コサイン変換を組み合わせたハイブリッド符号化方式がよく知られている。
【０００３】
また、復号側においては、復号画像に対して動き補償予測と離散コサイン変換を組み合わせたハイブリッド符号化方式に特有なブロックひずみとモスキート雑音を低減するポストフィルタを実施し、画質の改善を行っている。
【０００４】
以下、図7により動き補償予測と2次元直交変換を用いた場合の動画像復号装置の従来例について説明する。図7において、51は可変長復号部、52は逆量子化部、53は逆直交変換部、54は加算器、55はフレームメモリ部、56は動き補償予測部、57はスイッチ、58はポストフィルタ部を示している。
【０００５】
可変長復号部51に符号化情報である符号化ビットストリームが入力される。符号化ビットストリームは、動画像符号化装置により生成した画像の直交変換係数や符号化の状態を表す符号化モード、すなわち、符号化実施の有無や動きベクトルやフレーム間／フレーム内予測の情報などが可変長符号化され、多重化されたものである。
【０００６】
可変長復号部51では符号化ビットストリームを復号して量子化された直交変換係数や動きベクトル、フレーム間／フレーム内予測などの符号化モード情報を得る。逆量子化部52では、量子化された直交変換係数に逆量子化を実施して直交変換係数を得て、これを逆直交変換部53で2次元逆直交変換して差分画像を得る。
【０００７】
上記符号化モードがフレーム間予測であるときは、スイッチ57の出力が動き補償予測部56の出力となるようにして、差分画像を加算器54でフレームメモリ部55に蓄積された前フレームの復号画像に基づき、動き補償予測部56からの動き補償予測値と加算して、フレームメモリ部55に現フレームの復号画像を蓄積する。
【０００８】
また、ブロックがフレーム内予測である場合は、スイッチ57が動き補償予測部56と切断され、逆直交変換部53からの出力に加算されるものがないので結果的に逆直交変換部53の出力がそのままフレームメモリ部55に復号画像として蓄積されることになる。
【０００９】
ポストフィルタ部５８では、加算器５４からの出力である現フレームの復号画像に対してブロックひずみ及びモスキート雑音を低減するポストフィルタを施し、雑音を低減した復号画像を出力する。
【００１０】
【発明が解決しようとする課題】
上記した従来の方式では、復号画像には必ずポストフィルタが実施され、前フレームと変化のない静止画像部分などポストフィルタの処理が必要ない部分にもフィルタリングが行われてしまい、処理量の増加や処理時間の浪費といった欠点がある。これは、ハードウェア化を行った場合など消費電力の増加にもつながる。
【００１１】
また、ブロックの符号化属性を参照しないため、発生した雑音に適したフィルタリングを行うことができないので、処理量の増加のみならずフィルタリングによる画質の劣化も引き起こすという欠点もある。
【００１２】
このような問題点に鑑み、本発明は、現ブロックの符号化実施の有無、動きベクトル、フレーム間／フレーム内予測の情報、変換係数の状態に基づいて、ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのオン／オフ制御、さらに前フレームのポストフィルタが施された復号画像によるブロックの置き換えを適応的に行い、処理量を軽減しつつもポストフィルタによる雑音が低減された復号画像を得ることができ、画質の改善が可能なフィルタ装置を提供するものである。
【００１３】
【課題を解決するための手段】
本発明によれば、ブロック毎に符号化された画像を復号し、復号画像をフィルタリングするフィルタ手段と、前記フィルタリングの際のフィルタの強度を決定するフィルタ強度決定手段を備え、前記ブロックの予測符号化モードがフレーム内予測の場合はフレーム間予測よりも必ず強いフィルタ強度を設定し、前記フィルタ強度に従ってブロック境界をフィルタリングすることにより、上記課題を解決する。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の一実施例について説明する。図１は本発明の一実施例のブロック図であり、符号化ビットストリームを可変長復号する可変長復号部1と、該可変長復号部1に接続し量子化された直交変換係数を逆量子化する逆量子化部2と、該逆量子化部2に接続し直交変換係数を2次元逆直交変換して差分画像を求める逆直交変換部3と、該逆直交変換部3とスイッチ7に接続し該逆直交変換部3で得られた差分画像と動き補償予測値とを加算して復号画像を求める加算器4と、該加算器4に接続し該加算器4で得られた復号画像を蓄積する第1のフレームメモリ部5と、該可変長復号部1と該第1のフレームメモリ部5に接続し動き補償予測値を出力する動き補償予測部6と、該可変長復号部1と該動き補償予測部6に接続し動き補償予測値の出力を切換えるスイッチ7と、該可変長復号部1に接続しポストフィルタの動作を制御するポストフィルタ処理内容制御部8と、該加算器4と該ポストフィルタ処理内容制御部8に接続し復号画像にポストフィルタを実施するポストフィルタ部9と、該ポストフィルタ処理内容制御部8と出力信号選択部11とに接続しポストフィルタされた画像を蓄積する第2のフレームメモリ部10と、該ポストフィルタ部9と該第2のフレームメモリ部10と該ポストフィルタ処理内容制御部8に接続しポストフィルタされた画像の出力を切換え制御する出力信号選択部11を備えている。
【００１５】
上記構成による動画像復号装置の動作は、以下の通りである。
【００１６】
可変長復号部1は、動画像符号化装置により画像に対してDCTを実施して当該DCT係数を量子化した量子化されたDCT係数、符号化実施の有無の情報、フレーム内／フレーム間予測の情報である予測符号化モード、動きベクトル等を可変長符号化して多重化された符号化ビットストリームを生成したもの、例えばITU-T勧告H.263に従う符号化ビットストリームが入力される。
【００１７】
そして、ここで可変長復号を行うことで、ブロック毎に量子化された離散コサイン変換(DCT)係数、動きベクトル、フレーム間／フレーム内予測の情報（予測符号化モード）、符号化しないブロック（符号化実施の有無の情報）、量子化ステップサイズ等の符号化情報を得る。
【００１８】
逆量子化部2では、可変長復号部1で得られた量子化されたDCT係数を量子化ステップサイズに従い逆量子化して逆量子化されたDCT係数を得る。
【００１９】
逆直交変換部3は、逆量子化されたDCT係数に2次元逆DCTを実施して差分画像を得る。
【００２０】
加算器4では、ブロックがフレーム間予測であった場合は第1のフレームメモリ部5に蓄積された前フレームの復号画像からブロックの動きベクトルに基づき算出された動き補償予測値、あるいはそのブロックがフレーム内予測であった場合はスイッチ7により動き補償予測値をゼロとするような出力とを切り替え、逆直交変換部3で得られた差分画像を加算して復号画像を得る。
【００２１】
第1のフレームメモリ部5は、加算器4で得られた復号画像を蓄積する。
動き補償予測部6では、第1のフレームメモリ部5の前フレームの復号画像と可変長復号部1からの情報である動きベクトルから動き補償予測値を求める。
【００２２】
スイッチ7は、可変長復号部1で復号された予測符号化モードの情報に従い、加算器4への入力を切換える。
【００２３】
加算器4からの出力は第１のフレームメモリ部5に出力されるとともに、ポストフィルタ部9にも出力される。
【００２４】
ポストフィルタ処理内容制御部8は、ポストフィルタ部9、第2のフレームメモリ部10、出力信号選択部11の動作を制御して処理量を削減し最適な雑音低減処理が実施できるような制御を行う。これは、可変長復号部1からの出力される符号化情報である現ブロックの符号化モードとDCT係数の状態によって図2に示すように次のような処理が決定される。
【００２５】
符号化モードはビットストリーム中に存在する符号化モードを表すビットにより容易に判断することができる。DCT係数の状態（有無・内容）を判断する手段に関しては、ビットストリーム中にDCT係数の状態を示すビットフラグが存在する場合は、そのビットフラグに基づいて判断すればよい。もし、ビットストリーム中にそのようなビットフラグが存在しない場合は、可変長復号されたデータそのものに基づいて、各ブロックのDCT係数の状態を判断することになる。
【００２６】
(1) 符号化しないブロックであるとき
ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施せず、第2のフレームメモリ部10の前フレームのポストフィルタが実施された復号画像の現ブロックの位置の画像を出力とする。
【００２７】
(2) フレーム間予測でブロック内にDCT係数が存在しないとき
ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施せず、第2のフレームメモリ部10の前フレームのポストフィルタリングが実施された復号画像に対して動きベクトルに従い動き補償を行った位置の画像を出力とする。
【００２８】
(3) フレーム間予測でブロック内にDCT係数の直流成分のみが存在するとき
加算器4からの出力に対して、ブロックひずみ低減フィルタのみを実施し、この画像を出力とする。
【００２９】
(4) フレーム間予測でブロック内にDCT係数の直流および交流成分が存在するとき
加算器4からの出力に対して、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する。
【００３０】
(5) フレーム内予測でブロック内にDCT係数の直流成分のみが存在するとき
加算器4からの出力に対して、フレーム間予測の場合と比較して強いフィルタ強度でブロックひずみ低減フィルタのみを実施し、この画像を出力とする。
【００３１】
(6) フレーム内予測でブロック内にDCT係数の直流および交流成分が存在するとき
加算器4からの出力に対して、フレーム間予測の場合と比較して強いフィルタ強度でブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施し、この画像を出力とする。
【００３２】
上記のように6種類の場合分けをした理由は以下の通りである。まず、現ブロックが符号化しないのブロックである場合は、第2のフレームメモリ部10にある前フレームにおける現ブロックと同位置のポストフィルタされた復号画像と同様である。従って、現ブロックをこれに置き換えれば新たにポストフィルタを実施する必要がなく処理量の低減となる。
【００３３】
また、現ブロックがフレーム間予測でブロック内にDCT係数が存在しない場合は、第2のフレームメモリ部10にある前フレームにおける現ブロックに対して動きベクトルにより動き補償された位置のポストフィルタされた復号画像と同様である。従って、現ブロックをこれに置き換えれば新たにポストフィルタを実施する必要がなく処理量の低減となる。
【００３４】
また、現ブロックがフレーム間予測でブロック内にDCT係数の直流成分のみが存在する場合は、ブロックひずみのみしか発生しないので、ブロックひずみ低減フィルタだけを実施すれば良い。従って、モスキート雑音低減フィルタを行わない分、処理量の低減となる。
【００３５】
また、現ブロックがフレーム間予測でブロック内にDCT係数の直流および交流成分が両方存在する場合は、ブロックひずみ及びモスキート雑音の両方が発生している可能性があるので、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する必要がある。
【００３６】
また、現ブロックがフレーム内予測でブロック内にDCT係数の直流成分のみが存在する場合は、ブロックひずみのみしか発生しないので、ブロックひずみ低減フィルタだけを実施すれば良い。従って、モスキート雑音低減フィルタを行わない分、処理量の低減となる。しかし、フレーム内予測はフレーム間予測より高圧縮されるため画質が劣化するので、フレーム間予測のときよりも強いフィルタ強度でフィルタ処理を実施する。
【００３７】
また、現ブロックがフレーム内予測でブロック内にDCT係数の直流および交流成分が存在する場合は、ブロックひずみ及びモスキート雑音の両方が発生している可能性があるので、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する必要がある。しかし、フレーム内予測はフレーム間予測より高圧縮されるため画質が劣化するので、フレーム間予測のときよりも強いフィルタ強度でフィルタ処理を実施する。
【００３８】
上記の処理の一例を図3により説明する。本来、加算器4からはブロック単位で復号画像が出力されるが、図3(A)において加算器4の出力内容は説明のために復元する画像と同様にブロックを並べた形で示してある。また、図3(B)の第2のフレームメモリの内容は、前フレームのポストフィルタが実施された画像である。
【００３９】
図3においてブロック1は前フレームと全く同一であるため、符号化実施の有無の情報が符号化しないブロックとなっている。従って、このブロックは第2のフレームメモリに格納されている前フレームのポストフィルタが実施された画像のブロック2で示すブロックを用いれば良いことになり、ブロックひずみ及びモスキート雑音低減処理を実施する必要がない。
【００４０】
また、ブロック3は動きベクトルで示されたブロック4と同一でありるため、フレーム間予測で動きベクトルを持ちDCT係数が存在しない。従って、ブロック4で示すブロックを用いれば良いことになり、ブロックひずみ及びモスキート雑音低減処理を実施する必要がない。
【００４１】
また、ブロック5は前フレームおいて全く存在しない画像であるので、フレーム内予測でブロック内にDCT係数の直流および交流成分が存在する。従って、加算器4からの出力に対してブロックひずみ及びモスキート雑音低減処理を実施することになる。ポストフィルタ部9では、加算器4での復号画像に発生した雑音を低減する。
【００４２】
図4は、ポストフィルタ部9の構成を説明する図であり、該ポストフィルタ処理内容制御部8と接続し、ブロックひずみ低減フィルタ部22と切換器23とモスキート雑音低減フィルタ部24と切換器25の動作を制御するフィルタ切換制御部21と、該加算器4と該フィルタ切換制御部21に接続しブロックひずみを低減するフィルタを行うブロックひずみ低減フィルタ部22と、該加算器4と該フィルタ切換制御部21と該ブロックひずみ低減フィルタ部22に接続しブロックひずみ低減フィルタの出力か、加算器4の出力かを切換え出力する切換器23と、該フィルタ切換制御部21と該切換器23に接続しモスキート雑音を低減するフィルタを行うモスキート低減フィルタ部24と、該フィルタ切換制御部21と該切換器23と該モスキート雑音低減フィルタ部24に接続しモスキート雑音低減フィルタの出力か、切換器23の出力かを切換え出力する切換器25で構成する。
【００４３】
フィルタ切換制御部21は、ポストフィルタ処理内容制御部8で決定された処理に従い、ポストフィルタリングの動作を次のように制御する。
【００４４】
(1) ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施しないとき
ブロックひずみ低減フィルタ部22をオフにし、加算器4の出力がそのまま切換器23の出力となるようにする。さらに、モスキート雑音低減フィルタ部24をオフにし、切換器23の出力がそのまま切換器25の出力となるようにする。
【００４５】
(2) ブロックひずみ低減フィルタのみを実施するとき
ブロックひずみ低減フィルタ部22をオンにし、ブロックひずみ低減フィルタ部22の出力が切換器23の出力となるようにする。さらに、モスキート雑音低減フィルタ部24をオフにし、切換器23の出力がそのまま切換器25の出力となるようにする。
【００４６】
(3) ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタの両方を実施するとき
ブロックひずみ低減フィルタ部22をオンにし、ブロックひずみ低減フィルタ部22の出力が切換器23の出力となるようにする。さらに、モスキート雑音低減フィルタ部24をオンにし、モスキート雑音低減フィルタ部24の出力が切換器25の出力となるようにする。
【００４７】
ブロックひずみ低減フィルタ部22は、フィルタ切換制御部21の制御に従ってブロックひずみ低減フィルタを実施のときに次のような処理を行う。これは、ブロック境界の不連続を除去することが目的であるので、図5に示すように加算器4の出力である復号画像のブロック境界を挟んだx0、x1の2画素を滑らかに接続するようにする。その際、レベル差の大きい部分の過補償を防ぐために、式(1)のような非線型処理を行い、x0を出力画素値y0に置き換える。ここで、qはフィルタ強度を制御するパラメータである。
【００４８】
【数１】

【００４９】
また、フィルタ切換制御部21の制御がブロックひずみ低減フィルタ部22をオフのときは上記の処理は行われない。
【００５０】
切換器23では、フィルタ切換制御部21の制御がブロックひずみ低減フィルタ部22をオンのときは、ブロックひずみ低減フィルタ部22の出力、すなわちブロックひずみが低減された復号画像が出力されるように切換が行われる。また、フィルタ切換制御部21の制御がブロックひずみ低減フィルタ部22をオフのときは、加算器4の出力、すなわちフィルタ処理されていない復号画像がそのまま出力されるように切換が行われる。
【００５１】
モスキート雑音低減フィルタ部24は、フィルタ切換制御部21の制御に従ってモスキート雑音低減フィルタを実施のときに次のような処理を行う。ここでは、図6に示すように注目画素xi,jを中心とした3×3画素のウィンドウにより式(2)に示すフィルタを用いて出力画素yi,jを得て、xi,jと置き換える。ここで、εはフィルタ強度を制御するパラメータである。
【００５２】
【数２】

【００５３】
また、フィルタ切換制御部21の制御がモスキート雑音低減フィルタ部24をオフのときは上記の処理は行われない。
【００５４】
切換器25では、フィルタ切換制御部21の制御がモスキート雑音低減フィルタ部24をオンのときは、モスキート雑音低減フィルタ部24の出力、すなわちモスキート雑音が低減された復号画像が出力されるように切換が行われる。また、フィルタ切換制御部21の制御がモスキート雑音低減フィルタ部24をオフのときは、切換器23の出力、すなわちフィルタ処理されていない復号画像、あるいはブロックひずみのみ低減処理された復号画像が出力されるように切換が行われる。
【００５５】
第2のフレームメモリ部10は、出力信号選択部11の出力が入力され雑音が低減された前フレームの復号画像として蓄積しておく。また、ポストフィルタ処理内容制御部8からの制御により、現ブロックが符号化しないブロックであるときはその位置に相当する前フレームの画像が出力信号選択部11にブロック単位で入力される。また、フレーム間予測でブロック内にDCT係数が存在しないときには、動きベクトルに従い動き補償を行った位置の画像を出力信号選択部11に入力されるようにする。
【００５６】
出力信号選択部11では、ポストフィルタ処理内容制御部8の制御に従ってポストフィルタ部9からの出力か、第2のフレームメモリ部10からの出力かどちらか一方が出力されるように切換が行われる。すなわち、現ブロックが符号化しないブロックであるとき、あるいはフレーム間予測でブロック内にDCT係数が存在しないときは、第2のフレームメモリ部10からの入力が出力されるように切換が行われる。また、フレーム間予測でブロック内にDCT係数の直流成分のみが存在するとき、あるいはフレーム間予測でブロック内にDCT係数の直流および交流成分が存在するとき、あるいはフレーム内予測でブロック内にDCT係数の直流成分のみが存在するとき、あるいはフレーム内予測でブロック内にDCT係数の直流および交流成分が存在するときには、ポストフィルタ部9からの入力が出力されるように切換が行われる。
【００５７】
以上のように符号化実施の有無と動きベクトルとフレーム間／フレーム内予測の情報によりポストフィルタとポストフィルタが実施された前フレームの画像が蓄積されている第2のフレームメモリを適応的に制御することで、処理量を軽減しながらも雑音が低減された復号画像を得ることができる。即ち、現ブロックの符号化実施の有無、動きベクトル、フレーム間／フレーム内予測の情報、変換係数の状態に基づいて、ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのオン／オフ制御、さらに前フレームのポストフィルタが施された復号画像によるブロックの置き換えを適応的に行うので、処理量を軽減しつつもポストフィルタによる雑音の低減された復号画像を得ることができる。また、本実施例をハードウェア化した場合においては、この処理量の軽減は消費電力の削減という効果もある。
【００５８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ブロック間のフレーム間／フレーム内予測符号化モードに基づいてフィルタ強度を決定することで、フレーム間予測より高圧縮され画質が劣化するフレーム内予測のブロック境界に強いフィルタリングが実施されるので、効果的にブロックひずみが低減できる。
【図面の簡単な説明】
【図１】本発明における一実施形態の構成を示すブロック図である。
【図２】本発明におけるポストフィルタ処理内容制御部の処理を示す説明図である。
【図３】本発明におけるポストフィルタ処理の一例を説明する図である。
【図４】本発明におけるポストフィルタ部の構成の詳細を示す図である。
【図５】本発明におけるブロックひずみ低減フィルタの構成を説明する図である。
【図６】本発明におけるモスキート雑音低減フィルタの構成を説明する図である。
【図７】従来の動画像復号装置の構成を示すブロック図である。
【符号の説明】
１…可変長復号部、２…逆量子化部、３…逆直交変換部、４…加算器、５…第１のフレームメモリ部、６…動き補償予測部、７…スイッチ、８…ポストフィルタ処理内容制御部、９…ポストフィルタ部、１０…第２のフレームメモリ部、１１…出力信号選択部。[0001]
BACKGROUND OF THE INVENTION
The present invention is divided into blocks, and decode the orthogonal transform and quantization and coding the encoded data, a block His Mito mosquito noise generated in the decoded image obtained by the inverse quantization and inverse orthogonal transform The present invention relates to a reducing filter device.
[0002]
[Prior art]
In recent years, video communication services such as videophones and videoconferencing are promising as services that make effective use of ISDN (Integrated Services Digital Network) and GSTN (General Switched Telephone Network). Research on high-efficiency coding aimed at has been actively conducted. These studies use the statistical properties of images to reduce the amount of information by removing the redundancy contained in the images. As such an encoding method, a hybrid encoding method combining motion compensation prediction and discrete cosine transform is well known.
[0003]
On the decoding side, post-filters that reduce block distortion and mosquito noise that are characteristic of hybrid coding schemes that combine motion-compensated prediction and discrete cosine transform are implemented on decoded images to improve image quality. .
[0004]
Hereinafter, a conventional example of a moving picture decoding apparatus using motion compensated prediction and two-dimensional orthogonal transform will be described with reference to FIG. In FIG. 7, 51 is a variable length decoding unit, 52 is an inverse quantization unit, 53 is an inverse orthogonal transform unit, 54 is an adder, 55 is a frame memory unit, 56 is a motion compensation prediction unit, 57 is a switch, and 58 is a post. The filter part is shown.
[0005]
The variable length decoding unit 51 receives an encoded bit stream that is encoded information. The encoded bit stream is an encoding mode that represents an orthogonal transform coefficient of an image generated by a moving image encoding device or an encoding state, that is, whether or not encoding is performed, motion vectors, interframe / intraframe prediction information, etc. Are variable-length encoded and multiplexed.
[0006]
The variable length decoding unit 51 decodes the encoded bitstream to obtain quantized orthogonal transform coefficients, motion vectors, and encoding mode information such as interframe / intraframe prediction. The inverse quantization unit 52 performs inverse quantization on the quantized orthogonal transform coefficients to obtain orthogonal transform coefficients, and the inverse orthogonal transform unit 53 performs two-dimensional inverse orthogonal transform to obtain a difference image.
[0007]
When the encoding mode is inter-frame prediction, the output of the switch 57 is the output of the motion compensation prediction unit 56, and the difference image is decoded by the adder 54 in the frame memory unit 55. The decoded image of the current frame is accumulated in the frame memory unit 55 by adding the motion compensation prediction value from the motion compensation prediction unit 56 based on the image.
[0008]
When the block is intra-frame prediction, the switch 57 is disconnected from the motion compensation prediction unit 56 and nothing is added to the output from the inverse orthogonal transform unit 53, so that the output of the inverse orthogonal transform unit 53 results. Is stored as a decoded image in the frame memory unit 55 as it is.
[0009]
The post filter unit 58 performs post filtering to reduce blocking His body and mosquito noise on the decoded image of the current frame which is the output from the adder 54, and outputs the decoded image to reduce noise.
[0010]
[Problems to be solved by the invention]
In the conventional method described above, post-filtering is always performed on the decoded image, and filtering is performed even on portions that do not require post-filter processing, such as still image portions that do not change from the previous frame. There is a disadvantage of wasted processing time. This leads to an increase in power consumption such as when hardware is used.
[0011]
In addition, since the coding attribute of the block is not referred to, filtering suitable for the generated noise cannot be performed, so that there is a disadvantage that not only the processing amount is increased but also the image quality is deteriorated due to filtering.
[0012]
In view of such a problem, the present invention provides a block distortion reduction filter and a mosquito noise reduction filter based on whether or not the current block is encoded, a motion vector, interframe / intraframe prediction information, and the state of a transform coefficient. ON / OFF control and block replacement with a decoded image that has been postfiltered in the previous frame are adaptively performed, and a decoded image with reduced noise due to the postfilter can be obtained while reducing the processing amount. The present invention provides a filter device capable of improving image quality.
[0013]
[Means for Solving the Problems]
According to the present invention, there is provided a filter unit that decodes an image encoded for each block, filters the decoded image, and a filter strength determination unit that determines the strength of the filter at the time of filtering. When the conversion mode is intra-frame prediction, a filter strength that is always stronger than that of inter-frame prediction is set, and the block boundary is filtered according to the filter strength to solve the above-described problem.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram of an embodiment of the present invention. A variable length decoding unit 1 that performs variable length decoding of an encoded bit stream, and an orthogonal transform coefficient that is quantized and connected to the variable length decoding unit 1 is inversely quantized. The inverse quantization unit 2 to be converted, the inverse orthogonal transformation unit 3 connected to the inverse quantization unit 2 to obtain a difference image by two-dimensional inverse orthogonal transformation of the orthogonal transformation coefficient, the inverse orthogonal transformation unit 3 and the switch 7 An adder 4 connected to obtain the decoded image by adding the difference image obtained by the inverse orthogonal transform unit 3 and the motion compensated prediction value, and the decoded image obtained by the adder 4 connected to the adder 4 A first frame memory unit 5, a variable length decoding unit 1, a motion compensation prediction unit 6 connected to the first frame memory unit 5 to output a motion compensation prediction value, and the variable length decoding unit 1 And a switch 7 connected to the motion compensation prediction unit 6 for switching the output of the motion compensation prediction value, and a postfill connected to the variable length decoding unit 1 A post filter processing content control unit 8 for controlling the operation of the data filter, a post filter unit 9 connected to the adder 4 and the post filter processing content control unit 8 to perform post filtering on the decoded image, and the post filter processing content A second frame memory unit 10 connected to the control unit 8 and the output signal selection unit 11 to store the post-filtered image, the post filter unit 9, the second frame memory unit 10, and the post filter processing content An output signal selection unit 11 that is connected to the control unit 8 and switches and controls the output of the post-filtered image is provided.
[0015]
The operation of the moving picture decoding apparatus having the above configuration is as follows.
[0016]
The variable length decoding unit 1 performs DCT on an image by a moving image encoding apparatus and quantizes the DCT coefficient, information on whether encoding is performed, intra-frame / inter-frame prediction The encoded bitstream generated by variable-length encoding the prediction encoding mode, motion vector, etc., which is information of the above, and generated, for example, an encoded bitstream according to ITU-T recommendation H.263 is input.
[0017]
Then, by performing variable length decoding here, discrete cosine transform (DCT) coefficients quantized for each block, motion vectors, interframe / intraframe prediction information (predictive coding mode), blocks that are not coded ( Encoding information such as whether or not encoding has been performed) and quantization step size.
[0018]
In the inverse quantization unit 2, the quantized DCT coefficient obtained by the variable length decoding unit 1 is inversely quantized according to the quantization step size to obtain an inversely quantized DCT coefficient.
[0019]
The inverse orthogonal transform unit 3 performs a two-dimensional inverse DCT on the inversely quantized DCT coefficient to obtain a difference image.
[0020]
In the adder 4, when the block is inter-frame prediction, the motion compensated prediction value calculated based on the motion vector of the block from the decoded image of the previous frame stored in the first frame memory unit 5, or the block In the case of intra-frame prediction, the switch 7 switches the output so that the motion compensation prediction value is zero, and the difference image obtained by the inverse orthogonal transform unit 3 is added to obtain a decoded image.
[0021]
The first frame memory unit 5 stores the decoded image obtained by the adder 4.
The motion compensation prediction unit 6 obtains a motion compensation prediction value from the decoded image of the previous frame in the first frame memory unit 5 and the motion vector that is information from the variable length decoding unit 1.
[0022]
The switch 7 switches the input to the adder 4 according to the information of the predictive coding mode decoded by the variable length decoding unit 1.
[0023]
The output from the adder 4 is output to the first frame memory unit 5 and also to the post filter unit 9.
[0024]
The post-filter processing content control unit 8 controls the operations of the post-filter unit 9, the second frame memory unit 10, and the output signal selection unit 11 so as to reduce the processing amount and perform the optimal noise reduction processing. Do. As shown in FIG. 2, the following processing is determined according to the coding mode of the current block, which is the coding information output from the variable length decoding unit 1, and the state of the DCT coefficient.
[0025]
The encoding mode can be easily determined by bits representing the encoding mode present in the bitstream. Regarding the means for determining the state (presence / absence / content) of the DCT coefficient, if a bit flag indicating the state of the DCT coefficient is present in the bitstream, the determination may be made based on the bit flag. If such a bit flag does not exist in the bit stream, the state of the DCT coefficient of each block is determined based on the variable length decoded data itself.
[0026]
(1) When the block is not encoded, neither the block distortion reduction filter nor the mosquito noise reduction filter is executed, and the position of the current block of the decoded image in which the post filter of the previous frame of the second frame memory unit 10 is executed Is output.
[0027]
(2) When there is no DCT coefficient in the block in the inter-frame prediction, neither the block distortion reduction filter nor the mosquito noise reduction filter is executed, and the decoding in which the post-filtering of the previous frame of the second frame memory unit 10 is executed An image at a position where motion compensation has been performed on the image according to the motion vector is output.
[0028]
(3) When only the DC component of the DCT coefficient exists in the block in the inter-frame prediction, only the block distortion reduction filter is applied to the output from the adder 4, and this image is output.
[0029]
(4) When direct current and alternating current components of DCT coefficients exist in the block in the inter-frame prediction, both the block distortion reduction filter and the mosquito noise reduction filter are performed on the output from the adder 4.
[0030]
(5) When only the DC component of the DCT coefficient exists in the block in intra-frame prediction, only the block distortion reduction filter is executed with a stronger filter strength than the inter-frame prediction for the output from the adder 4 This image is output.
[0031]
(6) When there are DC and AC components of DCT coefficients in the block in intra-frame prediction, the block distortion reduction filter and mosquito have a stronger filter strength than the inter-frame prediction for the output from the adder 4. Both noise reduction filters are implemented and this image is output.
[0032]
The reason why the six cases are divided as described above is as follows. First, when the current block is an unencoded block, it is the same as a post-filtered decoded image at the same position as the current block in the previous frame in the second frame memory unit 10. Therefore, if the current block is replaced with this, it is not necessary to perform a new post filter, and the amount of processing is reduced.
[0033]
Also, if the current block is inter-frame prediction and no DCT coefficient exists in the block, the current block in the previous frame in the second frame memory unit 10 is post-filtered at a position that has been motion compensated by a motion vector. This is the same as the decoded image. Therefore, if the current block is replaced with this, it is not necessary to perform a new post filter, and the amount of processing is reduced.
[0034]
Further, when the current block has inter-frame prediction and only the DC component of the DCT coefficient is present in the block, only the block distortion is generated, so that only the block distortion reduction filter needs to be implemented. Therefore, the amount of processing is reduced by not performing the mosquito noise reduction filter.
[0035]
Also, if the current block is inter-frame prediction and both DC and AC components of the DCT coefficient exist in the block, both block distortion and mosquito noise may be generated. Both noise reduction filters need to be implemented.
[0036]
In addition, when the current block has intra-frame prediction and only the DC component of the DCT coefficient exists in the block, only the block distortion is generated, so that only the block distortion reduction filter needs to be implemented. Therefore, the amount of processing is reduced by not performing the mosquito noise reduction filter. However, since the intra-frame prediction is compressed higher than the inter-frame prediction, the image quality is deteriorated. Therefore, the filtering process is performed with a stronger filter strength than that in the inter-frame prediction.
[0037]
Also, if the current block has intra-frame prediction and there are DC and AC components of the DCT coefficient in the block, both block distortion and mosquito noise may occur. Both reduction filters need to be implemented. However, since the intra-frame prediction is compressed higher than the inter-frame prediction, the image quality is deteriorated. Therefore, the filtering process is performed with a stronger filter strength than that in the inter-frame prediction.
[0038]
An example of the above processing will be described with reference to FIG. Originally, the decoded image is output in units of blocks from the adder 4, but in FIG. 3A, the output content of the adder 4 is shown in a form in which blocks are arranged in the same manner as the image to be restored for explanation. . Also, the content of the second frame memory in FIG. 3B is an image on which the post-filter for the previous frame has been performed.
[0039]
In FIG. 3, since block 1 is exactly the same as the previous frame, information indicating whether or not encoding is performed is a block that is not encoded. Therefore, it is sufficient to use the block indicated by block 2 of the image on which the post-filter of the previous frame stored in the second frame memory is performed, and it is necessary to perform block distortion and mosquito noise reduction processing. There is no.
[0040]
Further, since block 3 is the same as block 4 indicated by the motion vector, there is a motion vector in the inter-frame prediction and there is no DCT coefficient. Therefore, the block indicated by block 4 may be used, and it is not necessary to perform block distortion and mosquito noise reduction processing.
[0041]
Further, since the block 5 is an image that does not exist at all in the previous frame, DC and AC components of the DCT coefficient exist in the block in intra-frame prediction. Therefore, block distortion and mosquito noise reduction processing is performed on the output from the adder 4. The post filter unit 9 reduces noise generated in the decoded image in the adder 4.
[0042]
FIG. 4 is a diagram illustrating the configuration of the post filter unit 9, which is connected to the post filter processing content control unit 8, and is configured to block noise reduction filter unit 22, switch 23, mosquito noise reduction filter unit 24, and switch 25. A filter switching control unit 21 that controls the operation of the adder 4, a block distortion reducing filter unit 22 that is connected to the adder 4 and the filter switching control unit 21 to perform a filter that reduces block distortion, and the adder 4 and the filter switching Connected to the control unit 21 and the block distortion reduction filter unit 22 to switch between the output of the block distortion reduction filter and the output of the adder 4, and connected to the filter switching control unit 21 and the switch 23 A mosquito reduction filter section 24 for performing a filter for reducing the mosquito noise, the filter switching control section 21, the switch 23, and the mosquito noise reduction filter section 24. The output of the reduction filter, composed of a switcher 25 to output switching whether the output of the switching unit 23.
[0043]
The filter switching control unit 21 controls the post filtering operation as follows in accordance with the processing determined by the post filter processing content control unit 8.
[0044]
(1) When neither the block distortion reduction filter nor the mosquito noise reduction filter is implemented, the block distortion reduction filter unit 22 is turned off so that the output of the adder 4 becomes the output of the switch 23 as it is. Further, the mosquito noise reduction filter unit 24 is turned off so that the output of the switch 23 becomes the output of the switch 25 as it is.
[0045]
(2) When only the block distortion reduction filter is implemented, the block distortion reduction filter section 22 is turned on so that the output of the block distortion reduction filter section 22 becomes the output of the switch 23. Further, the mosquito noise reduction filter unit 24 is turned off so that the output of the switch 23 becomes the output of the switch 25 as it is.
[0046]
(3) When implementing both the block distortion reduction filter and the mosquito noise reduction filter, the block distortion reduction filter section 22 is turned on so that the output of the block distortion reduction filter section 22 becomes the output of the switch 23. Further, the mosquito noise reduction filter unit 24 is turned on so that the output of the mosquito noise reduction filter unit 24 becomes the output of the switch 25.
[0047]
The block distortion reduction filter unit 22 performs the following processing when implementing the block distortion reduction filter in accordance with the control of the filter switching control unit 21. The purpose of this is to remove the discontinuity of the block boundary, so as shown in FIG. 5, two pixels x0 and x1 sandwiching the block boundary of the decoded image that is the output of the adder 4 are smoothly connected. Like that. At this time, in order to prevent over-compensation of a portion with a large level difference, nonlinear processing such as Expression (1) is performed, and x0 is replaced with the output pixel value y0. Here, q is a parameter for controlling the filter strength.
[0048]
[Expression 1]

[0049]
Further, when the control of the filter switching control unit 21 turns off the block distortion reduction filter unit 22, the above processing is not performed.
[0050]
In the switch 23, when the control of the filter switching control unit 21 turns on the block distortion reduction filter unit 22, switching is performed so that the output of the block distortion reduction filter unit 22, that is, a decoded image with reduced block distortion is output. Is done. Further, when the control of the filter switching control unit 21 turns off the block distortion reduction filter unit 22, switching is performed so that the output of the adder 4, that is, the decoded image that has not been subjected to the filtering process is output as it is.
[0051]
The mosquito noise reduction filter unit 24 performs the following processing when implementing the mosquito noise reduction filter according to the control of the filter switching control unit 21. Here, as shown in FIG. 6, an output pixel yi, j is obtained using a filter shown in Expression (2) from a 3 × 3 pixel window centered on the pixel of interest xi, j and is replaced with xi, j. Here, ε is a parameter for controlling the filter strength.
[0052]
[Expression 2]

[0053]
Further, when the control of the filter switching control unit 21 turns off the mosquito noise reduction filter unit 24, the above processing is not performed.
[0054]
In the switch 25, when the control of the filter switching control unit 21 turns on the mosquito noise reduction filter unit 24, switching is performed so that an output of the mosquito noise reduction filter unit 24, that is, a decoded image with reduced mosquito noise is output. Is done. Further, when the control of the filter switching control unit 21 turns off the mosquito noise reduction filter unit 24, the output of the switch 23, that is, the decoded image that has not been subjected to the filtering process or the decoded image that has been subjected only to the block distortion reduction process is output. Switching is performed as follows.
[0055]
The second frame memory unit 10 stores the output of the output signal selection unit 11 as a decoded image of the previous frame in which noise is reduced. When the current block is a block that is not encoded by the control from the post filter processing content control unit 8, the image of the previous frame corresponding to the position is input to the output signal selection unit 11 in units of blocks. In addition, when there is no DCT coefficient in a block in inter-frame prediction, an image at a position where motion compensation has been performed according to a motion vector is input to the output signal selection unit 11.
[0056]
In the output signal selection unit 11, switching is performed so that either the output from the post filter unit 9 or the output from the second frame memory unit 10 is output according to the control of the post filter processing content control unit 8. . That is, when the current block is a non-encoded block, or when there is no DCT coefficient in the block in inter-frame prediction, switching is performed so that the input from the second frame memory unit 10 is output. Also, when only DC component of DCT coefficient exists in the block in inter-frame prediction, or when DC component and AC component of DCT coefficient exist in the block in inter-frame prediction, or DCT coefficient in block by intra-frame prediction When there is only a direct current component, or when there are direct current and alternating current components of DCT coefficients in the block in intra-frame prediction, switching is performed so that the input from the post filter unit 9 is output.
[0057]
As described above, the second frame memory in which the post-filter and the image of the previous frame subjected to the post-filter are stored is adaptively controlled based on the presence / absence of encoding, motion vector, and inter-frame / intra-frame prediction information. By doing so, it is possible to obtain a decoded image with reduced noise while reducing the processing amount. That is, on / off control of the block distortion reduction filter and the mosquito noise reduction filter based on the presence / absence of encoding of the current block, motion vector, interframe / intraframe prediction information, and transform coefficient state, Since the block replacement with the decoded image subjected to the post filter is adaptively performed, it is possible to obtain a decoded image with reduced noise due to the post filter while reducing the processing amount. Further, when the present embodiment is implemented as hardware, the reduction of the processing amount also has an effect of reducing power consumption.
[0058]
【The invention's effect】
As is clear from the above description, according to the present invention, a frame whose compression quality is higher than that of inter-frame prediction and image quality deteriorates is determined by determining the filter strength based on the inter-frame / intra-frame prediction encoding mode between blocks. Since strong filtering is performed on the block boundary of the inner prediction, block distortion can be effectively reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing processing of a post filter processing content control unit in the present invention.
FIG. 3 is a diagram illustrating an example of post filter processing in the present invention.
FIG. 4 is a diagram showing details of a configuration of a post filter unit in the present invention.
5 is a diagram illustrating the configuration of a block His viewed reduction filter according to the present invention.
FIG. 6 is a diagram illustrating a configuration of a mosquito noise reduction filter according to the present invention.
FIG. 7 is a block diagram illustrating a configuration of a conventional video decoding device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Variable length decoding part, 2 ... Inverse quantization part, 3 ... Inverse orthogonal transformation part, 4 ... Adder, 5 ... 1st frame memory part, 6 ... Motion compensation prediction part, 7 ... Switch, 8 ... Post filter Processing content control unit, 9 ... post filter unit, 10 ... second frame memory unit, 11 ... output signal selection unit.

Claims

Filter means for decoding an image encoded for each block, filtering the decoded image, and filter strength determining means for determining the strength of the filter at the time of filtering, and the prediction encoding mode of the block is intra-frame prediction In this case, the filter apparatus is characterized by always setting a filter strength stronger than the inter-frame prediction and filtering the block boundary according to the filter strength.

2. The filter device according to claim 1, wherein the filter means changes a pixel value sandwiching the block boundary and uses the value as a filtered pixel value in order to smoothly connect the block boundaries.

2. The filter device according to claim 1, wherein the filter unit obtains an output pixel value of the filtering based on a size of a pixel value sandwiching a block boundary.