JP2019047277A - 画像処理装置、プログラム及び方法、並びに、映像符号化装置、映像復号装置、及び映像処理システム - Google Patents

Abstract

【課題】映像の符号化／復号の過程で必要となる画像のフィルタ処理をより効率的かつ高品質に行う画像処理装置を提供する。【解決手段】画像処理装置の制限付き線形フィルタ処理部は、対象画素と周辺画素の画素値の差分値の中に所定の差分制限値を超える差分値があった場合、その差分値の絶対値を差分制限値以下の所定の値に変更する制限値処理部と、対象画素の画素値と各周辺画素の変更処理後の各差分値とを入力とし、線形フィルタ係数に基づく線形フィルタ処理を行う線形フィルタ処理部と、を有し、線形フィルタ処理の後の対象画素の画素値を出力する。【選択図】図１

Description

この発明は、画像処理装置、プログラム及び方法、並びに、映像符号化装置、映像復号装置、及び映像処理システムに関し、例えば、映像を圧縮符号化する映像符号化装置や、符号化された映像を復号する映像復号装置に適用し得る。

従来、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、単に「ＡＶＣ」と呼ぶ）やＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（以下、単に「ＨＥＶＣ」と呼ぶ）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。

ここで、従来の映像符号化装置３００の構成例について図８を用いて説明する。

図８に示す従来の映像符号化装置３００は、差分抽出部３０１、変換部３０２、量子化部３０３、エントロピー符号化部３０４、逆量子化部３０５、逆変換部３０６、加算部３０７、ループ内フィルタ部３０８、参照画像バッファ３０９、インター予測部３１０、イントラ予測部３１１、及び切替部３１２を有している。

映像符号化装置３００では、ＨＥＶＣのような符号化技術が適用されるものとする。そうすると、入力された符号化対象フレームは、符号化ユニット等の処理単位領域ごとに、動き補償を伴うインター予測部３１０もしくは画面内の符号化済み画素等から予測を行うイントラ予測部３１１による予測画像が生成される。

そして、映像符号化装置３００では、差分抽出部３０１を用いて、処理単位領域ごとの予測画像との差分である予測残差信号が取得される。そして、映像符号化装置３００では、その予測残差信号が、変換部３０２により、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）により変換されて変換係数が得られる。そして、映像符号化装置３００では、得られた変換係数が量子化部３０３により量子化される。そして、映像符号化装置３００では、量子化された変換係数が、エントロピー符号化部３０４により、可変長符号や算術符号で符号化されて、符号化ストリームが出力される。映像符号化装置３００では、量子化された変換係数は、逆量子化部３０５による逆量子化及び逆変換部３０６による逆変換処理がなされた後、加算部３０７により予測画像に加算され、再構成画像が得られる。そして、映像符号化装置３００では、再構成画像に対して、ループ内フィルタ部３０８により、ブロック歪を軽減するデブロッキングフィルタ処理等が適用された後、後続の画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ３０９に保持される。

次に、従来の映像復号装置４００の構成例について図９を用いて説明する。

図９に示す従来の映像復号装置４００は、エントロピー復号部４０４、逆量子化部４０５、逆変換部４０６、加算部４０７、ループ内フィルタ部４０８、参照画像バッファ部４０９、インター予測部４１０、イントラ予測部４１１、及び切替部４１２を有している。

映像復号装置４００では、映像符号化装置３００で生成された符号化ストリームが入力されると、符号化ストリームはエントロピー復号部４０４により復号され、復号データとしてＤＣＴ等の変換係数、符号化モード情報、及び動きベクトル情報が得られる。映像復号装置４００では、変換係数は、逆量子化部４０５による逆量子化処理、及び逆変換部４０６による逆変換処理がなされて予測残差が得られる。そして、映像復号装置４００では、この予測残差と予測画像（インター予測を行うインター予測部４１０、もしくはイントラ予測を行うイントラ予測部４１１により生成された予測画像）が加算部４０７により加算されることで、映像符号化装置３００内と同じ再構成画像が得られる。そして、映像復号装置４００では、再構成画像はループ内フィルタ部４０８によりデブロッキングフィルタなどが適用された後、復号画像として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ部４０９に保持される。

ところで、現在では、ＨＥＶＣの次世代の映像符号化方式が検討されており、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔのジョイントの検討チームであるＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（ＪＶＥＴ）において、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ（ＪＥＭ）という映像符号化方式が開発中である（非特許文献１参照）。

ＪＥＭのバージョン６においてはループ内フィルタとしてデブロッキングフィルタに加えて、バイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）が用いられている。バイラテラルフィルタは、エッジを保存する性質のあるノイズ除去平滑化フィルタであり、（ｉ，ｊ）の位置の画素に対して、近傍の（ｋ，ｌ）の位置の画素に対する重みをω（ｉ，ｊ，ｋ，ｌ）としてフィルタ処理を行う。また、バイラテラルフィルタは、重みとしてガウシアンフィルタのような画素位置間の距離だけでなく、画素値の差にも依存する以下の（１）式のような重みを用いるフィルタである。

（１）式において、Ｉ（ｉ，ｊ），Ｉ（ｋ，ｌ）はフィルタ処理前の再構成画像の画素値であり、σ_ｄ、σ_ｒはフィルタ強度を制御するパラメーターである。ＪＥＭではσ_ｄは変換ユニット（ＴＵ）のサイズと、（イントラ／インター）予測モードに依存する値が用いられ、σ_ｒとしては量子化パラメーターに依存する値が用いられている。

バイラテラルフィルタに用いる画素は、図１１に示すように、対象画素Ｃの上下左右に隣接する４画素Ａ，Ｂ，Ｌ，Ｒであり、対象画素Ｃの位置のフィルタ後の画素値Ｉ_Ｆを以下の（２）式のように求めることができる。

図１０は、従来のＪＥＭにおけるバイラテラルフィルタの処理を行うバイラテラルフィルタ処理部３０の構成例について示したブロック図である。

図１０に示す従来のＪＥＭにおけるバイラテラルフィルタ処理部３０は、フィルタ処理部３１、フィルタ係数算出部３２、及び差分値算出部３３を有している。

図１０に示す従来のバイラテラルフィルタ処理部３０では、差分値算出部３３が対象画素の画素値と周辺画素の画素値の差分値を算出する。そして、図１０に示す従来のバイラテラルフィルタ処理部３０では、フィルタ係数算出部３２が、バイラテラルフィルタのフィルタ係数を算出してフィルタ処理部３１に供給する。フィルタ処理部３１は、供給されたフィルタ係数を用いて、対象画素の画素値と差分値に基づき、対象画素に対してバイラテラルフィルタを適用した画素（以下、「フィルタ結果画素」と呼ぶ）の画素値を算出する。

図１０に示すバイラテラルフィルタ処理部３０では、フィルタ係数算出部３２が上記の（１）式のような重みωの算出処理を、ＬＵＴ（ｌｏｏｋ ｕｐ ｔａｂｌｅ）を用いて行う。また、図１０に示すバイラテラルフィルタ処理部３０では、フィルタ処理部３１が、上記の（２）式の除算処理についてＬＵＴ、乗算、シフトの組み合わせで行う。

Ｊｉａｎｌｅ Ｃｈｅｎ，ｅｔ ａｌ．"Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ６（ＪＥＭ６），" ＪＶＥＴ−Ｆ１００１−ｖ２，［Online］，［２０１７年８月２１日検索］，INTERNET<http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/6_Hobart/wg11/JVET-F1001-v2.zip>

しかしながら、従来のバイラテラルフィルタ処理では演算処理量が多く、演算量低減のために用いているＬＵＴも大きなテーブルサイズが必要であったり、並列処理化が困難であるなどの問題がある。

また、従来技術のバイラテラルフィルタでは、フィルタの重みが再構成画像から自動的に導出されるようになっており、対象画像の性質によっては必ずしも最適ではないフィルタ処理が行われることがあるという問題があった。

以上のような問題に鑑みて、映像の符号化／復号の過程で必要となる画像のフィルタ処理をより効率的かつ高品質に行うことができる画像処理装置、プログラム及び方法、並びに、映像符号化装置、映像復号装置、及び映像処理システムが望まれている。

第１の本発明の画像処理装置は、（１）線形フィルタ係数を記憶する記憶手段と、（２）対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、（３）前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、（４）前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有することを特徴とする。

第２の本発明の画像処理プログラムは、コンピュータを、（１）線形フィルタ係数を記憶する記憶手段と、（２）対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、（３）前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、（４）前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段として機能させることを特徴とする。

第３の本発明は、画像処理装置が行う画像処理方法において、（１）前記画像処理装置は、記憶手段、差分値算出手段、制限値処理手段、線形フィルタ処理手段を有し、（２）前記記憶手段は、線形フィルタ係数を記憶し、（３）前記差分値算出手段は、対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出し、（４）前記制限値処理手段は、前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行い、（５）前記線形フィルタ処理手段は、前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力することを特徴とする。

第４の本発明の映像符号化装置は、（１）前記映像データの符号化対象フレームに対する予測画像を生成する予測画像生成手段と、（２）前記予測画像と前記符号化対象フレームとの差分を示す予測残差信号に所定の変換処理、及び量子化処理を施して量子化データを生成する変換／量子化手段と、（３）前記量子化データを符号化して符号化データを出力する符号化手段と、（４）前記量子化データに逆量子化処理及び所定の逆変換処理を施して予測残差信号を復元した復元予測残差信号を取得する逆量子化／逆変換手段と、（５）前記予測画像に前記復元予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、（６）前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、（７）前記ループ内フィルタによるフィルタ処理後の再構成画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段を有し、（８）前記ループ内フィルタ手段は、少なくとも、請求項１に記載の画像処理装置を用いてフィルタ処理を行うことを特徴とする。

第５の本発明の映像復号装置は、（１）符号化された映像データを復号して復号データを取得する復号処理手段と、（２）前記映像データの復号対象フレームの予測画像を生成する予測画像生成手段と、（３）前記復号データに、逆量子化処理及び所定の逆変換処理を施して、復号対象フレームの予測残差信号を取得する逆量子化／逆変換手段と、（４）前記予測画像に前記予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、（５）前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、（６）前記ループ内フィルタによるフィルタ処理後の復号画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段とを有し、（７）前記ループ内フィルタ手段は、少なくとも、請求項１に記載の画像処理装置を用いてフィルタ処理を行うことを特徴とする。

第６の本発明の映像処理システムは、映像データを符号化して符号化データを出力する映像符号化装置と、前記符号化データを復号して復号画像を得る映像復号装置とを備える映像処理システムにおいて、前記映像符号化装置として第４の本発明の映像符号化装置を適用し、前記映像復号装置として第５の本発明の映像復号装置を適用したことを特徴とする。

本発明によれば、映像の符号化／復号の過程で必要となる画像のフィルタ処理をより効率的かつ高品質に行うことができる。

第１の実施形態に係る制限付き線形フィルタ処理部の機能的構成について示したブロック図である。 第１の実施形態に係る映像処理システムの構成例について示したブロック図である。 第１の実施形態に係る映像符号化装置の機能的構成について示したブロック図である。 第１の実施形態に係る映像復号装置の機能的構成について示したブロック図である。 第１の実施形態に係る制限付き線形フィルタ処理部で用いられる処理対象画素に対する参照パターンの例について示した説明図である。 第２の実施形態に係る制限付き線形フィルタ処理部の機能的構成について示したブロック図である。 第２の実施形態に係る制限付き線形フィルタ処理部で用いられる処理対象画素に対する参照パターンの例について示した説明図である。 従来の映像符号化装置の機能的構成について示したブロック図である。 従来の映像復号装置の機能的構成について示したブロック図である。 従来のバイラテラルフィルタ処理部の機能的構成について示したブロック図である。 従来のバイラテラルフィルタ処理部で行われるフィルタ処理の例について示した説明図である。

（Ａ）第１の実施形態
以下、本発明による画像処理装置、プログラム及び方法、並びに、映像符号化装置、映像復号装置、及び映像処理システムの第１の実施形態を、図面を参照しながら詳述する。第１の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。

（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態に係る映像処理システム１の全体構成について示したブロック図である。図２において括弧内の符号は、後述する第２、第３の実施形態で用いられる符号である。

映像処理システム１は、符号化対象の入力映像（入力フレーム列）を符号化したストリームデータ（以下、「符号化ストリーム」と呼ぶ）を出力する映像符号化装置１００と、映像符号化装置１００で生成された符号化ストリームを復号して復号映像（復号フレーム列）を得る映像復号装置２００とを有している。

映像符号化装置１００に供給される入力映像の入力方式は限定されないものであり、リアルタイムにカメラで撮影（撮像）された映像信号としてもよいし、ＨＤＤやＤＶＤ等のデータ記録媒体に記録されたデータ（オフラインデータ）に基づく映像を読み込むようにしてもよいし、通信により供給されるデータ（オンラインデータ）に基づく映像を読み込むようにしてもよい。

映像復号装置２００に供給される符号化ストリームのデータについても入力方式は限定されないものであり、リアルタイムに通信により符号化ストリームを受信（映像符号化装置１００から受信）するようにしてもよいし、データ記録媒体に記録された符号化ストリームのデータをオフラインで読み込むようにしてもよい。

図３は、この実施形態に係る映像符号化装置１００の全体構成について示したブロック図である。なお、図３において、括弧内の符号は後述する第２、第３の実施形態で用いられる符号である。

映像符号化装置１００は、差分処理部１０１、変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、加算部１０７、ループ内フィルタ部１０８、参照画像バッファ１０９、インター予測部１１０、イントラ予測部１１１、切替部１１２、及びフィルタ係数決定部１２０を有している。また、ループ内フィルタ部１０８は、制限付き線形フィルタ処理部１０を有している。

映像符号化装置１００は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態に係る映像符号化プログラムを含む）をインストールすることにより構築するようにしてもよい。また、上述の映像符号化プログラムには、制限付き線形フィルタ処理部１０に相当するプログラム（実施形態に係る画像処理プログラム）が含まれる。

インター予測部１１０は、入力フレーム（符号化対象フレーム）の各処理単位領域に対して、参照画像バッファ１０９を参照し、動き補償を伴うインター予測を行い、予測画像を生成する。

イントラ予測部１１１は、入力された入力フレーム（符号化対象フレーム）の各処理単位領域に対して、画面内の符号化済の再構成画素等から予測を行い、予測画像を生成する。

切替部１１２は、符号化モードに応じて予測画像の出力元（インター予測部１１０の予測画像、又はイントラ予測部１１１の予測画像）を切り替える。

差分処理部１０１は、入力フレーム（符号化対象フレーム）と予測画像との差分である予測残差信号を求める。

変換部１０２は、予測残差信号をＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）によって変換して変換係数を得る処理を行う。

量子化部１０３は、変換部１０２により得られた変換係数を量子化する処理を行う。

エントロピー符号化部１０４は、量子化された変換係数や予測モード情報、動きベクトル情報等を多重化してエントロピー符号化する処理を行う。

逆量子化部１０５は、量子化された変換係数を逆量子化する処理を行う。

逆変換部１０６は、逆量子化部１０５により得られた変換係数を逆変換処理して元のデータ（残差信号等）を復元する処理を行う。

加算部１０７は、復元された予測残差信号に予測画像を加算して再構成画像を求める処理を行う。

ループ内フィルタ部１０８は、少なくとも制限付き線形フィルタ処理部１０を用いてフィルタ処理を行うものである。

フィルタ係数決定部１２０は、ループ内フィルタ部１０８で用いる線形フィルタ係数を決定する処理を行う。

ループ内フィルタ部１０８でフィルタされた復号画像はインター予測の動き補償のための参照画像として参照画像バッファ１０９に保持され、エントロピー符号化部１０４からの符号化ストリームが符号化処理結果として出力される。

ループ内フィルタ部１０８は、再構成画像にフィルタ処理を施す制限付き線形フィルタ処理部１０を有している。また、映像符号化装置１００では、制限付き線形フィルタ処理部１０で用いる線形フィルタ係数を決定するフィルタ係数決定部１２０が設けられている。また、映像符号化装置１００では、フィルタ係数決定部１２０で決定した線形フィルタ係数は、エントロピー符号化部１０４で符号化されて符号化ストリームに多重化して出力される。

なお、ループ内フィルタ部１０８には制限付き線形フィルタ処理部１０のほかに、ＨＥＶＣで用いられているデブロッキングフィルタや、サンプル適応オフセット（ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｆｖｅ Ｏｆｆｓｅｔ））のようなフィルタを組み合わせて用いても良い。また、制限付き線形フィルタ処理部１０をサンプル適応オフセットのフィルタタイプの一種として、サンプル適応オフセットと制限付き線形フィルタ処理部１０を処理単位領域ごとに選択的に用いるように構成しても良い。

次に、図４を用いて、第１の実施形態の映像復号装置２００の構成について説明する。なお、図４において、括弧内の符号は後述する第２、第３の実施形態で用いられる符号である。

図４に示すように、第１の実施形態の映像復号装置２００は、エントロピー復号部２０４、逆量子化部２０５、逆変換部２０６、加算部２０７、ループ内フィルタ部２０８、参照画像バッファ２０９、インター予測部２１０、イントラ予測部２１１、切替部２１２を有している。また、ループ内フィルタ部２０８は、制限付き線形フィルタ処理部１０を有している。

映像復号装置２００は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態に係る映像復号プログラムを含む）をインストールすることにより構築するようにしてもよい。また、上述の映像復号プログラムには、制限付き線形フィルタ処理部１０に相当するプログラム（実施形態に係る画像処理プログラム）が含まれる。

エントロピー復号部２０４は、入力された符号化ストリームをエントロピー復号して量子化された変換係数や符号化モード情報、動きベクトル情報等を取得する。

逆量子化部２０５は、復号された結果から得られた量子化された変換係数を逆量子化して、変換係数を得るものである。

逆変換部２０６は、逆量子化部２０５が逆量子化した変換係数を逆変換して予測残差信号を取得する。

インター予測部２１０は、参照画像バッファ２０９の画像を参照して、動き補償予測に基づく予測画像を生成する。

イントラ予測部２１１は、画面内の再構成画素等から予測を行って予測画像を生成する。

切替部２１２は、復号された符号化モード情報にしたがって、予測画像の取得元（インター予測部２１０の予測画像、又はイントラ予測部２１１の予測画像）を切り替える処理を行う。

加算部２０７は、逆変換部２０６から得られた予測残差信号と予測画像（切替部２１２により選択された予測画像）とを加算して再構成画像を得る処理を行う。

ループ内フィルタ部２０８は、再構成画像に対して制限付き線形フィルタを含むループ内フィルタを適用する処理を行う。

ループ内フィルタ部２０８で得られた復号画像は復号処理結果として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ２０９に保持される。

映像復号装置２００では、ループ内フィルタ部２０８に制限付き線形フィルタ処理部１０を用いている。また、映像復号装置２００では、この制限付き線形フィルタ処理部１０で用いる線形フィルタ係数の情報として、符号化ストリームからエントロピー復号して得られた線形フィルタ係数を用いる。

また、映像復号装置２００では、映像符号化装置１００と同様に、ループ内フィルタ部２０８には、制限付き線形フィルタ処理部１０の他に、ＨＥＶＣで用いられているデブロッキングフィルタや、サンプル適応オフセットのようなフィルタを組み合わせて用いても良い。また、制限付き線形フィルタ処理部１０をサンプル適応オフセットのフィルタタイプの一種として、サンプル適応オフセットと制限付き線形フィルタを処理単位領域ごとに選択的に用いるように構成しても良い。

上述の通り、第１の実施形態では、映像符号化装置１００のループ内フィルタ部１０８、及び映像復号装置２００のループ内フィルタ部２０８に、制限付き線形フィルタ処理部１０が含まれている。以下では、ループ内フィルタ部１０８、２０８に搭載される制限付き線形フィルタ処理部１０の構成例について説明する。

図１は、第１の実施形態の制限付き線形フィルタ処理部１０の構成例について示したブロック図である。

図１に示すように、制限付き線形フィルタ処理部１０は、線形フィルタ処理部１１、線形フィルタ係数記憶部１２、差分値算出部１３、及び制限値処理部１４を有している。

線形フィルタ係数記憶部１２は、フィルタ係数決定部１２０もしくはエントロピー復号部２０４から得られる線形フィルタ係数を記憶する。

差分値算出部１３は、処理対象となる領域内のそれぞれの画素ごとに、処理対象画素とその周辺画素を入力し、周辺画素と対象画素の差分値を算出する。

制限値処理部１４は、所定の差分制限値が入力され、差分値算出部１３からの差分値の絶対値が差分制限値を超える差分値に対して制限を施す処理を行う。

線形フィルタ処理部１１は、対象画素と制限値処理部１４からの制限された差分値を入力して、線形フィルタ係数記憶部１２のフィルタ係数を参照して線形フィルタ処理を行い、対象画素に対するフィルタ結果の画素値として出力する。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の映像処理システム１の動作（映像符号化装置１００、映像復号装置２００、及び制限付き線形フィルタ処理部１０の動作）について説明する。

まず、映像符号化装置１００のループ内フィルタ部１０８、及び映像復号装置２００のループ内フィルタ部２０８が備える制限付き線形フィルタ処理部１０の動作について説明する。

図１に示すように、第１の実施形態の制限付き線形フィルタ処理部１０では、線形フィルタ係数は自由に設定可能な線形フィルタとする代わりに、フィルタの入力となる周辺画素との差分値に対して制限値処理を施すことでエッジ保存する性質を実現する。

制限付き線形フィルタ処理部１０では、例えば、図５に示すように処理対象の画素ｃに対してその上下左右（垂直方向及び水平方向）に隣接する４つの画素ｎ_０、ｎ_１、ｎ_２、ｎ_３を参照して、フィルタ処理結果の画素値ｃ’を求める。制限付き線形フィルタ処理部１０では、例えば、以下の（３）式を用いて、画素値ｃ’を求めるようにしてもよい。
ｃ’＝Ｃｌｉｐ１（ｃ＋（（Σ_ｉａ_ｉｆ（ｎ_ｉ，−ｃ，ｕ）＋ｂ＋ｒ）＞＞ｓ））…（３）

（３）式において、ａ_ｉ，ｂは線形フィルタ係数であり、線形フィルタ係数記憶部１２から供給されるパラメーターである。また、（３）式において、添え字ｉは周辺画素ｎ_ｉの位置ｉ＝０〜３である。さらに、（３）式において、ｒ，ｓは整数演算で固定少数演算を行うためのシフト量ｓと丸め「ｒ＝１＜＜（ｓ−１）」を表している。さらにまた、（３）式において、Ｃｌｉｐ１は画素値の値を有効な画素値の範囲にクリッピングする関数である。Ｃｌｉｐ１は、例えば、８ビット画像が処理対象の場合は０〜２５５の範囲にクリッピングし、１０ビット画像の場合は０〜１０２３の範囲にクリッピングするものとする。ＪＥＭではクリッピングの上限、下限の値を指定可能となっているため、制限付き線形フィルタ処理部１０において、（３）式の演算を行う際に、上述のＣｌｉｐ１に替えて、ＪＥＭの機能を用いて指定した範囲にクリッピングする処理を用いても良い。なお、ループ内フィルタ部１０８、２０８において、制限付き線形フィルタ処理部１０の結果を、さらに処理（例えば、さらに他のフィルタ処理）する場合には、上述の（３）式からクリッピング処理（Ｃｌｉｐ１の処理）を省略しても良い。

また、ｆ（ｘ，ｕ）は差分値を制限するための関数であり、例えば、以下の（４）式のような関数を用いることができる。

これにより、差分制限値ｕよりも差分値ｘの絶対値が大きい場合（すなわち、対象画素値と周辺画素値の差が大きい場合）は、当該周辺画素が、制限付き線形フィルタ処理部１０のフィルタ結果（上述の（３）式の結果）へ与える影響を抑制する。

制限付き線形フィルタ処理部１０において、差分値を制限する関数としては、例えば、以下の式（５）のような関数を用いても良い。（５）式では、差分値ｘの絶対値が差分制限値ｕを超える場合に、差分値を±ｕに制限する関数であり、同様にこのような画素のフィルタ結果への影響を抑制することができる。

（３）式では、定数項ｂを設けているが、定数項ｂを用いない構成や、定数項ｂの有無を上位シンタックス等でシグナリング可能（映像符号化装置１００側からエントロピー復号部２０４に通知可能）としても良い。また、（３）式において、フィルタ係数の固定少数精度を表すシフト量ｓもあらかじめ定めた固定値としても良いし、シフト量ｓの値を上位シンタックス等でシグナリング可能としても良い。

なお、制限付き線形フィルタ処理部１０は、周辺画素ｎ_ｉが画面外の画素を含む場合や、スライスやタイルのような画面分割境界外の画素を含む場合の動作は、参照できない（しない）画素の値をｎ_ｉ＝ｃとみなして（すなわち（ｎ_ｉ−ｃ）＝０として）処理するよう構成としても良い。

制限付き線形フィルタ処理部１０において、制限値ｕは、従来技術のσ_ｒと同様な量子化パラメーターに依存する値として算出するようにしても良いし、映像符号化装置１００が明示的に指定可能な値としてシグナリングするようにしても良い。

以上のように、制限付き線形フィルタ処理部１０の制限付き線形フィルタ処理部１０では、上記の（３）式（又は（３）式を変形した式）に相当する処理を行う。

差分値算出部１３では、フィルタ対象画素ｃと周辺画素ｎ_ｉとの差分値ｎ_ｉ−ｃを求める処理を行うが、以下の（６）式、（７）式のように構成しても良い。すなわち、フィルタ対象の領域のフィルタ処理前の再構成画像をＩ（ｘ，ｙ）として、ｘ方向とｙ方向の勾配画像Ｉ_ｘ（ｘ，ｙ）とＩ_ｙ（ｘ，ｙ）を処理対象領域にわたって求め、中間画像として保持するようにしてもよい。
Ｉ_ｘ（ｘ，ｙ）＝Ｉ（ｘ＋１，ｙ）−Ｉ（ｘ，ｙ） …（６）
Ｉ_ｙ（ｘ，ｙ）＝Ｉ（ｘ，ｙ＋１）−Ｉ（ｘ，ｙ） …（７）

図５のｎ_０，ｎ_３に対しては差分値（―Ｉ_ｙ（ｘ，ｙ−１），―Ｉ_ｘ（ｘ−１，ｙ））の符号が反転した値となるが、後の処理で対応する係数ａ_ｉの符号を反転して適用することで打ち消すことができる。

制限値処理部１４では、所定の差分制限値ｕを用いて、差分値算出部１３で求めた差分値に対して、（４）式もしくは（５）式で表されるような関数を適用し、ｆ（Ｉ_ｘ，ｕ），ｆ（Ｉ_ｙ，ｕ）を求め、これを処理対象領域にわたって中間画像として保持する。

線形フィルタ処理部１１では、制限値処理部１４で求めた制限された差分値と、対象画素値を入力として、線形フィルタ係数記憶部１２からの線形フィルタ係数ａ_ｉ，ｂを用いた、（制限された）差分値の線形結合を求める（３）式の処理を行い、得られた結果を対象画素に対するフィルタ処理結果の画素値とする。この時、ｎ_０，ｎ_３に対する係数ａ_０，ａ_３の符号を反転した値（−ａ_０，−ａ_３）を線形フィルタ係数記憶部１２に記憶しておくことで、符号の反転した制限された差分値を含む係数との積和処理を簡単化しても良い。

図１に示すような、制限付き線形フィルタ処理部１０を用いる映像復号装置２００では、エントロピー復号部２０４で、符号化ストリームに多重化された制限付き線形フィルタで用いる線形フィルタ係数を復号し、ループ内フィルタ部２０８に含まれる制限付き線形フィルタ処理部１０の線形フィルタ係数記憶部１２に格納する。

線形フィルタ係数を符号化ストリームに多重化する方法としては、例えば、スライスヘッダやピクチャパラメーターセット等のパラメーターセットのような上位シンタックスで符号化する方法を適用してもよい。例えば、符号化ストリームの符号化方式としてＨＥＶＣと同様な符号化方式を適用した場合を想定する。この場合、ＨＥＶＣのサンプル適応オフセット（ＳＡＯ）と同様に符号化ツリーユニット（ＨＥＶＣでは最大６４ｘ６４画素の領域、ＪＥＭではさらに大きな符号化ツリーユニットを利用可能）のような処理単位領域ごとに、制限付き線形フィルタを、ＳＡＯの処理タイプ（例えばＢＯ，ＥＯなどの処理タイプがある）の一種として選択的に用いるように構成し、処理タイプとして制限付き線形フィルタタイプを選択している場合は、対象の処理単位領域で用いる線形フィルタ係数ａ_ｉ，ｂをシグナリングするようにしても良い。さらに、この場合、４つの線形フィルタ係数ａ_ｉに関しては、他のＳＡＯの処理タイプ（ＢＯやＥ０）の４つのオフセット値を符号化するのと同じエントロピー符号化方法を流用するなどして構成しても良い。

以上のように、映像符号化装置１００の制限付き線形フィルタ処理部１０で得られた線形フィルタ係数と同様のものが、映像復号装置２００のループ内フィルタ部２０８側に伝送される。映像復号装置２００では、得られた線形フィルタ係数を用いて、制限付き線形フィルタ処理（制限付き線形フィルタ処理部１０を用いたフィルタ処理）を行うことで復号処理を行う。

上述のように、制限付き線形フィルタ処理部１０を備える映像符号化装置１００では、フィルタ係数決定部１２０で、最適な線形フィルタ係数の設計を行い、得られた線形フィルタ係数をループ内フィルタ部１０８に含まれる制限付き線形フィルタ処理部１０の線形フィルタ係数記憶部１２に格納する。また、映像符号化装置１００のエントロピー符号化部１０４が、得られた線形フィルタ係数を上述のような符号化方法により符号化ストリームに多重化する。

次に、フィルタ係数決定部１２０による線形フィルタ係数の設計処理について説明する。

以下では、同じ線形フィルタ係数を用いる領域内の各対象画素ｃ_ｊとし、ｃ_ｊに対する（３）式の制限付き線形フィルタによる結果をｃ_ｊ’とし、対象画素の位置の入力画像の画素値をＣ_ｊとする。

フィルタ係数決定部１２０は、フィルタ処理後の画素値ｃ_ｊ’の入力画像の画素値Ｃ_ｊに対する誤差の和が最少となるよう線形フィルタ係数ａ_ｉ，ｂを設計する。すなわち、フィルタ係数決定部１２０は、以下の（８）式のような誤差の二乗和Ｅが最少となるような線形フィルタ係数ａ_ｉ，ｂを、最小二乗法を用いて求める。フィルタ係数決定部１２０は、誤差の二乗和Ｅについては、同じ線形フィルタ係数を用いることになる領域内の画素を収集することで求める。
Ｅ＝Σ（ｃ_ｊ’−Ｃ_ｊ）^２ …（８）

（８）式のような誤差の二乗和Ｅを最小化する係数ａ_ｉ，ｂを求める場合、Ｅをａ_ｉ，ｂで偏微分した式が０となるようなａ_ｉ，ｂを、以下の（９）式のような連立方程式を解くことによって求めることができる。

（３）式では、制限された差分値ｆ（Ｉ_ｘ，ｕ），ｆ（Ｉ_ｙ，ｕ）に関する、ａ_ｉ，ｂを係数とする一次式でありｆ（Ｉ_ｘ，ｕ），ｆ（Ｉ_ｙ，ｕ）を入力値とみなす単純な最小二乗法で線形フィルタ係数ａ_ｉ，ｂを求めることができる。

フィルタ係数決定部１２０は、制限付き線形フィルタ処理部１０と、ＨＥＶＣのＳＡＯのようなフィルタを処理単位領域ごとに選択的に用いる場合は、このようにして最適設計した制限付き線形フィルタと、その他の（ＢＯやＥＯといった）ＳＡＯタイプのいずれを用いるかを評価（例えば、それぞれのフィルタタイプによるフィルタ処理結果の入力画像に対する誤差（歪）を評価）する。そして、フィルタ係数決定部１２０は、最も入力画像からの画質劣化が少ないフィルタタイプを選択する。また、フィルタ係数決定部１２０は、例えば、レート歪最適化処理を用いてフィルタタイプを選択する。すなわち、フィルタ係数決定部１２０は、それぞれのフィルタタイプのフィルタを用いた場合の、入力画像に対するフィルタ処理結果の歪Ｄと、そのフィルタタイプを用いるために必要となる（フィルタタイプ情報と、オフセットもしくは線形フィルタ係数の符号化に必要となる）符号量Ｒのトレードオフを、ラグランジュ乗数λを用いてレート歪コスト「Ｊ＝Ｄ＋λＲ」として評価する。そして、フィルタ係数決定部１２０は、レート歪コストＪが最少となるようなフィルタタイプのフィルタを対象領域に対して用いるよう選択する。

以上のようにして、映像符号化装置１００では最適設計した線形フィルタ係数を用いた制限付き線形フィルタ処理を、ループ内フィルタ部１０８で行うことによって符号化処理を行う。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

第１の実施形態の映像処理システム１では、ループ内フィルタ部１０８、２０８（制限付き線形フィルタ処理部１０）において、従来技術のようにＬＵＴを必要とするような複雑な演算処理を用いずに、周辺画素との差分値に簡単な制限値処理を加えるだけで差分値の大きな周辺画素からの影響を抑制するようにしている。すなわち、第１の実施形態のループ内フィルタ部１０８、２０８（制限付き線形フィルタ処理部１０）では、従来のバイラテラルフィルタと同様なエッジを保存する性質をもつフィルタ処理を容易に施すことが可能となる。

また、第１の実施形態のループ内フィルタ部１０８、２０８（制限付き線形フィルタ処理部１０）では、フィルタ係数側ではなく、フィルタの入力値側に対して非線形な処理を施しているので、フィルタ処理自体は線形な係数演算となり、フィルタ係数の最適設計を容易に行うことが可能となる。

（Ｂ）第２の実施形態
以下、本発明による画像処理装置、プログラム及び方法、並びに、映像符号化装置、映像復号装置、及び映像処理システムの第２の実施形態を、図面を参照しながら詳述する。第２の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態の映像処理システム１Ａの全体構成についても、上述の図２を用いて示すことができる。以下では、第２の実施形態について、第１の実施形態との差異を説明する。

図２に示す通り、映像処理システム１Ａでは、映像符号化装置１００と映像復号装置２００が、映像符号化装置１００Ａと映像復号装置２００Ａに置き換えられている点で第１の実施形態と異なっている。

第２の実施形態の映像符号化装置１００Ａ、映像復号装置２００Ａについても、第１の実施形態と同様に図３、図４を用いて示すことができる。

図３に示すように、映像符号化装置１００Ａでは、第１の実施形態と比較して、ループ内フィルタ部１０８、エントロピー符号化部１０４、フィルタ係数決定部１２０が、それぞれループ内フィルタ部１０８Ａ、エントロピー符号化部１０４Ａ、フィルタ係数決定部１２０Ａに置き換えられている。また、図４に示すように、映像復号装置２００Ａでは、第１の実施形態と比較して、エントロピー復号部２０４、ループ内フィルタ部２０８が、それぞれエントロピー復号部２０４Ａ、ループ内フィルタ部２０８Ａに置き換えられている。さらに、図３、図４に示すように、ループ内フィルタ部１０８Ａ、２０８Ａでは、制限付き線形フィルタ処理部１０が制限付き線形フィルタ処理部２０に置き換えられている。

次に、制限付き線形フィルタ処理部２０について、第１の実施形態の制限付き線形フィルタ処理部１０との差異を説明する。

制限付き線形フィルタ処理部２０は、制限付き線形フィルタで参照する周辺画素の参照パターンを複数用意し、選ばれた参照パターンの周辺画素を用いて制限付き線形フィルタ処理を行う点で第１の実施形態と異なっている。

図６は、第２の実施形態に係る制限付き線形フィルタ処理部２０の機能的構成について示したブロック図である。

第２の実施形態の制限付き線形フィルタ処理部２０では、差分値算出部１３が差分値算出部２３に置き換わっている点で第１の実施形態と異なっている。

差分値算出部２３は、選ばれた参照パターンの情報（以下、「パターンタイプ情報」と呼ぶ）の入力を受け、制限付き線形フィルタ処理で用いる周辺画素をパターンタイプ情報で指定されたパターンにしたがって、周辺画素との差分値の求め方を変更可能としている点で第１の実施形態と異なっている。制限付き線形フィルタ処理部２０の詳細処理については後述する。

制限付き線形フィルタ処理部２０では、例えば、図５の十字型のパターンや、図７のようなＸ字型のパターン等、複数の周辺画素の参照パターンのいずれかを用いて線形フィルタ処理を行う。第２の実施形態の制限付き線形フィルタ処理部２０では、図５の十字型のパターン、又は図７のＸ字型のパターンのいずれかの周辺画素の参照パターンを用いるものとして説明するが、制限付き線形フィルタ処理部２０で適用する周辺画素の参照パターンの数や種類は限定されないものである。

映像符号化装置１００Ａのループ内フィルタ部１０８Ａは、いずれかのパターン（図５の十字型のパターン、又は図７のＸ字型のパターン）を指定する情報が設定されたパターンタイプ情報を、制限付き線形フィルタ処理部２０（差分値算出部２３）に供給する。また、映像符号化装置１００Ａのエントロピー符号化部３０４は、指定されたパターンタイプ情報を符号化ストリームに多重化して、映像復号装置２００Ａ側に通知する（シグナリングする）。

符号化ストリーム上にパターンタイプ情報を多重化して通知（シグナリング）する方法は限定されないものである。例えば、パターンタイプ情報は、パラメーターセットのような上位シンタックスでシグナリングを行うようにしても良い。また、例えば、パターンタイプ情報をＨＥＶＣのようなＳＡＯのタイプの一種として指定するようにしてもよい。ＨＥＶＣのＳＡＯにおいて、処理対象の画素と近傍の画素との関係に基づきオフセットを設定するモードとしてＥＯ（Ｅｄｇｅ Ｏｆｆｓｅ）がある。ＥＯでは、複数の参照パターン（ＥＯクラス）のいずれかを選択することが可能となっており、ＥＯ０、ＥＯ１、…といった複数のＳＡＯのタイプからの選択として指定している。そこで、この実施形態では、このＳＡＯのタイプ情報を利用して、制限付き線形フィルタに係るパターンタイプ情報（制限付き線形フィルタの参照パターン）を、複数のＳＡＯタイプ（例えばＬＯ０，ＬＯ１）から選択して指定し、復号側にシグナリング（符号化ストリームに多重化して通知）するものとして説明する。例えば、映像符号化装置１００Ａで符号化する際に、ＳＡＯのタイプとして複数の制限付き線形フィルタタイプのいずれか（例えば、ＬＯ０、ＬＯ１のいずれか）をＳＡＯタイプ情報として指定することでシグナリングするようにしてもよい。例えば、ＬＯ０を図５の十字型のパターンとし、ＬＯ１を図７のＸ字型のパターンとして取り扱うようにしてもよい。そして、映像復号装置２００Ａ側では、復号する際に、ＳＡＯのタイプ情報に設定された制限付き線形フィルタタイプ（例えば、ＬＯ０、ＬＯ１のいずれか）を読み取ることで、設定されたパターンタイプ情報を認識するようにしてもよい。

以下では、パターンタイプ情報（制限付き線形フィルタの参照パターンタイプ）について、上述のようにＳＡＯのタイプの一種として処理するものとして説明する。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の映像処理システム１Ａの動作を説明する。

以下では、第２の実施形態の映像処理システム１Ａの動作について、第１の実施形態との差異を説明する。

以下では、制限付き線形フィルタ処理部２０の動作を中心に説明する。

第２の実施形態の復号装置では、エントロピー復号部２０４Ａで復号したＳＡＯタイプ情報に含まれる制限付き線形フィルタのパターンタイプ情報を抽出し、差分値算出部２３に供給するとともに、制限付き線形フィルタタイプを用いる場合の線形フィルタ係数を、制限付き線形フィルタ処理部２０の線形フィルタ係数記憶部１２に供給する。

制限付き線形フィルタ処理部２０の差分値算出部２３では、パターンタイプ情報で指定された、図５、又は図７のような参照パターンにしたがって対象画素ｃに隣接する画素を周辺画素ｎ_０，ｎ_１，ｎ_２，ｎ_３として選択し、対象画素ｃとの差分を求めて制限値処理部１４に供給する。

ここでは、第１の実施形態のように、勾配画像Ｉ_ｘ（ｘ，ｙ）とＩ_ｙ（ｘ，ｙ）を対象領域にわたって求める構成とする。そして、差分値算出部２３は、パターンタイプ情報で図７のＸ字型の参照パターンが指定されていた場合は、Ｉ_ｘ（ｘ，ｙ）とＩ_ｙ（ｘ，ｙ）に代わって、斜め方向の勾配画像Ｉ_１（ｘ，ｙ）とＩ_０（ｘ，ｙ）を求め、Ｉ_ｘ，Ｉ_ｙに代わってＩ_１，Ｉ_０を制限値処理部１４に供給する。
Ｉ_１（ｘ，ｙ）＝Ｉ（ｘ＋１，ｙ−１）−Ｉ（ｘ，ｙ）…（１０）
Ｉ_０（ｘ，ｙ）＝Ｉ（ｘ＋１，ｙ＋１）−Ｉ（ｘ，ｙ）…（１１）

制限付き線形フィルタ処理部２０では、制限値処理部１４以降の処理は、第１の実施形態と同様であるため詳しい説明を省略する。

第２の実施形態の映像符号化装置１００Ａでは、フィルタ係数決定部１２０Ａが、第１の実施形態のようなフィルタ係数の設計処理を、利用可能な複数の参照パターンについてそれぞれ行う。そして、フィルタ係数決定部１２０Ａは、それぞれ得られた線形フィルタ係数を用いる制限付き線形フィルタタイプと、その他のＢＯやＥＯといったＳＡＯタイプを選択する。その際、フィルタ係数決定部１２０Ａは、第１の実施形態と同様に画像品質のみによる選択方式、あるいはレート歪最適化処理による選択方式により選択する処理を行う。そして、フィルタ係数決定部１２０Ａは、制限付き線形フィルタ処理に用いるフィルタタイプを選択すると、その選択に対する線形フィルタ係数を、制限付き線形フィルタ処理部２０の線形フィルタ係数記憶部１２に供給し、選択された制限付き線形フィルタに対応するパターンタイプ情報を差分値算出部２３に供給する。

選択されたパターンタイプ情報は、例えば、ＳＡＯタイプの一種としてエントロピー符号化部１０４Ａで線形フィルタ係数と共にエントロピー符号化される（符号化ストリームに多重化される）。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて以下のような効果を奏することができる。

第２の実施形態の制限付き線形フィルタ処理部２０では、第１の実施形態と同様にエッジを保存する性質をもつ最適な線形フィルタを施すことが可能になり、さらに複数の参照パターンから最適なものを選択可能となる。これにより、第２の実施形態の制限付き線形フィルタ処理部２０では、第１の実施形態と比較して、より画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームが生成可能となる。

（Ｃ）第３の実施形態
以下、本発明による画像処理装置、プログラム及び方法、並びに、映像符号化装置、映像復号装置、及び映像処理システムの第３の実施形態を、図面を参照しながら詳述する。第３の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。

（Ｃ−１）第３の実施形態の構成
第３の実施形態の映像処理システム１Ｂの全体構成についても、上述の図２を用いて示すことができる。以下では、第３の実施形態について、第１の実施形態との差異を説明する。

図２に示す通り、映像処理システム１Ｂでは、映像符号化装置１００が映像符号化装置１００Ｂに置き換えられている点で第１の実施形態と異なっている。

第３の実施形態の映像符号化装置１００Ｂについても、第１の実施形態と同様に図３を用いて示すことができる。

図３に示すように、映像符号化装置１００Ｂでは、第１の実施形態と比較して、エントロピー符号化部１０４、フィルタ係数決定部１２０が、それぞれエントロピー符号化部１０４Ｂ、フィルタ係数決定部１２０Ｂに置き換えられている。さらに、図４に示すように、映像復号装置２００Ｂでは、第１の実施形態と比較して、エントロピー復号部２０４が、エントロピー復号部２０４Ｂに置き換えられている。

第３の実施形態では、映像符号化装置１００Ｂ側で、制限付き線形フィルタ処理部１０で用いる差分制限値ｕを設定し、シグナリング（符号化ストリームに多重化して映像復号装置２００側に通知）する。

映像符号化装置１００Ｂのフィルタ係数決定部１２０Ｂでは、差分制限値ｕを算出する。具体的には、フィルタ係数決定部１２０Ｂは、線形フィルタ係数ａ_ｉ，ｂに加えて、差分制限値ｕも算出（算出方法については後述）し、算出した差分制限値ｕを、ループ内フィルタ部１０８内の制限付き線形フィルタ処理部１０に供給する。また、フィルタ係数決定部１２０Ｂは、算出した差分制限値ｕを、エントロピー符号化部１０４Ｂにも供給する。エントロピー符号化部１０４Ｂは、差分制限値ｕについても符号化ストリームに多重化して出力する。

そして、第３の実施形態の映像復号装置２００Ｂでは、エントロピー復号部２０４Ｂでストリームから線形フィルタ係数とともに差分制限値ｕが抽出され、ループ内フィルタ部２０８内の制限付き線形フィルタ処理部１０に差分制限値ｕとして供給される。

（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態の映像処理システム１Ｂの動作を説明する。

以下では、第３の実施形態の映像処理システム１Ｂの動作について、第１の実施形態との差異を説明する。以下では、第３の実施形態において、差分制限値ｕを映像符号化装置１００Ｂ（フィルタ係数決定部１２０Ｂ）側で明示的に指定してシグナリング（符号化ストリームに多重化して映像復号装置２００Ｂ側に通知）する点を中心に説明する。

差分制限値ｕは、周辺画素と対象画素との差分が、量子化ノイズ等によって生じたものか、もともとの符号化対象フレームのエッジのような部分の画素値の差によって生じたものであるかを見積もり、後者の場合のフィルタ結果に与える影響を抑制するためのパラメーターである。量子化ノイズ等によって生じる画素値の誤差は、主に量子化パラメーターから推定可能であり、従来技術のσ_ｒのようにあらかじめ量子化パラメーターに依存する値として規定しておくことによって、明示的なシグナリング（映像符号化装置１００Ｂから映像復号装置２００Ｂへの通知）なしに用いることも可能である。

ここでは、量子化ノイズ等による誤差成分を映像符号化装置１００Ｂ側で推定して明示的に差分制限値ｕをシグナリングするものとして説明する。

次に、フィルタ係数決定部１２０Ｂが差分制限値ｕを算出する際の処理の例について説明する。

映像符号化装置１００Ｂのフィルタ係数決定部１２０Ｂでは、符号化対象の入力画像の画素値Ｔ（ｘ，ｙ）と、符号化処理によって生成されるフィルタ処理前の再構成画像の画素値Ｒ（ｘ，ｙ）が入手可能である。すなわち、フィルタ係数決定部１２０Ｂでは、Ｒ（ｘ，ｙ）−Ｔ（ｘ，ｙ）と計算することによって画素ごとに、量子化ノイズ等によってどれだけの誤差が生じているかが算出可能である。

フィルタ係数決定部１２０Ｂでは、この誤差（Ｒ（ｘ，ｙ）−Ｔ（ｘ，ｙ））を、符号化の対象領域全体にわたって統計処理することによって、再構成画像に生じている誤差の程度（誤差の分布）を推定することができる。フィルタ係数決定部１２０Ｂにおいて、誤差に対する統計処理の方法としては、例えば、｜Ｒ−Ｔ｜の最大値（差分絶対値の最大値）、｜Ｒ−Ｔ｜の平均値（差分絶対値の平均値）、（Ｒ−Ｔ）^２の平均値の平方根等の処理を適用することができる。フィルタ係数決定部１２０Ｂは、これらの統計値に対して、適切な係数をかけた値を差分制限値ｕとして算出するようにしてもよい。

なお、第３の実施形態において、制限付き線形フィルタ処理部１０を、第２の実施形態と同様に制限付き線形フィルタ処理部２０に置き換えて、パターンタイプ情報も供給するように構成してもよい（すなわち、第２の実施形態と第３の実施形態を組み合わせて適用するようにしてもよい）。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、第１及び第２の実施形態と比較して、以下のような効果を奏することができる。

第３の実施形態の映像処理システム１Ｂでは、映像符号化装置１００Ｂ側で再構成画像に生じている量子化ノイズ等による誤差成分を、実際の入力画像と再構成画像から算出し、算出した誤差成分に応じた差分制限値ｕを設定している。これにより、第３の実施形態の映像処理システム１Ｂでは、より厳密に差分制限値ｕを設定することが可能となり、制限付き線形フィルタ処理において、実際のノイズ振幅よりも大きな変化をしている画像のエッジ部分等の周辺画素からの影響を抑制したフィルタ処理を施すことが可能となる。

（Ｄ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｄ−１）本発明の画像処理装置は上記実施形態に限定されず、その他のさまざまな符号化処理／復号処理に利用可能である。すなわち、本発明の画像処理装置は、上記の実施形態以外の種々の映像符号化処理／映像復号処理の過程で発生するループ内のフィルタ処理に適用可能である。

ＨＥＶＣと同様なサンプル適応オフセット処理のフィルタタイプの一種として本発明の画像処理装置（制限付き線形フィルタ処理部）を用いる場合、ＨＥＶＣと同様なＢＯやＥＯとの組み合わせだけでなく、これらの一部のみのＳＡＯタイプやＢＯやＥＯとは異なる処理タイプのフィルタと組み合わせて、これらのＳＡＯタイプと制限付き線形フィルタタイプのＳＡＯ処理からの選択が可能な構成としても良い。

本発明の実施形態では、イントラ予測が参照する参照画素はループ内フィルタ処理前の再構成画像として説明したが、従来技術のバイラテラルフィルタのように、変換領域ごとに制限付き線形フィルタを適用して、隣接するイントラ予測では予測に利用する参照画素として、フィルタ前の再構成画像を用いるのではなく、制限付き線形フィルタの処理結果を参照画素として予測処理に用いるようにしても良い。

（Ｄ−２）上記の各実施形態の制限付き線形フィルタ処理部では、差分値を制限する関数の例として、（４）式や（５）式の関数を例示したが、これら以外の関数形を用いたり、複数の関数から選択可能とするなどの構成としても良い。

（Ｄ−３）上記の各実施形態の制限付き線形フィルタ処理部では、線形フィルタ処理において、（３）式を適用する例について説明したが、（３）式の形式に限定されず、対象画素ｃと制限された差分値の線形結合となるような様々な演算式を用いても良い。また、（３）式ではクリッピング処理を用いているが、例えば、線形フィルタ係数ａ_ｉ，ｂのとりうる範囲を制限することでクリッピング処理を不要とする（線形結合の演算結果が常にクリッピング範囲内となるような制限を設ける）ように、制限付き線形フィルタ処理部を構成するようにしてもよい。

（Ｄ−４）第２の実施形態の制限付き線形フィルタ処理部において、参照パターンとして図５や図７のような参照パターンを例示したが、その他の参照パターンを用いたり、参照する画素数も４画素に限定されないような参照パターンを用いても良い。

（Ｄ−５）上記の各実施形態の制限付き線形フィルタ処理部１０、２０において、線形フィルタ処理部１１で適用する線形フィルタ係数は、予め設定された値（例えば、工場出荷された後ユーザにより設定された値）や予め設定された固定値（例えば、工場出荷時に設定された値）を適用するようにしてもよい。

また、同様に、上記の各実施形態の制限付き線形フィルタ処理部１０、２０において、制限値処理部１４で適用する差分制限値ｕは、予め設定された値（例えば、ユーザにより設定された値）や予め設定された固定値（例えば、工場出荷時に設定された値）を適用するようにしてもよい。

（Ｄ−６）上記の各実施形態では、本発明の画像処理装置としての制限付き線形フィルタ処理部を、映像符号化装置や映像復号装置に適用した例について説明したが、画像処理装置としての制限付き線形フィルタ処理部を独立した装置として実現するようにしてもよい。

１…映像処理システム、１０…制限付き線形フィルタ処理部、１１…線形フィルタ処理部、１２…線形フィルタ係数記憶部、１３…差分値算出部、１４…制限値処理部、１００…映像符号化装置、１０１…差分処理部、１０２…変換部、１０３…量子化部、１０４…エントロピー符号化部、１０５…逆量子化部、１０６…逆変換部、１０７…加算部、１０８…ループ内フィルタ部、１０９…参照画像バッファ、１１０…インター予測部、１１１…イントラ予測部、１１２…切替部、１２０…フィルタ係数決定部、２００…映像復号装置、２０４…エントロピー復号部、２０５…逆量子化部、２０６…逆変換部、２０７…加算部、２０８…ループ内フィルタ部、２０９…参照画像バッファ、２１０…インター予測部、２１１…イントラ予測部、２１２…切替部。

Claims (16)

1. 線形フィルタ係数を記憶する記憶手段と、
   対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、
   前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、
   前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段と
   を有することを特徴とする画像処理装置。
2. 前記記憶手段は、外部から供給された線形フィルタ係数を記憶することを特徴とする請求項１に記載の画像処理装置。
3. 前記制限値処理手段は、外部から供給された差分制限値を用いて差分値制限処理を行うことを特徴とする請求項１又は２のいずれかに記載の画像処理装置。
4. 前記差分値算出手段は、前記対象画素を中心として前記線形フィルタ処理手段の前記線形フィルタ処理で参照する周辺画素の参照パターンを複数備え、いずれかの参照パターンを指定するパターンタイプ情報が供給されると、前記対象画素の画素値と、前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記差分値算出手段は、前記対象画素を含む対象画像に対して、差分値算出方向の勾配画像を算出し、前記制限値処理手段は、勾配画像に対して差分値制限処理を施した結果を中間画像として取得し、
   前記線形フィルタ処理手段は、前記中間画像の値を用いて前記線形フィルタ処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
6. コンピュータを、
   線形フィルタ係数を記憶する記憶手段と、
   対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、
   前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、
   前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段と
   して機能させることを特徴とする画像処理プログラム。
7. 画像処理装置が行う画像処理方法において、
   前記画像処理装置は、記憶手段、差分値算出手段、制限値処理手段、線形フィルタ処理手段を有し、
   前記記憶手段は、線形フィルタ係数を記憶し、
   前記差分値算出手段は、対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出し、
   前記制限値処理手段は、前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行い、
   前記線形フィルタ処理手段は、前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する
   ことを特徴とする画像処理方法。
8. 映像データの符号化対象フレームに対する予測画像を生成する予測画像生成手段と、
   前記予測画像と前記符号化対象フレームとの差分を示す予測残差信号に所定の変換処理、及び量子化処理を施して量子化データを生成する変換／量子化手段と、
   前記量子化データを符号化して符号化データを出力する符号化手段と、
   前記量子化データに逆量子化処理及び所定の逆変換処理を施して予測残差信号を復元した復元予測残差信号を取得する逆量子化／逆変換手段と、
   前記予測画像に前記復元予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、
   前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、
   前記ループ内フィルタ手段によるフィルタ処理後の再構成画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段を有し、
   前記ループ内フィルタ手段は、少なくとも、請求項１に記載の画像処理装置を用いてフィルタ処理を行う
   ことを特徴とする映像符号化装置。
9. 前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を決定するフィルタ係数決定手段をさらに備え、
   前記画像処理装置の前記線形フィルタ処理手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を用いて線形フィルタ処理を行い、
   前記符号化手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を前記符号化データに多重化する
   ことを特徴とする請求項８に記載の映像符号化装置。
10. 前記フィルタ係数決定手段は、前記画像処理装置の差分値制限処理で用いる差分制限値をさらに決定し、
    前記画像処理装置の前記制限値処理手段は、前記フィルタ係数決定手段が決定した差分制限値を用いて差分値制限処理を行い、
    前記符号化手段は、前記フィルタ係数決定手段が決定した差分制限値を前記符号化データに多重化する
    ことを特徴とする請求項９に記載の映像符号化装置。
11. 前記画像処理装置の前記差分値算出手段は、前記対象画素を中心として前記線形フィルタ処理手段の線形フィルタ処理で参照する周辺画素の参照パターンを複数備え、いずれかの参照パターンを指定するパターンタイプ情報が供給されると、前記対象画素の画素値と、前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出し、
    前記フィルタ係数決定手段は、前記差分値算出手段に入力するパターンタイプ情報をさらに決定し、
    前記画像処理装置の前記差分値算出手段は、前記フィルタ係数決定手段が決定した前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出し、
    前記符号化手段は、前記フィルタ係数決定手段が決定したパターンタイプ情報を前記符号化データに多重化する
    ことを特徴とする請求項９又は１０に記載の映像符号化装置。
12. 符号化された映像データを復号して復号データを取得する復号処理手段と、
    前記映像データの復号対象フレームの予測画像を生成する予測画像生成手段と、
    前記復号データに、逆量子化処理及び所定の逆変換処理を施して、復号対象フレームの予測残差信号を取得する逆量子化／逆変換手段と、
    前記予測画像に前記予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、
    前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、
    前記ループ内フィルタによるフィルタ処理後の復号画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段とを有し、
    前記ループ内フィルタ手段は、少なくとも、請求項１に記載の画像処理装置を用いてフィルタ処理を行う
    ことを特徴とする映像復号装置。
13. 前記復号処理手段は、前記復号データから、前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を取得し、
    前記画像処理装置の前記線形フィルタ処理手段は、前記復号処理手段が取得した線形フィルタ係数を用いて線形フィルタ処理を行う
    ことを特徴とする請求項１２に記載の映像復号装置。
14. 前記復号処理手段は、前記復号データから、前記画像処理装置の差分値制限処理で用いる差分制限値を取得し、
    前記画像処理装置の前記制限値処理手段は、前記復号処理手段が取得した差分制限値を用いて差分値制限処理を行う
    ことを特徴とする請求項１３に記載の映像復号装置。
15. 前記画像処理装置の前記差分値算出手段は、前記対象画素を中心として前記線形フィルタ処理手段の線形フィルタ処理で参照する周辺画素の参照パターンを複数備え、いずれかの参照パターンを指定するパターンタイプ情報が供給されると、前記対象画素の画素値と、前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出し、
    前記画像処理装置の前記差分値算出手段は、前記復号処理手段が取得した前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出する
    ことを特徴とする請求項１３又は１４に記載の映像復号装置。
16. 映像データを符号化して符号化データを出力する映像符号化装置と、前記符号化データを復号して復号画像を得る映像復号装置とを備える映像処理システムにおいて、前記映像符号化装置として請求項８の映像符号化装置を適用し、前記映像復号装置として請求項１２の映像復号装置を適用したことを特徴とする映像処理システム。

Images