JP2004180248A - 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム - Google Patents
符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム Download PDFInfo
- Publication number
- JP2004180248A JP2004180248A JP2002348398A JP2002348398A JP2004180248A JP 2004180248 A JP2004180248 A JP 2004180248A JP 2002348398 A JP2002348398 A JP 2002348398A JP 2002348398 A JP2002348398 A JP 2002348398A JP 2004180248 A JP2004180248 A JP 2004180248A
- Authority
- JP
- Japan
- Prior art keywords
- block
- image
- coding distortion
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】圧縮されたビデオ信号を再生した場合、モザイク状のブロック・ノイズが発生する。このブロック・ノイズを除去するが、すべてのブロックに対し、デブロックフィルタによるブロック・ノイズの除去を行なうと、デブロックフィルタの負担が大きくなるので、この負担を軽減させる。
【解決手段】符号化歪の除去処理が必要かどうかを判断し、必要な場合のみでブロックフィルタを行なう様にする。
【選択図】図２
【解決手段】符号化歪の除去処理が必要かどうかを判断し、必要な場合のみでブロックフィルタを行なう様にする。
【選択図】図２
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号を符号化した際に発生する符号化歪を除去する符号化歪除去方法、および符号化歪除去方法を用いて圧縮率をより高めることができる符号化方法ならびに復号化方法と、それをソフトウェアで実施するためのプログラムが記録された記録媒体である。
【０００２】
【従来の技術】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64kbps〜1.5Mbpsの伝送速度を持つサービス総合ディジタル網（ISDN:Integreted Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、MPEG（Moving Picture Experts Group）とは、動画面信号のデジタル圧縮の国際規格であり、MPEG-1は、動画面信号を1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG-1規格を対象とする伝送速度が主として約1.5Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG-2では、動画像信号が２〜１５Mbpsに圧縮される。
【０００６】
さらに現状では、MPEG-1，MPEG-2と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、より圧縮率が高いMPEG-4が規格化された。MPEG-4では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ITU-Tでは次世代画面符号化方式として、H.26Lの標準化活動が進んでいる。
【０００７】
H.26Lでは、従来の動画像符号化と異なり、符号化歪を除去するために複雑な処理を伴う符号化歪除去方法を採用している。動画像符号化でよく使用されるDCT等の直交変換を用いたブロック単位符号化方法では、ブロックの境界にブロック歪と呼ばれる格子状の歪が見られることが知られている。低周波数成分の画質劣化は高周波数成分の画質劣化よりも目立つため、ブロック単位符号化では、主として高周波数よりも低周波数成分を忠実に符号化する。また、カメラなどで撮影した自然画像では、高周波数成分よりも低周波数成分を多く含むことから、本質的にブロック内の周波数成分は低周波数成分が多くなる。その結果、ブロック内部では高周波数成分が殆ど無く、ブロック内部で隣接する画素ではほぼ同じ画素値をとる傾向がある。一方、ブロック単位で符号化するために、ブロック内では画素値がほぼ同じであっても、ブロック境界では必ずしも隣接ブロック間で画素値がほぼ同じ値、すなわち画素値が連続的に変化する保証が無い。その結果、図31の符号化歪除去方法の概念の説明図に示すように、図31(a)の原画像に対してブロック単位符号化を行うと、図31(b)に示すように、ブロック内部では画素値が滑らかに連続的に変化し、破線で示すブロック境界部のみで画素値が不連続となるブロック歪が発生する。そこで、図31(c)のようにブロック境界部で画素値が連続となるように補正することで符号化に起因する画質で大きな問題となるブロック歪を低減できる。このブロック歪を低減する処理を符号化歪除去方法（デブロック方法）と呼ぶ。
【０００８】
符号化歪除去方法を動画像復号化に用いる場合は、図32の従来の復号化方法を用いた画像復号化装置のブロック図のような構成（ポストフィルタ）と、図33の従来の復号化方法を用いた画像復号化装置のブロック図のような構成（ループ内フィルタ）がある。以下、各ブロック図の構成を説明する。
【０００９】
図32の従来の復号化方法を用いた画像復号化装置のブロック図において、可変長復号化部５２は符号化信号Strを可変長復号化し、周波数符号成分DCoefを出力する。逆ジグザグスキャン部５４は周波数符号成分DCoefの周波数成分を２次元のブロックに並べ替えて、ブロック単位の周波数成分である周波数成分FCoefを出力する。逆コサイン変換部５６は周波数成分FCoefを逆量子化および逆DCTを行い、差分画像DifCoefとして出力する。
一方、動き補償部６０は、メモリ６４に蓄積された参照画像Refから外部から入力される動きベクトルMVによって示される位置の画素を、動き補償画像MCpelとして出力する。加算部５８は、差分画像DifCoefと動き補償画像Mcpelとを加算し、再生画像Coefとして出力する。デブロックフィルタ６２は再生画像Coefに対して符号化歪除去を行い、復号画像信号Voutを出力する。再生画像Coefはメモリ６４に格納されて、後続の画像復号化で参照画像Refとして使用される。
【００１０】
図33の従来の復号化方法を用いた画像復号化装置のブロック図は、図32の従来の復号化方法を用いた画像復号化装置のブロック図と殆ど同じ構成であるが、デブロックフィルタ６２の位置が異なっている。即ち、図33の従来の復号化方法を用いた画像復号化装置のブロック図では、デブロックフィルタ６２を行った復号画像信号Voutがメモリ６４に格納される。
【００１１】
図32の従来の復号化方法を用いた画像復号化装置のブロック図は、MPEG-１、MPEG-２、MPEG-４およびH.263で採用された方法であり、図33の従来の復号化方法を用いた画像復号化装置のブロック図は、H.261で採用されており、H.26L TM8でも採用されている。
【００１２】
図32の従来の復号化方法を用いた画像復号化装置のブロック図では、メモリ６４に格納される再生画像Coefはデブロックフィルタ６２の方法に依存しない。よってデブロックフィルタ６２として複雑ではあるが高性能なものや、効果は大きくないが処理が簡単な物等の種々の方式から機器の能力やアプリケーションに応じて独自に開発・実装可能である。また、機器毎に適切なものを使用できる利点がある。
一方、図33の従来の復号化方法を用いた画像復号化装置のブロック図は、メモリ６４に格納される復号画像信号Voutはデブロックフィルタ６２の方法に依存する。よって機器の実装やアプリケーションに応じて適切なものに変更できないという課題はあるが、どのような機器であっても同じ符号化歪除去結果が得られることを保証できるという利点がある。
【００１３】
図34は従来の符号化歪除去方法を用いた符号化歪除去部のブロック図である。これは、図32および図33のデブロックフィルタ６２の構造を詳細に記したものである。符号化歪を含む画像信号から、符号化歪だけを効率よく除去するためには、画像信号に含まれる符号化歪の大きさや傾向を特定し、それにあった適切なフィルタ処理を行うことで、本来の画像信号を劣化させないことが重要である。符号化歪は高周波数成分を多く含むことから、画像信号の中で高周波数成分の含まれる割合を調査し、画像信号に本来高周波数成分が含まれていないと考えられる画素に高周波数成分があれば符号化歪と判断し（画像信号は隣接画素間の相関が高いため、高周波数成分を含む画素位置はエッジ等の部分に集中しており、離散的に発生する場合は符号化歪と考えられる）、高周波数成分抑圧フィルタを行う処理が、符号化歪除去方法の一般的な考え方である。このデブロックフィルタ６２はH.26LのTML 8に記載されている内容をもとに、本願発明者が作成したものである。
【００１４】
フィルタ対象画素数決定部８４は再生画像Coefを用いて、符号化歪を含む画素位置を決定し、フィルタ対象画素数FtrPelを出力する。フィルタ係数決定部８６はフィルタ対象画素数FtrPelと再生画像Coefを用いて、当該画素の符号化歪除去に適切なフィルタの係数（フィルタのタップ数も含む）を決定し、フィルタ係数FtrTapとして出力する。フィルタ処理部８８は、フィルタ係数FtrTapで示すフィルタの係数で再生画像Coefに符号化歪を除去するフィルタ処理を行い、復号画像信号Voutを出力する。
【００１５】
【非特許文献１】
MPEG-４ P290-P292 F.3.1 Deblocking filter
【００１６】
【発明が解決しようとする課題】
さて、このような従来の符号化歪除去方法は、符号化歪除去効果は大きいが処理が非常に複雑で実装が困難であるという課題があった。また、単位時間あたりの処理量が多いという課題があった。
また、如何に効果的な符号化歪除去方法を用いても、特別な付加情報無く画像信号と符号化歪を正確に区別することは不可能であるから、符号化歪除去を行うことで画像信号の画質を損なう可能性がある。これは、図33の従来の復号化方法を用いた画像復号化装置のブロック図のように、符号化歪除去を行った結果を参照画像とする場合は後続画面の符号化結果にも影響するため、特に問題は大きい。
本発明は、処理が簡単な符号化歪除去方法、符号化歪除去を行うことで従来よりも画像信号の画質を損なう可能性が少ない高性能な符号化歪除去を行うことで画像信号の画質を損なう可能性を低減可能な符号化歪除去方法、符号化方法および復号化方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
そしてこの目的を達成するために、本発明は、画像から符号化歪を除去する符号化歪除去方法であって、動き補償単位が符号化単位よりも大きい場合に、動き補償単位の境界と符号化単位の境界とが一致する境界と動き補償単位の境界と符号化単位の境界とが異なる境界とで異なる方法で符号化歪を除去する。
これにより、動き補償単位の境界における符号化歪と、符号化単位の境界における符号化歪の性質が異なることから、各単位によって符号化歪の除去のフィルタを切替ることで、符号化歪を含む画像信号から効率よく符号化歪のみを除去できる。
また、さらに、前記動き補償単位の残差誤差が０のとき、前記動き補償単位の境界のみで符号化歪を除去する。
【００１８】
また本発明は、画像から符号化歪を除去する符号化歪除去方法であって、符号化歪を含む画像から画像パラメータを抽出するステップと、符号化歪を除去する画素を、前記画像パラメータを用いて特定する第1のステップと、符号化歪を除去する方法を、前記画像パラメータを用いて特定する第2のステップと、第1のステップで特定した画素に第2のステップで特定した方法で符号化歪を除去する第3のステップとを備える。
これにより、符号化歪を除去する画素を特定する第1のステップと、符号化歪を除去する方法を特定する第2のステップにおいて共通に利用できる画像パラメータを予め計算し、前記画像パラメータを用いることで第1のステップおよび第2のステップの処理を簡単化することで、画質を劣化せずに符号化歪除去方法の処理を削減することができる。
【００１９】
また本発明は、画像から符号化歪を除去する符号化歪除去方法であって、ブロック単位で符号化歪を除去するか否かを判断し、前記判断によって除去すべきブロックについて更に画素毎に符号化歪を除去すべきか否かを判断して符号化歪除去処理を行う画素を決定する。
これにより、まずブロック単位で符号化歪の除去を行うかどうかを判定し、符号化歪除去が不要なブロックは画素単位の判定を省略することで、符号化歪除去方法の処理量を削減できる。画像符号化の情報を使用すれば、符号化歪除去の不要なブロック（例えば、静止しており参照画像と画素が完全に一致するブロック）であることを容易に判定できる場合も多い。
【００２０】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックの画素における画素値と前記第二のブロックの画素における画素値との差分値と、前記第一のブロックにおける量子化パラメータと前記第二のブロックにおける量子化パラメータとの平均値に対応する符号化歪を除去する方法を決定するパラメータと、を比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
これにより、量子化パラメータの異なるブロック境界における符号化歪除去処理において、隣接するブロックの量子化パラメータの平均値をブロック境界の両側のフィルタ処理に用いることができる。
【００２１】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、符号化歪を除去するときに閾値を決定するためのパラメータを復号する復号化ステップと、前記第一のブロックの画素における画素値と前記第二のブロックの画素における画素値との差分値と、前記復号されたパラメータに基づいた所定の閾値と、を比較する比較ステップと前記比較ステップにおける比較の結果に基づいて符号化歪の除去方法を切り換える除去ステップとを有する。
【００２２】
これにより、符号化歪除去を行う際に使用する閾値パラメータを予め個々の符号化信号に重畳しておき、符号化歪除去の際に各符号化信号に適切な閾値パラメータを利用した符号化歪除去を行うことで、符号化歪を含む画像信号から効率よく符号化歪を除去できる。閾値パラメータは画像信号に合った適切な符号化歪除去方法を示すものであり、個々の画素もしくは個々のブロック毎に符号化歪除去方法を明示的に切替るものでは無く、従って閾値パラメータを符号化信号に重畳するために必要なデータ量はわずかである。
また、前記動画像は複数のブロックから構成されるスライスを有し、前記パラメータは、前記動画像に対応する画像データを符号化して得られる符号列におけるスライスのヘッダ情報に含まれる。
【００２３】
また本発明は、複数の参照画像から少なくとも１つを参照して符号化する動画像符号化装置であって、複数の方法で符号化歪を除去して得られた複数の符号化画像を参照画像とする。
これにより、少なくとも2通りで符号化歪除去を行った複数の画面を参照画面とし、参照する際は適切な一方を逐次選択することで、符号化歪を含む画像信号から効率よく符号化歪を除去できたものを参照画像とすることができ、動画像符号化の圧縮率が向上する。
また、前記複数の方法のうち、第１の方法は前記符号化画像に対して符号化歪を除去しない方法であり、第２の方法は前記符号化画像に対して符号化歪を除去する方法である。
【００２４】
また本発明は、複数の参照画像から少なくとも１つを参照して復号化する動画像復号化装置であって、複数の方法で符号化歪を除去して得られた複数の復号化画像を参照画像とする。
これにより、少なくとも2通りで符号化歪除去を行った複数の画面を参照画面とし、参照する際は適切な一方を逐次選択することで、符号化歪を含む画像信号から効率よく符号化歪を除去できたものを参照画像とすることができ、符号化信号を正しく復号化できる。
また、前記複数の方法のうち第１の方法は前記復号化画像に対して符号化歪を除去しない方法であり、第２の方法は前記復号化画像に対して符号化歪を除去する方法である。
【００２５】
また本発明は、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像の符号化歪を除去する符号化歪除去方法であって、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックを有するピクチャか、所定数の前記奇数ラインの画素から構成される一方のフィールド構造のブロックを有するピクチャ若しくは所定数の前記偶数ラインの画素から構成される他方のフィールド構造のブロックを有するピクチャかを判断する判断ステップと、符号化歪を除去する対象のブロックが、全て前記フレーム構造のブロックを有するピクチャのブロックであるとき、隣接する前記フレーム構造のブロック間で符号化歪を除去し、符号化歪を除去する対象のブロックが、全て前記フィールド構造のブロックを有するピクチャのブロックであるとき、隣接する前記フィールド構造のブロック間で符号化歪を除去する除去ステップとを有する。
【００２６】
これにより、フレーム構造のブロックを有するピクチャかフィールド構造のブロックを有するピクチャかによって、符号化歪を除去する対象ブロックの処理を切り換えることができる。
また、さらに、符号化歪を除去する対象のブロックが、前記フレーム構造のブロックと前記フィールド構造のブロックとを有するピクチャのブロックであるとき、前記フィールド構造であるブロックを前記フレーム構造のブロックに変換する変換ステップと、前記フィールド構造であるブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
【００２７】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、前記フレーム構造である前記第一のブロックを前記フィールド構造のブロックに変換する変換ステップと、前記フィールド構造である前記第二のブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
これにより、 フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。
【００２８】
また、前記フレーム構造である前記第一のブロックから前記フィールド構造のブロックへの変換は、マクロブロック単位または上下に隣接する２つのマクロブロックをまとめた単位で切り換える。
また、前記フィールド構造である第二のブロックは、前記フレーム構造のブロックに変換しない。
【００２９】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、符号化歪を除去する対象ブロックが、前記フレーム構造のブロックか前記フィールド構造のブロックかを判断する判断ステップと、前記対象ブロックがフィールド構造である前記第２のブロックであるとき、前記フレーム構造である前記第１のブロックを前記フィールド構造のブロックに変換し、前記対象ブロックがフレーム構造である前記第１のブロックであるとき、前記フィールド構造である前記第２のブロックを前記フレーム構造のブロックに変換する変換ステップと、前記対象ブロックの画素における画素値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
これにより、 フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。
【００３０】
また、前記変換ステップにおける前記フレーム構造のブロックから前記フィールド構造のブロックへの変換では、前記フレーム構造のブロックにおける奇数ラインの画素から変換後の一方のフィールドを生成し、前記フレーム構造のブロックにおける偶数ラインの画素から変換後の他方のフィールドを生成し、前記比較ステップにおける前記差分値と前記閾値との比較は、前記第二のブロックの一方のフィールドの画素における画素値と前記第一のブロックの前記変換後の一方のフィールドの画素における画素値とを比較、あるいは、前記第二のブロックの他方のフィールドの画素における画素値と前記第一のブロックの前記変換後の他方のフィールドの画素における画素値とを比較する。
【００３１】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、前記フィールド構造である前記第二のブロックを前記フレーム構造のブロックに変換する変換ステップと、前記フレーム構造である前記第一のブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
これにより、 フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。
【００３２】
また、前記フィールド構造である前記第二のブロックから前記フレーム構造のブロックへの変換は、マクロブロック単位または上下に隣接する２つのマクロブロックをまとめた単位で切り換える。
また、前記フィールド構造である第二のブロックは、前記フレーム構造のブロックに変換しない。
また、前記変換ステップにおける前記フィールド構造のブロックから前記フレーム構造のブロックへの変換では、前記一方のフィールドのブロックの画素と前記他方のフィールドのブロックの画素とから変換後のフレームを生成し、前記第一のブロックの奇数ラインの画素における画素と前記第二のブロックの前記変換後の奇数ラインの画素における画素値とを比較、あるいは前記第一のブロックの偶数ラインの画素における画素と前記第二のブロックの前記変換後の偶数ラインの画素における画素値とを比較する。
また、前記比較ステップにおいて、前記境界線に対して対象の位置にある、前記境界線と同方向に一列に並んだ複数の画素毎に、前記差分値と前記閾値との比較をする。
これにより、複数画素をまとめて符号化歪の除去をすることができる。
【００３３】
また本発明は、符号化差分画像を復号化し、差分画像を出力する復号化部と、参照画像から動き補償画像を出力する動き補償部と、前記差分画像と前記動き補償画像とを加算し合成画像を出力する加算部と、前記合成画像が有する符号化歪を除去し再生画像を出力する符号化歪除去部と、前記再生画像を前記参照画像として記憶する記憶部とを有する画像符号化装置であって、前記符号化歪除去部において、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去する。
【００３４】
また本発明は、画像から符号化歪を除去するためのプログラムであって、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去する。
【００３５】
また本発明は、符号化差分画像を復号化し、差分画像を出力する復号化部と、参照画像から動き補償画像を出力する動き補償部と、前記差分画像と前記動き補償画像とを加算し合成画像を出力する加算部と、前記合成画像が有する符号化歪を除去し再生画像を出力する符号化歪除去部と、前記再生画像を前記参照画像として記憶する記憶部とを用いた画像符号化のためのプログラムであって、前記符号化歪除去部において、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去することをコンピュータに実行させる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、説明する。
（実施の形態1）
図１の復号化方法を用いた画像復号化装置のブロック図において、可変長復号化部５２は符号化信号Strを可変長復号化し、周波数符号成分DCoefを出力する。逆ジグザグスキャン部５４は周波数符号成分DCoefの周波数成分を２次元のブロックに並べ替えて、ブロック単位の周波数成分である周波数成分FCoefを出力する。逆コサイン変換部５６は周波数成分FCoefを逆量子化および逆DCTを行い、差分画像DifCoefとして出力する。
【００３７】
一方、動き補償部６０は、外部から入力される動きベクトルMVによって示される位置の画素をメモリ６４に蓄積された参照画像Refから動き補償画像MCpelとして出力すると共に、動き補償ブロックの大きさを示す動き補償ブロックサイズMcsizeを出力する。加算部５８は、差分画像DifCoefと動き補償画像MCpelを加算し、再生画像Coefとして出力する。デブロックフィルタ６２は再生画像Coef、動き補償ブロックサイズMCsize、差分画像DifCoefを受け、符号化歪除去を行い、復号画像信号Voutを出力する。再生画像Coefはメモリ６４に格納されて、後続の画像復号化で参照画像Refとして使用される。
【００３８】
図２は本発明の符号化歪除去方法を用いたデブロックフィルタ（符号化歪除去部とも言う）６２のブロック図である。このデブロックフィルタ６２はITU-T H.26LのTML 8に記載されているデブロックフィルタの内容を参照して本願発明者が発明したものである。
フィルタ対象画素数決定部４は入力される再生画像Coef毎に、符号化歪を含む画素位置を決定し、フィルタ対象画素数FtrPelとして出力する。すなわち、フィルタ対象画素数FtrPelはフィルタ処理をすべきと判断した画素位置を示す。フィルタ係数決定部６はフィルタ対象画素数FtrPelと再生画像Coefの画素値を用いて、当該画素の符号化歪除去に適切なフィルタの係数（フィルタのタップ数も含む）を決定し、フィルタ係数FtrTapとして出力する。フィルタ処理部８は、フィルタ係数FtrTapで示すフィルタの係数で再生画像Coefに符号化歪を除去するフィルタ処理を行い、復号画像信号Voutを出力する。
【００３９】
動き補償ブロック境界判定部２は差分画像DifCoefと動き補償ブロックサイズMCsizeを入力とし、当該処理対象ブロックの差分画像DifCoefが所定値以下であるか、例えば０であるかどうかを判定すると共に、動き補償ブロックの境界であるかどうかを判定し、動き補償ブロック境界フラグIsEdgeを出力する。
【００４０】
図３はITU-T H.26L TML８に採用されている動き補償ブロックサイズの例を示す。同例では、動き補償ブロックサイズの最大値が16×16画素であり、マクロブロックと呼ばれるサイズと一致する。図３の(a)〜(g)はそれぞれ動き補償ブロックサイズが4×4、4×8、8×4、8×8、8×16、16×8、16×16に対応する。ITU-T H.26L TML8ではこの７通りの動き補償ブロックサイズからマクロブロック単位で適切なものを選択して符号化・復号化に使用する。なお、上下に隣接する２つのマクロブロックをまとめた単位で適切なものを選択して符号化・復号化することができ、このマクロブロックをまとめた単位をマクロブロックペアという。
【００４１】
一方、ITU-T H.26L TML8では、周波数変換および符号化の単位は4×4画素である。この4×4画素の単位を符号化単位という。符号化単位は、4×4画素以外のサイズであってもよい。図３(a)に示すようにA〜Pの16ブロックのそれぞれは、4×4画素で構成されている。このように、符号化の単位である4×4画素と動き補償ブロックサイズは図３（ａ）以外の場合は一致しない。符号化歪として特に視覚的に妨害となるブロック歪は符号化単位である最小4×4画素で発生するため、従来の符号化歪除去方法では常に4×4画素単位で処理を行っている。
【００４２】
さて、動き補償符号化することで、画面間の相関が特に強い場合は、画面間の動き補償の残差誤差が０となる。この場合には、4×4画素単位で符号化・復号化すべき差分画像DifCoefも０であるから、動き補償のブロックの境界部以外には符号化・復号化の符号化歪に伴う画素値の不連続な値は発生しないと考えられる。そこで、例えば図３(b)のような動き補償ブロックの場合は、図３(a)のAC、BD、EG、FH、IK、JL、MO、NPの4×4画素境界（点線で示す境界線）で符号化歪除去処理は不要である。同様に、図３(c)のような動き補償ブロックの場合は、図３(a)のAB、CD、EF、GH、IJ、KL、MN、OPの4×4画素境界で符号化歪除去処理は不要である。そして、4×4画素単位で符号化・復号化すべき差分画像DifCoefも０の場合は、動き補償ブロックの境界のみで符号化歪除去処理を行い、動き補償ブロック内の4×4画素単位での境界においては符号化歪除去処理を行わない。これにより、全てのブロック境界で符号化歪除去処理を行う場合と比較し、符号化歪除去処理の演算回数を削減することができる。
【００４３】
従って、動き補償ブロック境界判定部２は、当該処理対象ブロックの差分画像DifCoefが0であり且つ動き補償ブロックの境界でない場合は選択部１０ａ、１０ｂをOFF（実線で示す）とし、選択部１０ｂから再生画像Coefを復号画像信号Voutとして出力する。この選択部の切り替えは、動き補償ブロック境界フラグIsEdgeで選択する。これによりフィルタ対象画素数決定部４、フィルタ係数決定部６、フィルタ処理部８の処理を省略することができる。なお、上記以外の場合は、選択部１０ａ、１０ｂをON（点線で示す）とし、選択部１０ｂからフィルタ処理部８の出力を復号画像信号Voutとして出力する。この選択部の切り替えは動き補償ブロック境界フラグIsEdgeで選択する。
【００４４】
以上のように、本実施の形態によれば、動き補償ブロック境界フラグIsEdgeでフィルタ対象画素数決定部４、フィルタ係数決定部６、フィルタ処理部８の処理を省略する仕組みを導入することで、処理削減による高速化および処理に必要な電力削減効果が得られる。
なお、本実施の形態では、単純に符号化歪除去処理を行わない例を示したが、符号化歪除去処理を行わない代わりに簡単な処理の符号化歪除去処理を使用し、複雑な処理が必要な符号化歪除去処理と４×４画素単位で切り替えてもよい。
【００４５】
（実施の形態２）
本実施の形態では、符号化歪除去方法を簡単に実現する具体的な処理手順を説明する。まず、図４は符号化歪除去方法を示すフローチャートである。
ステップＳ18で対象ブロックが符号化歪除去対象ブロックか否かを判定する。符号化歪除去対象ブロックであればステップＳ19に進み、対象ブロックで無ければステップＳ24に進む。
ステップＳ19では適切な符号化歪除去フィルタ選択し、ステップＳ20では選択したフィルタで符号化歪除去処理を行って、ステップＳ21で対象画素を当該ブロックの未処理画素に変更する。ステップＳ22で当該ブロックに未処理画素が存在しない場合は、ステップＳ24に進み、未処理画素が存在すればステップ19以降を繰り返す。
【００４６】
ステップＳ24では当該画面に未処理ブロックが存在するか否かを判定する。未処理ブロックがあればステップＳ23に進み、当該画面に未処理ブロックが無ければ当該画面の符号化歪除去処理を終了する。
ステップＳ23では対象ブロックを未処理ブロックに変更して、ステップＳ18以下の処理を繰り返す。
【００４７】
図６は本発明の符号化歪除去方法におけるフィルタ対象画素数決定のフローチャートであり、図２に示すフィルタ対象画素数決定部４の動作の一例である。また図６は動き補償ブロックが図８（ａ）に示す場合を示す。また、符号化歪除去対象画素値を、図８（ｂ）に示すように、
p3、p2、p1、p0、q0、q1、q2、q3
とし、符号化歪除去済画素値を
P3、P2、P1、P0、Q0、Q1、Q2、Q3
とする。ここで、各画素値は画素の位置の並びの順番に記号を付したものであり、p0〜p3とP0〜P3は同じブロックの対応する画素、q0〜q3とQ0〜Q3は同じブロックの対応する画素を示す。
【００４８】
量子化パラメータQPが大きいほど量子化ステップが粗く符号化歪の大きさも大きくなる。そこで、量子化パラメータQPの大きさによってフィルタを切り替えることが有効である。図５に量子化パラメータQPと符号化歪除去の各パラメータ対応表を示す。また、フィルタの対象画素数を決定するパラメータｎを決定するための、パラメータ符号化歪除去処理のパラメータπ、Ω、ｎの対応表を以下の表１に示す。なお、πは、例えば、画素値の差が大きい場合はエッジであるためフィルタをかけてはいけないので、差がπ未満の画素の間にはフィルタをかけないようにπを決めるとよい。また、Ωは、例えば、画素値の差が小さい場合はその差が非常に小さい（Ω未満）かやや小さい（2×Ω未満）かによって差が小さいほどエッジでは無く符号化誤差の影響が強いと考えられるので強力なフィルタ（ｎが大きい）をかけるようにΩを決めるとよい。
【００４９】
表１
【００５０】
ここで、
dif1 = p0 q0
dif2 = p1 q1
dif1a = |dif1|
dif2a = |dif2|とする。即ち、図６の本発明の符号化歪除去方法におけるフィルタ対象画素数決定のフローチャートは、表１をもとにまとめたものである。
【００５１】
ステップＳ27は符号化歪除去処理で繰り返し計算されるパラメータである画素差分値DifPelを計算する。画素差分値DifPelはステップＳ27で計算されたdif1aとdif2aのことである。
【００５２】
ステップＳ28ではdif1aとπを比較し、dif1aがπを超えていればステップＳ29でn=0（即ち符号化歪除去処理をしない）として処理を終了する。dif1aがπ以下であればステップＳ30に進む。
【００５３】
ステップＳ30ではdif2aをΩと比較し、dif2aがΩ未満であればステップＳ31でn=2（即ち隣り合う各ブロックにおいてブロック境界から２つ目の画素までを符号化歪除去処理する）として処理を終了する。dif2aがΩ以上であればステップＳ32に進む。
ステップＳ32ではdif2aを2×Ωと比較し、dif2aが2×Ω未満であればステップＳ33でn=1（即ち隣り合う各ブロックにおいてブロック境界から１つ目の画素までを符号化歪除去処理する）として処理を終了する。dif2aが2×Ω以上であればステップＳ34でn=0（即ち符号化歪除去処理をしない）として処理を終了する。dif2は境界近傍の画素値の差分の絶対値であり、この差分値が小さいほど境界近傍で高周波数成分が少ないと考えられるため、dif2が小さいほど符号化歪除去処理を行う画素数を増加することで、効率よく境界部の符号化歪を除去できる。
【００５４】
図７は本発明の符号化歪除去方法におけるフィルタ係数決定のフローチャートであり、図２に示すフィルタ係数決定部６の動作の一例である。
ステップＳ37では、ｎとdif1a、dif2a、φを用いて3通りの条件の比較を行い、3通りの全ての条件が満たされた場合には、ステップＳ39で3タップフィルタ処理を行うように設定する。すなわち、φはフィルタのタップ数を決定する閾値であり、高周波数成分が少ないｎ＝２の場合で且つ境界部で画素値の変化が少ない（|dif2a-dif1a｜＜φ）場合に３タップフィルタになる。通常、3タップフィルタは1タップフィルタよりも高周波数成分を強く抑圧するフィルタが使用される。なお、ｎの値により、フィルタ処理を切り換えることができるため、このように求められたｎを用いて、フィルタをかける画素数を切り換えるのではなく、フィルタの種類を切り換えることも可能である。また、このように求められたｎにより、フィルタをかける画素数と、フィルタの種類をともに切り換えてもよい。
【００５５】
ステップＳ37で3通りの条件が満足されない場合は、ステップＳ38でｎが1以上であるかを判定し、ｎが1以上であればステップＳ40で1タップフィルタ処理を行うように設定する。一方、ｎが0あればステップＳ42でフィルタ処理を行わないように設定する。
なお、量子化パラメータQPはブロック毎に変更される可能性がある。しかしながら、量子化パラメータQPが異なるブロック境界では、符号化歪除去処理が複雑になってしまう。これを防ぐために、本発明では境界ブロックで量子化パラメータQPが変化する場合でも、境界においては、
* 隣接ブロックの量子化パラメータQPの平均値（なお、端数は例えば切捨てを行う）
* 隣接ブロックの量子化パラメータQPの最大値
* 隣接ブロックの量子化パラメータQPの最小値
* 左もしくは上隣接ブロックの量子化パラメータQP
のいずれかの方法で選択したQPをブロック境界の両側のフィルタ処理で使用する。なお、上記4通りの量子化パラメータQPの選択による差はわずかであり、予め選択した1通りのものを使用すれば良い。
以上のような方法により、符号化歪の除去を簡単に実施することができる。
【００５６】
次に、図8（ａ）は図１に示す符号化歪除去部６２の別例を示すブロック図である。また、図２に示す点線で囲まれた部分の別の例でもある。同図において、図34の従来の符号化歪除去方法を用いた符号化歪除去部のブロック図に記載されている機器と同じ動作をする機器は同じ番号を付し、説明を省略する。
【００５７】
画素差分計算部２０は再生画像Coefからブロック境界の画素差分値を計算し、画素差分値DifPelを出力する。画素差分値DifPelはdif1aおよびdif2aに相当する信号を含んでいる。画素差分値DifPelは、例えば、図８（ｂ）に示すように、符号化単位ブロックの境界線に対し、左右対称の位置、または上下対称の位置にある画素同士を比較し、その差（色差または輝度差）であるｄ１、ｄ２、ｄ３、ｄ４から求まる。これらの差の平均値（例えば（ｄ１＋ｄ２＋ｄ３＋ｄ４）／４）が一定値以下であれば、ｄ４を求めた幅の範囲内には、画像の境界線が存在しないと考えられるので、デブロックフィルタを実行するように動作する。他方、平均値が一定値以上であれば、画像の境界線が存在すると考えられるので、デブロックフィルタを実行しない様に制御する。なお、比較を行うのはｄ１、ｄ２、ｄ３、ｄ４の内のいずれか一つ、いずれか二つ、いずれか3つのどれかであってもよい。また、平均値ではなく、差の内で一番大きいものを一定値と比較するようにしてもよい。
【００５８】
フィルタ対象画素数決定部４の動作の一例としては図6に示すフィルタ対象画素数決定のフローチャートがある。また、フィルタ係数決定部６の動作の一例としては図7に示すフィルタ係数数決定のフローチャートがある。そして、図８（ｂ）に示すように画素差分値DifPelを参照することで、画素差分を計算する回数をフィルタ対象画素数決定部４およびフィルタ係数決定部６のそれぞれで削減できる。従って、フィルタ対象画素数決定部４およびフィルタ係数決定部６で再生画像Coefを参照せずにフィルタ対象画素数およびフィルタ係数を決定することができる。
以上のように、画素差分値DifPelとして計算した値を繰り返し使用することで、演算量を削減することができる。
【００５９】
（実施の形態３）
本実施の形態では、他の実施の形態で示した符号化歪除去方法を実現することができる符号化装置及び復号化装置について説明する。
図9は符号化装置を示すブロック図である。
【００６０】
動き検出部３０は第１メモリ３８および第２メモリ４０から出力される参照画像Ref1と参照画像Ref2をそれぞれ画像信号Vinと比較し、参照画像に対する画像信号Vinの動き量である動きベクトルMVを検出する。なお、その際に参照画像Ref1と参照画像Ref2のいずれの画像を参照した方が予測誤差が少なくなるかの情報も動きベクトルMVに含めて動き補償部３２に通知する。動き補償部３２は動きベクトルMVで示される位置の画像を参照画像Ref1または参照画像Ref2から抽出し、動き補償画像MCpelとして出力する。
【００６１】
減算部４２は画像信号Vinと動き補償画像MCpelの差分値を計算してコサイン変換部（DCT）４６に出力する。コサイン変換部４６は入力された差分値をDCT変換および量子化し、周波数成分FCoefを出力する。ジグザグスキャン部４８は周波数成分FCoefの順番の並べ替えを行った周波数符号成分DCoefを出力し、可変長符号化部５０は周波数符号成分DCoefを可変長符号化して符号化信号Strを出力する。
一方、DCT部（コサイン変換部）４６の出力は逆DCT部（逆コサイン変換部）に入力される。そして、周波数成分Fcoefと動き補償部３２からの出力である動き補償画像Mcpelとが合成部３４で合成され、合成画像coefが出力される。出力された合成画像は、一方ではそのままメモリ３８に出力され、他方では、デブロックフィルタ３６で処理された後、符号化歪が除去された復号画像信号Voutがメモリ４０に記憶される。
図10は復号化装置を示すブロック図であり、例えば図9に示す符号化装置のブロック図で符号化した符号化信号Strを正しく復号化することができる。図32又は図33に示す画像復号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。逆DCT部（逆コサイン変換部）５６は周波数成分FCoefを逆量子化および逆DCTを行って差分画像DifCoefを出力し、加算部５８で差分画像DifCoefと動き補償画像MCpelを加算することで再生画像Coefを得る。再生画像Coefは第１メモリ６４に記憶され、またデブロックフィルタ６２で再生画像Coefから符号化歪が除去された復号画像信号Voutは第２メモリ６６に記憶される。
【００６２】
以上の動作によって、第１メモリ３８及び第１メモリ６４には符号化歪が除去されていない画像、第２メモリ４０及び第２メモリ６６には符号化歪が除去された画像が格納されることになる。符号化歪の除去処理は必ずしも符号化歪のみを除去できるわけでは無く、本来の画像信号の一部も失われる可能性がある。そこで、図9に示す符号化装置における、動き検出部３０で第１メモリ３８および第２メモリ４０の両方から常に最適なものを選択できる仕組みを備えるようにする。
この構成により、本来の画像信号の一部を、符号化歪を除去することにより失った場合でも第１メモリ３８を参照することで適切な参照画像を選ぶことができる。同様に図10に示す復号化装置においても適切な参照画像を選ぶことができる。
なお、本実施の形態では直交変換としてDCTを用いたが、アダマール変換やウェーブレット変換を用いても良い。
【００６３】
（実施の形態４）
図11は本実施の形態における符号化歪除去部を示すブロック図であり、例えば図１に示すデブロックフィルタ６２に相当する。また、フィルタを決定するための閾値を決めることを特徴とする。同図において、図34に示す従来の符号化歪除去部のブロック図に記載されている機器と同じ動作をする機器は同じ番号を付し、説明を省略する。
【００６４】
フィルタ決定パラメータ復号化部２２はフィルタ決定パラメータ信号FtrStrを復号化し、フィルタパラメータFtrPrmを出力する。フィルタ決定パラメータ信号FtrStrは、閾値そのものではなく、閾値を決定するためのパラメータである。フィルタパラメータFtrPrmは、図５のπ、Ω、φに相当する。これらのパラメータπ、Ω、φを画像毎に最適化したデータをフィルタ決定パラメータ信号FtrStrから復号し取得することで、当該画像に適した符号化歪除去を行うことができる。
【００６５】
図12は本発明の符号化歪除去方法における符号化信号Strの構成図である。図12(a)は1画面に対応する符号化信号であり、1画面のデータであるピクチャデータPicDataと1画面の全データに共通のデータであるピクチャヘッダPicHdrで構成される。ピクチャヘッダPicHdrにはフィルタ決定パラメータ信号FtrStrが含まれている。
【００６６】
図12(b)はピクチャデータPicDataの構造であり、ピクチャデータPicDataは複数のブロック単位の集合で構成されるスライスの符号化信号である、スライス信号SliceStrを含んでいる。
図12(c)はスライス信号SliceStrの構造であり、1スライスのデータであるスライスデータSliceDataと1スライスの全データに共通のデータであるスライスヘッダSliceHdrで構成される。スライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrが含むことにより、スライスデータSliceData単位で受信した符号化信号を正しく復号化できる。
【００６７】
なお、ピクチャデータPicDataに複数のスライス信号SliceStrが含まれている場合は、全てのスライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrを含む代わりに、一部のスライスヘッダSliceHdrのみにフィルタ決定パラメータ信号FtrStrを含むようにしてもよい。フィルタ決定パラメータ信号FtrStrの内容が各スライスで共通であれば、図12(c)に示すようにスライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrが無い場合は、他のスライスヘッダSliceHdr のフィルタ決定パラメータ信号FtrStrで代用することで、フィルタ決定パラメータ信号FtrStrの繰り返しによるビット数の増加を抑えることも可能である。
【００６８】
また、符号化信号Strが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図12のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図12で説明したビットストリームの場合と同じである。図13は、符号化装置のブロック図を示す。同図において、図9に示す符号化装置のブロック図の機器と同じ動作をする機器は同じ番号を付し、説明を省略する。
【００６９】
メモリ２１７は、符号化対象の画像信号である入力画像信号Vinを記憶する。画質比較部２１６は、メモリ２１７から読み出した符号化対象の画像信号と復号化画像Voutを比較する。画質比較部２１６で比較した結果得られた誤差の大きさは、復号化画像に対応するデブロックフィルタの閾値とともに比較結果メモリ２１８に記憶される。選択部２１９は、比較結果メモリ２１８に記憶された誤差の中で誤差の大きさが最も小さい場合に対応するデブロックフィルタの閾値を最適閾値として選択する。選択した最適閾値は、閾値データ付加部２２０において、対応するピクチャのビットストリームに関連付けた付加ビットストリームとして多重化される。また、選択部２１９で出力した最適閾値を元に、閾値コントロール部２１５は次のピクチャのデブロックフィルタの閾値の候補を生成し、デブロックフィルタ３６に通知して符号化歪の除去処理の閾値を変更するとともに、比較結果メモリ２１８に現在使用中の閾値を通知する。
【００７０】
図14は、図13のブロック図をより概念的に示した符号化装置、例えば最適閾値選択器２２６は、図13のジグザグスキャン４８、可変長符号化器５０、閾値データ付加部２２０の３つを除く部分の動作、又は、メモリ２１７、画質比較部２１６、比較結果メモリ２１８、選択部２１９、閾値コントロール２１５の動作に相当する。また、ビデオ・エンコーダ２２７は、例えば図13のメモリ２１７、画質比較部２１６、比較結果メモリ２１８、選択部２１９、閾値コントロール２１５の５つを除く部分の動作に対応する。また、閾値２２８は上記最適閾値に相当する。
最適閾値選択器２２６は、最適閾値を選択する。ここで、最適閾値とは例えば図５に示す量子化パラメータQP毎に決定されたπ、Ω、φのセットが相当する。選択された最適閾値は、メモリ２２８に記憶され、フィルタ決定パラメータＦｔｒＳｔｒとしてビデオエンコーダ２２７に加えられる。なお、エンコードされたFtrStrはデコーダにおいては、例えば図11に示すフィルタ決定パラメータ復号化部２２で処理されることになる。
【００７１】
なお、最適閾値は、図13に示す閾値コントロール２１５内のメモリに記憶され、閾値コントロール２１５により閾値データが、閾値データ付加部に２２０に送られるようにしても良い。
次に符号化歪を除去するときにフィルタ決定パラメータＦｔｒＳｔｒを決定する動作を説明する。図15、図16、図17は、図13、図14で説明した符号化装置の動作をを示すフローチャートである。
図15は、画質の測定をするための動作の一例を示すフローチャートである。
【００７２】
まず、目標フレームtarget_frameを設定し、最初のピクチャを出力する（ステップ２２９）。ここで目標フレームtarget_frameとは閾値を導出するときに使用するピクチャである。
次に閾値コントロール部２１５において、閾値の範囲を設定し（ステップ２３０）、ステップ２３０で設定した範囲の一方の端の値を、閾値の初期値として閾値コントロール２１５から出力する（ステップ２３１）。
【００７３】
次に、設定した閾値の初期値を用いて符号化歪の除去をデブロックフィルタ３６で行い、目標フレームtarget_frameの画像の符号化を開始し（ステップ２３２）、符号化された１枚目のピクチャと入力画像信号Ｖｉｎの画質を画質比較器２１６で測定する（ステップ２３３）。
この測定結果はメモリ２１８に記録され（ステップ２３４）、現在のフレーム番号current_frameはインクリメントされる（ステップ２３５）。すなわち、最初のピクチャから次のピクチャに切り替え、次のピクチャを例えば図14に示す最適閾値選択器２２６およびビデオ・エンコーダ２２７あるいは図13に示すメモリ２１７、動き補償部３０、減算部４２に出力する。
【００７４】
ステップ２３６で、現在のフレーム番号が目標フレームtarget_frameに達したかどうかを判断する。達していなければ、ステップ２３３から２３５が繰り返される。そして入力されるピクチャに対する画質が画質比較部２１６で測定され、測定結果がメモリ２１８に記憶される。また、現在のフレーム番号が目標フレームtarget_frameに達していれば、ステップ２３７に進み、最初のピクチャである１枚目の画像に戻す。
ステップ２３８Ａで、閾値コントロール２１５において、閾値をインクリメントする。すなわち閾値を次の値に設定する。ここで次の値とは、初期値から、所定の増加量を加算した値である。
【００７５】
ステップ２３８Ｂで、閾値範囲における他方の端の値に至るまでの全ての閾値についてテストが行われたかどうかが判断される。全ての閾値についてテストが行われたのであれば最適閾値を選択するための処理を終了する。全ての閾値についてテストが行われていなければステップ２３２に戻り、再び目標フレームtarget_frameのピクチャを符号化する。
このように、ひとつの閾値について全ての目標フレームtarget_frameについて画質の測定を行った後、閾値を所定量加算して、再び全ての目標フレームtarget_frameについて画質の測定を行うことにより、画質の測定をすることができる。次に、図16のフローチャートを用いて、ひとつのピクチャに対し、設定した閾値範囲内にある全ての閾値で画質の測定を行い、続いて次のピクチャに対し、設定した閾値範囲内にある全ての閾値で画質の測定を行う方法について説明する。
【００７６】
まず、目標フレームtarget_frameを設定し、最初のピクチャを出力する（ステップ２３９）。現在のフレーム番号current_frameをゼロに設定し（ステップ２４０）、最初のピクチャであることを設定する。次に、閾値コントロール部２１５において、閾値の範囲を設定し（ステップ２４１）、デブロックフィルタ３６に対する閾値を設定する（ステップ２４２）。
【００７７】
最初のピクチャに対し閾値の初期値を用いて符号化（符号化歪除去処理）を行い、（ステップ２４３）符号化されたピクチャの画質を画質比較器２１６で測定する（ステップ２４４）。
この測定結果をメモリ２１８に記録し（ステップ２４５）、閾値コントロール２１５部において、閾値を次の値にインクリメントする（ステップ２４６Ａ）。そして、ステップ２４６Ｂで、全ての閾値がテストされたかどうかが判断される。全ての閾値がテストされていなければ、ステップ２４２に戻り、同じピクチャに対し、別の閾値で画質の測定をする。全ての閾値について画質の測定がされていればステップ２４７に進む。
【００７８】
ステップ２４７で、現在のフレーム番号current_frameをインクリメントする。すなわち、最初のフレームである１枚目のピクチャから次のフレームである２枚目のピクチャに切り替え、次のピクチャを例えば図14に示す最適閾値選択器２２６およびビデオ・エンコーダ２２７あるいは図13に示すメモリ２１７、動き補償部３０、減算部４２に出力する。
ステップ２４８で、現在のフレーム番号が目標フレームtarget_frameに達したかどうかを判断する。現在のフレーム番号が目標フレームtarget_frameに達していなければ、ステップ２４１に戻る。また、達していれば、画像の測定の処理を終了する。
【００７９】
図17は、図15または図16において説明した閾値とその閾値に対する画質の測定結果とに基づき、最適な閾値を選択する方法について説明するフローチャートである。
図17のステップ２４９で、選択部２１９は、画質の測定結果のデータと、対応する閾値データとのペアを取得する。
ステップ２５０で、測定結果を所定の順番に配置する。
ステップ２５１で、所定の条件に基づき最適画質を有するピクチャを選択し、そのピクチャに対応する閾値を最適閾値として選択する。所定の条件は、例えばＳＮ比が小さいこと、再生ピクチャ（当該閾値でデブロックフィルタ処理された画像）とオリジナル・ピクチャ（入力画像信号Ｖｉｎ）との間の差が最も低いこと、前記差の平均２乗がもっとも低いこと、等のいずれか、または組み合わせとすることができる。
【００８０】
ステップ２５２で、選択された最適閾値をフィルタ決定パラメータＦｔｒＳｔｒとして例えば図14に示すビデオ・エンコーダ２２７に出力する。
このように、図17で説明した方法を用いて、最適閾値を選択することができる。
なお、以上の実施の形態４においては、範囲の全ての閾値について画質の測定を行い、画質の測定結果を収集し、その中から最適な閾値を選出したが、閾値範囲の全ての閾値について順番に画質の測定を行い、最適な画質の測定結果が得られた時点で画質の測定を終了し、その画質の測定結果に対応する閾値を最適な閾値として選出してもよい。これにより、画質の測定回数を減らすことが可能となる。
また、あるブロックの符号化歪の除去処理は、そのブロックの画素値と隣接ブロックの画素値との比較が行われる。この場合、隣接ブロックは、符号化歪の除去処理が終了し、画素値の修正が終了したブロックを用いるようにする。
【００８１】
例えば、図18において、ブロックＧの符号化歪の除去処理を行う場合、ブロックＧに隣接する４つのブロックＥ，Ｄ，Ｈ，Ｍのそれぞれと符号化歪の除去を行うことができる。この場合、隣接ブロックの内、すでに符号化歪の除去処理が終了したブロックと行うようにすれば、より正確な符号化歪の除去を行うことが可能となる。
そこで、符号化歪の除去を線順次で、走査順次に行う。すなわち、画像の水平走査線の走査方向、走査線順に符号化歪の除去を行うとよい。
【００８２】
つまり図18において、１本目の走査線であるＡ，Ｂ，Ｅ，Ｆ，Ｃ，Ｄ，・・・の順番に符号化歪の除去処理を行い、各ブロックについて４本の境界線があるが、その内、上側の境界線と左側の境界線とに接している隣接ブロックについて符号化歪の除去処理を行うとよい。
この場合、ブロックＡについては、上側の境界線と左側の境界線とに接している隣接ブロックは存在しないので、符号化歪の除去を行わない。
また、ブロックＢについては、上側の境界線に接している隣接ブロックは存在しないので、左側の境界線に接している隣接ブロックＡとの間で符号化歪の除去を行う。
【００８３】
また、ブロックＧについては、上側の境界線と左側の境界線とに接している隣接ブロックはブロックＥ，Ｄであるので、ブロックＧについては、ブロックＥ，Ｄに対しては符号化歪の除去を行ない、ブロックＨ，Ｍに対しては符号化歪の除去を行わない。
このように、新たなブロックに対し、符号化歪の除去が終了した隣接ブロックとの間について符号化歪の除去を行い、まだ符号化歪の除去が終了していない隣接ブロックとの間について符号化歪の除去を行わないようにすれば、より正確な符号化歪の除去処理を行うことができる。
【００８４】
（実施の形態５）
本実施の形態では、まず、図19に示すように複数の画素、例えば１列に並ぶ４画素を１グループとしてまとめ、グループのペアで演算し、符号化歪の除去処理をする例について説明する。ここで言う符号化歪の除去処理とは、ブロック間の境界線を挟んだ領域においてデブロックフィルタ処理を行うか否かの判断、およびデブロックフィルタ処理の両方、またはいずれかを言う。また、ブロックとは、符号化処理単位である４ｘ４の１６画素を含むブロックまたは図３で説明した動き補償を行うブロックのいずれかを言う。
【００８５】
図19に示すように１グループを構成する４画素は、ブロックの境界線と同方向に並んだブロック内の４画素である。図19には、４画素を含むグループr１、r２、r３、r４が示されている。グループr１、r２、r３、r４のデータは、それぞれ４個のレジスタ（例えばＳＩＭＤレジスタ）に保持することができる。グループｒ１、ｒ２は、境界線に対し左右対称の位置にある。グループｒ３、ｒ４も、境界線に対し左右対称の位置にある。グループｒ１にある画素値と、グループｒ２にある画素値が比較され、その差により符号化歪の除去処理を行う。
【００８６】
これらの差を得るための演算は、グループｒ１の上端にある画素と、グループｒ２の上端にある画素との差１、グループｒ１の上端の次にある画素と、グループｒ２の上端の次にある画素との差２、グループｒ１の下端の上にある画素と、グループｒ２の下端の上にある画素との差３、グループｒ１の下端にある画素と、グループｒ２の下端にある画素との差４、を求め、これらの差１、差2、差3、差4の平均値、またはこれらの差１、差2、差3、差4の絶対値の和などを代表差として表し、代表差を所定の閾値と比較することにより行われる。他の演算方法も可能である。同じグループの4画素単位で演算を行うため、各画素単位で演算を行う場合に比べて並列演算が可能であり、並列化による高速な実装が容易になる。
【００８７】
以上は、グループｒ１とグループｒ２とが比較される場合を説明したが、さらに、正確さが必要とされる場合は、グループｒ３にある画素の明るさと、グループｒ４にある画素の明るさが比較され、グループｒ１，ｒ２で得られた比較結果の代表差と、今回の代表差の両方を加算、又は平均することにより符号化歪の除去処理を行うことも可能である。以上は、境界線が縦方向にある場合を説明したが、横方向も同様である。境界線が横方向にある場合は、横方向に並んだ４画素をグループとして捕らえられる。
【００８８】
ところで、図20（ａ)、(ｂ)は、それぞれ画面上の走査線がインターレースで構成されている場合を示す。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。図において、ねずみ色の小さな四角は奇数ラインの画素を示し、白色の小さな四角は偶数ラインの画素を示す。すなわち、奇数ラインで構成されるねずみ色の画素で１フィールドを構成し、偶数ラインで構成される白色の画素でフレームの他方のフィールドが構成されている。インタレース画像信号では、１つのフレームが時刻の異なる２つのフィールド（偶数フィールドと奇数フィールド）で構成される。静止画像の場合は時刻によって画素値が変化しないので、フレームの上下のラインの相関がフィールドの上下のラインの相関よりも強い。一方、動画像の場合は時刻によって画像が大きく変化するため、２つのフィールドの画素値が大きく異なり、フレームの上下のラインの相関よりもフィールドの上下のラインの相関の方が強くなる。従って、静止画像はフレーム、動画像はフィールドとして処理するのが効率が良い。
【００８９】
また、ピクチャがインタレース画像のとき、例えば、▲１▼ブロックが全てフレーム構造（フレーム構造については後述）のピクチャ、▲２▼ブロックが全てフィールド構造（フィールド構造については後述）のピクチャ、▲３▼ブロックがフレーム構造とフィールド構造のブロックとを有することができるピクチャ、が考えられる。
そして、例えば、ピクチャが▲１▼の場合（フレームの場合）には、全てフレーム構造単位でデブロック・フィルタ処理を行い、ピクチャが▲２▼の場合（フィールドの場合）には、全てフィールド構造単位でデブロック・フィルタ処理を行い、ピクチャが▲３▼の場合には、適応的にフィールド構造からフレーム構造あるいはフレーム構造からフィールド構造に変換をしてデブロック・フィルタ処理を行う。以下、それぞれについて具体的に説明する。
【００９０】
静止もしくは動きの小さいインタレース画像は、図20（ａ)に示す様な奇数フィールドと偶数フィールドとからなる１フレーム単位で処理される（フレーム構造という）。フレーム構造においては、図20（ａ）の右側に示す様に、16画素で構成されるひとつのブロックに奇数ラインの画素と偶数ラインの画素が含まれる。符号化歪の除去処理は、フレーム構造を有するブロック間で行なわれる。すなわち、図８（ｂ）で説明した様に、ブロックの境界において符号化歪の除去処理がなされる。
【００９１】
大きな動きのインタレース画像は、図20（ｂ）に示す様な奇数フィールドと偶数フィールドとに分けられた１フィールド単位で処理される（フィールド構造という）。フィールド構造は、図20（ｂ）の右側に示す様に、奇数ラインで構成される奇数フィールドと、偶数ラインで構成される偶数フィールドに分けられ、奇数フィールドには奇数ラインで構成されるブロックが含まれ、偶数フィールドは偶数ラインで構成されるブロックが含まれる。符号化歪の除去処理は、フィールド構造を有する奇数ラインのブロック間のみまたは偶数ラインのブロック間のみで行なわれる。
【００９２】
図21（ａ）は、インタレース画像の一部がフレーム構造で形成され、別の一部がフィールド構造で形成される例を示す。好ましくは、画像の中で、動画部分がフィールド構造で形成され、静止画部分がフレーム構造で形成される。フィールド構造またはフレーム構造で形成される最小単位はＤＣＴ等の直交変換もしくは動き補償が実行される最大単位であるマクロブロック（またばそれを複数個統合したスーパーマクロブロック）である。ここでは簡単に、図21（ａ）の自動車を含む四角部分がフィールド構造で形成され、残りの部分がフレーム構造で形成されているとする。
【００９３】
フィールド構造で形成されている部分と、フレーム構造で形成されている部分が隣接している部分での符号化歪の除去処理をどの様に行なうかを次に説明する。
図21（ｂ）において、コラムＣ１，Ｃ２，Ｃ３，Ｃ４に含まれるブロックは自動車がある部分に属し、動きがあるためフィールド構造で形成されている一方、コラムＣ５，Ｃ６，Ｃ７，Ｃ８に含まれるブロックは、自動車のない部分に属し、静止画像で効率が良いフレーム構造で形成されている。なお、この例ではマクロブロックは水平・垂直とも１６画素であり、ブロックは水平・垂直とも4画素である。図21（ｂ）において、コラムＣ４とＣ５は間隔をあけて示されているが、画像上では隣接している。コラムＣ３とＣ４の間にある境界線、及びコラムＣ５とＣ６の間にある境界線に対しては、図８（ｂ）で示した符号化歪の除去処理が行なわれる。コラムＣ４とコラムＣ５との間にある境界線に対しては、図21（ｃ）に示す様に、まずコラムＣ５にあるフレーム構造のブロックがフィールド構造のブロックに変換される。この変換は、例えば図21（ｂ）に示すコラムＣ５の奇数ラインの画素から図21（ｃ）に示すコラムＣ５のねずみ色の画素からなるブロックに変換し、図21（ｂ）に示すコラムＣ５の偶数ラインの画素から図21（ｃ）に示す白色の画素からなるコラムＣ５のブロックに変換する。続いて、コラムＣ４とＣ５との間にある境界線に対して図８（ｂ）で示した符号化歪の除去処理が行なわれる。
【００９４】
この様に、フレーム構造のブロックをフィールド構造のブロックに変換したのは、動きのある場合にフィールド構造のブロックをフレーム構造のブロックにすると垂直方向の画素の相関が失われ、垂直方向の符号化歪の除去処理を行うと不自然な劣化が発生するためである。一方、静止している場合にフレーム構造のブロックをフィールド構造にすると垂直方向の高周波数成分における符号化誤差の抑圧効果は小さくなるが、垂直方向の画素の相関は失われないため不自然な画質劣化が発生しにくい。
【００９５】
なお、処理量を減らす（フレームをフィールドに変換するのみ）ためにフレーム構造のブロックをフィールド構造のブロックに変換するとしたが、処理量を考慮せず、つまり、フレームはフィールドに変換し、更にフィールドをフレームに変換するため、先の場合と比べるとフィールドをフレームに変換する分の処理が新たに処理量が増加するが、符号化歪の除去処理の対象となっている（現在デブロックフィルタで画素値を変えようとしている）画素が、フレーム構造のブロック内にあるか、フィールド構造のブロック内にあるかどうかを判断し、符号化歪の除去処理の対象となっている画素が、フィールド構造のブロック内にあれば、フレーム構造のブロックをフィールド構造（符号化歪の除去処理の対象となっている画素を有するブロックの構造のタイプ）のブロックに変換し、符号化歪の除去処理の対象となっている画素が、フレーム構造のブロック内にあれば、フィールド構造のブロックをフレーム構造（符号化歪の除去処理の対象となっている画素を有するブロックの構造のタイプ）のブロックに変換してもよい。
【００９６】
以下、図22のフローチャートに基づいて、フレーム構造とフィールド構造が混在する場合の動作について説明する。
【００９７】
インタレース・画像信号列のフレームは、異なる時刻(time instant)で走査される、二つのフィールドで構成される。すなわち、二つのフィールドを１つにまとめたフレーム符号化（フレーム構造の符号化）、または、フィールドを個別に扱うフィールド符号化（フィールド構造の符号化）が可能である。更に、これらの符号化方法は、下記の二つのカテゴリーにグループ分けできる。すなわち、画面全体をフレーム符号化か、フィールド符号化のいずれかできりかえて符号化する固定符号化と、画面を複数の区分に分割し、区分毎にフレーム符号化かフィールド符号化かのいずれかを切り替えて行なう適応符号化である。固定符号化には、フレーム構造に対応したフレーム固定符号化と、フィールド構造に対応したフィールド固定符号化がある。固定符号化では、インタレース・ビデオ・シーケンスは、コンテンツに係わりなくフレーム符号化またはフィールド符号化のいずれかで常に符号化される。他方、適応符号化では、コンテンツにより、または画面により、または画面内の区分単位でフレーム符号化またはフィールド符号化のいずれかの符号化の選択が可能である。画面内の区分は、マクロブロック・レベルまでの細かさで行うことができる。従って、適応符号化では、マクロブロックは、フレーム符号化またはフィールド符号化のいずれかで符号化できることとなる。以下の説明では、マクロブロックを単にブロックと略す。
【００９８】
フレーム符号化されたブロック、すなわちフレーム構造を有するブロックでは、ノンインタレース・ビデオの符号化歪を除去する場合と同様にして符号化歪の除去が行なわれる。フィールド符号化されたブロック、すなわちフィールド構造を有するブロックでは、フィールドが偶数フィールドおよび奇数フィールドに分けられ、各フィールドは、個別の画面として扱われ、各フィールド毎に符号化歪の除去が行なわれる。
【００９９】
ステップ６３は、対象ブロックがフィールド符号化されているか、それともフレーム符号化されるかどうかを判断する。ブロックがフィールド符号化されている場合には、ステップ６４〜６９が実行される。ブロックがフレーム符号化されている場合には、ステップ７０〜７２が実行される。
【０１００】
ステップ６４〜６６では偶数フィールド構造のブロックが処理され、ステップ６７〜６９では奇数フィールド構造のブロックが処理される。ステップ６４〜６６での処理は、図21（ｂ）のコラムＣ３とＣ４の間の境界における白色画素間の符号化歪の除去処理に相当する。また、ステップ６７〜６９での処理は、図21（ｂ）のコラムＣ３とＣ４の間の境界におけるねずみ色画素間の符号化歪の除去処理に相当する。
ステップ６４で画素間の明るさが比較され、符号化歪の除去が必要かどうかが判断される。ステップ６５でフィルタリングすべき画素の数が決定される。ステップ６６でフィールドモードで符号化歪の除去が行なわれる。
【０１０１】
ステップ６７，６８，６９では、ステップ６４，６５，６６と同様な処理が行なわれる。
ステップ７０〜７２ではフレーム構造のブロックが処理される。この処理は、図21（ｂ）のコラムＣ５とＣ６の間の境界における符号化歪の除去処理に相当する。ステップ７０で画素間の明るさが比較され、符号化歪の除去が必要かどうかが判断される。ステップ７１でフィルタリングすべき画素の数が決定される。ステップ７２でフレームモードで符号化歪の除去が行なわれる。
ステップ７３で全てのブロックが処理されたかどうかが判断され、処理が終了する。
【０１０２】
図23は、図22のステップ６４と６７が一本化された場合を示す。すなわち、偶数フィールドのブロックと奇数フィールドのブロックの両方に対し符号化歪の除去が必要かどうかが判断され、この判断結果に基づき、偶数フィールド、奇数フィールドのブロックが共に符号化歪の除去が行なわれる。これにより、符号化歪の除去処理を簡略化することが可能となる。
図24は、図23のステップ６５と６８が一本化された場合を示す。すなわち、偶数フィールドのブロックと奇数フィールドのブロックの両方に対し符号化歪を除去すべき画素の数を決定する。この決定に基づき、偶数フィールド、奇数フィールドのブロックの符号化歪の除去が行なわれる。これにより、更に符号化歪の除去処理を簡略化することが可能となる。
【０１０３】
図25は、図21（ａ）に示した様に、ひとつの画面にフレーム符号化のブロックとフィールド符号化のブロックが混在している場合に、フレーム構造のブロックとフィールド構造のブロックが境界線を挟んだ両側にある場合の処理のフローチャートを示す。
ステップ９５で、符号化歪の除去を行なうブロックによって挟まれる境界線が、特定の境界線、すなわち境界線の一方側にフレーム構造のブロックがあり、他方側にフィールド構造のブロックがある境界線かどうかが判断される。この判断は、図21（ｂ）におけるコラムＣ４とＣ５の間の境界線であるかどうかの判断に相当する。特定の境界線であると判断された場合は、ステップ９６に移る。
【０１０４】
ステップ９６で、境界線の一方側にあるフレーム構造のブロックをフィールド構造のブロックに変換する。この変換は、図21（ｂ）のコラムＣ５に示すブロックから、図21（ｃ）のコラムＣ５に示すブロックへの変換に相当する。変換されたブロックを変換ブロックと言う。
ステップ９７で、境界線の他方側にあるフィールド構造のブロックと、変換ブロックとの間で符号化歪の除去が必要かどうかが判断される。この判断は、図21（ｃ）におけるコラムＣ４とＣ５の間の境界線での判断に相当する。必要と判断されればステップ９８に進む。
【０１０５】
ステップ９８で、フィルタリングすべき画素の数を決定する。
ステップ９９で、フィールドモードで符号化歪の除去が行なわれる。
なお、図25では、適応符号化でフレーム構造とフィールド構造のブロックが隣接する場合にフレーム構造をフィールド構造に変換し、フィールドで符号化歪を除去する例を示したが、逆にフィールド構造をフレーム構造に変換し、フレームで符号化歪を除去してもよい。図25のようにフィールドで符号化歪を除去すれば、動きの速い画像信号でも同じ時刻の画素のみを用いた符号化歪の除去が行われるため不自然な画質劣化がおきにくい利点がある。しかしながら、逆にフレームで符号化歪を除去すると、動きの小さな画像信号では垂直方向の画素相関がフィールドで行うよりも強いため、フールト゛でデブロックフィルタする場合よりも高周波数成分の劣化が少ないという利点がある。従って、それぞれに利点があり、機器を製造する際に一方を選択するか、もしくは使用者が一方を選択できるようにしてもよい。
【０１０６】
更に、適応符号化の場合でも、ブロック単位でなく画面単位で（フレームかフィールドかで）符号化歪の除去処理を決定してもよい。画面単位でデブロックフィルタがフィールドモードもしくはフレームモードの１つとすることで、実装が簡単化できる。フィールドモードもしくはフレームモードのいずれであるかは一方に固定してもよいし、また画面毎に切替可能としてもよい。画面毎に切替可能とするとき、どちらのモードが適切であるかを符号化装置で判断し、復号化装置のデブロックフィルタがどちらのモードで符号化歪の処理をすべきかを示す識別信号を符号列のヘッダ部に含めて伝送してもよい。
【０１０７】
また、ブロック単位でフィールド/フレーム切り換え可能な場合はフィールド単位で符号化歪を除去し、切替不可能（禁止）な場合、例えばピクチャに関する情報（ピクチャパラメータ）において当該ピクチャにおいて切り換え不可とされている場合は、フレーム単位で符号化歪の除去処理をするようにしてもよい。
なお、実施の形態１から実施の形態５で示したデブロックフィルタは図32で示したループ外フィルタとしても図33で示したループ内フィルタとしても使用することができる。
【０１０８】
ループ内フィルタでは、符号化歪の除去処理を行う前のデータをメモリ６４に格納することで、ブロック歪が除去されていない画像が予測画像として参照されることになり、ブロック歪が除去された画像を予測画像として参照する場合よりも僅かに符号化画質が劣化する。一方、ループ外フィルタでは、符号化歪の除去処理の結果は参照画像とならないことから、デブロックフィルタ６２として任意のものを実装しても、復号画像が大きく劣化することがない。たとえば、消費電力が優先される携帯機器ではデブロックフィルタ６２として少演算量のフィルタを使用し、画質が最優先の娯楽用据え置き機器では高演算量の高精度高画質なフィルタをデブロックフィルタ６２として使用することができる。
【０１０９】
（実施の形態６）
さらに、上記各実施の形態で示した符号化歪除去方法、符号化方法および復号化方法の構成を実現するためのプログラムを、フロッピーディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１１０】
図26は、上記実施の形態１から実施の形態5の符号化歪除去方法、符号化方法および復号化方法を格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１１１】
図26 (b) は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスクを示し、図26 (a) は、記録媒体本体であるフロッピーディスクの物理フォーマットの例を示している。フロッピーディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクでは、上記フロッピーディスクＦＤ上に割り当てられた領域に、上記プログラムとしての符号化歪除去方法、符号化方法および復号化方法が記録されている。
【０１１２】
また、図26 (c) は、フロッピーディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての符号化歪除去方法、符号化方法および復号化方法をフロッピーディスクドライブを介して書き込む。また、フロッピーディスク内のプログラムにより上記符号化歪除去方法、符号化方法および復号化方法をコンピュータシステム中に構築する場合は、フロッピーディスクドライブによりプログラムをフロッピーディスクから読み出し、コンピュータシステムに転送する。
【０１１３】
なお、上記説明では、記録媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、CD-ROM、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
図27は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
【０１１４】
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personaldigital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図27のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
【０１１５】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【０１１６】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【０１１７】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１１８】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図28は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【０１１９】
さらに、携帯電話ex１１５について図29を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【０１２０】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１２１】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【０１２２】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【０１２３】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【０１２４】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【０１２５】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１２６】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図30に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【０１２７】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１２８】
なお、カーナビゲーションex４１３の構成は例えば図29に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
なお、上記実施の形態１から実施の形態６に示した符号化装置、復号化装置等の構成は、説明したものに限られない。
【０１２９】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１３０】
【発明の効果】
以上の様に、本発明にかかる符号化歪除去方法は、処理が簡単な符号化歪除去方法、符号化歪除去を行うことで画像信号の画質を損なう可能性が少ない符号化歪除去方法、符号化歪除去を行うことで画像信号の画質を損なう可能性を低減可能な符号化方法および復号化方法を提供することができ、その実用的価値は高い。
【図面の簡単な説明】
【図１】本発明による復号化方法を用いた画像復号化装置のブロック図
【図２】本発明の実施の形態１に係る符号化歪除去方法を用いた符号化歪除去部のブロック図
【図３】動き補償ブロックサイズの例を示す図
【図４】本発明の実施の形態２に係る符号化歪除去方法のフローチャート
【図５】本発明の実施の形態２に係る量子化パラメータＱＰと符号化歪除去の各パラメータ対応を示す図
【図６】本発明の実施の形態２に係る符号化歪除去方法におけるフィルタ対象画素数決定のフローチャート
【図７】本発明の実施の形態２に係る符号化歪除去方法におけるフィルタ係数数決定のフローチャート
【図８】本発明の実施の形態２に係る符号化歪除去方法を用いた符号化歪除去部のブロック図、及びピクセルの並びを表す図
【図９】本発明の実施の形態３に係る符号化方法を用いた符号化装置のブロック図
【図１０】本発明の実施の形態３に係る復号化方法を用いた復号化装置のブロック図
【図１１】本発明の実施の形態４に係る符号化歪除去方法を用いた符号化歪除去部のブロック図
【図１２】本発明の実施の形態４に係る符号化歪除去方法における符号化信号Ｓｔｒの構成図
【図１３】ループ・フィルタによるビデオ・エンコーディング処理を示すブロック図
【図１４】ビデオ・エンコーディング・ループにおける自動化閾値選択の配置を示すブロック図
【図１５】最適な閾値を見出すためにデータを収集する方法を示したフローチャート
【図１６】最適な閾値を見出すためにデータを収集する別の方法を示したフローチャート
【図１７】最適な閾値を選択する方法を示すフローチャート
【図１８】デブロック化処理をスキップすることができる同じ境界を共有するブロックの付近を示す図
【図１９】複数画素を含むグループを示す説明図
【図２０】（ａ）はフレーム構造、（ｂ）はフィールド構造の説明図
【図２１】（ａ）は、ひとつのピクチャにフレーム構造とフィールド構造が混在している場合の説明図、（ｂ）、（ｃ）はフレーム構造とフィールド構造の境界部における符号化歪の除去処理のステップを示す説明図
【図２２】フレーム構造とフィールド構造が混在している場合の符号化歪の除去処理のフローチャート
【図２３】図２２においてステップ６４と６７が統合されたフローチャート
【図２４】図２３においてステップ６５と６８が統合されたフローチャート
【図２５】フレーム構造のブロックとフィールド構造のブロックが境界線を挟んだ両側にある場合の処理のフローチャート
【図２６】本発明の実施の形態６に関し、実施の形態１から実施の形態２の可変長符号化方法および可変長復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図
【図２７】コンテンツ供給システムの全体構成を示すブロック図
【図２８】動画像符号化方法、動画像復号化方法を用いた携帯電話の例
【図２９】携帯電話のブロック図
【図３０】ディジタル放送用システムの例
【図３１】符号化歪除去方法の概念を説明するため、ピクセルの信号レベルを示す図
【図３２】従来の復号化方法を用いた画像復号化装置のブロック図
【図３３】従来の復号化方法を用いた画像復号化装置のブロック図
【図３４】従来の符号化歪除去方法を用いた符号化歪除去部のブロック図
【符号の説明】
３０ 動き検出部
３２、６０ 動き補償部
５０ 可変長符号化部
５２ 可変長復号化部
４６ コサイン変換部
５６ 逆コサイン変換部
４８ ジグザグスキャン部
５４ 逆ジグザグスキャン部
３８、４０、６４ メモリ
６２ デブロックフィルタ
３４、５８ 加算部
４２ 減算部
２０ 画素差分計算部
４ フィルタ対象画素数決定部
６ フィルタ係数決定部
８ フィルタ処理部
２２ フィルタ決定パラメータ復号化部
２ 動き補償ブロック境界判定部
１０ａ 選択部
１０ｂ 選択部
Ｃｓ コンピュータ・システム
ＦＤ フロッピディスク
ＦDD フロッピディスクドライブ
【発明の属する技術分野】
本発明は、画像信号を符号化した際に発生する符号化歪を除去する符号化歪除去方法、および符号化歪除去方法を用いて圧縮率をより高めることができる符号化方法ならびに復号化方法と、それをソフトウェアで実施するためのプログラムが記録された記録媒体である。
【０００２】
【従来の技術】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64kbps〜1.5Mbpsの伝送速度を持つサービス総合ディジタル網（ISDN:Integreted Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、MPEG（Moving Picture Experts Group）とは、動画面信号のデジタル圧縮の国際規格であり、MPEG-1は、動画面信号を1.5Mbpsまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG-1規格を対象とする伝送速度が主として約1.5Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG-2では、動画像信号が２〜１５Mbpsに圧縮される。
【０００６】
さらに現状では、MPEG-1，MPEG-2と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、より圧縮率が高いMPEG-4が規格化された。MPEG-4では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ITU-Tでは次世代画面符号化方式として、H.26Lの標準化活動が進んでいる。
【０００７】
H.26Lでは、従来の動画像符号化と異なり、符号化歪を除去するために複雑な処理を伴う符号化歪除去方法を採用している。動画像符号化でよく使用されるDCT等の直交変換を用いたブロック単位符号化方法では、ブロックの境界にブロック歪と呼ばれる格子状の歪が見られることが知られている。低周波数成分の画質劣化は高周波数成分の画質劣化よりも目立つため、ブロック単位符号化では、主として高周波数よりも低周波数成分を忠実に符号化する。また、カメラなどで撮影した自然画像では、高周波数成分よりも低周波数成分を多く含むことから、本質的にブロック内の周波数成分は低周波数成分が多くなる。その結果、ブロック内部では高周波数成分が殆ど無く、ブロック内部で隣接する画素ではほぼ同じ画素値をとる傾向がある。一方、ブロック単位で符号化するために、ブロック内では画素値がほぼ同じであっても、ブロック境界では必ずしも隣接ブロック間で画素値がほぼ同じ値、すなわち画素値が連続的に変化する保証が無い。その結果、図31の符号化歪除去方法の概念の説明図に示すように、図31(a)の原画像に対してブロック単位符号化を行うと、図31(b)に示すように、ブロック内部では画素値が滑らかに連続的に変化し、破線で示すブロック境界部のみで画素値が不連続となるブロック歪が発生する。そこで、図31(c)のようにブロック境界部で画素値が連続となるように補正することで符号化に起因する画質で大きな問題となるブロック歪を低減できる。このブロック歪を低減する処理を符号化歪除去方法（デブロック方法）と呼ぶ。
【０００８】
符号化歪除去方法を動画像復号化に用いる場合は、図32の従来の復号化方法を用いた画像復号化装置のブロック図のような構成（ポストフィルタ）と、図33の従来の復号化方法を用いた画像復号化装置のブロック図のような構成（ループ内フィルタ）がある。以下、各ブロック図の構成を説明する。
【０００９】
図32の従来の復号化方法を用いた画像復号化装置のブロック図において、可変長復号化部５２は符号化信号Strを可変長復号化し、周波数符号成分DCoefを出力する。逆ジグザグスキャン部５４は周波数符号成分DCoefの周波数成分を２次元のブロックに並べ替えて、ブロック単位の周波数成分である周波数成分FCoefを出力する。逆コサイン変換部５６は周波数成分FCoefを逆量子化および逆DCTを行い、差分画像DifCoefとして出力する。
一方、動き補償部６０は、メモリ６４に蓄積された参照画像Refから外部から入力される動きベクトルMVによって示される位置の画素を、動き補償画像MCpelとして出力する。加算部５８は、差分画像DifCoefと動き補償画像Mcpelとを加算し、再生画像Coefとして出力する。デブロックフィルタ６２は再生画像Coefに対して符号化歪除去を行い、復号画像信号Voutを出力する。再生画像Coefはメモリ６４に格納されて、後続の画像復号化で参照画像Refとして使用される。
【００１０】
図33の従来の復号化方法を用いた画像復号化装置のブロック図は、図32の従来の復号化方法を用いた画像復号化装置のブロック図と殆ど同じ構成であるが、デブロックフィルタ６２の位置が異なっている。即ち、図33の従来の復号化方法を用いた画像復号化装置のブロック図では、デブロックフィルタ６２を行った復号画像信号Voutがメモリ６４に格納される。
【００１１】
図32の従来の復号化方法を用いた画像復号化装置のブロック図は、MPEG-１、MPEG-２、MPEG-４およびH.263で採用された方法であり、図33の従来の復号化方法を用いた画像復号化装置のブロック図は、H.261で採用されており、H.26L TM8でも採用されている。
【００１２】
図32の従来の復号化方法を用いた画像復号化装置のブロック図では、メモリ６４に格納される再生画像Coefはデブロックフィルタ６２の方法に依存しない。よってデブロックフィルタ６２として複雑ではあるが高性能なものや、効果は大きくないが処理が簡単な物等の種々の方式から機器の能力やアプリケーションに応じて独自に開発・実装可能である。また、機器毎に適切なものを使用できる利点がある。
一方、図33の従来の復号化方法を用いた画像復号化装置のブロック図は、メモリ６４に格納される復号画像信号Voutはデブロックフィルタ６２の方法に依存する。よって機器の実装やアプリケーションに応じて適切なものに変更できないという課題はあるが、どのような機器であっても同じ符号化歪除去結果が得られることを保証できるという利点がある。
【００１３】
図34は従来の符号化歪除去方法を用いた符号化歪除去部のブロック図である。これは、図32および図33のデブロックフィルタ６２の構造を詳細に記したものである。符号化歪を含む画像信号から、符号化歪だけを効率よく除去するためには、画像信号に含まれる符号化歪の大きさや傾向を特定し、それにあった適切なフィルタ処理を行うことで、本来の画像信号を劣化させないことが重要である。符号化歪は高周波数成分を多く含むことから、画像信号の中で高周波数成分の含まれる割合を調査し、画像信号に本来高周波数成分が含まれていないと考えられる画素に高周波数成分があれば符号化歪と判断し（画像信号は隣接画素間の相関が高いため、高周波数成分を含む画素位置はエッジ等の部分に集中しており、離散的に発生する場合は符号化歪と考えられる）、高周波数成分抑圧フィルタを行う処理が、符号化歪除去方法の一般的な考え方である。このデブロックフィルタ６２はH.26LのTML 8に記載されている内容をもとに、本願発明者が作成したものである。
【００１４】
フィルタ対象画素数決定部８４は再生画像Coefを用いて、符号化歪を含む画素位置を決定し、フィルタ対象画素数FtrPelを出力する。フィルタ係数決定部８６はフィルタ対象画素数FtrPelと再生画像Coefを用いて、当該画素の符号化歪除去に適切なフィルタの係数（フィルタのタップ数も含む）を決定し、フィルタ係数FtrTapとして出力する。フィルタ処理部８８は、フィルタ係数FtrTapで示すフィルタの係数で再生画像Coefに符号化歪を除去するフィルタ処理を行い、復号画像信号Voutを出力する。
【００１５】
【非特許文献１】
MPEG-４ P290-P292 F.3.1 Deblocking filter
【００１６】
【発明が解決しようとする課題】
さて、このような従来の符号化歪除去方法は、符号化歪除去効果は大きいが処理が非常に複雑で実装が困難であるという課題があった。また、単位時間あたりの処理量が多いという課題があった。
また、如何に効果的な符号化歪除去方法を用いても、特別な付加情報無く画像信号と符号化歪を正確に区別することは不可能であるから、符号化歪除去を行うことで画像信号の画質を損なう可能性がある。これは、図33の従来の復号化方法を用いた画像復号化装置のブロック図のように、符号化歪除去を行った結果を参照画像とする場合は後続画面の符号化結果にも影響するため、特に問題は大きい。
本発明は、処理が簡単な符号化歪除去方法、符号化歪除去を行うことで従来よりも画像信号の画質を損なう可能性が少ない高性能な符号化歪除去を行うことで画像信号の画質を損なう可能性を低減可能な符号化歪除去方法、符号化方法および復号化方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
そしてこの目的を達成するために、本発明は、画像から符号化歪を除去する符号化歪除去方法であって、動き補償単位が符号化単位よりも大きい場合に、動き補償単位の境界と符号化単位の境界とが一致する境界と動き補償単位の境界と符号化単位の境界とが異なる境界とで異なる方法で符号化歪を除去する。
これにより、動き補償単位の境界における符号化歪と、符号化単位の境界における符号化歪の性質が異なることから、各単位によって符号化歪の除去のフィルタを切替ることで、符号化歪を含む画像信号から効率よく符号化歪のみを除去できる。
また、さらに、前記動き補償単位の残差誤差が０のとき、前記動き補償単位の境界のみで符号化歪を除去する。
【００１８】
また本発明は、画像から符号化歪を除去する符号化歪除去方法であって、符号化歪を含む画像から画像パラメータを抽出するステップと、符号化歪を除去する画素を、前記画像パラメータを用いて特定する第1のステップと、符号化歪を除去する方法を、前記画像パラメータを用いて特定する第2のステップと、第1のステップで特定した画素に第2のステップで特定した方法で符号化歪を除去する第3のステップとを備える。
これにより、符号化歪を除去する画素を特定する第1のステップと、符号化歪を除去する方法を特定する第2のステップにおいて共通に利用できる画像パラメータを予め計算し、前記画像パラメータを用いることで第1のステップおよび第2のステップの処理を簡単化することで、画質を劣化せずに符号化歪除去方法の処理を削減することができる。
【００１９】
また本発明は、画像から符号化歪を除去する符号化歪除去方法であって、ブロック単位で符号化歪を除去するか否かを判断し、前記判断によって除去すべきブロックについて更に画素毎に符号化歪を除去すべきか否かを判断して符号化歪除去処理を行う画素を決定する。
これにより、まずブロック単位で符号化歪の除去を行うかどうかを判定し、符号化歪除去が不要なブロックは画素単位の判定を省略することで、符号化歪除去方法の処理量を削減できる。画像符号化の情報を使用すれば、符号化歪除去の不要なブロック（例えば、静止しており参照画像と画素が完全に一致するブロック）であることを容易に判定できる場合も多い。
【００２０】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックの画素における画素値と前記第二のブロックの画素における画素値との差分値と、前記第一のブロックにおける量子化パラメータと前記第二のブロックにおける量子化パラメータとの平均値に対応する符号化歪を除去する方法を決定するパラメータと、を比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
これにより、量子化パラメータの異なるブロック境界における符号化歪除去処理において、隣接するブロックの量子化パラメータの平均値をブロック境界の両側のフィルタ処理に用いることができる。
【００２１】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、符号化歪を除去するときに閾値を決定するためのパラメータを復号する復号化ステップと、前記第一のブロックの画素における画素値と前記第二のブロックの画素における画素値との差分値と、前記復号されたパラメータに基づいた所定の閾値と、を比較する比較ステップと前記比較ステップにおける比較の結果に基づいて符号化歪の除去方法を切り換える除去ステップとを有する。
【００２２】
これにより、符号化歪除去を行う際に使用する閾値パラメータを予め個々の符号化信号に重畳しておき、符号化歪除去の際に各符号化信号に適切な閾値パラメータを利用した符号化歪除去を行うことで、符号化歪を含む画像信号から効率よく符号化歪を除去できる。閾値パラメータは画像信号に合った適切な符号化歪除去方法を示すものであり、個々の画素もしくは個々のブロック毎に符号化歪除去方法を明示的に切替るものでは無く、従って閾値パラメータを符号化信号に重畳するために必要なデータ量はわずかである。
また、前記動画像は複数のブロックから構成されるスライスを有し、前記パラメータは、前記動画像に対応する画像データを符号化して得られる符号列におけるスライスのヘッダ情報に含まれる。
【００２３】
また本発明は、複数の参照画像から少なくとも１つを参照して符号化する動画像符号化装置であって、複数の方法で符号化歪を除去して得られた複数の符号化画像を参照画像とする。
これにより、少なくとも2通りで符号化歪除去を行った複数の画面を参照画面とし、参照する際は適切な一方を逐次選択することで、符号化歪を含む画像信号から効率よく符号化歪を除去できたものを参照画像とすることができ、動画像符号化の圧縮率が向上する。
また、前記複数の方法のうち、第１の方法は前記符号化画像に対して符号化歪を除去しない方法であり、第２の方法は前記符号化画像に対して符号化歪を除去する方法である。
【００２４】
また本発明は、複数の参照画像から少なくとも１つを参照して復号化する動画像復号化装置であって、複数の方法で符号化歪を除去して得られた複数の復号化画像を参照画像とする。
これにより、少なくとも2通りで符号化歪除去を行った複数の画面を参照画面とし、参照する際は適切な一方を逐次選択することで、符号化歪を含む画像信号から効率よく符号化歪を除去できたものを参照画像とすることができ、符号化信号を正しく復号化できる。
また、前記複数の方法のうち第１の方法は前記復号化画像に対して符号化歪を除去しない方法であり、第２の方法は前記復号化画像に対して符号化歪を除去する方法である。
【００２５】
また本発明は、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像の符号化歪を除去する符号化歪除去方法であって、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックを有するピクチャか、所定数の前記奇数ラインの画素から構成される一方のフィールド構造のブロックを有するピクチャ若しくは所定数の前記偶数ラインの画素から構成される他方のフィールド構造のブロックを有するピクチャかを判断する判断ステップと、符号化歪を除去する対象のブロックが、全て前記フレーム構造のブロックを有するピクチャのブロックであるとき、隣接する前記フレーム構造のブロック間で符号化歪を除去し、符号化歪を除去する対象のブロックが、全て前記フィールド構造のブロックを有するピクチャのブロックであるとき、隣接する前記フィールド構造のブロック間で符号化歪を除去する除去ステップとを有する。
【００２６】
これにより、フレーム構造のブロックを有するピクチャかフィールド構造のブロックを有するピクチャかによって、符号化歪を除去する対象ブロックの処理を切り換えることができる。
また、さらに、符号化歪を除去する対象のブロックが、前記フレーム構造のブロックと前記フィールド構造のブロックとを有するピクチャのブロックであるとき、前記フィールド構造であるブロックを前記フレーム構造のブロックに変換する変換ステップと、前記フィールド構造であるブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
【００２７】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、前記フレーム構造である前記第一のブロックを前記フィールド構造のブロックに変換する変換ステップと、前記フィールド構造である前記第二のブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
これにより、 フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。
【００２８】
また、前記フレーム構造である前記第一のブロックから前記フィールド構造のブロックへの変換は、マクロブロック単位または上下に隣接する２つのマクロブロックをまとめた単位で切り換える。
また、前記フィールド構造である第二のブロックは、前記フレーム構造のブロックに変換しない。
【００２９】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、符号化歪を除去する対象ブロックが、前記フレーム構造のブロックか前記フィールド構造のブロックかを判断する判断ステップと、前記対象ブロックがフィールド構造である前記第２のブロックであるとき、前記フレーム構造である前記第１のブロックを前記フィールド構造のブロックに変換し、前記対象ブロックがフレーム構造である前記第１のブロックであるとき、前記フィールド構造である前記第２のブロックを前記フレーム構造のブロックに変換する変換ステップと、前記対象ブロックの画素における画素値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
これにより、 フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。
【００３０】
また、前記変換ステップにおける前記フレーム構造のブロックから前記フィールド構造のブロックへの変換では、前記フレーム構造のブロックにおける奇数ラインの画素から変換後の一方のフィールドを生成し、前記フレーム構造のブロックにおける偶数ラインの画素から変換後の他方のフィールドを生成し、前記比較ステップにおける前記差分値と前記閾値との比較は、前記第二のブロックの一方のフィールドの画素における画素値と前記第一のブロックの前記変換後の一方のフィールドの画素における画素値とを比較、あるいは、前記第二のブロックの他方のフィールドの画素における画素値と前記第一のブロックの前記変換後の他方のフィールドの画素における画素値とを比較する。
【００３１】
また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、前記フィールド構造である前記第二のブロックを前記フレーム構造のブロックに変換する変換ステップと、前記フレーム構造である前記第一のブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。
これにより、 フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。
【００３２】
また、前記フィールド構造である前記第二のブロックから前記フレーム構造のブロックへの変換は、マクロブロック単位または上下に隣接する２つのマクロブロックをまとめた単位で切り換える。
また、前記フィールド構造である第二のブロックは、前記フレーム構造のブロックに変換しない。
また、前記変換ステップにおける前記フィールド構造のブロックから前記フレーム構造のブロックへの変換では、前記一方のフィールドのブロックの画素と前記他方のフィールドのブロックの画素とから変換後のフレームを生成し、前記第一のブロックの奇数ラインの画素における画素と前記第二のブロックの前記変換後の奇数ラインの画素における画素値とを比較、あるいは前記第一のブロックの偶数ラインの画素における画素と前記第二のブロックの前記変換後の偶数ラインの画素における画素値とを比較する。
また、前記比較ステップにおいて、前記境界線に対して対象の位置にある、前記境界線と同方向に一列に並んだ複数の画素毎に、前記差分値と前記閾値との比較をする。
これにより、複数画素をまとめて符号化歪の除去をすることができる。
【００３３】
また本発明は、符号化差分画像を復号化し、差分画像を出力する復号化部と、参照画像から動き補償画像を出力する動き補償部と、前記差分画像と前記動き補償画像とを加算し合成画像を出力する加算部と、前記合成画像が有する符号化歪を除去し再生画像を出力する符号化歪除去部と、前記再生画像を前記参照画像として記憶する記憶部とを有する画像符号化装置であって、前記符号化歪除去部において、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去する。
【００３４】
また本発明は、画像から符号化歪を除去するためのプログラムであって、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去する。
【００３５】
また本発明は、符号化差分画像を復号化し、差分画像を出力する復号化部と、参照画像から動き補償画像を出力する動き補償部と、前記差分画像と前記動き補償画像とを加算し合成画像を出力する加算部と、前記合成画像が有する符号化歪を除去し再生画像を出力する符号化歪除去部と、前記再生画像を前記参照画像として記憶する記憶部とを用いた画像符号化のためのプログラムであって、前記符号化歪除去部において、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去することをコンピュータに実行させる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、説明する。
（実施の形態1）
図１の復号化方法を用いた画像復号化装置のブロック図において、可変長復号化部５２は符号化信号Strを可変長復号化し、周波数符号成分DCoefを出力する。逆ジグザグスキャン部５４は周波数符号成分DCoefの周波数成分を２次元のブロックに並べ替えて、ブロック単位の周波数成分である周波数成分FCoefを出力する。逆コサイン変換部５６は周波数成分FCoefを逆量子化および逆DCTを行い、差分画像DifCoefとして出力する。
【００３７】
一方、動き補償部６０は、外部から入力される動きベクトルMVによって示される位置の画素をメモリ６４に蓄積された参照画像Refから動き補償画像MCpelとして出力すると共に、動き補償ブロックの大きさを示す動き補償ブロックサイズMcsizeを出力する。加算部５８は、差分画像DifCoefと動き補償画像MCpelを加算し、再生画像Coefとして出力する。デブロックフィルタ６２は再生画像Coef、動き補償ブロックサイズMCsize、差分画像DifCoefを受け、符号化歪除去を行い、復号画像信号Voutを出力する。再生画像Coefはメモリ６４に格納されて、後続の画像復号化で参照画像Refとして使用される。
【００３８】
図２は本発明の符号化歪除去方法を用いたデブロックフィルタ（符号化歪除去部とも言う）６２のブロック図である。このデブロックフィルタ６２はITU-T H.26LのTML 8に記載されているデブロックフィルタの内容を参照して本願発明者が発明したものである。
フィルタ対象画素数決定部４は入力される再生画像Coef毎に、符号化歪を含む画素位置を決定し、フィルタ対象画素数FtrPelとして出力する。すなわち、フィルタ対象画素数FtrPelはフィルタ処理をすべきと判断した画素位置を示す。フィルタ係数決定部６はフィルタ対象画素数FtrPelと再生画像Coefの画素値を用いて、当該画素の符号化歪除去に適切なフィルタの係数（フィルタのタップ数も含む）を決定し、フィルタ係数FtrTapとして出力する。フィルタ処理部８は、フィルタ係数FtrTapで示すフィルタの係数で再生画像Coefに符号化歪を除去するフィルタ処理を行い、復号画像信号Voutを出力する。
【００３９】
動き補償ブロック境界判定部２は差分画像DifCoefと動き補償ブロックサイズMCsizeを入力とし、当該処理対象ブロックの差分画像DifCoefが所定値以下であるか、例えば０であるかどうかを判定すると共に、動き補償ブロックの境界であるかどうかを判定し、動き補償ブロック境界フラグIsEdgeを出力する。
【００４０】
図３はITU-T H.26L TML８に採用されている動き補償ブロックサイズの例を示す。同例では、動き補償ブロックサイズの最大値が16×16画素であり、マクロブロックと呼ばれるサイズと一致する。図３の(a)〜(g)はそれぞれ動き補償ブロックサイズが4×4、4×8、8×4、8×8、8×16、16×8、16×16に対応する。ITU-T H.26L TML8ではこの７通りの動き補償ブロックサイズからマクロブロック単位で適切なものを選択して符号化・復号化に使用する。なお、上下に隣接する２つのマクロブロックをまとめた単位で適切なものを選択して符号化・復号化することができ、このマクロブロックをまとめた単位をマクロブロックペアという。
【００４１】
一方、ITU-T H.26L TML8では、周波数変換および符号化の単位は4×4画素である。この4×4画素の単位を符号化単位という。符号化単位は、4×4画素以外のサイズであってもよい。図３(a)に示すようにA〜Pの16ブロックのそれぞれは、4×4画素で構成されている。このように、符号化の単位である4×4画素と動き補償ブロックサイズは図３（ａ）以外の場合は一致しない。符号化歪として特に視覚的に妨害となるブロック歪は符号化単位である最小4×4画素で発生するため、従来の符号化歪除去方法では常に4×4画素単位で処理を行っている。
【００４２】
さて、動き補償符号化することで、画面間の相関が特に強い場合は、画面間の動き補償の残差誤差が０となる。この場合には、4×4画素単位で符号化・復号化すべき差分画像DifCoefも０であるから、動き補償のブロックの境界部以外には符号化・復号化の符号化歪に伴う画素値の不連続な値は発生しないと考えられる。そこで、例えば図３(b)のような動き補償ブロックの場合は、図３(a)のAC、BD、EG、FH、IK、JL、MO、NPの4×4画素境界（点線で示す境界線）で符号化歪除去処理は不要である。同様に、図３(c)のような動き補償ブロックの場合は、図３(a)のAB、CD、EF、GH、IJ、KL、MN、OPの4×4画素境界で符号化歪除去処理は不要である。そして、4×4画素単位で符号化・復号化すべき差分画像DifCoefも０の場合は、動き補償ブロックの境界のみで符号化歪除去処理を行い、動き補償ブロック内の4×4画素単位での境界においては符号化歪除去処理を行わない。これにより、全てのブロック境界で符号化歪除去処理を行う場合と比較し、符号化歪除去処理の演算回数を削減することができる。
【００４３】
従って、動き補償ブロック境界判定部２は、当該処理対象ブロックの差分画像DifCoefが0であり且つ動き補償ブロックの境界でない場合は選択部１０ａ、１０ｂをOFF（実線で示す）とし、選択部１０ｂから再生画像Coefを復号画像信号Voutとして出力する。この選択部の切り替えは、動き補償ブロック境界フラグIsEdgeで選択する。これによりフィルタ対象画素数決定部４、フィルタ係数決定部６、フィルタ処理部８の処理を省略することができる。なお、上記以外の場合は、選択部１０ａ、１０ｂをON（点線で示す）とし、選択部１０ｂからフィルタ処理部８の出力を復号画像信号Voutとして出力する。この選択部の切り替えは動き補償ブロック境界フラグIsEdgeで選択する。
【００４４】
以上のように、本実施の形態によれば、動き補償ブロック境界フラグIsEdgeでフィルタ対象画素数決定部４、フィルタ係数決定部６、フィルタ処理部８の処理を省略する仕組みを導入することで、処理削減による高速化および処理に必要な電力削減効果が得られる。
なお、本実施の形態では、単純に符号化歪除去処理を行わない例を示したが、符号化歪除去処理を行わない代わりに簡単な処理の符号化歪除去処理を使用し、複雑な処理が必要な符号化歪除去処理と４×４画素単位で切り替えてもよい。
【００４５】
（実施の形態２）
本実施の形態では、符号化歪除去方法を簡単に実現する具体的な処理手順を説明する。まず、図４は符号化歪除去方法を示すフローチャートである。
ステップＳ18で対象ブロックが符号化歪除去対象ブロックか否かを判定する。符号化歪除去対象ブロックであればステップＳ19に進み、対象ブロックで無ければステップＳ24に進む。
ステップＳ19では適切な符号化歪除去フィルタ選択し、ステップＳ20では選択したフィルタで符号化歪除去処理を行って、ステップＳ21で対象画素を当該ブロックの未処理画素に変更する。ステップＳ22で当該ブロックに未処理画素が存在しない場合は、ステップＳ24に進み、未処理画素が存在すればステップ19以降を繰り返す。
【００４６】
ステップＳ24では当該画面に未処理ブロックが存在するか否かを判定する。未処理ブロックがあればステップＳ23に進み、当該画面に未処理ブロックが無ければ当該画面の符号化歪除去処理を終了する。
ステップＳ23では対象ブロックを未処理ブロックに変更して、ステップＳ18以下の処理を繰り返す。
【００４７】
図６は本発明の符号化歪除去方法におけるフィルタ対象画素数決定のフローチャートであり、図２に示すフィルタ対象画素数決定部４の動作の一例である。また図６は動き補償ブロックが図８（ａ）に示す場合を示す。また、符号化歪除去対象画素値を、図８（ｂ）に示すように、
p3、p2、p1、p0、q0、q1、q2、q3
とし、符号化歪除去済画素値を
P3、P2、P1、P0、Q0、Q1、Q2、Q3
とする。ここで、各画素値は画素の位置の並びの順番に記号を付したものであり、p0〜p3とP0〜P3は同じブロックの対応する画素、q0〜q3とQ0〜Q3は同じブロックの対応する画素を示す。
【００４８】
量子化パラメータQPが大きいほど量子化ステップが粗く符号化歪の大きさも大きくなる。そこで、量子化パラメータQPの大きさによってフィルタを切り替えることが有効である。図５に量子化パラメータQPと符号化歪除去の各パラメータ対応表を示す。また、フィルタの対象画素数を決定するパラメータｎを決定するための、パラメータ符号化歪除去処理のパラメータπ、Ω、ｎの対応表を以下の表１に示す。なお、πは、例えば、画素値の差が大きい場合はエッジであるためフィルタをかけてはいけないので、差がπ未満の画素の間にはフィルタをかけないようにπを決めるとよい。また、Ωは、例えば、画素値の差が小さい場合はその差が非常に小さい（Ω未満）かやや小さい（2×Ω未満）かによって差が小さいほどエッジでは無く符号化誤差の影響が強いと考えられるので強力なフィルタ（ｎが大きい）をかけるようにΩを決めるとよい。
【００４９】
表１
ここで、
dif1 = p0 q0
dif2 = p1 q1
dif1a = |dif1|
dif2a = |dif2|とする。即ち、図６の本発明の符号化歪除去方法におけるフィルタ対象画素数決定のフローチャートは、表１をもとにまとめたものである。
【００５１】
ステップＳ27は符号化歪除去処理で繰り返し計算されるパラメータである画素差分値DifPelを計算する。画素差分値DifPelはステップＳ27で計算されたdif1aとdif2aのことである。
【００５２】
ステップＳ28ではdif1aとπを比較し、dif1aがπを超えていればステップＳ29でn=0（即ち符号化歪除去処理をしない）として処理を終了する。dif1aがπ以下であればステップＳ30に進む。
【００５３】
ステップＳ30ではdif2aをΩと比較し、dif2aがΩ未満であればステップＳ31でn=2（即ち隣り合う各ブロックにおいてブロック境界から２つ目の画素までを符号化歪除去処理する）として処理を終了する。dif2aがΩ以上であればステップＳ32に進む。
ステップＳ32ではdif2aを2×Ωと比較し、dif2aが2×Ω未満であればステップＳ33でn=1（即ち隣り合う各ブロックにおいてブロック境界から１つ目の画素までを符号化歪除去処理する）として処理を終了する。dif2aが2×Ω以上であればステップＳ34でn=0（即ち符号化歪除去処理をしない）として処理を終了する。dif2は境界近傍の画素値の差分の絶対値であり、この差分値が小さいほど境界近傍で高周波数成分が少ないと考えられるため、dif2が小さいほど符号化歪除去処理を行う画素数を増加することで、効率よく境界部の符号化歪を除去できる。
【００５４】
図７は本発明の符号化歪除去方法におけるフィルタ係数決定のフローチャートであり、図２に示すフィルタ係数決定部６の動作の一例である。
ステップＳ37では、ｎとdif1a、dif2a、φを用いて3通りの条件の比較を行い、3通りの全ての条件が満たされた場合には、ステップＳ39で3タップフィルタ処理を行うように設定する。すなわち、φはフィルタのタップ数を決定する閾値であり、高周波数成分が少ないｎ＝２の場合で且つ境界部で画素値の変化が少ない（|dif2a-dif1a｜＜φ）場合に３タップフィルタになる。通常、3タップフィルタは1タップフィルタよりも高周波数成分を強く抑圧するフィルタが使用される。なお、ｎの値により、フィルタ処理を切り換えることができるため、このように求められたｎを用いて、フィルタをかける画素数を切り換えるのではなく、フィルタの種類を切り換えることも可能である。また、このように求められたｎにより、フィルタをかける画素数と、フィルタの種類をともに切り換えてもよい。
【００５５】
ステップＳ37で3通りの条件が満足されない場合は、ステップＳ38でｎが1以上であるかを判定し、ｎが1以上であればステップＳ40で1タップフィルタ処理を行うように設定する。一方、ｎが0あればステップＳ42でフィルタ処理を行わないように設定する。
なお、量子化パラメータQPはブロック毎に変更される可能性がある。しかしながら、量子化パラメータQPが異なるブロック境界では、符号化歪除去処理が複雑になってしまう。これを防ぐために、本発明では境界ブロックで量子化パラメータQPが変化する場合でも、境界においては、
* 隣接ブロックの量子化パラメータQPの平均値（なお、端数は例えば切捨てを行う）
* 隣接ブロックの量子化パラメータQPの最大値
* 隣接ブロックの量子化パラメータQPの最小値
* 左もしくは上隣接ブロックの量子化パラメータQP
のいずれかの方法で選択したQPをブロック境界の両側のフィルタ処理で使用する。なお、上記4通りの量子化パラメータQPの選択による差はわずかであり、予め選択した1通りのものを使用すれば良い。
以上のような方法により、符号化歪の除去を簡単に実施することができる。
【００５６】
次に、図8（ａ）は図１に示す符号化歪除去部６２の別例を示すブロック図である。また、図２に示す点線で囲まれた部分の別の例でもある。同図において、図34の従来の符号化歪除去方法を用いた符号化歪除去部のブロック図に記載されている機器と同じ動作をする機器は同じ番号を付し、説明を省略する。
【００５７】
画素差分計算部２０は再生画像Coefからブロック境界の画素差分値を計算し、画素差分値DifPelを出力する。画素差分値DifPelはdif1aおよびdif2aに相当する信号を含んでいる。画素差分値DifPelは、例えば、図８（ｂ）に示すように、符号化単位ブロックの境界線に対し、左右対称の位置、または上下対称の位置にある画素同士を比較し、その差（色差または輝度差）であるｄ１、ｄ２、ｄ３、ｄ４から求まる。これらの差の平均値（例えば（ｄ１＋ｄ２＋ｄ３＋ｄ４）／４）が一定値以下であれば、ｄ４を求めた幅の範囲内には、画像の境界線が存在しないと考えられるので、デブロックフィルタを実行するように動作する。他方、平均値が一定値以上であれば、画像の境界線が存在すると考えられるので、デブロックフィルタを実行しない様に制御する。なお、比較を行うのはｄ１、ｄ２、ｄ３、ｄ４の内のいずれか一つ、いずれか二つ、いずれか3つのどれかであってもよい。また、平均値ではなく、差の内で一番大きいものを一定値と比較するようにしてもよい。
【００５８】
フィルタ対象画素数決定部４の動作の一例としては図6に示すフィルタ対象画素数決定のフローチャートがある。また、フィルタ係数決定部６の動作の一例としては図7に示すフィルタ係数数決定のフローチャートがある。そして、図８（ｂ）に示すように画素差分値DifPelを参照することで、画素差分を計算する回数をフィルタ対象画素数決定部４およびフィルタ係数決定部６のそれぞれで削減できる。従って、フィルタ対象画素数決定部４およびフィルタ係数決定部６で再生画像Coefを参照せずにフィルタ対象画素数およびフィルタ係数を決定することができる。
以上のように、画素差分値DifPelとして計算した値を繰り返し使用することで、演算量を削減することができる。
【００５９】
（実施の形態３）
本実施の形態では、他の実施の形態で示した符号化歪除去方法を実現することができる符号化装置及び復号化装置について説明する。
図9は符号化装置を示すブロック図である。
【００６０】
動き検出部３０は第１メモリ３８および第２メモリ４０から出力される参照画像Ref1と参照画像Ref2をそれぞれ画像信号Vinと比較し、参照画像に対する画像信号Vinの動き量である動きベクトルMVを検出する。なお、その際に参照画像Ref1と参照画像Ref2のいずれの画像を参照した方が予測誤差が少なくなるかの情報も動きベクトルMVに含めて動き補償部３２に通知する。動き補償部３２は動きベクトルMVで示される位置の画像を参照画像Ref1または参照画像Ref2から抽出し、動き補償画像MCpelとして出力する。
【００６１】
減算部４２は画像信号Vinと動き補償画像MCpelの差分値を計算してコサイン変換部（DCT）４６に出力する。コサイン変換部４６は入力された差分値をDCT変換および量子化し、周波数成分FCoefを出力する。ジグザグスキャン部４８は周波数成分FCoefの順番の並べ替えを行った周波数符号成分DCoefを出力し、可変長符号化部５０は周波数符号成分DCoefを可変長符号化して符号化信号Strを出力する。
一方、DCT部（コサイン変換部）４６の出力は逆DCT部（逆コサイン変換部）に入力される。そして、周波数成分Fcoefと動き補償部３２からの出力である動き補償画像Mcpelとが合成部３４で合成され、合成画像coefが出力される。出力された合成画像は、一方ではそのままメモリ３８に出力され、他方では、デブロックフィルタ３６で処理された後、符号化歪が除去された復号画像信号Voutがメモリ４０に記憶される。
図10は復号化装置を示すブロック図であり、例えば図9に示す符号化装置のブロック図で符号化した符号化信号Strを正しく復号化することができる。図32又は図33に示す画像復号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。逆DCT部（逆コサイン変換部）５６は周波数成分FCoefを逆量子化および逆DCTを行って差分画像DifCoefを出力し、加算部５８で差分画像DifCoefと動き補償画像MCpelを加算することで再生画像Coefを得る。再生画像Coefは第１メモリ６４に記憶され、またデブロックフィルタ６２で再生画像Coefから符号化歪が除去された復号画像信号Voutは第２メモリ６６に記憶される。
【００６２】
以上の動作によって、第１メモリ３８及び第１メモリ６４には符号化歪が除去されていない画像、第２メモリ４０及び第２メモリ６６には符号化歪が除去された画像が格納されることになる。符号化歪の除去処理は必ずしも符号化歪のみを除去できるわけでは無く、本来の画像信号の一部も失われる可能性がある。そこで、図9に示す符号化装置における、動き検出部３０で第１メモリ３８および第２メモリ４０の両方から常に最適なものを選択できる仕組みを備えるようにする。
この構成により、本来の画像信号の一部を、符号化歪を除去することにより失った場合でも第１メモリ３８を参照することで適切な参照画像を選ぶことができる。同様に図10に示す復号化装置においても適切な参照画像を選ぶことができる。
なお、本実施の形態では直交変換としてDCTを用いたが、アダマール変換やウェーブレット変換を用いても良い。
【００６３】
（実施の形態４）
図11は本実施の形態における符号化歪除去部を示すブロック図であり、例えば図１に示すデブロックフィルタ６２に相当する。また、フィルタを決定するための閾値を決めることを特徴とする。同図において、図34に示す従来の符号化歪除去部のブロック図に記載されている機器と同じ動作をする機器は同じ番号を付し、説明を省略する。
【００６４】
フィルタ決定パラメータ復号化部２２はフィルタ決定パラメータ信号FtrStrを復号化し、フィルタパラメータFtrPrmを出力する。フィルタ決定パラメータ信号FtrStrは、閾値そのものではなく、閾値を決定するためのパラメータである。フィルタパラメータFtrPrmは、図５のπ、Ω、φに相当する。これらのパラメータπ、Ω、φを画像毎に最適化したデータをフィルタ決定パラメータ信号FtrStrから復号し取得することで、当該画像に適した符号化歪除去を行うことができる。
【００６５】
図12は本発明の符号化歪除去方法における符号化信号Strの構成図である。図12(a)は1画面に対応する符号化信号であり、1画面のデータであるピクチャデータPicDataと1画面の全データに共通のデータであるピクチャヘッダPicHdrで構成される。ピクチャヘッダPicHdrにはフィルタ決定パラメータ信号FtrStrが含まれている。
【００６６】
図12(b)はピクチャデータPicDataの構造であり、ピクチャデータPicDataは複数のブロック単位の集合で構成されるスライスの符号化信号である、スライス信号SliceStrを含んでいる。
図12(c)はスライス信号SliceStrの構造であり、1スライスのデータであるスライスデータSliceDataと1スライスの全データに共通のデータであるスライスヘッダSliceHdrで構成される。スライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrが含むことにより、スライスデータSliceData単位で受信した符号化信号を正しく復号化できる。
【００６７】
なお、ピクチャデータPicDataに複数のスライス信号SliceStrが含まれている場合は、全てのスライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrを含む代わりに、一部のスライスヘッダSliceHdrのみにフィルタ決定パラメータ信号FtrStrを含むようにしてもよい。フィルタ決定パラメータ信号FtrStrの内容が各スライスで共通であれば、図12(c)に示すようにスライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrが無い場合は、他のスライスヘッダSliceHdr のフィルタ決定パラメータ信号FtrStrで代用することで、フィルタ決定パラメータ信号FtrStrの繰り返しによるビット数の増加を抑えることも可能である。
【００６８】
また、符号化信号Strが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図12のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図12で説明したビットストリームの場合と同じである。図13は、符号化装置のブロック図を示す。同図において、図9に示す符号化装置のブロック図の機器と同じ動作をする機器は同じ番号を付し、説明を省略する。
【００６９】
メモリ２１７は、符号化対象の画像信号である入力画像信号Vinを記憶する。画質比較部２１６は、メモリ２１７から読み出した符号化対象の画像信号と復号化画像Voutを比較する。画質比較部２１６で比較した結果得られた誤差の大きさは、復号化画像に対応するデブロックフィルタの閾値とともに比較結果メモリ２１８に記憶される。選択部２１９は、比較結果メモリ２１８に記憶された誤差の中で誤差の大きさが最も小さい場合に対応するデブロックフィルタの閾値を最適閾値として選択する。選択した最適閾値は、閾値データ付加部２２０において、対応するピクチャのビットストリームに関連付けた付加ビットストリームとして多重化される。また、選択部２１９で出力した最適閾値を元に、閾値コントロール部２１５は次のピクチャのデブロックフィルタの閾値の候補を生成し、デブロックフィルタ３６に通知して符号化歪の除去処理の閾値を変更するとともに、比較結果メモリ２１８に現在使用中の閾値を通知する。
【００７０】
図14は、図13のブロック図をより概念的に示した符号化装置、例えば最適閾値選択器２２６は、図13のジグザグスキャン４８、可変長符号化器５０、閾値データ付加部２２０の３つを除く部分の動作、又は、メモリ２１７、画質比較部２１６、比較結果メモリ２１８、選択部２１９、閾値コントロール２１５の動作に相当する。また、ビデオ・エンコーダ２２７は、例えば図13のメモリ２１７、画質比較部２１６、比較結果メモリ２１８、選択部２１９、閾値コントロール２１５の５つを除く部分の動作に対応する。また、閾値２２８は上記最適閾値に相当する。
最適閾値選択器２２６は、最適閾値を選択する。ここで、最適閾値とは例えば図５に示す量子化パラメータQP毎に決定されたπ、Ω、φのセットが相当する。選択された最適閾値は、メモリ２２８に記憶され、フィルタ決定パラメータＦｔｒＳｔｒとしてビデオエンコーダ２２７に加えられる。なお、エンコードされたFtrStrはデコーダにおいては、例えば図11に示すフィルタ決定パラメータ復号化部２２で処理されることになる。
【００７１】
なお、最適閾値は、図13に示す閾値コントロール２１５内のメモリに記憶され、閾値コントロール２１５により閾値データが、閾値データ付加部に２２０に送られるようにしても良い。
次に符号化歪を除去するときにフィルタ決定パラメータＦｔｒＳｔｒを決定する動作を説明する。図15、図16、図17は、図13、図14で説明した符号化装置の動作をを示すフローチャートである。
図15は、画質の測定をするための動作の一例を示すフローチャートである。
【００７２】
まず、目標フレームtarget_frameを設定し、最初のピクチャを出力する（ステップ２２９）。ここで目標フレームtarget_frameとは閾値を導出するときに使用するピクチャである。
次に閾値コントロール部２１５において、閾値の範囲を設定し（ステップ２３０）、ステップ２３０で設定した範囲の一方の端の値を、閾値の初期値として閾値コントロール２１５から出力する（ステップ２３１）。
【００７３】
次に、設定した閾値の初期値を用いて符号化歪の除去をデブロックフィルタ３６で行い、目標フレームtarget_frameの画像の符号化を開始し（ステップ２３２）、符号化された１枚目のピクチャと入力画像信号Ｖｉｎの画質を画質比較器２１６で測定する（ステップ２３３）。
この測定結果はメモリ２１８に記録され（ステップ２３４）、現在のフレーム番号current_frameはインクリメントされる（ステップ２３５）。すなわち、最初のピクチャから次のピクチャに切り替え、次のピクチャを例えば図14に示す最適閾値選択器２２６およびビデオ・エンコーダ２２７あるいは図13に示すメモリ２１７、動き補償部３０、減算部４２に出力する。
【００７４】
ステップ２３６で、現在のフレーム番号が目標フレームtarget_frameに達したかどうかを判断する。達していなければ、ステップ２３３から２３５が繰り返される。そして入力されるピクチャに対する画質が画質比較部２１６で測定され、測定結果がメモリ２１８に記憶される。また、現在のフレーム番号が目標フレームtarget_frameに達していれば、ステップ２３７に進み、最初のピクチャである１枚目の画像に戻す。
ステップ２３８Ａで、閾値コントロール２１５において、閾値をインクリメントする。すなわち閾値を次の値に設定する。ここで次の値とは、初期値から、所定の増加量を加算した値である。
【００７５】
ステップ２３８Ｂで、閾値範囲における他方の端の値に至るまでの全ての閾値についてテストが行われたかどうかが判断される。全ての閾値についてテストが行われたのであれば最適閾値を選択するための処理を終了する。全ての閾値についてテストが行われていなければステップ２３２に戻り、再び目標フレームtarget_frameのピクチャを符号化する。
このように、ひとつの閾値について全ての目標フレームtarget_frameについて画質の測定を行った後、閾値を所定量加算して、再び全ての目標フレームtarget_frameについて画質の測定を行うことにより、画質の測定をすることができる。次に、図16のフローチャートを用いて、ひとつのピクチャに対し、設定した閾値範囲内にある全ての閾値で画質の測定を行い、続いて次のピクチャに対し、設定した閾値範囲内にある全ての閾値で画質の測定を行う方法について説明する。
【００７６】
まず、目標フレームtarget_frameを設定し、最初のピクチャを出力する（ステップ２３９）。現在のフレーム番号current_frameをゼロに設定し（ステップ２４０）、最初のピクチャであることを設定する。次に、閾値コントロール部２１５において、閾値の範囲を設定し（ステップ２４１）、デブロックフィルタ３６に対する閾値を設定する（ステップ２４２）。
【００７７】
最初のピクチャに対し閾値の初期値を用いて符号化（符号化歪除去処理）を行い、（ステップ２４３）符号化されたピクチャの画質を画質比較器２１６で測定する（ステップ２４４）。
この測定結果をメモリ２１８に記録し（ステップ２４５）、閾値コントロール２１５部において、閾値を次の値にインクリメントする（ステップ２４６Ａ）。そして、ステップ２４６Ｂで、全ての閾値がテストされたかどうかが判断される。全ての閾値がテストされていなければ、ステップ２４２に戻り、同じピクチャに対し、別の閾値で画質の測定をする。全ての閾値について画質の測定がされていればステップ２４７に進む。
【００７８】
ステップ２４７で、現在のフレーム番号current_frameをインクリメントする。すなわち、最初のフレームである１枚目のピクチャから次のフレームである２枚目のピクチャに切り替え、次のピクチャを例えば図14に示す最適閾値選択器２２６およびビデオ・エンコーダ２２７あるいは図13に示すメモリ２１７、動き補償部３０、減算部４２に出力する。
ステップ２４８で、現在のフレーム番号が目標フレームtarget_frameに達したかどうかを判断する。現在のフレーム番号が目標フレームtarget_frameに達していなければ、ステップ２４１に戻る。また、達していれば、画像の測定の処理を終了する。
【００７９】
図17は、図15または図16において説明した閾値とその閾値に対する画質の測定結果とに基づき、最適な閾値を選択する方法について説明するフローチャートである。
図17のステップ２４９で、選択部２１９は、画質の測定結果のデータと、対応する閾値データとのペアを取得する。
ステップ２５０で、測定結果を所定の順番に配置する。
ステップ２５１で、所定の条件に基づき最適画質を有するピクチャを選択し、そのピクチャに対応する閾値を最適閾値として選択する。所定の条件は、例えばＳＮ比が小さいこと、再生ピクチャ（当該閾値でデブロックフィルタ処理された画像）とオリジナル・ピクチャ（入力画像信号Ｖｉｎ）との間の差が最も低いこと、前記差の平均２乗がもっとも低いこと、等のいずれか、または組み合わせとすることができる。
【００８０】
ステップ２５２で、選択された最適閾値をフィルタ決定パラメータＦｔｒＳｔｒとして例えば図14に示すビデオ・エンコーダ２２７に出力する。
このように、図17で説明した方法を用いて、最適閾値を選択することができる。
なお、以上の実施の形態４においては、範囲の全ての閾値について画質の測定を行い、画質の測定結果を収集し、その中から最適な閾値を選出したが、閾値範囲の全ての閾値について順番に画質の測定を行い、最適な画質の測定結果が得られた時点で画質の測定を終了し、その画質の測定結果に対応する閾値を最適な閾値として選出してもよい。これにより、画質の測定回数を減らすことが可能となる。
また、あるブロックの符号化歪の除去処理は、そのブロックの画素値と隣接ブロックの画素値との比較が行われる。この場合、隣接ブロックは、符号化歪の除去処理が終了し、画素値の修正が終了したブロックを用いるようにする。
【００８１】
例えば、図18において、ブロックＧの符号化歪の除去処理を行う場合、ブロックＧに隣接する４つのブロックＥ，Ｄ，Ｈ，Ｍのそれぞれと符号化歪の除去を行うことができる。この場合、隣接ブロックの内、すでに符号化歪の除去処理が終了したブロックと行うようにすれば、より正確な符号化歪の除去を行うことが可能となる。
そこで、符号化歪の除去を線順次で、走査順次に行う。すなわち、画像の水平走査線の走査方向、走査線順に符号化歪の除去を行うとよい。
【００８２】
つまり図18において、１本目の走査線であるＡ，Ｂ，Ｅ，Ｆ，Ｃ，Ｄ，・・・の順番に符号化歪の除去処理を行い、各ブロックについて４本の境界線があるが、その内、上側の境界線と左側の境界線とに接している隣接ブロックについて符号化歪の除去処理を行うとよい。
この場合、ブロックＡについては、上側の境界線と左側の境界線とに接している隣接ブロックは存在しないので、符号化歪の除去を行わない。
また、ブロックＢについては、上側の境界線に接している隣接ブロックは存在しないので、左側の境界線に接している隣接ブロックＡとの間で符号化歪の除去を行う。
【００８３】
また、ブロックＧについては、上側の境界線と左側の境界線とに接している隣接ブロックはブロックＥ，Ｄであるので、ブロックＧについては、ブロックＥ，Ｄに対しては符号化歪の除去を行ない、ブロックＨ，Ｍに対しては符号化歪の除去を行わない。
このように、新たなブロックに対し、符号化歪の除去が終了した隣接ブロックとの間について符号化歪の除去を行い、まだ符号化歪の除去が終了していない隣接ブロックとの間について符号化歪の除去を行わないようにすれば、より正確な符号化歪の除去処理を行うことができる。
【００８４】
（実施の形態５）
本実施の形態では、まず、図19に示すように複数の画素、例えば１列に並ぶ４画素を１グループとしてまとめ、グループのペアで演算し、符号化歪の除去処理をする例について説明する。ここで言う符号化歪の除去処理とは、ブロック間の境界線を挟んだ領域においてデブロックフィルタ処理を行うか否かの判断、およびデブロックフィルタ処理の両方、またはいずれかを言う。また、ブロックとは、符号化処理単位である４ｘ４の１６画素を含むブロックまたは図３で説明した動き補償を行うブロックのいずれかを言う。
【００８５】
図19に示すように１グループを構成する４画素は、ブロックの境界線と同方向に並んだブロック内の４画素である。図19には、４画素を含むグループr１、r２、r３、r４が示されている。グループr１、r２、r３、r４のデータは、それぞれ４個のレジスタ（例えばＳＩＭＤレジスタ）に保持することができる。グループｒ１、ｒ２は、境界線に対し左右対称の位置にある。グループｒ３、ｒ４も、境界線に対し左右対称の位置にある。グループｒ１にある画素値と、グループｒ２にある画素値が比較され、その差により符号化歪の除去処理を行う。
【００８６】
これらの差を得るための演算は、グループｒ１の上端にある画素と、グループｒ２の上端にある画素との差１、グループｒ１の上端の次にある画素と、グループｒ２の上端の次にある画素との差２、グループｒ１の下端の上にある画素と、グループｒ２の下端の上にある画素との差３、グループｒ１の下端にある画素と、グループｒ２の下端にある画素との差４、を求め、これらの差１、差2、差3、差4の平均値、またはこれらの差１、差2、差3、差4の絶対値の和などを代表差として表し、代表差を所定の閾値と比較することにより行われる。他の演算方法も可能である。同じグループの4画素単位で演算を行うため、各画素単位で演算を行う場合に比べて並列演算が可能であり、並列化による高速な実装が容易になる。
【００８７】
以上は、グループｒ１とグループｒ２とが比較される場合を説明したが、さらに、正確さが必要とされる場合は、グループｒ３にある画素の明るさと、グループｒ４にある画素の明るさが比較され、グループｒ１，ｒ２で得られた比較結果の代表差と、今回の代表差の両方を加算、又は平均することにより符号化歪の除去処理を行うことも可能である。以上は、境界線が縦方向にある場合を説明したが、横方向も同様である。境界線が横方向にある場合は、横方向に並んだ４画素をグループとして捕らえられる。
【００８８】
ところで、図20（ａ)、(ｂ)は、それぞれ画面上の走査線がインターレースで構成されている場合を示す。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。図において、ねずみ色の小さな四角は奇数ラインの画素を示し、白色の小さな四角は偶数ラインの画素を示す。すなわち、奇数ラインで構成されるねずみ色の画素で１フィールドを構成し、偶数ラインで構成される白色の画素でフレームの他方のフィールドが構成されている。インタレース画像信号では、１つのフレームが時刻の異なる２つのフィールド（偶数フィールドと奇数フィールド）で構成される。静止画像の場合は時刻によって画素値が変化しないので、フレームの上下のラインの相関がフィールドの上下のラインの相関よりも強い。一方、動画像の場合は時刻によって画像が大きく変化するため、２つのフィールドの画素値が大きく異なり、フレームの上下のラインの相関よりもフィールドの上下のラインの相関の方が強くなる。従って、静止画像はフレーム、動画像はフィールドとして処理するのが効率が良い。
【００８９】
また、ピクチャがインタレース画像のとき、例えば、▲１▼ブロックが全てフレーム構造（フレーム構造については後述）のピクチャ、▲２▼ブロックが全てフィールド構造（フィールド構造については後述）のピクチャ、▲３▼ブロックがフレーム構造とフィールド構造のブロックとを有することができるピクチャ、が考えられる。
そして、例えば、ピクチャが▲１▼の場合（フレームの場合）には、全てフレーム構造単位でデブロック・フィルタ処理を行い、ピクチャが▲２▼の場合（フィールドの場合）には、全てフィールド構造単位でデブロック・フィルタ処理を行い、ピクチャが▲３▼の場合には、適応的にフィールド構造からフレーム構造あるいはフレーム構造からフィールド構造に変換をしてデブロック・フィルタ処理を行う。以下、それぞれについて具体的に説明する。
【００９０】
静止もしくは動きの小さいインタレース画像は、図20（ａ)に示す様な奇数フィールドと偶数フィールドとからなる１フレーム単位で処理される（フレーム構造という）。フレーム構造においては、図20（ａ）の右側に示す様に、16画素で構成されるひとつのブロックに奇数ラインの画素と偶数ラインの画素が含まれる。符号化歪の除去処理は、フレーム構造を有するブロック間で行なわれる。すなわち、図８（ｂ）で説明した様に、ブロックの境界において符号化歪の除去処理がなされる。
【００９１】
大きな動きのインタレース画像は、図20（ｂ）に示す様な奇数フィールドと偶数フィールドとに分けられた１フィールド単位で処理される（フィールド構造という）。フィールド構造は、図20（ｂ）の右側に示す様に、奇数ラインで構成される奇数フィールドと、偶数ラインで構成される偶数フィールドに分けられ、奇数フィールドには奇数ラインで構成されるブロックが含まれ、偶数フィールドは偶数ラインで構成されるブロックが含まれる。符号化歪の除去処理は、フィールド構造を有する奇数ラインのブロック間のみまたは偶数ラインのブロック間のみで行なわれる。
【００９２】
図21（ａ）は、インタレース画像の一部がフレーム構造で形成され、別の一部がフィールド構造で形成される例を示す。好ましくは、画像の中で、動画部分がフィールド構造で形成され、静止画部分がフレーム構造で形成される。フィールド構造またはフレーム構造で形成される最小単位はＤＣＴ等の直交変換もしくは動き補償が実行される最大単位であるマクロブロック（またばそれを複数個統合したスーパーマクロブロック）である。ここでは簡単に、図21（ａ）の自動車を含む四角部分がフィールド構造で形成され、残りの部分がフレーム構造で形成されているとする。
【００９３】
フィールド構造で形成されている部分と、フレーム構造で形成されている部分が隣接している部分での符号化歪の除去処理をどの様に行なうかを次に説明する。
図21（ｂ）において、コラムＣ１，Ｃ２，Ｃ３，Ｃ４に含まれるブロックは自動車がある部分に属し、動きがあるためフィールド構造で形成されている一方、コラムＣ５，Ｃ６，Ｃ７，Ｃ８に含まれるブロックは、自動車のない部分に属し、静止画像で効率が良いフレーム構造で形成されている。なお、この例ではマクロブロックは水平・垂直とも１６画素であり、ブロックは水平・垂直とも4画素である。図21（ｂ）において、コラムＣ４とＣ５は間隔をあけて示されているが、画像上では隣接している。コラムＣ３とＣ４の間にある境界線、及びコラムＣ５とＣ６の間にある境界線に対しては、図８（ｂ）で示した符号化歪の除去処理が行なわれる。コラムＣ４とコラムＣ５との間にある境界線に対しては、図21（ｃ）に示す様に、まずコラムＣ５にあるフレーム構造のブロックがフィールド構造のブロックに変換される。この変換は、例えば図21（ｂ）に示すコラムＣ５の奇数ラインの画素から図21（ｃ）に示すコラムＣ５のねずみ色の画素からなるブロックに変換し、図21（ｂ）に示すコラムＣ５の偶数ラインの画素から図21（ｃ）に示す白色の画素からなるコラムＣ５のブロックに変換する。続いて、コラムＣ４とＣ５との間にある境界線に対して図８（ｂ）で示した符号化歪の除去処理が行なわれる。
【００９４】
この様に、フレーム構造のブロックをフィールド構造のブロックに変換したのは、動きのある場合にフィールド構造のブロックをフレーム構造のブロックにすると垂直方向の画素の相関が失われ、垂直方向の符号化歪の除去処理を行うと不自然な劣化が発生するためである。一方、静止している場合にフレーム構造のブロックをフィールド構造にすると垂直方向の高周波数成分における符号化誤差の抑圧効果は小さくなるが、垂直方向の画素の相関は失われないため不自然な画質劣化が発生しにくい。
【００９５】
なお、処理量を減らす（フレームをフィールドに変換するのみ）ためにフレーム構造のブロックをフィールド構造のブロックに変換するとしたが、処理量を考慮せず、つまり、フレームはフィールドに変換し、更にフィールドをフレームに変換するため、先の場合と比べるとフィールドをフレームに変換する分の処理が新たに処理量が増加するが、符号化歪の除去処理の対象となっている（現在デブロックフィルタで画素値を変えようとしている）画素が、フレーム構造のブロック内にあるか、フィールド構造のブロック内にあるかどうかを判断し、符号化歪の除去処理の対象となっている画素が、フィールド構造のブロック内にあれば、フレーム構造のブロックをフィールド構造（符号化歪の除去処理の対象となっている画素を有するブロックの構造のタイプ）のブロックに変換し、符号化歪の除去処理の対象となっている画素が、フレーム構造のブロック内にあれば、フィールド構造のブロックをフレーム構造（符号化歪の除去処理の対象となっている画素を有するブロックの構造のタイプ）のブロックに変換してもよい。
【００９６】
以下、図22のフローチャートに基づいて、フレーム構造とフィールド構造が混在する場合の動作について説明する。
【００９７】
インタレース・画像信号列のフレームは、異なる時刻(time instant)で走査される、二つのフィールドで構成される。すなわち、二つのフィールドを１つにまとめたフレーム符号化（フレーム構造の符号化）、または、フィールドを個別に扱うフィールド符号化（フィールド構造の符号化）が可能である。更に、これらの符号化方法は、下記の二つのカテゴリーにグループ分けできる。すなわち、画面全体をフレーム符号化か、フィールド符号化のいずれかできりかえて符号化する固定符号化と、画面を複数の区分に分割し、区分毎にフレーム符号化かフィールド符号化かのいずれかを切り替えて行なう適応符号化である。固定符号化には、フレーム構造に対応したフレーム固定符号化と、フィールド構造に対応したフィールド固定符号化がある。固定符号化では、インタレース・ビデオ・シーケンスは、コンテンツに係わりなくフレーム符号化またはフィールド符号化のいずれかで常に符号化される。他方、適応符号化では、コンテンツにより、または画面により、または画面内の区分単位でフレーム符号化またはフィールド符号化のいずれかの符号化の選択が可能である。画面内の区分は、マクロブロック・レベルまでの細かさで行うことができる。従って、適応符号化では、マクロブロックは、フレーム符号化またはフィールド符号化のいずれかで符号化できることとなる。以下の説明では、マクロブロックを単にブロックと略す。
【００９８】
フレーム符号化されたブロック、すなわちフレーム構造を有するブロックでは、ノンインタレース・ビデオの符号化歪を除去する場合と同様にして符号化歪の除去が行なわれる。フィールド符号化されたブロック、すなわちフィールド構造を有するブロックでは、フィールドが偶数フィールドおよび奇数フィールドに分けられ、各フィールドは、個別の画面として扱われ、各フィールド毎に符号化歪の除去が行なわれる。
【００９９】
ステップ６３は、対象ブロックがフィールド符号化されているか、それともフレーム符号化されるかどうかを判断する。ブロックがフィールド符号化されている場合には、ステップ６４〜６９が実行される。ブロックがフレーム符号化されている場合には、ステップ７０〜７２が実行される。
【０１００】
ステップ６４〜６６では偶数フィールド構造のブロックが処理され、ステップ６７〜６９では奇数フィールド構造のブロックが処理される。ステップ６４〜６６での処理は、図21（ｂ）のコラムＣ３とＣ４の間の境界における白色画素間の符号化歪の除去処理に相当する。また、ステップ６７〜６９での処理は、図21（ｂ）のコラムＣ３とＣ４の間の境界におけるねずみ色画素間の符号化歪の除去処理に相当する。
ステップ６４で画素間の明るさが比較され、符号化歪の除去が必要かどうかが判断される。ステップ６５でフィルタリングすべき画素の数が決定される。ステップ６６でフィールドモードで符号化歪の除去が行なわれる。
【０１０１】
ステップ６７，６８，６９では、ステップ６４，６５，６６と同様な処理が行なわれる。
ステップ７０〜７２ではフレーム構造のブロックが処理される。この処理は、図21（ｂ）のコラムＣ５とＣ６の間の境界における符号化歪の除去処理に相当する。ステップ７０で画素間の明るさが比較され、符号化歪の除去が必要かどうかが判断される。ステップ７１でフィルタリングすべき画素の数が決定される。ステップ７２でフレームモードで符号化歪の除去が行なわれる。
ステップ７３で全てのブロックが処理されたかどうかが判断され、処理が終了する。
【０１０２】
図23は、図22のステップ６４と６７が一本化された場合を示す。すなわち、偶数フィールドのブロックと奇数フィールドのブロックの両方に対し符号化歪の除去が必要かどうかが判断され、この判断結果に基づき、偶数フィールド、奇数フィールドのブロックが共に符号化歪の除去が行なわれる。これにより、符号化歪の除去処理を簡略化することが可能となる。
図24は、図23のステップ６５と６８が一本化された場合を示す。すなわち、偶数フィールドのブロックと奇数フィールドのブロックの両方に対し符号化歪を除去すべき画素の数を決定する。この決定に基づき、偶数フィールド、奇数フィールドのブロックの符号化歪の除去が行なわれる。これにより、更に符号化歪の除去処理を簡略化することが可能となる。
【０１０３】
図25は、図21（ａ）に示した様に、ひとつの画面にフレーム符号化のブロックとフィールド符号化のブロックが混在している場合に、フレーム構造のブロックとフィールド構造のブロックが境界線を挟んだ両側にある場合の処理のフローチャートを示す。
ステップ９５で、符号化歪の除去を行なうブロックによって挟まれる境界線が、特定の境界線、すなわち境界線の一方側にフレーム構造のブロックがあり、他方側にフィールド構造のブロックがある境界線かどうかが判断される。この判断は、図21（ｂ）におけるコラムＣ４とＣ５の間の境界線であるかどうかの判断に相当する。特定の境界線であると判断された場合は、ステップ９６に移る。
【０１０４】
ステップ９６で、境界線の一方側にあるフレーム構造のブロックをフィールド構造のブロックに変換する。この変換は、図21（ｂ）のコラムＣ５に示すブロックから、図21（ｃ）のコラムＣ５に示すブロックへの変換に相当する。変換されたブロックを変換ブロックと言う。
ステップ９７で、境界線の他方側にあるフィールド構造のブロックと、変換ブロックとの間で符号化歪の除去が必要かどうかが判断される。この判断は、図21（ｃ）におけるコラムＣ４とＣ５の間の境界線での判断に相当する。必要と判断されればステップ９８に進む。
【０１０５】
ステップ９８で、フィルタリングすべき画素の数を決定する。
ステップ９９で、フィールドモードで符号化歪の除去が行なわれる。
なお、図25では、適応符号化でフレーム構造とフィールド構造のブロックが隣接する場合にフレーム構造をフィールド構造に変換し、フィールドで符号化歪を除去する例を示したが、逆にフィールド構造をフレーム構造に変換し、フレームで符号化歪を除去してもよい。図25のようにフィールドで符号化歪を除去すれば、動きの速い画像信号でも同じ時刻の画素のみを用いた符号化歪の除去が行われるため不自然な画質劣化がおきにくい利点がある。しかしながら、逆にフレームで符号化歪を除去すると、動きの小さな画像信号では垂直方向の画素相関がフィールドで行うよりも強いため、フールト゛でデブロックフィルタする場合よりも高周波数成分の劣化が少ないという利点がある。従って、それぞれに利点があり、機器を製造する際に一方を選択するか、もしくは使用者が一方を選択できるようにしてもよい。
【０１０６】
更に、適応符号化の場合でも、ブロック単位でなく画面単位で（フレームかフィールドかで）符号化歪の除去処理を決定してもよい。画面単位でデブロックフィルタがフィールドモードもしくはフレームモードの１つとすることで、実装が簡単化できる。フィールドモードもしくはフレームモードのいずれであるかは一方に固定してもよいし、また画面毎に切替可能としてもよい。画面毎に切替可能とするとき、どちらのモードが適切であるかを符号化装置で判断し、復号化装置のデブロックフィルタがどちらのモードで符号化歪の処理をすべきかを示す識別信号を符号列のヘッダ部に含めて伝送してもよい。
【０１０７】
また、ブロック単位でフィールド/フレーム切り換え可能な場合はフィールド単位で符号化歪を除去し、切替不可能（禁止）な場合、例えばピクチャに関する情報（ピクチャパラメータ）において当該ピクチャにおいて切り換え不可とされている場合は、フレーム単位で符号化歪の除去処理をするようにしてもよい。
なお、実施の形態１から実施の形態５で示したデブロックフィルタは図32で示したループ外フィルタとしても図33で示したループ内フィルタとしても使用することができる。
【０１０８】
ループ内フィルタでは、符号化歪の除去処理を行う前のデータをメモリ６４に格納することで、ブロック歪が除去されていない画像が予測画像として参照されることになり、ブロック歪が除去された画像を予測画像として参照する場合よりも僅かに符号化画質が劣化する。一方、ループ外フィルタでは、符号化歪の除去処理の結果は参照画像とならないことから、デブロックフィルタ６２として任意のものを実装しても、復号画像が大きく劣化することがない。たとえば、消費電力が優先される携帯機器ではデブロックフィルタ６２として少演算量のフィルタを使用し、画質が最優先の娯楽用据え置き機器では高演算量の高精度高画質なフィルタをデブロックフィルタ６２として使用することができる。
【０１０９】
（実施の形態６）
さらに、上記各実施の形態で示した符号化歪除去方法、符号化方法および復号化方法の構成を実現するためのプログラムを、フロッピーディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１１０】
図26は、上記実施の形態１から実施の形態5の符号化歪除去方法、符号化方法および復号化方法を格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１１１】
図26 (b) は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスクを示し、図26 (a) は、記録媒体本体であるフロッピーディスクの物理フォーマットの例を示している。フロッピーディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクでは、上記フロッピーディスクＦＤ上に割り当てられた領域に、上記プログラムとしての符号化歪除去方法、符号化方法および復号化方法が記録されている。
【０１１２】
また、図26 (c) は、フロッピーディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての符号化歪除去方法、符号化方法および復号化方法をフロッピーディスクドライブを介して書き込む。また、フロッピーディスク内のプログラムにより上記符号化歪除去方法、符号化方法および復号化方法をコンピュータシステム中に構築する場合は、フロッピーディスクドライブによりプログラムをフロッピーディスクから読み出し、コンピュータシステムに転送する。
【０１１３】
なお、上記説明では、記録媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、CD-ROM、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
図27は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
【０１１４】
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personaldigital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図27のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
【０１１５】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【０１１６】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【０１１７】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１１８】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図28は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【０１１９】
さらに、携帯電話ex１１５について図29を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【０１２０】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１２１】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【０１２２】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【０１２３】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【０１２４】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【０１２５】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１２６】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図30に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【０１２７】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１２８】
なお、カーナビゲーションex４１３の構成は例えば図29に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
なお、上記実施の形態１から実施の形態６に示した符号化装置、復号化装置等の構成は、説明したものに限られない。
【０１２９】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１３０】
【発明の効果】
以上の様に、本発明にかかる符号化歪除去方法は、処理が簡単な符号化歪除去方法、符号化歪除去を行うことで画像信号の画質を損なう可能性が少ない符号化歪除去方法、符号化歪除去を行うことで画像信号の画質を損なう可能性を低減可能な符号化方法および復号化方法を提供することができ、その実用的価値は高い。
【図面の簡単な説明】
【図１】本発明による復号化方法を用いた画像復号化装置のブロック図
【図２】本発明の実施の形態１に係る符号化歪除去方法を用いた符号化歪除去部のブロック図
【図３】動き補償ブロックサイズの例を示す図
【図４】本発明の実施の形態２に係る符号化歪除去方法のフローチャート
【図５】本発明の実施の形態２に係る量子化パラメータＱＰと符号化歪除去の各パラメータ対応を示す図
【図６】本発明の実施の形態２に係る符号化歪除去方法におけるフィルタ対象画素数決定のフローチャート
【図７】本発明の実施の形態２に係る符号化歪除去方法におけるフィルタ係数数決定のフローチャート
【図８】本発明の実施の形態２に係る符号化歪除去方法を用いた符号化歪除去部のブロック図、及びピクセルの並びを表す図
【図９】本発明の実施の形態３に係る符号化方法を用いた符号化装置のブロック図
【図１０】本発明の実施の形態３に係る復号化方法を用いた復号化装置のブロック図
【図１１】本発明の実施の形態４に係る符号化歪除去方法を用いた符号化歪除去部のブロック図
【図１２】本発明の実施の形態４に係る符号化歪除去方法における符号化信号Ｓｔｒの構成図
【図１３】ループ・フィルタによるビデオ・エンコーディング処理を示すブロック図
【図１４】ビデオ・エンコーディング・ループにおける自動化閾値選択の配置を示すブロック図
【図１５】最適な閾値を見出すためにデータを収集する方法を示したフローチャート
【図１６】最適な閾値を見出すためにデータを収集する別の方法を示したフローチャート
【図１７】最適な閾値を選択する方法を示すフローチャート
【図１８】デブロック化処理をスキップすることができる同じ境界を共有するブロックの付近を示す図
【図１９】複数画素を含むグループを示す説明図
【図２０】（ａ）はフレーム構造、（ｂ）はフィールド構造の説明図
【図２１】（ａ）は、ひとつのピクチャにフレーム構造とフィールド構造が混在している場合の説明図、（ｂ）、（ｃ）はフレーム構造とフィールド構造の境界部における符号化歪の除去処理のステップを示す説明図
【図２２】フレーム構造とフィールド構造が混在している場合の符号化歪の除去処理のフローチャート
【図２３】図２２においてステップ６４と６７が統合されたフローチャート
【図２４】図２３においてステップ６５と６８が統合されたフローチャート
【図２５】フレーム構造のブロックとフィールド構造のブロックが境界線を挟んだ両側にある場合の処理のフローチャート
【図２６】本発明の実施の形態６に関し、実施の形態１から実施の形態２の可変長符号化方法および可変長復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図
【図２７】コンテンツ供給システムの全体構成を示すブロック図
【図２８】動画像符号化方法、動画像復号化方法を用いた携帯電話の例
【図２９】携帯電話のブロック図
【図３０】ディジタル放送用システムの例
【図３１】符号化歪除去方法の概念を説明するため、ピクセルの信号レベルを示す図
【図３２】従来の復号化方法を用いた画像復号化装置のブロック図
【図３３】従来の復号化方法を用いた画像復号化装置のブロック図
【図３４】従来の符号化歪除去方法を用いた符号化歪除去部のブロック図
【符号の説明】
３０ 動き検出部
３２、６０ 動き補償部
５０ 可変長符号化部
５２ 可変長復号化部
４６ コサイン変換部
５６ 逆コサイン変換部
４８ ジグザグスキャン部
５４ 逆ジグザグスキャン部
３８、４０、６４ メモリ
６２ デブロックフィルタ
３４、５８ 加算部
４２ 減算部
２０ 画素差分計算部
４ フィルタ対象画素数決定部
６ フィルタ係数決定部
８ フィルタ処理部
２２ フィルタ決定パラメータ復号化部
２ 動き補償ブロック境界判定部
１０ａ 選択部
１０ｂ 選択部
Ｃｓ コンピュータ・システム
ＦＤ フロッピディスク
ＦDD フロッピディスクドライブ
Claims (26)
- 画像から符号化歪を除去する符号化歪除去方法であって、動き補償単位が符号化単位よりも大きい場合に、動き補償単位の境界と符号化単位の境界とが一致する境界と動き補償単位の境界と符号化単位の境界とが異なる境界とで異なる方法で符号化歪を除去することを特徴とする符号化歪除去方法。
- さらに、前記動き補償単位の残差誤差が０のとき、前記動き補償単位の境界のみで符号化歪を除去する
ことを特徴とする請求項１に記載の符号化歪除去方法。 - 画像から符号化歪を除去する符号化歪除去方法であって、
符号化歪を含む画像から画像パラメータを抽出するステップと
符号化歪を除去する画素を、前記画像パラメータを用いて特定する第1のステップと、
符号化歪を除去する方法を、前記画像パラメータを用いて特定する第2のステップと、
第1のステップで特定した画素に第2のステップで特定した方法で符号化歪を除去する第3のステップと
を備えることを特徴とする符号化歪除去方法。 - 画像から符号化歪を除去する符号化歪除去方法であって、ブロック単位で符号化歪を除去するか否かを判断し、前記判断によって除去すべきブロックについて更に画素毎に符号化歪を除去すべきか否かを判断して符号化歪除去処理を行う画素を決定する符号化歪除去方法。
- 動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、
前記第一のブロックの画素における画素値と前記第二のブロックの画素における画素値との差分値と、前記第一のブロックにおける量子化パラメータと前記第二のブロックにおける量子化パラメータとの平均値に対応する、符号化歪を除去する方法を決定するパラメータと、を比較する比較ステップと
前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップと
を有することを特徴とする符号化歪除去方法。 - 動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、
符号化歪を除去するときに閾値を決定するためのパラメータを復号する復号化ステップと、
前記第一のブロックの画素における画素値と前記第二のブロックの画素における画素値との差分値と、前記復号されたパラメータに基づいた所定の閾値と、を比較する比較ステップと
前記比較ステップにおける比較の結果に基づいて符号化歪の除去方法を切り換える除去ステップと
を有することを特徴とする符号化歪除去方法。 - 前記動画像は複数のブロックから構成されるスライスを有し、前記パラメータは、前記動画像に対応する画像データを符号化して得られる符号列におけるスライスのヘッダ情報に含まれる
ことを特徴とする請求項６に記載の符号化歪除去方法。 - 複数の参照画像から少なくとも１つを参照して符号化する動画像符号化装置であって、複数の方法で符号化歪を除去して得られた複数の符号化画像を参照画像とすることを特徴とする動画像符号化装置。
- 前記複数の方法のうち、第１の方法は前記符号化画像に対して符号化歪を除去しない方法であり、
第２の方法は前記符号化画像に対して符号化歪を除去する方法であることを特徴とする請求項８に記載の動画像符号化装置。 - 複数の参照画像から少なくとも１つを参照して復号化する動画像復号化装置であって、複数の方法で符号化歪を除去して得られた複数の復号化画像を参照画像とすることを特徴とする動画像復号化装置。
- 前記複数の方法のうち第１の方法は前記復号化画像に対して符号化歪を除去しない方法であり、
第２の方法は前記復号化画像に対して符号化歪を除去する方法であることを特徴とする請求項１０に記載の動画像復号化装置。 - 奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像の符号化歪を除去する符号化歪除去方法であって、
所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックを有するピクチャか、所定数の前記奇数ラインの画素から構成される一方のフィールド構造のブロックを有するピクチャ若しくは所定数の前記偶数ラインの画素から構成される他方のフィールド構造のブロックを有するピクチャかを判断する判断ステップと、
符号化歪を除去する対象のブロックが、全て前記フレーム構造のブロックを有するピクチャのブロックであるとき、隣接する前記フレーム構造のブロック間で符号化歪を除去し、符号化歪を除去する対象のブロックが、全て前記フィールド構造のブロックを有するピクチャのブロックであるとき、隣接する前記フィールド構造のブロック間で符号化歪を除去する除去ステップと、
を有することを特徴とする符号化歪除去方法。 - さらに、
符号化歪を除去する対象のブロックが、前記フレーム構造のブロックと前記フィールド構造のブロックとを有するピクチャのブロックであるとき、
前記フィールド構造であるブロックを前記フレーム構造のブロックに変換する変換ステップと、
前記フィールド構造であるブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップと
を有することを特徴とする請求項１２に記載の符号化歪除去方法。 - 動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、
前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、
前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、
前記フレーム構造である前記第一のブロックを前記フィールド構造のブロックに変換する変換ステップと、
前記フィールド構造である前記第二のブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと
前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップと
を有することを特徴とする符号化歪除去方法。 - 前記フレーム構造である前記第一のブロックから前記フィールド構造のブロックへの変換は、マクロブロック単位または上下に隣接する２つのマクロブロックをまとめた単位で切り換える
ことを特徴とする請求項１４に記載の符号化歪除去方法。 - 前記フィールド構造である第二のブロックは、前記フレーム構造のブロックに変換しない
ことを特徴とする請求項１４または請求項１５に記載の符号化歪除去方法。 - 動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、
前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、
前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、
符号化歪を除去する対象ブロックが、前記フレーム構造のブロックか前記フィールド構造のブロックかを判断する判断ステップと、
前記対象ブロックがフィールド構造である前記第２のブロックであるとき、前記フレーム構造である前記第１のブロックを前記フィールド構造のブロックに変換し、
前記対象ブロックがフレーム構造である前記第１のブロックであるとき、前記フィールド構造である前記第２のブロックを前記フレーム構造のブロックに変換する変換ステップと、
前記対象ブロックの画素における画素値と、所定の閾値とを比較する比較ステップと
前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップと
を有することを特徴とする符号化歪除去方法。 - 前記変換ステップにおける前記フレーム構造のブロックから前記フィールド構造のブロックへの変換では、
前記フレーム構造のブロックにおける奇数ラインの画素から変換後の一方のフィールドを生成し、前記フレーム構造のブロックにおける偶数ラインの画素から変換後の他方のフィールドを生成し、
前記比較ステップにおける前記差分値と前記閾値との比較は
前記第二のブロックの一方のフィールドの画素における画素値と前記第一のブロックの前記変換後の一方のフィールドの画素における画素値とを比較、あるいは、前記第二のブロックの他方のフィールドの画素における画素値と前記第一のブロックの前記変換後の他方のフィールドの画素における画素値とを比較する
ことを特徴とする請求項１４から請求項１７いずれか１項に記載の符号化歪除去方法。 - 動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、
前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、
前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、
前記フィールド構造である前記第二のブロックを前記フレーム構造のブロックに変換する変換ステップと、
前記フレーム構造である前記第一のブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと
前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップと
を有することを特徴とする符号化歪除去方法。 - 前記フィールド構造である前記第二のブロックから前記フレーム構造のブロックへの変換は、マクロブロック単位または上下に隣接する２つのマクロブロックをまとめた単位で切り換える
ことを特徴とする請求項１９に記載の符号化歪除去方法。 - 前記フィールド構造である第二のブロックは、前記フレーム構造のブロックに変換しない
ことを特徴とする請求項１７、請求項１９、請求項２０いずれか１項に記載の符号化歪除去方法。 - 前記変換ステップにおける前記フィールド構造のブロックから前記フレーム構造のブロックへの変換では、
前記一方のフィールドのブロックの画素と前記他方のフィールドのブロックの画素とから変換後のフレームを生成し、
前記第一のブロックの奇数ラインの画素における画素と前記第二のブロックの前記変換後の奇数ラインの画素における画素値とを比較、あるいは前記第一のブロックの偶数ラインの画素における画素と前記第二のブロックの前記変換後の偶数ラインの画素における画素値とを比較する
ことを特徴とする請求項１７に記載の符号化歪除去方法。 - 前記比較ステップにおいて、前記境界線に対して対象の位置にある、前記境界線と同方向に一列に並んだ複数の画素毎に、前記差分値と前記閾値との比較をする
ことを特徴とする請求項１４から請求項２０いずれか１項に記載の符号化歪除去方法。 - 符号化差分画像を復号化し、差分画像を出力する復号化部と参照画像から動き補償画像を出力する動き補償部と、
前記差分画像と前記動き補償画像とを加算し合成画像を出力する加算部と
前記合成画像が有する符号化歪を除去し再生画像を出力する符号化歪除去部と、
前記再生画像を前記参照画像として記憶する記憶部と
を有する画像符号化装置であって、
前記符号化歪除去部において、請求項１〜請求項７、請求項１２〜請求項２２いずれか１項の方法によって符号化歪を除去することを特徴とする画像復号化装置。 - 画像から符号化歪を除去するためのプログラムであって、
請求項１〜請求項７、請求項１２〜請求項２２いずれか１項の方法によって符号化歪を除去する
ことを特徴とするプログラム。 - 符号化差分画像を復号化し、差分画像を出力する復号化部と
参照画像から動き補償画像を出力する動き補償部と、
前記差分画像と前記動き補償画像とを加算し合成画像を出力する加算部と
前記合成画像が有する符号化歪を除去し再生画像を出力する符号化歪除去部と、
前記再生画像を前記参照画像として記憶する記憶部とを用いた画像符号化のためのプログラムであって、
前記符号化歪除去部において、請求項１〜請求項７、請求項１２〜請求項２２いずれか１項の方法によって符号化歪を除去することをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002348398A JP3769534B6 (ja) | 2001-11-29 | 2002-11-29 | 復号化方法 |
Applications Claiming Priority (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US33376301P | 2001-11-29 | 2001-11-29 | |
| US60/333763 | 2001-11-29 | ||
| US60/333767 | 2001-11-29 | ||
| JP2002008859 | 2002-01-17 | ||
| JP2002008859 | 2002-01-17 | ||
| JP2002110748 | 2002-04-12 | ||
| JP2002110748 | 2002-04-12 | ||
| JP2002127101 | 2002-04-26 | ||
| JP2002127101 | 2002-04-26 | ||
| US60/394312 | 2002-07-09 | ||
| JP2002291264 | 2002-10-03 | ||
| JP2002291264 | 2002-10-03 | ||
| JP2002348398A JP3769534B6 (ja) | 2001-11-29 | 2002-11-29 | 復号化方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005304495A Division JP4009650B2 (ja) | 2001-11-29 | 2005-10-19 | 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム |
Publications (4)
| Publication Number | Publication Date |
|---|---|
| JP2004180248A true JP2004180248A (ja) | 2004-06-24 |
| JP2004180248A5 JP2004180248A5 (ja) | 2005-12-02 |
| JP3769534B2 JP3769534B2 (ja) | 2006-04-26 |
| JP3769534B6 JP3769534B6 (ja) | 2007-01-24 |
Family
ID=
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007013437A1 (ja) * | 2005-07-25 | 2007-02-01 | Sony Corporation | 画像処理装置、画像処理方法およびプログラム |
| JP2007053620A (ja) * | 2005-08-18 | 2007-03-01 | Oki Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
| JP2007180767A (ja) * | 2005-12-27 | 2007-07-12 | Toshiba Corp | 情報処理装置 |
| JP2007300557A (ja) * | 2006-05-02 | 2007-11-15 | Canon Inc | 画像符号化装置及び画像符号化方法 |
| JP2008048181A (ja) * | 2006-08-17 | 2008-02-28 | Fujitsu Ltd | デブロッキングフィルタ、画像符号化装置および画像復号化装置 |
| JP2008506294A (ja) * | 2004-07-08 | 2008-02-28 | フリースケール セミコンダクター インコーポレイテッド | デブロッキング・フィルタリングを実行する方法及びシステム |
| JP2008054126A (ja) * | 2006-08-25 | 2008-03-06 | Sony Corp | 映像信号処理装置及び方法、並びに映像信号復号装置 |
| JP2009194617A (ja) * | 2008-02-14 | 2009-08-27 | Sony Corp | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
| WO2010001911A1 (ja) * | 2008-07-03 | 2010-01-07 | シャープ株式会社 | フィルタ装置 |
| WO2010021039A1 (ja) * | 2008-08-21 | 2010-02-25 | パイオニア株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP2010259097A (ja) * | 2001-11-29 | 2010-11-11 | Panasonic Corp | 画像符号化復号化装置 |
| JP2011501565A (ja) * | 2007-10-16 | 2011-01-06 | トムソン ライセンシング | ビット深度スケーラビリティのためのアーティファクト除去のための方法及び装置 |
| WO2011021530A1 (ja) * | 2009-08-19 | 2011-02-24 | ソニー株式会社 | 画像処理装置および方法 |
| WO2011158867A1 (ja) * | 2010-06-17 | 2011-12-22 | シャープ株式会社 | 画像復号装置、及び画像符号化装置 |
| US8625668B2 (en) | 2006-01-10 | 2014-01-07 | Kabushiki Kaisha Toshiba | Information processing apparatus and video decoding method of information processing apparatus |
| US8625914B2 (en) | 2013-02-04 | 2014-01-07 | Sony Corporation | Image processing system, image processing method and program |
| JP2014030258A (ja) * | 2011-07-19 | 2014-02-13 | Panasonic Corp | 符号化方法及び符号化装置 |
| US8660375B2 (en) | 2011-02-22 | 2014-02-25 | Panasonic Corporation | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| US8712171B2 (en) | 2006-03-27 | 2014-04-29 | Panasonic Corporation | Image coding apparatus and image decoding apparatus |
| JP2014200108A (ja) * | 2014-06-26 | 2014-10-23 | ソニー株式会社 | 画像復号装置および方法、記録媒体、並びにプログラム |
| JP2014220849A (ja) * | 2014-08-26 | 2014-11-20 | ソニー株式会社 | 画像処理装置および方法 |
| JP2015111900A (ja) * | 2010-09-28 | 2015-06-18 | サムスン エレクトロニクス カンパニー リミテッド | 適応的フィルタリング方法 |
| JP2015188257A (ja) * | 2015-06-17 | 2015-10-29 | ソニー株式会社 | 画像復号装置および方法、記録媒体、並びにプログラム |
| JP2017085631A (ja) * | 2011-11-25 | 2017-05-18 | サン パテント トラスト | 画像復号装置および画像復号方法 |
| US9712821B2 (en) | 2009-07-31 | 2017-07-18 | Sony Corporation | Image processing apparatus and method |
| US9729874B2 (en) | 2011-02-22 | 2017-08-08 | Tagivan Ii Llc | Filtering method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
| US9918108B2 (en) | 2009-07-31 | 2018-03-13 | Velos Media, Llc | Image processing device and method |
Cited By (78)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010259097A (ja) * | 2001-11-29 | 2010-11-11 | Panasonic Corp | 画像符号化復号化装置 |
| JP4621810B2 (ja) * | 2001-11-29 | 2011-01-26 | パナソニック株式会社 | 画像符号化復号化装置 |
| JP2008506294A (ja) * | 2004-07-08 | 2008-02-28 | フリースケール セミコンダクター インコーポレイテッド | デブロッキング・フィルタリングを実行する方法及びシステム |
| US10271070B2 (en) | 2005-07-25 | 2019-04-23 | Velos Media, Llc | Image processing system, image processing method and program |
| US9402077B2 (en) | 2005-07-25 | 2016-07-26 | Sony Corporation | Image processing system, image processing method and program |
| US8396307B2 (en) | 2005-07-25 | 2013-03-12 | Sony Corporation | Image processing system, image processing method and program |
| US10681385B2 (en) | 2005-07-25 | 2020-06-09 | Velos Media, Llc | Image processing system, image processing method and program |
| CN101969563B (zh) * | 2005-07-25 | 2012-07-18 | 索尼株式会社 | 图像处理装置以及图像处理方法 |
| US8923637B2 (en) | 2005-07-25 | 2014-12-30 | Sony Corporation | Image processing system, image processing method and program |
| WO2007013437A1 (ja) * | 2005-07-25 | 2007-02-01 | Sony Corporation | 画像処理装置、画像処理方法およびプログラム |
| JP2007053620A (ja) * | 2005-08-18 | 2007-03-01 | Oki Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
| JP2007180767A (ja) * | 2005-12-27 | 2007-07-12 | Toshiba Corp | 情報処理装置 |
| JP4643437B2 (ja) * | 2005-12-27 | 2011-03-02 | 株式会社東芝 | 情報処理装置 |
| US8625668B2 (en) | 2006-01-10 | 2014-01-07 | Kabushiki Kaisha Toshiba | Information processing apparatus and video decoding method of information processing apparatus |
| JP5513740B2 (ja) * | 2006-03-27 | 2014-06-04 | パナソニック株式会社 | 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路 |
| US8712171B2 (en) | 2006-03-27 | 2014-04-29 | Panasonic Corporation | Image coding apparatus and image decoding apparatus |
| JP2007300557A (ja) * | 2006-05-02 | 2007-11-15 | Canon Inc | 画像符号化装置及び画像符号化方法 |
| JP2008048181A (ja) * | 2006-08-17 | 2008-02-28 | Fujitsu Ltd | デブロッキングフィルタ、画像符号化装置および画像復号化装置 |
| JP4712642B2 (ja) * | 2006-08-17 | 2011-06-29 | 富士通セミコンダクター株式会社 | デブロッキングフィルタ、画像符号化装置および画像復号化装置 |
| JP2008054126A (ja) * | 2006-08-25 | 2008-03-06 | Sony Corp | 映像信号処理装置及び方法、並びに映像信号復号装置 |
| JP2011501565A (ja) * | 2007-10-16 | 2011-01-06 | トムソン ライセンシング | ビット深度スケーラビリティのためのアーティファクト除去のための方法及び装置 |
| US8391353B2 (en) | 2007-10-16 | 2013-03-05 | Thomson Licensing | Methods and apparatus for artifact removal for bit depth scalability |
| US8369422B2 (en) | 2007-10-16 | 2013-02-05 | Thomson Licensing | Methods and apparatus for artifact removal for bit depth scalability |
| JP2011501561A (ja) * | 2007-10-16 | 2011-01-06 | トムソン ライセンシング | ビット深さスケーラビリティのためのアーチファクト除去のための方法および装置 |
| US8711950B2 (en) | 2008-02-14 | 2014-04-29 | Sony Corporation | Apparatus and method for adapted deblocking filtering strength |
| JP2009194617A (ja) * | 2008-02-14 | 2009-08-27 | Sony Corp | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
| WO2010001911A1 (ja) * | 2008-07-03 | 2010-01-07 | シャープ株式会社 | フィルタ装置 |
| JPWO2010001911A1 (ja) * | 2008-07-03 | 2011-12-22 | シャープ株式会社 | フィルタ装置 |
| WO2010021039A1 (ja) * | 2008-08-21 | 2010-02-25 | パイオニア株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US10182231B2 (en) | 2009-07-31 | 2019-01-15 | Sony Corporation | Image processing apparatus and method |
| US10855984B2 (en) | 2009-07-31 | 2020-12-01 | Sony Corporation | Image processing apparatus and method |
| US10721494B2 (en) | 2009-07-31 | 2020-07-21 | Velos Media, Llc | Image processing device and method |
| US9872023B2 (en) | 2009-07-31 | 2018-01-16 | Sony Corporation | Image processing apparatus and method |
| US9918108B2 (en) | 2009-07-31 | 2018-03-13 | Velos Media, Llc | Image processing device and method |
| US11405652B2 (en) | 2009-07-31 | 2022-08-02 | Velos Media, Llc | Image processing device and method |
| US10491894B2 (en) | 2009-07-31 | 2019-11-26 | Sony Corporation | Image processing apparatus and method |
| US9712821B2 (en) | 2009-07-31 | 2017-07-18 | Sony Corporation | Image processing apparatus and method |
| WO2011021530A1 (ja) * | 2009-08-19 | 2011-02-24 | ソニー株式会社 | 画像処理装置および方法 |
| US10587899B2 (en) | 2009-08-19 | 2020-03-10 | Sony Corporation | Image processing device and method |
| TWI401969B (zh) * | 2009-08-19 | 2013-07-11 | Sony Corp | Image processing apparatus and method |
| US9967593B2 (en) | 2009-08-19 | 2018-05-08 | Sony Corporation | Image processing device and method |
| US10911786B2 (en) | 2009-08-19 | 2021-02-02 | Sony Corporation | Image processing device and method |
| JP2011044781A (ja) * | 2009-08-19 | 2011-03-03 | Sony Corp | 画像処理装置および方法 |
| WO2011158867A1 (ja) * | 2010-06-17 | 2011-12-22 | シャープ株式会社 | 画像復号装置、及び画像符号化装置 |
| JP2015111900A (ja) * | 2010-09-28 | 2015-06-18 | サムスン エレクトロニクス カンパニー リミテッド | 適応的フィルタリング方法 |
| US9344716B2 (en) | 2010-09-28 | 2016-05-17 | Samsung Electronics Co., Ltd. | Adaptive filtering method and apparatus |
| US8917946B2 (en) | 2011-02-22 | 2014-12-23 | Panasonic Intellectual Property Corporation Of America | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| US10602159B2 (en) | 2011-02-22 | 2020-03-24 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| US8660375B2 (en) | 2011-02-22 | 2014-02-25 | Panasonic Corporation | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| US10798391B2 (en) | 2011-02-22 | 2020-10-06 | Tagivan Ii Llc | Filtering method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
| US9729874B2 (en) | 2011-02-22 | 2017-08-08 | Tagivan Ii Llc | Filtering method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
| US10511844B2 (en) | 2011-02-22 | 2019-12-17 | Tagivan Ii Llc | Filtering method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
| US9826230B2 (en) | 2011-02-22 | 2017-11-21 | Tagivan Ii Llc | Encoding method and encoding apparatus |
| US8855435B2 (en) | 2011-02-22 | 2014-10-07 | Panasonic Intellectual Property Corporation Of America | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| US9489749B2 (en) | 2011-02-22 | 2016-11-08 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| US10237562B2 (en) | 2011-02-22 | 2019-03-19 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| US10015498B2 (en) | 2011-02-22 | 2018-07-03 | Tagivan Ii Llc | Filtering method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
| US9961352B2 (en) | 2011-02-22 | 2018-05-01 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus |
| JP2014030258A (ja) * | 2011-07-19 | 2014-02-13 | Panasonic Corp | 符号化方法及び符号化装置 |
| US9667968B2 (en) | 2011-07-19 | 2017-05-30 | Tagivan Ii Llc | Filtering method for performing deblocking filtering on a boundary between an intra pulse code modulation block and a non-intra pulse code modulation block which are adjacent to each other in an image |
| US8787467B2 (en) | 2011-07-19 | 2014-07-22 | Panasonic Corporation | Filtering method for performing deblocking filtering on a boundary between an intra pulse code modulation block and a non-intra pulse code modulation block which are adjacent to each other in an image |
| JP2017098953A (ja) * | 2011-07-19 | 2017-06-01 | タギバン ツー エルエルシー | フィルタ方法及び画像処理システム |
| US9930367B2 (en) | 2011-07-19 | 2018-03-27 | Tagivan Ii Llc | Filtering method for performing deblocking filtering on a boundary between an intra pulse code modulation block and a non-intra pulse code modulation block which are adjacent to each other in an image |
| JP2014042325A (ja) * | 2011-07-19 | 2014-03-06 | Panasonic Corp | 符号化復号装置 |
| US9544585B2 (en) | 2011-07-19 | 2017-01-10 | Tagivan Ii Llc | Filtering method for performing deblocking filtering on a boundary between an intra pulse code modulation block and a non-intra pulse code modulation block which are adjacent to each other in an image |
| JP2014042326A (ja) * | 2011-07-19 | 2014-03-06 | Panasonic Corp | 復号方法及び復号装置 |
| US9774888B2 (en) | 2011-07-19 | 2017-09-26 | Tagivan Ii Llc | Filtering method for performing deblocking filtering on a boundary between an intra pulse code modulation block and a non-intra pulse code modulation block which are adjacent to each other in an image |
| US9961371B2 (en) | 2011-11-25 | 2018-05-01 | Sun Patent Trust | Image processing method and image processing apparatus |
| US11895335B2 (en) | 2011-11-25 | 2024-02-06 | Sun Patent Trust | Image processing method and image processing apparatus |
| US10924764B2 (en) | 2011-11-25 | 2021-02-16 | Sun Patent Trust | Image processing method and image processing apparatus |
| US11463731B2 (en) | 2011-11-25 | 2022-10-04 | Sun Patent Trust | Image processing method and image processing apparatus |
| JP2017085631A (ja) * | 2011-11-25 | 2017-05-18 | サン パテント トラスト | 画像復号装置および画像復号方法 |
| JP2019037012A (ja) * | 2011-11-25 | 2019-03-07 | サン パテント トラスト | 画像復号装置および画像復号方法 |
| US10587895B2 (en) | 2011-11-25 | 2020-03-10 | Sun Patent Trust | Image processing method and image processing apparatus |
| US8625914B2 (en) | 2013-02-04 | 2014-01-07 | Sony Corporation | Image processing system, image processing method and program |
| JP2014200108A (ja) * | 2014-06-26 | 2014-10-23 | ソニー株式会社 | 画像復号装置および方法、記録媒体、並びにプログラム |
| JP2014220849A (ja) * | 2014-08-26 | 2014-11-20 | ソニー株式会社 | 画像処理装置および方法 |
| JP2015188257A (ja) * | 2015-06-17 | 2015-10-29 | ソニー株式会社 | 画像復号装置および方法、記録媒体、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3769534B2 (ja) | 2006-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4621810B2 (ja) | 画像符号化復号化装置 | |
| KR100958982B1 (ko) | 코딩 왜곡 제거 방법 | |
| KR100973909B1 (ko) | 코딩 왜곡 제거 반도체 | |
| JP2007143178A (ja) | 符号化歪除去方法 | |
| JP4009650B2 (ja) | 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム | |
| JP3769534B6 (ja) | 復号化方法 | |
| JP3769534B2 (ja) | 復号化方法 | |
| JP4562785B6 (ja) | 符号化歪除去方法 | |
| JP4105218B2 (ja) | 受信装置及び送信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051014 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051014 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20051014 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20051110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060206 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3769534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |