JP2005318468A - 画面内予測符号化装置、その方法及びそのプログラム - Google Patents

Abstract

【課題】 動画像の圧縮符号化において、イントラ画像の画面内予測に伴う、復号画像におけるフリッカの発生を抑え、画質の劣化を防止することを可能にした画面内予測符号化装置を提供する。
【解決手段】 画面内予測符号化装置１は、マクロブロックを複数の予測モードに基づいて予測し、画面内及び時間方向（画面間）の予測の度合いを予測評価値として算出するマクロブロック予測評価手段５と、マクロブロックを細分化したサブブロックを複数の予測モードに基づいて予測し、画面内及び時間方向（画面間）の予測の度合いを予測評価値として算出するサブブロック予測評価手段７と、各予測評価値に基づいて、画面をマクロブロック又はサブブロックのいずれの分割モードで分割するか、及び、どの予測モードを使用するかを決定する分割・予測モード決定手段１０とを備えていることを特徴とする。
【選択図】 図１

Description

本発明は、動画像符号化技術に係り、より詳細には、動画像のイントラ画像（画面内符号化画像）の画面内予測に起因するフリッカ現象を抑制する画面内予測符号化装置、その方法及びそのプログラムに関する。

現在、動画像を圧縮符号化する方式としては、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）で規格化されたＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１（ＪＰＥＧ）で規格化されたＪＰＥＧ、ＩＴＵ−Ｔで勧告化されたＨ．２６１及びＨ．２６３等がある（例えば、非特許文献１参照）。

これらの圧縮符号化方式では、動画像をブロックと呼ばれる特定の大きさの領域（例えば、１６×１６画素）に分割し、このブロックを単位として動き補償予測、変換処理（離散コサイン変換〔ＤＣＴ：Discrete Cosine Transform〕等）を行い、さらに、高周波成分を大きく削減するように量子化を行い、可変長符号化を行うことで動画像の符号化を実現している。また、前記した圧縮符号化方式では、動き補償予測を行わないイントラ画像（画面内符号化画像）に対して、符号化対象となるブロックにおけるＤＣＴ等の変換係数を、当該ブロックに近接する他のブロックとの差分形式により予測符号化することで、符号化効率の向上を図っている。

また、動画像を圧縮符号化する他の方式として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１で規格化されたＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４／ＡＶＣという）がある（非特許文献２参照）。
このＨ．２６４／ＡＶＣでは、動き補償予測を行わないイントラ画像において、当該画像（画面）の画素値を画面内で直接予測（画面内予測）することで符号化の効率を向上させている。すなわち、Ｈ．２６４／ＡＶＣでは、マクロブロックと呼ばれる１６×１６画素の領域（ブロック）を対象に、当該マクロブロックの上部あるいは左部にある、すでに符号化済みのマクロブロックにおける当該マクロブロックに近接した画素値を利用して、当該マクロブロックの画素値を複数の予測モードで予測し、当該マクロブロックの画素値と最も類似する予測モードを選択することで当該マクロブロックの画素値を予測している。

さらに、Ｈ．２６４／ＡＶＣでは、マクロブロックを４×４画素の大きさの領域（ブロック）に分割し、この４×４画素のブロック毎に画面内予測を行うモードを備えている。この場合、Ｈ．２６４／ＡＶＣは、４×４画素ブロックの上部、右上部、左部、左上部にある、すでに符号化済みのブロックにおける当該ブロックに近接した画素値を利用して、当該ブロックの画素値を複数の予測モードで予測し、当該ブロックの画素値と最も類似する予測モードを選択することで当該ブロックの画素値を予測している。そして、Ｈ．２６４／ＡＶＣは、１６個の４×４画素ブロックの予測結果と、マクロブロック（１６×１６画素ブロック）の予測結果とから、当該マクロブロックに、より類似するものを選択することで当該マクロブロックの画素値を予測している。

なお、一般に、動き補償予測を行う圧縮符号化方式においては、時間的に前又は後の画像（画面）を参照して動き補償予測を行う画面間予測（インター予測）により符号化されるインター画像の間に、イントラ画像を挿入（例えば、数秒に一回程度）している。このとき、Ｈ．２６４／ＡＶＣは、動画像を低ビットレートで符号化する際に、インター画像における動きのほとんどない（ある一定量以下の）部分では、スキップモードと呼ばれる、前の画像をブロック単位でコピーするモードを多用することで、符号化効率を高めている。
これによって、Ｈ．２６４／ＡＶＣは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の圧縮符号化方式に比べて、圧縮効率が格段に向上している。
「ＩＳＯ／ＩＥＣ １３８１８−２：２０００ 情報技術−映像及び関連オーディオ情報の共通符号化：ビデオ（Information technology-Generic coding of moving pictures and associated audio information : Video）」、２０００年１２月２１日 「ＩＳＯ／ＩＥＣ １４４９６−１０：２００３ 情報技術−オーディオ−ビジュアルオブジェクトの符号化−第１０部：先進映像符号化（Information technology-Coding of audio-visual objects-Part10 : Advanced Video Coding）」、２００３年１１月２７日

前記した圧縮符号化方式は、低ビットレートで動画像を符号化する際に、量子化を粗く行うことで、生成される符号化データの情報量を削減している。しかし、イントラ画像で画面内予測を行う場合、量子化対象となるのは、原マクロブロックと、予測されたマクロブロックとの画素値の差分である残差情報（予測誤差情報）であるため、あるマクロブロックが、時間的にほぼ同じ画素値の画像で連続している場合であっても、量子化を粗くすると、予測の仕方（予測モード）によっては、時間方向から見ると全く異なる量子化結果になってしまうことがある。したがって、従来の圧縮符号化方式によって、低ビットレートで圧縮符号化された動画像は、同一位置のマクロブロックであっても、異なる量子化結果に基づいて復号化されることで時間的に異なる画像となり、復号画像にちらつき（フリッカ）が発生し、画質が劣化してしまうという問題がある。

また、前記したＨ．２６４／ＡＶＣは、動画像中のイントラ画像を符号化する際に、あるマクロブロックが時間的にほぼ同じ画素値の画像で連続している場合であっても、当該マクロブロックに近接した他のマクロブロックの画素値が時間的に異なる場合に、当該マクロブロックの予測モードが時間的に異なってしまう場合がある。これによって、同じマクロブロック位置で、ほぼ同じ画素値の画像であるにもかかわらず、大きく異なる画素値として予測されることになり、符号化された動画像を復号化した場合に、フリッカが発生し、画質が劣化してしまうという問題がある。

このような問題は、動画像の全フレームをイントラ画像として画面内予測により符号化（イントラ符号化）する場合、すべてのフレーム（画像）でフリッカが発生する可能性がある。また、Ｈ．２６４／ＡＶＣにおいては、低ビットレートで動画像の圧縮符号化を行う際に、イントラ画像間のインター画像において動きのほとんどない部分では、スキップモードによって、時間的に前の画像のコピーが用いられる。このため、Ｈ．２６４／ＡＶＣは、次に挿入されているイントラ画像を符号化する際に、前記したように予測モードの違いと量子化により、前のイントラ画像と異なった画像として符号化されることがある。これによって、Ｈ．２６４／ＡＶＣでは、イントラ画像が挿入された短い周期で、フリッカが発生してしまう。

本発明は、以上のような問題点に鑑みてなされたものであり、動画像の圧縮符号化において、イントラ画像の画面内予測に伴う、復号画像におけるフリッカの発生を抑え、画質の劣化を防止することを可能にした画面内予測符号化装置、その方法及びそのプログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の画面内予測符号化装置は、動画像を構成する画面内の画素値を特定の大きさのブロックを単位として予測することで、前記画面を符号化する画面内予測符号化装置において、予測誤差情報生成手段と、時間差分情報生成手段と、予測評価値算出手段と、予測モード決定手段とを備える構成とした。

かかる構成によれば、画面内予測符号化装置は、予測誤差情報生成手段によって、符号化対象のブロックである符号化対象ブロックの画素値を、予め定めた複数の予測モードに基づいて予測し、原画像との差分をとることで、予測誤差となる予測誤差情報を生成する。この予測誤差情報は、符号化対象ブロックに近接するブロックの画素値や予測モードによって、大きく異なることがある。そこで、ここでは、１つの予測モードを特定せずに、複数の予測モードによって複数の予測誤差情報を生成する。

また、画面内予測符号化装置は、時間差分情報生成手段によって、予測誤差情報生成手段で生成された予測誤差情報を量子化及び局所復号化し、符号化対象ブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する。すなわち、時間差分情報生成手段は、現時点における予測誤差情報を復号（局所復号化）することで、復号装置側で復号される復号画像（局所復号画像）を再生し、さらに過去（例えば、１フレーム前）に局所復号化した、画面上での同一位置となる復号画像と差分をとることで、時間方向でどれだけ誤差が発生しているかを検出することができる。この時間方向の誤差も、画面内の予測誤差と同様に、予測モードによって大きく異なることがある。そこで、ここでは、予測モード毎に、複数の時間差分情報を生成する。

そして、画面内予測符号化装置は、予測評価値算出手段によって、予測誤差情報と時間差分情報とから、予測モードにおける類似の度合いを示す予測評価値を算出する。この予測誤差情報と時間差分情報とのそれぞれの誤差が小さいほど、画面内及び時間方向（画面間）の予測がより正確であることを意味する。そこで、画面内予測符号化装置は、予測モード決定手段によって、予測評価値算出手段で算出された予測評価値に基づいて、符号化対象ブロックの予測モードを決定する。これによって、画面内予測符号化装置は、画面内及び時間方向の予測誤差が小さくなる予測モードによって、動画像の符号化を行うことができる。

また、請求項２に記載の画面内予測符号化装置は、動画像を構成する画面を特定の大きさに分割したブロックの画素値を、予め定めた複数の予測モードで予測し、その予測誤差に基づいて前記予測モードを決定することで、前記画面を符号化する画面内予測符号化装置であって、ブロック分割手段と、予測誤差情報生成手段と、時間差分情報生成手段と、予測評価値算出手段と、局所復号化手段と、予測モード決定手段と、符号化手段とを備える構成とした。

かかる構成によれば、画面内予測符号化装置は、ブロック分割手段によって、動画像を構成する画面を特定の大きさ（例えば、１６×１６画素）に分割したブロック単位に分割する。そして、画面内予測符号化装置は、予測誤差情報生成手段によって、符号化対象ブロックの画素値を、予め定めた複数の予測モードに基づいて予測し、原画像との差分をとることで、予測誤差となる予測誤差情報を生成する。なお、ここで符号化対象ブロックの画素値とは、ブロックを構成する複数の画素の画素値を意味している。

また、画面内予測符号化装置は、時間差分情報生成手段によって、予測誤差情報生成手段で生成された予測モード分の予測誤差情報を量子化及び局所復号化し、符号化対象ブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する。そして、画面内予測符号化装置は、予測評価値算出手段によって、予測誤差情報と時間差分情報とから、予測モードにおける類似の度合いを示す予測評価値を算出する。この予測評価値は、予測誤差情報と時間差分情報とのそれぞれの誤差が小さいほど、画面内及び時間方向の予測がより正確であることを示す指標となる。

そして、画面内予測符号化装置は、局所復号化手段によって、予測誤差情報を量子化及び局所復号化することで、量子化データ及び局所復号画像を生成する。
さらに、画面内予測符号化装置は、予測モード決定手段によって、予測評価値算出手段で算出された予測評価値に基づいて、予測モードを決定する。これによって、画面内及び時間方向の予測誤差が小さくなる予測モードが決定される。

そして、画面内予測符号化装置は、符号化手段によって、予測モード決定手段で決定された予測モードに基づいて生成された量子化データを符号化し、符号化データを生成する。これによって、画面内予測符号化装置は、画面内及び時間方向の予測誤差が小さくなる予測モードをブロック単位に適宜決定し予測を行うことで、動画像の符号化を行うことができる。

さらに、請求項３に記載の画面内予測符号化装置は、請求項２に記載の画面内予測符号化装置において、予測評価値算出手段が、符号量算出手段を備え、この符号量算出手段で生成された符号量と、前記予測誤差情報及び前記時間差分情報とに基づいて、前記予測評価値を算出することを特徴とする。

かかる構成によれば、画面内予測符号化装置は、符号量算出手段によって、量子化データの符号量を算出する。そして、予測評価値算出手段が、その符号量と、予測誤差情報及び時間差分情報とに基づいて、予測評価値を算出する。これによって、予測評価値算出手段は、情報量（符号量）と誤差量（予測誤差情報及び時間差分情報）とのどちらの比率を多くして符号化するかを考慮した予測評価値を算出することができる。なお、この予測評価値は、情報量と誤差量とを引数とするコスト関数を予め定義しておくことで算出することができる。これによって、最も適した予測モードであっても、符号量が多くなるため、他の予測モードが採用されることになり、ビットレートに適した予測モードが選択されることになる。

また、請求項４に記載の画面内予測符号化装置は、請求項２又は請求項３に記載の画面内予測符号化装置において、前記予測モード決定手段が、復号画像比較手段と、量子化パラメータ変更手段とを備え、前記符号化対象ブロックの局所復号画像と、前記過去の局所復号画像とが、予め定めた範囲内で類似するまで、前記量子化パラメータの値を小さくすることを特徴とする。

かかる構成によれば、画面内予測符号化装置は、復号画像比較手段によって、局所復号化手段で生成された局所復号画像と、符号化対象ブロックと同一位置の画像である過去の局所復号画像とを比較する。これによって、復号画像比較手段は、時間方向の画面間のブロックにおける誤差を検出する。ここで検出された誤差が予め定めた閾値より大きい場合は、量子化パラメータ変更手段によって、時間差分情報生成手段及び局所復号化手段における、量子化の度合いを示す量子化パラメータを変更する。これによって、局所復号化手段において、符号量は増加するが、時間方向の画面間におけるブロックの誤差が小さくなる量子化データが生成されることになる。

さらに、請求項５に記載の画面内予測符号化装置は、請求項２乃至請求項４のいずれか一項に記載の画面内予測符号化装置において、サブブロック分割手段と、第二の予測誤差情報生成手段と、第二の時間差分情報生成手段と、第二の予測評価値算出手段とを備え、前記予測モード決定手段が、前記予測評価値及び前記サブブロック予測評価値に基づいて、前記ブロック又は前記サブブロックのいずれのブロックを符号化対象とするか、及び、どの予測モードを使用するかを決定することを特徴とする。

かかる構成によれば、画面内予測符号化装置は、サブブロック分割手段によって、符号化対象ブロックを、複数のサブブロック（例えば、４×４画素）に分割する。
そして、画面内予測符号化装置は、第二の予測誤差情報生成手段によって、サブブロック分割手段で分割されたサブブロックの画素値を、予め定めた複数の予測モードであるサブブロック予測モードに基づいて予測し、原画像のサブブロックとの差分をとることで、サブブロック予測モード分の予測誤差情報を生成する。

また、画面内予測符号化装置は、第二の時間差分情報生成手段によって、第二の予測誤差情報生成手段で生成されたサブブロック予測モード分の予測誤差情報を量子化及び局所復号化し、サブブロックと同一位置の過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する。そして、画面内予測符号化装置は、第二の予測評価値算出手段によって、第二の予測誤差情報生成手段で生成された予測誤差情報と、第二の時間差分情報生成手段で生成された時間差分情報とから、サブブロック予測モードにおける類似の度合いを示すサブブロック予測評価値を算出する。この予測評価値は、予測誤差情報と時間差分情報とのそれぞれの誤差が小さいほど、画面内及び時間方向の予測がより正確であることを示す指標となる。

これによって、画面内予測符号化装置は、ブロック単位（例えば１６×１６画素単位）で複数の予測モードにより予測を行ったときの予測評価値と、サブブロック単位（例えば４×４画素単位）で複数の予測モードにより予測を行ったときの予測評価値とが算出され、どの分割モード（ブロック単位又はサブブロック単位）のどの予測モードで、予測を行ったときが、最も誤差が小さくなるかを判定することができる。
そこで、画面内予測符号化装置は、予測モード決定手段によって、予測評価値により分割モード及び予測モードを決定する。

また、請求項６に記載の画面内予測符号化装置は、請求項２乃至請求項５のいずれか一項に記載の画面内予測符号化装置において、第二の予測評価値算出手段が、第二の符号量算出手段を備え、この第二の符号量算出手段で生成された符号量と、前記サブブロック予測モード分の予測誤差情報及び時間差分情報とに基づいて、前記サブブロック予測評価値を算出することを特徴とする。

かかる構成によれば、画面内予測符号化装置は、第二の符号量算出手段によって、量子化データの符号量を算出する。そして、第二の予測評価値算出手段が、第二の符号量算出手段で生成された符号量と、サブブロック予測モード分の予測誤差情報及び時間差分情報とに基づいて、サブブロック予測評価値を算出する。これによって、第二の予測評価値算出手段は、情報量（符号量）と誤差量（予測誤差情報及び時間差分情報）とのどちらの比率を多くして符号化するかを考慮した予測評価値を算出することができる。なお、この予測評価値は、情報量と誤差量とを引数とするコスト関数を予め定義しておくことで算出することができる。これによって、最も適した予測モードであっても、符号量が多くなるため、他の予測モードが採用されることになり、ビットレートに適した予測モードが選択されることになる。

さらに、請求項７に記載の画面内予測符号化方法は、動画像を構成する画面内の画素値を特定の大きさのブロックを単位として予測することで、前記画面を符号化する画面内予測符号化方法において、予測誤差情報生成ステップと、時間差分情報生成ステップと、予測評価値算出ステップと、予測モード決定ステップとを含んでいることを特徴とする。

この手順によれば、画面内予測符号化方法は、予測誤差情報生成ステップによって、符号化対象ブロックの画素値を、予め定めた複数の予測モードに基づいて予測し、原画像との差分をとることで、予測誤差となる予測誤差情報を生成する。

続けて、画面内予測符号化方法は、時間差分情報生成ステップによって、予測誤差情報生成ステップで生成された予測誤差情報を量子化及び局所復号化し、符号化対象ブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する。

そして、画面内予測符号化方法は、予測評価値算出ステップによって、予測誤差情報と時間差分情報とから、予測モードにおける類似の度合いを示す予測評価値を算出する。この予測誤差情報と時間差分情報とのそれぞれの誤差が小さいほど、画面内及び時間方向の予測がより正確であることを意味する。そこで、画面内予測符号化方法は、予測モード決定ステップによって、予測評価値算出ステップで算出された予測評価値に基づいて、符号化対象ブロックの予測モードを決定する。これによって、画面内予測符号化方法は、画面内及び時間方向の予測誤差が小さくなる予測モードによって、動画像の符号化を行うことができる。

また、請求項８に記載の画面内予測符号化プログラムは、動画像を構成する画面を特定の大きさに分割したブロックの画素値を、予め定めた複数の予測モードで予測し、その予測誤差に基づいて前記予測モードを決定することで、前記画面を符号化するために、コンピュータを、ブロック分割手段、予測誤差情報生成手段、時間差分情報生成手段、予測評価値算出手段、局所復号化手段、予測モード決定手段、符号化手段として機能させることを特徴とする。

かかる構成によれば、画面内予測符号化プログラムは、ブロック分割手段によって、動画像を構成する画面を特定の大きさに分割したブロック単位に分割する。そして、画面内予測符号化プログラムは、予測誤差情報生成手段によって、符号化対象ブロックの画素値を、予め定めた複数の予測モードに基づいて予測し、原画像との差分をとることで、予測誤差となる予測誤差情報を生成する。

また、画面内予測符号化プログラムは、時間差分情報生成手段によって、予測誤差情報生成手段で生成された予測モード分の予測誤差情報を量子化及び局所復号化し、符号化対象ブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する。そして、画面内予測符号化プログラムは、予測評価値算出手段によって、予測誤差情報と時間差分情報とから、予測モードにおける類似の度合いを示す予測評価値を算出する。

そして、画面内予測符号化プログラムは、局所復号化手段によって、予測誤差情報を量子化及び局所復号化することで、量子化データ及び局所復号画像を生成する。
さらに、画面内予測符号化プログラムは、予測モード決定手段によって、予測評価値算出手段で算出された予測評価値に基づいて、予測モードを決定する。
そして、画面内予測符号化プログラムは、符号化手段によって、予測モード決定手段で決定された予測モードに基づいて生成された量子化データを符号化し、符号化データを生成する。

請求項１、請求項２、請求項７又は請求項８に記載の発明によれば、動画像を、画面内及び時間方向の予測誤差が小さくなる予測モードによって、ブロック単位で予測を行うことで、動画像の符号化を行うことができる。これによって、符号化された動画像を復号化した場合に、復号画像のフリッカの発生を抑えることができ、画質の劣化を抑えることができる。なお、本発明における符号化は、一般的な符号化規格（例えば、Ｈ．２６４／ＡＶＣ等）の範囲内で符号化データを生成することができるため、一般的な復号装置によって、符号化データを復号することができる。

請求項３又は請求項６に記載の発明によれば、誤差量（予測誤差情報及び時間差分情報）と情報量（符号量）とのどちらを優先して符号化を行うかを、予め定めたコスト関数によって決めることができる。これによって、動画像の特徴（動きが少ない、同色が多い等）やビットレートにより予め定めたコスト関数によって、その符号量において最も適した予測モードを決定することができ、その符号量の範囲内で、復号画像のフリッカの発生を抑えることができる。

請求項４に記載の発明によれば、時間方向の画面間におけるブロックの差が予め定めた閾値より大きい場合に、量子化パラメータの値を小さくすることで、量子化を細かくすることができる。このように量子化を細かくすることで、動きの少ないブロックで予測結果が異なる場合に、ブロックをより原画像に忠実に符号化することができるため、時間方向の画面間におけるブロックの誤差を小さくことができる。これによって、復号画像のフリッカの発生を抑えることができ、画質の劣化を抑えることができる。

請求項５に記載の発明によれば、ブロックをさらに細分化したサブブロック単位で行うため、ブロック単位で行う複数の予測モードと、サブブロック単位で行う複数の予測モードとの中で、画面内及び時間方向の予測誤差が最も小さくなる予測モードによって、予測を行い、動画像の符号化を行うことができる。これによって、符号化された動画像を復号化した場合に、復号画像のフリッカの発生を抑えることができ、画質の劣化を抑えることができる。

以下、本発明の実施の形態について図面を参照して説明する。
［画面内予測符号化装置の構成］
まず、図１を参照して、本発明に係る画面内予測符号化装置の構成について説明する。図１は、画面内予測符号化装置の構成を示すブロック図である。
図１に示すように、画面内予測符号化装置１は、時系列に画面が連続した動画像データに対して、画面内の画素値を、特定の大きさのブロック単位で予測することで、画面毎に符号化を行い、符号化データを生成するものである。すなわち、画面内予測符号化装置１は、動き補償予測を行わないイントラ画像（画面内符号化画像）の符号化を行うものである。

この画面内予測符号化装置１は、画像（画面）を、マクロブロックと呼ばれる１６×１６画素のブロックと、マクロブロックを１６分割した４×４画素のブロック（以下サブブロックと呼ぶ）とで、それぞれ独立して、複数の予測モードで画面内予測を行い、過去（例えば、１フレーム前）の画面における同一位置のブロックに最も類似した予測結果により、符号化データを生成する。ここでは、画面内予測符号化装置１は、マクロブロック分割手段２と、原画像蓄積手段３と、類似判定手段４と、マクロブロック予測評価手段５と、サブブロック分割手段６と、サブブロック予測評価手段７と、分割モード判定手段８と、量子化・局所復号化手段９と、分割・予測モード決定手段１０と、復号画像蓄積手段１１と、符号化手段１２とを備えている。

マクロブロック分割手段（ブロック分割手段）２は、入力された動画像データを特定の大きさのブロック単位に分割するものである。ここで分割されたブロックは、逐次原画像蓄積手段３に蓄積されるとともに、類似判定手段４に出力される。ここではマクロブロック分割手段２は、動画像データをＨ．２６４／ＡＶＣの符号化規格に沿った１６×１６画素のマクロブロック単位に分割することとする。なお、ここで処理するブロックの大きさは、１６×１６（画素）の大きさ以外に、１６×８、８×１６、８×８、８×４等の他の符号化規格に沿った大きさであっても構わない。

原画像蓄積手段３は、マクロブロック分割手段２で分割されたマクロブロックを、蓄積するもので、一般的なハードディスク等の記憶装置である。この原画像蓄積手段３には、過去の画像（イントラ画像）を少なくとも１画像（１画面）分記憶しておく。

類似判定手段４は、マクロブロック分割手段２で分割されたマクロブロックと、原画像蓄積手段３に記憶されている、過去のイントラ画像における当該マクロブロックと画面内の位置が同一であるマクロブロックとが類似しているかどうかを判定するものである。この類似判定手段４によって、符号化対象のマクロブロックと過去のマクロブロックとを比較することで、動画像中で動きの少ないマクロブロックを検出する。これによって、動きが少なく、かつ、過去のマクロブロックとは異なる画素値として予測されるマクロブロックを、フリッカの発生要因となるマクロブロックの候補として検出することができる。

この類似判定手段４は、当該マクロブロックがフリッカの発生要因となるマクロブロックの候補であるかどうかを示す情報を、制御情報として、後記する分割・予測モード決定手段１０に通知する。また、類似判定手段４に入力されたマクロブロックは、そのまま、マクロブロック予測評価手段５と、サブブロック分割手段６とに出力される。

なお、この類似判定手段４における判定の方法は、当該マクロブロックと過去のマクロブロックとで、それぞれマクロブロック内の全画素値の差分を計算し、その総和が予め定めた閾値以下となるマクロブロックが、動画像中で動きの少ないマクロブロックであると判定することにより行う。あるいは、当該マクロブロックと過去のマクロブロックとで、それぞれマクロブロック内の全画素値の平均値を計算し、その差が予め定めた閾値以下となるマクロブロックが、動画像中で動きの少ないマクロブロックであると判定することとしてもよい。

マクロブロック（１６×１６画素ブロック）予測評価手段５は、過去のマクロブロックで局所復号化されたマクロブロック復号画像から、複数の予測モードに基づいて符号化対象のマクロブロックの画素値を予測するとともに、その予測の類似の度合いを示す評価値を算出するものである。このマクロブロック予測評価手段５については、図２を参照して、詳細に説明する。図２は、画面内予測符号化装置のマクロブロック予測評価手段の構成を示すブロック図である。なお、装置全体の構成については、適宜図１を参照することとする。
図２に示すように、マクロブロック予測評価手段５は、予測誤差情報生成手段５１と、時間差分情報生成手段５２と、予測評価値算出手段５３とを備えている。

予測誤差情報生成手段５１は、符号化対象のマクロブロックの画素値を、符号化対象のマクロブロックに近接するマクロブロックから予測し、その予測した画素値と、符号化対象のマクロブロックの画素値との差を予測誤差情報として生成するものである。ここでは、予測誤差情報生成手段５１は、マクロブロック予測画像生成手段５１ａとマクロブロック差分計算手段５１ｂとを備えている。

マクロブロック予測画像生成手段５１ａは、符号化対象のマクロブロックに近接するマクロブロックから、符号化対象のマクロブロックの画素値を、予め定めた複数の予測モードに基づいて予測し、予測画像として生成するものである。ここで生成された予測画像は、マクロブロック差分計算手段５１ｂと時間差分情報生成手段５２とに出力される。

なお、このマクロブロック予測画像生成手段５１ａは、復号画像蓄積手段１１に蓄積されているマクロブロック復号画像の中で、符号化対象のマクロブロックに近接する画像（近接復号画像）に基づいて、符号化対象のマクロブロックの画素値を予測する。ここでは、マクロブロック予測画像生成手段５１ａにおけるマクロブロックの予測を、Ｈ．２６４／ＡＶＣで規格化されている４種類の予測モードにより行うこととする。

ここで、図３を参照して、Ｈ．２６４／ＡＶＣで規格化されているマクロブロックの予測モード（イントラ１６×１６予測モード）について、その概略を説明する。図３は、イントラ１６×１６予測モードの各予測方法を説明するための説明図であって、（ａ）は垂直方向予測、（ｂ）は水平方向予測、（ｃ）はＤＣ（直流）予測、（ｄ）はプレーン（ｐｌａｎｅ）予測の各予測方法を概念的に示したものである。

図３に示すように、イントラ１６×１６予測モードには、（ａ）〜（ｄ）の４種類の予測モードがある。なお、「Ｈ」及び「Ｖ」は、符号化対象のマクロブロックに隣接する上部及び左部のマクロブロックの中で、符号化対象のマクロブロックに隣接する画素を示している。

図３（ａ）に示すように、垂直方向予測では、上部に隣接する画素「Ｈ」の値を垂直方向にそのまま使用することで、符号化対象のマクロブロックの画素値とする。なお、画素「Ｈ」が存在しない場合は、本予測モードは使用されない。
図３（ｂ）に示すように、水平方向予測では、左部に隣接する画素「Ｖ」の値を水平方向にそのまま使用することで、符号化対象のマクロブロックの画素値とする。なお、画素「Ｖ」が存在しない場合は、本予測モードは使用されない。

図３（ｃ）に示すように、ＤＣ（直流）予測では、上部及び左部に隣接する画素「Ｈ」及び画素「Ｖ」の値を加算し、平均化することで、符号化対象のマクロブロックの画素値とする。また、画素「Ｈ」及び画素「Ｖ」のいずれかが存在しない場合は、存在する画素「Ｈ」又は画素「Ｖ」のいずれか一方の値を平均化することで、符号化対象のマクロブロックの画素値とする。なお、画素「Ｈ」及び画素「Ｖ」の両方とも存在しない場合は、「１２８」を符号化対象のマクロブロックの画素値とする。
図３（ｄ）に示すように、プレーン（ｐｌａｎｅ）予測では、上部及び左部に隣接する画素「Ｈ」及び画素「Ｖ」から、平面的に符号化対象のマクロブロックの画素値を予測するものである。なお、画素「Ｈ」及び画素「Ｖ」のいずれかが存在しない場合は、本予測モードは使用されない。

なお、一般にマクロブロックは、輝度信号を示す１６×１６画素ブロックと、色差信号を示す２つの８×８画素ブロックとで構成されている。この色差信号を示す８×８画素ブロックは、イントラ１６×１６予測モードと同様の予測が行われる。
図２（適宜図１参照）に戻って、マクロブロック予測評価手段５の説明を続ける。

マクロブロック差分算出手段５１ｂは、マクロブロック予測画像生成手段５１ａで生成された予測画像と、類似判定手段４から出力されるマクロブロックの中で、符号化対象ブロックである原画像（原画像ブロック）との差分をとることで、予測モード分の予測誤差情報を算出するものである。ここで算出された予測モード分の予測誤差情報は、時間差分情報生成手段５２と、予測評価値算出手段５３と、分割モード判定手段８とに出力される。

時間差分情報生成手段５２は、予測誤差情報生成手段５１で生成された予測モード分の予測誤差情報を復号化し、過去の同一位置の復号画像との差分をとることで、符号化対象のマクロブロックにおける時間方向の差分を時間差分情報として予測モード分生成するものである。ここでは、時間差分情報生成手段５２は、変換手段５２ａと、量子化手段５２ｂと、逆量子化手段５２ｃと、逆変換手段５２ｄと、再構成手段５２ｅと、差分計算手段５２ｆとを備えている。

変換手段５２ａは、予測誤差情報生成手段５１で生成された予測誤差情報を周波数領域の情報である変換係数に変換するものである。ここで変換された変換係数は、量子化手段５２ｂに出力される。この変換手段５２ａで行われる周波数変換には、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ４、Ｈ．２６３等で用いられている離散コサイン変換（ＤＣＴ）や、Ｈ．２６４／ＡＶＣで用いられている変換手法を用いることができる。なお、Ｈ．２６４／ＡＶＣで用いられている周波数変換は、離散コサイン変換の浮動小数点計算を整数化（又は小数化）したものである。

量子化手段５２ｂは、変換手段５２ａで生成された変換係数を量子化して、量子化変換係数を生成するものである。この量子化手段５２ｂは、視覚感度の低い高周波成分を大きく削減するように、外部から入力される量子化の度合いを示す量子化パラメータＱｐに基づいて量子化を行う。この量子化パラメータＱｐの値が大きいほど、変換係数は粗く量子化されることになる。ここで生成された量子化変換係数は、逆量子化手段５２ｃと予測評価値算出手段５３とに出力される。

なお、この量子化手段５２ｂは、後記する分割・予測モード決定手段１０から通知される量子化制御情報Ｑｃに基づいて、同一の変換係数を複数の量子化パラメータで段階的に量子化する。すなわち、量子化手段５２ｂは、量子化パラメータの値を１段階（あるいはそれ以上）小さくする旨の指示を量子化制御情報Ｑｃとして通知される毎に、同一の変換係数をその小さくした量子化パラメータで量子化し、順次逆量子化手段５２ｃと予測評価値算出手段５３とに出力する。

逆量子化手段５２ｃは、量子化手段５２ｂで生成された量子化変換係数に対して、量子化手段５２ｂで行った量子化の逆量子化を行うことで、量子化変換係数を逆量子化変換係数に変換するものである。ここで変換された逆量子化変換係数は、逆変換手段５２ｄに出力される。

逆変換手段５２ｄは、逆量子化手段５２ｃで変換された逆量子化変換係数に対して、変換手段５２ａで行った変換の逆変換を行うものである。この逆変換手段５２ｄで逆変換されて生成された情報は、予測誤差情報生成手段５１で生成された予測誤差情報が復元された情報（予測誤差復号情報）となる。ただし、量子化の度合いによっては、予測誤差情報と予測誤差復号情報とは異なっている。ここで生成された予測誤差復号情報は、再構成手段５２ｅに出力される。

再構成手段５２ｅは、逆変換手段５２ｄで生成された予測誤差復号情報と、マクロブロック予測画像生成手段５１ａで生成された予測画像とを加算することで、局所復号画像を生成するものである。この再構成手段５２ｅで生成された局所復号画像は、当該マクロブロックが、復号装置側で復号される際の画像を再現したものとなる。ここで生成された局所復号画像は、差分計算手段５２ｆに出力される。

差分計算手段５２ｆは、再構成手段５２ｅで生成された局所復号画像と、復号画像蓄積手段１１に蓄積されている、過去（例えば１フレーム前）に局所復号化された同一位置の局所復号画像（マクロブロック復号画像）との差分をとることで、マクロブロック毎の時間方向の差分を示す時間差分情報を生成するものである。ここで生成された時間差分情報は、予測モード毎に順次予測評価値算出手段５３に出力される。

なお、この差分計算手段５２ｆは、マクロブロック単位に、平均値の差分をとることで、時間差分情報を生成する。あるいは、マクロブロックにおける全画素の差分の和を時間差分情報としてもよい。なお、この時間差分情報は、その差分が小さいほど、時間方向の画像の変化が少なく、復号画像におけるフリッカが目立たないことを意味する。すなわち、この時間差分情報は、フリッカを抑えるための指標として用いることができる。

予測評価値算出手段５３は、予測誤差情報生成手段５１で生成された、予測モード（４種類）毎の予測誤差情報と、時間差分情報生成手段５２で生成された時間差分情報とに基づいて、予測の類似の度合いを示す予測評価値を算出するものである。なお、予測評価値算出手段５３は、Ｈ．２６４／ＡＶＣで使用されるレート歪み（ＲＤ：Rate Distortion）最適化モード決定方法により、動画像データをマクロブロック単位で分割した際の予測評価値を、予め定めたコスト関数によって算出することとする。また、ここでは、予測評価値算出手段５３は、マクロブロックに分割したことによる予測評価値（分割モード評価値）と、４種類の予測モード（図３参照）で予測したことによる予測評価値（予測モード評価値）とをそれぞれ算出する。
ここでは、予測評価値算出手段５３は、符号量算出手段５３ａと、分割モード評価値算出手段５３ｂと、予測モード評価値算出手段５３ｃとを備えている。

符号量算出手段５３ａは、時間差分情報生成手段５２の量子化手段５２ｂで量子化された量子化変換係数を符号化することで、予測誤差情報生成手段５１で生成される予測誤差情報を符号化データとする際の符号量を算出するものである。ここで算出された符号量は、分割モード評価値算出手段５３ｂに出力される。

分割モード評価値算出手段５３ｂは、動画像データをマクロブロック単位で分割したことによる予測評価値（分割モード評価値）を算出するものである。ここで算出された分割モード評価値は、分割モード判定手段８に出力され、動画像データをマクロブロック単位又はサブブロック単位の、いずれの分割モードで分割するのが適切かを判定するために使用される。

レート歪み最適化モード決定方法では、分割モード評価値を算出するコスト関数Ｃとして、情報量（Ｒ：Rate）と誤差量（Ｄ：Distortion）とを、線形和である以下の（１）式で算出することとしている。
Ｃ＝Ｄ＋λＲ （λは係数） …（１）

そこで、分割モード評価値算出手段５３ｂは、誤差量Ｄとして、予測誤差情報と時間差分情報との線形和を用い、情報量Ｒとして、符号量算出手段５３ａで算出された符号量を用いることで、分割モード評価値を算出する。
また、Ｈ．２６４／ＡＶＣでは、コスト関数Ｃの係数λを、以下の（２）式に示すように、量子化パラメータ（Ｑｐ）の関数として定義しているため、ここでは、分割モード評価値算出手段５３ｂは、外部から量子化パラメータＱｐを入力することとする。
λ＝０．８５×２^Qp/3 …（２）

なお、この分割モード評価値算出手段５３ｂでは、レート歪み最適化モード決定方法により、分割モード評価値を算出したが、レート歪みの最適化を行わずに、以下の（３）式に示すように、誤差量Ｄ（予測誤差情報及び時間差分情報）のみで分割モード評価値を算出することとしてもよい。この場合、予測評価値算出手段５３から符号量算出手段５３ａを省くことができる。ここで、λは前記（２）式と同じものである。
Ｃ＝Ｄ＋６×λ （λは係数） …（３）

予測モード評価値算出手段５３ｃは、マクロブロックを４種類の予測モード毎で予測した際の予測評価値（予測モード評価値）を算出するものである。なお、この予測モード評価値算出手段５３ｃは、予測誤差情報と時間差分情報との線形和を、４種類の予測モード毎に計算し、その値が最も小さくなる値を予測モード評価値とする。ここで算出された予測モード評価値は、分割モード判定手段８に出力され、後記する分割・予測モード決定手段１０において、どの予測モードで予測するのが適切かを判定するために使用される。
図１に戻って、画面内予測符号化装置１の全体構成の説明を続ける。

サブブロック分割手段６は、符号化対象となるマクロブロックを、さらに細分化したブロック（サブブロック）に分割するものである。ここでは、サブブロック分割手段６は、類似判定手段４から出力される１６×１６画素のマクロブロックを４×４画素の１６個のブロックに分割する。ここで分割された４×４画素のブロック（サブブロック）は、サブブロック予測評価手段７にサブブロック単位で出力される。

サブブロック（４×４画素ブロック）予測評価手段７は、過去のマクロブロックで局所復号化されたマクロブロック復号画像（サブブロック復号画像の集合）から、複数の予測モードで対象となるサブブロックを予測するとともに、その予測の類似の度合いを示す評価値を算出するものである。このサブブロック予測評価手段７については、図４を参照して、詳細に説明する。図４は、画面内予測符号化装置のサブブロック予測評価手段の構成を示すブロック図である。なお、装置全体の構成については、適宜図１を参照することとする。
図４に示すように、サブブロック予測評価手段７は、予測誤差情報生成手段７１と、時間差分情報生成手段７２と、予測評価値算出手段７３とを備えている。

予測誤差情報生成手段（第二の予測誤差情報生成手段）７１は、符号化対象のサブブロックの画素値を、符号化対象のサブブロックに近接するサブブロックから予測し、その予測した画素値と、符号化対象のサブブロックの画素値との差を予測誤差情報として生成するものである。ここでは、予測誤差情報生成手段７１は、サブブロック予測画像生成手段７１ａとサブブロック差分計算手段７１ｂとを備えている。

サブブロック予測画像生成手段７１ａは、符号化対象のサブブロックに近接するサブブロックから、符号化対象のサブブロックの画素値を、予め定めた複数の予測モード（サブブロック予測モード）に基づいて予測し、予測画像として生成するものである。ここで生成された予測画像は、サブブロック差分計算手段７１ｂと時間差分情報生成手段７２とに出力される。

なお、このサブブロック予測画像生成手段７１ａは、復号画像蓄積手段１１に蓄積されているマクロブロック復号画像（サブブロック復号画像の集合）の中で、符号化対象のサブブロックに近接する画像（近接復号画像）に基づいて、符号化対象のサブブロックの画素値を予測する。ここでは、サブブロック予測画像生成手段７１ａにおけるサブブロックの予測を、Ｈ．２６４／ＡＶＣで規格化されている９種類の予測モードにより行うこととする。

ここで、図５を参照して、Ｈ．２６４／ＡＶＣで規格化されている４×４画素ブロック（サブブロック）の予測モード（イントラ４×４予測モード）について、その概略を説明する。図５は、イントラ４×４予測モードの予測方法を説明するための説明図であって、（ａ）は垂直方向予測、（ｂ）は水平方向予測、（ｃ）はＤＣ（直流）予測、（ｄ）は対角左下方向予測、（ｅ）は対角右下方向予測、（ｆ）垂直右方向予測、（ｇ）は水平下方向予測、（ｈ）は垂直左方向予測、（ｉ）は水平上方向予測の各予測方法を概念的に示したものである。
図５に示すように、イントラ４×４予測モードには、（ａ）〜（ｉ）の９種類の予測モードがある。なお、「Ａ」〜「Ｍ」は、サブブロックに隣接する上部、左部、左上部及び右上部のサブブロックの画素を示している。

図５（ａ）に示すように、垂直方向予測では、上部に隣接する画素「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」の値を垂直方向にそのまま使用することで、符号化対象のサブブロックの画素値とする。なお、画素「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」が存在しない場合は、本予測モードは使用されない。
図５（ｂ）に示すように、水平方向予測では、左部に隣接する画素「Ｉ」、「Ｊ」、「Ｋ」及び「Ｌ」の値を水平方向にそのまま使用することで、符号化対象のサブブロックの画素値とする。なお、画素「Ｉ」、「Ｊ」、「Ｋ」及び「Ｌ」が存在しない場合は、本予測モードは使用されない。
図５（ｃ）に示すように、ＤＣ（直流）予測では、上部及び左部に隣接する画素「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｉ」、「Ｊ」、「Ｋ」及び「Ｌ」の値を加算し、平均化することで、符号化対象のサブブロックの画素値とする。また、上部及び左部の画素のいずれかが存在しない場合は、存在する上部又は左部の画素のいずれか一方の値を平均化することで、符号化対象のサブブロックの画素値とする。なお、上部及び左部の画素が両方とも存在しない場合は、「１２８」を符号化対象のサブブロックの画素値とする。

図５（ｄ）に示すように、対角左下方向予測では、予測する画素の対角右上方向に存在する画素「Ａ」〜「Ｈ」に基づいて該当する画素値を決定する。例えば、サブブロックにおける最右上画素（図中○印）の値は、以下の（４）式によって決定する。
｛（Ｄの画素値）＋２×（Ｅの画素値）＋（Ｆの画素値）＋２｝／４ …（４）
なお、ここで“＋２”は、“４”で除算を行う際の四捨五入を行うための値である。
図５（ｅ）に示すように、対角右下方向予測では、予測する画素の対角左上方向に存在する画素「Ａ」〜「Ｄ」、「Ｌ」〜「Ｍ」に基づいて、該当する画素値を決定する。例えば、符号化対象のサブブロックにおける最左上画素（図中○印）の値は、以下の（５）式によって決定する。
｛（Ａの画素値）＋２×（Ｍの画素値）＋（Ｉの画素値）＋２｝／４ …（５）

図５（ｆ）に示すように、垂直右方向予測では、予測する画素の垂直左上方向に存在する画素「Ａ」〜「Ｄ」、「Ｌ」〜「Ｍ」に基づいて、該当する画素値を決定する。例えば、符号化対象のサブブロックにおける最左上画素（図中○印）の値は、以下の（６）式によって決定する。
｛（Ｍの画素値）＋（Ａの画素値）＋１｝／２ …（６）
なお、ここで“＋１”は、“２”で除算を行う際の四捨五入を行うための値である。
また、例えば、符号化対象のサブブロックにおける最左上画素（図中○印）直下の画素（図中◎印）の値は、以下の（７）式によって決定する。
｛（Ｉの画素値）＋２×（Ｍの画素値）＋（Ａの画素値）＋２｝／４ …（７）

図５（ｇ）に示すように、水平下方向予測では、予測する画素の水平左上方向に存在する画素「Ａ」〜「Ｄ」、「Ｉ」〜「Ｍ」に基づいて、該当する画素値を決定する。例えば、符号化対象のサブブロックにおける最左上画素（図中○印）の値は、以下の（８）式によって決定する。
｛（Ｍの画素値）＋（Ｉの画素値）＋１｝／２ …（８）
また、例えば、符号化対象のサブブロックにおける最左上画素（図中○印）の右側画素（図中◎印）の値は、以下の（９）式によって決定する。
｛（Ｉの画素値）＋２×（Ｍの画素値）＋（Ａの画素値）＋２｝／４ …（９）

図５（ｈ）に示すように、垂直左方向予測では、予測する画素の垂直右上方向に存在する画素「Ａ」〜「Ｆ」に基づいて、該当する画素値を決定する。例えば、符号化対象のサブブロックにおける最左上画素（図中○印）の値は、以下の（１０）式によって決定する。
｛（Ａの画素値）＋（Ｂの画素値）＋１｝／２ …（１０）
また、例えば、符号化対象のサブブロックにおける最左上画素（図中○印）直下の画素（図中◎印）の値は、以下の（１１）式によって決定する。
｛（Ａの画素値）＋２×（Ｂの画素値）＋（Ｃの画素値）＋２｝／４ …（１１）

図５（ｉ）に示すように、水平上方向予測では、予測する画素の水平右下方向に存在する画素「Ｉ」〜「Ｌ」に基づいて、該当する画素値を決定する。例えば、符号化対象のサブブロックにおける最左上画素（図中○印）の値は、以下の（１２）式によって決定する。
｛（Ｉの画素値）＋（Ｊの画素値）＋１｝／２ …（１２）
また、例えば、符号化対象のサブブロックにおける最左上画素（図中○印）の右側画素（図中◎印）の値は、以下の（１３）式によって決定する。
｛（Ｉの画素値）＋２×（Ｊの画素値）＋（Ｋの画素値）＋２｝／４ …（１３）
なお、図中×印の画素の値は、画素Ｌの値とする。
この図５中、（ｄ）〜（ｉ）の予測モードでは、画素「Ａ」〜「Ｄ」、「Ｉ」〜「Ｍ」がすべて存在する場合にのみ使用される。
図４（適宜図１参照）に戻って、サブブロック予測評価手段７の説明を続ける。

サブブロック差分計算手段７１ｂは、サブブロック予測画像生成手段７１ａで生成された予測画像と、サブブロック分割手段６で分割されたサブブロック（原画像ブロック）との差分をとることで、予測誤差情報を算出するものである。ここで算出された予測誤差情報は、時間差分情報生成手段７２と、予測評価値算出手段７３と、分割モード判定手段８とに出力される。

時間差分情報生成手段（第二の時間差分情報生成手段）７２は、予測誤差情報生成手段７１で生成された予測モード分の予測誤差情報を復号化し、過去の同一位置の復号画像との差分をとることで、符号化対象のサブブロックにおける時間方向の差分を時間差分情報として予測モード分生成するものである。ここでは、時間差分情報生成手段７２は、変換手段７２ａと、量子化手段７２ｂと、逆量子化手段７２ｃと、逆変換手段７２ｄと、再構成手段７２ｅと、差分計算手段７２ｆとを備えている。

なお、この時間差分情報生成手段７２の構成は、図２で説明した時間差分情報生成手段５２の構成と同様で、扱うブロックが、１６×１６画素ブロック（マクロブロック）から、４×４画素ブロック（サブブロック）となり、ブロックの大きさが異なっているのみである。そこで、ここでは、時間差分情報生成手段７２の詳細な説明を省略することとする。

予測評価値算出手段（第二の予測評価値算出手段）７３は、予測誤差情報生成手段７１で生成された、予測モード（９種類）毎の予測誤差情報と、時間差分情報生成手段７２で生成された時間差分情報とに基づいて、予測の類似の度合いを示す予測評価値を算出するものである。なお、この予測評価値算出手段７３においても、前記したレート歪み最適化モード決定方法により、マクロブロックをサブブロック単位で分割した際の予測評価値（分割モード評価値及び予測モード評価値）を、予め定めたコスト関数によって算出することとする。
ここでは、予測評価値算出手段７３は、符号量算出手段７３ａと、分割・予測モード評価値算出手段７３ｂとを備えている。

符号量算出手段７３ａは、時間差分情報生成手段７２の量子化手段７２ｂで量子化された量子化変換係数を符号化することで、予測誤差情報生成手段７１で生成される予測誤差情報を符号化データとする際の符号量を算出するものである。ここで算出された符号量は、分割・予測モード評価値算出手段７３ｂに出力される。

分割・予測モード評価値算出手段７３ｂは、マクロブロックをさらに細分化したサブブロック単位で予測を行ったことによる予測評価値を算出するものである。ここでは、分割・予測モード評価値算出手段７３ｂは、分割モード評価値と予測モード評価値とを、レート歪み最適化モード決定方法で定められている同一のコスト関数を用いて算出することとする。なお、ここでは、コスト関数として、前記（１）式のコスト関数を用いることとする。

なお、この予測評価値算出手段７３では、レート最適化モード決定方法により、予測評価値を算出したが、レート歪みの最適化を行わずに、誤差量（予測誤差情報及び時間差分情報）のみで予測モード評価値を算出することとしてもよい。
例えば、レート歪みを考慮しない分割モード評価値を算出するコスト関数Ｃとして、以下の（１４）式を用いる。ここで、誤差量Ｄは予測誤差情報と時間差分情報との線形和とし、λは前記（２）式と同じ量子化パラメータの関数値とする。
Ｃ＝Ｄ＋６×λ （λは係数） …（１４）

また、レート歪みを考慮しない予測モード評価値を算出するコスト関数Ｃとして、以下の（１５）式を用いる。ここで、誤差量Ｄは予測誤差情報と時間差分情報との線形和とし、ＭＰＭ（Most Probable Mode）は、マクロブロック内で当該予測モードが最も多く使用されている場合は“０”、それ以外は“４×λ”とする。
Ｃ＝Ｄ＋ＭＰＭ …（１５）
なお、レート歪みの最適化を行わない場合は、予測評価値算出手段７３から符号量算出手段７３ａを省くことができる。
図１に戻って、画面内予測符号化装置１の全体構成の説明を続ける。

分割モード判定手段８は、マクロブロック予測評価手段５から出力される分割モード評価値と、サブブロック予測評価手段７から出力される分割モード評価値とに基づいて、以降の処理で、マクロブロックを使用するか、マクロブロックをさらに細分化したサブブロックを使用するかを判定するものである。
ここでは、分割モード判定手段８は、分割モード評価値が小さいブロックを、以降の処理で使用すると判定し、そのブロックがマクロブロックであるかサブブロックであるかを示す分割モードと、その分割モードにおける予測モード評価値及び予測誤差情報とを、量子化・局所復号化手段９に出力する。

量子化・局所復号化手段（局所復号化手段）９は、分割モード判定手段８で判定された分割モードで示されるブロック単位で、分割モード判定手段８から出力される予測誤差情報を量子化及び局所復号化することで、量子化データ及び局所復号画像を生成するものである。なお、量子化・局所復号化手段９は、予測誤差情報を周波数領域の情報に変換した変換係数を生成し、その変換係数を、外部から入力される量子化パラメータＱｐに基づいて量子化する。そして、量子化・局所復号化手段９は、その量子化結果である量子化変換係数（量子化データ）を逆量子化し、さらに逆変換することで、予測誤差情報を復号し、復号手段蓄積手段１１に蓄積されている過去の同一位置マクロブロック復号信号と加算することで、局所復号化された画像（局所復号画像）を生成（再構成）する。ここで生成された量子化データ及び局所復号画像は、分割・予測モード決定手段１０に出力される。

また、ここで説明した変換処理、量子化処理、逆量子化処理、逆変換処理及び再構成処理は、図２に示した変換手段５２ａ、量子化手段５２ｂ、逆量子化手段５２ｃ、逆変換手段５２ｄ及び再構成手段５２ｅと同様の構成とすることで、処理することができる。
なお、量子化・局所復号化手段９は、変換係数を量子化する際に、量子化制御情報Ｑｃが通知された場合は、順次量子化パラメータの値を小さくして、変換係数の量子化を行う。これによって、量子化・局所復号化手段９は、初期の量子化パラメータで量子化した場合よりも情報量を多くした量子化データと局所復号画像とを順次生成する。

分割・予測モード決定手段（予測モード決定手段）１０は、量子化・局所復号化手段９から出力される局所復号画像を、過去のすでに復号化されている画像（マクロブロック復号画像）と比較することで、当該局所復号画像を生成する際に用いた分割モード及び予測モードが適切であるかどうかを判定し、最終的な分割モード及び予測モードを決定するものである。ここでは、分割・予測モード決定手段１０は、復号画像比較手段１０ａと、量子化パラメータ変更手段１０ｂとを備えている。

復号画像比較手段１０ａは、量子化・局所復号化手段９から出力される局所復号画像と、復号画像蓄積手段１１に蓄積されている、過去に復号化されている当該局所復号画像と同一位置のマクロブロック復号画像とを比較するものである。
この復号画像比較手段１０ａは、局所復号画像とマクロブロック復号画像との差が予め定めた閾値以下の場合は、当該局所復号画像を生成した際に用いた分割モード及び予測モードが適切である（誤差が少ない）と判定し、当該分割モード及び予測モードを最終的なモードとして決定する。そして、復号画像比較手段１０ａは、ここで決定した分割モード及び予測モードと、このモードで生成された量子化データとを、符号化手段１２に出力する。また、復号画像比較手段１０ａは、このときの局所復号画像（マクロブロック復号画像）を、後に続くマクロブロックの参照用に、復号画像蓄積手段１１に蓄積する。
一方、復号画像比較手段１０ａは、局所復号画像とマクロブロック復号画像との差が予め定めた閾値より大きい場合は、量子化パラメータを変更する旨を量子化パラメータ変更手段１０ｂに通知する。

量子化パラメータ変更手段１０ｂは、復号画像比較手段１０ａから量子化パラメータを変更する旨の通知があったときに、量子化を行う各手段に対して、量子化パラメータを小さくして動作を実行する旨の指示を示す量子化制御情報Ｑｃを通知するものである。例えば、量子化パラメータ変更手段１０ｂは、量子化パラメータの値を１段階下げる旨の指示を、マクロブロック予測評価手段５、サブブロック予測評価手段７及び量子化・局所復号化手段９に出力し、それぞれ１段階下げた量子化パラメータを用いて動作させることで、量子化・局所復号化手段９から出力される量子化データの情報量は増大するが、原画像に類似した画像が生成されることになる。
なお、この処理によっても、復号画像比較手段１０ａにおいて、局所復号画像とマクロブロック復号画像との差が閾値以下にならない場合は、さらに、量子化パラメータを変更する旨が、量子化パラメータ変更手段１０ｂに通知され、順次量子化パラメータを小さくして動作が繰り返し実行される。

このように、分割・予測モード決定手段１０は、局所復号画像と過去のマクロブロック復号画像とが類似した分割モード及び予測モードを決定することができるので、低ビットレートで動画像データを符号化する際でも、イントラ画像間の差を小さくすることができる。
なお、分割・予測モード決定手段１０は、類似判定手段４から、処理対象となっているマクロブロックが、フリッカの発生要因となるマクロブロックの候補でない旨を制御情報として通知された場合は、入力された分割モード及び予測モードと、量子化データとをそのまま符号化手段１２に出力する。

復号画像蓄積手段１１は、分割・予測モード決定手段１０で決定された分割モード及び予測モードにより生成された局所復号画像（マクロブロック復号画像）を蓄積するもので、例えば、ハードディスク等の記憶装置である。この復号画像蓄積手段１１に蓄積されたマクロブロック復号画像は、マクロブロック予測評価手段５、サブブロック予測評価手段７、量子化・局所復号化手段９及び分割・予測モード決定手段１０によって参照される。

符号化手段１２は、分割・予測モード決定手段１０から出力される分割モード及び予測モードのそれぞれの値と量子化データとを、エントロピ符号化して多重化することで、動画像データを符号化した符号化データを生成するものである。

このように画面内予測符号化装置１を構成することで、複数の分割モード及び予測モードによって予測された各ブロックによって、過去のマクロブロック復号画像に最も類似する分割モード及び予測モードを用いた符号化データを生成することができる。これによって、符号化データを復号する際の、フリッカによる画質の劣化を低減させることが可能になる。
なお、画面内予測符号化装置１は、各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して画面内予測符号化プログラムとして動作させることも可能である。この画面内予測符号化プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

［画面内予測符号化装置の動作］
次に、図６乃至図８を参照（適宜図１参照）して、本発明に係る画面内予測符号化装置の動作について説明する。図６は、画面内予測符号化装置の動作を示すフローチャートである。図７は、画面内予測符号化装置のマクロブロック予測評価手段の動作を示すフローチャートである。図８は、画面内予測符号化装置のサブブロック予測評価手段の動作を示すフローチャートである。

（ブロック分割ステップ）
まず、画面内予測符号化装置１は、マクロブロック分割手段２によって、動画像（動画像データ）を特定の大きさのブロック（マクロブロック）単位に分割する（ステップＳ１）。ここでは、マクロブロック分割手段２は、動画像データを１６×１６画素ブロックに分割し、原画像蓄積手段３に逐次蓄積する。

そして、画面内予測符号化装置１は、類似判定手段４によって、分割されたマクロブロックと、原画像蓄積手段３に蓄積されている過去の同一位置のマクロブロックとを比較する（ステップＳ２）。ここで、分割されたマクロブロックと過去の同一位置のマクロブロックとが類似する場合は、当該マクロブロックが、フリッカの発生要因となるマクロブロックの候補であると判定することができる。なお、このステップＳ２における比較結果は、後記するステップＳ８で利用される。

（マクロブロック予測評価ステップ）
そして、画面内予測符号化装置１は、マクロブロック予測評価手段５によって、動画像データをマクロブロック単位に分割し、マクロブロック単位で画素値の予測を行った際の評価値を算出する（ステップＳ３：マクロブロック予測評価処理）。
ここで、図７を参照（適宜２参照）して、マクロブロック予測評価手段５の動作について詳細に説明する。

（予測誤差情報生成ステップ）
まず、マクロブロック予測評価手段５は、予測誤差情報生成手段５１のマクロブロック予測画像生成手段５１ａによって、符号化対象となるマクロブロックに近接し、復号画像蓄積手段１１に蓄積されている過去のマクロブロック復号画像から、当該符号化対象マクロブロックの画素値を複数の予測モード（ここでは、４種類の予測モード：図３参照）で予測することで、予測画像を生成する。そして、マクロブロック予測評価手段５は、その予測画像と、原画像との差分をとることで、予測モード分の予測誤差情報を生成する（ステップＳ３１）。

（時間差分情報生成ステップ）
さらに、マクロブロック予測評価手段５は、時間差分情報生成手段５２によって、ステップＳ３１で生成された予測誤差情報を、変換し、量子化し、復号化した後に、過去の同一位置の復号画像との差分をとることで、符号化対象のマクロブロックにおける時間方向の差分を時間差分情報として生成する（ステップＳ３２）。

（予測評価値算出ステップ）
そして、マクロブロック予測評価手段５は、符号量算出手段５３ａによって、ステップＳ３２の量子化時に生成される量子化変換係数を符号化することで、符号量を算出する（ステップＳ３３）。
さらに、マクロブロック予測評価手段５は、分割モード評価値算出手段５３ｂによって、ステップＳ３１で生成された予測誤差情報と、ステップＳ３２で生成された時間差分情報と、ステップＳ３３で算出された符号量とから、予め定めたコスト関数（前記（１）式）により、分割モード評価値を算出する（ステップＳ３４）。
また、マクロブロック予測評価手段５は、予測モード評価値算出手段５３ｃによって、ステップＳ３１で生成された予測誤差情報と、ステップＳ３２で生成された時間差分情報との線形和を、４種類の予測モード（図３参照）毎に計算し、その値が最も小さくなる値を、予測モード評価値として算出する（ステップＳ３５）。
図６（適宜図１参照）に戻って、全体動作について説明を続ける。

（サブブロック分割ステップ）
画面内予測符号化装置１は、サブブロック分割手段６によって、マクロブロック分割手段２で分割されたマクロブロックを、さらに細分化したサブブロック（ここでは、４×４画素ブロック）に分割する（ステップＳ４）。

（サブブロック予測評価ステップ）
そして、画面内予測符号化装置１は、サブブロック予測評価手段７によって、マクロブロックをサブブロック単位に分割し、サブブロック単位で画素値の予測を行った際の評価値を算出する（ステップＳ５：サブブロック予測評価処理）。
ここで、図８を参照（適宜図４参照）して、サブブロック予測評価手段７の動作について詳細に説明する。

（予測誤差情報生成ステップ）
まず、サブブロック予測評価手段７は、予測誤差情報生成手段７１のサブブロック予測画像生成手段７１ａによって、符号化対象となるサブブロックに近接し、復号画像蓄積手段１１に蓄積されている過去の復号画像から、当該符号化対象サブブロックの画素値を複数の予測モード（ここでは、９種類の予測モード：図５参照）で予測することで、予測画像を生成する。そして、サブブロック予測評価手段７は、その予測画像と、原画像との差分をとることで、予測モード分の予測誤差情報を生成する（ステップＳ５１）。

（時間差分情報生成ステップ）
さらに、サブブロック予測評価手段７は、時間差分情報生成手段７２によって、ステップＳ５１で生成された予測誤差情報を、変換し、量子化し、復号化した後に、過去の同一位置の復号画像との差分をとることで、符号化対象のサブブロックにおける時間方向の差分を時間差分情報として生成する（ステップＳ５２）。

（予測評価値算出ステップ）
そして、サブブロック予測評価手段７は、符号量算出手段７３ａによって、ステップＳ５２の量子化時に生成される量子化変換係数を符号化することで、符号量を算出する（ステップＳ５３）。
さらに、サブブロック予測評価手段７は、分割・予測モード評価値算出手段７３ｂによって、ステップＳ５１で生成された予測誤差情報と、ステップＳ５２で生成された時間差分情報と、ステップＳ５３で算出された符号量とから、予め定めたコスト関数（前記（１）式）により、分割モード評価値及び予測モード評価値を算出する（ステップＳ５４）。
図６（適宜図１参照）に戻って、全体動作について説明を続ける。

続けて、画面内予測符号化装置１は、分割モード判定手段８によって、動画像をマクロブロックで分割するか、さらに細分化したサブブロックで分割するかを判定する（ステップＳ６）。
そして、画面内予測符号化装置１は、量子化・局所復号化手段９によって、ステップＳ６で判定された分割モードによって生成された予測誤差情報を用いて、量子化データ及び局所復号化画像を生成する（ステップＳ７）。
ここで、画面内予測符号化装置１は、分割・予測モード決定手段１０によって、ステップＳ２における比較結果により、当該マクロブロックが、フリッカの発生要因となるマクロブロックの候補であるかどうかを判定し（ステップＳ８）、その候補である場合（ステップＳ８でＹｅｓ）は、ステップＳ９に進む。一方、候補でない場合（ステップＳ８でＮｏ）は、以下の量子化パラメータ変更ステップを動作せずにステップＳ１２に進む。

（量子化パラメータ変更ステップ）
そして、画面内予測符号化装置１は、分割・予測モード決定手段１０の復号画像比較手段１０ａによって、ステップＳ７で生成された局所復号画像と、復号画像蓄積手段１１に蓄積されている、過去に復号化されている当該局所復号画像と同一位置のマクロブロック復号画像とを比較する（ステップＳ９）。
ここで、局所復号画像とマクロブロック復号画像との差が予め定めた閾値よりも大きい場合（ステップＳ９：＞閾値）は、量子化パラメータ変更手段１０ｂによって、量子化パラメータを１段階下げ（ステップＳ１０）、ステップＳ３に戻る。

（予測モード決定ステップ）
一方、局所復号画像とマクロブロック復号画像との差が予め定めた閾値以下の場合（ステップＳ９：≦閾値）は、現段階における分割モード及び予測モードを、当該ブロック（マクロブロック又はサブブロック）における最適な分割モード及び予測モードとして最終決定する（ステップＳ１１）。

（符号化ステップ）
そして、画面内予測符号化装置１は、符号化手段１２によって、分割モード及び予測モードのそれぞれの値と、ステップＳ７で生成された量子化データとを、エントロピ符号化し多重化することで、動画像データを符号化した符号化データとして生成する（ステップＳ１２）。
そして、画面内予測符号化装置１は、継続するマクロブロックが存在する場合（ステップＳ１３でＹｅｓ）には、ステップＳ２に戻って動作を続ける。さらに、次に続く画面（フレーム）が存在する場合（ステップＳ１４でＹｅｓ）には、ステップＳ１に戻って動作を続ける。そして、次に続く画面（フレーム）が存在しない場合（ステップＳ１４でＮｏ）は、動作を終了する。

以上の動作によって、画面内予測符号化装置１は、時間的にほぼ同じ画素値の画像が連続している場合に、復号画像が最も類似する分割モード及び予測モードによって、動画像の圧縮符号化を行うため、時間的にほぼ同じ画素値の画像からは、ほぼ同じ画素値の復号画像が生成されることになり、復号画像におけるフリッカを低減させることができる。
また、画面内予測符号化装置１は、時間的にほぼ同じ画素値の画像が連続している場合に、量子化の度合いを変化させることで、時間的に全く異なる量子化結果となることを回避することができ、低ビットレートの復号画像におけるフリッカを低減させることができる。

以上、最良の形態として、本発明の実施の形態について説明したが、本発明はこれに限定されるものではない。
例えば、図９に示すように、図１の画面内予測符号化装置１から、原画像蓄積手段３、類似判定手段４及び分割・予測モード決定手段１０を省き、量子化パラメータを段階的に下げない、画面内予測符号化装置１Ｂの構成としてもよい。この場合、動画像を低ビットレートで符号化する際に、インター画像における動きのほとんどない（ある一定量以下の）部分で、スキップモードが多用される場合は、フリッカを発生してしまうが、スキップモードを用いない符号化方式においては、十分フリッカの低減を行うことが可能である。

また、別の構成として、図１０に示すように、１つのブロック分割単位（ここでは、マクロブロック）で、動画像データを分割し、複数の予測モードによって予測し、時間方向に最も類似する予測モードで、符号化を行う画面内予測符号化装置１Ｃの構成としてもよい。また、この画面内予測符号化装置１Ｃの構成において、マクロブロック予測評価手段５を、サブブロック予測評価手段７（図１）として構成してもよい。

本発明に係る画面内予測符号化装置の構成を示すブロック図である。 本発明に係る画面内予測符号化装置のマクロブロック予測評価手段の構成を示すブロック図である。 イントラ１６×１６予測モードの各予測方法を説明するための説明図であって、（ａ）は垂直方向予測、（ｂ）は水平方向予測、（ｃ）はＤＣ（直流）予測、（ｄ）はプレーン（ｐｌａｎｅ）予測の各予測方法を概念的に示したものである。 本発明に係る画面内予測符号化装置のサブブロック予測評価手段の構成を示すブロック図である。 イントラ４×４予測モードの予測方法を説明するための説明図であって、（ａ）は垂直方向予測、（ｂ）は水平方向予測、（ｃ）はＤＣ（直流）予測、（ｄ）は対角左下方向予測、（ｅ）は対角右下方向予測、（ｆ）垂直右方向予測、（ｇ）は水平下方向予測、（ｈ）は垂直左方向予測、（ｉ）は水平上方向予測の各予測方法を概念的に示したものである。 本発明に係る画面内予測符号化装置の動作を示すフローチャートである。 本発明に係る画面内予測符号化装置のマクロブロック予測評価手段の動作を示すフローチャートである。 本発明に係る画面内予測符号化装置のサブブロック予測評価手段の動作を示すフローチャートである。 本発明に係る画面内予測符号化装置の他の構成を示すブロック図である。 本発明に係る画面内予測符号化装置の他の構成を示すブロック図である。

符号の説明

１、１Ｂ、１Ｃ 画面内予測符号化装置
２ マクロブロック分割手段（ブロック分割手段）
３ 原画像蓄積手段
４ 類似判定手段
５ マクロブロック予測評価手段
５１ 予測誤差情報生成手段
５２ 時間差分情報生成手段
５３ 予測評価値算出手段
５３ａ 符号量算出手段
６ サブブロック分割手段
７ サブブロック予測評価手段
７１ 予測誤差情報生成手段（第二の予測誤差情報生成手段）
７２ 時間差分情報生成手段（第二の時間差分情報生成手段）
７３ 予測評価値算出手段（第二の予測評価値算出手段）
７３ａ 符号量算出手段（第二の符号量算出手段）
８ 分割モード判定手段
９ 量子化・局所復号化手段（局所復号化手段）
１０ 分割・予測モード決定手段（予測モード決定手段）
１０ａ 復号画像比較手段
１０ｂ 量子化パラメータ変更手段
１１ 復号画像蓄積手段
１２ 符号化手段

Claims (8)

1. 動画像を構成する画面内の画素値を特定の大きさのブロックを単位として予測することで、前記画面を符号化する画面内予測符号化装置において、
   符号化対象のブロックである符号化対象ブロックの画素値を、予め定めた複数の予測モードに基づいて予測し、原画像との差分をとることで、予測誤差となる予測誤差情報を生成する予測誤差情報生成手段と、
   この予測誤差情報生成手段で生成された予測誤差情報を量子化及び局所復号化し、前記符号化対象ブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する時間差分情報生成手段と、
   前記予測誤差情報と、前記時間差分情報とに基づいて、前記予測モードにおける類似の度合いを示す予測評価値を算出する予測評価値算出手段と、
   この予測評価値算出手段で算出された予測評価値に基づいて、前記符号化対象ブロックの予測モードを決定する予測モード決定手段と、
   を備えていることを特徴とする画面内予測符号化装置。
2. 動画像を構成する画面を特定の大きさに分割したブロックの画素値を、予め定めた複数の予測モードで予測し、その予測誤差に基づいて前記予測モードを決定することで、前記画面を符号化する画面内予測符号化装置であって、
   前記画面を前記ブロック単位に分割するブロック分割手段と、
   このブロック分割手段で分割された符号化対象のブロックである符号化対象ブロックの画素値を、前記複数の予測モードに基づいて予測し、原画像との差分をとることで、予測誤差となる予測誤差情報を生成する予測誤差情報生成手段と、
   この予測誤差情報生成手段で生成された予測モード分の予測誤差情報を量子化及び局所復号化し、前記符号化対象ブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する時間差分情報生成手段と、
   前記予測誤差情報と前記時間差分情報とに基づいて、前記予測モードにおける類似の度合いを示す予測評価値を算出する予測評価値算出手段と、
   前記予測誤差情報生成手段で生成された予測誤差情報を量子化及び局所復号化することで、量子化データ及び前記局所復号画像を生成する局所復号化手段と、
   前記予測評価値算出手段で算出された予測評価値に基づいて、前記予測モードを決定する予測モード決定手段と、
   この予測モード決定手段で決定された予測モードに基づいて生成された前記量子化データを符号化し、符号化データを生成する符号化手段と、
   を備えていることを特徴とする画面内予測符号化装置。
3. 前記予測評価値算出手段は、前記予測誤差情報を符号化する際の符号量を算出する符号量算出手段を備え、
   この符号量算出手段で生成された符号量と、前記予測誤差情報及び前記時間差分情報とに基づいて、前記予測評価値を算出することを特徴とする請求項２に記載の画面内予測符号化装置。
4. 前記予測モード決定手段は、
   前記局所復号化手段で生成された符号化対象ブロックの局所復号画像と、前記符号化対象ブロックと同一位置に存在した過去の局所復号画像とを比較する復号画像比較手段と、
   前記時間差分生成手段及び前記局所復号化手段における、量子化の度合いを示す量子化パラメータの値を変更する量子化パラメータ変更手段とを備え、
   前記符号化対象ブロックの局所復号画像と、前記過去の局所復号画像とが、予め定めた範囲内で類似するまで、前記量子化パラメータの値を小さくすることを特徴とする請求項２又は請求項３に記載の画面内予測符号化装置。
5. 前記符号化対象ブロックを複数のサブブロックに分割するサブブロック分割手段と、
   このサブブロック分割手段で分割されたサブブロックの画素値を、予め定めた複数の予測モードであるサブブロック予測モードに基づいて予測し、前記サブブロックとの差分をとることで、前記サブブロック予測モード分の予測誤差情報を生成する第二の予測誤差情報生成手段と、
   この第二の予測誤差情報生成手段で生成されたサブブロック予測モード分の予測誤差情報を量子化及び局所復号化し、前記サブブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する第二の時間差分情報生成手段と、
   前記第二の予測誤差情報生成手段で生成された予測誤差情報と、前記第二の時間差分情報生成手段で生成された時間差分情報とに基づいて、前記サブブロック予測モードにおける類似の度合いを示すサブブロック予測評価値を算出する第二の予測評価値算出手段とを備え、
   前記予測モード決定手段が、前記予測評価値及び前記サブブロック予測評価値に基づいて、前記ブロック又は前記サブブロックのいずれのブロックを符号化するか、及び、どの予測モードを使用するかを決定することを特徴とする請求項２乃至請求項４のいずれか一項に記載の画面内予測符号化装置。
6. 前記第二の予測評価値算出手段は、前記第二の予測誤差情報生成手段で生成される予測誤差情報を符号化する際の符号量を算出する第二の符号量算出手段を備え、
   この第二の符号量算出手段で生成された符号量と、前記サブブロック予測モード分の予測誤差情報及び時間差分情報とに基づいて、前記サブブロック予測評価値を算出することを特徴とする請求項２乃至請求項５のいずれか一項に記載の画面内予測符号化装置。
7. 動画像を構成する画面内の画素値を特定の大きさのブロックを単位として予測することで、前記画面を符号化する画面内予測符号化方法において、
   符号化対象のブロックである符号化対象ブロックの画素値を、予め定めた複数の予測モードに基づいて予測し、原画像との差分をとることで、予測誤差となる予測誤差情報を生成する予測誤差情報生成ステップと、
   この予測誤差情報生成ステップで生成された予測誤差情報を量子化及び局所復号化し、前記符号化対象ブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する時間差分情報生成ステップと、
   前記予測誤差情報と、前記時間差分情報とに基づいて、前記予測モードにおける類似の度合いを示す予測評価値を算出する予測評価値算出ステップと、
   この予測評価値算出ステップで算出された予測評価値に基づいて、前記符号化対象ブロックの予測モードを決定する予測モード決定ステップと、
   を含んでいることを特徴とする画面内予測符号化方法。
8. 動画像を構成する画面を特定の大きさに分割したブロックの画素値を、予め定めた複数の予測モードで予測し、その予測誤差に基づいて前記予測モードを決定することで、前記画面を符号化するために、コンピュータを、
   前記画面を前記ブロック単位に分割するブロック分割手段、
   このブロック分割手段で分割された符号化対象のブロックである符号化対象ブロックの画素値を、前記複数の予測モードに基づいて予測し、原画像との差分をとることで、予測誤差となる予測誤差情報を生成する予測誤差情報生成手段、
   この予測誤差情報生成手段で生成された予測モード分の予測誤差情報を量子化及び局所復号化し、前記符号化対象ブロックと同一位置に存在した過去の局所復号画像との差分をとることで、時間方向の差分となる時間差分情報を生成する時間差分情報生成手段、
   前記予測誤差情報と前記時間差分情報とに基づいて、前記予測モードにおける類似の度合いを示す予測評価値を算出する予測評価値算出手段、
   前記予測誤差情報生成手段で生成された予測誤差情報を量子化及び局所復号化することで、量子化データ及び前記局所復号画像を生成する局所復号化手段、
   前記予測評価値算出手段で算出された予測評価値に基づいて、前記予測モードを決定する予測モード決定手段、
   この予測モード決定手段で決定された予測モードに基づいて生成された前記量子化データを符号化し、符号化データを生成する符号化手段、
   として機能させることを特徴とする画面内予測符号化プログラム。

Images