JP2008177834A - 符号化装置、及びプログラム - Google Patents

Abstract

【課題】フリッカの発生を抑制しつつ、イントラフレームの符号化効率の悪化も抑えること。
【解決手段】符号化装置１において、動画像データを構成するｎ個（ｎ≧３）のフレームからなり、ｎ番目のフレームがイントラ符号化の対象である一連のフレームを順次取得するイントラ／インター画像決定部１０と、２番目からｎ−１番目の各フレームを構成する各画素の少なくとも一部について、１番目のフレームを構成する各画素の少なくとも一部の画素値と、ｎ番目のフレームを構成する各画素の少なくとも一部の画素値と、に基づき、その画素値を決定する画素値決定部２８１と、画素値決定部２８１により決定された画素値を用いて、前記２番目からｎ−１番目の各フレームを符号化するインター画像符号化部３０と、を含むことを特徴とする。
【選択図】図１

Description

本発明は、符号化装置、及びプログラムに関する。

動画像データの情報量を圧縮するための符号化技術として、ＩＳＯ(International Organization for Standardization)／ＩＥＣ(International Electrotechnical Commission) ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）で規格化されたＭＰＥＧ−２方式（例えば、非特許文献１参照。）や、ＭＰＥＧとＩＴＵ−Ｔ(International Telecommunication Union Telecommunication Standardization Sector)で規格化されたＨ．２６４／ＭＰＥＧ−４ ＡＶＣ(Advanced Video Coding)方式（例えば、非特許文献２参照。）が知られている。

いずれの方式においても、動画像データは一連の静止画像（以下、フレームという。）から構成されており、各フレームの符号化により、上記圧縮が実現されている。

この符号化では、各フレームが所定サイズの複数ブロックに分割され、ブロックごとに、予測符号化、直交変換、及び量子化の各処理が行われる。また、符号化にはイントラ符号化とインター符号化の２種類があり、インター符号化では、上記各処理に加えて動き予測処理が行われる。なお、以下では、イントラ符号化の対象であるフレームをイントラフレームと称し、インター符号化の対象であるフレームをインターフレームと称する。

あるブロックを符号化する場合、符号化装置は、いくつかの予測画像生成方法の中から選択される予測画像生成方法に基づき、動画像データの他の部分（以下、予測基礎部分と称する。符号化対象ブロックがイントラフレームに含まれるブロックである場合には、同一フレーム内の他の部分のうちの少なくとも一部が予測基礎部分となる。インターフレームに含まれるブロックである場合には、同一又は他のフレーム内の他の部分のうちの少なくとも一部が予測基礎部分となる。）を用いて予測画像を生成し、さらに、該予測画像と該ブロックにかかる画像との差分を示す差分データを取得する（予測符号化処理）。そして、取得した差分データに、直交変換及び量子化の各処理を施す。予測画像生成方法と予測基礎部分の選び方との組み合わせは予め数通り定められており、それぞれ予測モードと呼ばれる。

ここで、イントラ符号化にかかる予測モードについて、詳細に説明しておく。符号化装置は、フレームを構成する各ブロックを、フレームの左上から右方向に向かって順次符号化していき、右端に達したら１段下がってまた右方向に向かって順次符号化していく。イントラ符号化においては、符号化装置は、あるブロックの予測符号化を行う際、同一フレーム内の既に符号化済みの他のブロックに含まれる画像の中から予測基礎部分を取得する。

より具体的な例では、上記ブロックは通常、１６×１６画素又は４×４画素の領域により構成されており、１ブロックが１６×１６画素の領域により構成される場合には、該ブロックの上側及び左側に隣接する符号化済みのブロックが予測基礎部分の選択対象となる。そして、予測モードには、予測画像生成方法と予測基礎部分の選び方との組み合わせの組み合わせにより、水平方向予測、垂直方向予測、ＤＣ（直流）予測、プレーン予測と呼ばれる４通りがあり、符号化装置は、各予測モードにより差分データを一旦仮に生成した上で、各差分データのうち、符号化効率が最も良いものを、予測符号化処理の出力とする（例えば、特許文献１の図３参照。）。一方、１ブロックが４×４画素の領域により構成される場合には、該ブロックの上側及び左側に隣接する符号化済みのブロックに加え、該ブロックの右斜め上方の符号化済みのブロックも予測基礎部分の選択対象となる。そして、予測モードには、予測基礎部分の選び方及び予測画像生成方法の組み合わせにより、水平方向予測、垂直方向予測、ＤＣ（直流）予測、対角左下方向予測、対角右下方向予測、垂直右方向予測、水平下方向予測、垂直左方向予測、水平上方向予測と呼ばれる９通りがあり、符号化装置は、各予測モードにより差分データを一旦仮に生成した上で、各差分データのうち、符号化効率が最も良いものを、予測符号化処理の出力とする（例えば、特許文献１の図５参照。）。

なお、符号化効率が最も良い差分データ（予測モード）の判定方法としては、レート歪み(ＲＤ：Rate Distortion)を用いるレート歪み最適化モード決定方法と、レート歪みを用いないモード決定方法と、が知られている。

１６×１６画素のブロックに関しては、レート歪みを用いないモード決定方法が用いられる。すなわち、４種類の予測モードのうち、予測画像と原画像（符号化対象ブロックにかかる画像）との誤差(Ｄ：Distortion)が最も少なくなる予測モードが、符号化効率が最も良い予測モードであると判定される。

一方、4×4画素のブロックに関しては、上記いずれのモード決定方法も用いられる。レート歪み最適化モード決定方法を用いる場合、９種類の予測モードのうち、予測画像と原画像との誤差(Ｄ：Distortion)と、その予測モードを選択した場合に発生する情報量(Ｒ：Rate)と、の線形和であるＤ＋λＲをコストと定義して算出し、これが最も小さくなる予測モードが、符号化効率が最も良い予測モードであると判定される。ここで、λはラグランジェ係数と呼ばれ、量子化処理にかかる量子化パラメータＱｐの関数で定義されている。レート歪みを用いないモード決定方法を用いる場合には、予測画像と原画像との誤差から計算される量と、同一フレーム内でこれまでに発生した予測モードか否かに基づいて決定される量と、の和をコストとして、この値の小さい予測モードが、符号化効率が最も良い予測モードであると判定される。

なお、符号化装置は、１６×１６画素のブロックを符号化するにあたり、１６×１６画素のブロックにかかる予測モードを用いるか、それともさらに４分割して４×４画素のブロックにかかる予測モードを用いるか、という点についても判定する。この判定においても、上記レート歪み最適化モード決定方法又はレート歪みを用いないモード決定方法のいずれかが用いられる。

以上、イントラ符号化にかかる予測モードについて説明した。

ところで、上記予測符号化処理では、どの予測モードを用いるかによって、同じ符号化対象ブロックについての差分データであっても、その値が異なることとなる。そして、この差分データの値の差が復号後の出力画像において大きな差となって現れてしまう場合がある。フリッカと呼ばれる現象である。

フリッカについて詳しく説明する。予測符号化処理の結果得られる差分データは、上述のように、直交変換され、さらに量子化されて出力されるのであるが、その値が異なる２つの差分データにそれぞれ直交変換を施した場合、直交変換の結果得られる変換係数データにも、差分データの値の差を反映した差が現れる。そして、この差は、場合により、量子化処理によって増幅される。一旦増幅された差は、復号しても元には戻らないので、復号後の出力画像において大きな差が生じてしまう。

フリッカが問題となるのは、特に時間的にほとんど変化しない動画像データ又はその一部分についてである。時間的に大きく変化しているブロックについては、再生された動画像データの観察者がフリッカを感じ取れないため問題とはならないが、時間的に変化がほとんどない場合には、観察者はフリッカを敏感に感じ取ってしまい、画質劣化として大きな問題となるのである。

フリッカは、イントラフレームと、その直前のフレームと、の間で特に発生しやすくなっている。すなわち、イントラフレームにかかるブロックは同一イントラフレーム内の他の部分の情報を用いて符号化されるため、符号化対象ブロックにかかる画像が、過去のフレーム内の同一位置のブロックにかかる画像とほとんど変わらない場合であっても、他の部分に大きな変化があれば、予測モードは異なるものとなる。予測モードが異なると、上述のように差分データに差が生ずる。その結果、出力画像に大きな差が生じ得るが、符号化対象ブロックにかかる部分には時間的な変化がほとんどないので、再生された動画像データの観察者は、変化がないことを期待する。にも関わらず、出力画像に大きな差が生じてしまっているので、結果として、観察者はフリッカの発生を感じ取ってしまうのである。

イントラフレームは、早送りや巻戻しといったランダムアクセスを実現するため、定期的（通常は0.5秒〜2秒に1回程度の間隔）に挿入される必要がある。このため、定期的にフリッカが生じやすくなっており、フリッカの発生を抑制することが望まれている。

特許文献２に開示される技術は、フリッカの発生を抑制するための技術の１つである。この技術にかかる符号化装置は、イントラフレームの各ブロックの予測モードを決定する際、上述の符号化効率だけでなく、過去のフレームとの差分も考慮に入れた評価を行った上で、予測モードを決定する。具体的には、時間方向の差分を示す時間差分情報（特許文献２の第００６６段落及び第００６７段落参照。）を用いて、予測モードの評価を行っている。

また、非特許文献３，４、特許文献３乃至６にも、フリッカの発生を抑制するための技術が記載されている。

なお、非特許文献２には、重み付け予測と呼ばれる処理についての記載がある。この処理は、符号化時にフェードイン／フェードアウトなどを実現するための処理であり、具体的には、フェードイン（フェードアウト）開始時の輝度値と、フェードイン（フェードアウト）終了時の輝度値と、を内挿することにより重みを算出し、その間の輝度値については、本来の輝度値に重みを乗算した上で符号化するというものである。
特開２００５−３９３２１号公報 特開２００５−３１８４６８号公報 特開２００５−２１７９４３号公報 特開２００５−３４８００８号公報 特開２００６−９４０８１号公報 特開２００６−１９１２８７号公報 「ＩＳＯ（国際標準化機構）／ＩＥＣ（国際電気標準会議） １３８１８−２」、１９９４年 「ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門） Ｒｅｃ．（勧告） Ｈ．２６４｜ＩＳＯ（国際標準化機構）／ＩＥＣ（国際電気標準会議） １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（アドバンスドビデオコーディング）」、２００５年 蝶野他、「デテント付き量子化制御によるＩピクチャフリッカの低減方法」、ＰＣＳＪ（画像符号化シンポジウム）２００５、２００５年、Ｐ−４．０２ 清水他、「Ｈ．２６４／ＡＶＣにおけるイントラ符号化フレームのフリッカ低減方法」、ＰＣＳＪ（画像符号化シンポジウム）２００５、２００５年、Ｐ−４．０３

しかしながら、上記特許文献２に開示される技術では、符号化効率だけでなく、過去のフレームとの差分も考慮に入れた評価を行った上で予測モードを決定するため、決定された予測モードを用いて予測符号化を行った場合、過去のフレームとの差分を考慮に入れない評価を行った上で決定される予測モードを用いる場合に比べ、イントラフレームの符号化効率が悪化するという問題がある。

従って、本発明の課題の一つは、フリッカの発生を抑制しつつ、イントラフレームの符号化効率の悪化も抑えることのできる符号化装置、符号化方法、及びプログラムを提供することにある。

上記課題を解決するための本発明にかかる符号化装置は、動画像データを構成するｎ個（ｎ≧３）のフレームからなり、ｎ番目のフレームがイントラ符号化の対象である一連のフレームを順次取得するフレーム取得手段と、２番目からｎ−１番目の各フレームを構成する各画素の少なくとも一部について、１番目のフレームを構成する各画素の少なくとも一部の画素値と、ｎ番目のフレームを構成する各画素の少なくとも一部の画素値と、に基づき、その画素値を決定する画素値決定手段と、前記画素値決定手段により決定された画素値を用いて、前記２番目からｎ−１番目の各フレームを符号化する符号化手段と、を含むことを特徴とする。

これによれば、１番目のフレームを構成する画素の画素値とｎ番目のフレームを構成する画素の画素値とに基づき、２番目からｎ−１番目の各フレームを構成する画素の画素値を決定できるので、例えばその間を滑らかにつなぐことができ、イントラフレームであるｎ番目のフレームにおいてフリッカが発生することを抑制することができる。また、このフリッカの発生の抑制処理はｎ番目のフレームの予測モードを変更する処理を要しないので、イントラフレームの符号化効率の悪化も抑えられる。

また、上記符号化装置において、前記画素値決定手段は、２番目からｎ−１番目の各フレームを構成する各画素のうちの１つについて、１番目のフレームを構成する各画素のうちの１つの画素値と、ｎ番目のフレームを構成する各画素のうちの１つの画素値と、を内挿してなる内挿線に基づき、その画素値を決定する、こととしてもよい。

これによれば、内挿線により、１番目のフレームを構成する画素の画素値とｎ番目のフレームを構成する画素の画素値との間を滑らかにつなぐことができるようになる。

また、上記各符号化装置において、前記ｎ番目のフレームを複数のブロックに分割する分割手段と、１番目からｎ−１番目の各フレームそれぞれについて、前記各ブロックのうちの１つである注目ブロックに対応する部分を取得する対応部分取得手段と、を含み、前記画素値決定手段は、前記注目ブロックを構成する各画素の少なくとも一部の画素値と、前記１番目のフレームのうち前記対応部分取得手段により取得された部分を構成する各画素の少なくとも一部の画素値と、に基づき、前記２番目からｎ−１番目の各フレームのうち前記対応部分取得手段により取得された各部分を構成する各画素の少なくとも一部の画素値を決定する、こととしてもよい。

これによれば、注目ブロックと各部分との対応関係により、画素値を決定する画素を適切に決定することができるようになる。

また、この符号化装置において、前記注目ブロックの画像内容と、前記対応部分取得手段により前記１番目からｎ−１番目の各フレームのうち少なくとも一部それぞれについて取得された各部分の画像内容と、の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に応じて、前記注目ブロックについて前記画素値決定手段による画素値決定を行うか否かを決定する決定手段と、を含み、前記画素値決定手段は、前記決定手段により前記注目ブロックについての画素値決定を行うと決定された場合に、前記注目ブロックを構成する各画素の少なくとも一部と、前記１番目のフレームのうち前記対応部分取得手段により取得された部分を構成する各画素の少なくとも一部と、に基づき、前記２番目からｎ−１番目の各フレームのうち前記対応部分取得手段により取得された各部分を構成する各画素の少なくとも一部の画素値を決定する、こととしてもよい。

本発明によれば、２番目からｎ−１番目の各フレームを構成する画素の画素値は、１番目のフレームを構成する画素の画素値とｎ番目のフレームを構成する画素の画素値とに基づいて決定されてしまうので、場合によっては、元の画素値と懸け離れたものとなってしまう虞がある。上記符号化装置によれば、注目ブロックと各対応部分のうちの少なくとも一部との類似度に基づいて画素値決定手段による画素値決定の当否を決定しているので、例えば類似していない場合に画素値決定手段による画素値決定を行わないようにすることができる。その結果、２番目からｎ−１番目の各フレームを構成する画素の画素値が、元の画素値と懸け離れたものとなってしまうことを防止できる。

また、上記各符号化装置において、前記対応部分取得手段は、前記１番目からｎ−１番目の各フレームそれぞれにおいて、前記ｎ番目のフレーム内における前記注目ブロックの位置と同じ位置にある部分を、前記注目ブロックに対応する部分として取得する、こととしてもよい。

これによれば、対応部分として、各フレーム内において、注目ブロックと同じ位置にある部分を用いることができる。

また、上記各符号化装置において、前記対応部分取得手段は、前記注目ブロックに含まれる画像の内容について、前記１番目からｎ−１番目の各フレーム内におけるその位置を示す動きベクトルを取得する動きベクトル取得手段、を含み、前記動きベクトルに基づき、前記１番目からｎ−１番目の各フレームそれぞれについて、前記注目ブロックに対応する部分を取得する、こととしてもよい。

これによれば、注目ブロックに含まれる画像が、フレーム内において経時的に移動しているような場合であっても、対応部分取得手段は、適切な対応部分を取得することができるようになる。

また、本発明にかかるプログラムは、動画像データを構成するｎ個（ｎ≧３）のフレームを順次取得するフレーム取得手段、２番目からｎ−１番目の各フレームを構成する各画素の少なくとも一部について、１番目のフレームを構成する各画素の少なくとも一部の画素値と、ｎ番目のフレームを構成する各画素の少なくとも一部の画素値と、に基づき、その画素値を決定する画素値決定手段、及び前記画素値決定手段により決定された画素値を用いて、前記２番目からｎ−１番目の各フレームを予測符号化する予測符号化手段、としてコンピュータを機能させるためのプログラムである。

本発明の実施の形態について、図面を参照しながら説明する。

図１は、本実施の形態にかかる符号化装置１のシステム構成及び機能ブロックを示す概略ブロック図である。同図に示すように、符号化装置１は、イントラ／インター画像決定部１０、マクロブロック分割部１２、フレームディレイ部１４、対応部分取得部１６、処理対象判定部１８、通常符号化処理部２０、出力部２２、イントラ画像用フレームメモリ部２４、インター画像用フレームメモリ部２６、インター符号化目標画像設定部２８、インター画像符号化部３０を含んで構成される。また、対応部分取得部１６は、その内部にイントラマクロブロック類似度比較部１６０及びインターマクロブロック類似度比較部１６１を含んで構成され、インター符号化目標画像設定部２８は、その内部に画素値取得部２８０及び画素値決定部２８１を含んで構成される。

イントラ／インター画像決定部１０は、動画像データを構成する一連のフレーム（入力画像）を順次取得する。そして、各フレームをイントラフレームとインターフレームのいずれかに分類する。すなわち、各フレームについて、イントラ符号化及びインター符号化のうちいずれの対象とするかを決定する。

一例では、イントラ／インター画像決定部１０は、ある決まった周期で、取得したフレームをイントラフレームに分類する。この場合、イントラ／インター画像決定部１０にはイントラフレーム挿入周期が予め設定される。イントラ／インター画像決定部１０は、設定されたイントラフレーム挿入周期に基づき、各フレームをイントラ符号化の対象とするか、インター符号化の対象とするか、決定する。

また、他の一例では、イントラ／インター画像決定部１０は、連続する２つのフレーム（第１フレームと第２フレームとする。）間において大きくその画像内容が変化したこと（シーンチェンジなど）の検出を行う。そして、該変化を検出した場合に、イントラ／インター画像決定部１０は、第２フレームにつき、イントラ符号化の対象とすることを決定する。なお、イントラ／インター画像決定部１０は、各フレームを構成する各画素の画素値（輝度又は色差を示す値）のフレーム内平均値を算出し、該フレーム内平均値に基づいて上記検出を行うようにすることが好適である。

以下では、イントラ／インター画像決定部１０が取得する一連のフレームのうち、ｎ個（ｎ≧３）に着目して説明を進める。ここで、ｎ個のフレームのうち、１番目のフレーム及びｎ番目のフレームはいずれもイントラフレームであり、２番目からｎ−１番目の各フレームはいずれもインターフレームであるとする。

マクロブロック分割部１２は、イントラ／インター画像決定部１０においてイントラフレームとインターフレームのいずれかに分類された各フレームを、それぞれ複数のブロックに分割する。そして、分割後の各フレームを、フレームディレイ部１４に順次出力する。なお、ここでは、このブロックは１６×１６画素の大きさのブロック（マクロブロックという。）であるとする。ただし、これはあくまで便宜的なものであり、この大きさに限られるものではない。

フレームディレイ部１４は、マクロブロック分割部１２から、各フレームの入力を順次受け付ける。そして、入力された各フレームについて、イントラ／インター画像決定部１０によりイントラフレームとインターフレームのいずれに分類されたものであるかを判定する。ある時点で入力されたフレームをイントラフレームに分類されたものと判定した場合、フレームディレイ部１４は、次にイントラフレームが入力されるまでの間に入力される各フレーム（画像）を、インター画像用フレームメモリ部２６に記憶させる。また、フレームディレイ部１４は、イントラフレームに分類されたものと判定した各フレームを、対応部分取得部１６に順次出力する。

ここでは、フレームディレイ部１４は、１番目のフレーム及びｎ番目のフレームを対応部分取得部１６に出力し、２番目からｎ−１番目の各フレームをインター画像用フレームメモリ部２６に記憶させる。

対応部分取得部１６は、フレームディレイ部１４から入力されたｎ番目のフレームを構成する上記各ブロックに順次注目する。そして、１番目からｎ−１番目の各フレームそれぞれについて、注目ブロックに対応する部分を取得する。なお、この部分は、注目ブロックと同じ形状であることが望ましい。

具体的な例では、対応部分取得部１６は、１番目からｎ−１番目の各フレームそれぞれにおいて、ｎ番目のフレーム内における注目ブロックの位置と同じ位置にある部分を、注目ブロックに対応する部分として取得する。

図２は、この例において、対応部分取得部１６により取得される対応部分の具体的な例を示す図である。同図には、ｎ＝４の例を示している。フレームＦ１，Ｆ２，Ｆ３，Ｆ４はそれぞれ１番目、２番目、３番目、４番目のフレームであり、フレームＦ１及びフレームＦ４がイントラフレーム、フレームＦ２及びフレームＦ３がインターフレームである。また、フレームＦ４内には、注目ブロックＢを示している。

図２に示すように、対応部分取得部１６は、フレームＦ１，Ｆ２，Ｆ３それぞれにおいて、フレームＦ４内における注目ブロックＢの位置と同じ位置にある部分Ｐ１ａ，Ｐ２ａ，Ｐ３ａを、注目ブロックＢに対応する部分として取得する。

また、別の例では、対応部分取得部１６は、注目ブロックに含まれる画像の内容について、１番目からｎ−１番目の各フレーム内におけるその位置を示す動きベクトルを取得する。そして、取得した動きベクトルに基づき、１番目からｎ−１番目の各フレームそれぞれについて、注目ブロックに対応する部分を取得する。

図３は、この例において、対応部分取得部１６により取得される対応部分の具体的な例を示す図である。同図には、図２と同様、ｎ＝４の例を示している。フレームＦ１，Ｆ２，Ｆ３，Ｆ４はそれぞれ１番目、２番目、３番目、４番目のフレームであり、フレームＦ１及びフレームＦ４がイントラフレーム、フレームＦ２及びフレームＦ３がインターフレームである。また、フレームＦ４内には、注目ブロックＢを示している。

図３に示すように、対応部分取得部１６は、注目ブロックＢに含まれる画像の内容Ｃ４について、フレームＦ１，Ｆ２，Ｆ３内におけるその位置Ｃ１，Ｃ２，Ｃ３を示す動きベクトルを取得する。こうして取得される動きベクトルは、注目ブロックＢに含まれる画像の内容Ｃ４が時間的にフレーム内を移動した場合の、各フレームにおける位置からの動きの量を表すものである。対応部分取得部１６は、取得した動きベクトルに基づき、フレームＦ１，Ｆ２，Ｆ３それぞれについて、注目ブロックＢに対応する部分Ｐ１ｂ，Ｐ２ｂ，Ｐ３ｂを取得する。

イントラマクロブロック類似度比較部１６０は、注目ブロックの画像内容と、対応部分取得部１６により１番目のフレームについて取得された部分の画像内容と、の類似度を算出する。この場合において、イントラマクロブロック類似度比較部１６０は、後述するイントラ画像用フレームメモリ部２４において１番目のフレームについて記憶される画像に基づいて、１番目のフレームの画像内容を取得するようにすることが望ましい。

以下、類似度算出の具体的な例について説明する。１つの例では、イントラマクロブロック類似度比較部１６０は、画素ごとに、注目ブロック内の各画素の画素値と対応部分内の各画素の画素値との差分を算出する。そして、その総和と予め決められた閾値とを比較することにより、上記類似度を算出する。この場合、上記類似度は、総和が閾値以上である場合に非類似を示し、総和が閾値未満である場合に類似を示す。

また、別の例では、イントラマクロブロック類似度比較部１６０は、注目ブロック内の各画素の画素値の合計と、対応部分内の各画素の画素値の合計と、を算出し、さらにその差分を算出する。そして、算出した差分と予め決められた閾値とを比較することにより、上記類似度を算出する。この場合、上記類似度は、差分が閾値以上である場合に非類似を示し、差分が閾値未満である場合に類似を示す。

インターマクロブロック類似度比較部１６１は、注目ブロックの画像内容と、対応部分取得部１６により２番目からｎ−１番目の各フレームについて取得された部分の画像内容と、の類似度を算出する。具体的には、インターマクロブロック類似度比較部１６１は、イントラマクロブロック類似度比較部１６０による類似度算出処理と同様な処理により、２番目からｎ−１番目の各フレームそれぞれについて、類似度を算出する。なお、この場合において、イントラマクロブロック類似度比較部１６０は、インター画像用フレームメモリ部２６において記憶される画像に基づいて、２番目からｎ−１番目の各フレームの画像内容を取得するようにすることが望ましい。

処理対象判定部１８は、イントラマクロブロック類似度比較部１６０及びインターマクロブロック類似度比較部１６１により算出された類似度に応じ、ｎ番目のフレームを構成する各ブロックについて、後述する画素値決定部２８１による画素値決定を行うか否かを決定する。

すなわち、処理対象判定部１８は、あるブロックについて、１番目からｎ−１番目の各フレームのうち１つでも非類似を示す類似度が算出されているものがある場合、該ブロックについては後述する画素値決定部２８１による画素値決定を行わないと決定する。一方、処理対象判定部１８は、あるブロックについて、１番目からｎ−１番目の各フレームの全てについて類似を示す類似度が算出されている場合、該ブロックについては後述する画素値決定部２８１による画素値決定を行うと決定する。

通常符号化処理部２０は、全てのイントラフレームについて、ブロックごとに、上述した予測符号化、直交変換、及び量子化の各処理を含む符号化処理を施す。また、インターフレームのうち、処理対象判定部１８により画素値決定を行わないことが決定されたブロックに対応する部分を含むブロックについて、上述した予測符号化、直交変換、量子化、及び動き予測の各処理を含む符号化処理を施す。通常符号化処理部２０は、符号化処理が完了すると、符号化後の各ブロックを出力部２２に出力する。

また、通常符号化処理部２０は、各イントラフレームにかかる符号化後の各ブロックを一旦復号し、復号後の画像をイントラ画像用フレームメモリ部２４に記憶させる。

インター符号化目標画像設定部２８は、２番目からｎ−１番目の各フレームを構成する各画素の少なくとも一部について、１番目のフレームを構成する各画素の少なくとも一部の画素値と、ｎ番目のフレームを構成する各画素の少なくとも一部の画素値と、に基づき、その画素値を決定する。そして、決定した各画素値に基づき、インター符号化目標画像を生成する。以下、具体的に説明する。

画素値取得部２８０は、イントラ画像用フレームメモリ部２４から、１番目のフレームを構成する各画素の画素値と、ｎ番目のフレームを構成する各画素の画素値と、を取得し、画素値決定部２８１に出力する。

画素値決定部２８１は、処理対象判定部１８により画素値決定を行うと決定された複数のブロックに順次注目する。そして、注目ブロックを構成する各画素の少なくとも一部と、１番目のフレームのうち対応部分取得部１６により取得された部分を構成する各画素の少なくとも一部と、に基づき、２番目からｎ−１番目の各フレームのうち対応部分取得部１６により取得された各部分を構成する各画素の少なくとも一部の画素値を決定する。

より具体的には、画素値決定部２８１は、注目ブロックを構成する複数の画素を、１つずつ順次取得する。そして、対応部分取得部１６により取得された、１番目からｎ−１番目の各フレームそれぞれについての上記注目ブロックに対応する部分に基づいて、順次取得した注目ブロック内の各画素にそれぞれ対応する、１番目からｎ−１番目の各フレームそれぞれ内の画素を取得する。

画素値決定部２８１は、こうして取得した２番目からｎ−１番目の各フレーム内の画素について、１番目のフレームについて選択した画素の画素値と、上記取得した注目ブロック内の画素の画素値と、を内挿してなる内挿線に基づき、その画素値を決定する。具体的には、画素値決定部２８１は、フレーム間の時間間隔と、上記内挿線と、に基づいて、その画素値を決定する。

１番目からｎ−１番目の各フレームそれぞれ内の画素の取得について、再度図２及び図３を参照しながら、詳細に説明する。

図２の例では、画素値決定部２８１は、注目ブロックＢに含まれる画素Ｇ４に対応する１番目からｎ−１番目の各フレームそれぞれ内の画素として、注目ブロックＢに対応する部分Ｐ１ａ，Ｐ２ａ，Ｐ３ａそれぞれ内の画素Ｇ１ａ、Ｇ２ａ，Ｇ３ａを取得する。画素Ｇ１ａ、Ｇ２ａ，Ｇ３ａは、それぞれ部分Ｐ１ａ，Ｐ２ａ，Ｐ３ａ内において、注目ブロックＢ内における画素Ｇ４の位置と同じ位置にある画素である。

図３の例では、画素値決定部２８１は、注目ブロックＢに含まれる画素Ｇ４に対応する１番目からｎ−１番目の各フレームそれぞれ内の画素として、注目ブロックＢに対応する部分Ｐ１ｂ，Ｐ２ｂ，Ｐ３ｂそれぞれ内の画素Ｇ１ｂ、Ｇ２ｂ，Ｇ３ｂを取得する。画素Ｇ１ｂ、Ｇ２ｂ，Ｇ３ｂは、それぞれ部分Ｐ１ｂ，Ｐ２ｂ，Ｐ３ｂ内において、注目ブロックＢ内における画素Ｇ４の位置と同じ位置にある画素である。結果的に、各フレーム内における画素Ｇ１ａ、Ｇ２ａ，Ｇ３ａの位置と、各フレーム内における画素Ｇ１ｂ、Ｇ２ｂ，Ｇ３ｂの位置と、は必ずしも同じ位置とはならない。

次に、内挿について、図４乃至図６を参照しながら、詳細に説明する。

図４は、ｎ＝６の場合における、６番目のフレーム内のある画素の画素値と、該画素に対応する１番目から５番目までの各フレーム内の各画素の画素値と、の例を示す図である。同図では、１つの縦線が１つの画素を示しており、各画素Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６は、それぞれ１番目，２番目，３番目，４番目，５番目，６番目の各フレームに含まれる画素である。なお、同図中、縦線は実線又は点線で示されているが、実線で示した画素はイントラフレームに含まれる画素であり、点線で示した画素はインターフレームに含まれる画素である。同図に示した各画素Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５は、画素Ｈ６に対応する画素として、画素値決定部２８１が取得したものである。

また、図４中の各輝度レベルＫ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，Ｋ６は、それぞれ画素Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６の画素値を示している。同図に示すように、各輝度レベルＫ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，Ｋ６は、少しずつ異なっている。

図５は、図４に示した例において、画素値決定部２８１が、画素Ｈ１の輝度レベルＫ１と、画素Ｈ６の輝度レベルＫ６と、を内挿してなる内挿線に基づいて決定した画素Ｈ２，Ｈ３，Ｈ４，Ｈ５の輝度レベルＫ２α，Ｋ３α，Ｋ４α，Ｋ５αを示したものである。同図では、内挿線として直線を使用している。図５に示すように、画素値決定部２８１は、内挿線上の輝度レベルを、画素Ｈ２，Ｈ３，Ｈ４，Ｈ５の輝度レベルとしている。

図６は、図４に示した例において、画素値決定部２８１が、画素Ｈ１の輝度レベルＫ１と、画素Ｈ６の輝度レベルＫ６と、を内挿してなる別の内挿線に基づいて決定した画素Ｈ２，Ｈ３，Ｈ４，Ｈ５の輝度レベルＫ２β，Ｋ３β，Ｋ４β，Ｋ５βを示したものである。同図では、内挿線として曲線を使用している。

図６の例では、画素値決定部２８１は、インター画像用フレームメモリ部２６に記憶される画像に基づいて、２番目からｎ−１番目の各画素の輝度レベル（画素値）を取得する。そして、取得した輝度レベル（画素値）に基づき、例えば最小自乗法により最適な内挿線を決定し、決定した内挿線上の輝度レベル（画素値）を、２番目からｎ−１番目の各画素の輝度レベル（画素値）として決定する。

その結果、図６に示すように、輝度レベルＫ２β，Ｋ３β，Ｋ４β，Ｋ５βは、図５に示す輝度レベルＫ２α，Ｋ３α，Ｋ４α，Ｋ５αに比べ、元の輝度レベルＫ２，Ｋ３，Ｋ４，Ｋ５に近い値となっている。なお、元の画素値に近くし過ぎるとフリッカの発生を抑制する効果が減じられるので、適宜最適な内挿線を選択するようにすることが必要である。

インター符号化目標画像設定部２８は、以上のようにして決定した各画素値に基づいてインター符号化目標画像を生成し、生成したインター符号化目標画像をインター画像符号化部３０に出力する。

インター画像符号化部３０は、入力されたインター符号化目標画像（画素値決定部２８１により決定された画素値の画素により構成される画像）を用いて、２番目からｎ−１番目の各フレームを符号化する。具体的には、インターフレームのうち、処理対象判定部１８により画素値決定を行わないことが決定されたブロックに対応する部分を含まないブロックについて、上述した予測符号化、直交変換、量子化、及び動き予測の各処理を含む符号化処理を施す。インター画像符号化部３０は、符号化処理が完了すると、符号化後の各ブロックを出力部２２に出力する。

出力部２２は、通常符号化処理部２０及びインター画像符号化部３０からそれぞれ入力されたブロックに基づいて一連の符号化ブロックを取得し、順次出力する。こうして出力された各符号化ブロックは記憶媒体（不図示）に記憶され、再生する場合などに復号される。

以上説明したように、符号化装置１によれば、１番目のフレームを構成する画素の画素値とｎ番目のフレームを構成する画素の画素値とに基づき、２番目からｎ−１番目の各フレームを構成する画素の画素値を決定できるので、例えばその間を滑らかにつなぐことができ、イントラフレームであるｎ番目のフレームにおいてフリッカが発生することを抑制することができる。また、このフリッカの発生の抑制処理はｎ番目のフレームの予測モードを変更する処理を要しないので、イントラフレームの符号化効率の悪化も抑えられる。

また、符号化装置１によれば、直線又は任意の曲線である内挿線により、１番目のフレームを構成する画素の画素値とｎ番目のフレームを構成する画素の画素値との間を滑らかにつなぐことができるようになる。

さらに、符号化装置１によれば、注目ブロックと各部分との対応関係により、画素値を決定する画素を適切に決定することができるようになる。

また、符号化装置１によれば、２番目からｎ−１番目の各フレームを構成する画素の画素値は、１番目のフレームを構成する画素の画素値とｎ番目のフレームを構成する画素の画素値とに基づいて決定されてしまうので、場合によっては、元の画素値と懸け離れたものとなってしまう虞があるところ、処理対象判定部１８は、注目ブロックと各対応部分との類似度に基づいて画素値決定部２８１による画素値決定の当否を決定しているので、例えば類似していない場合に画素値決定部２８１による画素値決定を行わないようにすることができる。その結果、２番目からｎ−１番目の各フレームを構成する画素の画素値が、元の画素値と懸け離れたものとなってしまうことを防止できる。

また、符号化装置１によれば、上記対応部分として、各フレーム内において、注目ブロックと同じ位置にある部分を用いることができる。或いは、動きベクトルに基づいて対応部分を取得することもでき、その場合には、注目ブロックに含まれる画像が、フレーム内において経時的に移動しているような場合であっても、対応部分取得部１６は、適切な対応部分を取得することができるようになる。

さらに、符号化装置１によれば、色差方式において用いられる輝度と色差（赤の色差と青の色差）のいずれについても、フリッカの発生を抑制することが可能となる。

なお、本発明は上記実施の形態に限定されるものではない。例えば、符号化装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記符号化装置１の各処理を行ってもよい。
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、この「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
さらに、上記プログラムは、上述した各機能の一部を実現するためのものであってもよい。さらに、上述した各機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の実施の形態にかかる符号化装置のシステム構成及び機能ブロックを示す概略ブロック図である。 本発明の実施の形態にかかる対応部分取得部により取得される対応部分の具体的な例を示す図である。 本発明の実施の形態にかかる対応部分取得部により取得される対応部分の具体的な例を示す図である。 本発明の実施の形態において、ｎ＝６の場合における、６番目のフレームのある画素の画素値と、該画素に対応する１番目から５番目までの各フレーム内の各画素の画素値と、の例を示す図である。 本発明の実施の形態にかかる画素値決定部による内挿の例を示す図である。同図では、内挿線として直線を用いている。 本発明の実施の形態にかかる画素値決定部による内挿の例を示す図である。同図では、内挿線として曲線を用いている。

符号の説明

１ 符号化装置、
１０ イントラ／インター画像決定部、
１２ マクロブロック分割部、
１４ フレームディレイ部、
１６ 対応部分取得部、
１８ 処理対象判定部、
２０ 通常符号化処理部、
２２ 出力部、
２４ イントラ画像用フレームメモリ部、
２６ インター画像用フレームメモリ部、
２８ インター符号化目標画像設定部、
３０ インター画像符号化部、
１６０ イントラマクロブロック類似度比較部、
１６１ インターマクロブロック類似度比較部、
２８０ 画素値取得部、
２８１ 画素値決定部。

Claims (7)

1. 動画像データを構成するｎ個（ｎ≧３）のフレームからなり、ｎ番目のフレームがイントラ符号化の対象である一連のフレームを順次取得するフレーム取得手段と、
   ２番目からｎ−１番目の各フレームを構成する各画素の少なくとも一部について、１番目のフレームを構成する各画素の少なくとも一部の画素値と、ｎ番目のフレームを構成する各画素の少なくとも一部の画素値と、に基づき、その画素値を決定する画素値決定手段と、
   前記画素値決定手段により決定された画素値を用いて、前記２番目からｎ−１番目の各フレームを符号化する符号化手段と、
   を含むことを特徴とする符号化装置。
2. 請求項１に記載の符号化装置において、
   前記画素値決定手段は、２番目からｎ−１番目の各フレームを構成する各画素のうちの１つについて、１番目のフレームを構成する各画素のうちの１つの画素値と、ｎ番目のフレームを構成する各画素のうちの１つの画素値と、を内挿してなる内挿線に基づき、その画素値を決定する、
   ことを特徴とする符号化装置。
3. 請求項１又は２に記載の符号化装置において、
   前記ｎ番目のフレームを複数のブロックに分割する分割手段と、
   １番目からｎ−１番目の各フレームそれぞれについて、前記各ブロックのうちの１つである注目ブロックに対応する部分を取得する対応部分取得手段と、
   を含み、
   前記画素値決定手段は、前記注目ブロックを構成する各画素の少なくとも一部の画素値と、前記１番目のフレームのうち前記対応部分取得手段により取得された部分を構成する各画素の少なくとも一部の画素値と、に基づき、前記２番目からｎ−１番目の各フレームのうち前記対応部分取得手段により取得された各部分を構成する各画素の少なくとも一部の画素値を決定する、
   ことを特徴とする符号化装置。
4. 請求項３に記載の符号化装置において、
   前記注目ブロックの画像内容と、前記対応部分取得手段により前記１番目からｎ−１番目の各フレームのうち少なくとも一部それぞれについて取得された各部分の画像内容と、の類似度を算出する類似度算出手段と、
   前記類似度算出手段により算出された類似度に応じて、前記注目ブロックについて前記画素値決定手段による画素値決定を行うか否かを決定する決定手段と、
   を含み、
   前記画素値決定手段は、前記決定手段により前記注目ブロックについての画素値決定を行うと決定された場合に、前記注目ブロックを構成する各画素の少なくとも一部と、前記１番目のフレームのうち前記対応部分取得手段により取得された部分を構成する各画素の少なくとも一部と、に基づき、前記２番目からｎ−１番目の各フレームのうち前記対応部分取得手段により取得された各部分を構成する各画素の少なくとも一部の画素値を決定する、
   ことを特徴とする符号化装置。
5. 請求項３又は４に記載の符号化装置において、
   前記対応部分取得手段は、前記１番目からｎ−１番目の各フレームそれぞれにおいて、前記ｎ番目のフレーム内における前記注目ブロックの位置と同じ位置にある部分を、前記注目ブロックに対応する部分として取得する、
   ことを特徴とする符号化装置。
6. 請求項３又は４に記載の符号化装置において、
   前記対応部分取得手段は、
   前記注目ブロックに含まれる画像の内容について、前記１番目からｎ−１番目の各フレーム内におけるその位置を示す動きベクトルを取得する動きベクトル取得手段、
   を含み、前記動きベクトルに基づき、前記１番目からｎ−１番目の各フレームそれぞれについて、前記注目ブロックに対応する部分を取得する、
   ことを特徴とする符号化装置。
7. 動画像データを構成するｎ個（ｎ≧３）のフレームを順次取得するフレーム取得手段、
   ２番目からｎ−１番目の各フレームを構成する各画素の少なくとも一部について、１番目のフレームを構成する各画素の少なくとも一部の画素値と、ｎ番目のフレームを構成する各画素の少なくとも一部の画素値と、に基づき、その画素値を決定する画素値決定手段、及び
   前記画素値決定手段により決定された画素値を用いて、前記２番目からｎ−１番目の各フレームを符号化する符号化手段、
   としてコンピュータを機能させるためのプログラム。

Images