JP2012095252A - 動画像復号装置、動画像復号方法及び動画像復号プログラム - Google Patents

Abstract

【課題】従来のイントラ予測では、ブロック内の信号の相関性を無視するために、予測方向に信号の変化を伴うブロックに対しては適切な予測信号を作成できず、予測効率の低下を引き起こす。
【解決手段】間引き手段復号部２１５は、符号化ストリームより、復号処理単位で、予測符号化を行う画素列を選択する間引き処理の間引き方向を示す情報を取得して復号する。
第一の逆量子化・逆変換部２０４と第二の逆量子化・逆変換部２０９は、間引き手段決定部２０３により決定された間引き方向により決まる処理単位で逆量子化・逆直交変換を行う。間引き処理部２１３は、復号処理単位で、間引き方向に応じて復号対象ブロックの予測画像から予測符号化を行う画素列を選択する間引き処理を行って復号画像を生成する。
【選択図】図６

Description

本発明は、動画像の復号技術に関する。

画像符号化において、画面内相関を利用する技術として、隣接した既符号化画素を参照することにより処理対象ブロックの予測画像を得るイントラ予測が使われる。このとき、画面の左上から右下方向への逐次処理をする場合は、処理対象ブロックの下側および右側の画素は未復号であり、処理対象ブロックの予測値は上側もしくは／および左側からの外挿に制限される。そのためイントラ予測では十分な予測効率を得られないという課題がある。

特許文献１には、処理対象ブロックの全方向から予測を行う手法が開示されている。特許文献１に記載の技術によれば、符号化対象ブロックの下側もしくは／および右側の特定ブロックを先行してブロック内独立で処理することにより、垂直方向もしくは／および水平方向の内挿予測を可能とするものである。

特許文献２には、処理対象ブロックのうち水平および垂直両方向に間引いた第一画素群を予め符号化・復号し、既復号第一画素群からの適応的補間により、第一画素群に含まれない第二の画素群の予測画像を算出する手法が開示されている。特許文献２に記載の技術によれば、第二画素群の各画素について、予め規定された複数の補間方向のうち、例えばＬ１ノルムの合計値が小さくなる方向を補間方向と決定することにより、滑らかに変化する信号を予測することが出来る。

特開平１１−７５２０１号公報 特開２００９−１１８３０３号公報

既存のイントラ予測は、ブロックの上側もしくは／および左側に隣接した既復号画素値からの外挿を行う。ブロック内の信号の相関性を無視するために、予測方向に信号の変化を伴うブロックに対しては適切な予測信号を作成できず、予測効率の低下を引き起こす。

特許文献１に記載の手法は、独立ブロックに囲まれたブロック間予測ブロックに対して内挿予測を行う。ブロック間予測ブロックは全ての隣接画素が既復号であることから、内挿（双方向補間）予測が可能となり、外挿に比べ高い予測品質を実現出来る。しかしながら、既復号の隣接画素が存在しない独立ブロックに対しては参照画素と符号化対象画素との距離が遠くなることから予測品質の低下が生じるため、ただちに画面全体の符号化効率が向上するとは言えない。

特許文献２には、外挿と内挿を組み合わせることにより、隣接画素を参照するブロック間相関とブロック内相関を併用する手法が開示されている。特許文献２に記載の手法の処理手順を簡単に記述する。水平・垂直両方向に一様に間引いた特定位置の画素群を第一画素群、残りを第二画素群とする。まず、第一画素群に対し外挿予測を行い、符号化・復号する。第二画素群に対しては、第一画素群の復号画素値からの内挿により予測値を算出する。第二画素群の残差を第一画素群とは独立に符号化・復号する。

特許文献２に記載の手法は、水平・垂直両方向の一様間引きに対して、適切な内挿補間方法を選択的に行うものであり、上述した手法と比べ高い予測品質が期待できる。しかしながら特許文献２に記載の手法は以下の課題を有する。

特許文献２に記載の手法は、適切な内挿補間方向を選択できるが、間引き手段は水平・垂直両方向の一様間引きである。補間では高周波数成分を予測できないため、ブロックが水平もしくは垂直方向に高周波数成分を持つ場合は、補間による第二画素群の予測が適切になされず、残差成分の情報量がかえって増加してしまう可能性がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、適切な間引き手段を選択して、内挿と外挿を組み合わせることにより、符号化効率を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像復号装置は、符号化処理単位で、所定の予測処理により符号化を行う際の画素列を選択する間引き処理の間引き方向を示す情報を少なくとも備えた間引き処理情報と、前記間引き方向により決まる第１の処理単位の第１の予測残差と、その第１の予測残差に基づき生成した前記間引き方向により決まる第２の処理単位の第２の予測残差との符号化データを含む符号化ストリームから、復号処理単位で、前記第１の予測残差と前記第２の予測残差と前記間引き方向を示す情報とを取得する情報取得部（２１４）と、前記復号処理単位で、前記間引き方向を示す情報に応じて前記第１の予測残差から所定の予測復号処理により前記第１の処理単位の第１の復号画像を生成し、前記間引き方向を示す情報に応じて前記第１の復号画像と前記第２の予測残差とから前記第２の処理単位の第２の復号画像を生成し、前記第１の復号画像と前記第２の復号画像とを合成した第３の復号画像を生成する復号部（２１３）とを備える。

本発明の別の態様は、動画像復号方法である。この方法は、符号化処理単位で、所定の予測処理により符号化を行う際の画素列を選択する間引き処理の間引き方向を示す情報を少なくとも備えた間引き処理情報と、前記間引き方向により決まる第１の処理単位の第１の予測残差と、その第１の予測残差に基づき生成した前記間引き方向により決まる第２の処理単位の第２の予測残差との符号化データを含む符号化ストリームから、復号処理単位で、前記第１の予測残差と前記第２の予測残差と前記間引き方向を示す情報とを取得するステップと、前記復号処理単位で、前記間引き方向を示す情報に応じて前記第１の予測残差から所定の予測復号処理により前記第１の処理単位の第１の復号画像を生成し、前記間引き方向を示す情報に応じて前記第１の復号画像と前記第２の予測残差とから前記第２の処理単位の第２の復号画像を生成し、前記第１の復号画像と前記第２の復号画像とを合成した第３の復号画像を生成するステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、符号化処理単位で適切な間引き手段を選択することにより、符号化効率を向上させることができる。

実施の形態に係る動画像符号化装置の構成を示すブロック図である。 図２（ａ）〜図２（ｄ）は、符号化対象ブロックの間引きの例を説明する図である。 図３（ａ）、図３（ｂ）は、符号化対象ブロックと第一、第二の直交変換・量子化係数ブロックの対応関係を説明する図である。 実施の形態に係る動画像符号化装置による動画像符号化手順を説明するフローチャートである。 図４の間引き手段決定手順を説明するフローチャートである。 実施の形態に係る動画像復号装置の構成を示すブロック図である。 実施の形態に係る動画像復号装置による動画像復号手順を説明するフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、実施の形態に係る動画像符号化装置の構成を示すブロック図である。動画像符号化装置は、入力画像バッファ１０１、予測部１０２、間引き手段決定部１０３、復号画像バッファ１１７、テクスチャ符号化部１１８、間引き処理部１１９、間引き手段符号化部１２０、およびストリーム統合部１２１を備える。

間引き処理部１１９は、符号化画素配置変換部１０４、第一の直交変換・量子化部１０５、第一の逆量子化・逆変換部１０６、復号画素配置変換部１０７、間引き部１０８、加算器１０９、補間部１１０、減算器１１１、符号化画素配置変換部１１２、第二の直交変換・量子化部１１３、第二の逆量子化・逆変換部１１４、復号画素配置変換部１１５、および加算器１１６を備える。

動画像符号化装置の各構成の説明をする前に、本実施の形態の間引き処理の理解に必要な概念を説明する。

間引き処理部１１９は、符号化対象ブロックの単位で、予測符号化を行う画素列を選択する間引き処理を行い、間引き処理により選択された画素列については既復号画像を用いて予測符号化を行い、間引き処理により選択されなかった画素列については、間引き処理により選択された画素列の既復号画素値を用いて補間する。

間引き処理により選択された画素列は、第一の符号化・復号で使用され、間引き処理により選択されなかった画素列については、第二の符号化・復号で使用される。第一の符号化は、符号化画素配置変換部１０４と第一の直交変換・量子化部１０５により行われ、第一の復号は、第一の逆量子化・逆変換部１０６と復号画素配置変換部１０７により行われる。第二の符号化は、符号化画素配置変換部１１２と第二の直交変換・量子化部１１３により行われ、第二の復号は、第二の逆量子化・逆変換部１１４と復号画素配置変換部１１５により行われる。

本実施例では符号化対象ブロックの大きさを８×８画素単位を固定として説明するが、必ずしもこの大きさに限定する必要はない。例えば１６×１６画素単位や３２×３２画素単位の符号化単位のように大きな単位をとってもよいし、またこの大きさがブロック単位で適応的に切り替わる構成であってもよい。

図２（ａ）〜図２（ｄ）は、符号化対象ブロックの間引きの例を説明する図である。図２（ａ）、図２（ｂ）は、それぞれ２画素間隔で水平方向に間引きされた符号化対象ブロック３０１ｈ、２画素間隔で垂直方向に間引きされた符号化対象ブロック３０１ｖを示す。網掛けされた画素列（符号３０３ｈ、３０３ｖ）は、間引き処理により選択された画素列であり、第一の符号化・復号で使用される。網掛けされていない画素列（符号３０２ｈ、３０２ｖ）は、間引き処理により選択されなかった画素列であり、第二の符号化・復号で使用される。水平方向に間引きされた符号化対象ブロック３０１ｈでは、第一の復号に対応する画素は水平方向位置が奇数の画素であり、第二の復号に対応する画素は水平方向位置が偶数の画素である。垂直方向に間引きされた符号化対象ブロック３０１ｖでは、第一の復号に対応する画素は垂直方向位置が奇数の画素であり、第二の復号に対応する画素は垂直方向位置が偶数の画素である。

図２（ｃ）、図２（ｄ）は、それぞれ４画素間隔で水平方向に間引きされた符号化対象ブロック３０７ｈ、２画素間隔で垂直方向に間引きされた符号化対象ブロック３０７ｖを示す。網掛けされた画素列（符号３０９ｈ、３０９ｖ）は、間引き処理により選択された画素列であり、第一の符号化・復号で使用される。網掛けされていない画素列（符号３０８ｈ、３０８ｖ）は、間引き処理により選択されなかった画素列であり、第二の符号化・復号で使用される。水平方向に間引きされた符号化対象ブロック３０７ｈでは、第一の復号に対応する画素は水平方向位置が３もしくは７の画素であり、第二の復号に対応する画素は水平方向位置がそれ以外の画素である。垂直方向に間引きされた符号化対象ブロック３０７ｖでは、第一の復号に対応する画素は垂直方向位置が３もしくは７の画素であり、第二の復号に対応する画素は垂直方向位置がそれ以外の画素である。

以下では、一実施例として、間引き手段として、２画素間隔水平方向間引きと２画素間隔垂直方向間引きのどちらか一方が選択される場合を説明するが、間引き手段はこの二つに限定されるものではない。

図３（ａ）、図３（ｂ）は、符号化対象ブロックと第一、第二の直交変換・量子化係数ブロックの対応関係を説明する図である。

図３（ａ）は、水平方向に間引きされた対象ブロック４０４ｈと、第一の直交変換・量子化係数ブロック（第一の残差）４０２ｈと、第二の直交変換・量子化係数ブロック（第二の残差）４０３ｈの対応関係を示す。２画素間隔水平方向間引きでは、第一、第二の直交変換・量子化係数（残差）４０２ｈ、４０３ｈの大きさはそれぞれ４×８画素となり、４×８画素サイズで、直交変換・量子化、逆量子化・逆直交変換を適用する。このように直交変換・量子化のブロックサイズは、間引き方向と間引き画素間隔に応じたものとする。

ブロックサイズの変換を行うために、後述の符号化画素配置変換部１０４は、対象ブロック４０４ｈから間引き処理により選択された画素列を抽出して、第一の直交変換・量子化係数ブロック（第一の残差）４０２ｈを生成する。また、符号化画素配置変換部１１２は、対象ブロック４０４ｈから間引き処理により選択されなかった画素列を抽出して、第二の直交変換・量子化係数ブロック（第二の残差）４０３ｈを生成する。

また、直交変換・量子化、逆量子化・逆直交変換を適用した後、ブロックサイズを元に戻すために、後述の復号画素配置変換部１０７は、第一の復号残差４０２ｈの画素列を対象ブロック４０４ｈにおける間引き処理により選択された画素列の位置に再配置する。また、復号画素配置変換部１１５は、第二の復号残差４０３ｈの画素列を対象ブロック４０４ｈにおける間引き処理により選択されなかった画素列の位置に再配置する。第一の復号残差４０２ｈの画素列は、対象ブロック４０４ｈにおける水平方向位置が奇数の画素列に対応し、第二の復号残差４０３ｈの画素列は、対象ブロック４０４ｈにおける水平方向位置が偶数の画素列に対応する。ここで、最初の画素列を０番と定義し、対象ブロック４０４ｈには０番から７番までの８個の画素列があるとする。

図３（ｂ）は、垂直方向に間引きされた対象ブロック４０４ｖと、第一の直交変換・量子化係数ブロック（第一の残差）４０２ｖと、第二の直交変換・量子化係数ブロック（第二の残差）４０３ｖの画素位置の対応関係を示す。２画素間隔垂直方向間引きでは、第一、第二の直交変換・量子化係数（残差）４０２ｖ、４０３ｖの大きさはそれぞれ８×４画素となり、８×４画素サイズで、直交変換・量子化、逆量子化・逆直交変換を適用する。符号化画素配置変換部１０４、１１２、および復号画素配置変換部１０７、１１５による画素の配置変換処理については水平方向間引きの場合と同様である。

以上を踏まえて、本実施の形態の動画像符号化装置の各構成を説明する。

予測部１０２は、入力画像バッファ１０１から符号化対象ブロックの原画像を取得し、復号画像バッファ１１７から隣接既復号画素を取得する。予測部１０２は、隣接既復号画素から所定のイントラ予測処理を行い、対象ブロックの第一の予測画像を算出する。さらに予測部１０２は、原画像と第一の予測画像の差分値を取って第一の残差を算出する。

イントラ予測処理は公知の技術であるため詳説しない。また、イントラ予測処理において、平均値モードに固定してもよいし所定の固定値を予測値とする構成であってもよい。そのような構成を取った場合には、第一の残差が大きくなる一方、イントラ予測モードに係る付加情報を削減することができる。

間引き手段決定部１０３は、入力画像バッファ１０１から符号化対象ブロックの原画像を取得し、予測部１０２から第一の予測画像を取得する。間引き手段決定部１０３は、原画像の対象ブロック内部の水平画素間／垂直画素間の相関と、原画像と第一の予測画像からの外挿予測による相関を評価し、最適な間引き手段を決定し、間引き手段決定フラグを間引き処理部１１９に与える。間引き手段決定手順は後述する。間引き手段決定フラグは、間引き方向および間引き画素間隔を特定する情報を含む。間引き方向は水平方向・垂直方向のいずれか一方であり、間引き画素間隔はたとえば、２画素単位や４画素単位などである。

符号化画素配置変換部１０４は、予測部１０２から第一の残差を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。符号化画素配置変換部１０４は、間引き手段決定フラグで特定される間引き方向および間引き画素間隔に応じた第一の残差の配置変換を行う。具体的には、符号化画素配置変換部１０４は、間引き方向に間引き画素間隔で画素列の画素を取り出し、間引き方向にサイズが縮小したブロックを生成する。たとえば、間引き方向は水平方向、間引き画素間隔は２画素単位の場合、第一の残差は横４画素、縦８画素のサイズのブロックになり、間引き方向は垂直方向、間引き画素間隔は２画素単位の場合、第一の残差は横８画素、縦４画素のサイズのブロックになる。

第一の直交変換・量子化部１０５は、符号化画素配置変換部１０４から配置変換された第一の残差を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。第一の直交変換・量子化部１０５は、配置変換された第一の残差に対し、間引き手段決定フラグで特定される間引き方向および間引き画素間隔に応じたブロックサイズで直交変換・量子化処理を行い、第一の量子化係数を算出する。間引き手段決定フラグが、間引き方向は水平方向、間引き画素間隔は２画素単位であることを示す場合、４×８サイズの直交変換・量子化処理を行い、間引き手段決定フラグが、間引き方向は垂直方向、間引き画素間隔は２画素単位であることを示す場合、８×４サイズの直交変換・量子化処理を行う。

第一の逆量子化・逆変換部１０６は、第一の直交変換・量子化部１０５から第一の量子化係数を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。第一の直交変換・量子化部１０５は、第一の量子化係数に対し、間引き手段決定フラグで特定される間引き方向および間引き画素間隔に応じたブロックサイズで逆量子化・逆変換処理を行い、第一の残差を復号する。間引き方向は水平方向、間引き画素間隔は２画素単位である場合、４×８サイズの逆量子化・逆変換処理を行い、間引き方向は垂直方向、間引き画素間隔は２画素単位であることを示す場合、８×４サイズの逆量子化・逆変換処理を行う。

復号画素配置変換部１０７は、第一の逆量子化・逆変換部１０６から第一の残差を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。復号画素配置変換部１０７は、第一の残差に対し、間引き手段決定フラグで特定される間引き方向および間引き画素間隔に応じた画素の再配置処理を行う。具体的には、復号画素配置変換部１０７は、間引き方向に間引き画素間隔で画素列を再配置して、間引き方向にサイズが拡大したブロックを生成する。

たとえば、間引き方向は水平方向、間引き画素間隔は２画素単位の場合、４×８サイズの第一の残差の画素列は、８×８サイズのブロックにおいて水平方向位置が奇数の画素列に再配置され、水平方向位置が偶数の画素列には０が設定され、８×８サイズのブロックになる。間引き方向は垂直方向、間引き画素間隔は２画素単位の場合、８×４サイズの第一の残差の画素列は、８×８サイズのブロックにおいて垂直方向位置が奇数の画素列に再配置され、垂直方向位置が偶数の画素列には０が設定され、８×８サイズのブロックになる。

間引き部１０８は、予測部１０２から符号化対象ブロックの予測画像を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。間引き部１０８は、予測画像に対し、間引き手段決定フラグに応じた間引き処理をして、間引き予測画像を算出する。たとえば、間引き方向は水平方向、間引き画素間隔は２画素単位の場合、間引き処理により、水平方向位置が奇数の画素列が選択され、水平方向位置が偶数の画素列は０が設定される。間引き方向は垂直方向、間引き画素間隔は２画素単位の場合、間引き処理により、垂直方向位置が奇数の画素列が選択され、垂直方向位置が偶数の画素列は０が設定される。

加算器１０９は、間引き部１０８から間引き予測画像を取得し、復号画素配置変換部１０７から第一の残差を取得する。加算器１０９は、間引き予測画像と第一の残差を加算することにより、第一の復号画像を作成する。

このとき、間引き方向は水平方向、間引き画素間隔は２画素単位の場合、第一の復号画像の水平方向位置が偶数の画素列の画素値は０であり、間引き方向は垂直方向、間引き画素間隔は２画素単位の場合、第一の復号画像の垂直方向位置が偶数の画素列の画素値は０である。画素値が０に設定された画素列についてはこれから述べる補間処理により画素値が補間される。

補間部１１０は、加算器１０９から第一の復号画像を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。補間部１１０は、第一の復号画像に対し、間引き手段決定フラグに応じた補間処理を行い、第二の予測画像を算出する。具体的には、補間部１１０は、間引き手段決定フラグから間引き方向と間引き画素間隔の情報を取得し、間引き方向と間引き画素間隔に応じて、間引き処理で選択されなかった画素列について、画素値を補間して、第二の予測画像を生成する。たとえば、間引き方向は水平方向、間引き画素間隔は２画素単位の場合、水平方向位置が偶数の画素列について補間処理により画素値が決定され、間引き方向は垂直方向、間引き画素間隔は２画素単位の場合、垂直方向位置が偶数の画素列について補間処理により画素値が決定される。

減算器１１１は、入力画像バッファ１０１から符号化対象ブロックの原画像を取得し、補間部１１０から第二の予測画像を取得する。減算器１１１は、符号化対象ブロックの原画像から第二の予測画像を減ずることにより、第二の残差を算出する。

符号化画素配置変換部１１２は、減算器１１１から第二の残差を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。符号化画素配置変換部１１２は、間引き手段決定フラグで特定される間引き方向および間引き画素間隔に応じた第二の残差の配置変換を行う。符号化画素配置変換部１１２による配置変換は、符号化画素配置変換部１０４による配置変換と対をなすものである。符号化画素配置変換部１０４による配置変換は、間引き処理で選択される画素列を取り出して、間引き方向に間引き画素数に応じてサイズが縮小したブロックを生成するのに対して、符号化画素配置変換部１１２による配置変換は、間引き処理で選択されない画素列を取り出して、間引き方向に間引き画素数に応じてサイズが縮小したブロックを生成する。

第二の直交変換・量子化部１１３は、符号化画素配置変換部１１２から配置変換された第二の残差を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。第二の直交変換・量子化部１１３は、配置変換された第二の残差に対し、間引き方向および間引き画素間隔に応じたブロックサイズで直交変換・量子化処理を行い、第二の量子化係数を算出する。

第二の逆量子化・逆変換部１１４は、第二の直交変換・量子化部１１３から第二の量子化係数を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。第二の逆量子化・逆変換部１１４は、第二の量子化係数に対し、間引き方向および間引き画素間隔に応じたブロックサイズで逆量子化・逆変換処理を行い、第二の残差を復号する。

本実施例では、第二の直交変換・量子化部１１３の直交変換・量子化手順、第二の逆量子化・逆変換部１１４の逆量子化・逆変換処理手順については、第一の直交変換・量子化部１０５、第一の逆量子化・逆変換部１０６と同一の処理を行うものとするが、第二の量子化／逆量子化処理に関しては第一の逆量子化・逆変換部１０６で用いるものと異なる量子化ステップを適用してもよいし、第二の直交変換／量子化、逆量子化／処理に関してはそれぞれこれを省略し、第二の残差をそのまま伝送する構成をとってもよい。

復号画素配置変換部１１５は、第二の逆量子化・逆変換部１１４から第二の残差を取得し、間引き手段決定部１０３から間引き手段決定フラグを取得する。復号画素配置変換部１１５は、第二の残差に対し、間引き方向および間引き画素間隔に応じた画素の再配置処理を行う。具体的には、復号画素配置変換部１１５は、間引き方向と間引き画素間隔に応じて、画素列を元の画像の画素列に再配置して、間引き方向に間引き画素数に応じてサイズが拡大したブロックを生成する。

加算器１１６は、補間部１１０から第二の予測画像を取得し、復号画素配置変換部１１５から第二の残差を取得する。加算器１１６は、第二の予測画像と第二の残差を加算することにより、第二の復号画像を作成する。

復号画像バッファ１１７は、加算器１１６から第二の復号画像を取得し、格納する。

間引き手段符号化部１２０は、間引き手段決定部１０３から間引き手段決定フラグを取得し、間引き手段決定フラグを可変長符号化する。

テクスチャ符号化部１１８は、予測部１０２から予測モードを取得し、第一の直交変換・量子化部１０５から第一の量子化係数を取得し、第二の直交変換・量子化部１１３から第二の量子化係数を取得する。テクスチャ符号化部１１８は、取得した各情報に対しそれぞれ所定のエントロピー符号化処理を行い、テクスチャ情報ストリームを作成する。

ストリーム統合部１２１は、間引き手段符号化部１２０とテクスチャ符号化部１１８からそれぞれ符号化ストリームを取得し、統合し、出力する。

本実施例においては、間引き手段決定部１０３は、原画像と第一の予測画像を取得し、対象ブロック内部の水平／垂直画素間の相関と、原画像と外挿による予測画像との相関性を考慮して適切な間引き手段を決定するものである。他の構成として、間引き手段決定部１０３を、テクスチャ符号化部の後段に配置し、水平／垂直方向間引きの各発生符号量と歪量をもとに適切な間引き手段を選択する構成をとることも可能である。

図４は、実施の形態に係る動画像符号化装置による動画像符号化手順を説明するフローチャートである。

予測部１０２は、符号化対象ブロックの原画像を取得し、隣接既復号画素を用いたイントラ予測により、対象ブロックの第一の予測画像を算出し、原画像と第一の予測画像の差分である第一の残差を算出する（Ｓ２０１）。

間引き手段決定部１０３は、符号化対象ブロックの原画像と第一の予測画像にもとづいて、間引き手段として、間引き方向と間引き画素間隔を決定する（Ｓ２０２）。

図５は、ステップＳ２０２の間引き手段決定手順を説明するフローチャートである。

間引き手段決定部１０３は、水平方向間引きの評価画像を作成する（Ｓ５０１）。水平方向間引きの評価画像の第一の復号に対応する画素位置に第一の予測画像の画素値を挿入する。水平方向間引きの評価画像の第二の復号に対応する画素位置には、第一の復号に対応する画素位置に原画像の画素値を挿入したときの水平方向の双方向補間値を挿入する。

間引き手段決定部１０３は、水平方向間引きの評価値を算出する（Ｓ５０２）。評価値は、一例として、原画像と水平方向間引きの評価画像との各画素の二乗誤差の和とする。

間引き手段決定部１０３は、垂直方向間引きの評価画像を作成する（Ｓ５０３）。垂直方向間引きの評価画像の第一の復号に対応する画素位置に第一の予測画像の画素値を挿入する。垂直方向間引きの評価画像の第二の復号に対応する画素位置には、第一の復号に対応する画素位置に原画像の画素値を挿入したときの垂直方向の双方向補間値を挿入する。

間引き手段決定部１０３は、垂直方向間引きの評価値を算出する（Ｓ５０４）。評価値は、一例として、原画像と垂直方向間引きの評価画像との各画素の二乗誤差の和とする。

間引き手段決定部１０３は、水平方向間引きの評価値と垂直方向間引きの評価値を比較する（Ｓ５０５）。水平方向間引きの評価値の方が小さい場合（Ｓ５０５のＹ）、間引き手段決定部１０３は、間引き手段を水平方向間引きと決定し（Ｓ５０６）、そうでない場合（Ｓ５０５のＮ）、間引き手段決定部１０３は、間引き手段を垂直方向間引きと決定する（Ｓ５０７）。

図４に戻り、符号化画素配置変換部１０４は、間引き方向と間引き画素数に応じて第一の残差の配置変換を行う（Ｓ２０３）。これにより、間引き方向にサイズが１／（間引き画素間隔）倍に縮小されたブロックが得られる。

第一の直交変換・量子化部１０５は、配置変換後の第一の残差を符号化し、第一の逆量子化・逆変換部１０６はそれを復号する（Ｓ２０４）。

復号画素配置変換部１０７は、間引き方向と間引き画素数に応じて第一の復号残差を元のブロックサイズに再配置する（Ｓ２０５）。

加算器１０９は、間引き予測画像と第一の残差を加算することにより、第一の復号画像を作成する（Ｓ２０６）。

補間部１１０は、第一の復号画像に対し、間引き手段決定フラグに応じた補間処理を行い、第二の予測画像を算出し、減算器１１１は、符号化対象ブロックの原画像から第二の予測画像を減ずることにより、第二の残差を算出する（Ｓ２０７）。

間引き手段決定フラグが２画素間隔水平方向のときは、第二の予測画像の補間対象画素は図３（ａ）の水平方向位置が偶数の画素（符号３０２ｈ）であり、既に復号が完了した第一の復号画像の奇数水平方向位置の画素（符号３０３ｈ）を用いて、偶数水平方向位置の画素（符号３０２ｈ）の補間処理を行う。補間処理には、補間対象位置を中心とした複数の奇数水平方向位置の画素（３０３ｈ）を参照した水平方向補間を適用する。

間引き手段決定フラグが２画素間隔垂直方向のときは、第二の予測画像の補間対象画素は図３（ｂ）の垂直方向位置が偶数の画素（符号３０２ｖ）であり、既に復号が完了した第一の復号画像の奇数垂直方向位置の画素（符号３０３ｖ）を用いて、偶数垂直方向位置の画素（符号３０２ｖ）の補間処理を行う。補間処理には、補間対象位置を中心とした複数の奇数垂直方向位置の画素（符号３０３ｖ）を参照した垂直方向補間を適用する。

符号化画素配置変換部１１２は、間引き方向および間引き画素間隔に応じた第二の残差の配置変換を行う（Ｓ２０８）。

第二の直交変換・量子化部１１３は、配置変換後の第二の残差を符号化し、第二の逆量子化・逆変換部１１４はそれを復号する（Ｓ２０９）。

復号画素配置変換部１１５は、間引き方向と間引き画素数に応じて第二の復号残差を元のブロックサイズに再配置する（Ｓ２１０）。

加算器１１６は、第二の予測画像と第二の残差を加算することにより、第二の復号画像を作成する（Ｓ２１１）。

テクスチャ符号化部１１８は、第一の量子化係数、第二の量子化係数、予測モードの各情報に対しそれぞれ所定のエントロピー符号化処理を行い、テクスチャ情報ストリームを作成し、ストリーム統合部１２１は、間引き手段決定フラグをテクスチャ情報ストリームに付加して出力する（Ｓ２１２）。

以上述べたように、本実施の形態の動画像符号化装置によれば、各符号化対象ブロックについて最適な間引き手段を決定し、決定された間引き手段に従い、水平／垂直のどちらかに間引いた残差成分（第一の残差）を符号化・復号し、第一の復号画像を算出する。第一の復号画像に含まれない画素位置の予測画像（第二の予測画像）を第一の復号画像からの双方向補間により算出する。そして、第一の残差、第二の残差（原画像と第二の予測画像との差分）に対し、それぞれの画素サイズに対応した直交変換を適用する。これにより、対象ブロックの特性に応じた適切な間引き手段を選択し、第二の予測画像を第一の予測画像からの補間により算出し、第一の残差と第二の残差に対しそれぞれ適切な直交変換を行うことが可能となり、符号化効率を向上させることができる。

図６は、実施の形態に係る動画像復号装置の構成を示すブロック図である。動画像復号装置は、テクスチャ復号部２０１、予測部２０２、間引き手段決定部２０３、復号画像バッファ２１２、間引き処理部２１３、ストリーム解析部２１４、および間引き手段復号部２１５を備える。

間引き処理部２１３は、第一の逆量子化・逆変換部２０４、復号画素配置変換部２０５、加算器２０６、間引き部２０７、補間部２０８、第二の逆量子化・逆変換部２０９、復号画素配置変換部２１０、および加算器２１１を備える。

動画像復号装置は、図１の動画像符号化装置により符号化されたストリームを復号する。復号の際、ストリームから間引き手段決定フラグを取得して、間引き手段決定フラグにより特定される間引き方向と間引き画素間隔に応じた間引き処理を実行する。

ストリーム解析部２１４は、入力ビットストリームを解析し、間引き手段情報ストリームとテクスチャ情報ストリームに分離し、間引き手段情報ストリームを間引き手段復号部２１５に与え、テクスチャ情報ストリームをテクスチャ復号部２０１に与える。

テクスチャ復号部２０１は、テクスチャ情報ストリームを可変長復号し、第一の量子化係数および第二の量子化係数を算出するとともに、イントラ予測モードを取得する。

予測部２０２は、テクスチャ復号部２０１からイントラ予測モードを取得し、復号画像バッファ２１２から復号対象ブロックの復号済み隣接画素を取得する。予測部２０２は、イントラ予測モードを用いて所定のイントラ予測処理を行い、復号対象ブロックの予測画像を算出する。

間引き手段復号部２１５は、ストリーム解析部２１４から間引き手段情報ストリームを取得し、間引き手段情報ストリームを可変長復号し、間引き手段決定フラグを取得する。間引き手段決定部２０３は、間引き手段復号部２１５から間引き手段決定フラグを取得する。間引き手段決定フラグには、間引き方向および間引き画素間隔を特定する情報が含まれている。

第一の逆量子化・逆変換部２０４は、テクスチャ復号部２０１から第一の量子化係数を取得し、間引き手段決定部２０３から間引き方向決定フラグを取得する。第一の逆量子化・逆変換部２０４は、第一の量子化係数に対し、間引き方向決定フラグで特定される間引き方向および間引き画素間隔に応じたブロックサイズで逆量子化・逆変換処理を行い、第一の残差を復号する。

復号画素配置変換部２０５は、第一の逆量子化・逆変換部２０４から第一の残差を取得し、間引き手段決定部２０３から間引き手段決定フラグを取得する。復号画素配置変換部２０５は、第一の残差に対し、間引き方向決定フラグで特定される間引き方向および間引き画素間隔に応じた画素の再配置処理を行う。具体的には、復号画素配置変換部２０５は、間引き方向と間引き画素間隔に応じて、画素列を元の画像の位置に再配置する。

たとえば、間引き方向は水平方向、間引き画素間隔は２画素単位の場合、４×８サイズの第一の残差の画素列は、８×８サイズのブロックにおいて水平方向位置が奇数の画素列に再配置され、水平方向位置が偶数の画素列には０が設定され、８×８サイズのブロックになる。間引き方向は垂直方向、間引き画素間隔は２画素単位の場合、８×４サイズの第一の残差の画素列は、８×８サイズのブロックにおいて垂直方向位置が奇数の画素列に再配置され、垂直方向位置が偶数の画素列には０が設定され、８×８サイズのブロックになる。

間引き部２０７は、予測部２０２から復号対象ブロックの予測画像を取得し、間引き手段決定部２０３から間引き方向決定フラグを取得する。間引き部２０７は、予測画像に対し、間引き方向決定フラグの値に応じた間引き処理をして、間引き予測画像を算出する。間引き部２０７の動作は、図１の間引き部１０８と同じである。

加算器２０６は、間引き部２０７から間引き予測画像を取得し、復号画素配置変換部２０５から第一の残差を取得する。加算器２０６は、間引き予測画像と第一の残差を加算することにより、第一の復号画像を作成する。

補間部２０８は、加算器２０６から第一の復号画像を取得し、間引き手段決定部２０３から間引き方向決定フラグを取得する。補間部２０８は、第一の復号画像に対し、間引き方向決定フラグに応じた補間処理を行い、第二の予測画像を算出する。補間部２０８の動作は、図１の補間部１１０と同じである。

第二の逆量子化・逆変換部２０９は、テクスチャ復号部２０１から第二の量子化係数を取得し、間引き手段決定部２０３から間引き方向決定フラグを取得する。第二の逆量子化・逆変換部２０９は、第二の量子化係数に対し、間引き方向および間引き画素間隔に応じたブロックサイズで逆量子化・逆変換処理を行い、第二の残差を復号する。

復号画素配置変換部２１０は、第二の逆量子化・逆変換部２０９から第二の残差を取得し、間引き手段決定部２０３から間引き手段決定フラグを取得する。復号画素配置変換部２１０は、第二の残差に対し、間引き方向および間引き画素間隔に応じた画素の再配置変換処理を行う。

加算器２１１は、補間部２０８から第二の予測画像を取得し、復号画素配置変換部２１０から第二の残差を取得する。加算器２１１は、第二の予測画像と第二の残差を加算することにより、第二の復号画像を作成する。

復号画像バッファ２１２は、加算器２１１から第二の復号画像を取得し、格納する。

一画面に対し上記の処理が完了後、復号画像バッファ２１２から完成した復号画像が出力される。

図７は、実施の形態に係る動画像復号装置による動画像復号手順を説明するフローチャートである。

予測部２０２は、復号画像バッファ２１２から復号対象ブロックの復号済み隣接画素を取得し、イントラ予測モードにもとづいてイントラ予測処理を行い、復号対象ブロックの第一の予測画像を算出する（Ｓ３０１）。

間引き手段復号部２１５は、間引き手段情報ストリームを可変長復号し、間引き手段決定フラグを取得する（Ｓ３０２）。

第一の逆量子化・逆変換部２０４は、テクスチャ復号部２０１により可変長復号された第一の量子化係数に対し、間引き方向決定フラグで特定される間引き方向および間引き画素間隔に応じたブロックサイズで逆量子化・逆変換処理を行い、第一の残差を復号する（Ｓ３０３）。

復号画素配置変換部２０５は、第一の残差に対し、間引き方向決定フラグで特定される間引き方向および間引き画素間隔に応じた画素の再配置処理を行う（Ｓ３０４）。

加算器２０６は、間引き予測画像と第一の残差を加算することにより、第一の復号画像を作成する（Ｓ３０５）。

補間部２０８は、第一の復号画像に対し、間引き方向決定フラグに応じた補間処理を行い、第二の予測画像を算出する（Ｓ３０６）。

第二の逆量子化・逆変換部２０９は、テクスチャ復号部２０１により可変長復号された第二の量子化係数に対し、間引き方向および間引き画素間隔に応じたブロックサイズで逆量子化・逆変換処理を行い、第二の残差を復号する（Ｓ３０７）。

復号画素配置変換部２１０は、第二の残差に対し、間引き方向および間引き画素間隔に応じた画素の再配置変換処理を行う（Ｓ３０８）。

加算器２１１は、第二の予測画像と第二の残差を加算することにより、第二の復号画像を作成する（Ｓ３０９）。

一画面に対する対象ブロックの復号処理が完了すると、復号画像バッファ２１２から完成した復号画像が出力される（Ｓ３１０）。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０１ 入力画像バッファ、 １０２ 予測部、 １０３ 間引き手段決定部、 １０４ 符号化画素配置変換部、 １０５ 第一の直交変換・量子化部、 １０６ 第一の逆量子化・逆変換部、 １０７ 復号画素配置変換部、 １０８ 間引き部、 １０９ 加算器、 １１０ 補間部、 １１１ 減算器、 １１２ 符号化画素配置変換部、 １１３ 第二の直交変換・量子化部、 １１４ 第二の逆量子化・逆変換部、 １１５ 復号画素配置変換部、 １１６ 加算器、 １１７ 復号画像バッファ、 １１８ テクスチャ符号化部、 １１９ 間引き処理部、 １２０ 間引き手段符号化部、 １２１ ストリーム統合部、 ２０１ テクスチャ復号部、 ２０２ 予測部、 ２０３ 間引き手段決定部、 ２０４ 第一の逆量子化・逆変換部、 ２０５ 復号画素配置変換部、 ２０６ 加算器、 ２０７ 間引き部、 ２０８ 補間部、 ２０９ 第二の逆量子化・逆変換部、 ２１０ 復号画素配置変換部、 ２１１ 加算器、 ２１２ 復号画像バッファ、 ２１３ 間引き処理部、 ２１４ ストリーム解析部。

Claims (6)

1. 符号化処理単位で、所定の予測処理により符号化を行う際の画素列を選択する間引き処理の間引き方向を示す情報を少なくとも備えた間引き処理情報と、前記間引き方向により決まる第１の処理単位の第１の予測残差と、その第１の予測残差に基づき生成した前記間引き方向により決まる第２の処理単位の第２の予測残差との符号化データを含む符号化ストリームから、復号処理単位で、前記第１の予測残差と前記第２の予測残差と前記間引き方向を示す情報とを取得する情報取得部と、
   前記復号処理単位で、前記間引き方向を示す情報に応じて前記第１の予測残差から所定の予測復号処理により前記第１の処理単位の第１の復号画像を生成し、前記間引き方向を示す情報に応じて前記第１の復号画像と前記第２の予測残差とから前記第２の処理単位の第２の復号画像を生成し、前記第１の復号画像と前記第２の復号画像とを合成した第３の復号画像を生成する復号部とを備えることを特徴とする動画像復号装置。
2. 前記情報取得部は、前記符号化ストリームの前記間引き処理情報から、前記復号処理単位で、さらに前記間引き処理の間引き画素間隔を示す情報を取得し、
   前記復号部は、前記復号処理単位で、前記間引き方向を示す情報と前記間引き画素間隔を示す情報とに応じて、前記第１の処理単位の第１の復号画像と前記第２の処理単位の第２の復号画像とを生成し、前記第１の復号画像と前記第２の復号画像とを合成した第３の復号画像を生成することを特徴とする請求項１に記載の動画像復号装置。
3. 前記情報取得部により取得された間引き方向により決まる処理単位で逆直交変換を行う逆直交変換部をさらに備えることを特徴とする請求項１に記載の動画像復号装置。
4. 前記情報取得部により取得された間引き方向および間引き画素間隔で決まる処理単位で逆直交変換を行う逆直交変換部をさらに備えることを特徴とする請求項２に記載の動画像復号装置。
5. 符号化処理単位で、所定の予測処理により符号化を行う際の画素列を選択する間引き処理の間引き方向を示す情報を少なくとも備えた間引き処理情報と、前記間引き方向により決まる第１の処理単位の第１の予測残差と、その第１の予測残差に基づき生成した前記間引き方向により決まる第２の処理単位の第２の予測残差との符号化データを含む符号化ストリームから、復号処理単位で、前記第１の予測残差と前記第２の予測残差と前記間引き方向を示す情報とを取得するステップと、
   前記復号処理単位で、前記間引き方向を示す情報に応じて前記第１の予測残差から所定の予測復号処理により前記第１の処理単位の第１の復号画像を生成し、前記間引き方向を示す情報に応じて前記第１の復号画像と前記第２の予測残差とから前記第２の処理単位の第２の復号画像を生成し、前記第１の復号画像と前記第２の復号画像とを合成した第３の復号画像を生成するステップとを備えることを特徴とする動画像復号方法。
6. 符号化処理単位で、所定の予測処理により符号化を行う際の画素列を選択する間引き処理の間引き方向を示す情報を少なくとも備えた間引き処理情報と、前記間引き方向により決まる第１の処理単位の第１の予測残差と、その第１の予測残差に基づき生成した前記間引き方向により決まる第２の処理単位の第２の予測残差との符号化データを含む符号化ストリームから、復号処理単位で、前記第１の予測残差と前記第２の予測残差と前記間引き方向を示す情報とを取得する機能と、
   前記復号処理単位で、前記間引き方向を示す情報に応じて前記第１の予測残差から所定の予測復号処理により前記第１の処理単位の第１の復号画像を生成し、前記間引き方向を示す情報に応じて前記第１の復号画像と前記第２の予測残差とから前記第２の処理単位の第２の復号画像を生成し、前記第１の復号画像と前記第２の復号画像とを合成した第３の復号画像を生成する機能とをコンピュータに実現させることを特徴とする動画像復号プログラム。

Images