JP2016051922A - 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

Abstract

【課題】符号化性能の向上と、動き補償の予測性能の低下の抑制と、適用可能範囲の拡大と、を実現する。
【解決手段】動画像符号化装置は、第１のインター予測値ＳＩＧ４を求める第１のインター予測値生成部１０を備える。第１のインター予測値生成部１０は、小数精度動きベクトル決定部１１、動きベクトル精度整数化部１２、および動きベクトル最適化部１３を備える。小数精度動きベクトル決定部は、小数精度の動きベクトルを求める。動きベクトル精度整数化部は、小数精度動きベクトル決定部により求められた小数精度の動きベクトルに最近傍である整数精度の動きベクトルを求める。動きベクトル最適化部は、動きベクトル精度整数化部により求められた整数精度の動きベクトルを用いて動画像復号装置で求められるであろう小数精度の動きベクトルを推定し、推定した小数精度の動きベクトルによる予測値を求め、第１のインター予測値ＳＩＧ４とする。
【選択図】図３

Description

本発明は、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラムに関する。

非特許文献１や非特許文献２に代表される映像圧縮に関する標準方式では、フレーム間の冗長性を抑制するための技術として、動き補償が採用されている。この動き補償では、処理ブロックごとに、符号化済みのフレームの適切な箇所を参照して予測値を求めることで、高い予測性能を実現する。なお、動き補償により動画像符号化装置で求められた動きベクトルに関する情報は、動画像復号装置に送られる。

また、一般的な映像の各フレームは、格子状に並んだ画素ごとに設定された各成分（輝度や色差など）の値により構成されているが、動き補償の際には、オブジェクトの動きやフレームレートなどによっては、上述の参照する符号化済みのフレームの適切な箇所を、格子状の座標では表現できない場合がある。そこで、非特許文献１や非特許文献２に代表される映像圧縮に関する標準方式では、動き補償における動きベクトルについて、格子状（整数精度）の座標だけでなく、中間的な（小数精度）の座標も許容されている。

一方、特許文献１、２、３には、動き補償を動画像復号装置で行うことで、動きベクトルに関する情報を動画像符号化装置から動画像復号装置に送る必要のない技術が示されている。特に特許文献３には、動画像復号装置における動き補償において、動画像符号化装置で推定された動きベクトルを用いるのか、動画像復号装置で推定された動きベクトルを用いるのかを、ビットストリームの情報に基づいて動画像復号装置が決定する技術が示されている。

また、非特許文献３、４には、Ｂピクチャにおける動きベクトルを動画像復号装置で決定する技術が示されている。この技術では、復号済みピクチャの動きベクトルのうち、Ｂピクチャにおける処理ブロックを通過する動きベクトルに基づいて、Ｂピクチャにおける動きベクトルを決定する。

"High Efficiency Video Coding (HEVC) text specification draft10," JCT-VC 12th meeting, JCTVC-L1003 v34, Jan. 2013. Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," Sven Klomp, Marco Munderloh, Yuri Vatis, Jorn Ostermann, "Decoder side block motion estimation for H.264/MPEG-4 AVC based video coding," ISCAS2009, pp1641-1644, May 2009. Yi-Jen Chiu, Lidong Xum Wenhao Zhang, Hong Jiang, "Decoder side motion estimation and wiener filter for HEVC," VCIP2013, pp1-6, Nov. 2013.

特開２００８−１５４０１５号公報 特開２０１１−４５１４３号公報 特開２０１１−２９８６３号公報

非特許文献１、２に示されている技術では、動画像符号化装置から動画像復号装置に動きベクトルを送らなくてはならない。このため、動画像符号化装置から動画像復号装置に送る情報量が増大してしまうため、符号化性能の向上が困難であった。

一方、特許文献１から３に示されている技術では、動きベクトルに関する情報を動画像符号化装置から動画像復号装置に送る必要がないため、符号化性能を向上させることが可能である。しかし、動き補償を動画像復号装置で行う場合、低ビットレート符号化のように復号画像の劣化が大きいと、動画像符号化装置で決定された動きベクトルとは大きく異なる動きベクトルを用いて動画像復号装置が動き補償を行うことになってしまい、動き補償の予測性能が著しく低下してしまうおそれがあった。

また、非特許文献３、４に示されている技術は、Ｂピクチャにしか適用することができず、適用可能範囲が限定的であった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化性能の向上と、動き補償の予測性能の低下の抑制と、適用可能範囲の拡大と、を実現することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、動き補償を行う動画像符号化装置であって、動き補償予測値（例えば、図２、６の第１のインター予測値ＳＩＧ４に相当）を求めるインター予測値生成手段（例えば、図２の第１のインター予測値生成部１０や、図６の第１のインター予測値生成部１０Ａに相当）を備え、前記インター予測値生成手段は、第１の情報量を有する第１の動きベクトル（例えば、後述の整数精度の動きベクトルや、後述のスキップベクトルに相当）から、当該第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を推定し、当該第２の動きベクトルを用いて前記動き補償予測値を求める動きベクトル最適化手段（例えば、図３の動きベクトル最適化部１３や、図７の動きベクトル最適化部１３Ａに相当）を備え、前記動きベクトル最適化手段は、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定することを特徴とする動画像符号化装置を提案している。

この発明によれば、動画像符号化装置に、動き補償予測値を求めるインター予測値生成手段を設け、このインター予測値生成手段に、動きベクトル最適化手段を設けることとした。また、動きベクトル最適化手段により、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、第１の動きベクトルから第２の動きベクトルを推定し、推定した第２の動きベクトルを用いて動き補償予測値を求めることとした。

このため、動画像符号化装置から動画像復号装置に第１の動きベクトルを送ったり、動画像復号装置で第１の動きベクトルを生成させたりすることで、第１の動きベクトルよりも情報量の多い動きベクトルを動画像符号化装置から動画像復号装置に送る場合と比べて、動画像符号化装置から動画像復号装置に送る情報量を削減することができる。したがって、符号化性能を向上させることができる。

また、動画像符号化装置から動画像復号装置に第１の動きベクトルを送ったり、動画像復号装置で第１の動きベクトルを生成させたりするとともに、動きベクトル最適化手段における処理と同様の処理を動画像復号装置で行うことで、動画像復号装置でも、第１の動きベクトルから第２の動きベクトルを得ることができる。このため、動画像符号化装置で決定された動きベクトルである第２の動きベクトルを用いて、動画像復号装置が動き補償を行うことができるので、動き補償の予測性能の低下を抑制することができる。

また、Ｂピクチャにしか適用することができないといった制約がない。このため、適用可能範囲を拡大することができる。

（２） 本発明は、（１）の動画像符号化装置について、前記動きベクトル最適化手段は、前記第２の動きベクトルを用いて求めた動き補償予測値と、処理ブロック周辺の符号化済み画像の画素値と、の連続性に基づいて、当該第２の動きベクトルを用いて求めた動き補償予測値が、当該処理ブロック周辺の符号化済み画像に対して適切な値となっているか否かを判定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）の動画像符号化装置において、動きベクトル最適化手段により、第２の動きベクトルを用いて求めた動き補償予測値と、処理ブロック周辺の符号化済み画像の画素値と、の連続性に基づいて、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となっているか否かを判定することとした。このため、第２の動きベクトルとして、第１の動きベクトルよりも高い動き補償予測性能を実現する動きベクトルを推定することができるので、動き補償の予測性能の低下をさらに抑制することができる。

（３） 本発明は、（１）または（２）の動画像符号化装置について、前記インター予測値生成手段は、前記第２の情報量を有する第３の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を求める動きベクトル決定手段（例えば、図３の小数精度動きベクトル決定部１１に相当）と、前記第３の動きベクトルを、前記第１の情報量を有する動きベクトルで表現して、前記第１の動きベクトルとする動きベクトル表現手段（例えば、図３の動きベクトル精度整数化部１２に相当）と、を備えることを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）または（２）の動画像符号化装置において、インター予測値生成手段に、動きベクトル決定手段および動きベクトル表現手段を設け、動きベクトル決定手段により、第２の情報量を有する第３の動きベクトルを求めることとした。また、動きベクトル表現手段により、第３の動きベクトルを、第１の情報量を有する動きベクトルで表現して、第１の動きベクトルとすることとした。このため、高い動き補償予測性能を実現する動きベクトルとして第３の動きベクトルを求め、求めた第３の動きベクトルよりも少ない情報量で第３の動きベクトルを表現して第１の動きベクトルとすることができる。

（４） 本発明は、（３）の動画像符号化装置について、前記第３の動きベクトルおよび前記第２の動きベクトルは、ｎ画素精度（ｎは、ｎ＞０を満たす任意の実数）の動きベクトルであり、前記第１の動きベクトルは、ｍ画素精度（ｍは、ｍ＞ｎを満たす任意の実数）の動きベクトルであることを特徴とする動画像符号化装置を提案している。

この発明によれば、（３）の動画像符号化装置において、第３の動きベクトルおよび第２の動きベクトルを、ｎ画素精度の動きベクトルとし、第１の動きベクトルを、ｍ画素精度の動きベクトルとすることとした。このため、第３の動きベクトルおよび第２の動きベクトルと比べて、第１の動きベクトルの情報量を少なくすることができる。

（５） 本発明は、（１）または（２）の動画像符号化装置について、前記第１の動きベクトルは、スキップベクトルであり、前記第２の動きベクトルは、小数精度の動きベクトルであることを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）または（２）の動画像符号化装置において、第１の動きベクトルを、スキップベクトルとし、第２の動きベクトルを、小数精度の動きベクトルとすることとした。このため、第２の動きベクトルとして、第１の動きベクトルよりも高い動き補償予測性能を実現する動きベクトルを推定することができる。

（６） 本発明は、動き補償を行う動画像復号装置であって、符号化データを復号して第１の情報量を有する第１の動きベクトル（例えば、後述の整数精度の動きベクトルや、後述のスキップベクトルに相当）を求める動きベクトル取得手段（例えば、図４、８のエントロピー復号部１１０に相当）と、前記第１の動きベクトルから、前記第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を推定し、当該第２の動きベクトルを用いて動き補償予測値（例えば、図４、８の第１のインター予測値ＳＩＧ５４に相当）を求めるインター予測値生成手段（例えば、図４の第１のインター予測値生成部１３０や、図８の第１のインター予測値生成部１３０Ａに相当）と、を備え、前記インター予測値生成手段は、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定することを特徴とする動画像復号装置を提案している。

この発明によれば、動画像復号装置に、動きベクトル取得手段およびインター予測値生成手段を設け、動きベクトル取得手段により、第１の動きベクトルを求め、インター予測値生成手段により、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、第１の動きベクトルから第２の動きベクトルを推定し、推定した第２の動きベクトルを用いて動き補償予測値を求めることとした。

このため、動画像符号化装置から動画像復号装置に第１の動きベクトルを送らせたり、動画像復号装置で第１の動きベクトルを生成したりすることで、第１の動きベクトルよりも情報量の多い動きベクトルを動画像符号化装置から動画像復号装置に送る場合と比べて、動画像符号化装置から動画像復号装置に送る情報量を削減することができる。したがって、符号化性能を向上させることができる。

また、動画像符号化装置から動画像復号装置に第１の動きベクトルを送らせたり、動画像復号装置で第１の動きベクトルを生成したりすることで、動画像復号装置で、第１の動きベクトルから第２の動きベクトルを得ることができる。このため、動画像符号化装置でも、第１の動きベクトルから第２の動きベクトルを得て、この第２の動きベクトルを用いて動き補償を行うことで、動画像符号化装置と動画像復号装置とで、同じ動きベクトルを用いて動き補償を行うことができる。したがって、動き補償の予測性能の低下を抑制することができる。

また、Ｂピクチャにしか適用することができないといった制約がない。このため、適用可能範囲を拡大することができる。

（７） 本発明は、（６）の動画像復号装置について、前記インター予測値生成手段は、前記第２の動きベクトルを用いて求めた動き補償予測値と、処理ブロック周辺の復号済み画像の画素値と、の連続性に基づいて、当該第２の動きベクトルを用いて求めた動き補償予測値が、当該処理ブロック周辺の復号済み画像に対して適切な値となっているか否かを判定することを特徴とする動画像復号装置を提案している。

この発明によれば、（６）の動画像復号装置において、インター予測値生成手段により、第２の動きベクトルを用いて求めた動き補償予測値と、処理ブロック周辺の復号済み画像の画素値と、の連続性に基づいて、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となっているか否かを判定することとした。このため、第２の動きベクトルとして、第１の動きベクトルよりも高い動き補償予測性能を実現する動きベクトルを推定することができるので、動き補償の予測性能の低下をさらに抑制することができる。

（８） 本発明は、（６）または（７）の動画像復号装置について、前記第２の動きベクトルは、ｐ画素精度（ｐは、ｐ＞０を満たす任意の実数）の動きベクトルであり、前記第１の動きベクトルは、ｑ画素精度（ｑは、ｑ＞ｐを満たす任意の実数）の動きベクトルであることを特徴とする動画像復号装置を提案している。

この発明によれば、（６）または（７）の動画像復号装置において、第２の動きベクトルを、ｐ画素精度の動きベクトルとし、第１の動きベクトルを、ｑ画素精度の動きベクトルとすることとした。このため、第２の動きベクトルと比べて、第１の動きベクトルの情報量を少なくすることができる。

（９） 本発明は、（６）または（７）の動画像復号装置について、前記第１の動きベクトルは、スキップベクトルであり、前記第２の動きベクトルは、小数精度の動きベクトルであることを特徴とする動画像復号装置を提案している。

この発明によれば、（６）または（７）の動画像復号装置において、第１の動きベクトルを、スキップベクトルとし、第２の動きベクトルを、小数精度の動きベクトルとすることとした。このため、第２の動きベクトルとして、第１の動きベクトルよりも高い動き補償予測性能を実現する動きベクトルを推定することができる。

（１０） 本発明は、動画像を符号化して符号化データを生成する動画像符号化装置と、当該動画像符号化装置により生成された当該符号化データを復号する動画像復号装置と、を備える動画像処理システムであって、前記動画像符号化装置は、動き補償予測値（例えば、図２、６の第１のインター予測値ＳＩＧ４に相当）を求める符号化側インター予測値生成手段（例えば、図２の第１のインター予測値生成部１０や、図６の第１のインター予測値生成部１０Ａに相当）を備え、前記符号化側インター予測値生成手段は、第１の情報量を有する第１の動きベクトル（例えば、後述の整数精度の動きベクトルや、後述のスキップベクトルに相当）から、当該第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を推定し、当該第２の動きベクトルを用いて前記動き補償予測値を求める動きベクトル最適化手段（例えば、図３の動きベクトル最適化部１３や、図７の動きベクトル最適化部１３Ａに相当）を備え、前記動きベクトル最適化手段は、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定し、前記動画像復号装置は、前記符号化データを復号して前記第１の動きベクトルを求める動きベクトル取得手段（例えば、図４、８のエントロピー復号部１１０に相当）と、前記第１の動きベクトルから、前記第２の情報量を有する第４の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を推定し、当該第４の動きベクトルを用いて動き補償予測値（例えば、図４、８の第１のインター予測値ＳＩＧ５４に相当）を求める復号側インター予測値生成手段（例えば、図４の第１のインター予測値生成部１３０や、図８の第１のインター予測値生成部１３０Ａに相当）と、を備え、前記復号側インター予測値生成手段は、前記第４の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第４の動きベクトルを推定することを特徴とする動画像処理システムを提案している。

この発明によれば、動画像処理システムに、動画像符号化装置および動画像復号装置を設け、動画像符号化装置に、動き補償予測値を求める符号化側インター予測値生成手段を設け、この符号化側インター予測値生成手段に、動きベクトル最適化手段を設けることとした。また、動きベクトル最適化手段により、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、第１の動きベクトルから第２の動きベクトルを推定し、推定した第２の動きベクトルを用いて動き補償予測値を求めることとした。また、動画像復号装置に、動きベクトル取得手段および復号側インター予測値生成手段を設け、動きベクトル取得手段により、第１の動きベクトルを求め、復号側インター予測値生成手段により、第４の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、第１の動きベクトルから第４の動きベクトルを推定し、推定した第４の動きベクトルを用いて動き補償予測値を求めることとした。このため、上述した効果と同様の効果を奏することができる。

（１１） 本発明は、インター予測値生成手段（例えば、図２の第１のインター予測値生成部１０や、図６の第１のインター予測値生成部１０Ａに相当）を備え、動き補償を行う動画像符号化装置における動画像符号化方法であって、前記インター予測値生成手段が、第１の情報量を有する第１の動きベクトル（例えば、後述の整数精度の動きベクトルや、後述のスキップベクトルに相当）から、当該第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を用いて動き補償予測値（例えば、図２、６の第１のインター予測値ＳＩＧ４に相当）を求める第１のステップを備え、前記第１のステップでは、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定することを特徴とする動画像符号化方法を提案している。

この発明によれば、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、第１の動きベクトルから第２の動きベクトルを推定し、推定した第２の動きベクトルを用いて動き補償予測値を求めることとした。このため、上述した効果と同様の効果を奏することができる。

（１２） 本発明は、動きベクトル取得手段（例えば、図４、８のエントロピー復号部１１０に相当）およびインター予測値生成手段（例えば、図４の第１のインター予測値生成部１３０や、図８の第１のインター予測値生成部１３０Ａに相当）を備え、動き補償を行う動画像復号装置における動画像復号方法であって、前記動きベクトル取得手段が、符号化データを復号して第１の情報量を有する第１の動きベクトル（例えば、後述の整数精度の動きベクトルや、後述のスキップベクトルに相当）を求める第１のステップと、前記インター予測値生成手段が、前記第１の動きベクトルから、前記第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を推定し、当該第２の動きベクトルを用いて動き補償予測値（例えば、図４、８の第１のインター予測値ＳＩＧ５４に相当）を求める第２のステップと、を備え、前記第２のステップでは、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定することを特徴とする動画像復号方法を提案している。

この発明によれば、第１の動きベクトルを求め、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、第１の動きベクトルから第２の動きベクトルを推定し、推定した第２の動きベクトルを用いて動き補償予測値を求めることとした。このため、上述した効果と同様の効果を奏することができる。

（１３） 本発明は、インター予測値生成手段（例えば、図２の第１のインター予測値生成部１０や、図６の第１のインター予測値生成部１０Ａに相当）を備え、動き補償を行う動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記インター予測値生成手段が、第１の情報量を有する第１の動きベクトル（例えば、後述の整数精度の動きベクトルや、後述のスキップベクトルに相当）から、当該第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を用いて動き補償予測値（例えば、図２、６の第１のインター予測値ＳＩＧ４に相当）を求める第１のステップを、コンピュータに実行させ、前記第１のステップでは、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定するためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、第１の動きベクトルから第２の動きベクトルを推定し、推定した第２の動きベクトルを用いて動き補償予測値を求めることとした。このため、上述した効果と同様の効果を奏することができる。

（１４） 本発明は、動きベクトル取得手段（例えば、図４、８のエントロピー復号部１１０に相当）およびインター予測値生成手段（例えば、図４の第１のインター予測値生成部１３０や、図８の第１のインター予測値生成部１３０Ａに相当）を備え、動き補償を行う動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記動きベクトル取得手段が、符号化データを復号して第１の情報量を有する第１の動きベクトル（例えば、後述の整数精度の動きベクトルや、後述のスキップベクトルに相当）を求める第１のステップと、前記インター予測値生成手段が、前記第１の動きベクトルから、前記第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトル（例えば、後述の小数精度の動きベクトルに相当）を推定し、当該第２の動きベクトルを用いて動き補償予測値（例えば、図４、８の第１のインター予測値ＳＩＧ５４に相当）を求める第２のステップと、をコンピュータに実行させ、前記第２のステップでは、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定するためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、第１の動きベクトルを求め、第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、第１の動きベクトルから第２の動きベクトルを推定し、推定した第２の動きベクトルを用いて動き補償予測値を求めることとした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、符号化性能の向上と、動き補償の予測性能の低下の抑制と、適用可能範囲の拡大と、を実現することができる。

本発明の第１実施形態に係る動画像処理システムのブロック図である。 本発明の第１実施形態に係る動画像符号化装置のブロック図である。 本発明の第１実施形態に係る動画像符号化装置が備える第１のインター予測値生成部のブロック図である。 本発明の第１実施形態に係る動画像復号装置のブロック図である。 本発明の第２実施形態に係る動画像処理システムのブロック図である。 本発明の第２実施形態に係る動画像符号化装置のブロック図である。 本発明の第２実施形態に係る動画像符号化装置が備える第１のインター予測値生成部のブロック図である。 本発明の第２実施形態に係る動画像復号装置のブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る動画像処理システムＡＡのブロック図である。動画像処理システムＡＡは、動画像を符号化して符号化データ（図２、４の符号化データＳＩＧ２参照）を生成する動画像符号化装置１と、動画像符号化装置１により生成された符号化データを復号する動画像復号装置１００と、を備える。これら動画像符号化装置１と動画像復号装置１００とは、上述の符号化データを、例えば伝送路を介して送受信する。

［動画像符号化装置１の構成および動作］
図２は、動画像符号化装置１のブロック図である。動画像符号化装置１は、第１のインター予測値生成部１０、第２のインター予測値生成部２０、イントラ予測値生成部３０、ＤＣＴ／量子化部４０、逆ＤＣＴ／逆量子化部５０、エントロピー符号化部６０、およびローカルメモリ７０を備える。

第１のインター予測値生成部１０は、入力画像ＳＩＧ１と、ローカルメモリ７０から供給される後述の符号化済み画像ＳＩＧ１２と、を入力とする。この第１のインター予測値生成部１０は、入力画像ＳＩＧ１および符号化済み画像ＳＩＧ１２に基づいて小数精度の動きベクトルを求めた後に、求めた小数精度の動きベクトルに最近傍である整数精度の動きベクトルを求め、第１のインター予測に関する制御情報ＳＩＧ３として出力する。また、第１のインター予測値生成部１０は、第１のインター予測に関する制御情報ＳＩＧ３を用いて動画像復号装置（図４参照）で求められるであろう小数精度の動きベクトルを推定し、推定した小数精度の動きベクトルによる予測値を求め、第１のインター予測値ＳＩＧ４として出力する。以上の第１のインター予測値生成部１０について、図３を用いて以下に詳述する。

図３は、第１のインター予測値生成部１０のブロック図である。第１のインター予測値生成部１０は、小数精度動きベクトル決定部１１、動きベクトル精度整数化部１２、および動きベクトル最適化部１３を備える。

小数精度動きベクトル決定部１１は、入力画像ＳＩＧ１と、符号化済み画像ＳＩＧ１２と、を入力とする。この小数精度動きベクトル決定部１１は、入力画像ＳＩＧ１に含まれる処理ブロックの画像と、符号化済み画像ＳＩＧ１２に含まれる参照フレームの画像と、に基づいて小数精度の動き補償を行って小数精度の動きベクトルを求め、小数精度の動きベクトルＳＩＧ１３として出力する。

動きベクトル精度整数化部１２は、小数精度の動きベクトルＳＩＧ１３を入力とする。この動きベクトル精度整数化部１２は、小数精度の動きベクトルＳＩＧ１３に最近傍である整数精度の動きベクトルを求め、第１のインター予測に関する制御情報ＳＩＧ３として出力する。小数精度の動きベクトルＳＩＧ１３に最近傍である整数精度の動きベクトルは、例えば、小数精度の動きベクトルＳＩＧ１３からのベクトル間距離が最も小さい整数精度の動きベクトルを求めることによって、求められる。

動きベクトル最適化部１３は、第１のインター予測に関する制御情報ＳＩＧ３と、符号化済み画像ＳＩＧ１２と、を入力とする。この動きベクトル最適化部１３は、第１のインター予測に関する制御情報ＳＩＧ３を用いて動画像復号装置（図４参照）で求められるであろう小数精度の動きベクトルを推定し、推定した小数精度の動きベクトルによる予測値を求め、第１のインター予測値ＳＩＧ４として出力する。動きベクトル最適化部１３における処理について、以下に詳述する。

動きベクトル最適化部１３は、まず、第１のインター予測に関する制御情報ＳＩＧ３に含まれる整数精度の動きベクトルに対して小数精度補正を行って、小数精度の動きベクトルを求める。なお、小数精度補正を行う際には、符号化済み画像ＳＩＧ１２に含まれる処理ブロック周辺の画像に対して、参照フレームから得られる予測値が適切な値になるようにする。これによれば、動きベクトル最適化部１３により求められた小数精度の動きベクトルを用いて動き補償予測値を求めた場合に、この動き補償予測値は、処理ブロック周辺の画像に対して適切な値となる。

具体的には、第１のインター予測に関する制御情報ＳＩＧ３に含まれる整数精度の動きベクトルのことを、整数精度の動きベクトルＭＶ１とし、整数精度の動きベクトルＭＶ１に対して小数精度補正を行ったことによって得られた小数精度の動きベクトルのことを、小数精度の動きベクトルＭＶ２とし、小数精度の動きベクトルＭＶ２により得られる予測値を、動き補償予測値Ｐ１とし、処理ブロック周辺の符号化済み画素値を、画素値Ｃ１とする。すると、動きベクトル最適化部１３は、整数精度の動きベクトルＭＶ１を基準として、処理ブロックと、処理ブロック周辺の符号化済み画素と、の境界で動き補償予測値Ｐ１と画素値Ｃ１とが連続となるような小数精度の動きベクトルＭＶ２を求める。

動き補償予測値Ｐ１と画素値Ｃ１とが連続であるか否かは、例えば、以下の第１の方法や、第２の方法や、第３の方法で判定することができる。第１の方法では、処理ブロックと、処理ブロック周辺の符号化済み画素と、の境界で隣接する画素間の画素値差分の絶対値平均または二乗平均を求め、求めた値が最小となる場合に、動き補償予測値Ｐ１と画素値Ｃ１とが最も連続していると判定する。第２の方法では、処理ブロックと、処理ブロック周辺の符号化済み画素と、の境界で隣接する画素間の相関性が最大となる場合に、動き補償予測値Ｐ１と画素値Ｃ１とが最も連続していると判定する。第３の方法では、処理ブロックと、処理ブロック周辺の符号化済み画素と、の境界で隣接する画素間の画素値勾配の変化が最小となる場合に、動き補償予測値Ｐ１と画素値Ｃ１とが最も連続していると判定する。

動きベクトル最適化部１３は、次に、上述の小数精度補正により求められた小数精度の動きベクトルＭＶ２を用いて動き補償予測値Ｐ１を求め、上述の第１のインター予測値ＳＩＧ４とする。

図２に戻って、第２のインター予測値生成部２０は、入力画像ＳＩＧ１と、符号化済み画像ＳＩＧ１２と、を入力とする。この第２のインター予測値生成部２０は、インター予測に基づいて予測値を生成し、第２のインター予測値ＳＩＧ６として出力するとともに、第２のインター予測に関する制御情報（動きベクトルなど）ＳＩＧ５を出力する。

イントラ予測値生成部３０は、入力画像ＳＩＧ１と、符号化済み画像ＳＩＧ１２と、を入力とする。このイントラ予測値生成部３０は、イントラ予測に基づいて予測値を生成し、イントラ予測値ＳＩＧ８として出力するとともに、イントラ予測に関する制御情報（イントラ予測方向など）ＳＩＧ７を出力する。

ＤＣＴ／量子化部４０は、予測残差信号を入力とする。予測残差信号とは、入力画像ＳＩＧ１と、予測値ＳＩＧ９と、の差分信号のことであり、予測値ＳＩＧ９とは、第１のインター予測値ＳＩＧ４と、第２のインター予測値ＳＩＧ６と、イントラ予測値ＳＩＧ８と、のうち最も高い符号化性能の期待される予測方法による予測値のことである。このＤＣＴ／量子化部４０は、予測残差信号に対して直交変換処理を行い、この直交変換処理により得られた変換係数について量子化処理を行って、量子化された変換係数ＳＩＧ１０として出力する。

逆ＤＣＴ／逆量子化部５０は、量子化された変換係数ＳＩＧ１０を入力とする。この逆ＤＣＴ／逆量子化部５０は、量子化された変換係数ＳＩＧ１０に対して逆量子化処理を行い、この逆量子化処理により得られた変換係数に対して逆変換処理を行って、逆直交変換された変換係数ＳＩＧ１１として出力する。

エントロピー符号化部６０は、第１のインター予測に関する制御情報ＳＩＧ３と、第２のインター予測に関する制御情報ＳＩＧ５と、イントラ予測に関する制御情報ＳＩＧ７と、量子化された変換係数ＳＩＧ１０と、を入力とする。このエントロピー符号化部６０は、これら入力された情報に対してエントロピー符号化処理を行って、その結果について、符号化データへの記述規則（符号化シンタックス）にしたがって符号化データに記述し、符号化データＳＩＧ２として出力する。

ローカルメモリ７０は、符号化済み画像ＳＩＧ１２を入力とする。符号化済み画像ＳＩＧ１２とは、予測値ＳＩＧ９と、逆直交変換された変換係数ＳＩＧ１１と、を加算した信号のことである。このローカルメモリ７０は、入力された符号化済み画像ＳＩＧ１２を蓄積し、次の符号化処理単位ブロック以降において過去の符号化済み画像ＳＩＧ１２を参照する必要がある場合に、適宜、第１のインター予測値生成部１０と第２のインター予測値生成部２０とイントラ予測値生成部３０とに符号化済み画像ＳＩＧ１２を供給する。

［動画像復号装置１００の構成および動作］
図４は、動画像復号装置１００のブロック図である。動画像復号装置１００は、エントロピー復号部１１０、逆ＤＣＴ／逆量子化部１２０、第１のインター予測値生成部１３０、第２のインター予測値生成部１４０、イントラ予測値生成部１５０、およびローカルメモリ１６０を備える。

エントロピー復号部１１０は、符号化データＳＩＧ２を入力とする。このエントロピー復号部１１０は、符号化データＳＩＧ２に記載されている内容を符号化データ構造にしたがって解析してエントロピー復号し、残差信号ＳＩＧ５１と、インター予測またはイントラ予測のための制御情報ＳＩＧ５２と、を取得して出力する。

逆ＤＣＴ／逆量子化部１２０は、残差信号ＳＩＧ５１を入力とする。この逆ＤＣＴ／逆量子化部１２０は、残差信号ＳＩＧ５１に対して逆量子化処理を行い、この逆量子化処理より得られた結果に対して逆変換処理を行って、逆直交変換結果ＳＩＧ５３として出力する。

第１のインター予測値生成部１３０は、予測のための制御情報ＳＩＧ５２と、ローカルメモリ１６０から供給される後述の復号済み画像ＳＩＧ５７と、を入力とする。この第１のインター予測値生成部１３０は、予測のための制御情報ＳＩＧ５２を用いて小数精度の動きベクトルを推定し、推定した小数精度の動きベクトルによる予測値を求め、第１のインター予測値ＳＩＧ５４として出力する。第１のインター予測値生成部１３０における処理について、以下に詳述する。

第１のインター予測値生成部１３０は、まず、予測のための制御情報ＳＩＧ５２に含まれる整数精度の動きベクトルに対して小数精度補正を行って、小数精度の動きベクトルを求める。なお、小数精度補正を行う際には、復号済み画像ＳＩＧ５７に含まれる処理ブロック周辺の画像に対して、参照フレームから得られる予測値が適切な値になるようにする。

具体的には、予測のための制御情報ＳＩＧ５２に含まれる整数精度の動きベクトルのことを、整数精度の動きベクトルＭＶ１０１とし、整数精度の動きベクトルＭＶ１０１に対して小数精度補正を行ったことによって得られた小数精度の動きベクトルのことを、小数精度の動きベクトルＭＶ１０２とし、小数精度の動きベクトルＭＶ１０２により得られる予測値を、動き補償予測値Ｐ１００とし、処理ブロック周辺の復号済み画素値を、画素値Ｃ１００とする。すると、第１のインター予測値生成部１３０は、整数精度の動きベクトルＭＶ１０１を基準として、処理ブロックと、処理ブロック周辺の復号済み画素と、の境界で動き補償予測値Ｐ１００と画素値Ｃ１００とが連続となるような小数精度の動きベクトルＭＶ１０２を求める。

動き補償予測値Ｐ１００と画素値Ｃ１００とが連続であるか否かは、例えば、以下の第４の方法や、第５の方法や、第６の方法で判定することができる。第４の方法では、処理ブロックと、処理ブロック周辺の復号済み画素と、の境界で隣接する画素間の画素値差分の絶対値平均または二乗平均を求め、求めた値が最小となる場合に、動き補償予測値Ｐ１００と画素値Ｃ１００とが最も連続していると判定する。第５の方法では、処理ブロックと、処理ブロック周辺の復号済み画素と、の境界で隣接する画素間の相関性が最大となる場合に、動き補償予測値Ｐ１００と画素値Ｃ１００とが最も連続していると判定する。第６の方法では、処理ブロックと、処理ブロック周辺の復号済み画素と、の境界で隣接する画素間の画素値勾配の変化が最小となる場合に、動き補償予測値Ｐ１００と画素値Ｃ１００とが最も連続していると判定する。

第１のインター予測値生成部１３０は、次に、上述の小数精度補正により求められた小数精度の動きベクトルＭＶ１０２を用いて動き補償予測値Ｐ１００を求め、上述の第１のインター予測値ＳＩＧ５４とする。

第２のインター予測値生成部１４０は、予測のための制御情報ＳＩＧ５２と、復号済み画像ＳＩＧ５７と、を入力とする。この第２のインター予測値生成部１４０は、予測のための制御情報ＳＩＧ５２に基づいて動きベクトルを求め、求めた動きベクトルにしたがって復号済み画像ＳＩＧ５７の画素値を参照して、第２のインター予測値ＳＩＧ５５を生成して出力する。

イントラ予測値生成部１５０は、予測のための制御情報ＳＩＧ５２と、復号済み画像ＳＩＧ５７と、を入力とする。このイントラ予測値生成部１５０は、予測のための制御情報ＳＩＧ５２に基づいてイントラ予測方向を求め、求めたイントラ予測方向にしたがって復号済み画像ＳＩＧ５７の画素値を参照して、イントラ予測値ＳＩＧ５６を生成して出力する。

第１のインター予測値ＳＩＧ５４と、第２のインター予測値ＳＩＧ５５と、イントラ予測値ＳＩＧ５６と、のうちいずれかと、逆直交変換結果ＳＩＧ５３と、を加算した信号は、復号済み画像ＳＩＧ５７として、動画像復号装置１００から出力されるとともに、ローカルメモリ１６０に供給される。

ローカルメモリ１６０は、復号済み画像ＳＩＧ５７を入力とする。このローカルメモリ１６０は、入力された復号済み画像ＳＩＧ５７を蓄積し、次の復号処理単位ブロック以降において過去の復号済み画像ＳＩＧ５７を参照する必要がある場合に、適宜、第１のインター予測値生成部１３０と第２のインター予測値生成部１４０とイントラ予測値生成部１５０とに供給する。

以上の動画像符号化装置１および動画像復号装置１００によれば、以下の効果を奏することができる。

動画像符号化装置１は、動きベクトル最適化部１３により求められた小数精度の動きベクトルＭＶ２を用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、動きベクトル精度整数化部１２により求められた整数精度の動きベクトルＭＶ１から小数精度の動きベクトルＭＶ２を推定し、推定した小数精度の動きベクトルＭＶ２を用いて動き補償予測値Ｐ１を求める。また、動画像復号装置１００は、符号化データＳＩＧ２から整数精度の動きベクトルＭＶ１０１を得て、小数精度の動きベクトルＭＶ１０２を用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、整数精度の動きベクトルＭＶ１０１から小数精度の動きベクトルＭＶ１０２を推定し、推定した小数精度の動きベクトルＭＶ１０２を用いて動き補償予測値Ｐ１００を求める。

このため、動画像符号化装置１から動画像復号装置１００に送られる符号化データＳＩＧ２に整数精度の動きベクトルが含まれることになるので、動画像符号化装置１から動画像復号装置１００に送られる符号化データＳＩＧ２に小数精度の動きベクトルが含まれる場合と比べて、動画像符号化装置１から動画像復号装置１００に送る情報量を削減することができる。したがって、符号化性能を向上させることができる。

また、動画像符号化装置１と動画像復号装置１００とは、同じ小数精度の動きベクトルを用いて動き補償を行うことができる。したがって、動き補償の予測性能の低下を抑制することができる。

さらに、Ｂピクチャにしか適用することができないといった制約がない。このため、適用可能範囲を拡大することができる。

また、動画像符号化装置１は、小数精度の動きベクトルＭＶ２を用いて求めた動き補償予測値Ｐ１と、処理ブロック周辺の符号化済み画像の画素値と、の連続性に基づいて、小数精度の動きベクトルＭＶ２を用いて求めた動き補償予測値Ｐ１が、処理ブロック周辺の符号化済み画像に対して適切な値となっているか否かを判定する。また、動画像復号装置１００は、小数精度の動きベクトルＭＶ１０２を用いて求めた動き補償予測値Ｐ１００と、処理ブロック周辺の復号済み画像の画素値と、の連続性に基づいて、小数精度の動きベクトルＭＶ１０２を用いて求めた動き補償予測値Ｐ１００が、処理ブロック周辺の復号済み画像に対して適切な値となっているか否かを判定する。このため、小数精度の動きベクトルとして、整数精度の動きベクトルよりも高い動き補償予測性能を実現する動きベクトルを推定することができるので、動き補償の予測性能の低下をさらに抑制することができる。

＜第２実施形態＞
図５は、本発明の第２実施形態に係る動画像処理システムＢＢのブロック図である。動画像処理システムＢＢは、図１に示した本発明の第１実施形態動画像処理システムＡＡとは、動画像符号化装置１の代わりに動画像符号化装置１Ａを備える点と、動画像復号装置１００の代わりに動画像復号装置１００Ａを備える点と、で異なる。

［動画像符号化装置１Ａの構成および動作］
図６は、動画像符号化装置１Ａのブロック図である。動画像符号化装置１Ａは、図２に示した本発明の第１実施形態に係る動画像符号化装置１とは、第１のインター予測値生成部１０の代わりに第１のインター予測値生成部１０Ａを備える点が異なる。なお、動画像符号化装置１Ａにおいて、動画像符号化装置１と同一構成要件については、同一符号を付し、その説明を省略する。

第１のインター予測値生成部１０Ａは、ローカルメモリ７０から供給される符号化済み画像ＳＩＧ１２を入力とする。この第１のインター予測値生成部１０Ａは、処理ブロック周辺の符号化済みブロックにおける動きベクトルに基づいてスキップベクトルを求め、求めたスキップベクトルを用いて動画像復号装置（図８参照）で求められるであろう小数精度の動きベクトルを推定し、推定した小数精度の動きベクトルによる予測値を求め、第１のインター予測値ＳＩＧ４として出力する。以上の第１のインター予測値生成部１０Ａについて、図７を用いて以下に詳述する。

図７は、第１のインター予測値生成部１０Ａのブロック図である。第１のインター予測値生成部１０Ａは、スキップベクトル決定部１４および動きベクトル最適化部１３Ａを備える。

スキップベクトル決定部１４は、符号化済み画像ＳＩＧ１２を入力とする。このスキップベクトル決定部１４は、符号化済み画像ＳＩＧ１２に含まれている処理ブロック周辺の符号化済みブロックにおける動きベクトルに基づいて、スキップベクトルを求め、スキップベクトルＳＩＧ１４として出力する。なお、処理ブロック周辺の符号化済みブロックにおける制御情報（動きベクトルを含む）を蓄積するメモリを動画像符号化装置１Ａに設けた場合には、スキップベクトル決定部１４は、処理ブロック周辺の符号化済みブロックにおける制御情報をこのメモリから読み出して、処理ブロック周辺の符号化済みブロックにおける動きベクトルを取得するものとしてもよい。

動きベクトル最適化部１３Ａは、符号化済み画像ＳＩＧ１２と、スキップベクトルＳＩＧ１４と、を入力とする。この動きベクトル最適化部１３Ａは、スキップベクトルＳＩＧ１４を用いて動画像復号装置（図８参照）で求められるであろう小数精度の動きベクトルを推定し、推定した小数精度の動きベクトルによる予測値を求め、第１のインター予測値ＳＩＧ４として出力する。動きベクトル最適化部１３Ａにおける処理について、以下に詳述する。

動きベクトル最適化部１３Ａは、まず、スキップベクトルＳＩＧ１４に対して小数精度補正を行って、小数精度の動きベクトルを求める。なお、小数精度補正を行う際には、符号化済み画像ＳＩＧ１２に含まれる処理ブロック周辺の画像に対して、参照フレームから得られる予測値が適切な値になるようにする。これによれば、動きベクトル最適化部１３Ａにより求められた小数精度の動きベクトルを用いて動き補償予測値を求めた場合に、この動き補償予測値は、処理ブロック周辺の画像に対して適切な値となる。

具体的には、スキップベクトルＳＩＧ１４のことを、スキップベクトルＭＶ２０１とし、スキップベクトルＭＶ２０１に対して小数精度補正を行ったことによって得られた小数精度の動きベクトルのことを、小数精度の動きベクトルＭＶ２０２とし、小数精度の動きベクトルＭＶ２０２により得られる予測値を、動き補償予測値Ｐ２０１とし、処理ブロック周辺の符号化済み画素値を、画素値Ｃ２０１とする。すると、動きベクトル最適化部１３Ａは、スキップベクトルＭＶ２０１を基準として、処理ブロックと、処理ブロック周辺の符号化済み画素と、の境界で動き補償予測値Ｐ２０１と画素値Ｃ２０１とが連続となるような小数精度の動きベクトルＭＶ２０２を求める。なお、動き補償予測値Ｐ２０１と画素値Ｃ２０１とが連続であるか否かは、上述の第１の方法や、第２の方法や、第３の方法で判定することができる。

動きベクトル最適化部１３Ａは、次に、上述の小数精度補正により求められた小数精度の動きベクトルＭＶ２０２を用いて動き補償予測値Ｐ２０１を求め、上述の第１のインター予測値ＳＩＧ４とする。

［動画像復号装置１００Ａの構成および動作］
図８は、動画像復号装置１００Ａのブロック図である。動画像復号装置１００Ａは、図４に示した本発明の第１実施形態に係る動画像復号装置１００とは、第１のインター予測値生成部１３０の代わりに第１のインター予測値生成部１３０Ａを備える点が異なる。なお、動画像復号装置１００Ａにおいて、動画像復号装置１００と同一構成要件については、同一符号を付し、その説明を省略する。

第１のインター予測値生成部１３０Ａは、予測のための制御情報ＳＩＧ５２と、ローカルメモリ１６０から供給される復号済み画像ＳＩＧ５７と、を入力とし、エントロピー復号部１１０によるエントロピー復号によりスキップフラグが得られた場合に動作する。この第１のインター予測値生成部１３０Ａは、予測のための制御情報ＳＩＧ５２を用いて小数精度の動きベクトルを推定し、推定した小数精度の動きベクトルによる予測値を求め、第１のインター予測値ＳＩＧ５４として出力する。第１のインター予測値生成部１３０Ａにおける処理について、以下に詳述する。

第１のインター予測値生成部１３０Ａは、まず、復号済み画像ＳＩＧ５７に含まれている処理ブロック周辺の復号済みブロックにおける動きベクトルに基づいて、スキップベクトルを求める。なお、処理ブロック周辺の復号済みブロックにおける制御情報（動きベクトルを含む）を蓄積するメモリを動画像復号装置１００Ａに設けた場合には、第１のインター予測値生成部１３０Ａは、処理ブロック周辺の復号済みブロックにおける制御情報をこのメモリから読み出して、処理ブロック周辺の復号済みブロックにおける動きベクトルを取得するものとしてもよい。

第１のインター予測値生成部１３０Ａは、次に、求めたスキップベクトルに対して小数精度補正を行って、小数精度の動きベクトルを求める。なお、小数精度補正を行う際には、復号済み画像ＳＩＧ５７に含まれる処理ブロック周辺の画像に対して、参照フレームから得られる予測値が適切な値になるようにする。

具体的には、上述のようにして求めたスキップベクトルのことを、スキップベクトルＭＶ３０１とし、スキップベクトルＭＶ３０１に対して小数精度補正を行ったことによって得られた小数精度の動きベクトルのことを、小数精度の動きベクトルＭＶ３０２とし、小数精度の動きベクトルＭＶ３０２により得られる予測値を、動き補償予測値Ｐ３００とし、処理ブロック周辺の復号済み画素値を、画素値Ｃ３００とする。すると、第１のインター予測値生成部１３０Ａは、スキップベクトルＭＶ３０１を基準として、処理ブロックと、処理ブロック周辺の復号済み画素と、の境界で動き補償予測値Ｐ３００と画素値Ｃ３００とが連続となるような小数精度の動きベクトルＭＶ３０２を求める。なお、動き補償予測値Ｐ３００と画素値Ｃ３００とが連続であるか否かは、上述の第４の方法や、第５の方法や、第６の方法で判定することができる。

以上の動画像符号化装置１Ａおよび動画像復号装置１００Ａによれば、本発明の第１実施形態に係る動画像符号化装置１および動画像復号装置１００が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

動画像符号化装置１および動画像復号装置１００では、動画像符号化装置１から動画像復号装置１００に整数精度の動きベクトルを送り、この整数精度の動きベクトルから小数精度の動きベクトルを動画像復号装置１００で求めることができた。一方、動画像符号化装置１Ａおよび動画像復号装置１００Ａでは、スキップモードにおいて、動画像符号化装置１Ａから動画像復号装置１００Ａに動きベクトルを送ることなく、スキップベクトルから小数精度の動きベクトルを動画像復号装置１００Ａで求めることができる。

なお、本発明の動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置１、１Ａや動画像復号装置１００、１００Ａにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第１実施形態では、動画像符号化装置１から動画像復号装置１００に整数精度の動きベクトルを送り、この整数精度の動きベクトルから小数精度の動きベクトルを動画像復号装置１００で求めることとした。しかし、動画像符号化装置１から動画像復号装置１００に送る動きベクトルの情報量が、動画像復号装置１００で求める動きベクトルの情報量よりも少なければよい。具体的には、動画像符号化装置１から動画像復号装置１００に送る動きベクトルと、動画像復号装置１００で求める動きベクトルと、の組み合わせは、例えば、１／２画素精度の動きベクトルと１／４画素精度の動きベクトルとの組み合わせや、整数精度で１ピクセル飛ばしの座標における動きベクトルと整数精度で各座標における動きベクトルとの組み合わせなどであってもよい。

ＡＡ、ＢＢ・・・動画像処理システム
１、１Ａ・・・動画像符号化装置
１０、１０Ａ、１３０、１３０Ａ・・・第１のインター予測値生成部
１１・・・小数精度動きベクトル決定部
１２・・・動きベクトル精度整数化部
１３、１３Ａ・・・動きベクトル最適化部
１４・・・スキップベクトル決定部
２０・・・第２のインター予測値生成部
１００、１００Ａ・・・動画像復号装置

Claims (14)

1. 動き補償を行う動画像符号化装置であって、
   動き補償予測値を求めるインター予測値生成手段を備え、
   前記インター予測値生成手段は、第１の情報量を有する第１の動きベクトルから、当該第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトルを用いて前記動き補償予測値を求める動きベクトル最適化手段を備え、
   前記動きベクトル最適化手段は、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定することを特徴とする動画像符号化装置。
2. 前記動きベクトル最適化手段は、前記第２の動きベクトルを用いて求めた動き補償予測値と、処理ブロック周辺の符号化済み画像の画素値と、の連続性に基づいて、当該第２の動きベクトルを用いて求めた動き補償予測値が、当該処理ブロック周辺の符号化済み画像に対して適切な値となっているか否かを判定することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記インター予測値生成手段は、
   前記第２の情報量を有する第３の動きベクトルを求める動きベクトル決定手段と、
   前記第３の動きベクトルを、前記第１の情報量を有する動きベクトルで表現して、前記第１の動きベクトルとする動きベクトル表現手段と、を備えることを特徴とする請求項１または２に記載の動画像符号化装置。
4. 前記第３の動きベクトルおよび前記第２の動きベクトルは、ｎ画素精度（ｎは、ｎ＞０を満たす任意の実数）の動きベクトルであり、
   前記第１の動きベクトルは、ｍ画素精度（ｍは、ｍ＞ｎを満たす任意の実数）の動きベクトルであることを特徴とする請求項３に記載の動画像符号化装置。
5. 前記第１の動きベクトルは、スキップベクトルであり、
   前記第２の動きベクトルは、小数精度の動きベクトルであることを特徴とする請求項１または２に記載の動画像符号化装置。
6. 動き補償を行う動画像復号装置であって、
   符号化データを復号して第１の情報量を有する第１の動きベクトルを求める動きベクトル取得手段と、
   前記第１の動きベクトルから、前記第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトルを用いて動き補償予測値を求めるインター予測値生成手段と、を備え、
   前記インター予測値生成手段は、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定することを特徴とする動画像復号装置。
7. 前記インター予測値生成手段は、前記第２の動きベクトルを用いて求めた動き補償予測値と、処理ブロック周辺の復号済み画像の画素値と、の連続性に基づいて、当該第２の動きベクトルを用いて求めた動き補償予測値が、当該処理ブロック周辺の復号済み画像に対して適切な値となっているか否かを判定することを特徴とする請求項６に記載の動画像復号装置。
8. 前記第２の動きベクトルは、ｐ画素精度（ｐは、ｐ＞０を満たす任意の実数）の動きベクトルであり、
   前記第１の動きベクトルは、ｑ画素精度（ｑは、ｑ＞ｐを満たす任意の実数）の動きベクトルであることを特徴とする請求項６または７に記載の動画像復号装置。
9. 前記第１の動きベクトルは、スキップベクトルであり、
   前記第２の動きベクトルは、小数精度の動きベクトルであることを特徴とする請求項６または７に記載の動画像復号装置。
10. 動画像を符号化して符号化データを生成する動画像符号化装置と、当該動画像符号化装置により生成された当該符号化データを復号する動画像復号装置と、を備える動画像処理システムであって、
    前記動画像符号化装置は、動き補償予測値を求める符号化側インター予測値生成手段を備え、
    前記符号化側インター予測値生成手段は、第１の情報量を有する第１の動きベクトルから、当該第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトルを用いて前記動き補償予測値を求める動きベクトル最適化手段を備え、
    前記動きベクトル最適化手段は、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定し、
    前記動画像復号装置は、
    前記符号化データを復号して前記第１の動きベクトルを求める動きベクトル取得手段と、
    前記第１の動きベクトルから、前記第２の情報量を有する第４の動きベクトルを推定し、当該第４の動きベクトルを用いて動き補償予測値を求める復号側インター予測値生成手段と、を備え、
    前記復号側インター予測値生成手段は、前記第４の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第４の動きベクトルを推定することを特徴とする動画像処理システム。
11. インター予測値生成手段を備え、動き補償を行う動画像符号化装置における動画像符号化方法であって、
    前記インター予測値生成手段が、第１の情報量を有する第１の動きベクトルから、当該第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトルを用いて動き補償予測値を求める第１のステップを備え、
    前記第１のステップでは、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定することを特徴とする動画像符号化方法。
12. 動きベクトル取得手段およびインター予測値生成手段を備え、動き補償を行う動画像復号装置における動画像復号方法であって、
    前記動きベクトル取得手段が、符号化データを復号して第１の情報量を有する第１の動きベクトルを求める第１のステップと、
    前記インター予測値生成手段が、前記第１の動きベクトルから、前記第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトルを用いて動き補償予測値を求める第２のステップと、を備え、
    前記第２のステップでは、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定することを特徴とする動画像復号方法。
13. インター予測値生成手段を備え、動き補償を行う動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
    前記インター予測値生成手段が、第１の情報量を有する第１の動きベクトルから、当該第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトルを用いて動き補償予測値を求める第１のステップを、コンピュータに実行させ、
    前記第１のステップでは、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の符号化済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定するためのプログラム。
14. 動きベクトル取得手段およびインター予測値生成手段を備え、動き補償を行う動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記動きベクトル取得手段が、符号化データを復号して第１の情報量を有する第１の動きベクトルを求める第１のステップと、
    前記インター予測値生成手段が、前記第１の動きベクトルから、前記第１の情報量よりも情報量の多い第２の情報量を有する第２の動きベクトルを推定し、当該第２の動きベクトルを用いて動き補償予測値を求める第２のステップと、をコンピュータに実行させ、
    前記第２のステップでは、前記第２の動きベクトルを用いて求めた動き補償予測値が、処理ブロック周辺の復号済み画像に対して適切な値となるように、前記第１の動きベクトルから当該第２の動きベクトルを推定するためのプログラム。

Images