JP2005110170A - 符号化映像復号化装置、多重化メディア再生装置及びマルチメディア情報再生装置 - Google Patents

Abstract

【課題】 符号化された映像を復号した信号に適切なフィルタを施し、画質を向上させる。
【解決手段】 符号化された映像の符号化の特性を示す情報である符号化情報３０７を映像復号化処理部３０１より取得し、空間的分布特性マップ情報生成部３０２により、フレーム毎に符号化情報の空間的な分布に関する情報である空間的分布特性マップ情報３０８を生成し、空間的符号化戦略情報算出部３０３により、映像が符号化された際の戦略を示す情報である空間的符号化戦略情報３０９を算出し、これに基づいてフィルタの領域、種類、強度をフィルタ戦略決定部３０４を決定して、フィルタ実行部でフィルタを施す。
【選択図】 図３

Description

本発明は、符号化した映像を復号化する装置に関するものである。特に、映像の符号化の戦略を算出して、それに基づいて復号化された映像にフィルタを施すことに特徴がある装置に関する。

映像の復号化について述べるために、まず、映像の符号化がどのように行なわれるかについて説明する。

図１は、映像の符号化を行なう映像符号化装置の機能ブロック図を例示する。図１に例示される映像符号化装置１００は、ＩＳＯ／ＩＥＣが標準化を進めているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の規格に基づき、映像を符号化する装置である。図１において、映像符号化装置１００は、入力部１０１と、減算部１０２と、ＤＣＴ部１０３と、量子化部１０４と、ＶＬＣ部１０５と、逆量子化部１０６と、加算部１０８と、フレームメモリ１０９と、出力部１１０と、を備えている。

入力部１０１は、映像信号を１フレーム毎に減算部１０２に出力する。

減算部１０２は、入力部１０１より入力される画像信号から、フレームメモリ１０９より入力される予測画像を減算して予測誤差を求め、それをＤＣＴ部１０３に出力する。

ＤＣＴ部１０３は入力された予測誤差に対して映像符号化単位であるブロック単位（通常は８×８の大きさのブロックを単位とする。）に離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を施し、算出されたＤＣＴ係数を量子化部１０４に出力する。

量子化部１０４は、入力されたＤＣＴ係数を量子化情報に基づいて量子化を行なって量子化ＤＣＴ係数をＶＬＣ部１０５及び逆量子化部１０６に出力する。

ＶＬＣ部１０５は、量子化ＤＣＴ係数を可変長符号化し、出力部１１０に出力する。なお、ＶＬＣ部の「ＶＬＣ」とは、Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅの略である。

逆量子化部１０６は、量子化ＤＣＴ係数を逆量子化した逆量子化ＤＣＴ係数を求め、それを逆ＤＣＴ部１０７に出力する。

逆ＤＣＴ部１０７は、逆量子化ＤＣＴ係数を逆ＤＣＴ変換し、復号化した予測誤差を加算部１０８に出力する。

加算部１０８は、逆ＤＣＴ部１０７より入力される予測誤差とフレームメモリ１０９から入力される１フレーム前の復号化画像を加算し、現在の復号化画像を算出し、フレームメモリ１０９に出力する。

フレームメモリ１０９は、加算部１０８より入力される復号化画像を用いて内部バッファを更新し、復号化画像を減算部１０２及び加算部１０８に出力する。

映像符号化装置１００において、ＤＣＴ部１０３によりＤＣＴ変換（直交変換）を行なうことにより、空間方向の冗長度を取り除くことが行われるが、また、時間軸の方向の冗長度を取り除くために、動きベクトルを求め、その出力も行なわれる。「動きベクトル」とは、フレームをブロックに分割し（通常は１６×１６の大きさのブロックであるマクロブロックが使用される。）、各ブロックを１フレーム前の画像の上でスライドさせて、最もよくマッチする部分を探し出し、そのマッチする部分へ移動するシフトの方向及び距離を示すベクトルである。このようなベクトルにより、ブロックの移動が予測でき、この予測に基づき、予測画像が構成される。

図２は、図１の映像符号化装置１００により符号化された動画像を復号化する符号化映像復号化装置の機能ブロック図を示す。図２において、符号化映像復号化装置２００は、入力部２０１と、ＶＬＤ部２０２と、逆量子化部２０３と、逆ＤＣＴ部２０４と、加算部２０５と、フレームメモリ２０６と、フィルタ部２０７と、出力部２０８とを備えている。

入力部２０１は、符号化された映像を入力する。

ＶＬＤ部２０２は、ＶＬＣ部１０５に対応し、可変長符号化された量子化ＤＣＴ係数を求めて逆量子化部２０３に出力する。また、動きベクトルをフレームメモリ２０６に出力する。なお、ＶＬＤ部の「ＶＬＤ」は、Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｅの略である。

逆量子化部２０３は、量子化ＤＣＴ係数を逆量子化した逆量子化ＤＣＴ係数を求め、逆ＤＣＴ部２０４に出力する。

逆ＤＣＴ部２０４は、逆量子化ＤＣＴ係数を逆ＤＣＴ変換し、その変換結果を加算部２０５に出力する。

加算部２０５は、逆ＤＣＴ部２０４が逆ＤＣＴ変換して出力する予測誤差とフレームメモリ２０６の内容を加算して現在のフレームを得て、フィルタ部２０７に出力する。

フレームメモリ２０６は、ＶＬＤ部２０２の出力する動きベクトルと、加算部２０５の出力する画像とを入力として、次のフレーム内容を生成し、内部バッファを更新するとともに、フレーム内容を加算部２０５に出力する。

フィルタ部２０７は、符号化された動画像に対して画質を向上させるためのフィルタを施し、出力部２０８に出力する。

出力部２０８は、フィルタ部２０７により入力された映像信号を外部に出力する。

フィルタ部２０７でフィルタを施す理由は次の通りである。すなわち、一般に、映像の符号化に際しては制限が多い。例えば、ビット量が限られていたり、フレーム数が固定されていたり、高い画質が要求されたりする。そこで、映像符号化装置は、この制限を克服するために、符号化された映像の圧縮を行なう。例えば、量子化値の値を大きくしたり、ＤＣＴ変換で得られる高周波成分を落としたりする。このように圧縮されて符号化された映像を、符号化映像復号化装置で復号して再生を行なうと、例えば、量子化によるノイズが発生したり、ＤＣＴ変換によるブロックノイズやモスキートノイズが発生したりする。このため、これらのノイズを除去あるいは目立たないようにするために、映像信号に種々のフィルタを施すのである。

しかしながら、フィルタを過度に施すと、逆に画質の劣化を招いてしまう。そこで、入力部２０１に入力される符号化された映像の情報量や動きベクトル情報に基づいて、フィルタの強度を変更することが行なわれている（例えば、特許文献１参照。）
特開平１１−４６３６２号公報（請求項１） 特開平１０−５６６４６号公報 特開平１１−１７７８５０号公報 特開平１１−２７５５８４号公報

しかしながら、映像符号化装置は、映像の全体を一様な重み付けで符号化を行なうのではなく、符号化を行なうための戦略に基づいて映像の符号化を行なうのが通常である。そのような戦略としては、次のものを挙げることができる。（１）復号化された映像を見る者が注視しそうな画面中の一部のエリアを高画質に符号化を行なう場合がある。例えば、監視において対象物が写っている領域を他の領域より高画質に符号化を行なう。（２）映像を見る者が注視しそうなシーン（例えば、監視において対象物が写っているシーンなど）またはシーン中の一部のエリア、などにおける移動物体の動きを良く再現しようとして、他のシーンやエリアより高画質に符号化を行なう。（３）利用可能なビット量が増えた時点で符号化された映像にビット量を多く割り振ろうとして、それまでより高画質な映像を提供しようとする。（４）同じ画面内に他のメディアが再生される場合（例えば、映像がマルチメディア情報の一素材データとして運用され、他のメディアとして文字情報や静止画像などと共に再生される場合など）、他のメディアが表示されるエリア及びその近傍の注視度が高くなると判断して、そのエリア及び近傍を他のエリア及び近傍より高画質に符号化する。（５）画面内にテロップなどの他のメディアが重なって表示される場合、他のメディアが重ねられるエリアの詳細は見えない、あるいは、そのエリアへの注視度は低いものと判断して、そのエリアを非高画質に符号化し、そのエリア以外を高画質に符号化する。

したがって、このような符号化を行なうための戦略（以下、「符号化戦略」という。）を無視して復号化時にフィルタを施してしまうと、映像の符号化を行なう側の意図との齟齬が発生して、逆に画質が落ちてしまうという課題がある。

また、フィルタを正確に施そうとして、復号化された映像の全ての画素を解析するためには、膨大な計算量が必要とされ、例えば、携帯端末では、そのような解析を行なうことが事実上不可能であるという課題がある。

また、符号化戦略とは、映像符号化時の符号化パラメータの決定に影響を与えるものであるが、前述の通り符号化に際してはビット量やフレーム数などの厳しい制約がある場合が殆どのため、結果として算出された全ての符号化パラメータや、全ての符号化パラメータの変化の傾向にそのまま反映されるものではない。このため、映像の符号化パラメータから符号化戦略情報は単純に導出できないという課題がある。
このような課題があるために、従来の技術で挙げた文献では、複合化された映像の全ての画素を解析することなく、符号化映像の符号化パラメータから適切なフィルタの種類／強度を算出することが述べられている。しかし、その算出においては、符号化映像の各フレームあるいは代表的なフレームの符号化パラメータをそのまま用いるのみであり、符号化戦略情報を用いることはしていない。このため従来の技術では、符号化の際の意図に反した種別／強度のフィルタを施してしまう場合があり、結果として画質の向上が達成できない場合があった。

そこで、本発明は、符号化された映像の符号化の情報から、映像の符号化に用いられた戦略を算出して、施すべきフィルタの領域、種類又は／及び強度を決定し、必要とされる計算量を抑えつつ、適正なフィルタを施し、画質を向上させることを目的とする。

この課題を解決するために本発明は、映像の符号化の情報から、映像の符号化に用いられた戦略を示す情報を算出あるいは解析し、その戦略を示す情報に基づいて、施すべきフィルタを決定する。

より具体的には、第一に、符号化された映像の符号化の特性を示す情報である符号化情報を取得し、フレーム毎に符号化情報の空間的な分布に関する情報である空間的分布特性マップ情報を生成し、その空間的分布特性マップ情報に基づいて、空間的符号化戦略情報を算出し、その空間的符号化戦略情報に基づいて、映像に施すべきフィルタを決定する。

第二に、符号化情報を取得し、フレームの符号化情報の時間的な分布に関する情報である時間的分布特性マップ情報を生成し、その時間的分布特性マップ情報に基づいて時間的符号化戦略情報を算出し、その時間的符号化戦略情報に基づいて、映像に施すべきフィルタを決定する。

第三に、符号化情報を取得し、フレームの符号化情報の空間的かつ時間的な分布に関する情報である映像符号化特性マップ情報を生成し、その映像符号化特性マップ情報に基づいて符号化戦略情報を算出し、その符号化戦略情報に基づいて、映像に施すべきフィルタを決定する。

第四に、他の符号化メディアと符号化された映像が多重化されている場合には、それぞれの符号化メディアが符号化された際の符号化情報を取得し、符号化情報の時間的な特性を示す情報である時間的メディア符号化特性マップ情報を生成し、その時間的メディア符号化特性マップ情報に基づいて、映像符号化戦略情報を算出し、その映像符号化戦略情報に基づいて、映像に施すべきフィルタを決定する。

第五に、他の符号化メディアと符号化された映像が多重化されている場合には、多重化されたメディアを分離する際に、メディアの多重化に関する情報である多重化情報を取得し、符号化メディアの多重化の時間的な推移を示す情報である時間的多重化特性マップ情報を生成し、時間的多重化特性マップ情報に基づいて、映像が符号化された際の符号化の戦略である映像符号化戦略情報を算出し、その映像符号化戦略情報に基づいて、映像に施すべきフィルタを決定する。

第六に、符号化された映像を含むマルチメディア情報を構成する各メディアの振る舞いを示すシナリオ情報を解析し、シナリオ情報に基づいてマルチメディア情報の時間的な遷移を示す情報である時間的遷移特性情報を生成し、時間的遷移特性情報から、映像符号化戦略情報を算出し、その映像符号化戦略情報に基づいて、映像に施すべきフィルタを決定する。

このように映像の符号化の戦略を示す情報を算出し、その情報に基づいて、映像に施すべきフィルタを決定することにより、画質が向上し、また、膨大な計算量が要求されることを無くすことができるので、課題が解決される。

本発明によれば、映像が符号化された際の戦略を算出し、その戦略に基づいてフィルタの種類又は／及び強度が決定されるので、画質が向上し、また、全画面のノイズを検出するための計算などの膨大な計算量が要求されないようにすることができる。

以下、本発明の実施形態について図を用いて説明する。なお、本発明は、これら実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。

（実施形態１：主に請求項１、２、１３、１４に対応する）
本発明の実施形態１においては、まず、次の符号化映像復号化装置が提供される。すなわち、符号化された映像の符号化の特性を示す情報である符号化情報を取得し、フレーム毎に符号化情報の空間的な分布に関する情報である空間的分布特性マップ情報を生成し、その空間的分布特性マップ情報に基づいて、空間的符号化戦略情報を算出し、その空間的符号化戦略情報に基づいて、映像に施すべきフィルタを決定する符号化映像復号化装置が提供される。

（実施形態１：構成）
図３は、実施形態１に関する符号化映像復号化装置の機能ブロック図を例示する。符号化映像復号化装置３００は、映像復号化処理部３０１と、空間的分布特性マップ情報生成部３０２と、空間的符号化戦略情報算出部３０３と、フィルタ戦略決定部３０４と、フィルタ実行部３０５とを備える。

（実施形態１：映像復号化処理部）
「映像復号化処理部」３０１は、復号映像信号を生成する。「復号映像信号」は、符号化映像を復号した信号である。「符号化映像」とは、符号化された映像である。例えば、ＭＰＥＧの仕様に基づいて符号化された映像である。したがって、映像復号化処理部は、例えば、図２に例示された符号化映像復号化装置２００を用いて実現される。

（実施形態１：空間的分布特性マップ情報生成部）
「空間的分布特性マップ情報生成部」３０２は、符号化情報を映像復号化処理部３０１より取得し、フレーム毎に空間的分布特性マップ情報を生成する。

（実施形態１：符号化情報）
「符号化情報」とは、符号化映像の符号化の特性を示す情報である。例えば、映像がＭＰＥＧにより符号化された場合には、どのような量子化値が用いられて符号化されたかを示す情報（すなわち、量子化値に関する情報）、ブロックあるいはマクロブロックの符号量がどれだけになっているかを示す情報（すなわち、ブロックの符号量に関する情報）、動きベクトルがどのように算出されたかを示す情報（すなわち、動きベクトルに関する情報）、ビデオパケットがどのように区切られたかを示す情報（すなわち、ビデオパケットの区切りに関する情報）である。

（実施形態１：空間的分布特性マップ情報）
「空間的分布特性マップ情報」とは、符号化情報の空間的な分布に関する情報である。例えば、映像が符号化された際の量子化値の空間的な分布、ブロックあるいはマクロブロックの符号量の空間的な分布、動きベクトルに関する情報の空間的な分布、ビデオパケットの区切りの空間的な分布、に関する情報である。「空間的な分布に関する情報」とは、映像の一つのフレーム内の位置に応じた情報である。また、例えば、量子化値の空間的な分布の場合、具体的にいくつの量子化値が用いられたかについての情報でなくても、特定の値より大きいかどうかを示す情報であってもよい。

（実施形態１：空間的分布特性マップ情報の例（主に請求項２に対応））
図４は空間的分布特性マップ情報の例を示す。斜線のブロックは、例えば、特定の値より大きな量子化値を用いて符号化された部分であり、斜線が書かれていないブロックは、特定の値と等しいか小さな量子化値を用いて符号化された部分である。あるいは、斜線のブロックは、特定の値より小さな符号量を持ち、斜線が書かれていないブロックは、特定の値と等しいか大きな符号量を持つことを示していてもよい。

（実施形態１：空間的符号化戦略情報算出部）
「空間的符号化戦略情報算出部」３０３は、空間的分布特性マップ情報生成部３０２が生成した空間的分布特性マップ情報に基づいて、空間的符号化戦略情報を算出する。「空間的符号化戦略情報」とは、映像が符号化された際の空間的戦略を示す情報である。例えば、映像符号化装置が映像を符号化する際に、フレームのどの部分を高画質化して符号化を行なったかを示す情報である。なお、「算出」とあるので、空間的符号化戦略情報算出部３０３が算出した空間的符号化戦略情報が、映像符号化装置による映像の符号化の戦略と異なっていてもよい（他の実施形態における「算出」についても同様のことが言える。）。

（実施形態１：空間的符号化戦略情報の例）
図５は、空間的符号化戦略情報の例を示す。この空間的符号化戦略情報は、図４に示した空間的分布特性マップ情報に基づいて生成されたものである。図４において、斜線のブロックが特定の値より大きな量子化値を用いて符号化された部分、あるいは、特定の値より小さな符号量を持っている部分を示すとする。この場合、空間的符号化戦略情報算出部３０３は、映像符号化装置は、斜線の部分を低画質に符号化を行ない、そうでない部分は高画質に符号化を行なったと判断する。ただし、空間的符号化戦略情報算出部３０３は、高画質に符号化を行なう部分は、一般には、凸図形になるという知識を用いて、高画質領域に突出しているブロック４０１、高画質領域の内部に現われるブロック４０２は、本来は高画質で符号化が行なわれるべきであると判断する。その結果、空間的符号化戦略情報算出部３０３は、図５の符合５０２が付された領域が高画質領域であり、符号５０２が付された領域をフレーム５０１から除いた領域が非高画質領域であると判断し、空間的符号化戦略情報を算出する。

（実施形態１：フィルタ戦略決定部）
「フィルタ戦略決定部」３０４は、復号映像信号に施すフィルタの領域、種類又は及び強度を、空間的符号化戦略情報算出部３０３で算出された空間的符号化戦略情報に基づいて、決定する。例えば、図５の符号５０１が付された領域を除く部分にフィルタを施し、符号５０１が付された領域には、それよりも弱くフィルタを施す、あるいは、フィルタを施さないように、決定する。また、符号化情報を参照し、どのようなノイズが生じるかを予測し、ノイズに応じたフィルタを選択する。また、符号５０１が付された領域と、それ以外の領域と、の境界で、フィルタの強度を大きく変化させると、映像を見る者に違和感を与える可能性があるので、フィルタ戦略決定部３０４は、徐々にフィルタの強度が変化するように決定してもよい。

（実施形態１：フィルタ実行部）
「フィルタ実行部」３０５は、フィルタ戦略決定部３０５により決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施す。「復号映像信号」とは、映像復号化処理部３０１により符号化映像を復号して得られる信号である。

（実施形態１：空間的分布特性マップ情報と空間的符号化戦略情報の第２の例（主に請求項２に対応））
図６は、空間的分布特性マップ情報の別の例を示している。この空間的分布特性マップ情報においては、動きベクトルは矢印により表わされている。一般に動きベクトルを用いて符号化を行なう場合には、非高画質の領域に存在するブロックを高画質の領域に移動させると高画質の領域の画質が落ちてしまうので、そのような動きベクトルは通常は存在しないと考えられる。そこで、このような知識を用いてフレームを高画質の領域と非高画質の領域とに分離するようにしてもよい。

すなわち、動きベクトルの始点と終点との位置に存在するブロックを、集合論でいうところの同値関係にあるとみなし、その同値関係によりフレーム内のブロックの同値類を求める。すると、フレームが、いくつかの領域に分割され、それぞれの領域に属するブロックの画質を符号化情報に基づいて判定して同じ程度の画質の領域をマージすることにより、高画質領域とそうでない領域とに分離される。領域をマージする際には、高画質領域は、一般には凸図形になるという知識を用いてもよい。

このような処理を行なうことにより、図６に示された空間的分布特性マップ情報から図７に示される空間的符号化戦略情報が生成される。図７において、符号７０２が付された領域が、例えば高画質に符号化されるべき領域として算出される。

（実施形態１：空間的分布特性マップ情報と空間的符号化戦略情報の第３の例（主に請求項２に対応））
図８は、空間的分布特性マップ情報の別の例を示している。この空間的分布特性マップ情報においては、映像の領域を符号化しているビデオパケットが数字により表わされている。「ビデオパケット」とは、伝送路により符号化映像がストリームとして伝送される場合に、エラーが混入したときに次にデコードを開始できるポイントである再同期マーカで区切られるストリームの部分である。ＭＰＥＧなどの規格では、このようなストリームの部分である一つのビデオパケットの中では量子化値や符号量などを大きく変えることができず、一つのビデオパケットの中では画質はほぼ一定である。通常は、一つのビデオパケットは、フレームの左端から右端までを符号化された結果に対応するが、もし、フレームの左端とフレームの右端との途中でビデオパケット区切りが存在すると、その部分で画質が変化するとみなすことができる。そこで、ビデオパケットの区切りで挟まれる部分とそうでない部分とにフレームの領域を分けるようにしてもよい。

例えば、図８において、フレームを左上のブロックから右方向へ走査し、フレームの右端に到達すると、一つ下の行の左端のブロックへ移動して走査を行なう場合において、ビデオパケットの番号が変化するブロックの境界を接続すると、二つの線分が得られ、この二つの線分により挟まれる部分とそうでない部分が得られる。

図９は、この二つの線分により挟まれる部分とそうでない部分にフレームの領域を分けた状態を表わしている。空間的符号化戦略情報算出部３０３は、符号９０２が付された領域とそれ以外の部分の領域とで画質が異なる戦略に基づいて符号化されたと判断し、空間的符号化戦略情報を算出する。この時、一般に、高画質領域は、凸図形になる、という知識を用いて、高画質に符号化される戦略により符号化される領域が凸図形になるようにしてもよい。

（実施形態１：処理の流れ）
図１０は、符号化映像復号化装置３００の処理の流れを説明するフローチャートを例示している。このフローチャートは、映像復号化処理部３０１で一つのフレームが復号され、復号映像信号３０６が生成された場合の処理を説明している。ステップＳ１００１において、空間的分布特性マップ情報生成部３０２が映像復号化処理部３０１より符号化情報３０７を取得し、空間的分布特性マップ情報３０８を生成する。ステップＳ１００２において、空間的符号化戦略情報算出部３０３が空間的符号化戦略情報２０９を算出する。ステップＳ１００３において、フィルタ戦略決定部３０４がフィルタの領域、種類又は／及び強度を決定する。ステップＳ１００４において、フィルタ実行部３０５が復号映像信号３０６にフィルタを施す。

（実施形態１：符号化映像復号化プログラム（主に請求項１３に対応））
符号化映像復号化装置３００は、計算機内で符号化映像復号化プログラムを動作させることにより、実現することができる。

その符号化映像復号化プログラムは、映像復号化処理ステップと、空間的分布特性マップ情報生成ステップと、空間的符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を計算機に実行させるためのプログラムである。

映像復号化処理ステップと、空間的分布特性マップ情報生成ステップと、空間的符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、は、それぞれ、映像復号化処理部３０１と、空間的分布特性マップ情報生成３０２と、空間的符号化戦略情報算出部３０３と、フィルタ戦略決定部３０４と、フィルタ実行３０５と、に対応する。したがって、図３は、その符号化映像復号化プログラムのモジュール構成図を例示していると解釈することもできる。

「映像復号化処理ステップ」は、復号映像信号を生成するためのステップである。

「空間的分布特性マップ情報生成ステップ」は、符号化情報を映像復号化処理ステップでの復号映像信号の生成に伴って取得し、フレーム毎に空間的分布特性マップ情報を生成するためのステップである。

「空間的符号化戦略情報算出ステップ」は、空間的分布特性マップ情報に基づき、空間的符号化戦略情報を算出するためのステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの領域、種類又は／及び強度を、空間的符号化戦略情報に基づいて、決定するためのステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。

（実施形態１：符号化映像復号化方法（主に請求項１４に対応））
また、符号化映像復号化装置３００と符号化映像復号化プログラムは、符号化映像復号化方法を使用するための装置とプログラムとみなすこともできる。なお、符号化映像復号化方法は、符号化映像復号化装置３００と符号化映像復号化プログラムのみで使用される方法であると限定されることはない。

本実施形態における符号化映像復号化方法は、映像復号化処理ステップと、空間的分布特性マップ情報生成ステップと、空間的符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を含む方法である。

「映像復号化処理ステップ」は、復号映像信号を生成するためのステップである。例えば、映像復号化処理部３０１を動作させるステップである。

「空間的分布特性マップ情報生成ステップ」は、符号化情報を映像復号化処理ステップでの復号映像信号の生成に伴って取得し、フレーム毎に空間的分布特性マップ情報を生成するためのステップである。例えば、空間的分布特性マップ情報生成部３０２を動作させるステップである。

「空間的符号化戦略情報算出ステップ」は、空間的分布特性マップ情報に基づき、空間的符号化戦略情報を算出するためのステップである。例えば、空間的符号化戦略情報算出部３０３を動作させるステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの領域、種類又は／及び強度を、空間的符号化戦略情報に基づいて、決定するためのステップである。例えば、フィルタ戦略決定部３０４を動作させるステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。例えば、フィルタ実行部３０５を動作させるステップである。

（実施形態１：主な効果）
本実施形態によれば、映像が符号化された際の戦略を算出し、その戦略に基づいてフィルタの領域、種類又は／及び強度が決定されるので、画質が向上し、また、全画面のノイズを検出するための計算などの膨大な計算量が必要となることが無いようにすることができる。

（実施形態２：主に請求項３、４、１５、１６に対応）
本発明の実施形態２においては、まず、次の符号化映像復号化装置が提供される。すなわち、符号化情報を取得し、フレームの符号化情報の時間的な分布に関する情報である時間的分布特性マップ情報を生成し、その時間的分布特性マップ情報に基づいて時間的符号化戦略情報を算出し、その時間的符号化戦略情報に基づいて、映像に施すべきフィルタを決定する符号化映像復号化装置が提供される。

（実施形態２：構成）
図１１は、本実施形態の符号化映像復号化装置の機能ブロック図を例示している。符号化映像復号化装置１１００は、映像復号化処理部１１０１と、時間的分布特性マップ情報生成部１１０２と、時間的符号化戦略情報算出部１１０３と、フィルタ戦略決定部１１０４と、フィルタ実行部１１０５と、を備えている。

（実施形態２：映像復号化処理部）
「映像復号化処理部」１１０１は、復号映像信号を生成する。「復号映像信号」とは、符号化映像を復号した信号である。「符号化映像」とは、符号化された映像である。例えば、ＭＰＥＧの仕様に基づいて符号化された映像である。したがって、映像復号化処理部１１０１は、例えば、図２に例示される符号化映像復号化装置２００を用いて実現される。

（実施形態２：時間的分布特性マップ情報生成部）
「時間的分布特性マップ情報生成部」１１０２は、符号化情報を映像復号化処理部１１０１より取得し、時間的分布特性マップ情報を生成する。「符号化情報」とは、符号化映像の符号化の特性を示す情報である。また、「時間的分布特性マップ情報」とは、フレームの符号化情報の時間的な分布に関する情報である。

（実施形態２：時間的分布特性マップ情報生成部：符号化情報（主に請求項４に対応））
本実施形態における符号化情報の例としては、符号化されたフレームがＩフレームであるかどうかを示す情報、符号化されたフレームがスキップフレームであるかどうかを示す情報、符号化されたフレームの符号量を示す情報、などがある。「Ｉフレーム」とは、他のフレーム情報と独立して一つのフレームの映像を復号できるフレーム情報である。「スキップフレーム」とは、前のフレームと内容が同じフレームを生成する指示からなるフレーム情報である。「フレームの情報量」とは、一つのフレームを符号化した際の符号化映像に含まれる符号の量である。

（実施形態２：時間的分布特性マップ情報の例）
図１２は、時間的分布特性マップ情報の例を示している。矩形１２０１、１２０２、１２０３、１２０４、１２０５、１２０６、１２０７、１２０８、１２０９は時間軸に沿って復号されるフレームを示しており、矩形の中のアルファベットはフレームの種類を示している。「Ｉ」は、そのフレームがＩフレームであることを示し、「Ｐ」は、そのフレームがＰフレームであることを示している。したがって、図１２においては、少なくとも時刻Ｔ１から始まり、時刻Ｔ４まではＩフレームが連続しており、時刻Ｔ５以降は、Ｐフレームの出現頻度が高くなっていることが示されている。このようなことを示す情報が時間的分布特性マップ情報の一例となる。なお、「Ｐフレーム」とは、前のフレーム情報との差分情報により一つのフレームを表すフレーム情報である。

（実施形態２：時間的符号化戦略情報算出部）
「時間的符号化戦略情報算出部」１１０３は、時間的分布特性マップ情報生成部１１０２が生成した時間的分布特性マップ情報に基づき、時間的符号化戦略情報を生成する。「時間的符号化戦略情報」とは、映像が符号化された際の時間的戦略を示す情報である。

（実施形態２：時間的符号化戦略情報の例）
図１３は、図１２に例示された時間的分布特性マップ情報に基づいて生成された時間的符号化戦略情報の例を示す。図１２においては、少なくとも時刻Ｔ１から始まり、時刻Ｔ４まではＩフレームが連続しているので、映像を符号化する際には、時刻Ｔ４までは高画質に符号化を行なったと判断される。一方、時刻Ｔ４からは、Ｐフレームが出現し始め、Ｐフレームの出現頻度が高くなっているので、非高画質に符号化が行なわれたと判断される。そこで、時間的符号化戦略情報算出部１１０３は、時刻Ｔ４までは高画質に符号化を行なう戦略が用いられ、時刻Ｔ５からは非高画質に符号化を行なう戦略が用いられたことを示す時間的符号化戦略情報を算出する。

（実施形態２：時間的分布特性マップ情報と時間的符号化戦略情報との第２の例）
また、時間的分布特性マップ情報は、各フレームの符号量を示す情報であってもよい。この場合、時間的符号化戦略情報算出部１１０３は、各フレームの符号量が、一定の値よりも大きいかどうかを判断し、その一定の値よりも大きい符号量のフレームが連続するかどうか、あるいは、一定の時間あたりの出現頻度などに基づいて、高画質に符号化された戦略が用いられているかどうかを判断して、時間的符号化戦略情報を算出する。

（実施形態２：時間的分布特性マップ情報と時間的符号化戦略情報との第３の例）
図１４は、図１２とは別の時間的分布特性マップ情報を例示している。矩形１４０１、１４０２、１４０３、１４０４に付された「Ｓ」は、フレームがＳフレームであることを示している。Ｓフレームは、前のフレームと同じ映像を表示することを示すので、Ｓフレームが連続しているということは、画質が低いと判断される。そこで、時間的符号化戦略情報算出部１１０３は、時刻Ｔ４までは低画質に符号化を行なう戦略が用いられ、時刻Ｔ５からは、高画質に符号化を行なう戦略が用いられると判断される。

図１５は、このような判断に基づいて、時間的符号化戦略情報算出部１１０３が算出した時間的符号化戦略情報を例示している。

なお、上では、Ｓフレームが連続すると低画質と判断すると説明したが、Ｓフレームの連続が開始する前の符号化映像の量子化値、符号量、動きベクトルを判断して、Ｓフレームの連続が開始する前の画質を判断して、高画質であれば、Ｓフレームが連続している間も高画質に符号化を行なう戦略が用いられていると判断されるようにしてもよい。すなわち、Ｓフレームの連続が開始する前の符号化映像の量子化値が所定の値より小さければ高画質と判断され、また符号量が所定の値より大きければ高画質と判断され、また、動きベクトルの数や動きベクトルにより示される移動の距離が所定の数より小さければ高画質と判断されるようにしてもよい。

（実施形態２：時間的符号化戦略情報は画質を多段階に示すものであってもよい）
なお、上の説明において、時間的符号化戦略情報は、符号化の戦略として、高画質か非高画質かの２段階に示すものであったが、２以上の段階で示すものであってもよい。この段階は、フレームの種類毎の出現頻度に基づいて決定されてもよいし、あるいは、量子化値、符号量、動きベクトルに基づいて決定されてもよい。

（実施形態２：フィルタ戦略決定部）
「フィルタ戦略決定部」１１０４は、復号映像信号に施すフィルタの種類又は／及び強度を、時間的符号化戦略情報算出部１１０３で算出された時間的符号化戦略情報に基づいて、決定する。例えば、高画質で符号化する戦略が用いられたことが時間的符号化戦略情報により示されていれば、フィルタの強度を弱めたりする。また、時間的符号化戦略情報は画質を多段階に示す場合には、その段階に応じたフィルタの強度とする。また、非高画質で符号化がされる戦略が用いられていることが、時間的符号化戦略情報により示される場合には、発生するノイズを予測して、フィルタの種類を決定する。この時、量子化値、符号量、動きベクトルなどにも基づいてフィルタの種類を決定してもよい。

（実施形態２：処理の流れ）
図１６は、符号化映像復号化装置１１００の処理の流れを説明するフローチャートである。このフローチャートで示される処理は、映像復号化処理部１１０１で一つのフレームが復号され、復号映像信号１１０６が生成されるごとに実行される。あるいは、符号化映像が媒体などに記録され、符号化映像が先読みできる場合には、このフローチャートで示される処理は、映像復号化処理部１１０１が符号化映像を先読みして、符号化情報が出力されるごとに実行されるものであってもよい。

ステップＳ１６０１において、時間的分布特性マップ情報生成部１１０２が映像復号化処理部１１０１より符号化情報１１０７を取得し、時間的分布特性マップ情報１１０８を生成する。ステップＳ１６０２において、時間的符号化戦略情報算出部１１０３が時間的分布特性マップ情報１１０８に基づいて時間的符号化戦略情報１１０９を算出する。ステップＳ１６０３において、フィルタ戦略決定部１１０４が、時間的符号化戦略情報１１０９に基づいて、フィルタの種類又は／及び強度を決定する。ステップＳ１６０４において、フィルタ実行部１１０５が、復号映像信号１１０６にフィルタを施す。

（実施形態２：符号化映像復号化装置（主に請求項１５に対応））
符号化映像復号化装置１１００は、計算機内で符号化映像復号化プログラムを動作させることにより、実現することができる。

その符号化映像復号化プログラムは、映像復号化処理ステップと、時間的分布特性マップ情報生成ステップと、時間的符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を計算機に実行させるためのプログラムである。

映像復号化処理ステップと、時間的分布特性マップ情報生成ステップと、時間的符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップは、それぞれ、映像復号化処理部１１０１と、時間的分布特性マップ情報生成部１１０２と、時間的符号化戦略情報算出部１１０３と、フィルタ戦略決定部１１０４と、フィルタ実行部１１０５と、に対応する。したがって、図１１は、その符号化映像復号化プログラムのモジュール構成図を例示していると解釈することができる。

「映像復号化処理ステップ」は、復号映像信号を生成するためのステップである。

「時間的分布特性マップ情報生成ステップ」は、符号化情報を、映像復号化処理ステップでの復号映像信号の生成に伴って取得し、時間的分布特性マップ情報を生成するためのステップである。

「時間的符号化戦略情報算出ステップ」は、時間的分布特性マップ情報に基づいて、時間的符号化戦略情報を算出するためのステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの種類又は／及び強度を時間的符号化戦略情報に基づいて、決定するためのステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップで決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。

（実施形態２：符号化映像復号化方法（主に請求項１６に対応））
また、符号化映像復号化装置１１００と本実施形態における符号化映像復号化プログラムは、符号化映像復号化方法を使用するための装置及びプログラムとみなすこともできる。なお、本実施形態の符号化映像復号化方法は、符号化映像復号化装置１１００と本実施形態における符号化映像復号化プログラムで使用されるものであると限定されるものではない。

本実施形態における符号化映像復号化方法は、映像復号化処理ステップと、時間的分布特性マップ情報生成ステップと、時間的符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を含む方法である。

「映像復号化処理ステップ」は、復号映像信号を生成するためのステップである。例えば、映像復号化処理部１１０１を動作させるステップである。

「時間的分布特性マップ情報生成ステップ」は、符号化情報を、映像復号化処理ステップでの復号映像信号の生成に伴って取得し、時間的分布特性マップ情報を生成するためのステップである。例えば、時間的分布特性マップ情報生成部１１０２を動作させるステップである。

「時間的符号化戦略情報算出ステップ」は、時間的分布特性マップ情報に基づいて、時間的符号化戦略情報を算出するためのステップである。例えば、時間的符号化戦略情報算出部１１０３を動作させるステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの種類又は／及び強度を時間的符号化戦略情報に基づいて、決定するためのステップである。例えば、フィルタ戦略決定部１１０４を動作させるステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップで決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。例えば、フィルタ実行部１１０５を動作させるステップである。

（実施形態２：主な効果）
本実施形態によれば、映像が符号化された際の戦略を算出し、その戦略に基づいてフィルタの種類又は／及び強度が決定されるので、画質が向上し、また、全画面のノイズを検出するための計算などの膨大な計算量が必要で無いようにすることができる。

（実施形態３：主に請求項５、６、１７、１８に対応）
本発明の実施形態３においては、まず、次の符号化映像復号化装置が提供される。すなわち、符号化情報を取得し、フレームの符号化情報の時間的な分布に関する情報である時間的分布特性マップ情報を生成し、その時間的分布特性マップ情報に基づいて時間的符号化戦略情報を算出し、その時間的符号化戦略情報に基づいて、映像に施すべきフィルタを決定する符号化映像復号化装置が提供される。

（実施形態３：構成）
図１７は、実施形態３に関する符号化映像復号化装置の機能ブロック図を例示する。符号化映像復号化装置１７００は、映像復号化処理部１７０１と、映像符号化特性マップ生成部１７０２と、符号化戦略情報算出部１７０３と、フィルタ戦略決定部１７０４と、フィルタ実行部１７０５と、を備える。

（実施形態３：映像符号化処理部）
「映像復号化処理部」１７０１は、復号映像信号を生成する。「復号映像信号」とは、符号化映像を復号した信号である。「符号化映像」とは、符号化された映像である。例えば、ＭＰＥＧの仕様に基づいて符号化された映像である。したがって、映像復号化処理部１７０１は、例えば、図２に例示された符号化映像復号化装置２００を用いて実現される。

（実施形態３：映像符号化特性マップ生成部）
「映像符号化特性マップ生成部」１７０２は、符号化情報を映像復号化処理部より取得し、映像符号化特性マップ情報を生成する。

（実施形態３：符号化情報（主に請求項６に対応））
「符号化情報」とは、符号化映像の符号化の特性を示す情報である。本実施形態においては、符号化情報には、空間的な分布に関する情報と、時間的な分布に関する情報とがある。空間的な分布に関する情報としては、例えば、量子化値に関する情報、ブロックの符号量に関する情報、動きベクトルに関する情報、ビデオパケットの区切りに関する情報などがある。空間的な分布に関する情報は、実施形態１の符号化情報と同じであってもよい。時間的な分布に関する情報としては、例えば、符号化されたフレームがＩフレームであるかどうかを示す情報、符号化されたフレームがＩフレームであるかどうかを示す情報、符号化されたフレームの符号量を示す情報などがある。時間的な分布に関する情報は、実施形態２の符号化情報と同じであってもよい。

（実施形態３：映像符号化特性マップ情報）
「映像符号化特性マップ情報」とは、符号化情報の空間的かつ時間的な分布に関する情報である。

図１８は、映像符号化特性マップ情報の一例を示す。５つのフレームが映像復号化処理部１７０１で復号されたとする。例えば、映像符号化特性マップ生成部１７０２が、それぞれのフレームのブロックの量子化値を符号化情報として取得したとする。映像符号化特性マップ生成部１７０２は、第１のフレームについて、各ブロックの量子化値が一定の値より大きいかどうかを判断し、その結果を示すマップ情報１８０１を生成する。マップ情報１８０１において、斜線の部分が量子化値が一定の値より大きいとする。第２、第３、第４、第５のフレームについても同様にマップ情報１８０２、１８０３、１８０４、１８０５を生成する。

また、量子化値を例として用いたが、ブロックの符号量を用いてもよいし、また、動きベクトルに関する情報を用いてもよいし、ビデオパケットの区切りに関する情報を用いてもよい。これらの情報を用いることにより、実施形態１で説明した処理により、各フレームの高画質な領域がどこにあるかを知ることができる。

また、復号されたフレームがＩフレームかどうかを示す情報、復号されたフレームがスキップフレームかどうかを示す情報、復号されたフレームの符号量を示す情報を符号化情報として用いることにより、実施形態２で説明した処理により、どの時間からどの時間までにおいて映像が高画質に符号化されたかどうかを知ることができる。

（実施形態３：符号化戦略情報算出部）
「符号化戦略情報算出部」１７０３は、映像符号化特性マップ生成部１７０２で生成した映像符号化特性マップ情報に基づいて、符号化戦略情報を算出する。

（実施形態３：符号化戦略情報）
「符号化戦略情報」とは、映像が符号化された際の戦略を示す情報である。

図１９、図２０は、図１８に例示された映像符号化特性マップ情報に基づいて、符号化戦略情報が生成される過程を示す。

図１８の各フレームのマップ情報から得られた各フレームの符号化戦略情報が、図１９の符号１９０１、１９０２、１９０３、１９０４、１９０５が付された矩形により表わされている。マップ情報１８０１においては、非高画質のブロック示す斜線の部分が散在しているので、全体が高画質の部分であると判断して符号化戦略情報１９０１を生成する。マップ情報１８０２と１８０３においては、斜線の部分がまとまっているので、符号化戦略情報１９０２、１９０３を生成する。領域１９０６、１９０７が、高画質に符号化がされる戦略に基づいて符号化された領域となる。マップ情報１８０４においては、斜線の部分がないので、フレーム全体が高画質に符号化された戦略を示す符号化戦略情報１９０４が生成される。マップ情報１８０５においては、高画質の部分と非高画質の部分とが区別されるので、符号化戦略情報１９０５が生成され、領域１９０８が、高画質に符号化される戦略に基づいて符号化された領域となる。

しかし、高画質に符号化される部分は、時間的かつ空間的な連続性をもって存在するという経験則がある。この経験則を用いると、符号化戦略情報１９０３に高画質の領域１９０７が存在するのに、次のフレームの符号化戦略情報１９０４において、フレーム全体が高画質の領域となり、その次のフレームの符号化戦略情報１９０５において、高画質の領域が１９０８になることは不自然であると結論付けられる。つまり、符号化戦略情報１９０４においては、本来は、符号化戦略情報１９０３と符号化戦略情報１９０５とにおける高画質に符号化される戦略の領域の中間の位置に、高画質に符号化される戦略の領域があると判断される。この判断に基づいて生成されたのが、図２０に例示される符号化戦略情報である。第４の符号化戦略情報２００４に、高画質に符号化される戦略の領域２００８が存在する。この領域２００８は、前後のフレームの符号化戦略情報２００３、２００５の高画質に符号化される領域２００７、２００９を時間的かつ空間的に補間することにより、存在すると判断される。

「時間的かつ空間的に補間」するとは、例えば、次の補間を意味する。（１）各フレームの符号化戦略情報により示される領域の特徴的な点の座標位置、例えば、頂点の位置、を求める。（２）あるフレームの特徴的な点が別のフレームのどの点に対応するかを決定する。（３）特徴的な点の移動距離を求める。（４）フレームが表示される時間の差を求める。（５）点の移動距離、フレームが表示される時間の差より、途中のフレームにおける点の座標位置を求める。

（実施形態３：符号化戦略情報（その２））
上記においては、空間に関する符号化戦略情報をまず求めてから、時間的かつ空間的な連続性を用いて、最終的な符号化戦略情報を求めたが、時間に関する符号化戦略情報をまず求めてから、最終的な符号化戦略情報を求めてもよい。

例えば、実施形態２におけるように、映像全体が、どの時間において、高画質に符号化される戦略により符号化されたかを求める。次に、高画質に符号化される戦略により映像全体が符号化された時間においては、上記のように、画像の中を、高画質に符号化される戦略により符号化された領域を厳密に求める処理を行なう。つまり、高画質に符号化される戦略により符号化された領域が狭くするように符号化戦略情報が算出される。一方、非高画質に符号化される戦略により映像全体が符号化された時間においては、高画質に符号化される領域をそれほど厳密に求めないようにし、比較的広い領域が高画質に符号化される符号化戦略情報が算出されるようにしてもよい。

（実施形態３：フィルタ戦略決定部）
「フィルタ戦略決定部」１７０４は、復号映像信号に施すフィルタの領域、種類又は／及び強度を、符号化戦略情報算出部１７０３で算出された符号化戦略情報に基づいて、決定する。例えば、フレームごとの符号化戦略情報に基づいて、高画質に符号化がされる領域のフィルタの強度を弱くしたり、あるいは、フィルタを施さないようしたりする。また、非高画質に符号化がされる領域に発生するノイズの種類を予測し、その予測されたノイズの種類に基づいて、フィルタの種類を決定したり、フィルタの強度を決定したりする。

（実施形態３：フィルタ実行部）
「フィルタ実行部」１７０５は、フィルタ戦略決定部１７０４で決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施す。

（実施形態３：処理の流れ）
図２１は、本実施形態における符号化映像復号化装置１７００の処理の流れを説明するフローチャートを例示する。このフローチャートで示される処理は、映像復号化処理部１７０１で一つのフレームが復号され、復号映像信号１７０６が生成されるごとに実行される。あるいは、符号化映像が媒体などに記録され、符号化映像が先読みできる場合には、このフローチャートで示される処理は、映像復号化処理部１７０１が符号化映像を先読みして、符号化情報が出力されるごとに、実行されるものであってもよい。

ステップＳ２１０１において、映像符号化特性マップ生成部１７０２が映像復号化処理部１７０１より符号化情報１７０７を取得し、映像符号化特性マップ情報１７０８を生成する。ステップＳ２１０２において、符号化戦略情報算出部１７０３が符号化戦略情報１７０３を生成する。ステップＳ２１０３において、フィルタ戦略決定部１７０４が符号化戦略情報１７０９に基づいてフィルタの領域、種類又は／及び強度を決定する。ステップＳ２１０４において、フィルタ実行部１７０５が、決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号１７０６にフィルタを施す。

（実施形態３：符号化映像復号化プログラム（主に請求項１７に対応））
本実施形態における符号化映像復号化装置は、計算機内で符号化映像復号化プログラムを動作させることにより実現することができる。

本実施形態の符号化映像復号化プログラムは、映像復号化処理ステップと、映像符号化特性マップ生成ステップと、符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を計算機に実行させるためのプログラムである。

映像復号化処理ステップと、映像符号化特性マップ生成ステップと、符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップは、それぞれ、映像復号化処理部１７０１と、映像符号化特性マップ生成部１７０２と、符号化戦略情報算出部１７０３と、フィルタ戦略決定部１７０４と、フィルタ実行部１７０５に対応する。したがって、図１１は、本実施形態の符号化映像復号化プログラムのモジュール構成図を例示していると解釈することができる。

「映像復号化処理ステップ」は、復号映像信号を生成するためのステップである。

「映像符号化特性マップ生成ステップ」は、符号化情報を映像復号化処理ステップにおける復号映像信号の生成に伴って取得し、映像符号化特性マップ情報を生成するためのステップである。

「符号化戦略情報算出ステップ」は、映像符号化特性マップ情報に基づき、符号化戦略情報を算出するためのステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの領域、種類又は／及び強度を、符号化戦略情報に基づいて決定するためのステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップで決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。

（実施形態３：符号化映像復号化方法（主に請求項１８に対応））
また、符号化映像復号化装置１７００と本実施形態における符号化映像復号化プログラムは、符号化映像復号化方法を使用するための装置及びプログラムとみなすこともできる。なお、本実施形態の符号化映像復号化方法は、符号化映像復号化装置１７００と本実施形態における符号化映像復号化プログラムのみで使用されるものであるとは限定されない。

本実施形態における符号化映像復号化方法は、映像復号化処理ステップと、映像符号化特性マップ生成ステップと、符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を含む方法である。

「映像復号化処理ステップ」は、復号映像信号を生成するためのステップである。例えば、映像復号化処理部１７０１を動作させるステップである。

「映像符号化特性マップ生成ステップ」は、符号化情報を映像復号化処理ステップにおける復号映像信号の生成に伴って取得し、映像符号化特性マップ情報を生成するためのステップである。例えば、映像符号化特性マップ生成部１７０２を動作させるステップである。

「符号化戦略情報算出ステップ」は、映像符号化特性マップ情報に基づき、符号化戦略情報を算出するためのステップである。例えば、符号化戦略情報算出部１７０３を動作させるステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの領域、種類又は／及び強度を、符号化戦略情報に基づいて決定するためのステップである。例えば、フィルタ戦略決定部１７０４を動作させるステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップで決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。例えば、フィルタ実行部１７０５を動作させるステップである。

（実施形態３：主な効果）
本実施形態によれば、映像が符号化された際の戦略を算出し、その戦略に基づいてフィルタの戦略が決定されるので、画質が向上する。特に、時間的かつ空間的な連続性に基づいて算出された戦略に基づいてフィルタの戦略が決定されるので、見る者に違和感を感じさせることが少なくなる。

（実施形態４：主に請求項７、８、１９、２０に対応する）
本実施形態においては、次の多重化メディア再生装置が提供される。すなわち、他の符号化メディアと符号化された映像が多重化されている場合には、それぞれの符号化メディアが符号化された際の符号化情報を取得し、符号化情報の時間的な特性を示す情報である時間的メディア符号化特性マップ情報を生成し、その時間的メディア符号化特性マップ情報に基づいて、映像符号化戦略情報を算出し、その映像符号化戦略情報に基づいて、映像に施すべきフィルタを決定する多重化メディア再生装置が提供される。

（実施形態４：構成）
図２２は、本実施形態における多重化メディア再生装置の機能ブロック図を例示する。多重化メディア再生装置は、多重化メディア分離処理部２２０１と、複数のメディア復号化処理部２２０２、２２０３と、時間的メディア符号化特性マップ生成部２２０４と、映像符号化戦略情報算出部２２０５と、フィルタ戦略決定部２２０６と、を備えている。

（実施形態４：多重化メディア分離処理部）
「多重化メディア分離処理部」２２０１は、多重化された符号化メディア情報を分離する。「多重化された符号化メディア情報」とは、符号化映像情報と、他の符号化メディア情報とを多重化した情報である。「符号化映像情報」とは、符号化された映像である。例えば、ＭＰＥＧの仕様に基づいて符号化された映像である。「符号化メディア情報」とは、符号化された情報である。この「情報」としては、例えば、音声の情報や字幕を表示するための情報がある。音声の情報を符号化する規格としては、ＭＰＥＧ４−オーディオがある。また、符号化メディア情報を生成するために情報を多重化する規格としては、例えば、ＦｌｅｘＭｕｘがある。符号化映像情報が符号化している映像と、他の符号化メディア情報が符号化している情報とは、同時に再生されるものであってもよい。例えば、映像と音声とが同時に再生される。あるいは、異なる時に再生されるものであってもよい。例えば、後の音声の再生に備えて、音声の情報を先行して送るような多重化が行なわれていてもよい。

（実施形態４：メディア復号化処理部）
複数の「メディア復号化処理部」２２０２、２２０３は、多重化メディア分離処理部２２０１で分離された符号化メディア情報のそれぞれを分離する。したがって、多重化メディア再生装置２２００は、多重化メディア分離処理部２２０１で分離された符号化メディア情報の種類の数と同じかそれ以上の数のメディア符号化処理部を備えている。ただし、後で説明するように、計算機によって多重化メディア再生装置が実現される場合には、時分割処理により、多重化メディア分離処理部２２０１で分離された符号化メディア情報の種類の数より少ない数のメディア復号化処理部があってもよい。

（実施形態４：時間的メディア符号化特性マップ生成部）
「時間的メディア符号化特性マップ生成部」２２０４は、符号化情報をメディア復号化処理部２２０２、２２０３より取得し、時間的メディア符号化特性マップ情報を生成する。なお、時間的メディア符号化特性マップ生成部２２０４は、復号映像信号２２０８を復号化するメディア復号化処理部２２０３を除くメディア符号化処理部より符号化情報を取得するものであってもよい。

（実施形態４：符号化情報（主に請求項８に対応））
「符号化情報」とは、符号化メディア情報の符号化の特性を示す情報である。例えば、符号化メディア情報の持つ符号量などである。

（実施形態４：時間的メディア符号化特性マップ情報）
「時間的メディア符号化特性マップ情報」とは、符号化情報の時間的な特性を示す情報である。例えば、符号化情報に符号量が用いられた場合には、時間の経過に従って符号化メディア情報の符号量がどのように変化するかを示す情報が、時間的メディア符号化特性マップ情報の一例である。特に、時間的メディア符号化特性マップ情報は、符号化映像情報以外の符号化メディア情報の符号量の変化を示す情報であってもよい。あるいは、時間的メディア符号化特性マップ情報は、符号化映像情報の符号量が、他の符号化メディア情報の符号量に対してどれだけの割合になっているかを示す情報であってもよい。

図２３は、時間的メディア符号化マップ情報の一例を示している。図２３においては、符号化映像情報と符号化音声情報とが多重化されている場合の、符号化映像情報の時間的メディア符号化マップ情報２３０１と符号化音声情報の時間的メディア符号化マップ情報２３０２が示されている。時刻Ｔ１からＴ２までと、時刻Ｔ２からＴ４までの符号化音声情報の時間的メディア符号化マップ情報２３０２の斜線部分は、それらの時刻の間に符号化音声情報の符号量が所定の値を超えたことを示している（なお、時刻Ｔ１からＴ２までの時間の方が、時刻Ｔ３からＴ４までの時間より長いとする。）。あるいは、その斜線部分は、符号化映像情報の符号量の、他の符号化メディア情報の符号量に対する割合が、所定の値を下回っていることを示すものであってもよい。

（実施形態４：映像符号化戦略情報算出部）
「映像符号化戦略情報算出部」２２０５は、時間的メディア符号化特性マップ生成部で生成された時間的メディア符号化特性マップに基づいて、映像符号化戦略情報を算出する。

（実施形態４：映像符号化戦略情報）
「映像符号化戦略情報」とは、映像が符号化された際の符号化の戦略を示す情報である。

図２４は、図２３に例示される符号量に基づく時間的メディア符号化特性マップ情報が生成された場合に算出される映像符号化戦略情報を例示する。図２３に示されるように、時刻Ｔ１からＴ２までは、符号化音声情報の符号量が大きくなっているので、この時刻の間は、符号化映像情報に割り当てることができる符号量が減少し、映像の符号化においては、画質が低くなるように符号化されると判断される。そこで、図２４に示されるように時刻Ｔ１からＴ２までは、映像が非高画質に符号化される戦略が用いられると判断される。一方、時刻Ｔ３からＴ４までの時間の長さは、所定の長さよりも短いとすると、画質の低下が発生しても短時間であると判断し、時刻Ｔ２以降は、映像が高画質に符号化される戦略が用いられると判断される。

（実施形態４：フィルタ戦略決定部）
「フィルタ戦略決定部」２２０６は、復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報算出部が算出した映像符号化戦略情報に基づいて決定する。ここに、「復号映像信号」とは、符号化映像情報を復号した信号である。復号映像信号は、図２２では、メディア復号化処理部２２０３により生成される。

フィルタの種類又は／及び強度は、例えば、映像符号化戦略情報により非高画質に符号化された時間帯においては、強度が強くなるように決定される。また、その際、量子化値やブロックの符号量、動きベクトルなどに基づいて、どのようなノイズが発生するかを予測し、発生すると予測されたノイズに適したフィルタの種類を決定する。

（実施形態４：フィルタ実行部）
「フィルタ実行部」２２０７は、フィルタ戦略決定部２２０６で決定された種類又は／及び強度に従って、復号映像信号にフィルタを施す。

（実施形態４：処理の流れ）
図２５は、多重化メディア再生装置２２００の処理の流れを説明するフローチャートを例示する。このフローチャートで示される処理は、多重化メディア情報が分離され、それぞれの符号化メディア情報の復号化の処理が行なわれるごとに実行される。あるいは、多重化メディア情報が媒体などに記録され、多重化メディア情報が先読みできる場合には、このフローチャートで示される処理は、先読みされた多重化メディア情報がメディア復号化処理部で復号され、符号化情報が出力される都度実行されてもよい。

ステップＳ２５０１において、時間的メディア符号化特性マップ生成部２２０４が、符号化情報を取得し、時間的メディア符号化特性マップ情報を生成する。ステップＳ２５０２において、映像符号化戦略情報算出部２２０５が、映像符号化戦略情報を算出する。ステップＳ２５０３において、フィルタ戦略決定部２２０６がフィルタの種類又は／及び強度を決定する。ステップＳ２５０４において、フィルタ実行部２２０７が、フィルタ戦略決定部２２０６で決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施す。

（実施形態４：多重化メディア再生プログラム（主に請求項１９に対応））
本実施形態における多重化メディア再生装置は、計算機内で多重化メディア再生プログラムを動作させることにより実現することができる。

本実施形態の多重化メディア再生プログラムは、多重化メディア分離処理ステップと、メディア復号化処理ステップと、時間的メディア符号化特性マップ生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略ステップと、フィルタ実行ステップと、を計算機に実行させるためのプログラムである。

多重化メディア分離処理ステップと、メディア復号化処理ステップと、時間的メディア符号化特性マップ生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略ステップと、フィルタ実行ステップは、それぞれ、多重化メディア分離処理部２２０１と、複数のメディア復号化処理部と、時間的メディア符号化特性マップ生成部２２０４と、映像符号化戦略情報算出部２２０５と、フィルタ戦略決定部２２０６と、フィルタ実行部２２０７に対応する。したがって、図２２は、本実施形態の多重化メディア再生プログラムのモジュール構成図を例示していると解釈することができる。

「多重化メディア分離処理ステップ」は、多重化した符号化メディア情報を分離するためのステップである。

「メディア復号化処理ステップ」は、多重化メディア分離処理ステップにて分離された符号化メディア情報のそれぞれを復号するためのステップである。

「時間的メディア符号化特性マップ生成ステップ」は、符号化情報をメディア復号化処理ステップでの符号化メディア情報の復号に伴って取得し、時間的メディア符号化特性マップ情報を生成するためのステップである。

「映像符号化戦略情報算出ステップ」は、時間的メディア符号化特性マップ情報に基づいて、映像符号化戦略情報を算出するためのステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報に基づいて決定するためのステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップにて決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。

（実施形態４：多重化メディア再生方法（主に請求項２０に対応））
また、多重化メディア再生装置２２００と本実施形態における多重化メディア再生プログラムは、本実施形態の多重化メディア再生方法を使用するための装置とプログラムとみなすこともできる。

本実施形態の多重化メディア再生方法は、多重化メディア分離処理ステップと、メディア復号化処理ステップと、時間的メディア符号化特性マップ生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略ステップと、フィルタ実行ステップと、を含む方法である。

「多重化メディア分離処理ステップ」は、多重化した符号化メディア情報を分離するためのステップである。例えば、多重化メディア分離処理部２２０１を動作させるステップである。

「メディア復号化処理ステップ」は、多重化メディア分離処理ステップにて分離された符号化メディア情報のそれぞれを復号するためのステップである。例えば、複数のメディア復号化処理部２２０２、２２０３を動作させるステップである。

「時間的メディア符号化特性マップ生成ステップ」は、符号化情報をメディア復号化処理ステップでの符号化メディア情報の復号に伴って取得し、時間的メディア符号化特性マップ情報を生成するためのステップである。例えば、時間的メディア符号化特性マップ生成部２２０４を動作させるステップである。

「映像符号化戦略情報算出ステップ」は、時間的メディア符号化特性マップ情報に基づいて、映像符号化戦略情報を算出するためのステップである。例えば、映像符号化戦略情報算出部２２０５を動作させるステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報に基づいて決定するためのステップである。例えば、フィルタ戦略決定部２２０６を動作させるステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップにて決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。例えば、フィルタ実行部２２０７を動作させるステップである。

なお、本実施形態における多重化メディア再生方法は、多重化メディア再生装置２２００と本実施形態における多重化メディア再生プログラムに限定されて使用されるものではない。

（実施形態４：主な効果）
本実施形態によれば、映像が符号化された際の戦略を算出し、その戦略に基づいてフィルタの種類又は／及び強度が決定されるので、画質が向上し、また、全画面のノイズを検出するための計算などの膨大な計算量が必要で無いようにすることができる。

（実施形態５：主に請求項９、１０、２１、２２に対応）
本発明の実施形態５においては、次の多重化メディア再生装置が提供される。すなわち、他の符号化メディアと符号化された映像が多重化されている場合には、多重化されたメディアを分離する際に、メディアの多重化に関する情報である多重化情報を取得し、符号化メディアの多重化の時間的な推移を示す情報である時間的多重化特性マップ情報を生成し、時間的多重化特性マップ情報に基づいて、映像が符号化された際の符号化の戦略である映像符号化戦略情報を算出し、その映像符号化戦略情報に基づいて、映像に施すべきフィルタを決定する多重化メディア再生装置が提供される。

（実施形態５：構成）
図２６は、本実施形態における多重化メディア再生装置の機能ブロック図を例示する。多重化メディア再生装置２６００は、多重化メディア分離処理部２６０１と、映像復号化部２６０２と、時間的多重化特性マップ情報生成部２６０３と、映像符号化戦略情報算出部２６０４と、フィルタ戦略決定部２６０５と、フィルタ実行部２６０６と、を備える。

（実施形態５：多重化メディア分離処理部）
「多重化メディア分離処理部」２６０１は、多重化符号化メディア情報と、それぞれの符号化メディア情報に分離する。「多重化符号化メディア情報」とは、符号化映像情報と他の符号化メディア情報とを多重化して得られる情報である。「符号化映像情報」とは、符号化された映像である。「符号化メディア情報」とは、符号化された情報である。他の符号化メディア情報の例としては、音声情報や、字幕を表示するための情報などがある。

（実施形態５：映像復号化部）
「映像復号化部」２６０２は、多重化メディア分離処理部２６０１で分離された符号化映像情報を復号し復号映像信号を得る。符号化映像情報が、例えば、ＭＰＥＧの仕様に基づいて映像が符号化されたものである場合には、映像復号化部２６０２は、図２に例示された符号化映像復号化装置２００により実現される。

（実施形態５：時間的多重化特性マップ情報生成部）
「時間的多重化特性マップ情報生成部」２６０３は、多重化メディア分離処理部２６０１から多重化特性情報を取得し、時間的多重化特性マップ情報を生成する。「多重化特性情報」とは、符号化メディア情報の多重化に関する情報である。「時間的多重化特性マップ情報」とは、符号化メディア情報の多重化の時間的な推移を示す情報である。

（実施形態５：多重化特性情報と時間的多重化特性マップ情報の例（主に請求項１０に対応））
多重化特性情報の例としては、ランダムアクセスポイントを示す情報、符号化メディア情報毎の符号量を示す情報、符号化映像情報のフレーム数を示す情報、などがある。「ランダムアクセスポイント」とは、映像のシーンジャンプなどの基点となるデータの開始点である。ランダムアクセスポイントかどうか、符号化メディア情報毎の符号量、符号化映像情報のフレーム数は、多重化符号化メディア情報のヘッダを調べることにより、多重化符号化メディア情報をそれぞれの符号化メディア情報に分離しなくても知ることができる。

図２７は、多重化特性情報として、例えば、ランダムアクセスポイントを示す情報を用いた場合の時間的多重化特性マップ情報の一例を示す。斜線の矩形２７０１、２７０２、２７０３、２７０４、２７０５、２７０６、２７０７がランダムアクセスポイントの存在を示している。このうち、時刻Ｔ１からＴ２までの間には、矩形２７０２、２７０３、２７０４、２７０５、２７０６の出現間隔が他の時間よりも短くなっている。時間的多重化特性マップ情報生成部２６０３は、このようにランダムアクセスポイントの出現間隔が所定の時間より短くなる頻度が高くなると、ランダムアクセスポイントが連続していると判断し、それを時間的多重化特性マップ情報によって表わす。

また、多重化特性情報として、符号化メディア情報毎の符号量が用いられる場合には、時間的多重化特性マップ情報生成部２６０３は、符号量が所定の値よりも大きくなったかどうかを時間的多重化特性マップ情報によって表わす。また、多重化特性情報として、符号化映像情報のフレーム数が用いられる場合には、時間的多重化特性マップ情報生成部２６０３は、符号量が所定の値よりも大きくなったかどうかを時間的多重化特性マップ情報によって表わす。

（ａ）ランダムアクセスポイントが連続している、（ｂ）符号量が所定の値よりも大きくなっている、あるいは、（ｃ）フレーム数が所定の値よりも大きくなっている、という場合が成立していることを、時間的多重化特性マップ情報によって表わす理由は、次の通りである。すなわち、上記の（ａ）、（ｂ）、（ｃ）の少なくとも一の場合が成り立つ場合には、そのシーンが高画質に映像が符号化されることが多いと経験的に知られているからである。

（実施形態５：映像符号化戦略情報算出部）
「映像符号化戦略情報算出部」２６０４は、時間的多重化特性マップ情報生成部２６０３で生成された時間的多重化特性マップ情報に基づいて、映像符号化戦略情報を算出する。

（実施形態５：映像符号化戦略情報）
「映像符号化戦略情報」とは、映像が符号化された際の符号化の戦略を示す情報である。

図２８は、図２７に示された時間的多重化特性マップ情報に基づいて生成された映像符号化戦略情報の一例を示す。時間的多重化特性マップ情報によれば、時刻Ｔ１からＴ２の間においてランダムアクセスポイントが連続していると判断されたので、時刻Ｔ１からＴ２の間に、高画質に映像が符号化される戦略が用いられ、その他の時間では、非高画質に映像が符号化される戦略が用いられたことを表わす映像符号化戦略情報が、映像符号化戦略情報算出部２６０４により算出される。

（実施形態５：フィルタ戦略決定部）
「フィルタ戦略決定部」２６０５は、復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報算出部で算出された映像符号化戦略情報に基づいて決定する。例えば、高画質に映像が符号化される戦略が用いられている時間には、フィルタの強度を弱めたり、全くフィルタを施さないようにしたりする。また、非高画質に映像が符号化される戦略が用いられている時間には、映像符号化戦略情報により示される非高画質の程度に応じて、フィルタの強度を強めたり、フィルタの種類を選択したりする。

（実施形態５：フィルタ実行部）
「フィルタ実行部」２６０６は、フィルタ戦略決定部２６０５の決定したフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施す。

（実施形態５：処理の流れ）
本実施形態の多重化メディア再生装置２６００の処理の流れは次のようになる。まず、時間的多重化特性マップ情報生成部２６０３が、多重化特性情報を取得し、時間的多重化特性マップ情報を生成する。次に、映像符号化戦略情報算出部２６０４が、映像符号化戦略情報を算出し、フィルタ戦略決定部２６０５が復号映像信号に施すフィルタの種類又は／及び強度を決定する。その後、フィルタ実行部２６０６がフィルタ戦略決定部２６０５の決定に従って復号映像信号にフィルタを施す。

多重化メディア再生装置２６００は、以上の処理を多重化特性情報が得られる都度、繰り返して実行する。あるいは、多重化メディア情報が媒体などに記録され、先読みができる場合には、多重化メディア分離処理部２６０１が多重化メディア情報の先読みを行ない、その結果得られる多重化特性情報をまとめて受け取ったときに、多重化メディア再生装置２６００が上記の処理を実行するようにしてもよい。

（実施形態５：多重化メディア再生プログラム（主に請求項２１に対応））
多重化メディア再生装置２６００は、計算機により実現することができる。その場合には、以下に説明する多重化メディア再生プログラムを計算機で動作させることになる。

本実施形態の多重化メディア再生プログラムは、多重化メディア分離処理ステップと、映像復号化ステップと、時間的多重化特性マップ情報生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を計算機に実行させるためのプログラムである。

多重化メディア分離処理ステップと、映像復号化ステップと、時間的多重化特性マップ情報生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップは、それぞれ、多重化メディア分離処理部２６０１と、映像復号化部２６０２と、時間的多重化特性マップ情報生成部２６０３と、映像符号化戦略情報算出部２６０４と、フィルタ戦略決定部２６０５と、フィルタ実行部２６０６に対応する。

したがって、図２６の機能ブロック図は、本実施形態の多重化メディア再生プログラムのモジュール構成図として解釈することができる。

「多重化メディア分離処理プログラム」は、多重化メディア情報を、それぞれの符号化メディア情報に分離するためのステップである。

「映像復号化ステップ」は、符号化映像情報を復号し復号映像信号を得るためのステップである。

「時間的多重化特性マップ情報生成ステップ」は、多重化メディア分離処理ステップでの多重化符号化メディア情報の分離に伴って多重化特性情報を取得し、時間的多重化特性マップ情報を生成するためのステップである。

「映像符号化戦略情報算出ステップ」は、時間的多重化特性マップ情報に基づいて映像符号化戦略情報を算出するためのステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報に基づいて、決定するためのステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップにより決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すステップである。

（実施形態５：多重化メディア再生方法（主に請求項２２に対応））
また、本実施形態の多重化メディア再生装置２６００と多重化メディア再生プログラムは、多重化メディア再生方法を使用するための装置とプログラムである。

すなわち、本実施形態の多重化メディア再生方法は、多重化メディア分離処理ステップと、映像復号化ステップと、時間的多重化特性マップ情報生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を含む方法である。

「多重化メディア分離処理プログラム」は、多重化メディア情報を、それぞれの符号化メディア情報に分離するためのステップである。例えば、多重化メディア分離処理部２６０１を動作させるステップである。

「映像復号化ステップ」は、符号化映像情報を復号し復号映像信号を得るためのステップである。例えば、映像復号化部２６０２を動作させるステップである。

「時間的多重化特性マップ情報生成ステップ」は、多重化メディア分離処理ステップでの多重化符号化メディア情報の分離に伴って多重化特性情報を取得し、時間的多重化特性マップ情報を生成するためのステップである。例えば、時間的多重化特性マップ情報生成部２６０３を動作させるステップである。

「映像符号化戦略情報算出ステップ」は、時間的多重化特性マップ情報に基づいて映像符号化戦略情報を算出するためのステップである。例えば、映像符号化戦略情報算出部２６０４を動作させるステップである。

「フィルタ戦略決定ステップ」は、復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報に基づいて、決定するためのステップである。例えば、フィルタ戦略決定部２６０５を動作させるステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップにより決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すステップである。例えば、フィルタ実行部２６０６を動作させるステップである。

なお、本実施形態の多重化メディア再生方法は、本実施形態の多重化メディア再生装置２６００と多重化メディア再生プログラムのみで使用される方法ではない。

（実施形態５：主な効果）
本実施形態によれば、映像が符号化された際の戦略を算出し、その戦略に基づいてフィルタの種類又は／及び強度が決定されるので、画質が向上し、また、全画面のノイズを検出するための計算などの膨大な計算量が要求されないようにすることができる。

（実施形態６：主に請求項１１、１２、２３、２４に対応する）
本実施形態においては、次のマルチメディア情報再生装置が提供される。すなわち、符号化された映像を含むマルチメディア情報を構成する各メディアの振る舞いを示すシナリオ情報を解析し、解析されたシナリオ情報に基づいてマルチメディア情報の時間的な遷移を示す情報である時間的遷移特性情報を生成し、時間的遷移特性情報から、映像符号化戦略情報を算出し、その映像符号化戦略情報に基づいて、映像に施すべきフィルタを決定するマルチメディア情報再生装置が提供される。

（実施形態６：構成）
図２９は、本実施形態におけるマルチメディア情報再生装置の機能ブロック図を例示する。マルチメディア情報再生装置は、シナリオ解析部２９０１と、映像復号化部２９０２と、時間的遷移特性情報生成部２９０３と、映像符号化戦略情報算出部２９０４と、フィルタ戦略決定部２９０５と、フィルタ実行部２９０６と、を備えている。

（実施形態６：シナリオ解析部）
「シナリオ解析部」２９０１は、シナリオ情報を解析する。例えば、シナリオ情報がテキスト情報により表現されている場合には、字句解析を行なう。また、シナリオ情報が字句解析などの終わったものであり、直ちにシナリオ情報に基づいて処理が可能な情報である場合には、その処理の意味、すなわち、各メディアの振る舞いなど、を解析する。

（実施形態６：シナリオ情報（主に請求項１２に関連））
マルチメディア情報再生においては、そのマルチメディア情報を構成する各メディアが、制作者の意図に応じて、表示および再生状態が変更されたり、表示および再生位置が変更されたりする。このようなマルチメディア情報における各メディアの振る舞いに関して記述するための情報を、「シナリオ情報」という。

シナリオ情報には、メディアの種類を示すための情報（すなわち、どの種類のメディアの振る舞いであるかを示すための情報）、メディアの振る舞いの種類を示すための情報（たとえば、メディアの表示が開始される、表示位置が移動する、メディアの表示が終了する、などを示すための情報）、メディアの振る舞いが行なわれる時刻に関する情報（例えば、いつのタイミングでメディアの表示が行なわれるか、などを示すための情報）、メディアの振る舞いが行なわれる位置を示すための情報（例えば、メディアの表示が画面上のどの位置で行なわれるか、などを示すための情報）などが含まれる。

図３０は、解析されるシナリオ情報の例を示す。１行目から４行目までが、メディアの種類を示している。Ｏｂｊｅｃｔ１は動画、Ｏｂｊｅｃｔ２は静止画、Ｏｂｊｅｃｔ３はテキストという種類として定義されている。５行目から８行目までが、メディアの振る舞いの位置などを示している。このために、Ｗｉｎｄｏｗ１、Ｗｉｎｄｏｗ２、Ｗｉｎｄｏｗ３が定義されている。９行目から１３行目までが、メディアの振る舞いの種類、また、その振る舞いの時刻はいつであるかを定義している。例えば、１０行目は、時刻０秒に、Ｏｂｊｅｃｔ１がＷｉｎｄｏｗ１で示される位置に現れるという振る舞いを示している。また、１１行名は、時刻１０秒に、Ｏｂｊｅｃｔ２がＷｉｎｄｏｗ２に表示されることを示し、１２行目は、時刻２０秒に、Ｏｂｊｅｃｔ３がＷｉｎｄｏｗ３に表示され、その際、フォントがゴシックになりフォントのサイズが１８ポイントになることを表わしている。また、１３行目は、Ｏｂｊｅｃｔ３が消えることを意味している。

シナリオ解析部は、このようなシナリオを解析し、どのメディアに対して、どの位置で、いつ、どのような操作が行なわれるか、などを示すシナリオ情報を解析する。

（実施形態６：映像復号化部）
「映像復号化部」２９０２は、符号化された映像を復号し復号映像信号を得る。例えば、映像がＭＰＥＧの仕様に基づいて符号化されている場合には、映像復号化部は、図２に例示した符号化映像復号化装置２００により実現される。

（実施形態６：時間的遷移特性情報生成部）
「時間的遷移特性情報生成部」２９０３は、シナリオ解析部２９０１で解析されたシナリオ情報に基づいて、時間的遷移特性情報を生成する。

（実施形態６：時間的遷移特性情報）
「時間的遷移特性情報」とは、マルチメディア情報の時間的な遷移を示す情報である。

図３１は、図３０に示されたシナリオを解析したシナリオ情報に基づいて生成された時間的遷移特性情報を例示している。矩形３１０１は、時刻０秒において、Ｏｂｊｅｃｔ１が表示される領域３１０４が作られることを示している。矩形３１０２は、時刻１０秒において、Ｏｂｊｅｃｔ２が表示される領域３１０５が作られることを示している。矩形３１０３は、時刻２０秒において、Ｏｂｊｅｃｔ３が表示される領域３０１６が領域３１０４の中に作られることを示している。

（実施形態６：映像符号化戦略情報算出部）
「映像符号化戦略情報算出部」２９０４は、時間的遷移特性情報生成部２９０３が生成した時間的遷移特性情報から、映像符号化戦略情報を算出する。

（実施形態６：映像符号化戦略情報）
「映像符号化戦略情報」とは、映像が符号化された際の符号化の戦略を示す情報である。

図３２は、図３１に示された時間的遷移特性情報から算出される映像符号化戦略情報を例示している。矩形３２０１は、時刻０秒から１０秒までの映像符号化戦略情報を示している。矩形３２０１は、時刻０秒から１０秒までは、符号化の戦略が無いまま符号化が行なわれることを意味している。

矩形３２０２は、時刻１０秒から２０秒までの映像符号化戦略情報を示している。時刻１０秒からは、静止画が表示されることに伴い、その静止画が表示される領域及びその近傍である領域３２０４が注視されるので、領域３２０４の映像が高画質に符号化される戦略が用いられることを、矩形３２０２は示している。

矩形３２０３は、時刻２０秒からの映像符号化戦略情報を示している。時刻２０秒からは、文字情報が表示されることに伴い、その文字情報が表示される領域及びその近傍である領域３２０５も注視されるので、領域３２０４に加えて、領域３２０５の映像が高画質に符号化される戦略が用いられることを、矩形３２０３は示している。

（実施形態６：映像符号化戦略情報の第２の例）
図３３は、映像符号化戦略情報の別の例を示している。例えば、時刻０秒から２０秒まで、全画面に映像が表示されるとし、時刻２０秒から３０秒までが全画面の内部の領域３３０３に別のメディアが、映像に重ねて表示されるとする。すると、映像の領域３３０３の部分は別のメディアにより見えなくなるか、詳細部分が見えなくなるので、画質を落として符号化される戦略が用いられると考えられる。そこで、領域３３０３の部分は非高画質に符号化される戦略が用いられ、領域３３０３以外の部分は、高画質に符号化される戦略が用いられると考えられる。そこで、このように映像の上に別メディアが重ねて表示される場合には、映像の別のメディアの部分が重なる部分は、非高画質に符号化される戦略が用いられるとみなして、映像符号化戦略情報を算出してもよい。

（実施形態６：フィルタ戦略決定部）
「フィルタ戦略決定部」２９０５は、映像符号化戦略情報算出部２９０４が算出した映像符号化戦略情報に基づき、復号映像信号に施すフィルタの領域、種類又は／及び強度を決定する。例えば、高画質に映像が符号化される領域に対しては、フィルタの強度を弱めたり、あるいは、フィルタを施さないようにする。それに対して、非高画質に映像が符号化される領域に対しては、非高画質の程度に応じてフィルタの種類を選択したり、フィルタの強度を強めたりする。

（実施形態６：フィルタ実行部）
「フィルタ実行部」２９０６は、フィルタ戦略決定部の決定したフィルタの領域、種類又は／及び種類に従って、復号映像信号にフィルタを施す。

（実施形態６：処理の流れ）
図３４は、本実施形態のマルチメディア情報再生装置の処理の流れを説明するフローチャートを例示する。ステップＳ３４０１において、シナリオ解析部２９０１がシナリオ情報を解析する。ステップＳ３４０２において、時間的遷移特性情報生成部２９３０が、解析されたシナリオ情報に基づいて、時間的遷移特性情報を生成する。ステップＳ３４０３において、映像符号化戦略情報算出部２９４０が映像符号化戦略情報を算出する。ステップＳ３４０４において、フィルタ戦略決定部２９０５がフィルタの領域、種類又は／及び強度を決定する。ステップＳ３４０５において、フィルタ実行部２９０６がフィルタ戦略決定部２９０５の決定したフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施す。

（実施形態６：マルチメディア情報再生プログラム（主に請求項２３に対応））
本実施形態のマルチメディア情報再生装置は、計算機により実現することが可能である。その場合は、計算機内で、マルチメディア情報再生プログラムを動かすことになる。

本実施形態におけるマルチメディア情報再生プログラムは、シナリオ解析ステップと、映像復号ステップと、時間的遷移特性情報生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を計算機に実行させるプログラムである。

シナリオ解析ステップと、映像復号ステップと、時間的遷移特性情報生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップは、それぞれ、シナリオ解析部２９０１と、映像復号部２９０２と、時間的遷移特性情報生成部２９０３と、映像符号化戦略情報算出部２９０４と、フィルタ戦略決定部２９０５と、フィルタ実行部２９０６に対応する。

したがって、図２９の機能ブロック図は、マルチメディア情報再生プログラムのモジュール構成図と解釈することもできる。

「シナリオ解析ステップ」は、シナリオ情報を解析するためのステップである。

「映像復号化ステップ」は、復号映像信号を得るためのステップである。

「時間的遷移特性情報生成ステップ」は、解析されたシナリオ情報に基づいて、時間的遷移特性情報を生成するためのステップである。

「映像符号化戦略情報算出ステップ」は、時間的遷移特性情報から、映像符号化戦略情報を算出するためのステップである。

「フィルタ戦略決定ステップ」は、映像符号化戦略情報に基づき、復号映像信号に施すフィルタの領域、種類又は／及び強度を決定するためのステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。

（実施形態６：マルチメディア再生方法（主に請求項２４に対応））
また、本実施形態のマルチメディア情報再生装置とマルチメディア情報再生プログラムは、マルチメディア情報再生方法を使用するための装置とプログラムとみなすこともできる。なお、本実施形態のマルチメディア情報再生方法は、本実施形態のマルチメディア情報再生装置とマルチメディア情報再生プログラムにおいて使用される方法であると限定されることはない。

本実施形態のマルチメディア情報再生方法は、シナリオ解析ステップと、映像復号ステップと、時間的遷移特性情報生成ステップと、映像符号化戦略情報算出ステップと、フィルタ戦略決定ステップと、フィルタ実行ステップと、を含む方法である。

「シナリオ解析ステップ」は、シナリオ情報を解析するためのステップである。例えば、シナリオ解析部２９０１を動作させるステップである。

「映像復号化ステップ」は、復号映像信号を得るためのステップである。例えば、映像復号化部２９０２を動作させるステップである。

「時間的遷移特性情報生成ステップ」は、解析されたシナリオ情報に基づいて、時間的遷移特性情報を生成するためのステップである。例えば、時間的遷移特性情報生成部２９０３を動作させるステップである。

「映像符号化戦略情報算出ステップ」は、時間的遷移特性情報から、映像符号化戦略情報を算出するためのステップである。例えば、映像符号化戦略情報算出部２９０４を動作させるステップである。

「フィルタ戦略決定ステップ」は、映像符号化戦略情報に基づき、復号映像信号に施すフィルタの領域、種類又は／及び強度を決定するためのステップである。例えば、フィルタ戦略決定部２９０５を動作させるステップである。

「フィルタ実行ステップ」は、フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのステップである。例えば、フィルタ実行部２９０６を動作させるステップである。

（実施形態６：主な効果）
本実施形態によれば、映像が符号化された際の戦略を算出し、その戦略に基づいてフィルタの種類又は／及び強度が決定されるので、画質が向上し、また、全画面のノイズを検出するための計算などの膨大な計算量が要求されないようにすることができる。

本発明に係る符号化映像復号化装置、多重化メディア再生装置及びマルチメディア情報再生装置は、映像が符号化された際の戦略を算出し、その戦略に基づいてフィルタの種類又は／及び強度が決定されるので、画質が向上し、また、全画面のノイズを検出するための計算などの膨大な計算量が要求されないようにでき、符号化した映像を復号化する装置などとして有用である。

映像符号化装置の機能ブロック図 符号化映像復号化装置の機能ブロック図 実施形態１の符号化映像復号化装置の機能ブロック図 空間的分布特性マップ情報の一例図 空間的符号化戦略情報の一例図 空間的分布特性マップ情報の一例図 空間的符号化戦略情報の一例図 空間的分布特性マップ情報の一例図 ビデオパケットの区切りに基づいてフレームの領域を分けた状態の一例図 実施形態１の符号化映像復号化装置の処理のフローチャート 実施形態２の符号化映像復号化装置の機能ブロック図 時間的分布特性マップ情報の一例図 時間的符号化戦略情報の一例図 時間的分布特性マップ情報の一例図 時間的符号化戦略情報の一例図 実施形態２の符号化映像復号化装置の処理のフローチャート 実施形態３の符号化映像復号化装置の機能ブロック図 映像符号化特性マップ情報の一例図 符号化戦略情報が生成される過程を示す図 符号化戦略情報が生成される過程を示す図 実施形態３の符号化映像復号化装置の処理のフローチャート 実施形態４の多重化メディア再生装置の機能ブロック図 時間的メディア符号化マップ情報の一例図 映像符号化戦略情報の一例図 実施形態４の多重化メディア再生装置の処理のフローチャート 実施形態５の多重化メディア再生装置の機能ブロック図 時間的多重化特性マップ情報の一例図 映像符号化戦略情報の一例図 実施形態５のマルチメディア情報再生装置の機能ブロック図 シナリオの一例図 時間的遷移特性情報の一例図 映像符号化戦略情報の一例図 映像符号化戦略情報の一例図 実施形態６のマルチメディア情報再生装置の処理のフローチャート

符号の説明

３００ 符号化映像復号化装置
３０１ 映像復号化処理部
３０２ 空間的分布特性マップ情報生成部
３０３ 空間的符号化戦略情報算出部
３０４ フィルタ戦略決定部
３０５ フィルタ実行部
３０６ 復号映像信号
３０７ 符号化情報
３０８ 空間的分布特性マップ情報
３０９ 空間的符号化戦略情報

Claims (24)

1. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成する映像復号化処理部と、
   符号化映像の符号化の特性を示す情報である符号化情報を映像復号化処理部より取得し、フレーム毎に符号化情報の空間的な分布に関する情報である空間的分布特性マップ情報を生成する空間的分布特性マップ情報生成部と、
   空間的分布特性マップ情報生成部が生成した空間的分布特性マップ情報に基づき、映像が符号化された際の空間的戦略を示す情報である空間的符号化戦略情報を算出する空間的符号化戦略情報算出部と、
   復号映像信号に施すフィルタの領域、種類又は／及び強度を、空間的符号化戦略情報算出部で算出された空間的符号化戦略情報に基づいて、決定するフィルタ戦略決定部と、
   フィルタ戦略決定部により決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すフィルタ実行部と、
   を備える符号化映像復号化装置。
2. 符号化情報は、量子化値に関する情報、ブロックの符号量に関する情報、動きベクトルに関する情報、ビデオパケットの区切りに関する情報、のいずれか一を含むことを特徴とする請求項１に記載の符号化映像復号化装置。
3. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成する映像復号化処理部と、
   符号化映像の符号化の特性を示す情報である符号化情報を映像復号化処理部より取得し、フレームの符号化情報の時間的な分布に関する情報である時間的分布特性マップ情報を生成する時間的分布特性マップ情報生成部と、
   時間的分布特性マップ情報生成部が生成した時間的分布特性マップ情報に基づき、映像が符号化された際の時間的戦略を示す情報である時間的符号化戦略情報を算出する時間的符号化戦略情報算出部と、
   復号映像信号に施すフィルタの種類又は／及び強度を、時間的符号化戦略情報算出部で算出された時間的符号化戦略情報に基づいて、決定するフィルタ戦略決定部と、
   フィルタ戦略決定部で決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すフィルタ実行部と、
   を備えた符号化映像復号化装置。
4. 符号化情報は、符号化されたフレームがＩフレームであるかどうかを示す情報、符号化されたフレームがスキップフレームであるかどうかを示す情報、符号化されたフレームの符号量を示す情報、のいずれか一を含むことを特徴とする請求項３に記載の符号化映像復号化装置。
5. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成する映像復号化処理部と、
   符号化映像の符号化の特性を示す情報である符号化情報を映像復号化処理部より取得し、その符号化情報の空間的かつ時間的な分布に関する情報である映像符号化特性マップ情報を生成する映像符号化特性マップ生成部と、
   映像符号化特性マップ生成部で生成した映像符号化特性マップ情報に基づき、映像が符号化された際の戦略を示す情報である符号化戦略情報を算出する符号化戦略情報算出部と、
   復号映像信号に施すフィルタの領域、種類又は／及び強度を、符号化戦略情報算出部で算出された符号化戦略情報に基づいて、決定するフィルタ戦略決定部と、
   フィルタ戦略決定部で決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すフィルタ実行部と、
   を備えた符号化映像復号化装置。
6. 符号化情報の空間的な分布に関する情報は、量子化値に関する情報、ブロックの符号量に関する情報、動きベクトルに関する情報、ビデオパケットの区切りに関する情報、のいずれか一を含み、符号化情報の時間的な分布に関する情報は、符号化されたフレームがＩフレームであるかどうかを示す情報、符号化されたフレームがスキップフレームであるかどうかを示す情報、符号化されたフレームの符号量、のいずれか一を含むことを特徴とする請求項５に記載の符号化映像復号化装置。
7. 符号化された映像である符号化映像情報と、他の符号化された情報である符号化メディア情報とを多重化した符号化メディア情報を分離するための多重化メディア分離処理部と、
   多重化メディア分離処理部で分離された符号化メディア情報のそれぞれを復号化する複数のメディア復号化処理部と、
   符号化メディア情報の符号化の特性を示す情報である符号化情報をメディア復号化処理部より取得し、符号化情報の時間的な特性を示す情報である時間的メディア符号化特性マップ情報を生成する時間的メディア符号化特性マップ生成部と、
   時間的メディア符号化特性マップ生成部で生成された時間的メディア符号化特性マップ情報に基づいて、映像が符号化された際の符号化の戦略を示す情報である映像符号化戦略情報を算出する映像符号化戦略情報算出部と、
   符号化映像情報を復号した信号である復号映像信号に施すフィルタの種類又は／及び強度を映像符号化戦略情報算出部が算出した映像符号化戦略情報に基づいて決定するフィルタ戦略決定部と、
   フィルタ戦略決定部で決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すフィルタ実行部と、
   を備えた多重化メディア再生装置。
8. 符号化情報は、符号量を示す情報であることを特徴とする請求項７に記載の多重化メディア再生装置。
9. 符号化された映像である符号化映像情報と、他の符号化された情報である符号化メディア情報とを多重化した多重化符号化メディア情報を、それぞれの符号化メディア情報に分離するための多重化メディア分離処理部と、
   多重化メディア分離処理部で分離された符号化映像情報を復号し復号映像信号を得る映像復号化部と、
   多重化メディア分離処理部から符号化メディア情報の多重化に関する情報である多重化特性情報を取得し、符号化メディア情報の多重化の時間的な推移を示す情報である時間的多重化特性マップ情報を生成する時間的多重化特性マップ情報生成部と、
   時間的多重化特性マップ情報生成部で生成された時間的多重化特性マップ情報に基づいて映像が符号化された際の符号化の戦略を示す情報である映像符号化戦略情報を算出する映像符号化戦略情報算出部と、
   復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報算出部で算出された映像符号化戦略情報に基づいて、決定するフィルタ戦略決定部と、
   フィルタ戦略決定部の決定したフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すフィルタ実行部と、
   を備える多重化メディア再生装置。
10. 多重化特性情報は、ランダムアクセスポイントを示す情報、符号化メディア情報毎の符号量を示す情報、符号化映像情報のフレーム数を示す情報、のいずれか一を含むことを特徴とする請求項９に記載の多重化メディア再生装置。
11. 符号化された映像を含むマルチメディア情報を構成する各メディアの振る舞いを示す情報であるシナリオ情報を解析するシナリオ解析部と、
    符号化された映像を復号し復号映像信号を得る映像復号化部と、
    シナリオ解析部で解析されたシナリオ情報に基づいて、マルチメディア情報の時間的な遷移を示す情報である時間的遷移特性情報を生成する時間的遷移特性情報生成部と、
    時間的遷移特性情報生成部が生成した時間的遷移特性情報から、映像が符号化された際の符号化の戦略を示す情報である映像符号化戦略情報を算出する映像符号化戦略情報算出部と、
    映像符号化戦略情報算出部が算出した映像符号化戦略情報に基づき、復号映像信号に施すフィルタの領域、種類又は／及び強度を決定するフィルタ戦略決定部と、
    フィルタ戦略決定部の決定したフィルタの領域、種類又は／及び強度に従って復号映像信号にフィルタを施すフィルタ実行部と、
    を備えるマルチメディア情報再生装置。
12. シナリオ情報は、メディアの種類を示す情報、メディアの振る舞いの種類を示す情報、メディアの振る舞いの時刻に関する情報、メディアの振る舞いの位置に関する情報、を含むことを特徴とする請求項１１に記載のマルチメディア情報再生装置。
13. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成するための映像復号化処理ステップと、
    符号化映像の符号化の特性を示す情報である符号化情報を、映像復号化処理ステップでの復号映像信号の生成に伴って取得し、フレーム毎に符号化情報の空間的な分布に関する情報である空間的分布特性マップ情報を生成するための空間的分布特性マップ情報生成ステップと、
    空間的分布特性マップ情報生成ステップにて生成された空間的分布特性マップ情報に基づき、映像が符号化された際の空間的戦略を示す情報である空間的符号化戦略情報を算出するための空間的符号化戦略情報算出ステップと、
    復号映像信号に施すフィルタの領域、種類又は／及び強度を、空間的符号化戦略情報算出ステップにて算出された空間的符号化戦略情報に基づいて、決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を計算機に実行させるための符号化映像復号化プログラム。
14. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成するための映像復号化処理ステップと、
    符号化映像の符号化の特性を示す情報である符号化情報を、映像復号化処理ステップでの復号映像信号の生成に伴って取得し、フレーム毎に符号化情報の空間的な分布に関する情報である空間的分布特性マップ情報を生成するための空間的分布特性マップ情報生成ステップと、
    空間的分布特性マップ情報生成ステップにて生成された空間的分布特性マップ情報に基づき、映像が符号化された際の空間的戦略を示す情報である空間的符号化戦略情報を算出するための空間的符号化戦略情報算出ステップと、
    復号映像信号に施すフィルタの領域、種類又は／及び強度を、空間的符号化戦略情報算出ステップにて算出された空間的符号化戦略情報に基づいて、決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を含む符号化映像復号化方法。
15. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成するための映像復号化処理ステップと、
    符号化映像の符号化の特性を示す情報である符号化情報を、映像復号化処理ステップでの復号映像信号の生成に伴って取得し、フレームの符号化情報の時間的な分布に関する情報である時間的分布特性マップ情報を生成するための時間的分布特性マップ情報生成ステップと、
    時間的分布特性マップ情報生成ステップにて生成された時間的分布特性マップ情報に基づき、映像が符号化された際の時間的戦略を示す情報である時間的符号化戦略情報を算出するための時間的符号化戦略情報算出ステップと、
    復号映像信号に施すフィルタの種類又は／及び強度を、時間的符号化戦略情報算出ステップにより算出された時間的符号化戦略情報に基づいて、決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を計算機に実行させるための符号化映像復号化プログラム。
16. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成するための映像復号化処理ステップと、
    符号化映像の符号化の特性を示す情報である符号化情報を、映像復号化処理ステップでの復号映像信号の生成に伴って取得し、フレームの符号化情報の時間的な分布に関する情報である時間的分布特性マップ情報を生成するための時間的分布特性マップ情報生成ステップと、
    時間的分布特性マップ情報生成ステップにて生成された時間的分布特性マップ情報に基づき、映像が符号化された際の時間的戦略を示す情報である時間的符号化戦略情報を算出するための時間的符号化戦略情報算出ステップと、
    復号映像信号に施すフィルタの種類又は／及び強度を、時間的符号化戦略情報算出ステップにより算出された時間的符号化戦略情報に基づいて、決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を含む符号化映像復号化方法。
17. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成するための映像復号化処理ステップと、
    符号化映像の符号化の特性を示す情報である符号化情報を、映像復号化処理ステップにおける復号映像信号の生成に伴って取得し、その符号化情報の空間的かつ時間的な分布に関する情報である映像符号化特性マップ情報を生成するための映像符号化特性マップ生成ステップと、
    映像符号化特性マップ生成ステップにて生成された映像符号化特性マップ情報に基づき、映像が符号化された際の戦略を示す情報である符号化戦略情報を算出するための符号化戦略情報算出ステップと、
    復号映像信号に施すフィルタの領域、種類又は／及び強度を、符号化戦略情報算出ステップにて算出された符号化戦略情報に基づいて、決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を計算機に実行させるための符号化映像復号化プログラム。
18. 符号化された映像である符号化映像を復号した信号である復号映像信号を生成するための映像復号化処理ステップと、
    符号化映像の符号化の特性を示す情報である符号化情報を、映像復号化処理ステップにおける復号映像信号の生成に伴って取得し、その符号化情報の空間的かつ時間的な分布に関する情報である映像符号化特性マップ情報を生成するための映像符号化特性マップ生成ステップと、
    映像符号化特性マップ生成ステップにて生成された映像符号化特性マップ情報に基づき、映像が符号化された際の戦略を示す情報である符号化戦略情報を算出するための符号化戦略情報算出ステップと、
    復号映像信号に施すフィルタの領域、種類又は／及び強度を、符号化戦略情報算出ステップにて算出された符号化戦略情報に基づいて、決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を含む符号化映像復号化方法。
19. 符号化された映像である符号化映像情報と、他の符号化された情報である符号化メディア情報とを多重化した符号化メディア情報を分離するための多重化メディア分離処理ステップと、
    多重化メディア分離処理ステップにて分離された符号化メディア情報のそれぞれを復号するためのメディア復号化処理ステップと、
    符号化メディア情報の符号化の特性を示す情報である符号化情報を、メディア復号化処理ステップでの符号化メディア情報の復号に伴って取得し、符号化情報の時間的な特性を示す情報である時間的メディア符号化特性マップ情報を生成するための時間的メディア符号化特性マップ生成ステップと、
    時間的メディア符号化特性マップ生成ステップにて生成された時間的メディア符号化特性マップ情報に基づいて、映像が符号化された際の符号化の戦略を示す情報である映像符号化戦略情報を算出するための映像符号化戦略情報算出ステップと、
    符号化映像情報を復号した信号である復号映像信号に施すフィルタの種類又は／及び強度を映像符号化戦略情報算出ステップにて算出された映像符号化戦略情報に基づいて決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を計算機に実行させるための多重化メディア再生プログラム。
20. 符号化された映像である符号化映像情報と、他の符号化された情報である符号化メディア情報とを多重化した符号化メディア情報を分離するための多重化メディア分離処理ステップと、
    多重化メディア分離処理ステップにて分離された符号化メディア情報のそれぞれを復号するためのメディア復号化処理ステップと、
    符号化メディア情報の符号化の特性を示す情報である符号化情報を、メディア復号化処理ステップでの符号化メディア情報の復号に伴い、取得し、符号化情報の時間的な特性を示す情報である時間的メディア符号化特性マップ情報を生成するための時間的メディア符号化特性マップ生成ステップと、
    時間的メディア符号化特性マップ生成ステップにて生成された時間的メディア符号化特性マップ情報に基づいて、映像が符号化された際の符号化の戦略を示す情報である映像符号化戦略情報を算出するための映像符号化戦略情報算出ステップと、
    符号化映像情報を復号した信号である復号映像信号に施すフィルタの種類又は／及び強度を映像符号化戦略情報算出ステップにて算出された映像符号化戦略情報に基づいて決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を含む多重化メディア再生方法。
21. 符号化された映像である符号化映像情報と、他の符号化された情報である符号化メディア情報とを多重化した多重化符号化メディア情報を、それぞれの符号化メディア情報に分離するための多重化メディア分離処理ステップと、
    多重化メディア分離処理ステップで分離された符号化映像情報を復号し復号映像信号を得るための映像復号化ステップと、
    多重化メディア分離処理ステップでの多重化符号化メディア情報の分離に伴って符号化メディア情報の多重化に関する情報である多重化特性情報を取得し、符号化メディア情報の多重化の時間的な推移を示す情報である時間的多重化特性マップ情報を生成するための時間的多重化特性マップ情報生成ステップと、
    時間的多重化特性マップ情報生成ステップにて生成された時間的多重化特性マップ情報に基づいて映像が符号化された際の符号化の戦略である映像符号化戦略情報を算出するための映像符号化戦略情報算出ステップと、
    復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報算出ステップにて算出された映像符号化戦略情報に基づいて、決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定部の決定したフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を計算機に実行させるための多重化メディア再生プログラム。
22. 符号化された映像である符号化映像情報と、他の符号化された情報である符号化メディア情報とを多重化した多重化符号化メディア情報を、それぞれの符号化メディア情報に分離するための多重化メディア分離処理ステップと、
    多重化メディア分離処理ステップで分離された符号化映像情報を復号し復号映像信号を得るための映像復号化ステップと、
    多重化メディア分離処理ステップでの多重化符号化メディア情報の分離に伴って符号化メディア情報の多重化に関する情報である多重化特性情報を取得し、符号化メディア情報の多重化の時間的な推移を示す情報である時間的多重化特性マップ情報を生成するための時間的多重化特性マップ情報生成ステップと、
    時間的多重化特性マップ情報生成ステップにて生成された時間的多重化特性マップ情報に基づいて映像が符号化された際の符号化の戦略である映像符号化戦略情報を算出するための映像符号化戦略情報算出ステップと、
    復号映像信号に施すフィルタの種類又は／及び強度を、映像符号化戦略情報算出ステップにて算出された映像符号化戦略情報に基づいて、決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定部の決定したフィルタの種類又は／及び強度に従って、復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を含む多重化メディア再生方法
23. 符号化された映像を含むマルチメディア情報を構成する各メディアの振る舞いを示す情報であるシナリオ情報を解析するためのシナリオ解析ステップと、
    符号化された映像を復号し復号映像信号を得るための映像復号化ステップと、
    シナリオ解析ステップにて解析されたシナリオ情報に基づいて、マルチメディア情報の時間的な遷移を示す情報である時間的遷移特性情報を生成するための時間的遷移特性情報生成ステップと、
    時間的遷移特性情報生成ステップにて生成された時間的遷移特性情報から、映像が符号化された際の符号化の戦略を示す情報である映像符号化戦略情報を算出するための映像符号化戦略情報算出ステップと、
    映像符号化戦略情報算出ステップが算出した映像符号化戦略情報に基づき、復号映像信号に施すフィルタの領域、種類又は／及び強度を決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を計算機に実行させるためのマルチメディア情報再生プログラム。
24. 符号化された映像を含むマルチメディア情報を構成する各メディアの振る舞いを示す情報であるシナリオ情報を解析するためのシナリオ解析ステップと、
    符号化された映像を復号し復号映像信号を得るための映像復号化ステップと、
    シナリオ解析ステップにて解析されたシナリオ情報に基づいて、マルチメディア情報の時間的な遷移を示す情報である時間的遷移特性情報を生成するための時間的遷移特性情報生成ステップと、
    時間的遷移特性情報生成ステップにて生成された時間的遷移特性情報から、映像が符号化された際の符号化の戦略を示す情報である映像符号化戦略情報を算出するための映像符号化戦略情報算出ステップと、
    映像符号化戦略情報算出ステップが算出した映像符号化戦略情報に基づき、復号映像信号に施すフィルタの領域、種類又は／及び強度を決定するためのフィルタ戦略決定ステップと、
    フィルタ戦略決定ステップにて決定されたフィルタの領域、種類又は／及び強度に従って復号映像信号にフィルタを施すためのフィルタ実行ステップと、
    を含むマルチメディア情報再生方法。

Images