JP2003179921A

JP2003179921A - 符号化映像復号化装置

Info

Publication number: JP2003179921A
Application number: JP2001376300A
Authority: JP
Inventors: Toshio Oka; 敏夫岡; Yoshimasa Honda; 義雅本田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-12-10
Filing date: 2001-12-10
Publication date: 2003-06-27

Abstract

(57)【要約】【課題】復号化される映像の主観的画質を向上させ
る。【解決手段】符号化された映像の符号化情報をＶＬＤ
部７０２、逆量子化部７０２、逆ＤＣＴ部７０４などか
ら取得し、これに応じてフィルタ決定部１０１がフィル
タの種類又は／及び、強度を決定し、その決定にしたが
ってフィルタリング部１０２が復号映像信号に対してフ
ィルタを施すようにした。これにより、復号映像信号よ
り主観的画質を認識するという困難な操作が不要とな
り、適切なフィルタを施すことが可能となる。また、符
号化情報から画像の再生速度を推定することも可能とな
り、再生速度に応じたフィルタの種類又は／及び、強度
を決定して、フィルタを施すこともできるようになる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像を符号化した
ものを復号化する装置に関するものであり、特に、復号
化した際に主観的画質を向上させるためのフィルタリン
グを行なうことに特徴がある装置に関する。

【０００２】

【従来の技術】映像の復号化について述べるために、ま
ず、映像の符号化がどのように行なわれるかについて説
明する。図６は、映像の符号化を行なう映像符号化装置
の機能ブロック図を例示する。図６に示される映像符号
化装置６００は、ＩＳＯ／ＩＥＣが標準化を進めている
ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒ
ｔＧｒｏｕｐ）の規格に基づき、映像を符号化する装
置である。図６において、映像符号化装置６００は、入
力部６０１と、減算部６０２と、ＤＣＴ部６０３と、量
子化部６０４と、ＶＬＣ部６０５と、逆量子化部６０６
と、加算部６０８と、フレームメモリ６０９と、出力部
６１０とを備えている。

【０００３】入力部６０１は、映像信号を１フレーム毎
に減算部６０２に出力する。

【０００４】減算部６０２は、入力部６０１より入力さ
れる画像信号から、フレームメモリ６０９より入力され
る予測画像を減算して予測誤差を求め、それをＤＣＴ部
６０３に出力する。

【０００５】ＤＣＴ部６０３は入力された予測誤差に対
して映像符号化単位であるブロック単位（通常は１６×
１６の大きさのブロックを単位とする）にＤＣＴ変換
（直交変換）を施し、算出されたＤＣＴ係数を量子化部
６０４に出力する。

【０００６】量子化部６０４は、入力されたＤＣＴ係数
を量子化情報に基づいて量子化を行なって量子化ＤＣＴ
係数をＶＬＣ部６０５及び逆量子化部６０６に出力す
る。

【０００７】ＶＬＣ部６０５は、量子化ＤＣＴ係数を可
変長符号化し、出力部６１０に出力する。

【０００８】逆量子化部６０６は、量子化ＤＣＴ係数を
逆量子化した逆量子化ＤＣＴ係数を求め、それを逆ＤＣ
Ｔ部６０７に出力する。

【０００９】逆ＤＣＴ部６０７は、逆量子化ＤＣＴ係数
を逆ＤＣＴ変換し、復号化した予測誤差を加算部６０８
に出力する。

【００１０】加算部６０８は、逆ＤＣＴ部６０７より入
力される予測誤差とフレームメモリ６０９から入力され
る１フレーム前の復号化画像を加算し、現在の復号化画
像を算出し、フレームメモリ６０９に出力する。

【００１１】フレームメモリ６０９は、加算部６０８よ
り入力される復号化画像を用いて内部バッファを更新
し、復号化画像を減算部６０２及び加算部６０８に出力
する。

【００１２】映像符号化装置６００において、ＤＣＴ部
６０３によりＤＣＴ変換（直交変換）を行なうことによ
り、空間方向の冗長度を取り除くことが行われるが、ま
た、時間軸の方向の冗長度を取り除くために、動きベク
トルを求め、その出力も行なわれる。「動きベクトル」
とは、フレームをブロックに分割し（通常は１６×１６
の大きさのブロックが使用される）、各ブロックを１フ
レーム前の画像の上でスライドさせて、最もよくマッチ
する部分を探し出し、そのマッチする部分へ移動するシ
フトの方向及び距離を示すベクトルである。このような
ベクトルにより、ブロックの移動が予測でき、この予測
に基づき、予測画像が構成される。

【００１３】図７は、図６の映像符号化装置６００によ
り符号化された動画像を復号化する符号化映像復号化装
置の機能ブロック図を示す。図７において、符号化映像
復号化装置７００は、入力部７０１と、ＶＬＤ部７０２
と、逆量子化部７０３と、逆ＤＣＴ部７０４と、加算部
７０５と、フレームメモリ７０６と、フィルタ部７０７
と、出力部７０８とを備えている。

【００１４】入力部７０１は、符号化された映像を入力
する。

【００１５】ＶＬＤ部７０２は、ＶＬＣ部６０５に対応
し、可変長符号化された量子化ＤＣＴ係数を求めて逆量
子化部７０３に出力する。また、動きベクトルをフレー
ムメモリ７０６に出力する。

【００１６】逆量子化部７０３は、量子化ＤＣＴ係数を
逆量子化した逆量子化ＤＣＴ係数を求め、逆ＤＣＴ部７
０４に出力する。

【００１７】逆ＤＣＴ部７０４は、逆量子化ＤＣＴ係数
を逆ＤＣＴ変換し、その変換結果を加算部７０５に出力
する。

【００１８】加算部７０５は、逆ＤＣＴ部７０４が逆Ｄ
ＣＴ変換して出力する予測誤差とフレームメモリ７０６
の内容を加算して現在のフレームを得て、フィルタ部７
０７に出力する。

【００１９】フレームメモリ７０６は、ＶＬＤ部７０２
の出力する動きベクトルと、加算部７０５の出力する画
像とを入力として、次のフレーム内容を生成し、内部バ
ッファを更新するとともに、フレーム内容を加算部７０
５に出力する。

【００２０】フィルタ部７０７は、符号化された動画像
に対して画質を向上させるためのフィルタを施し、出力
部７０８に出力する。

【００２１】出力部７０８は、フィルタ部７０７により
入力された動画像を外部に出力する。

【００２２】

【発明が解決しようとする課題】従来の符号化映像復号
化装置においては、復号化された映像に対して施される
フィルタの種類、フィルタの強度は、復号化された映像
の状態に応じて選択されるようになっていた。このた
め、映像の状態を正しく認識する必要があるが、映像の
状態は、人間の認識や主観的な感受性に依存して決まる
ため、映像の状態を正しく認識するには、解決すべき課
題が多く、適切なフィルタの種類、フィルタの強度を選
択することは困難であった。このため、人間が主観的に
感じる画質（主観的画質）を向上させる目的で施すフィ
ルタが、反対に主観的画質を落とす場合も多々あった。

【００２３】また、映像の状態を正しく認識する機構を
用いて、フレーム毎に適切なフィルタの種類・強度を施
す機構を有した場合でも、映像の内容によっては、フィ
ルタの種類・強度が激しく切り換わり、その結果、映像
を見る人が違和感を持ってしまう場合がある。

【００２４】

【課題を解決するための手段】この課題を解決するため
に、本発明においては、符号化映像復号化装置のＶＬＤ
部、逆量子化部、逆ＤＣＴ部などにより得られる映像の
符号化情報を元に復号化された映像の信号である復号映
像信号に施すフィルタの種類、強度を決定し、その決定
に従ってフィルタを施すようにした。これにより、復号
化された映像の状態を正しく認識するという困難な操作
が必要なくなる。

【００２５】また、本発明においては、映像の再生速度
信号に基づいてフィルタの種類、強度を決定し、フィル
タを施すようにした。これにより、映像の再生が停止
し、静止画が得られる場合に、静止画の画質を向上させ
るようにフィルタを施すことができるようになる。

【００２６】また、本発明においては、符号化情報を元
に、映像が静止画であるかどうかを判断し、静止画ある
いは静止画に近い画像である場合には、それに適合した
フィルタを施すようにした。また、映像が動画の状態か
ら静止画に変化したことが検出されると、フィルタの強
度を時間と共に変化させ、映像を見る者が違和感を持た
ないようにした。

【００２７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて説明する。なお、本発明は、これら実施の
形態に何ら限定されるものではなく、その要旨を逸脱し
ない範囲において、種々なる態様で実施し得る。

【００２８】（実施の形態１）図１は、本発明の実施の
形態１における符号化映像復号化装置の機能ブロック図
を示す。図１に示す符号化映像復号化装置１００は、図
７に示した符号化映像復号化装置７００に、フィルタ決
定部１０１が追加され、また、図７におけるフィルタ部
７０７がフィルタリング部１０２に置き換えられたもの
である。

【００２９】フィルタ決定部１０１は、符号化された映
像の符号化情報を元に、復号映像信号に施すフィルタの
種類又は／及び、強度を決定する。すなわち、符号化さ
れた映像の符号化情報をＶＬＤ部７０２、逆量子化部７
０２、逆ＤＣＴ部７０４などより得ることにより、復号
化された映像信号に施すフィルタの種類又は／及び、そ
のフィルタの強度を決定する。「フィルタの種類又は／
及び、そのフィルタの強度を決定する」ことには、フィ
ルタを施さないことを決定することも含む。フィルタと
しては、モスキートノイズ除去フィルタ、ブロックノイ
ズ除去フィルタ、ガウスフィルタが例と挙げられるが、
他の種類のフィルタが用いられるようにしてもよい。ま
た、同時に二種類以上のフィルタが組み合わされるよう
にしてもよい。

【００３０】フィルタリング部１０２は、フィルタ決定
部１０１の決定したフィルタの種類又は／及び、強度に
従って、復号映像信号にフィルタを施す。「復号映像信
号」とは、復号化された映像の信号であり、加算部７０
５よりフィルタリング部１０２に出力される。

【００３１】図２は、本実施の形態１における符号化映
像復号化装置１００の動作を説明するフロー図である。
ステップＳ２０１において符号化情報を得ることを行な
い、ステップＳ２０２において、ステップＳ２０１で得
られた符号化情報に基づいてフィルタの種類又は／及
び、強度を決定する。ステップＳ２０１、ステップＳ２
０２は、フィルタ決定部１０１で処理がされる。ステッ
プＳ２０３において、ステップＳ２０２で決定されたフ
ィルタの種類又は／及び、強度にしたがってフィルタを
施すことを、フィルタリング部１０２で行なう。ステッ
プＳ２０４において映像の復号化が終了したかどうかを
判断し、終了していなければ、ステップＳ２０１に戻
る。

【００３２】ＶＬＤ部７０２から得られる符号化情報に
は、映像の符号化単位であるブロックに関するスキップ
情報、動きベクトル情報、量子化値情報、などがある。

【００３３】「スキップ情報」とは、映像符号化単位で
あるブロックに関して他のブロックの復号映像信号をそ
のまま使用する旨の情報である。「他のブロック」と
は、例えば、前のフレームにおける同じ位置のブロック
である。ＭＰＥＧ４の規格においては、スキップ情報
は、ＮＯＴ＿ＣＯＤＥＤという名称で示され、直前と同
じ映像を出すブロックかどうかを示す情報である。スキ
ップ情報が符号化情報に含まれるということは、そのブ
ロックについては、充分高画質な映像が符号化され送ら
れたと判断し、そのブロックについては、フィルタの強
度を弱めたりフィルタを施さないようにする。

【００３４】動きベクトル情報とは、各ブロックを１フ
レーム前の画像の上でスライドさせて、最もよくマッチ
する部分を探し、その部分へ移動するシフトの方向及び
距離を示すベクトルに関する情報である。動きベクトル
情報により、動きの多い映像であるかどうかを判断する
ことができる。映像に動きが多いと判断された場合に
は、人間の画像品質に関する感受性が低くなるので、フ
ィルタを施して画像の情報量を少なくしても、違和感を
持つことが少ないと考えられるので、フィルタの強度を
上げるようにすることが考えられる。特に、動きベクト
ルが所定の大きさ、例えば、ベクトルによる移動量があ
る程度以上になっていれば、映像にモスキートノイズ
（映像内のエッジ部分に発生するノイズであって蚊がエ
ッジにまとわりついていように見えるもの）が出る傾向
があるので、モスキートノイズ除去フィルタを施すこと
を決定し、また、施すモスキートノイズ除去フィルタの
強度を強めることを行なう。

【００３５】また、反対に、動きベクトルが所定の大き
さ以下である場合には、静止画に近い画像であると判断
される。このような画像に対しては、人間の画像品質に
対する感受性が高くなるので、フィルタをなるべく施さ
ないようにして、画像の持つ情報量を少なくしない方が
望ましく、フィルタ決定部１０１は、フィルタの強度を
弱めたり、フィルタを施さないようにする。特に動きベ
クトルの大きさが所定の大きさ以下である場合には、ブ
ロックノイズ（ブロック状の歪として発生するノイズ）
が出ることが少ないので、ブロックノイズ除去フィルタ
の強度を弱めたり、施さないような決定をフィルタ決定
部１０１が行なう。

【００３６】なお、上記において、動きベクトルの大き
さが所定の大きさ以上になっていれば、モスキートノイ
ズ除去フィルタを施すことを決定し、また、施すモスキ
ートノイズの強度を強めると説明をし、また、動きベク
トルの大きさが所定の大きさ以下である場合には、フィ
ルタの強度を弱めたり、フィルタを施さないようにする
と説明をしたが、「所定の大きさ」を定めずに、動きベ
クトルの大きさが大きくなるにつれてモスキートノイズ
除去フィルタの強度を強くするようにし、また、動きベ
クトルの大きさが小さくなるにつれてブロックノイズ除
去フィルタの強度を弱くするようにしてもよい。

【００３７】「量子化値情報」とは、映像符号化単位で
あるブロックに関して、ブロックを量子化する際の値
（量子化値）に関する情報である。量子化する際には、
量子化値によって除算を行ない、その商を得るので、量
子化値が小さいほど、量子化の逆の操作である逆量子化
において発生する誤差（すなわち、量子化前の値と逆量
子化後の値との差）が小さくなり、画像の劣化が少なく
なるという関係にある。そこで、量子化値の小さいブロ
ックについては、高画質に復号化できると判断してそれ
に応じたフィルタの選択を行ない、フィルタの強度を選
択する（例えば、フィルタの強度を弱くする）。逆に量
子化値の大きいブロックについては、それに応じたフィ
ルタの選択を行ない、フィルタの強度を強くして、画像
の劣化を補うようにする。なお、量子化値情報は、ＶＬ
Ｄ部７０２のみならず、逆量子化部７０３より得ること
も可能である。

【００３８】逆ＤＣＴ部７０４から得られる符号化情報
には、直交変換情報がある。「直交変換情報」とは、画
像を空間座標から周波数座標に変換することにより得ら
れる情報である。画像を空間座標から周波数座標に変換
する方法の一つには、離散コサイン変換がある。フィル
タ決定部１０１は、この直交情報に基づいてフィルタの
種類又は／及び、強度を決定するようにしてもよい。

【００３９】離散コサイン変換を行なうことにより、画
像を構成するブロックの周波数成分を検出することがで
きる。例えば、ブロック内にエッジ部分があるなどの理
由により、高周波成分が多くなると、復号化された映像
信号にモスキートノイズが発生する傾向がある。そこ
で、ブロックに高周波成分が所定の量以上ある場合に
は、そのブロックに対してモスキートノイズ除去フィル
タを施すようにする。また、高周波成分の量が多くなる
に応じて、モスキートノイズ除去フィルタの強度を強く
するようにしてもよい。

【００４０】また、逆に、低周波成分が多くなると、復
号化された映像信号にブロックノイズが発生する傾向が
ある。そこで、ブロックに低周波成分が所定の量以上あ
る場合には、そのブロックに対してブロックノイズ除去
フィルタを施すようにする。また、低周波成分が多くな
るに応じてブロックノイズ除去フィルタの強度を強くす
るようにしてもよい。

【００４１】また、所定の量を決めずに、高周波成分が
多くなるにつれてモスキートノイズ除去フィルタの強度
を強めたり、低周波成分が多くなるにつれてブロックノ
イズ除去フィルタの強度を強めたりしてもよい。

【００４２】なお、上記の説明においては、映像のフレ
ームを構成するブロックの符号化情報に基づいてフィル
タの種類又は／及び、強度を決定し、ブロック単位にフ
ィルタを施すようにしたが、フレームにおける全て、あ
るいは、一部のブロックの符号化情報に基づいてフィル
タの種類又は／及び、強度を決定し、フレーム単位にフ
ィルタを施すようにしてもよい。ここに「フレームにお
ける全て、あるいは、一部のブロックの符号化情報」と
は、フレームを構成する全てのブロック、または、一部
のブロックに関する符号化情報である。フレームにおけ
る全て、あるいは、一部のブロックは、複数のブロック
から構成されるために、符号化情報としては、例えば、
フレームを構成する全てのブロック、あるいは、一部の
ブロックの符号化情報の平均値を求めて使用する。フィ
ルタの種類又は／及び、強度を決定するための符号化情
報としては、フレームにおける全て、あるいは、一部の
ブロックに関する量子化情報、あるいは、動きベクトル
情報、イントラブロック情報（「イントラブロック情
報」については下で説明する）などを用いるようにして
もよい。フレームにおける全て、あるいは、一部のブロ
ックに関するイントラブロック情報を用いる場合には、
イントラブロックの数を求めて、これに応じてフィルタ
の種類又は／及び、強度を決めるようにしてもよい。

【００４３】なお、どのブロックがフレームを構成する
一部のブロックに該当するかは、例えば、フレームの右
半分のブロックや、画質を向上したいフレーム内の領域
を指定することにより決定される。

【００４４】また、フレーム全体における符号化情報と
しては、イントラブロック情報があり、このイントラブ
ロック情報に基づいてフィルタの種類又は／及び、強度
を決定してもよい。「イントラブロック」とは、動き予
測を用いないブロックであり、「イントラブロック情
報」とは、このような動き予測を用いないブロックから
成る画面構成単位であるフレームに関しての非差分情報
に基づく映像構成情報である。例えば、イントラブロッ
クが少ないということは、動き予測によって次々とフレ
ームを復号化できる状態であり、同じ伝送容量の下で情
報量の多い画像を再現するための符号化ができるという
状態にあることになる。このため、イントラブロックが
多いということは、画質を補正するためのフィルタを施
す必要が低いということであり、例えば、フィルタ決定
部１０１は、フィルタの強度を弱くする。

【００４５】ブロック単位、あるいは、フレーム全体に
施すフィルタの種類又は／及び、強度を決定してフィル
タ施す場合には、符号化情報の変化にしたがってフィル
タの種類や強度を急激に変えると、映像を見ている人間
に違和感を持たせることもある。そこで、符号化情報に
大きな変化があっても、直ちにフィルタの種類又は／及
び、強度を変化させるのではなく、徐々に（符号化情報
の変化よりも緩やかに）変化させるようにしてもよい。
例えば、フレーム全体に対する動きベクトルの大きさが
急激に変化した場合には、例えば記録された画像を再生
している場合には、映像の再生速度が急激に変化したと
推定されるが、この急激な動きベクトルの変化に応じ
て、直ちにフィルタの強度を変化させると、映像を見て
いる人間に対して違和感を生ぜしめるので、フィルタの
強度を時間の経過ととともに徐々に変化させるようにす
る。

【００４６】また、フィルタ決定部１０１が画面構成単
位であるフレームに関しての符号化情報に基づいてフレ
ーム（フレーム復号映像信号）に施すフィルタの種類又
は／及び、強度を決定する際に、符号化情報そのもので
はなく、符号化情報の変化に基づき決定を行ない、フィ
ルタリング部１０２は、その決定にしたがって、復号映
像信号にフィルタを施すようにしてもよい。ここに「符
号化情報」には、特定のブロックの符号化情報である場
合や、フレームにおける全て、あるいは、一部のブロッ
クの符号化情報である場合がある。また、「符号化情報
の変化」とは、符号化情報の時間に伴う変化（時間によ
る微分の結果）のみならず、符号化情報が変化した結果
としての符号化情報の値や状態を含んでもよい。例え
ば、画面構成単位であるフレームに関しての量子化情報
の変化とは、時間に従って送られる複数のフレーム間で
の量子化値の変化や、量子化値が変化することによる結
果として得られる量子化値である。

【００４７】図５は、このように符号化情報の変化に基
づいてフィルタの種類又は／及び、強度を決定してフィ
ルタを施す場合の符号化映像復号化装置１００の動作を
説明するフロー図である。ステップＳ５０１において、
符号化情報の変化を求める。この変化は、例えば、前の
フレームの符号化情報を記憶しておき、その記憶された
符号化情報と現在のフレームの符号化情報を比較するこ
とにより行なう。ステップＳ５０２において、フィルタ
の種類又は／及び、強度を決定する。ステップＳ５０３
において、ステップＳ５０２で決定された種類又は／及
び、強度のフィルタを施す。ステップＳ５０４におい
て、復号化が終了したかどうかを判断し、終了していな
ければステップＳ５０１に戻る。

【００４８】例えば、量子化情報の変化が小さいという
ことは、同じような内容のフレームが続くということで
あり、静止画、あるいは、動きの少ない動画、の再生が
行なわれているということであり、高画質な映像が再生
されていると考えることができる。そこで、例えば、ブ
ロックノイズ除去フィルタの強度を小さくするようにす
る。また、量子化情報の変換により、量子化値が下がっ
た場合にも、高画質な映像が再生されていると考えるこ
とができので、ブロックノイズ除去フィルタの強度を小
さくする。

【００４９】同様に、動きベクトル情報の変化が小さい
場合には、等速で動く物体の再生が行なわれると考えら
れるので、例えば、ブロックノイズ除去フィルタの強度
を小さくする。また、動きベクトル情報の変化の結果、
動きベクトルの大きさが小さくなった場合には、静止
画、あるいは、動きの少ない動画、の再生が行なわれて
いるということであり、高画質な映像が再生されている
と考えることができ、例えば、ブロックノイズ除去フィ
ルタの強度を小さくする。

【００５０】また、フィルタ決定部１０１は、符号化情
報からイントラブロック情報の変化を検出してブロック
ノイズ除去フィルタの強度を決定するようにしてもよ
い。イントラブロック情報の変化が小さい、あるいは、
イントラブロック情報が少なくなっているということ
は、復号化において、前のフレームの内容が使用できる
場合が多いということを意味し、静止画、あるいは、動
きの少ない動画の再生が行なわれていると考えることが
できる。そこで、例えば、ブロックノイズ除去フィルタ
の強度を弱めるようにする。

【００５１】このような実施の形態により、復号化され
た映像信号の内容を認識してノイズの発生を検出するよ
うにしなくても、映像符号化情報に基づいてフィルタの
選択又は／及び、強度の選択を行なうことができる。ま
た、フレーム全体に施すフィルタの種類又は／及び、強
度を徐々に変化させることにより、復号化された映像を
見ている人間に違和感を生ぜしめることが少なくなる。

【００５２】（実施の形態２）図３は、本発明の実施の
形態２にかかわる符号化映像装置の機能ブロック図を示
す。本実施の形態において、符号化映像復号化装置３０
０は実施の形態１のフィルタ決定部１０１が置き換わ
り、再生速度操作信号３０２を取得するフィルタ決定部
３０１を備えるようになっている。すなわち、フィルタ
決定部３０１は、再生速度操作信号に基づいてフィルタ
の種類又は／及び、強度を決定する。

【００５３】「再生速度操作信号３０２」とは、符号化
映像信号の生成装置による符号化の対象となる映像の変
化に関する指示に関する信号であり、映像の再生速度を
操作するための信号である。例えば、符号化映像信号の
生成装置がハードディスクに記録された動画像を再生し
て符号化する装置である場合に、その装置に対して、動
画像をスローで再生する指示や再生を停止して静止画像
を生成したり、早送りで再生したりする指示を行なう信
号である。また、実況中継の映像が符号化されている場
合には、符号化の対象を現在撮影されている映像に固定
して、静止画像として符号化するように指示を行なう信
号である。このような指示に関する信号は、映像を見て
いる者が発生させたり、映像の配信者や送信者が発生さ
せたりする。

【００５４】動画像をスローで再生して表示する場合
や、静止画像を生成して表示する場合には、人間の画質
に対する感受性が高まるので、そのような場合には、画
像の持つ情報量を少なくしないようにフィルタの種類又
は／及び、強度を決定してフィルタを施す必要がある。
逆に、動画像を早送りで再生して表示する場合には、画
像をガウスフィルタなどによってぼかして出力部７０８
より出力される画像の持つ情報量を少なくしても、人間
は画質が劣化したとは感じず、むしろ、ノイズが目立た
なくなり、良好な画質であると感じるようになることが
多い。

【００５５】図４は、本実施の形態における符号化映像
信号復号化装置の動作を説明するフロー図である。ステ
ップＳ４０１において、再生速度信号を得ることを行な
う。ステップＳ４０２において、フィルタの種類又は／
及び、強度を決定する。ステップＳ４０３において、フ
ィルタを施すことを行なう。ステップＳ４０４におい
て、復号化が終了したかどうかを判断し、終了していな
ければ、ステップＳ４０１に戻る。

【００５６】なお、再生速度信号により、映像の再生速
度に変化があった場合に、その変化に敏感に反応してフ
ィルタの種類や強度を変化させると、映像を見ている人
間に違和感を与える場合がある。例えば、普通に映像を
再生しフィルタが施されているときに、急にスロー再生
や静止画の再生の指示が行なわれた場合に、フィルタの
強度を直ちに弱くしてしまうと、見ている人間は、画質
の急激な変化が起きたと感じ、違和感を持ってしまう。
そこで、再生速度に変化があっても、フィルタの強度を
急激に変化させるのではなく、時間の経過とともに徐々
に（再生速度の変化よりも緩やかに）変化させ、再生速
度に適合したフィルタの強度へ変化させるようにしても
よい。このことは、スロー再生が行なわれているとき
に、より速い再生速度での再生や、静止画の再生が行な
われているときに動画の再生が行なわれた場合やそのよ
うな指示が行なわれた場合にもあてはまる。また、フィ
ルタの種類を時間の経過とともに変化させるようにして
もよい。再生速度の変化は、再生速度操作信号に基づい
て検出されてもよいし、映像の符号化情報に基づいて検
出されるようにしてもよい。映像の符号化情報に基づい
て検出する場合には、例えば、フレーム全体における動
きベクトルの大きさにより、スロー再生が行なわれてい
るのか、早送りが行なわれているかを検出する。また、
符号化情報の変化により、再生速度を検出するようにし
てもよい。

【００５７】なお、本実施の形態において用いられるフ
ィルタとしては、モスキートノイズ除去フィルタ、ブロ
ックノイズ除去フィルタ、ガウスフィルタが例と挙げら
れるが、他の種類のフィルタが用いられるようにしても
よい。また、同時に二種類以上のフィルタが組み合わさ
れるようにしてもよい。

【００５８】本実施の形態により、再生速度操作信号に
基づいてフィルタの種類又は／及び、強度が決定される
ので、再生速度に応じたフィルタを施すことができ、復
号化された映像信号を調べてフィルタの種類又は／及
び、強度を決定するという複雑なことを行なう必要がな
くなる。

【００５９】なお、従来からの符号化映像復号化装置７
００は、コンピュータにより実行させるプログラムによ
って実現することができるものであり、本実施の形態に
おける符号化映像復号化装置３００は、従来からの符号
化映像復号化装置にフィルタ決定部３０１とフィルタリ
ング部１０２を備えたものであるので、プログラムによ
って実現することができる。図４のフロー図は、そのよ
うなプログラムのうち、フィルタ決定部３０１とフィル
タリング部１０２をプログラムによって実現する際の処
理を示すフロー図とみなすことができる。すなわち、本
実施の形態における符号化映像復号化装置３００は、従
来の符号化映像復号化装置を計算機によって実現するた
めのプログラムを改良し、フィルタ決定ステップとフィ
ルタリングステップとを計算機に実行させるようにする
ことにより実現することができる。フィルタ決定ステッ
プとは、フィルタ決定部３０１をプログラムにより実現
するステップであり、フィルタリングステップとは、フ
ィルタリング部１０２をプログラムにより実現するステ
ップである。また、このようなプログラムをコンパクト
ディスクや磁気媒体などに記録した記憶媒体を作ること
もできる。

【００６０】

【発明の効果】以上のように本発明によれば、映像の符
号化情報により、復号化された映像信号に施すフィルタ
の種類又は／及び、強度が決定されるので、復号化され
た映像信号から人間の感じる主観的画質を算出するとい
う困難な操作を不要としつつ、適切なフィルタを施すこ
とができる。

【００６１】また、再生速度操作信号に基づいてフィル
タの種類又は／及び、強度が決定されるので、適切なフ
ィルタを施すことができる。

【００６２】また、符号化情報より、映像の再生速度を
求めてフィルタを施すので、復号化された映像信号から
人間の感じる主観的画質を算出するという困難な操作を
不要としつつ、適切なフィルタを施すことができる。

【００６３】なお、本発明の説明にあたっては、ＭＰＥ
Ｇの規格による符号化映像復号化装置に基づいて説明を
行なったが、本発明は、他の規格により符号化された映
像の復号化装置にも適用することができる。

【図面の簡単な説明】

【図１】実施の形態１における符号化映像復号化装置の
機能ブロック図

【図２】実施の形態１における符号化映像復号化装置の
動作を説明するフロー図

【図３】実施の形態２における符号化映像復号化装置の
機能ブロック図

【図４】実施の形態２における符号化映像復号化装置の
動作を説明するフロー図

【図５】実施の形態１において符号化情報の変化を求め
てフィルタを施す場合の処理を説明するフロー図

【図６】従来の映像符号化装置の機能ブロック図

【図７】従来の符号化映像復号化装置の機能ブロック図

【符号の説明】

１００符号化映像復号化装置１０１フィルタ決定部１０２フィルタリング部７０１入力部７０２ＶＬＤ部７０３逆量子化部７０４逆ＤＣＴ部７０５加算部７０６フレームメモリ７０８出力部

フロントページの続きＦターム(参考） 5C059 KK03 KK04 MA00 MA05 MA14 MA23 MC11 MC38 ME01 NN21 PP05 PP06 PP07 RC14 RC16 TA69 TB04 TB08 TC04 TC06 TC12 TC13 TD01 TD12 UA05 UA11 UA39 5J064 AA01 BA16 BC01 BC08 BC11 BC16 BC18 BD03

Claims

【特許請求の範囲】

【請求項１】符号化された映像の符号化情報を元に、復
号映像信号に施すフィルタの種類又は／及び、強度を決
定するフィルタ決定部と、前記フィルタ決定部の決定したフィルタの種類又は／及
び、強度に従って、復号映像信号にフィルタを施すフィ
ルタリング部とを有する符号化映像復号化装置。
【請求項２】前記符号化情報には、映像符号化単位であ
るブロックに関しての量子化情報が含まれ、前記フィル
タ決定部は、この量子化情報に基づいてブロック単位に
復号映像信号に施すフィルタの種類又は／及び、強度を
決定する請求項１に記載の符号化映像復号化装置。
【請求項３】前記符号化情報には、映像符号化単位であ
るブロックに関して他のブロックの復号映像信号を利用
する旨の情報であるスキップ情報が含まれ、前記フィル
タ決定部は、このスキップ情報に基づいてブロック単位
に復号映像信号に施すフィルタの種類又は／及び、強度
を決定する請求項１に記載の符号化映像復号化装置。
【請求項４】前記符号化情報には、映像符号化単位であ
るブロックに関しての直交変換情報が含まれ、前記フィ
ルタ決定部は、この直交変換情報に基づいてブロック単
位に復号映像信号に施すフィルタの種類又は／及び、強
度を決定する請求項１に記載の符号化映像復号化装置。
【請求項５】前記直交変換情報に含まれる高周波成分が
所定の量以上ある場合には、前記ブロックに対してモス
キートノイズ除去フィルタを施すことを特徴とする請求
項４に記載の符号化映像復号化装置。
【請求項６】前記直交変換情報に含まれる低周波成分が
所定の量以上ある場合には、前記ブロックに対してブロ
ックノイズ除去フィルタを施すことを特徴とする請求項
４に記載の符号化映像復号化装置。
【請求項７】前記符号化情報には、映像符号化単位であ
るブロックに関しての動きベクトル情報が含まれ、前記
フィルタ決定部は、この動きベクトル情報に基づいて復
号映像信号に施すフィルタの種類又は／及び、強度を決
定する請求項１に記載の符号化映像復号化装置。
【請求項８】前記符号化情報には、映像符号化単位であ
るブロックに関しての動きベクトル情報が含まれ、前記
動きベクトル情報に基づいて、動きベクトルが所定の大
きさ以上である場合には、前記ブロックに対してモスキ
ートノイズ除去フィルタの強度を強めることを特徴とす
る請求項１に記載の符号化映像復号化装置。
【請求項９】前記符号化情報には、映像符号化単位であ
るブロックに関しての動きベクトル情報が含まれ、前記
動きベクトル情報に基づいて、動きベクトルが所定の大
きさ以下である場合には、前記ブロックに対してブロッ
クノイズ除去フィルタの強度を弱めることを特徴とする
請求項１に記載の符号化映像復号化装置。
【請求項１０】再生速度操作信号に基づいて、フィルタ
の種類又は／及び、強度を決定するフィルタ決定部と、前記フィルタ決定部の決定したフィルタの種類又は／及
び、強度に従って、復号映像信号にフィルタを施すフィ
ルタリング部とを有する符号化映像復号化装置。
【請求項１１】前記フィルタの強度は、映像の再生速度
の変化があった場合に、時間の経過とともに変化する請
求項１記載の符号化映像復号化装置。
【請求項１２】前記フィルタの強度は、再生速度操作信
号に基づいて映像の再生速度の変化があった場合に、時
間の経過とともに変化する請求項１０記載の符号化映像
復号化装置。
【請求項１３】符号化された映像の画面構成単位である
フレームに関しての符号化情報の変化に基づいて、フレ
ーム復号映像信号に施すフィルタの種類又は／及び、強
度を決定するフィルタ決定部と、前記フィルタ決定部の決定したフィルタの種類又は／及
び、強度に従って、復号映像信号にフィルタを施すフィ
ルタリング部とを有する符号化映像復号化装置。
【請求項１４】前記符号化情報には、画面構成単位であ
るフレームにおける全て、あるいは、一部のブロックに
関しての量子化情報が含まれ、前記フィルタ決定部は、
この量子化情報に基づいてフレーム単位に、復号映像信
号に施すフィルタの種類又は／及び、強度を決定する請
求項１に記載の符号化映像復号化装置。
【請求項１５】前記符号化情報の変化は、画面構成単位
であるフレームにおける全て、あるいは、一部のブロッ
クの量子化情報の変化であることを特徴とする請求項１
３に記載の符号化映像復号化装置。
【請求項１６】前記フィルタは、ブロックノイズ除去フ
ィルタであり、前記フィルタ決定部は、この量子化情報
に基づいた量子化値の変化が小さくなるものである場合
に、フレーム単位にブロックノイズ除去フィルタの強度
を小さくすることを決定する請求項１５に記載の符号化
映像復号化装置。
【請求項１７】前記符号化情報には、画面構成単位であ
るフレームに関しての動きベクトル情報が含まれ、前記
フィルタ決定部は、この動きベクトル情報に基づいてフ
レーム単位に、復号映像信号に施すフィルタの種類又は
／及び、強度を決定する請求項１に記載の符号化映像復
号化装置。
【請求項１８】前記符号化情報の変化は、画面構成単位
であるフレームにおける全て、あるいは、一部のブロッ
クの動きベクトル情報であることを特徴とする請求項１
３に記載の符号化映像復号化装置。
【請求項１９】前記フィルタは、ブロックノイズ除去フ
ィルタであり、前記フィルタ決定部は、この動きベクト
ル情報に基づいた動きベクトルの値の変化が小さくなる
ものである場合に、フレーム単位にブロックノイズ除去
フィルタの強度を小さくすることを決定する請求項１８
に記載の符号化映像復号化装置。
【請求項２０】前記符号化情報には、画面構成単位であ
るフレームに含まれるブロック関しての非差分情報に基
づく映像構成情報であるイントラブロック情報が含ま
れ、前記フィルタ決定部は、このイントラブロック情報に基
づいてフレーム単位に、復号映像信号に施すフィルタの
種類又は／及び、強度を決定する請求項１に記載の符号
化映像復号化装置。
【請求項２１】前記符号化情報の変化は、画面構成単位
であるフレームにおける全て、あるいは、一部のブロッ
クのイントラブロック情報であることを特徴とする請求
項１３に記載の符号化映像復号化装置。
【請求項２２】前記フィルタは、ブロックノイズ除去フ
ィルタであり、前記フィルタ決定部は、このイントラブ
ロック情報に基づいたイントラブロック数の変化が小さ
くなるものである場合に、フレーム単位にブロックノイ
ズ除去フィルタの強度を小さくすることを決定する請求
項２１に記載の符号化映像復号化装置。
【請求項２３】前記フィルタは、モスキートノイズ除去
フィルタ、ブロックノイズ除去フィルタ、ガウスフィル
タのいずれか一又は二以上である請求項１、１０、１３
のいずれか一に記載の符号化映像復号化装置。
【請求項２４】再生速度操作信号に基づいて、フィルタ
の種類又は／及び、強度を決定するフィルタ決定ステッ
プと、フィルタ決定ステップにおいて決定したフィルタの種類
又は／及び、強度に従って、復号映像信号にフィルタを
施すフィルタリングステップとを計算機に実行させるた
めの符号化映像復号化プログラム。