JP2001086508A

JP2001086508A - 動画像復号方法及び動画像復号装置

Info

Publication number: JP2001086508A
Application number: JP25851899A
Authority: JP
Inventors: Kazuhiko Morita; 一彦森田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1999-09-13
Filing date: 1999-09-13
Publication date: 2001-03-30

Abstract

(57)【要約】【課題】ＭＰＥＧ２等の符号化ビットストリームを復
号したインターレース画像をプログレッシブ変換してモ
ニタに出力する際の画像フォーマット変換に関する。【解決手段】動き補償予測と変換符号化を組合せた動
画像符号化方法によって、インターレース信号を符号化
したビットストリームを復号する画像復号方法おいて、
復号された符号化動きベクトルの内、所定の範囲内の符
号化ピクチャにおける動きベクトルを、１フレーム差の
動き量となるように動きベクトルの換算を行って候補ベ
クトルとして絞り込み、前記候補ベクトルを用いて評価
値判定を行い、評価値が最小となる前記候補ベクトルを
動き補償を用いたＩＰ変換における動き量として選定
し、前記動き量を基に動き補償補間信号を作成した上
で、評価値に基づいてフィールド内補間信号とこの動き
補償補間信号とを加算し、補間前の復号画像と合併出力
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデジタル放送など、
動画像・音声符号化の国際標準化規格であるＭＰＥＧ２
等の符号化ビットストリームを復号して生成するインタ
ーレース動画像をプログレッシブ変換して高精細のＴＶ
モニタにプログレッシブ（順次）走査の画像として出力
する際の画像フォーマット変換に関する。

【０００２】

【従来の技術】ＴＶ信号などの動画像を高能率に符号化
する技術の国際標準としてＭＰＥＧ１，２がある。特に
ＭＰＥＧ２は近年開始、あるいはこれから計画されてい
る衛星／地上波のデジタル放送において採用され、ある
いは採用が決定している。ＭＰＥＧ１，２では、「動き
補償予測符号化」と「直交変換符号化」の２つの画像符
号化の要素技術がベースになって成立している。

【０００３】ところが、現在計画されている衛星／地上
波のデジタル放送の多くは、画素サイズ、フレームレー
ト、走査方法といった映像フォーマットについては単一
なものに統一されずに、複数の映像フォーマットの中か
ら放送事業者が番組内容、放送時間等から適当なフォー
マットを選択して放送することが想定される。一方、受
信側では表示系(ＴＶモニタ等)の制約から１あるいは少
数の映像フォーマットに限定されるため、表示系が受け
入れることの出来る特定の映像フォーマットに変換する
「フォーマット変換」が必要になる。

【０００４】ここで、現行の走査方法について分類する
と、１枚のフレーム画像を構成する走査線を上から下へ
順番に走査するプログレッシブ(順次)走査と、フレーム
画像の走査線を１本おきに走査して、２枚のフィールド
画像に分けて走査するインターレース(飛越し)走査とが
ある。現行のＴＶ信号のほとんどはインターレース走査
によるインターレース信号であり、デジタル放送等にお
いてもその多くがインターレース信号として符号化され
ることが想定される。

【０００５】インターレース信号はラインフリッカ等の
信号特有のインターレース妨害が発生しやすいために、
特に受信側の表示系でより高画質が要求される場合に
は、インターレース信号をプログレッシブ走査の信号に
変換する、いわゆる「ＩＰ変換」が必要となる。「ＩＰ
変換」は、図６（ａ）に示すようなインターレース走査
で間引かれた走査線をその周辺の走査線から補間する変
換操作であるが、その補間方法としては図７（ａ）に示
すように、最も簡単な方法としては同じフィールドの上
下の走査線から補間する「フィールド内補間」手法があ
る。

【０００６】ところが、これでは画質が不十分なため、
図７（ｂ）に示すように前後のフィールドの同位置の走
査線から補間する「フィールド間補間」手法と組合せ
て、画面の動きに応じて切換える「動き適応処理」手法
が考えられた。しかし、この「動き適応処理」手法で
は、動いている部分は「フィールド内補間」となり、あ
る程度の動きがあると余り画質向上が期待出来ないた
め、図７（ｃ）のように、フィールド間の補間に「動き
補償」手法を適用することにより、動いている部分での
一層の画質の向上を図っている。

【０００７】なお、走査方法のフォーマット変換のう
ち、プログレッシブ信号をインターレース信号に変換す
る「ＰＩ変換」手法では垂直方向に適当なフィルタリン
グを施してから走査線を間引く必要があるが、「ＩＰ変
換」手法に比べて処理が簡略で済むのでそれほど問題と
はならない。

【０００８】動き補償を用いる従来例のＩＰ変換装置に
ついて図８に示す。図８は特開平８−１３０７１６号に
記載された発明の走査線補間装置の一例を示したもので
ある。図８の例では、インターレース走査された画像入
力について、ＭＶ検出器６３において当該フィールドの
前後のフィールド信号との間で画素単位にＭＶ(動き量)
を求め、そのＭＶを基に、動き補償によって得られるフ
ィールド間補間信号（加算器６７の出力）と当該フィー
ルド内の前後の走査線から得られるフィールド内補間信
号（フィールド内補間器６８の出力）とを、非線型変換
器７７から得られる画像間のマッチング程度を示す値ｋ
により、両者を混合比（１−ｋ）：ｋに基づく割合で加
算器７９で加算して補間信号を生成するものである。

【０００９】

【発明が解決しようとする課題】しかし、図８の従来例
では各画素毎に一定の探索範囲で評価値(マッチング値)
を求め、その範囲内での最小評価値となる画素のずれ量
を動き補償のＭＶとして得るため、動き補償の効果を出
すためにはより多くの探索範囲を必要とし、ＭＶを求め
る演算が膨大になってしまう問題があった。

【００１０】一方、動き補償の動き量を直接求めない
で、ＭＰＥＧ１，２などで符号化したビットストリーム
を復号する際に得られる動きベクトルを用いる例もあ
る。図９は特開平８−４６９２９号に記載された、ＭＰ
ＥＧの動きベクトルを用いる従来例のＩＰ変換回路を含
んだＭＰＥＧ復号器の構成を示した図である。図１０は
図９のＩＰ変換回路の詳細な構成を示した図である。

【００１１】図９の従来例では、ＭＰＥＧストリームを
ＤＥＭＵＸ器８１でＤＥＭＵＸした後にＶＬＣ復号して
得られるＭＰＥＧ動きベクトルを、動き補償における動
き量として図１０に示すＩＰ変換回路８９に供給する。
また、ＩＰ変換回路８９にはその他に、復号画像信号、
ＭＣ信号を加算する前の復号(差分)画像信号、及び補間
動きベクトルの生成法を識別するためのＰＩ(画像情報)
が入力される。

【００１２】ＩＰ変換回路８９では、ＭＰＥＧ動きベク
トルの中で動き補償における動き量として適切なものだ
けを選択し、その他の場合は"０"を動き量としてＭＣＩ
Ｐ回路９５に送り、ここで当該フィールドの前後のフィ
ールド信号からフィールド間補間信号が作られる。

【００１３】一方、フィールド内補間器９６において当
該フィールド内の前後の走査線からフィールド内補間信
号が得られ、ＭＶ補間制御回路９４から得られる混合比
（１−ｋ）：ｋに基づく割合でフィールド間／フィール
ド内補間信号が加算されて補間信号が生成され、後処理
部１０１においてこれと元の復号画像信号がマージされ
てＩＰ変換信号が出力される。

【００１４】しかし、図９及び図１０の従来例の場合は
図示していない符号化側で作成するＭＰＥＧの動きベク
トル、及びＩ，Ｐ，Ｂの組合せといった符号化構造を予
めＩＰ変換に適した動きベクトル、符号化構造に限定し
ておく必要があり、汎用性が低い上に、仮に復号時にＩ
Ｐ変換に適さない動きベクトルが発生した場合は一律に
フィールド内補間になるため、動き補償による効果が発
揮しにくい問題があった。

【００１５】なお、Ｉ，Ｐ，Ｂの組合せとはＭＰＥＧ等
の動き補償予測符号化における図１１のような符号化ピ
クチャ構造を意味しており、各フレーム画像はＩピクチ
ャ(フレーム内符号化)、Ｐピクチャ(順方向予測符号
化)、Ｂピクチャ(双方向予測符号化)の３種類に分類さ
れ、各ピクチャタイプの予測画像を図１１のように周期
的に組合せて構成するのが一般的である。なお、図１１
の例では、Ｐ(またはＩ)ピクチャの間隔を示すＭの値が
３、ＧＯＰと呼ばれるＩピクチャの間隔を示すＮの値が
１５の場合を示している。

【００１６】さらに、各ピクチャを構成するフレーム画
像は符号化の処理単位であるマクロブロック(１６×１
６画素)毎に、図１２に示すように予測画像(図１２の矢
印の元の画像)のトップフィールド／ボトムフィールド
を適応的に切り換える。Ｂピクチャの場合は予測方向
(図１２の矢印の向き)が順方向／逆方向／双方向のいず
れかから適応的に切り換えるため、図１２に示した予測
方向の動きベクトルが常に存在するわけではない。

【００１７】また、Ｉピクチャ、及びＰ，Ｂピクチャで
もフレーム内符号化を行うイントラマクロブロックで
は、通常(コンシールメントベクトルがない場合)は動き
ベクトルを有していないため、これらのマクロブロック
等ではＩＰ変換にＭＰＥＧ動きベクトルを使用したくと
も使用出来ない問題があった。

【００１８】

【課題を解決するための手段】そこで本発明ではＩＰ変
換における動き補償にＭＰＥＧ１，２等の動き補償予測
符号化における動きベクトル(以下、ＭＰＥＧ-ＭＶと略
する)を使用することによってＩＰ変換における動き量
検出のための演算量・回路規模の削減を図るようにした
が、ＭＰＥＧの様々な符号化構造に対応するため、各マ
クロブロックについて、一定の範囲内の符号化ピクチャ
におけるＭＰＥＧ-ＭＶをスケーリングしてＩＰ変換の
動き補償における候補ベクトルとし、一定の条件の下に
この候補ベクトルを絞り込む。更に絞り込んだ候補ベク
トルの中で評価値判定を行い、評価値の小さい候補ベク
トルをＩＰ変換動き補償における動き量として選定し、
この動き量を基に動き補償補間信号を作成する。動き補
償補間信号は評価値に基づいてフィールド内補間信号と
所定の混合比で加算され、補間前のＭＰＥＧ復号画像
(インターレース信号)と合併（マージ）されてＩＰ変換
された画像として出力する。

【００１９】なお、候補ベクトルがないマクロブロック
の場合は隣接マクロブロックにおける候補ベクトルを用
いる。候補ベクトルの絞り込み、及び補間信号の混合比
を決める評価値は、動き補償補間信号を作成する際に生
じるフレーム間マッチング信号と、動き補償補間信号と
フィールド内補間信号の差分信号に対して、それぞれ絶
対値あるいは２乗誤差を取った上で、所定の混合比によ
って加算した値とする。この手法によって、ＭＰＥＧ動
きベクトルを用いるＩＰ変換において動き補償補間によ
る範囲を大幅に増やし、変換後の復号画像の画質向上を
図った。

【００２０】また、本発明はＩＰ変換における動き補償
にＭＰＥＧ１，２等の動き補償予測符号化における動き
ベクトル(以下、ＭＰＥＧ-ＭＶと呼ぶ)を使用すること
によってＩＰ変換における動き量検出のための演算量・
回路規模の削減を図った。しかし、このままでは必ずし
もＩＰ変換における動き量としては適しないため、ＭＰ
ＥＧ-ＭＶから得られた候補動きベクトルの近傍で動き
量の再評価値判定を行ってＩＰ変換における動き量を求
めることにより、演算量の削減とＩＰ変換性能の向上の
両立を図るようにした。

【００２１】まず、各マクロブロックについて、一定の
範囲内の符号化ピクチャにおけるＭＰＥＧ-ＭＶをスケ
ーリングした上で、その中から一定の条件のもとで特定
の１つを選び出し、これを動き補償を用いたＩＰ変換に
おける動き量としての候補ベースベクトルとする。

【００２２】選択した候補ベースベクトルの近傍にサー
チレンジ(再ＭＥの探索範囲)を設定し、このサーチレン
ジの内部について、順次再ＭＥの候補ＭＶ値を発生させ
てＩＰ変換における動き量の評価値検出(再ＭＥ)を行
い、評価値が最小となる動き量をＩＰ変換動き補償にお
ける動き量として選定し、この動き量を基に動き補償補
間信号を作成するようにした。

【００２３】ここで設定するサーチレンジは候補ベース
ベクトルの極く近くだけでよいため、ＭＰＥＧ-ＭＶを
用いない場合と比較すると、演算量が大幅に削減出来
る。また再ＭＥを行うため、必ずしも全ての場合につい
てＭＰＥＧ-ＭＶから候補ベクトルを求める必要はな
い。

【００２４】動き補償補間信号は評価値に基づいてフィ
ールド内補間信号と所定の混合比で加算され、補間前の
ＭＰＥＧ復号画像(インターレース信号)と合併（マー
ジ）されてＩＰ変換された画像として出力する。候補ベ
ースベクトル周辺の動き量探索、及び補間信号混合比を
決める評価値は、動き補償補間信号を作成する際に生じ
る前後フィールド間差分信号の絶対値(あるいは２乗誤
差)、動き補償補間信号とフィールド内補間信号の差分
信号の絶対値(あるいは２乗誤差)、等によって定める。

【００２５】この手法によって、ＭＰＥＧ動きベクトル
を用いるＩＰ変換において変換後復号画像の画質向上を
図りつつ、ＩＰ変換動き量探索時における処理負担の大
幅な軽減化が可能になる。

【００２６】

【発明の実施の形態】本発明の動画像復号方法及びその
装置の第１の実施例について、図と共に以下に説明す
る。図１には本発明の第１の実施例のブロック構成図
を、図３には図１のＭＣＩＰ回路２６及び評価値判定回
路２７の詳細なブロック構成図をそれぞれ示した。

【００２７】図１に示される本発明の第１の実施例は、
ＤＥＭＵＸ器１１、ＶＬＤ器１２、逆量子化器１３、Ｉ
ＤＣＴ器１４、復号側ＭＣ回路１５、フレームメモリ１
７、加算器１８、スイッチ（ＳＷ）１９及びＩＰ変換回
路１６より構成されており、そのＩＰ変換回路１６は、
ＭＶスケーリング器２１、ＭＶメモリ２２、候補ベース
ＭＶ選択器２３、ＭＣＩＰ回路２６、評価値判定回路２
７、フィールドメモリ２８，２９、フィールド内補間器
３０、増幅器３１，３２、加算器３３、及び後処理（フ
ィールドマージ）部３４より構成されている。

【００２８】図１に示されるように、符号化側(図示せ
ず)から送られてきたＭＰＥＧビットストリーム信号
（ＭＰＥＧストリーム）は、ＤＥＭＵＸ器１１でＤＥＭ
ＵＸされ、符号化画像信号とそれ以外の信号（補間動き
ベクトルの生成法を識別するためのＰＩ(画像情報)）と
に分離される。

【００２９】分離された符号化画像信号はＶＬＤ器１２
に送られ、ここでＶＬＣ復号されて、ＤＣＴ係数部分は
逆量子化器１３、ＩＤＣＴ器１４によって復号差分信号
が生成される。一方、ＭＰＥＧ動きベクトルはＶＬＤ部
１２でＤＣＴ係数部分と分離・復号されて、復号側ＭＣ
回路１５に送られると共に、ＩＰ変換回路１６内のＭＶ
スケーリング器２１に送られる。

【００３０】復号側ＭＣ回路１５では復号ＭＰＥＧ動き
ベクトルとフレームメモリ１７に貯えられた予測参照画
像から予測画像が作成され、スイッチ（ＳＷ）１９によ
ってイントラ(面内符号化)以外の場合のみ、加算器１８
においてこの予測画像に復号差分信号が加算されてＭＰ
ＥＧ復号画像が生成され、スイッチ（ＳＷ）１９を介し
てＩＰ変換回路１６に送られる。

【００３１】一方、ＶＬＤ部１２よりＩＰ変換回路１６
に送られたＭＰＥＧ動きベクトルは、ＭＶスケーリング
器２１に供給されて、ＩＰ変換に適したＭＶ(ＩＰ変換
用動きベクトル)に変換される。ＭＶスケーリング器２
１における、ＩＰ変換用候補(ベース)ＭＶのＭＰＥＧ動
きベクトルからの変換方法を図４に示す。

【００３２】また、図４の具体的なスケーリングの例と
して、第１フレームの画像から第４フレームの画像を予
測する場合の、垂直方向の動きベクトルのスケーリング
の一実施例を示す。図１３及び図１４において、縦軸は
各ピクチャをある水平位置で切り出した場合の垂直方向
の画素の一部を示し、横方向は各ピクチャをフィールド
単位で見た場合の同一位置画素の時間変化を示してい
る。図１３及び図１４の実施例は、図１１のＭ＝３にお
ける、Ｐ(またはＩ)ピクチャからつぎのＰピクチャを予
測する場合のＭＰＥＧ動きベクトルに対するスケーリン
グに相当している。

【００３３】まず、フレーム予測の場合は第４フレーム
のトップフィールド、ボトムフィールドのＭＰＥＧ動き
ベクトルは図１３の細線ベクトルＡ，Ｂで示すような場
合には、フレーム予測であるので同一の値を取る。これ
らの動きベクトルは３フレーム離れた第１フレームの画
像から予測しているので、被符号化画像と参照画像の間
隔は３フレームということになる。

【００３４】ところでフレーム予測における垂直方向の
動きベクトルの大きさを第１フレームのトップ(フィー
ルド)を示す画素の左側に０，１，２，３，…，１３の
算用数字で示したが、このベクトルの大きさの値はトッ
プフィールドとボトムフィールドとを併せた値になって
おり、従ってＩＰ変換用ＭＶの２倍の大きさを示してい
る。そのため、予めフレーム予測の垂直方向の動きベク
トルの大きさを１／２倍にする必要がある。

【００３５】そこでＩＰ変換用ＭＶの大きさは、垂直方
向のみ１／２倍した細線ベクトルの大きさをフレーム間
隔、この例では、すなわち３で割った値になる。なお、
図上の太線ベクトルで示される１フレーム差にスケーリ
ングされた動きベクトルの大きさが、ＩＰ変換用ＭＶの
大きさとして適切な２ｎ(ｎは整数)の値を満たさない場
合には、その２ｎ(ｎは整数)の値になるよう適切な丸め
処理を行う必要がある。

【００３６】一方、フィールド予測の場合には、第４フ
レームのトップフィールド、ボトムフィールドのＭＰＥ
Ｇ動きベクトルは図１４の細線ベクトルＣ，Ｄで示すよ
うに、各々別々にＩＰ変換用ＭＶの候補になり得る。

【００３７】また、フィールド予測の場合は、フレーム
予測と異なり、被符号化画像と参照画像のフィールド関
係が異なる場合もあるので、このような場合は被符号化
画像と参照画像の間隔はフレーム当りの値に対し、±
０．５フレームの増減が生じる。例えばベクトルＣの場
合はフレーム間隔は２．５フレームとなる。フィールド
予測の場合は、垂直方向も細線ベクトルそのものの値に
対し、大きさをフレーム間隔で割り、２ｎで丸めを行っ
てＩＰ変換用ＭＶの値とする。

【００３８】さらにデュアルプライム予測の場合は、Ｍ
ＰＥＧ２の規格からＭＰＥＧ動きベクトル(主ベクトル)
がフレーム間隔１の場合の値となっているので、主ベク
トルの値をそのまま使用し、適切な丸めを行う。水平方
向については、図示していないが、垂直方向のようにト
ップフィールドとボトムフィールドで画素位置がずれる
こともなく、フレーム予測のみベクトルの大きさを予め
１／２にする必要もないが、それ以外は垂直方向と同様
であり、フレーム予測、フィールド予測、デュアルプラ
イム予測各々の場合について、ＭＰＥＧ動きベクトルの
大きさをフレーム間隔で割り、２ｎで丸めを行ってＩＰ
変換用ＭＶの値とする。

【００３９】なお、実際にＩＰ変換時に動き補償補間信
号を作成する場合に使用する動きベクトルは、垂直水平
の場合とも、１フレーム間の中間のフィールドにおける
動きベクトルなので、２ｎで丸めを行ったＩＰ変換用Ｍ
Ｖに対し、大きさを１／２倍した後に、それと向きが反
対のベクトルとの組を作り、このＭＶの組を使用する。

【００４０】上記の例のように、元となる復号されたＭ
ＰＥＧ動きベクトルの被符号化画像と参照画像の間隔
が、ＩＰ変換の動き量のフレーム差である１フレーム差
でない場合には、これを１フレーム差の動き量となるよ
うにＭＰＥＧ動きベクトルの換算を行っている。これま
での従来例では、例えば、図１０におけるＭＶ補間制御
回路９４のように、ＭＰＥＧ動きベクトルがＩＰ変換に
適さない動きベクトルの場合には、これを使用せずに、
単にＭＶ＝０と仮定して処理していた。

【００４１】ＭＶスケーリング器２１によってスケーリ
ング処理されて、１フレーム差の動き量に換算されたＭ
ＰＥＧ動きベクトル、すなわちＩＰ変換用候補ＭＶは、
ＭＶメモリ２２に一時貯えられる。ＭＶメモリ２２に貯
えられたＩＰ変換用候補ＭＶは、ＰＩ(画像情報)に従っ
て候補ＭＶ選択器２３に送られ、下記の表１に示した選
択方法に従って候補ＭＶが絞り込まれる。

【００４２】

【表１】

【００４３】この表１において、左側の欄のピクチャの
Ｉ，Ｐ，Ｂはピクチャタイプ別を示し、その右隣の欄の
Ｍの値はＰピクチャの間隔を示す。従って、Ｍ＝１と
は、図１５(1)のように、符号化ピクチャ構造がＩとＰ
ピクチャのみで構成される場合を、Ｍ＞１とは、図１５
(2)(本図はＭ＝３の場合)のように、ＩまたはＰピクチ
ャの間にＢピクチャを（Ｍ−１）枚、挟む場合をそれぞ
れ示す。

【００４４】実際に評価値を算出するＭＶへの選択方法
としては、表１の「選択する候補(ベース)ＭＶ」で示さ
れる、当該復号画像、または当該画像が参照画像として
用いられる予測のＭＰＥＧ動きベクトルから変換される
候補(ベース)ＭＶを基本的に選択するが、そうしたＭＶ
が存在しない場合は、表１の「条件によっては選択する
候補ＭＶ」や、「その他の条件」の(1)で示される候補
ＭＶを選択することもある。また、候補ＭＶが複数存在
する場合は、「その他の条件」の(2)及び(3)に示された
条件によって候補ＭＶの絞り込みを行う。

【００４５】なお、表１で「直前に復号したPピクチャ
の動きベクトル」とは図１５の(a)のような場合、「次に
復号するPピクチャの動きベクトル」とは図１５の(b)の
ような場合、「次に復号するBピクチャの逆方向動きベク
トル」とは図１５の(c)のような場合を示す。

【００４６】そして図３に示すように、絞られた候補Ｍ
Ｖ各々についてＭＣＩＰ回路２６の動き補償器４１，４
２で1フレーム間の補間信号が作られ、その差信号の絶
対値または２乗誤差が評価値判定回路２７の空間ＬＰＦ
４７で空間ＬＰＦされて評価値を得て、つぎの最小評価
値判定器４８で、評価値と候補ＭＶが対応付けられ、こ
の評価値が最小となる候補ＭＶがＩＰ変換用ＭＶとして
決定される（この時の評価値を第１の評価値とする）。

【００４７】また空間ＬＰＦ４７の出力は非線型変換器
４９に供給されて、非線型変換器４９によってＭＣＩＰ
回路２６による動き補償補間信号とフィールド内補間器
３０によるフィールド内補間信号の加算割合を示すｋの
値(0≦ｋ≦1)が決定される。

【００４８】このｋの値に従ってＭＣＩＰ回路２６の出
力の動き補償補間信号とフィールド内補間器３０の出力
のフィールド内補間信号が適応的に、加算器３３で加算
される。

【００４９】この加算は、画像間の動き等のマッチング
程度により適応的に加算されるが、動き等がある場合は
ｋの値はより１に近付き、フィールド内補間信号がより
多く出力され、反対に動き等がより少ないとｋは０に近
付き、動き補償補間信号がより多く出力される。後処理
部３４で加算器３３の出力信号は補間前のＭＰＥＧ復号
画像であるフィールドメモリ２８の出力信号と合併され
てＩＰ変換された信号として出力される。

【００５０】本発明のＭＣＩＰ回路、評価値判定回路の
一実施例の詳細なブロック構成図を図５に示す。本実施
例は多少回路規模が増加してもより高画質なＩＰ変換を
実現したい場合に最適なものである。なお、本実施例に
おいては評価値判定回路以外の画像復号回路及びＩＰ変
換回路は図１と、ＩＰ変換用ＭＶのＭＰＥＧ動きベクト
ルからの変換方法は図４と、実際に評価値を算出するＭ
Ｖへの選択方法は表１と同一なのでその説明は省略し
た。

【００５１】候補ＭＶ選択器２３において絞られた候補
ＭＶ各々についてＭＣＩＰ回路２６で1フレーム間の補
間信号が作られ、その差信号の絶対値または２乗誤差が
空間ＬＰＦされて評価値を得て、この評価値が最小とな
る候補ＭＶがＩＰ変換用ＭＶとして決定される部分まで
は第１の実施例と同じであるが、動き補償補間信号とフ
ィールド内補間信号の加算割合を示すｋの値を決定する
部分が異なる。

【００５２】すなわち、評価値判定回路２７Ａには１フ
レーム間の補間信号の差信号の他に、フレーム間補間信
号、フィールド内補間信号が入力され、この２補間信号
間の差分信号に垂直ＬＰＦ５２で垂直ＬＰＦがかけら
れ、その絶対値または２乗誤差に１フレーム間の補間信
号の差信号の絶対値または２乗誤差が加算器５３で加算
される。その後、空間ＬＰＦ４７Ｂによる空間ＬＰＦの
後に非線型変換器４９Ａにより非線型変換されて、ｋの
値(0≦ｋ≦1)が決定される（この時のｋを第２の評価値
とする）。

【００５３】このｋの値に従って動き補償補間信号とフ
ィールド内補間信号が適応加算され、後処理部３４で補
間前のＭＰＥＧ復号画像と合併されてＩＰ変換された信
号として出力される部分も第１の実施例と同一である。

【００５４】本発明の動画像復号方法及びその装置の第
２の実施例について、図と共に以下に説明する。図２に
は本発明の第２の実施例のブロック構成図を、図３に
は、図２のＭＣＩＰ回路２６、評価値判定回路２７の詳
細なブロック構成図をそれぞれ示した。

【００５５】図２に示される本発明の第２の実施例は、
ＤＥＭＵＸ器１１、ＶＬＤ器１２、逆量子化器１３、Ｉ
ＤＣＴ器１４、復号側ＭＣ回路１５、フレームメモリ１
７、加算器１８、スイッチ（ＳＷ）１９、及びＩＰ変換
回路１６より構成され、そのＩＰ変換回路１６は、ＭＶ
スケーリング器２１、ＭＶメモリ２２、候補ベースＭＶ
選択器２３Ａ、再ＭＥ候補ＭＶ発生器２４、サーチレン
ジ設定器２５、再ＭＥ／ＭＣＩＰ回路２６、評価値判定
回路２７、フィールドメモリ２８，２９、フィールド内
補間器３０、増幅器３１，３２、加算器３３、及び後処
理（フィールドマージ）部３４より構成されており、第
１の実施例に、再ＭＥ候補ＭＶ発生器２４、及びサーチ
レンジ設定器２５が追加されて構成されている。

【００５６】動きベクトルがＭＶメモリ２２に貯えられ
るところまでは前記第１の実施例と同じであり、その説
明は省略する。ＭＶメモリ２２に貯えられたＩＰ変換用
候補ＭＶは、ＰＩ(画像情報)に従って候補ベースＭＶ選
択器２３Ａに送られ、ここで最適な候補ＭＶが選択さ
れ、ＩＰ変換ベースＭＶとして、つぎの再ＭＥ候補ＭＶ
発生器２４に送られる。

【００５７】前記候補ベースＭＶの選択方法の一実施例
について前記の表1の「ＩＰ変換用候補ベースＭＶの中
から実際に評価値を算出するＭＶへの選択方法」に示す
が、処理量的に余裕がある場合は１つに絞らず、複数の
ＩＰ変換ベースＭＶを設定するようにしてもよい。

【００５８】また、再ＭＥ（動き量評価値検出）を行う
ため、逆に表１における「条件によっては選択する候補
ＭＶ」で示された、時間的に後に復号されるピクチャの
動きベクトルしか候補ＭＶが存在しない場合は、無理に
ＭＰＥＧ-ＭＶから候補ベースベクトルを求める必要は
なく、この場合は候補ベースＭＶとして"０"の動き量を
再ＭＥ候補ＭＶ発生器２４に送るようにすればよい。

【００５９】再ＭＥ候補ＭＶ発生器２４では、候補ベー
スＭＶの周辺にサーチレンジ設定器２５の出力よりサー
チレンジ(再ＭＥの探索範囲)を設定し、サーチレンジ内
部で一定間隔おきに再ＭＥの候補ＭＶを順次発生し、再
ＭＥ／ＭＣＩＰ回路２６に送る。

【００６０】ここで再ＭＥのサーチレンジは、候補ベー
スＭＶが存在する場合は大局的な動きが既に求まってい
るので、図８の従来例のＭＶ検出器６３におけるサーチ
レンジに比べて極めて狭い範囲で十分であり、演算量が
大幅に削減される。なお、候補ベースＭＶが存在しない
場合はサーチレンジを若干拡大すれば、この場合に限り
演算量の削減は小さくなるが、動き補償によるＩＰ変換
の効果は図８、図９の従来例の場合よりも高くなる。

【００６１】再ＭＥ／ＭＣＩＰ回路２６は図３に示され
るように、スイッチ（ＳＷ）４０、動き補償器４１，４
２、加算器４３及び減算器４４より構成されており、再
ＭＥの候補ＭＶの他に被変換画像に対して１フィールド
前・後の復号画像信号が供給される。

【００６２】この再ＭＥ候補ＭＶ各々について、被変換
画像に対して１フィールド前・後の画像から動き補償器
４１，４２で１フレーム間の補間信号が減算器４４で作
られる。

【００６３】その減算器４４の出力信号は絶対値器４６
で絶対値(または２乗誤差)され、空間ＬＰＦ４７で空間
ＬＰＦされて評価値を得て、つぎの最小評価値判定器４
８で、評価値と再ＭＥ候補ＭＶとが入力されて両者の対
応付けられる。さらに最小評価値判定器４８でこの評価
値が最小となる再ＭＥ候補ＭＶがＩＰ変換用ＭＶとして
決定される（この時の評価値を第１の評価値とする）。

【００６４】また、空間ＬＰＦ４７の出力は非線型変換
器４９に供給されて、この非線型変換器４９によって再
ＭＥ／ＭＣＩＰ回路２６による動き補償補間信号とフィ
ールド内補間器３０によるフィールド内補間信号の加算
器３１，３２の加算割合を示すｋ(0≦ｋ≦1)の値が決定
される。このｋの値に従って動き補償補間信号とフィー
ルド内補間信号が適応加算され、後処理部３４で補間前
のＭＰＥＧ復号画像とマージされてＩＰ変換されたＩＰ
変換信号として出力される。

【００６５】図５に本発明の動画像復号装置の第３の実
施例の再ＭＥ／ＭＣＩＰ回路２６Ａ、評価値判定回路２
７Ａの詳細を示す。図５は図３の再ＭＥ／ＭＣＩＰ回路
２６、評価値判定回路２７のうち、最小評価値判定器４
８の部分を変更したもので、再ＭＥ候補ＭＶの中からＩ
Ｐ変換用ＭＶが選択されるまでの部分は第１の実施例と
同一である。

【００６６】評価値判定回路２７Ａには再ＭＥ／ＭＣＩ
Ｐ回路２６Ａより１フレーム間の補間信号の差信号が入
力されると共に、フレーム間補間信号が入力され、更に
フィールド内補間器３０よりフィールド内補間信号が減
算器５１に入力される。このフレーム間・フィールド内
補間信号間の差分信号である減算器５１の出力に垂直Ｌ
ＰＦ５２で垂直ＬＰＦがかけられ、その絶対値または２
乗誤差に1フレーム間の補間信号の差信号の絶対値また
は２乗誤差が加算器５３に供給される。

【００６７】加算された信号は空間ＬＰＦ４７Ｂで空間
ＬＰＦされた後に非線型変換器４９Ａで非線型変換され
て、ｋの値(0≦ｋ≦1)が決定される（この時のｋを第２
の評価値とする）。

【００６８】このｋの値に従って、第１の実施例と同様
に動き補償補間信号とフィールド内補間信号が適応加算
され、後処理部３４で補間前のＭＰＥＧ復号画像と合併
（マージ）されてＩＰ変換されたＩＰ変換信号として出
力される。

【００６９】以上の説明のように本発明は、ＩＰ変換に
おける動き補償にＭＰＥＧ１，２等の動き補償予測符号
化における動きベクトル(ＭＰＥＧ-ＭＶ)を用いること
によってＩＰ変換における動き量検出のための演算量・
回路規模の削減を図るが、ＭＰＥＧの様々な符号化構造
に対応するため、各マクロブロックについて、一定の範
囲内の符号化ピクチャにおけるＭＰＥＧ-ＭＶをスケー
リングしてＩＰ変換の動き補償における候補ベクトルと
し、一定の条件の下にこの候補ベクトルを絞り込む。

【００７０】更に、絞り込んだ候補ベクトルの中で評価
値判定を行い、評価値の小さい候補ベクトルをＩＰ変換
動き補償における動き量として選定し、この動き量を基
に動き補償補間信号を作成する。動き補償補間信号は評
価値に基づいてフィールド内補間信号と所定の混合比で
加算され、補間前のＭＰＥＧ復号画像(インターレース
信号)と合併されてＩＰ変換された画像として出力され
る。

【００７１】

【発明の効果】ＭＰＥＧに代表される動き補償予測と変
換符号化を組合せた動画像の符号化において、インター
レース信号を符号化したビットストリームを復号して画
像信号を再生する際に、復号された符号化動きベクトル
の内、所定の範囲内の符号化ピクチャにおける動きベク
トルをスケーリングして候補ベクトルとし、所定の条件
の下にこの候補ベクトルを絞り込み、更にこの候補ベク
トルを用いて評価値判定を行い、評価値が最小となる候
補ベクトルを動き補償を用いたＩＰ変換における動き量
として選定し、この動き量を基に動き補償補間信号を作
成した上で、評価値に基づいてフィールド内補間信号と
この動き補償補間信号を所定の混合比で加算し、補間前
の復号画像と合併（マージ）してＩＰ変換された順次
（プログレッシブ）走査の画像として出力することによ
り、ＩＰ変換における動き補償補間の適用範囲を大幅に
増やし、その一方で符号化復号動きベクトルを用いない
方法に比べてＩＰ変換における動き量の検出処理を大幅
に軽減することを可能にした。

【図面の簡単な説明】

【図１】本発明の動画像復号装置の第１の実施例のブロ
ック構成を示した図である。

【図２】本発明の動画像復号装置の第２の実施例のブロ
ック構成を示した図である。

【図３】図１及び図２の再ＭＥ／ＭＣＩＰ回路、評価値
判定回路の詳細なブロック構成を示した図である。

【図４】本発明のＭＶの変換方法の一実施例に示した図
である。

【図５】本発明の動画像復号装置の第３の実施例におけ
る再ＭＥ／ＭＣＩＰ回路、評価値判定回路の詳細なブロ
ック構成を示した図である。

【図６】インターレース走査で間引かれた走査線をその
周辺の走査線から補間する補間方法の一例を示した図で
ある。

【図７】インターレース走査で間引かれた走査線をその
周辺の走査線から補間する補間方法の一例をを示した図
である。

【図８】従来の動き補償を用いるＩＰ変換装置のブロッ
ク構成の一例を示した図である。

【図９】従来のＩＰ変換回路を含んだＭＰＥＧ復号装置
のブロック構成の一例を示した図である。

【図１０】図９のＩＰ変換回路の詳細なブロック構成を
示した図である。

【図１１】符号化ピクチャ構造の一例を示した図であ
る。

【図１２】Ｐピクチャ、Ｂピクチャの予測画像を周期的
に組合せて構成した一例を示した図である。

【図１３】第１フレームの画像から第４フレームの画像
をフレーム予測する場合の、垂直方向の動きベクトルの
スケーリングの一実施例を説明した図を示す。

【図１４】第１フレームの画像から第４フレームの画像
をフィールド予測する場合の、垂直方向の動きベクトル
のスケーリングの一実施例を説明した図を示す。

【図１５】表１の候補ＭＶの選択方法におけるＰピクチ
ャの間隔Ｍの相違を説明した図を示す。

【符号の説明】

１１ＤＥＭＵＸ器１２ＶＬＤ器（可変長復号器）１３逆量子化器１４ＩＤＣＴ器１５復号側ＭＣ回路１６ＩＰ変換回路１７フレームメモリ１８，３３，４３，５３加算器１９，４０スイッチ（ＳＷ）２１ＭＶスケーリング器２２ＭＶメモリ２３候補ＭＶ選択器２３Ａ候補ベースＭＶ選択器２４再ＭＥ候補ＭＶ発生器２５サーチレンジ設定器２６，２６Ａ再ＭＥ／ＭＣＩＰ回路２７，２７Ａ評価値判定回路２８，２９フィールドメモリ３０フィールド内補間器３１，３２増幅器３４後処理部４１，４２動き補償器４４，５１減算器４６，４６Ａ，４６Ｂ絶対値器４７空間ＬＰＦ４７Ａ空間ＬＰＦ（第１の低域フィルタ手段）４７Ｂ空間ＬＰＦ（第２の低域フィルタ手段）４８，４８Ａ最小評価値判定器４９，４９Ａ非線型変換器５２垂直ＬＰＦＢ双方向予測を行うピクチャＩフレーム内符号化ピクチャＭＰ(またはＩ)ピクチャの間隔ＭＶ動きベクトルＮＧＯＰと呼ばれるＩピクチャの間隔Ｐ順方向予測を行うピクチャｋ動き補償補間信号とフィールド内補間信号の加算割
合を示す値（第２の評価値、但し 0≦ｋ≦1)

Claims

【特許請求の範囲】

【請求項１】動き補償予測と変換符号化を組合せた動画
像符号化方法によってインターレース信号を符号化した
ビットストリームを復号して動画像信号を得る動画像復
号方法において、復号された符号化動きベクトルの内、所定の範囲内の符
号化ピクチャにおける動きベクトルを、１フレーム差の
動き量となるように動きベクトルの換算を行って候補ベ
クトルとし、所定の条件の下に前記候補ベクトルを絞り
込み、更に前記候補ベクトルを用いて評価値判定を行い、前記評価値が最小となる前記候補ベクトルを、動き補償
を用いたＩＰ変換(インターレース走査の画像信号のプ
ログレッシブ走査への変換)における動き量として選定
し、前記動き量を基に動き補償補間信号を作成し、前記評価値に基づいてフィールド内補間信号と前記動き
補償補間信号とを所定の混合比で加算し、補間前の復号画像と合併（マージ）してＩＰ変換された
プログレッシブ走査画像として出力するようにしたこと
を特徴とする動画像復号方法。
【請求項２】動き補償予測と変換符号化を組合せた動画
像符号化方法によってインターレース信号を符号化した
ビットストリームを復号して動画像信号を得る動画像復
号方法において、復号された符号化動きベクトルの内、所定の範囲内の符
号化ピクチャにおける動きベクトルを、１フレーム差の
動き量となるように動きベクトルの換算を行って候補ベ
クトルとし、所定の条件の下に前記候補ベクトルを絞り
込んで、これを候補ベースベクトルとし、選択した前記候補ベースベクトルの近傍に探索範囲を設
定し、前記探索範囲の中で再ＭＥ（動き量評価値検出）
を行って評価値判定を行い、前記評価値が最小となる前記候補ベクトルを、動き補償
を用いたＩＰ変換(インターレース走査の画像信号のプ
ログレッシブ走査への変換)における動き量として選定
し、前記動き量を基に動き補償補間信号を作成し、前記評価値に基づいてフィールド内補間信号と前記動き
補償補間信号とを所定の混合比で加算し、補間前の復号画像と合併（マージ）してＩＰ変換された
プログレッシブ走査画像として出力するようにしたこと
を特徴とする動画像復号方法。
【請求項３】請求項１または請求項２に記載された動画
像復号方法において、動き補償を用いたＩＰ変換における動き量を選定する場
合の評価値、及びフィールド内補間信号と動き補償補間
信号を加算する混合比を決定する評価値は、動き補償された時間的に前後の２信号の差分の低域成分
より得るようにしたことを特徴とする動画像復号方法。
【請求項４】請求項１または請求項２に記載された動画
像復号方法において、動き補償を用いたＩＰ変換における動き量を選定する場
合の第１の評価値は、動き補償された時間的に前後の２信号の差分の低域成分
より得るようにし、フィールド内補間信号と動き補償補間信号を加算する混
合比を決定する第２の評価値は、前記動き補償された時間的に前後の２信号の差分信号
に、フィールド内補間信号と動き補償補間信号の差分信
号の垂直方向に低い成分を加算した信号を得、前記加算
した信号の低域成分より得るようにしたことを特徴とす
る動画像復号方法。
【請求項５】動き補償予測と変換符号化を組合せた動画
像符号化方法によって、インターレース信号を符号化し
たビットストリームを復号して動画像信号を得る動画像
復号装置において、復号された符号化動きベクトルの内、所定の範囲内の符
号化ピクチャにおける動きベクトルを、１フレーム差の
動き量となるように動きベクトルの換算を行って候補ベ
クトルとし、所定の条件の下に前記候補ベクトルを絞り
込む候補ベクトル選択手段と、前記候補動きベクトルを用いて評価値判定を行う評価値
判定手段と、前記評価値が最小となる前記候補ベクトルを、動き補償
を用いたＩＰ変換(インターレース走査の画像信号のプ
ログレッシブ走査への変換)における動き量として選定
し、前記動き量を基に動き補償補間信号を作成する動き
補償補間信号作成手段と、前記評価値に基づいてフィールド内補間信号と前記動き
補償補間信号とを所定の混合比で加算する加算手段と、前記加算手段の出力と補間前の復号画像と合併（マー
ジ）してＩＰ変換されたプログレッシブ走査画像として
出力する後処理手段とで構成したことを特徴とする動画
像復号装置。
【請求項６】動き補償予測と変換符号化を組合せた動画
像符号化方法によって、インターレース信号を符号化し
たビットストリームを復号して動画像信号を得る動画像
復号装置において、復号された符号化動きベクトルの内、所定の範囲内の符
号化ピクチャにおける動きベクトルを、１フレーム差の
動き量となるように動きベクトルの換算を行って候補ベ
クトルとし、所定の条件の下に前記候補ベクトルを絞り
込む候補ベースベクトル選択手段と、選択した前記候補ベースベクトルの近傍に探索範囲を設
定し、再ＭＥ（動き量の評価値評価）候補動きベクトル
を順次発生する再ＭＥ候補動きベクトル発生手段と、前記再ＭＥ候補動きベクトルを用いて評価値判定を行う
評価値判定手段と、前記評価値が最小となる前記再ＭＥ候補ベクトルを、動
き補償を用いたＩＰ変換(インターレース走査の画像信
号のプログレッシブ走査への変換)における動き量とし
て選定し、前記動き量を基に動き補償補間信号を作成す
る動き補償補間信号作成手段と、前記評価値に基づいてフィールド内補間信号と前記動き
補償補間信号作成手段の出力信号を所定の混合比で加算
する加算手段と、前記加算手段の出力と補間前の復号画像と合併（マー
ジ）してＩＰ変換されたプログレッシブ走査画像として
出力する後処理手段とで構成したことを特徴とする動画
像復号装置。
【請求項７】請求項５または請求項６に記載された動画
像復号装置において、動き補償を用いたＩＰ変換における動き量を選定する場
合の評価値及びフィールド内補間信号と動き補償補間信
号を加算する混合比を決定する評価値を判定する評価値
判定手段は、動き補償された時間的に前後の２信号の差分が供給され
て、評価値に対応する信号を出力する空間低域フィルタ
手段を有して構成したことを特徴とする動画像復号装
置。
【請求項８】請求項５または請求項６に記載された動画
像復号装置において、前記評価値判定手段は、動き補償された時間的に前後の２信号の差分が供給され
て、動き補償を用いたＩＰ変換における動き量を選定す
る場合の第１の評価値に対応する信号を出力する第１の
低域フィルタ手段と、前記動き補償された時間的に前後の２信号の差分信号
に、フィールド内補間信号と動き補償補間信号の差分信
号の垂直方向に低い成分を加算した信号が供給されて、
前記フィールド内補間信号と動き補償補間信号とを加算
する混合比を決定する第２の評価値に対応する信号を出
力する第２の低域フィルタ手段とを有して構成したこと
を特徴とする動画像復号装置。