JP2002034041A - 画像情報変換装置及び方法 - Google Patents
画像情報変換装置及び方法Info
- Publication number
- JP2002034041A JP2002034041A JP2000215110A JP2000215110A JP2002034041A JP 2002034041 A JP2002034041 A JP 2002034041A JP 2000215110 A JP2000215110 A JP 2000215110A JP 2000215110 A JP2000215110 A JP 2000215110A JP 2002034041 A JP2002034041 A JP 2002034041A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- coded
- compression information
- discrete cosine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 マクロブロックを縮小する際の処理を簡易化
する。 【解決手段】 飛び越し走査によるMPEG2画像圧縮
情報を構成するマクロブロックの8×8成分の離散コサ
イン変換係数の内、2×8成分のみを用いて飛び越し画
像を復号するMPEG2画像情報復号化部(I/Pピク
チャ 2×8ダウンデコーダ)26と、復号された飛び
越し画像の第1フィールド又は第2フィールドのいずれ
か一方を選択して順次走査の画像を生成する走査変換部
27と、生成された順次走査の画像に対して垂直方向に
ダウンサンプリングを行うダウンサンプラ(垂直方向)
28と、ダウンサンプリングされた画像をMPEG4画
像圧縮情報に符号化するMPEG4画像情報符号化部
(I/P−VOP)29とを有する。
する。 【解決手段】 飛び越し走査によるMPEG2画像圧縮
情報を構成するマクロブロックの8×8成分の離散コサ
イン変換係数の内、2×8成分のみを用いて飛び越し画
像を復号するMPEG2画像情報復号化部(I/Pピク
チャ 2×8ダウンデコーダ)26と、復号された飛び
越し画像の第1フィールド又は第2フィールドのいずれ
か一方を選択して順次走査の画像を生成する走査変換部
27と、生成された順次走査の画像に対して垂直方向に
ダウンサンプリングを行うダウンサンプラ(垂直方向)
28と、ダウンサンプリングされた画像をMPEG4画
像圧縮情報に符号化するMPEG4画像情報符号化部
(I/P−VOP)29とを有する。
Description
【0001】
【発明の属する技術分野】本発明は、画像情報を変換す
る画像情報変換装置及び方法に関し、詳しくは、離散コ
サイン変換等の直交変換と動き補償によって圧縮された
MPEG等の画像情報(ビットストリーム)を衛星放
送、ケーブルTV、インターネット等のネットワークメ
ディアを介して受信する際に、若しくは光、磁気ディス
クのような記憶メディア上で処理する際に用いられる画
像情報変換装置及び方法に関する。
る画像情報変換装置及び方法に関し、詳しくは、離散コ
サイン変換等の直交変換と動き補償によって圧縮された
MPEG等の画像情報(ビットストリーム)を衛星放
送、ケーブルTV、インターネット等のネットワークメ
ディアを介して受信する際に、若しくは光、磁気ディス
クのような記憶メディア上で処理する際に用いられる画
像情報変換装置及び方法に関する。
【0002】
【従来の技術】近年、画像情報をディジタルとして取り
扱い、効率の高い情報の伝送、蓄積を目的とし、画像情
報特有の冗長性を利用して、離散コサイン変換(discre
te cosine transformation; DCT)等の直交変換と動
き補償により圧縮するMPEGなどの画像情報圧縮方式
が提供されている。そして、このような画像情報圧縮方
法に準拠した装置は、放送局などの情報配信、及び一般
家庭における情報受信の双方において普及しつつある。
扱い、効率の高い情報の伝送、蓄積を目的とし、画像情
報特有の冗長性を利用して、離散コサイン変換(discre
te cosine transformation; DCT)等の直交変換と動
き補償により圧縮するMPEGなどの画像情報圧縮方式
が提供されている。そして、このような画像情報圧縮方
法に準拠した装置は、放送局などの情報配信、及び一般
家庭における情報受信の双方において普及しつつある。
【0003】特に、MPEG2(ISO/IEC 13
818−2)は、汎用画像符号化方式として定義されて
おり、飛び越し走査画像及び順次走査画像の双方、並び
に標準解像度画像及び高精細画像を網羅する標準で、プ
ロフェッショナル用途及びコンシューマー用途の広範な
アプリケーションに今後とも用いられるものと予想され
る。
818−2)は、汎用画像符号化方式として定義されて
おり、飛び越し走査画像及び順次走査画像の双方、並び
に標準解像度画像及び高精細画像を網羅する標準で、プ
ロフェッショナル用途及びコンシューマー用途の広範な
アプリケーションに今後とも用いられるものと予想され
る。
【0004】MPEG2圧縮方式を用いることにより、
高い圧縮率と良好な画質の実現が可能である。このため
には、例えば、720×480画素を持つ標準解像度の
飛び越し走査画像であれば4〜8Mbps、1920×
1088画素を持つ高解像度の飛び越し走査画像であれ
ば18〜22Mbpsの符号量(ビットレート)を割り
当てることが必要である。
高い圧縮率と良好な画質の実現が可能である。このため
には、例えば、720×480画素を持つ標準解像度の
飛び越し走査画像であれば4〜8Mbps、1920×
1088画素を持つ高解像度の飛び越し走査画像であれ
ば18〜22Mbpsの符号量(ビットレート)を割り
当てることが必要である。
【0005】今後広く普及するであろうと思われるディ
ジタル放送においても、このような圧縮方式によって画
像情報が伝送されるが、その規格には、標準解像度の画
像及び高解像度の画像が存在し、受信機においてはこの
両方を復号することの出来る機能を持つことが望まれ
る。
ジタル放送においても、このような圧縮方式によって画
像情報が伝送されるが、その規格には、標準解像度の画
像及び高解像度の画像が存在し、受信機においてはこの
両方を復号することの出来る機能を持つことが望まれ
る。
【0006】特に、標準解像度との共存を図り、安価な
受信機を構築するためには、高解像度画像情報を、画質
劣化を最小限に抑えながら何らかの形で間引いて処理す
る必要がある。かかる問題は、ディジタル放送などの伝
送メディアにおいてのみならず、光ディスクやフラッシ
ュメモリにおいても生じるものであると考えられる。
受信機を構築するためには、高解像度画像情報を、画質
劣化を最小限に抑えながら何らかの形で間引いて処理す
る必要がある。かかる問題は、ディジタル放送などの伝
送メディアにおいてのみならず、光ディスクやフラッシ
ュメモリにおいても生じるものであると考えられる。
【0007】かかる問題を解決するために、本願出願人
は、先に図6に示すようなダウンデコーダを提案した。
このダウンデコーダは、MPEG2画像圧縮情報(ビッ
トストリーム)の符号化画像を構成する垂直方向及び水
平方向共に8成分(以下、8×8と表記する。他も同様
とする。)のブロックを4×8ブロックに変換する4×
8ダウンデコーダである。
は、先に図6に示すようなダウンデコーダを提案した。
このダウンデコーダは、MPEG2画像圧縮情報(ビッ
トストリーム)の符号化画像を構成する垂直方向及び水
平方向共に8成分(以下、8×8と表記する。他も同様
とする。)のブロックを4×8ブロックに変換する4×
8ダウンデコーダである。
【0008】この4×8ダウンデコーダは、符号バッフ
ァ1と、圧縮情報解析部2と、可変長復号化部3と、逆
量子化部4と、縮小逆離散コサイン変換部5と、加算器
6と、動き補償部(フィールド予測)7と、動き補償部
(フレーム予測)8と、ビデオメモリ9と、画枠変換部
10とから構成されている。
ァ1と、圧縮情報解析部2と、可変長復号化部3と、逆
量子化部4と、縮小逆離散コサイン変換部5と、加算器
6と、動き補償部(フィールド予測)7と、動き補償部
(フレーム予測)8と、ビデオメモリ9と、画枠変換部
10とから構成されている。
【0009】符号バッファ1は入力される画像圧縮情報
を一時的に保持し、圧縮情報解析部2は符号バッファ1
から送られた画像圧縮情報を解析し、可変長符号化部3
は圧縮情報解析部2から出力されたデータを可変長復号
化し、逆量子化部4は可変長符号化部3から出力された
データを逆量子化し、縮小逆離散コサイン変換部(4×
8)5は逆量子化部4から出力された8×8成分の低域
4×8成分のみに逆離散コサイン変換を施す。
を一時的に保持し、圧縮情報解析部2は符号バッファ1
から送られた画像圧縮情報を解析し、可変長符号化部3
は圧縮情報解析部2から出力されたデータを可変長復号
化し、逆量子化部4は可変長符号化部3から出力された
データを逆量子化し、縮小逆離散コサイン変換部(4×
8)5は逆量子化部4から出力された8×8成分の低域
4×8成分のみに逆離散コサイン変換を施す。
【0010】また、動き補償部(フィールド予測)7は
ビデオメモリ9から送られた画像を用いてフィールド予
測の動き補償を行い、動き補償部(フレーム予測)8は
ビデオメモリ9から送られた画像を用いてフレーム予測
の動き補償を行い、加算器6は縮小逆離散コサイン変換
部(4×8)5と動き補償部(フィールド分離)7又は
動き補償部(フレーム予測)8の出力を加算し、ビデオ
メモリ9は加算器6からの出力を記憶し、画枠変換部1
0はビデオメモリ9に記憶された画像に画枠補正を施し
て出力する。
ビデオメモリ9から送られた画像を用いてフィールド予
測の動き補償を行い、動き補償部(フレーム予測)8は
ビデオメモリ9から送られた画像を用いてフレーム予測
の動き補償を行い、加算器6は縮小逆離散コサイン変換
部(4×8)5と動き補償部(フィールド分離)7又は
動き補償部(フレーム予測)8の出力を加算し、ビデオ
メモリ9は加算器6からの出力を記憶し、画枠変換部1
0はビデオメモリ9に記憶された画像に画枠補正を施し
て出力する。
【0011】可変長復号化部3においては、図7に示す
ように、後続の縮小逆離散コサイン変換部(4×8)5
において必要な係数のみを復号化し、あとはEOBが検
出されるまで処理を行わないということも考えられる。
復号化される係数は、図7中で破線で囲まれた4×8の
画素である。図7のAはジグザグスキャンを、図7のB
はオルタネートスキャンである。図中の数字は、離散コ
サイン変換係数をスキャンする順序を示すものである。
ように、後続の縮小逆離散コサイン変換部(4×8)5
において必要な係数のみを復号化し、あとはEOBが検
出されるまで処理を行わないということも考えられる。
復号化される係数は、図7中で破線で囲まれた4×8の
画素である。図7のAはジグザグスキャンを、図7のB
はオルタネートスキャンである。図中の数字は、離散コ
サイン変換係数をスキャンする順序を示すものである。
【0012】オルタネートスキャンは、飛び越し走査に
適している。逆量子化された離散コサイン変換係数に
は、縮小逆離散コサイン変換部(4×8)5によって逆
離散コサイン変換が施される。
適している。逆量子化された離散コサイン変換係数に
は、縮小逆離散コサイン変換部(4×8)5によって逆
離散コサイン変換が施される。
【0013】当該マクロブロックがイントラマクロブロ
ックの場合、縮小逆離散コサイン変換部(4×8)5か
ら出力された逆離散コサイン変換後のデータがビデオメ
モリ9にそのまま格納される。
ックの場合、縮小逆離散コサイン変換部(4×8)5か
ら出力された逆離散コサイン変換後のデータがビデオメ
モリ9にそのまま格納される。
【0014】当該マクロブロックがインターマクロブロ
ックの場合、動き補償モードがフィールドモードの場合
には動き補償部(フィールド予測)7により、動き補償
モードがフレームモードの場合には動き補償部(フレー
ム予測)8により、動き補償が施される。そして、ビデ
オメモリ9内の参照データを元に動き補償部(フィール
ド予測)7又は動き補償部(フレーム予測)8により水
平方向には1/4画素精度、垂直方向には1/2画素精
度の補間処理が施される。これによって生成される予測
画と縮小逆離散コサイン変換部(4×8)8による逆離
散コサイン変換によって得られるデータを加算器6によ
って合成したものをビデオメモリ9に出力する。
ックの場合、動き補償モードがフィールドモードの場合
には動き補償部(フィールド予測)7により、動き補償
モードがフレームモードの場合には動き補償部(フレー
ム予測)8により、動き補償が施される。そして、ビデ
オメモリ9内の参照データを元に動き補償部(フィール
ド予測)7又は動き補償部(フレーム予測)8により水
平方向には1/4画素精度、垂直方向には1/2画素精
度の補間処理が施される。これによって生成される予測
画と縮小逆離散コサイン変換部(4×8)8による逆離
散コサイン変換によって得られるデータを加算器6によ
って合成したものをビデオメモリ9に出力する。
【0015】ビデオメモリ9に格納された画素値は、画
枠変換部10によって表示装置に適した画枠サイズに変
換され、出力される。
枠変換部10によって表示装置に適した画枠サイズに変
換され、出力される。
【0016】次に、縮小逆離散コサイン変換部(4×
8)5における動作原理について説明する。
8)5における動作原理について説明する。
【0017】垂直方向に関しては、通常のMPEG2画
像情報復号化装置と同様、8次の逆離散コサイン変換を
行う。水平方向には、8次の離散コサイン変換係数の
内、低域4係数を取り出し、これに4次の逆離散コサイ
ン変換を施す。この処理を表したものを図8に示す。図
中において、iD8は8次の逆離散コサイン変換行列、
iD4 tは4次の逆離散コサイン変換の逆行列、04は4
×4の零行列である。
像情報復号化装置と同様、8次の逆離散コサイン変換を
行う。水平方向には、8次の離散コサイン変換係数の
内、低域4係数を取り出し、これに4次の逆離散コサイ
ン変換を施す。この処理を表したものを図8に示す。図
中において、iD8は8次の逆離散コサイン変換行列、
iD4 tは4次の逆離散コサイン変換の逆行列、04は4
×4の零行列である。
【0018】尚、水平方向、垂直方向共に、高速アルゴ
リズムによる実現が可能である。Wangのアルゴリズ
ム(参考文献: Zhong de Wang.,“Fast Algorithm
s for the Discrete W Transform and for the
Discrete Fourier Transform", IEEE Tr.ASSP-3
2, N0.4, pp.803-816, Aug. 1984)に基づいて4次
の逆離散コサイン変換を実現する方法の構成を図9に示
す。
リズムによる実現が可能である。Wangのアルゴリズ
ム(参考文献: Zhong de Wang.,“Fast Algorithm
s for the Discrete W Transform and for the
Discrete Fourier Transform", IEEE Tr.ASSP-3
2, N0.4, pp.803-816, Aug. 1984)に基づいて4次
の逆離散コサイン変換を実現する方法の構成を図9に示
す。
【0019】図9においては、第0出力要素f(0)
は、加算器43において値s2及び値s5を加えること
により得られる。
は、加算器43において値s2及び値s5を加えること
により得られる。
【0020】ここで、値s2は、第0入力要素F(0)
と第2入力要素F(2)を加算器31にて加えた値を乗
算器34でA倍したものである。また、値s5は、第1
入力要素F(1)を乗算器37でC倍した値に加算器4
0において値s1を加えたものである。値s1は、第3
入力要素F(3)から第1入力要素F(1)を加算器3
3にて減じた値を乗算器38でD倍したものである。
と第2入力要素F(2)を加算器31にて加えた値を乗
算器34でA倍したものである。また、値s5は、第1
入力要素F(1)を乗算器37でC倍した値に加算器4
0において値s1を加えたものである。値s1は、第3
入力要素F(3)から第1入力要素F(1)を加算器3
3にて減じた値を乗算器38でD倍したものである。
【0021】第1出力要素f(1)は、値s3及び値s
4を加算器41において加えることにより得られる。
4を加算器41において加えることにより得られる。
【0022】ここで、値s3は、第0入力要素F(0)
から第2入力要素F(2)を加算器32で減じた値を乗
算器35でA倍したものである。値s4は、第3入力要
素F(3)を乗算器36でB倍した値から値s1を加算
器39において減算したものである。
から第2入力要素F(2)を加算器32で減じた値を乗
算器35でA倍したものである。値s4は、第3入力要
素F(3)を乗算器36でB倍した値から値s1を加算
器39において減算したものである。
【0023】第2出力要素f(2)は、値s4から値s
3を加算器42において減じることにより得られる。
3を加算器42において減じることにより得られる。
【0024】第3出力要素f(3)は、値s2から値s
5を加算器44において減じることにより得られる。
5を加算器44において減じることにより得られる。
【0025】このように、加算器9個、乗算器5個によ
る実現が可能である。図中では、次のような量が用いら
れている。
る実現が可能である。図中では、次のような量が用いら
れている。
【0026】 A=1/√2 B=−C1/8+C3/8 C=C1/8+C3/8 D=C3/8ただし、上の式では、以下のような数が用い
られる。他も同様である。
られる。他も同様である。
【0027】C3/8=cos(3π/8) 動き補償部(フィールドモード)7及び動き補償部(フ
ィールドモード)8における動作原理は、垂直方向に関
しては、通常の画像情報復号化装置と同様である。但
し、水平方向に関しては、縮小逆離散コサイン変換部
(4×8)5において解像度が1/2に間引かれる分、
補間処理を行う必要がある。すなわち、まず、1/2精
度相当の画素を、ハーフバンドフィルタの様な2倍補間
のフィルタによって作り出し、その作り出された画素を
元に1/4精度相当の画素を線形補間によって作り出
す。その際、ハーフバンドフィルタを用いることで、フ
レームメモリから取り出された画素と同じ位相の画素値
を予測画として出力する場合、タップ数に応じた積和演
算を行う必要がないために高速な演算が可能である。ま
た、ハーフバンドフィルタを用いる場合、その係数はx
/2nの形で表すことが可能であるため、フィルタリン
グに必要な除算をシフト演算にて実現することで高速な
実行が可能となる。若しくは、4倍補間のフィルタリン
グによって、動き補償に必要な画素を直接作り出すこと
も考えられる。
ィールドモード)8における動作原理は、垂直方向に関
しては、通常の画像情報復号化装置と同様である。但
し、水平方向に関しては、縮小逆離散コサイン変換部
(4×8)5において解像度が1/2に間引かれる分、
補間処理を行う必要がある。すなわち、まず、1/2精
度相当の画素を、ハーフバンドフィルタの様な2倍補間
のフィルタによって作り出し、その作り出された画素を
元に1/4精度相当の画素を線形補間によって作り出
す。その際、ハーフバンドフィルタを用いることで、フ
レームメモリから取り出された画素と同じ位相の画素値
を予測画として出力する場合、タップ数に応じた積和演
算を行う必要がないために高速な演算が可能である。ま
た、ハーフバンドフィルタを用いる場合、その係数はx
/2nの形で表すことが可能であるため、フィルタリン
グに必要な除算をシフト演算にて実現することで高速な
実行が可能となる。若しくは、4倍補間のフィルタリン
グによって、動き補償に必要な画素を直接作り出すこと
も考えられる。
【0028】実際の処理としては、上記の様な2倍補間
フィルタと線形補間によって実現される2段階の補間
が、一度で行われる様な係数を予め用意しておき、1段
階の補間であるかの様に処理が行われる。また、入力と
なる画像圧縮情報(ビットストリーム)中の動きベクト
ルの値に応じて、必要な画素値のみが作り出される。
フィルタと線形補間によって実現される2段階の補間
が、一度で行われる様な係数を予め用意しておき、1段
階の補間であるかの様に処理が行われる。また、入力と
なる画像圧縮情報(ビットストリーム)中の動きベクト
ルの値に応じて、必要な画素値のみが作り出される。
【0029】尚、2倍補間のフィルタリングを行う際、
動きベクトルの値によって、ビデオメモリにおける画枠
の外を参照する必要が生じる場合がある。この場合は、
端点を中心にして必要なタップ数だけ対称に折り返すか
(以下これをミラー処理と呼ぶ。)、端点の画素値と同
じ値の画素が必要なタップ数の分だけ画枠の外に存在す
るものとして取り扱う(以下これをホールド処理と呼
ぶ。)。図10のAにミラー処理を示す。図中の記号p
はビデオメモリ9内の画素であり、記号qは補間に必要
となる画枠外の仮想的な画素である。図10のBにはホ
ールド処理を示す。或いはまた、画枠をはみ出した画素
値に関しては、例えば128のような固定値とすること
も考えられる。
動きベクトルの値によって、ビデオメモリにおける画枠
の外を参照する必要が生じる場合がある。この場合は、
端点を中心にして必要なタップ数だけ対称に折り返すか
(以下これをミラー処理と呼ぶ。)、端点の画素値と同
じ値の画素が必要なタップ数の分だけ画枠の外に存在す
るものとして取り扱う(以下これをホールド処理と呼
ぶ。)。図10のAにミラー処理を示す。図中の記号p
はビデオメモリ9内の画素であり、記号qは補間に必要
となる画枠外の仮想的な画素である。図10のBにはホ
ールド処理を示す。或いはまた、画枠をはみ出した画素
値に関しては、例えば128のような固定値とすること
も考えられる。
【0030】次に、画枠変換部10における動作原理に
ついて述べる。
ついて述べる。
【0031】例えば、入力となる画像圧縮情報(ビット
ストリーム)の画枠が1920×1080画素であった
場合、ビデオメモリ9から出力される画像は960×1
080画素ということになる。これを720×480画
素(アスペクト比16:9)の表示装置に出力する場
合、水平方向には3/4、垂直方向には4/9の間引き
処理が必要となる。入力となる画像圧縮情報が飛び越し
走査である場合、垂直方向に関しては、第1フィールド
と第2フィールドに分けた間引き処理を行う必要があ
る。
ストリーム)の画枠が1920×1080画素であった
場合、ビデオメモリ9から出力される画像は960×1
080画素ということになる。これを720×480画
素(アスペクト比16:9)の表示装置に出力する場
合、水平方向には3/4、垂直方向には4/9の間引き
処理が必要となる。入力となる画像圧縮情報が飛び越し
走査である場合、垂直方向に関しては、第1フィールド
と第2フィールドに分けた間引き処理を行う必要があ
る。
【0032】図11に垂直方向の処理の例を示す。図中
において、記号a1は第1フィールドの入力画素を、記
号a2は第2フィールドの入力画素を示している。ま
た、記号b1は第1フィールドの出力画素を、記号b2
は第2フィールドの出力画素をそれぞれ示している。
において、記号a1は第1フィールドの入力画素を、記
号a2は第2フィールドの入力画素を示している。ま
た、記号b1は第1フィールドの出力画素を、記号b2
は第2フィールドの出力画素をそれぞれ示している。
【0033】具体的には、第1フィールドについては、
例えば入力画素の垂直位置0を基準にして0−(5/1
6)にて与えられる。第2フィールドについては、例え
ば入力画素の垂直位置0を基準にして0+(5/16)
にて与えられる。
例えば入力画素の垂直位置0を基準にして0−(5/1
6)にて与えられる。第2フィールドについては、例え
ば入力画素の垂直位置0を基準にして0+(5/16)
にて与えられる。
【0034】ところで、MPEG2は主として放送用に
適合する高画質符号化を対象としてたが、MPEG1よ
り低い符号量(ビットレート)、つまりより高い圧縮率
の符号化方式には対応していなかった。携帯端末の普及
により、今後そのようなニーズは高まると思われ、これ
に対応してMPEG4符号化方式の標準化が行われた。
画像符号化方式に関しては、1998年12月にISO
/IEC14496−2としてその規格書が国際標準に
承認された。
適合する高画質符号化を対象としてたが、MPEG1よ
り低い符号量(ビットレート)、つまりより高い圧縮率
の符号化方式には対応していなかった。携帯端末の普及
により、今後そのようなニーズは高まると思われ、これ
に対応してMPEG4符号化方式の標準化が行われた。
画像符号化方式に関しては、1998年12月にISO
/IEC14496−2としてその規格書が国際標準に
承認された。
【0035】ここで、ディジタル放送用に一度符号化さ
れたMPEG2画像圧縮情報(ビットストリーム)を、
携帯端末上で処理するのにより適した、より低い符号量
(ビットレート)のMPEG4画像圧縮情報(ビットス
トリーム)に変換したいというニーズがある。
れたMPEG2画像圧縮情報(ビットストリーム)を、
携帯端末上で処理するのにより適した、より低い符号量
(ビットレート)のMPEG4画像圧縮情報(ビットス
トリーム)に変換したいというニーズがある。
【0036】かかる目的を達成する画像情報変換装置
(トランスコーダ)として、“Field-to-Frame Transc
oding with Spatial and Tempora1 Downsamplin
g"(Susie J. Wee, John G. Apostolopoulos, and
Nick Feamster,ICIP 99)では、図12に示すような
装置が提案されている。即ち、この装置は、ピクチャタ
イプ判別部11、MPEG2画像情報復号化部(I/P
ピクチャ)12、間引き部13、MPEG4画像情報符
号化部(I/P−VOP)14、動きベクトル合成部1
5、動きベクトル検出部16から構成されている。
(トランスコーダ)として、“Field-to-Frame Transc
oding with Spatial and Tempora1 Downsamplin
g"(Susie J. Wee, John G. Apostolopoulos, and
Nick Feamster,ICIP 99)では、図12に示すような
装置が提案されている。即ち、この装置は、ピクチャタ
イプ判別部11、MPEG2画像情報復号化部(I/P
ピクチャ)12、間引き部13、MPEG4画像情報符
号化部(I/P−VOP)14、動きベクトル合成部1
5、動きベクトル検出部16から構成されている。
【0037】ピクチャタイプ判別部11には、飛び越し
走査のMPEG2画像圧縮情報(ビットストリーム)が
入力される。MPEG2画像圧縮情報(ビットストリー
ム)は、フレーム内で符号化されたイントラ符号化画像
(Iピクチャ)、表示順序で順方向を参照して符号化さ
れた順方向予測符号化画像(Pピクチャ)、表示順序で
順方向及び逆方向を参照して符号化された双方向予測符
号化画像(Bピクチャ)から構成されている。
走査のMPEG2画像圧縮情報(ビットストリーム)が
入力される。MPEG2画像圧縮情報(ビットストリー
ム)は、フレーム内で符号化されたイントラ符号化画像
(Iピクチャ)、表示順序で順方向を参照して符号化さ
れた順方向予測符号化画像(Pピクチャ)、表示順序で
順方向及び逆方向を参照して符号化された双方向予測符
号化画像(Bピクチャ)から構成されている。
【0038】ピクチャタイプ判別部11においては、各
フレームのデータにおいて、I/Pピクチャに関するも
のか、Bピクチャに関するものであるかが判別され、前
者のみ、後続のMPEG2画像情報復号化部(I/Pピ
クチャ)12に出力される。
フレームのデータにおいて、I/Pピクチャに関するも
のか、Bピクチャに関するものであるかが判別され、前
者のみ、後続のMPEG2画像情報復号化部(I/Pピ
クチャ)12に出力される。
【0039】MPEG2画像情報復号化部(I/Pピク
チャ)12における処理は通常のMPEG2画像情報復
号化装置と同様であるが、Bピクチャに関するデータは
ピクチャタイプ判別部11において廃棄されるため、M
PEG2画像情報復号化部(I/Pピクチャ)12にお
ける機能としてはI/Pピクチャのみを復号化出来れば
良い。
チャ)12における処理は通常のMPEG2画像情報復
号化装置と同様であるが、Bピクチャに関するデータは
ピクチャタイプ判別部11において廃棄されるため、M
PEG2画像情報復号化部(I/Pピクチャ)12にお
ける機能としてはI/Pピクチャのみを復号化出来れば
良い。
【0040】MPEG2画像情報復号化部(I/Pピク
チャ)12の出力となる画素値は、間引き部13に入力
され、ここで、水平方向には1/2の間引き処理が施さ
れ、垂直方向には、第1フィールド若しくは第2フィー
ルドのどちらか一方のデータのみを残し、もう一方を廃
棄することで、入力となる画像情報の1/4の大きさを
持つ順次走査画像を生成する。
チャ)12の出力となる画素値は、間引き部13に入力
され、ここで、水平方向には1/2の間引き処理が施さ
れ、垂直方向には、第1フィールド若しくは第2フィー
ルドのどちらか一方のデータのみを残し、もう一方を廃
棄することで、入力となる画像情報の1/4の大きさを
持つ順次走査画像を生成する。
【0041】間引き部13によって生成された順次走査
画像はMPEG4画像情報符号化部(I/P−VOP)
14によつて符号化され、MPEG4画像圧縮情報(ビ
ットストリーム)として出力される。その際、入力とな
るMPEG2画像圧縮情報(ビットストリーム)中の動
きベクトル情報は、動きベクトル合成部15において間
引き後の画像情報に対する動きベクトルにマッピングさ
れ、動きベクトル検出部16においては、動きベクトル
合成部15において合成された動きベクトル値を元に高
精度の動きベクトルを検出する。
画像はMPEG4画像情報符号化部(I/P−VOP)
14によつて符号化され、MPEG4画像圧縮情報(ビ
ットストリーム)として出力される。その際、入力とな
るMPEG2画像圧縮情報(ビットストリーム)中の動
きベクトル情報は、動きベクトル合成部15において間
引き後の画像情報に対する動きベクトルにマッピングさ
れ、動きベクトル検出部16においては、動きベクトル
合成部15において合成された動きベクトル値を元に高
精度の動きベクトルを検出する。
【0042】図12に示した画像情報変換装置は、入力
となるMPEG2画像圧縮情報(ビットストリーム)が
NTSC規格(720×480画素、飛び越し走査)に
準ずるものである場合、その凡そ1/2×1/2の画枠
であるSIF(352×240画素、順次走査)の大き
さのMPEG4画像圧縮情報(ビットストリーム)を出
力するものである。しかしながら、MPEG4のターゲ
ットアプリケーションの1つである携帯情報端末におい
ては、モニタ部の解像度がSIFサイズの画像を表示し
きれないということもありうる。また、記憶メディアの
容量、或いは伝送経路のバンド幅により定められた符号
量(ビットレート)の元では、SIFサイズのままでは
良好な画質が得られないという問題が生じる場合もあ
る。このような場合、入力となるMPEG2画像圧縮情
報(ビットストリーム)の凡そ1/4×1/4の画枠で
あるQSIF(176×112画素、順次走査)に変換
する必要がある。さらに、後段で破棄されてしまう、画
像の持つ高域成分に関する情報もMPEG2画像情報復
号化部(I/Pピクチャ)13においては処理されてし
まうため、復号化に必要とされる演算量とメモリ容量が
冗長であると言える。
となるMPEG2画像圧縮情報(ビットストリーム)が
NTSC規格(720×480画素、飛び越し走査)に
準ずるものである場合、その凡そ1/2×1/2の画枠
であるSIF(352×240画素、順次走査)の大き
さのMPEG4画像圧縮情報(ビットストリーム)を出
力するものである。しかしながら、MPEG4のターゲ
ットアプリケーションの1つである携帯情報端末におい
ては、モニタ部の解像度がSIFサイズの画像を表示し
きれないということもありうる。また、記憶メディアの
容量、或いは伝送経路のバンド幅により定められた符号
量(ビットレート)の元では、SIFサイズのままでは
良好な画質が得られないという問題が生じる場合もあ
る。このような場合、入力となるMPEG2画像圧縮情
報(ビットストリーム)の凡そ1/4×1/4の画枠で
あるQSIF(176×112画素、順次走査)に変換
する必要がある。さらに、後段で破棄されてしまう、画
像の持つ高域成分に関する情報もMPEG2画像情報復
号化部(I/Pピクチャ)13においては処理されてし
まうため、復号化に必要とされる演算量とメモリ容量が
冗長であると言える。
【0043】かかる問題を解決するため、本願出願人
は、先に図13に示すような画像情報変換装置を提案し
た。
は、先に図13に示すような画像情報変換装置を提案し
た。
【0044】この画像情報変換装置は、ピクチャタイプ
判別部17と、MPEG2画像情報復号化部(I/Pピ
クチヤ4×8ダウンデコーダ)18と、走査変換部19
と、ダウンサンプラ(水平方向)20と、ダウンサンプ
ラ(垂直方向)21と、MPEG4画像情報符号化部
(I/P−VOP)22と、動きベクトル合成部23
と、動きベクトル検出部24とから構成されている。
判別部17と、MPEG2画像情報復号化部(I/Pピ
クチヤ4×8ダウンデコーダ)18と、走査変換部19
と、ダウンサンプラ(水平方向)20と、ダウンサンプ
ラ(垂直方向)21と、MPEG4画像情報符号化部
(I/P−VOP)22と、動きベクトル合成部23
と、動きベクトル検出部24とから構成されている。
【0045】入力となる飛び越し走査のMPEG2画像
圧縮情報(ビットストリーム)は、まずピクチャタイプ
判別部17に入力され、ここで、I/Pピクチャに関す
る情報は出力されMPEG2画像情報復号化部(I/P
ピクチャ 4×8ダウンデコーダ)18の入力となる
が、Bピクチャに関する情報は破棄される。このように
してフレームレートの変換が行われる。MPEG2画像
情報復号化部(I/Pピクチャ 4×8ダウンデコー
ダ)18は通常のMPEG2画像情報復号化装置と同等
であるが、Bピクチャに関する情報はピクチヤタイプ判
別部17において既に破棄されているため、機能として
はI/Pピクチャのみの復号化処理が行えれば良い。水
平方向には低域4次情報のみを用いた復号化処理を行う
ことで、図13におけるMPEG2画像情報復号化部
(I/Pピクチャ 4×8ダウンデコーダ)18で必要
とされるビデオメモリの容量は、図12におけるMPE
G2画像情報復号化装置(I/Pピクチャ)12の1/
2で良く、また、逆離散コサイン変換に要する処理量も
1/2で良い。
圧縮情報(ビットストリーム)は、まずピクチャタイプ
判別部17に入力され、ここで、I/Pピクチャに関す
る情報は出力されMPEG2画像情報復号化部(I/P
ピクチャ 4×8ダウンデコーダ)18の入力となる
が、Bピクチャに関する情報は破棄される。このように
してフレームレートの変換が行われる。MPEG2画像
情報復号化部(I/Pピクチャ 4×8ダウンデコー
ダ)18は通常のMPEG2画像情報復号化装置と同等
であるが、Bピクチャに関する情報はピクチヤタイプ判
別部17において既に破棄されているため、機能として
はI/Pピクチャのみの復号化処理が行えれば良い。水
平方向には低域4次情報のみを用いた復号化処理を行う
ことで、図13におけるMPEG2画像情報復号化部
(I/Pピクチャ 4×8ダウンデコーダ)18で必要
とされるビデオメモリの容量は、図12におけるMPE
G2画像情報復号化装置(I/Pピクチャ)12の1/
2で良く、また、逆離散コサイン変換に要する処理量も
1/2で良い。
【0046】次に、この画像情報変換装置の動作につい
て説明する。
て説明する。
【0047】入力となる飛び越し走査のMPEG2画像
圧縮情報(ビットストリーム)は、まずピクチャタイプ
判別部17に入力され、ここで、I/Pピクチャに関す
る情報は出力されMPEG2画像情報復号化部(I/P
ピクチャ 4×8ダウンデコーダ)18の入力となる
が、Bピクチャに関する情報は破棄される。このように
してフレームレートの変換が行われる。MPEG2画像
情報復号化部(I/Pピクチャ 4×8ダウンデコー
ダ)18は、Bピクチャに関する情報はピクチャタイプ
判別部17は、Bピクチャに関する情報はピクチャタイ
プ判別部17により既に破棄されているため、機能とし
てはI/Pピクチャのみの復号化処理が行えれば良い。
水平方向には低域4次情報のみを用いた復号化処理を行
うことで、このMPEG2画像情報復号化部(I/Pピ
クチャ 4×8ダウンデコーダ)18で必要とされるビ
デオメモリの容量は、図12におけるMPEG2画像情
報復号化部(I/Pピクチャ)12の1/2で良く、ま
た、逆離散コサイン変換に要する処理量も1/2で良
い。
圧縮情報(ビットストリーム)は、まずピクチャタイプ
判別部17に入力され、ここで、I/Pピクチャに関す
る情報は出力されMPEG2画像情報復号化部(I/P
ピクチャ 4×8ダウンデコーダ)18の入力となる
が、Bピクチャに関する情報は破棄される。このように
してフレームレートの変換が行われる。MPEG2画像
情報復号化部(I/Pピクチャ 4×8ダウンデコー
ダ)18は、Bピクチャに関する情報はピクチャタイプ
判別部17は、Bピクチャに関する情報はピクチャタイ
プ判別部17により既に破棄されているため、機能とし
てはI/Pピクチャのみの復号化処理が行えれば良い。
水平方向には低域4次情報のみを用いた復号化処理を行
うことで、このMPEG2画像情報復号化部(I/Pピ
クチャ 4×8ダウンデコーダ)18で必要とされるビ
デオメモリの容量は、図12におけるMPEG2画像情
報復号化部(I/Pピクチャ)12の1/2で良く、ま
た、逆離散コサイン変換に要する処理量も1/2で良
い。
【0048】MPEG2画像情報復号化部(I/Pピク
チャ 4×8ダウンデコーダ)18からは、入力となる
画像圧縮情報(ビットストリーム)の1/2×1/1の
画枠を持つ飛び越し走査の画像が出力される。これは、
走査変換部19において、図14に示すように、第1フ
ィールド若しくは第2フィールドの内一方のみを残し、
もう一方を破棄することで、入力となる画像圧縮情報
(ビットストリーム)の1/2×1/2の画枠を持つ順
次走査の画素情報へと変換され出力される。図14にお
いては、図14のAに示す第1フィールドの画素a1及
び第2のフィールドの画素a2の内、第2フィールドの
画素a2を破棄することにより図14のBの画素bが得
られる。
チャ 4×8ダウンデコーダ)18からは、入力となる
画像圧縮情報(ビットストリーム)の1/2×1/1の
画枠を持つ飛び越し走査の画像が出力される。これは、
走査変換部19において、図14に示すように、第1フ
ィールド若しくは第2フィールドの内一方のみを残し、
もう一方を破棄することで、入力となる画像圧縮情報
(ビットストリーム)の1/2×1/2の画枠を持つ順
次走査の画素情報へと変換され出力される。図14にお
いては、図14のAに示す第1フィールドの画素a1及
び第2のフィールドの画素a2の内、第2フィールドの
画素a2を破棄することにより図14のBの画素bが得
られる。
【0049】次に、この入力となる画像圧縮情報(ビッ
トストリーム)の1/2×1/2の画枠を持つ順次走査
画像は、ダウンサンプラ(水平方向)20において、図
15に示すように、数タップのローバスフィルタを用い
て水平方向に1/2倍のダウンサンプリングが施され、
入力となる画像圧縮情報(ビットストリーム)の1/4
×1/2の画枠を持つ順次走査の画像情報へと変換され
る。すなわち、図15のAにおける画素aを水平方向に
1/2ダウンサンプリングすることにより図15のBに
おける画素bが得られる。
トストリーム)の1/2×1/2の画枠を持つ順次走査
画像は、ダウンサンプラ(水平方向)20において、図
15に示すように、数タップのローバスフィルタを用い
て水平方向に1/2倍のダウンサンプリングが施され、
入力となる画像圧縮情報(ビットストリーム)の1/4
×1/2の画枠を持つ順次走査の画像情報へと変換され
る。すなわち、図15のAにおける画素aを水平方向に
1/2ダウンサンプリングすることにより図15のBに
おける画素bが得られる。
【0050】さらに、この、入力となる画像圧縮情報
(ビットストリーム)の1/4×1/2の画枠を持つ順
次走査の画像情報は、ダウンサンプラ(垂直方向)21
において、図16に示すように、数タップのローパスフ
ィルタを用い、図16のaに示す画素aは、垂直方向に
フレーム単位で1/2倍のダウンサンプリングを行うこ
とにより図16のbのようになり、入力となる画像圧縮
情報(ビットストリーム)の1/4×1/4の画枠を持
つ順次走査の画像情報へと変換される。尚、走査変換部
19、ダウンサンプラ(水平方向)20、ダウンサンプ
ラ(垂直方向)21の順序は必ずしもこの通りである必
要はなく、順序の入れ替えを行うことが可能である。こ
の順次走査の画素データはMPEG4画像情報符号化部
(I/P−VOP)22において符号化処理がなされ
る。
(ビットストリーム)の1/4×1/2の画枠を持つ順
次走査の画像情報は、ダウンサンプラ(垂直方向)21
において、図16に示すように、数タップのローパスフ
ィルタを用い、図16のaに示す画素aは、垂直方向に
フレーム単位で1/2倍のダウンサンプリングを行うこ
とにより図16のbのようになり、入力となる画像圧縮
情報(ビットストリーム)の1/4×1/4の画枠を持
つ順次走査の画像情報へと変換される。尚、走査変換部
19、ダウンサンプラ(水平方向)20、ダウンサンプ
ラ(垂直方向)21の順序は必ずしもこの通りである必
要はなく、順序の入れ替えを行うことが可能である。こ
の順次走査の画素データはMPEG4画像情報符号化部
(I/P−VOP)22において符号化処理がなされ
る。
【0051】ところで、例えば、今、入力となる画像圧
縮情報(ビットストリーム)がNTSC規格に準拠する
もので、その画粋が720×480画素であった場合、
その1/4×1/4の画枠は180×120ということ
になる。しかしながら、MPEG4画像情報符号化部
(I/P−VOP)22においてマクロブロック単位の
処理を行うためには、輝度成分に関しては、画枠が、水
平方向、垂直方向共に16の倍数である必要がある。色
差成分の画枠に関しては、420フォーマットである場
合には、水平方向、垂直方向共に8の倍数である必要が
あり、422フォーマットの場合には、水平方向には8
の倍数で、垂直方向には16の倍数である必要があり、
444フォーマットの場合には、輝度成分と同様、水平
方向、垂直方向共に16の倍数である必要がある。この
ための画枠の調整も、ダウンサンプラ(水平方向)20
及びダウンサンプラ(垂直方向)21で行う。即ち、ダ
ウンサンプラ(水平方向)20では、水平方向に1/2
倍のダウンサンプリングを行うと同時に、例えば画枠の
右4列を破棄し、水平方向に176画素とする。また、
ダウンサンプラ(垂直方向)21では、垂直方向に1/
2倍のダウンサンプリングを行うと同時に、例えば下8
行を破棄し、垂直方向に112画素とする。垂直方向の
画枠の調整は走査変換部19にて行っても良い。
縮情報(ビットストリーム)がNTSC規格に準拠する
もので、その画粋が720×480画素であった場合、
その1/4×1/4の画枠は180×120ということ
になる。しかしながら、MPEG4画像情報符号化部
(I/P−VOP)22においてマクロブロック単位の
処理を行うためには、輝度成分に関しては、画枠が、水
平方向、垂直方向共に16の倍数である必要がある。色
差成分の画枠に関しては、420フォーマットである場
合には、水平方向、垂直方向共に8の倍数である必要が
あり、422フォーマットの場合には、水平方向には8
の倍数で、垂直方向には16の倍数である必要があり、
444フォーマットの場合には、輝度成分と同様、水平
方向、垂直方向共に16の倍数である必要がある。この
ための画枠の調整も、ダウンサンプラ(水平方向)20
及びダウンサンプラ(垂直方向)21で行う。即ち、ダ
ウンサンプラ(水平方向)20では、水平方向に1/2
倍のダウンサンプリングを行うと同時に、例えば画枠の
右4列を破棄し、水平方向に176画素とする。また、
ダウンサンプラ(垂直方向)21では、垂直方向に1/
2倍のダウンサンプリングを行うと同時に、例えば下8
行を破棄し、垂直方向に112画素とする。垂直方向の
画枠の調整は走査変換部19にて行っても良い。
【0052】また、MPEG2画像情報復号化部(I/
Pピクチャ 4×8ダウンデコーダ)18において検出
される、入力となるMPEG2画像圧縮情報(ビットス
トリーム)中の動きベクトル情報は、動きベクトル合成
部23に入力され、ここで走査変換後の順次走査画像に
おける動きベクトル値にマッピングされる。動きベクト
ル検出部24においては、動きベクトル合成部23の出
力となる走査変換後の順次走査画像における動きベクト
ル値を元に高精度の動き検出を行う。
Pピクチャ 4×8ダウンデコーダ)18において検出
される、入力となるMPEG2画像圧縮情報(ビットス
トリーム)中の動きベクトル情報は、動きベクトル合成
部23に入力され、ここで走査変換後の順次走査画像に
おける動きベクトル値にマッピングされる。動きベクト
ル検出部24においては、動きベクトル合成部23の出
力となる走査変換後の順次走査画像における動きベクト
ル値を元に高精度の動き検出を行う。
【0053】
【発明が解決しようとする課題】ところで、図13に示
した画像情報変換装置におけるMPEG2画像情報復号
化装置(I/Pピクチャ 4×8ダウンデコーダ)18
で、8次の離散コサイン変換係数のうち、低域4次係数
を取り出し、これに4次の逆離散コサイン変換を施すと
いう処理は、一種の低域通過フィルタバンクを施すのと
等価な処理であると言える。しかし、図13に示した画
像情報変換装置での水平成分に対する処理に関しては、
まず、MPEG2画像情報復号化装置(I/Pピクチャ
4×8ダウンデコーダ)18において低域通過フィル
タが施され、その後ダウンサンプラ(水平方向)20に
おいて低域通過フィルタが施されるため、2段階の低域
通過フイルタ処理が行われることになり、処理が複雑に
なっていた。
した画像情報変換装置におけるMPEG2画像情報復号
化装置(I/Pピクチャ 4×8ダウンデコーダ)18
で、8次の離散コサイン変換係数のうち、低域4次係数
を取り出し、これに4次の逆離散コサイン変換を施すと
いう処理は、一種の低域通過フィルタバンクを施すのと
等価な処理であると言える。しかし、図13に示した画
像情報変換装置での水平成分に対する処理に関しては、
まず、MPEG2画像情報復号化装置(I/Pピクチャ
4×8ダウンデコーダ)18において低域通過フィル
タが施され、その後ダウンサンプラ(水平方向)20に
おいて低域通過フィルタが施されるため、2段階の低域
通過フイルタ処理が行われることになり、処理が複雑に
なっていた。
【0054】本発明は、上述の実情に鑑みて提案される
ものであって、MPEG2画像圧縮情報(ビットストリ
ーム)の符号化画像を構成する画素ブロックを縮小する
際の処理を簡易化するような画像情報変換装置及び方法
を提供することを目的とする。
ものであって、MPEG2画像圧縮情報(ビットストリ
ーム)の符号化画像を構成する画素ブロックを縮小する
際の処理を簡易化するような画像情報変換装置及び方法
を提供することを目的とする。
【0055】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明は、画像を水平方向及び垂直方向共に8成
分の画素からなる画素ブロックを単位として離散コサイ
ン変換した画像圧縮情報の解像度を変換するものであっ
て、飛び越し走査による画像を符号化した入力画像圧縮
情報を構成する画素ブロックの水平方向及び垂直方向共
に8成分の離散コサイン変換係数係数の内、水平方向に
低域2成分及び垂直方向に8成分のみを用いて飛び越し
走査の画像を復号し、復号された飛び越し走査の画像を
構成する第1フィールド及び第2フィールドのいずれか
一方を選択して順次走査の画像を生成し、生成された画
像に対して垂直方向に1/2のダウンサンプリングを行
い、ダウンサンプリングされた画像を上記入力画像圧縮
情報に対して水平方向及び垂直方向共に1/4の解像度
を有する出力画像圧縮情報に符号化するものである。
めに、本発明は、画像を水平方向及び垂直方向共に8成
分の画素からなる画素ブロックを単位として離散コサイ
ン変換した画像圧縮情報の解像度を変換するものであっ
て、飛び越し走査による画像を符号化した入力画像圧縮
情報を構成する画素ブロックの水平方向及び垂直方向共
に8成分の離散コサイン変換係数係数の内、水平方向に
低域2成分及び垂直方向に8成分のみを用いて飛び越し
走査の画像を復号し、復号された飛び越し走査の画像を
構成する第1フィールド及び第2フィールドのいずれか
一方を選択して順次走査の画像を生成し、生成された画
像に対して垂直方向に1/2のダウンサンプリングを行
い、ダウンサンプリングされた画像を上記入力画像圧縮
情報に対して水平方向及び垂直方向共に1/4の解像度
を有する出力画像圧縮情報に符号化するものである。
【0056】本発明は、飛び越し走査のMPEG2画像
圧縮情報(ビットストリーム)を入力画像圧縮情報と
し、順次操作のMPEG4画像圧縮情報(ビットストリ
ーム)を出力画像圧縮情報とする。MPEG2画像圧縮
情報(ビットストリーム)及びMPEG4画像圧縮情報
(ビットストリーム)は、画像群すなわちGOP(grou
p of pictures)及びGOV(group of VOPs)から
それぞれ構成されている。画像群であるGOP及びGO
Vは、複数の符号化画像すなわちピクチャ(picture)
及びVOP(video object plane)からそれぞれ構成
され、符号化画像は複数の画素から構成される画素ブロ
ックすなわちマクロブロックから構成されている。
圧縮情報(ビットストリーム)を入力画像圧縮情報と
し、順次操作のMPEG4画像圧縮情報(ビットストリ
ーム)を出力画像圧縮情報とする。MPEG2画像圧縮
情報(ビットストリーム)及びMPEG4画像圧縮情報
(ビットストリーム)は、画像群すなわちGOP(grou
p of pictures)及びGOV(group of VOPs)から
それぞれ構成されている。画像群であるGOP及びGO
Vは、複数の符号化画像すなわちピクチャ(picture)
及びVOP(video object plane)からそれぞれ構成
され、符号化画像は複数の画素から構成される画素ブロ
ックすなわちマクロブロックから構成されている。
【0057】すなわち、本発明は、上述した課題を解決
するために、飛び越し走査のMPEG2画像情報圧縮装
置(ビットストリーム)を入力とし、ピクチャタイプ判
別部と、MPEG2画像情報復号化部(I/Pピクチャ
2×8ダウンデコーダ)と、走査変換部と、ダウンサン
プラ(垂直方向)と、MPEG4画像情報符号化部(I
/P−VOP)と、動きベクトル合成部と、動きベクト
ル検出部とを兼ね備え、画質劣化を最小限に抑えなが
ら、処理に必要な演算量とメモリ容量を削減し、入力と
なる画像圧縮情報(ビットストリーム)の凡そ1/4×
1/4の画枠を持つ順次走査のMPEG4画像圧縮情報
(ビットストリーム)を出力する手段を提供するもので
ある。
するために、飛び越し走査のMPEG2画像情報圧縮装
置(ビットストリーム)を入力とし、ピクチャタイプ判
別部と、MPEG2画像情報復号化部(I/Pピクチャ
2×8ダウンデコーダ)と、走査変換部と、ダウンサン
プラ(垂直方向)と、MPEG4画像情報符号化部(I
/P−VOP)と、動きベクトル合成部と、動きベクト
ル検出部とを兼ね備え、画質劣化を最小限に抑えなが
ら、処理に必要な演算量とメモリ容量を削減し、入力と
なる画像圧縮情報(ビットストリーム)の凡そ1/4×
1/4の画枠を持つ順次走査のMPEG4画像圧縮情報
(ビットストリーム)を出力する手段を提供するもので
ある。
【0058】上記構成において、ピクチャタイプ判別部
は、入力となるMPEG2画像圧縮情報(ビットストリ
ーム)内で、I/Pピクチャに関するものだけ残してB
ピクチャに関するものは廃棄する。MPEG2画像情報
復号化部(I/Pピクチャ2×8ダウンデコーダ)は、
ピクチャタイプ判別部の出力となる、I/Pピクチャに
関する情報を、水平方向には8次の離散コサイン変換係
数のうち、低域2次情報のみを用い、垂直方向には8次
情報全てを用いて部分復号を行って、入力となる画像圧
縮情報(ビットストリーム)の1/4×1/1の画枠を
持つ飛び越し走査の画像情報を出力する。走査変換部に
おいては、MPEG2画像情報復号化部(I/Pピクチ
ャ2×8ダウンデコーダ)の出力となる画素値のうち、
第一フィールド若しくは第二フイールドのデータのみを
残して残りを廃棄することで入力となる画像圧縮情報
(ビットストリーム)の1/4×1/2の画枠を持つ順
次走査の画像情報を出力する。ダウンサンプラ(垂直方
向)は、数タップのローパスフィルタを用い、垂直方向
に1/2倍のダウンサンプリングを行って入力となる画
像圧縮情報(ビットストリーム)の1/4×1/4の画
枠を持つ順次走査の画像情報を出力する。MPEG4画
像情報符号化部(I/P−VOP)は、走査変換部の出
力となる、入力となる画像圧縮情報(ビツトストリー
ム)の1/4×1/4の画枠を持つ順次走査の画像デー
タをMPEG4符号化して画像圧縮情報(ビットストリ
ーム)として出力する。動きベクトル合成部は、MPE
G2画像情報復号化装置(I/Pピクチャ 4×8ダウ
ンデコーダ)で検出された、入力となる画像圧縮情報
(ビットストリーム)内の動きベクトル値を元に、走査
変換・ダウンサンプリング後の画像データに対する動き
ベクトル値にマッピングを行う。動きベクトル検出部
は、動きベクトル合成部から出力される動きベクトル値
を元に、高精度の動きベクトル検出を行う。
は、入力となるMPEG2画像圧縮情報(ビットストリ
ーム)内で、I/Pピクチャに関するものだけ残してB
ピクチャに関するものは廃棄する。MPEG2画像情報
復号化部(I/Pピクチャ2×8ダウンデコーダ)は、
ピクチャタイプ判別部の出力となる、I/Pピクチャに
関する情報を、水平方向には8次の離散コサイン変換係
数のうち、低域2次情報のみを用い、垂直方向には8次
情報全てを用いて部分復号を行って、入力となる画像圧
縮情報(ビットストリーム)の1/4×1/1の画枠を
持つ飛び越し走査の画像情報を出力する。走査変換部に
おいては、MPEG2画像情報復号化部(I/Pピクチ
ャ2×8ダウンデコーダ)の出力となる画素値のうち、
第一フィールド若しくは第二フイールドのデータのみを
残して残りを廃棄することで入力となる画像圧縮情報
(ビットストリーム)の1/4×1/2の画枠を持つ順
次走査の画像情報を出力する。ダウンサンプラ(垂直方
向)は、数タップのローパスフィルタを用い、垂直方向
に1/2倍のダウンサンプリングを行って入力となる画
像圧縮情報(ビットストリーム)の1/4×1/4の画
枠を持つ順次走査の画像情報を出力する。MPEG4画
像情報符号化部(I/P−VOP)は、走査変換部の出
力となる、入力となる画像圧縮情報(ビツトストリー
ム)の1/4×1/4の画枠を持つ順次走査の画像デー
タをMPEG4符号化して画像圧縮情報(ビットストリ
ーム)として出力する。動きベクトル合成部は、MPE
G2画像情報復号化装置(I/Pピクチャ 4×8ダウ
ンデコーダ)で検出された、入力となる画像圧縮情報
(ビットストリーム)内の動きベクトル値を元に、走査
変換・ダウンサンプリング後の画像データに対する動き
ベクトル値にマッピングを行う。動きベクトル検出部
は、動きベクトル合成部から出力される動きベクトル値
を元に、高精度の動きベクトル検出を行う。
【0059】
【発明の実施の形態】以下、図面を参照し、本発明の実
施の形態について説明する。
施の形態について説明する。
【0060】まず、本実施を適用した画像情報変換装置
を図1を参照して説明する。
を図1を参照して説明する。
【0061】この画像情報変換装置は、ピクチャタイプ
判別部25と、MPEG2画像情報復号化部(I/Pピ
クチャ2×8ダウンデコーダ)26と、走査変換部27
と、ダウンサンプラ(垂直方向)28と、MPEG4画
像情報符号化部(I/P−VOP)29と、動きベクト
ル合成部30と、動きベクトル検出部31とから構成さ
れている。
判別部25と、MPEG2画像情報復号化部(I/Pピ
クチャ2×8ダウンデコーダ)26と、走査変換部27
と、ダウンサンプラ(垂直方向)28と、MPEG4画
像情報符号化部(I/P−VOP)29と、動きベクト
ル合成部30と、動きベクトル検出部31とから構成さ
れている。
【0062】ピクチャタイプ判別部25には、飛び越し
走査に対応するMPEG2画像圧縮情報(ビットストリ
ーム)が入力される。このMPEG2画像圧縮情報(ビ
ットストリーム)は、フレーム内で符号化されたイント
ラ符号化画像(Iピクチャ)と、フレーム間で順方向に
他の画像を参照して予測符号化された順方向予測符号化
画像(Pピクチャ)と、フレーム間で順方向及び逆方向
に他の画像を参照して予測符号化された双方向予測符号
化画像(Bピクチャ)とから構成されている。
走査に対応するMPEG2画像圧縮情報(ビットストリ
ーム)が入力される。このMPEG2画像圧縮情報(ビ
ットストリーム)は、フレーム内で符号化されたイント
ラ符号化画像(Iピクチャ)と、フレーム間で順方向に
他の画像を参照して予測符号化された順方向予測符号化
画像(Pピクチャ)と、フレーム間で順方向及び逆方向
に他の画像を参照して予測符号化された双方向予測符号
化画像(Bピクチャ)とから構成されている。
【0063】ピクチャタイプ判別部25は、入力となる
MPEG2画像圧縮情報(ビットストリーム)のピクチ
ャタイプを判別し、Iピクチャ及びPピクチャだけ残し
てBピクチャは廃棄する。
MPEG2画像圧縮情報(ビットストリーム)のピクチ
ャタイプを判別し、Iピクチャ及びPピクチャだけ残し
てBピクチャは廃棄する。
【0064】MPEG2画像情報復号化部26(I/P
ピクチャ2×8ダウンデコーダ)26は、ピクチャタイ
プ判別部25の出力となる、水平方向及び垂直方向共に
8成分(以下、8×8を表記する。他も同様とする。)
のIピクチャ又はPピクチャ(以下、単にI/Pピクチ
ャと称する)からなる画像圧縮情報のうち、水平方向に
は低域2次の離散コサイン変換(discrete cosine to
ransformation; DCT)係数のみ、垂直方向には8次の
離散コサイン変換係数の全て(2×8)を用いてマクロ
ブロックの部分的な復号を行う。
ピクチャ2×8ダウンデコーダ)26は、ピクチャタイ
プ判別部25の出力となる、水平方向及び垂直方向共に
8成分(以下、8×8を表記する。他も同様とする。)
のIピクチャ又はPピクチャ(以下、単にI/Pピクチ
ャと称する)からなる画像圧縮情報のうち、水平方向に
は低域2次の離散コサイン変換(discrete cosine to
ransformation; DCT)係数のみ、垂直方向には8次の
離散コサイン変換係数の全て(2×8)を用いてマクロ
ブロックの部分的な復号を行う。
【0065】すなわち、MPEG2画像情報復号化部
(I/Pピクチャ2×8ダウンデコーダ)26は、入力
となる8×8のI/Pピクチャの画像圧縮情報(ビット
ストリーム)を2×8の画像圧縮情報に変換し、MPE
G2画像圧縮情報(ビットストリーム)から1/4×1
/1の画枠を持つ飛び越し走査の画像を復号する。
(I/Pピクチャ2×8ダウンデコーダ)26は、入力
となる8×8のI/Pピクチャの画像圧縮情報(ビット
ストリーム)を2×8の画像圧縮情報に変換し、MPE
G2画像圧縮情報(ビットストリーム)から1/4×1
/1の画枠を持つ飛び越し走査の画像を復号する。
【0066】走査変換部27は、MPEG2画像情報復
号化部(I/Pピクチャ2×8ダウンデコーダ)26の
出力となる画素値の内、第1フィールド若しくは第2フ
ィールドのいずれか一方のデータのみを残して残りを廃
棄することで入力となる画像圧縮情報(ビットストリー
ム)の1/4×1/2の画枠を持つ順次走査の画像情報
を出力する。
号化部(I/Pピクチャ2×8ダウンデコーダ)26の
出力となる画素値の内、第1フィールド若しくは第2フ
ィールドのいずれか一方のデータのみを残して残りを廃
棄することで入力となる画像圧縮情報(ビットストリー
ム)の1/4×1/2の画枠を持つ順次走査の画像情報
を出力する。
【0067】ダウンサンプラ(垂直方向)28は、数タ
ップのローパスフィルタを用い、垂直方向に1/2倍の
ダウンサンプリングを行って、入力となる画像圧縮情報
(ビットストリーム)の1/4×1/4の画枠を持つ順
次走査の画像情報を出力する。
ップのローパスフィルタを用い、垂直方向に1/2倍の
ダウンサンプリングを行って、入力となる画像圧縮情報
(ビットストリーム)の1/4×1/4の画枠を持つ順
次走査の画像情報を出力する。
【0068】MPEG4画像情報符号化部(I/P−V
OP)29は、ダウンサンプラ(垂直方向)28の出力
となる画像データをMPEG4符号化して画像圧縮情報
(ビットストリーム)として出力する。この画像圧縮情
報(ビットストリーム)は、入力された画像圧縮情報
(ビットストリーム)の1/4×1/4の画枠を持つ順
次走査の画像データである。
OP)29は、ダウンサンプラ(垂直方向)28の出力
となる画像データをMPEG4符号化して画像圧縮情報
(ビットストリーム)として出力する。この画像圧縮情
報(ビットストリーム)は、入力された画像圧縮情報
(ビットストリーム)の1/4×1/4の画枠を持つ順
次走査の画像データである。
【0069】この画像圧縮情報(ビットストリーム)
は、MPEG4ビットストリームのビデオオブジェクト
(video object; VO)を構成する画面であるビデオオ
ブジェクトプレイン(video object plane; VOP)の
内で、画像内符号化VOPであるI−VOPと、順方向予
測符号化VOPであるP−VOPから構成されている。
は、MPEG4ビットストリームのビデオオブジェクト
(video object; VO)を構成する画面であるビデオオ
ブジェクトプレイン(video object plane; VOP)の
内で、画像内符号化VOPであるI−VOPと、順方向予
測符号化VOPであるP−VOPから構成されている。
【0070】動きベクトル合成部30は、MPEG2画
像情報復号化部(I/Pピクチャ2×8ダウンデコー
ダ)26で検出された、MPEG2画像圧縮情報(ビッ
トストリーム)内の動きベクトル値を元に、走査変換後
の画像にデータに対して動きベクトル値を用いたマッピ
ングを施す。
像情報復号化部(I/Pピクチャ2×8ダウンデコー
ダ)26で検出された、MPEG2画像圧縮情報(ビッ
トストリーム)内の動きベクトル値を元に、走査変換後
の画像にデータに対して動きベクトル値を用いたマッピ
ングを施す。
【0071】動きベクトル検出部31は、動きベクトル
合成部30から出力される動きベクトル値を元に、高精
度の動きベクトル検出を行う。
合成部30から出力される動きベクトル値を元に、高精
度の動きベクトル検出を行う。
【0072】次に、画像情報変換装置のMPEG2画像
情報復号化部(I/Pピクチャ2×8ダウンデコーダ)
26について、図2を参照して説明する。
情報復号化部(I/Pピクチャ2×8ダウンデコーダ)
26について、図2を参照して説明する。
【0073】MPEG2画像情報復号化部(I/Pピク
チャ2×8ダウンデコーダ)26は、符号バッファ32
と、圧縮情報解析部33と、可変長復号化部34と、逆
量子化部35と、縮小逆離散コサイン変換部(2×8)
36と、加算器37と、動き補償部(フィールド予測)
38と、動き補償部(フレーム予測)39と、ビデオメ
モリ40とから構成されている。
チャ2×8ダウンデコーダ)26は、符号バッファ32
と、圧縮情報解析部33と、可変長復号化部34と、逆
量子化部35と、縮小逆離散コサイン変換部(2×8)
36と、加算器37と、動き補償部(フィールド予測)
38と、動き補償部(フレーム予測)39と、ビデオメ
モリ40とから構成されている。
【0074】MPEG2画像情報復号化部(I/Pピク
チャ2×8ダウンデコーダ)26において、符号バッフ
ァ32は入力される画像圧縮情報を一時的に保持し、圧
縮情報解析部33は符号バッファ32から送られた画像
圧縮情報を解析し、可変長符号化部34は圧縮情報解析
部33から出力されたデータを可変長復号化し、逆量子
化部35は可変長符号化部34から出力されたデータを
逆量子化し、縮小逆離散コサイン変換部(2×8)36
は逆量子化部35から出力された8×8成分の低域2×
8成分のみに逆離散コサイン変換を施す。
チャ2×8ダウンデコーダ)26において、符号バッフ
ァ32は入力される画像圧縮情報を一時的に保持し、圧
縮情報解析部33は符号バッファ32から送られた画像
圧縮情報を解析し、可変長符号化部34は圧縮情報解析
部33から出力されたデータを可変長復号化し、逆量子
化部35は可変長符号化部34から出力されたデータを
逆量子化し、縮小逆離散コサイン変換部(2×8)36
は逆量子化部35から出力された8×8成分の低域2×
8成分のみに逆離散コサイン変換を施す。
【0075】また、MPEG2画像情報復号化部(I/
Pピクチャ2×3ダウンデコーダ)26において、動き
補償部(フィールド予測)38はビデオメモリ40から
送られた画像を用いてフィールド予測の動き補償を行
い、動き補償部(フレーム予測)39はビデオメモリ4
0から送られた画像を用いてフレーム予測の動き補償を
行い、加算器37は縮小逆離散コサイン変換部(2×
8)36と動き補償部(フィールド分離)38又は動き
補償部(フレーム予測)39の出力を加算し、ビデオメ
モリは加算器37からの出力を記憶する。
Pピクチャ2×3ダウンデコーダ)26において、動き
補償部(フィールド予測)38はビデオメモリ40から
送られた画像を用いてフィールド予測の動き補償を行
い、動き補償部(フレーム予測)39はビデオメモリ4
0から送られた画像を用いてフレーム予測の動き補償を
行い、加算器37は縮小逆離散コサイン変換部(2×
8)36と動き補償部(フィールド分離)38又は動き
補償部(フレーム予測)39の出力を加算し、ビデオメ
モリは加算器37からの出力を記憶する。
【0076】次に、MPEG2画像情報復号化部(I/
Pピクチャ2×8ダウンデコーダ)26の離散コサイン
変換装置(2×8)36における処理について、図3を
参照して説明する。
Pピクチャ2×8ダウンデコーダ)26の離散コサイン
変換装置(2×8)36における処理について、図3を
参照して説明する。
【0077】離散コサイン変換装置(2×8)36は、
入力となるMPEG2画像圧縮情報(ビットストリー
ム)における8次の離散コサイン変換係数のうち、水平
方向には低域2次係数のみを取り出し、2次の逆離散コ
サイン変換を施す。また、垂直方向には、8次の離散コ
サイン変換係数の全てを用いて8次の逆離散コサイン変
換を施す。これにより、ビデオメモリの容量としては、
入力となるMPEG2画像圧縮情報(ビットストリー
ム)の持つ画枠に対して、水平方向には1/4で良い。
入力となるMPEG2画像圧縮情報(ビットストリー
ム)における8次の離散コサイン変換係数のうち、水平
方向には低域2次係数のみを取り出し、2次の逆離散コ
サイン変換を施す。また、垂直方向には、8次の離散コ
サイン変換係数の全てを用いて8次の逆離散コサイン変
換を施す。これにより、ビデオメモリの容量としては、
入力となるMPEG2画像圧縮情報(ビットストリー
ム)の持つ画枠に対して、水平方向には1/4で良い。
【0078】次に、MPEG2画像情報復号化部(I/
Pピクチャ2×8ダウンデコーダ)26の動き補償部
(フィールド予測)38、動き補償部(フレーム予測)
39における処理について、図4を参照して説明する。
Pピクチャ2×8ダウンデコーダ)26の動き補償部
(フィールド予測)38、動き補償部(フレーム予測)
39における処理について、図4を参照して説明する。
【0079】動き補償部(フィールド予測)38、動き
補償部(フレーム予測)39においては、まず、図4の
Aに示す通り、入力となるMPEG2画像圧縮情報(ビ
ットストリーム)における各マクロブロックに対する動
きベクトル情報を元に、ビデオメモリ40より画素値a
を抽出する。次に、図4のBに示すように、ビデオメモ
リ40より取り出された画素値aを元に、4倍補間フィ
ルタを用いて1/4画素精度bの画素値を生成する。フ
ィルタリングに必要な画素値がビデオメモリ内のアドレ
スに存在しない場合には、ミラー処理若しくはホールド
処理により仮想的な画素値を生成する。或いはまた、固
定された画素値(例えば128)を持つ画素が画枠の外
に仮想的に存在するとして処理を行っても良い。更に、
図4のCに示すように、線形内挿によって1/8画素精
度の画素値cを生成する。
補償部(フレーム予測)39においては、まず、図4の
Aに示す通り、入力となるMPEG2画像圧縮情報(ビ
ットストリーム)における各マクロブロックに対する動
きベクトル情報を元に、ビデオメモリ40より画素値a
を抽出する。次に、図4のBに示すように、ビデオメモ
リ40より取り出された画素値aを元に、4倍補間フィ
ルタを用いて1/4画素精度bの画素値を生成する。フ
ィルタリングに必要な画素値がビデオメモリ内のアドレ
スに存在しない場合には、ミラー処理若しくはホールド
処理により仮想的な画素値を生成する。或いはまた、固
定された画素値(例えば128)を持つ画素が画枠の外
に仮想的に存在するとして処理を行っても良い。更に、
図4のCに示すように、線形内挿によって1/8画素精
度の画素値cを生成する。
【0080】実際の処理としては、一連の処理と等価な
係数を予め用意しておき、入力となるMPEG2画像圧
縮情報(ビットストリーム)における各マクロブロック
に対する水平方向成分及び垂直方向成分の動きベクトル
情報に応じた位相の画素値を直接生成することで高速な
実行が可能である。
係数を予め用意しておき、入力となるMPEG2画像圧
縮情報(ビットストリーム)における各マクロブロック
に対する水平方向成分及び垂直方向成分の動きベクトル
情報に応じた位相の画素値を直接生成することで高速な
実行が可能である。
【0081】次に、MPEG2画像情報復号化部(I/
Pピクチャ2×8ダウンデコーダ)26の可変長復号化
部34における処理について、図5を参照して説明す
る。可変長復号化部34は、後続の縮小逆離散コサイン
変換部(4×8)36において必要な係数のみを復号化
し、あとはEOBが検出されるまで処理を行わないよう
にすることも出来る。復号化される係数は、図5中で破
線で囲まれた2×8の離散コサイン変換係数である。図
5のAはジグザグスキャンを、図5のBはオルタネート
スキャンである。図中の数字は、離散コサイン変換係数
をスキャンする順序を示すものである。これによって、
可変長復号化部34における処理量の削減が可能であ
る。
Pピクチャ2×8ダウンデコーダ)26の可変長復号化
部34における処理について、図5を参照して説明す
る。可変長復号化部34は、後続の縮小逆離散コサイン
変換部(4×8)36において必要な係数のみを復号化
し、あとはEOBが検出されるまで処理を行わないよう
にすることも出来る。復号化される係数は、図5中で破
線で囲まれた2×8の離散コサイン変換係数である。図
5のAはジグザグスキャンを、図5のBはオルタネート
スキャンである。図中の数字は、離散コサイン変換係数
をスキャンする順序を示すものである。これによって、
可変長復号化部34における処理量の削減が可能であ
る。
【0082】以上述べた動作原理により、MPEG2画
像情報復号化部(I/Pピクチャ2×8ダウンデコー
ダ)26の出力として、入力となる飛び越し走査のMP
EG2画像圧縮情報(ビットストリーム)に対して1/
4×1/1の画枠を持つ、飛び越し走査の画像情報が得
られる。走査変換部27を用いて、この飛び越し走査の
画像情報の第一フィールド若しくは第二フイールドのみ
の情報を抽出して残りを破棄することで、入力となる飛
び越し走査のMPEG2画像圧縮情報(ビットストリー
ム)に対して1/4×1/2の画枠を持つ、順次走査の
画像情報が出力される。これにより、水平方向にダウン
サンプリングを行うダウンサンプラ(水平方向)は不要
になる。
像情報復号化部(I/Pピクチャ2×8ダウンデコー
ダ)26の出力として、入力となる飛び越し走査のMP
EG2画像圧縮情報(ビットストリーム)に対して1/
4×1/1の画枠を持つ、飛び越し走査の画像情報が得
られる。走査変換部27を用いて、この飛び越し走査の
画像情報の第一フィールド若しくは第二フイールドのみ
の情報を抽出して残りを破棄することで、入力となる飛
び越し走査のMPEG2画像圧縮情報(ビットストリー
ム)に対して1/4×1/2の画枠を持つ、順次走査の
画像情報が出力される。これにより、水平方向にダウン
サンプリングを行うダウンサンプラ(水平方向)は不要
になる。
【0083】走査変換部27の出力となる、入力となる
飛び越し走査のMPEG2画像圧縮情報(ビットストリ
ーム)に対して1/4×1/2の画枠を持つ順次走査の
画像情報の画像情報は、ダウンサンプラ(垂直方向)2
8において、水平方向に1/2倍のダウンサンプリング
を施され、入力となる飛び越し走査のMPEG2画像圧
縮情報(ビットストリーム)に対して1/4×1/4の
画枠を持つ、順次走査の画像情報として出力され、MP
EG4画像情報符号化装置(I/P−VOP)29にお
いてMPEG4符号化処理が施される。
飛び越し走査のMPEG2画像圧縮情報(ビットストリ
ーム)に対して1/4×1/2の画枠を持つ順次走査の
画像情報の画像情報は、ダウンサンプラ(垂直方向)2
8において、水平方向に1/2倍のダウンサンプリング
を施され、入力となる飛び越し走査のMPEG2画像圧
縮情報(ビットストリーム)に対して1/4×1/4の
画枠を持つ、順次走査の画像情報として出力され、MP
EG4画像情報符号化装置(I/P−VOP)29にお
いてMPEG4符号化処理が施される。
【0084】以上、入力としてMPEG2画像圧縮情報
(ビットストリーム)を、出力としてMPEG4画像圧
縮情報(ビットストリーム)を対象としてきたが、入
力、出力ともこれに限らず、例えばMPEG−1やH.
263などの画像圧縮情報(ビットストリーム)でも良
い。
(ビットストリーム)を、出力としてMPEG4画像圧
縮情報(ビットストリーム)を対象としてきたが、入
力、出力ともこれに限らず、例えばMPEG−1やH.
263などの画像圧縮情報(ビットストリーム)でも良
い。
【0085】
【発明の効果】以上述べてきた様に、本発明は、飛び越
し走査のMPEG2画像圧縮情報(ビットストリーム)
を入力とし、より少ない演算処理量とビデオメモリ容量
を用いた回路構成により、入力となる画像圧縮情報(ビ
ットストリーム)の1/4×1/4の画枠を持つ順次走
査のMPEG4画像圧縮情報(ビットストリーム)に変
換して出力する手段を提供するものである。
し走査のMPEG2画像圧縮情報(ビットストリーム)
を入力とし、より少ない演算処理量とビデオメモリ容量
を用いた回路構成により、入力となる画像圧縮情報(ビ
ットストリーム)の1/4×1/4の画枠を持つ順次走
査のMPEG4画像圧縮情報(ビットストリーム)に変
換して出力する手段を提供するものである。
【図1】本実施の形態の画像情報変換装置の構成を示す
ブロック図である。
ブロック図である。
【図2】MPEG2画像情報復号化部(I/Pピクチャ
2×8ダウンデコーダ)の構成を示すブロック図であ
る。
2×8ダウンデコーダ)の構成を示すブロック図であ
る。
【図3】離散コサイン変換部(2×8)における水平方
向の処理を示す図である。
向の処理を示す図である。
【図4】動き補償部(フィールド予測)及び動き補償部
(フレーム予測)における水平方向の処理を示す図であ
る。
(フレーム予測)における水平方向の処理を示す図であ
る。
【図5】入力となるMPEG2画像圧縮情報(ビットス
トリーム)がジグザグスキャン及びオルタネートスキャ
ンである場合の可変長復号化部の動作原理を示した図で
ある。
トリーム)がジグザグスキャン及びオルタネートスキャ
ンである場合の可変長復号化部の動作原理を示した図で
ある。
【図6】本願出願人により提案された画像情報復号化装
置(4×8ダウンデコーダ)で、垂直方向には全ての情
報を用いるが、水平方向には4次の低域情報のみを用い
て復号処理を行う装置構成を示すブロック図である。
置(4×8ダウンデコーダ)で、垂直方向には全ての情
報を用いるが、水平方向には4次の低域情報のみを用い
て復号処理を行う装置構成を示すブロック図である。
【図7】可変長復号化部における動作原理を示す図であ
る。
る。
【図8】縮小逆離散コサイン変換部(4×8)における
動作原理を示す図である。
動作原理を示す図である。
【図9】Wangの高速アルゴリズムを用いて、4次の
逆離散コサイン変換を実現する方法を示す図である。
逆離散コサイン変換を実現する方法を示す図である。
【図10】動き補償部(フィールドモード)及び動き補
償部(フレームモード)におけるミラー処理、ホールド
処理の一例を示す図である。
償部(フレームモード)におけるミラー処理、ホールド
処理の一例を示す図である。
【図11】画枠変換部における垂直方向の処理の例を示
した図である
した図である
【図12】MPEG2画像圧縮情報(ビットストリー
ム)を入力とし、MPEG4画像圧縮情報(ビットスト
リーム)を出力する画像情報変換装置(トランスコー
ダ)の従来技術の構成を示す図である。
ム)を入力とし、MPEG4画像圧縮情報(ビットスト
リーム)を出力する画像情報変換装置(トランスコー
ダ)の従来技術の構成を示す図である。
【図13】本願出願人により提案された画像情報変換装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図14】走査変換部における動作原理を示す図であ
る。
る。
【図15】ダウンサンプラ(水平方向)における動作原
理を示す図である。
理を示す図である。
【図16】ダウンサンプラ(垂直方向)における動作原
理を示す図である。
理を示す図である。
25ピクチャタイプ判別部、26 MPEG2画像情報
復号化部(I/Pピクチャ2×8ダウンデコーダ)、2
7 走査変換部、28ダウンサンプラ(垂直方向)、2
9 MPEG4画像情報符号化部(I/P−VOP)、
30 動きベクトル合成部、31動きベクトル検出部
復号化部(I/Pピクチャ2×8ダウンデコーダ)、2
7 走査変換部、28ダウンサンプラ(垂直方向)、2
9 MPEG4画像情報符号化部(I/P−VOP)、
30 動きベクトル合成部、31動きベクトル検出部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/32 H04N 7/137 Z (72)発明者 鈴木 輝彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 矢ケ崎 陽一 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK06 KK08 LA05 LA06 LB03 LB18 MA00 MA04 MA05 MA14 MA23 MB00 MC24 ME01 NN15 NN16 PP05 PP06 PP07 PP16 SS02 SS08 SS11 TA16 TA36 TB05 TC02 TC12 TC50 TD00 UA02 UA05 UA12 5C063 BA01 CA05 CA07 CA11 CA16 5J064 BA09 BA16 BB03 BB13 BC01 BC11 BD02
Claims (23)
- 【請求項1】 画像を水平方向及び垂直方向共に8成分
の画素からなる画素ブロックを単位として離散コサイン
変換した画像圧縮情報の解像度を変換する画像情報変換
装置において、 飛び越し走査による画像を符号化した入力画像圧縮情報
を構成する画素ブロックの水平方向及び垂直方向共に8
成分の離散コサイン変換係数の内、水平方向に低域2成
分及び垂直方向に8成分のみを用いて飛び越し走査の画
像を復号する復号化手段と、 上記復号化手段で復号された飛び越し走査の画像を構成
する第1フィールド及び第2フィールドのいずれか一方
を選択して順次走査の画像を生成する走査変換手段と、 上記走査変換手段により生成された画像に対して垂直方
向に1/2のダウンサンプリングを行う垂直ダウンサン
プリング手段と、 上記垂直ダウンサンプリング手段にてダウンサンプリン
グされた画像を上記入力画像圧縮情報に対して水平方向
及び垂直方向共に1/4の解像度を有する出力画像圧縮
情報に符号化する符号化手段とを有することを特徴とす
る画像情報変換装置。 - 【請求項2】 上記入力画像圧縮情報はMPEG2規格
によるものであり、上記出力画像圧縮情報はMPEG4
規格によるものであることを特徴とする請求項1記載の
画像情報変換装置。 - 【請求項3】 上記入力画像圧縮情報は、フレーム内で
符号化されたイントラ符号化画像と、フレーム間で順方
向に他の画像を参照して予測符号化された順方向予測符
号化画像と、フレーム間で順方向及び逆方向に他の画像
を参照して予測符号化された双方向予測符号化画像とか
ら構成され、上記入力画像圧縮情報を構成する画像の種
類を判別し、イントラ符号化画像及び順方向予測符号化
画像を通過させるが双方向予測符号化画像を破棄する判
別手段を有し、上記復号化手段にはこの判別手段を介し
た画像圧縮情報が入力されることを特徴とする請求項1
記載の画像情報変換装置。 - 【請求項4】 上記復号化手段は、イントラ符号化画像
及び順方向予測符号化画像のみ復号することを特徴とす
る請求項3記載の画像情報変換装置。 - 【請求項5】 上記入力画像圧縮情報は可変長符号化さ
れたものであって、上記復号化手段は画像圧縮情報を可
変長復号する可変長復号化手段と、この可変長復号化手
段で可変長復号された画像圧縮情報に逆離散コサイン変
換を施す逆離散コサイン変換手段を有し、上記可変長復
号化手段は、上記逆離散コサイン変換手段における逆離
散コサイン変換に必要な離散コサイン変換係数のみを復
号することを特徴とする請求項1記載の画像情報変換装
置。 - 【請求項6】 上記逆離散コサイン変換手段は、上記画
素ブロックを構成する水平方向及び垂直方向共に8成分
の離散コサイン変換係数の内で水平方向に低域2成分及
び垂直方向に8成分に対して逆離散コサイン変換を施す
ことを特徴とする請求項5記載の画像情報変換装置。 - 【請求項7】 上記逆離散コサイン変換手段は、所定の
高速アルゴリズムを用いて演算を実行することを特徴と
する請求項6記載の画像情報変換装置。 - 【請求項8】 上記入力画像圧縮情報は動きベクトル情
報を用いて動き補償されたものであって、上記復号化手
段は動きベクトル情報を用いて画像を補償する動き補償
手段を有し、この動き補償手段は、垂直方向には1/2
画素精度の動き補償を行うが、水平方向には上記入力画
像圧縮情報の動きベクトル情報に基づいて1/8画素精
度の動き補償を行うことを特徴とする請求項1記載の画
像情報変換装置。 - 【請求項9】 上記動き補償手段は、水平方向の補間処
理を4倍補間のディジタルフィルタを用いて1/4画素
精度の補間を行い、垂直方向の補間処理を線形内挿によ
り1/8画素精度の補間を行うことを特徴とする請求項
8記載の画像情報変換装置。 - 【請求項10】 上記ディジタルフィルタは、一連の補
間処理と等価な係数を予め算出し、上記入力圧縮画像情
報を構成する画素ブロックの動きベクトル情報の値に応
じ、画素値に上記係数を直接演算することを特徴とする
請求項9記載の画像情報変換装置。 - 【請求項11】 上記動き補償手段は、4倍補間のフィ
ルタ処理を行うために必要な上記入力画像圧縮情報を構
成する画像の画枠の外に存在する画素に対しては、上記
画枠の外に必要な画素を仮想的に作り出すことによりフ
ィルタ処理を行うことを特徴とする請求項9記載の画像
情報変換装置。 - 【請求項12】 上記動き補償手段は、既存の画素の配
列の所定位置で折り返し、既存の画素の配列を延長、又
は所定値を用いることのいずれかにより上記画枠の外に
必要な画素を作り出すことを特徴とする請求項11記載
の画像情報変換装置。 - 【請求項13】 上記走査変換手段は、上記復号化手段
にて復号された上記入力画像圧縮情報に対して水平方向
に1/4及び垂直方向に1/1画枠を有する飛び越し走
査の画像の第1フィールド又は第2のフィールドのいず
れか一方を選択することで、上記入力画像圧縮情報に対
して水平方向に1/4及び垂直方向に1/2の画枠を有
する順次走査の画像に変換することを特徴とする請求項
1記載の画像情報変換装置。 - 【請求項14】 上記垂直ダウンサンプリング手段は、
上記走査変換手段にて変換された上記入力画像圧縮情報
に対して水平方向に1/4及び垂直方向に1/2の画枠
を有する順次走査の画像に垂直方向に1/2倍のダウン
サンプリングを行うことにより、上記入力画像圧縮情報
に対して水平方向及び垂直方向共に1/4の画枠を有す
る順次走査の画像を生成することを特徴とする請求項1
記載の画像情報変換装置。 - 【請求項15】 上記水平ダウンサンプリング手段は、
数タップのローパスフィルタを用いてダウンサンプリン
グを行うことを特徴とする請求項14記載の画像情報変
換装置。 - 【請求項16】 上記符号化手段は、上記画素ブロック
単位での符号化をするための画素数の調整を、垂直方向
には上記垂直ダウンサンプリング手段で行うことを特徴
とする請求項1記載の画像情報変換装置。 - 【請求項17】 上記出力画像圧縮情報は、フレーム内
で符号化されたイントラ符号化画像と、フレーム間で順
方向に他の画像を参照して予測符号化された順方向予測
符号化画像と、フレーム間で順方向及び逆方向に他の画
像を参照して予測符号化された双方向予測符号化画像
と、スプライト符号化画像とから構成され、上記符号化
手段は、上記イントラ符号化画像及び上記順方向予測符
号化画像を画像ごとに符号化することを特徴とする請求
項1記載の画像情報変換装置。 - 【請求項18】 上記画像情報は動きベクトル情報によ
って動き補償されたものであって、この動き補償ベクト
ルを合成する動きベクトル合成手段を有し、上記入力画
像圧縮情報の動きベクトル情報に基づいて上記垂直ダウ
ンサンプリング手段から出力された画像に対応する動き
ベクトル情報を合成し、上記符号化手段はこの動きベク
トル情報に基づいて符号化を行うことを特徴とする請求
項1記載の画像情報変換装置。 - 【請求項19】 上記動きベクトル合成手段で合成され
た動きベクトル情報に基づいて動きベクトル情報を検出
する動きベクトル検出手段を有することを特徴とする請
求項18記載の画像情報変換装置。 - 【請求項20】 画像を水平方向及び垂直方向共に8成
分の画素からなる画素ブロックを単位として離散コサイ
ン変換した画像圧縮情報の解像度を変換する画像情報変
換方法において、 飛び越し走査による画像を符号化した入力画像圧縮情報
を構成する画素ブロックの水平方向及び垂直方向共に8
成分の離散コサイン変換係数係数の内、水平方向に低域
2成分及び垂直方向に8成分のみを用いて飛び越し走査
の画像を復号し、 復号された飛び越し走査の画像を構成する第1フィール
ド及び第2フィールドのいずれか一方を選択して順次走
査の画像を生成し、 生成された画像に対して垂直方向に1/2のダウンサン
プリングを行い、 ダウンサンプリングされた画像を上記入力画像圧縮情報
に対して水平方向及び垂直方向共に1/4の解像度を有
する出力画像圧縮情報に符号化することを特徴とする画
像情報変換方法。 - 【請求項21】 上記入力画像圧縮情報はMPEG2規
格によるものであり、上記出力画像圧縮情報はMPEG
4規格によるものであることを特徴とする請求項20記
載の画像情報変換方法。 - 【請求項22】 上記入力画像圧縮情報は、フレーム内
で符号化されたイントラ符号化画像と、フレーム間で順
方向に他の画像を参照して予測符号化された順方向予測
符号化画像と、フレーム間で順方向及び逆方向に他の画
像を参照して予測符号化された双方向予測符号化画像と
から構成され、上記入力画像圧縮情報を構成する画像の
種類を判別し、イントラ符号化画像及び順方向予測符号
化画像を通過させるが双方向予測符号化画像を破棄する
ことを特徴とする請求項20記載の画像情報変換方法。 - 【請求項23】 イントラ符号化画像及び順方向予測符
号化画像のみ復号することを特徴とする請求項23記載
の画像情報変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000215110A JP2002034041A (ja) | 2000-07-14 | 2000-07-14 | 画像情報変換装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000215110A JP2002034041A (ja) | 2000-07-14 | 2000-07-14 | 画像情報変換装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002034041A true JP2002034041A (ja) | 2002-01-31 |
Family
ID=18710586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000215110A Withdrawn JP2002034041A (ja) | 2000-07-14 | 2000-07-14 | 画像情報変換装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002034041A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006508557A (ja) * | 2002-03-28 | 2006-03-09 | インテル コーポレイション | トランスコーディングを行う装置、システム及び方法 |
JP2019537904A (ja) * | 2017-05-03 | 2019-12-26 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | ビデオ符号化処理方法、装置、及び記憶媒体 |
-
2000
- 2000-07-14 JP JP2000215110A patent/JP2002034041A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006508557A (ja) * | 2002-03-28 | 2006-03-09 | インテル コーポレイション | トランスコーディングを行う装置、システム及び方法 |
JP2019537904A (ja) * | 2017-05-03 | 2019-12-26 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | ビデオ符号化処理方法、装置、及び記憶媒体 |
JP7026112B2 (ja) | 2017-05-03 | 2022-02-25 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | ビデオ符号化処理方法、装置、及び記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3975629B2 (ja) | 画像復号装置及び画像復号方法 | |
US7027507B2 (en) | Moving-picture coding and decoding method and apparatus with reduced computational cost | |
US7088775B2 (en) | Apparatus and method for converting image data | |
US7227898B2 (en) | Digital signal conversion method and digital signal conversion device | |
JP3338639B2 (ja) | ディジタル・ビデオ・デコーダおよびディジタル・ビデオ信号をデコードする方法 | |
JP4026238B2 (ja) | 画像復号装置及び画像復号方法 | |
KR100370076B1 (ko) | 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법 | |
EP0644695A2 (en) | Spatially scalable video encoding and decoding | |
JP2001285863A (ja) | 画像情報変換装置及び方法 | |
US20070140351A1 (en) | Interpolation unit for performing half pixel motion estimation and method thereof | |
US20080123748A1 (en) | Compression circuitry for generating an encoded bitstream from a plurality of video frames | |
US20010016010A1 (en) | Apparatus for receiving digital moving picture | |
JP3937599B2 (ja) | 画像復号装置及び画像復号方法 | |
JP4201839B2 (ja) | メモリを有効利用する画像処理システムのオーバーヘッド・データプロセッサ | |
JP4051772B2 (ja) | 画像復号装置及び画像復号方法 | |
JP2001285875A (ja) | 画像情報変換装置及び方法 | |
JP2002034041A (ja) | 画像情報変換装置及び方法 | |
JP5742049B2 (ja) | カラー動画像符号化方法及びカラー動画像符号化装置 | |
JP2008109700A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
JP2002034046A (ja) | 画像情報変換装置及び方法 | |
JP4016166B2 (ja) | 画像復号装置及び画像復号方法 | |
JP4605212B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
JP2001204027A (ja) | 画像情報変換装置及び方法 | |
JP4513856B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
JPH10145749A (ja) | デジタルビデオ信号をダウンコンバートするための装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071002 |