JP2002218468A - 動きベクトル変換装置及び動きベクトル変換方法 - Google Patents
動きベクトル変換装置及び動きベクトル変換方法Info
- Publication number
- JP2002218468A JP2002218468A JP2001009301A JP2001009301A JP2002218468A JP 2002218468 A JP2002218468 A JP 2002218468A JP 2001009301 A JP2001009301 A JP 2001009301A JP 2001009301 A JP2001009301 A JP 2001009301A JP 2002218468 A JP2002218468 A JP 2002218468A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- conversion
- resolution
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 符号化処理工程における符号化効率の低下を
軽減する。 【解決手段】 画像情報変換装置１において、ＭＰＥＧ
２ビットストリームを入力し、ＭＰＥＧ４における８×
８動きベクトル及び１６×１６動きベクトルを求める際
に、動きベクトル変換部１３によりスケーリングされた
動きベクトルに対して、動きベクトル補正部１４におい
て再検索し、動きベクトルの精度を補正し、精度が補正
された動きベクトルをＭＰＥＧ４画像符号化部１５に供
給する。
軽減する。 【解決手段】 画像情報変換装置１において、ＭＰＥＧ
２ビットストリームを入力し、ＭＰＥＧ４における８×
８動きベクトル及び１６×１６動きベクトルを求める際
に、動きベクトル変換部１３によりスケーリングされた
動きベクトルに対して、動きベクトル補正部１４におい
て再検索し、動きベクトルの精度を補正し、精度が補正
された動きベクトルをＭＰＥＧ４画像符号化部１５に供
給する。
Description
【０００１】
【産業上の利用分野】本発明は、動きベクトル変換装置
及び動きベクトル変換方法に関し、特に、離散コサイン
変換等の直交変換と動き補償によって圧縮された画像情
報（ビットストリーム）を、衛星放送、ケーブルＴＶ、
インターネット等のネットワークを介して受信する際、
或いは、光ディスク、磁気ディスク、フラッシュメモリ
等の記憶媒体上で処理する際に用いられる動きベクトル
変換装置及び動きベクトル変換方法に関する。
及び動きベクトル変換方法に関し、特に、離散コサイン
変換等の直交変換と動き補償によって圧縮された画像情
報（ビットストリーム）を、衛星放送、ケーブルＴＶ、
インターネット等のネットワークを介して受信する際、
或いは、光ディスク、磁気ディスク、フラッシュメモリ
等の記憶媒体上で処理する際に用いられる動きベクトル
変換装置及び動きベクトル変換方法に関する。
【０００２】
【従来の技術】近年、画像情報をディジタルデータとし
て取り扱う際、画像情報特有の冗長性を利用し、効率の
高い情報の伝送及び蓄積を目的とした、例えば離散コサ
イン変換（Discrete Cosine Transform、以下、ＤＣＴ
と記す。）等の直交変換と動き補償により圧縮する方式
に準拠した装置が、放送局などの情報配信及び一般家庭
における情報受信の双方において普及しつつある。
て取り扱う際、画像情報特有の冗長性を利用し、効率の
高い情報の伝送及び蓄積を目的とした、例えば離散コサ
イン変換（Discrete Cosine Transform、以下、ＤＣＴ
と記す。）等の直交変換と動き補償により圧縮する方式
に準拠した装置が、放送局などの情報配信及び一般家庭
における情報受信の双方において普及しつつある。
【０００３】特に、ＭＰＥＧ（Moving Picture Experts
Group）によって標準化されているＭＰＥＧ２は、汎用
画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８−２
に定義されており、飛び越し走査画像及び順次走査画像
の双方、並びに標準解像度画像及び高精細画像を網羅し
ている。そのためＭＰＥＧ２は、プロフェッショナル用
途からコンシューマ用途まで、広範なアプリケーション
に今後とも用いられるものと予想される。
Group）によって標準化されているＭＰＥＧ２は、汎用
画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８−２
に定義されており、飛び越し走査画像及び順次走査画像
の双方、並びに標準解像度画像及び高精細画像を網羅し
ている。そのためＭＰＥＧ２は、プロフェッショナル用
途からコンシューマ用途まで、広範なアプリケーション
に今後とも用いられるものと予想される。
【０００４】このようなＭＰＥＧ２圧縮方式を用いるこ
とにより、例えば７２０×４８０画素をもつ標準解像度
の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量
（以下、ビットレートと記す。）を、１９２０×１０８
８画素をもつ高解像度の飛び越し走査画像であれば１８
〜２２Ｍｂｐｓのビットレートを割り当てることで、高
い圧縮率と良好な画質の実現が可能である。
とにより、例えば７２０×４８０画素をもつ標準解像度
の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量
（以下、ビットレートと記す。）を、１９２０×１０８
８画素をもつ高解像度の飛び越し走査画像であれば１８
〜２２Ｍｂｐｓのビットレートを割り当てることで、高
い圧縮率と良好な画質の実現が可能である。
【０００５】ＭＰＥＧ２は、主として放送用に適合する
高画質符号化を対象としていたが、ＭＰＥＧ１よりも低
いビットレート、つまり、より高い圧縮率の符号化方式
には対応していなかった。ところが携帯端末の普及とと
もに、今後より高圧縮率の符号化方式のニーズが高まる
と予想されたことからＭＰＥＧ４符号化方式の標準化が
行われ、画像符号化方式に関しては、１９９８年１２月
にＩＳＯ／ＩＥＣ １４４９６−２として国際標準に承
認されている。
高画質符号化を対象としていたが、ＭＰＥＧ１よりも低
いビットレート、つまり、より高い圧縮率の符号化方式
には対応していなかった。ところが携帯端末の普及とと
もに、今後より高圧縮率の符号化方式のニーズが高まる
と予想されたことからＭＰＥＧ４符号化方式の標準化が
行われ、画像符号化方式に関しては、１９９８年１２月
にＩＳＯ／ＩＥＣ １４４９６−２として国際標準に承
認されている。
【０００６】ところで、ディジタル放送に対応するよう
に一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、Ｍ
ＰＥＧ２ビットストリームと記す。）を携帯端末等で処
理するためには、より低いビットレートのＭＰＥＧ４画
像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記
す。）に変換することが要求される。
に一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、Ｍ
ＰＥＧ２ビットストリームと記す。）を携帯端末等で処
理するためには、より低いビットレートのＭＰＥＧ４画
像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記
す。）に変換することが要求される。
【０００７】ＭＰＥＧ２ビットストリームをＭＰＥＧ４
ビットストリームに変換する従来の画像情報変換装置と
して、例えば、図１８に示す画像情報変換装置１００が
あげられる。画像情報変換装置１００は、ＭＰＥＧ２画
像情報復号化部１０１と、解像度／フレームレート変換
部１０２と、ＭＰＥＧ４画像情報符号化部１０３とを少
なくとも備えている。画像情報変換装置１００に入力さ
れたＭＰＥＧ２ビットストリームは、ＭＰＥＧ２画像情
報復号化部１０１により復号される。
ビットストリームに変換する従来の画像情報変換装置と
して、例えば、図１８に示す画像情報変換装置１００が
あげられる。画像情報変換装置１００は、ＭＰＥＧ２画
像情報復号化部１０１と、解像度／フレームレート変換
部１０２と、ＭＰＥＧ４画像情報符号化部１０３とを少
なくとも備えている。画像情報変換装置１００に入力さ
れたＭＰＥＧ２ビットストリームは、ＭＰＥＧ２画像情
報復号化部１０１により復号される。
【０００８】ここで、画像情報変換装置１００に入力さ
れるＭＰＥＧ２ビットストリームは、水平方向及び垂直
方向に８成分（以下、８×８という。他も同様とす
る。）の離散コサイン変換（Discrete Cosine Transfor
mation; DCT）係数からなるブロックを単位として構成
される。ＭＰＥＧ２画像情報復号化部１０１は、８×８
ＤＣＴ係数のすべてを用いて復号処理を行うことができ
るが、水平方向に低域４成分及び垂直方向に８成分（以
下、４×８という。）のＤＣＴ係数や、水平方向及び垂
直方向ともに低域４成分（以下、４×４という。）のＤ
ＣＴ係数のみを用いた復号処理を行うこともできる。
れるＭＰＥＧ２ビットストリームは、水平方向及び垂直
方向に８成分（以下、８×８という。他も同様とす
る。）の離散コサイン変換（Discrete Cosine Transfor
mation; DCT）係数からなるブロックを単位として構成
される。ＭＰＥＧ２画像情報復号化部１０１は、８×８
ＤＣＴ係数のすべてを用いて復号処理を行うことができ
るが、水平方向に低域４成分及び垂直方向に８成分（以
下、４×８という。）のＤＣＴ係数や、水平方向及び垂
直方向ともに低域４成分（以下、４×４という。）のＤ
ＣＴ係数のみを用いた復号処理を行うこともできる。
【０００９】なお、このような４×８ＤＣＴ係数を用い
た復号処理を４×８ダウンデコードと記し、４×４ＤＣ
Ｔ係数を用いた復号処理を４×４ダウンデコードと記
す。ＭＰＥＧ２画像情報復号化部１０１は、４×８ダウ
ンデコードや４×４ダウンデコードによる処理を採用す
ることにより、ダウンデコードによる画質劣化を最小限
に抑えながら、演算量とビデオメモリ容量を削減すると
ともに、後段のダウンサンプリング処理を簡略化するこ
とができる。
た復号処理を４×８ダウンデコードと記し、４×４ＤＣ
Ｔ係数を用いた復号処理を４×４ダウンデコードと記
す。ＭＰＥＧ２画像情報復号化部１０１は、４×８ダウ
ンデコードや４×４ダウンデコードによる処理を採用す
ることにより、ダウンデコードによる画質劣化を最小限
に抑えながら、演算量とビデオメモリ容量を削減すると
ともに、後段のダウンサンプリング処理を簡略化するこ
とができる。
【００１０】ＭＰＥＧ２画像情報復号化部１０１により
復号された画像は、解像度／フレームレート変換部１０
２へ伝送され、任意の異なる解像度及びフレームレート
を持つ画像に変換され、さらに、ＭＰＥＧ４画像情報符
号化部１０３により、ＭＰＥＧ４ビットストリームへ符
号化される。
復号された画像は、解像度／フレームレート変換部１０
２へ伝送され、任意の異なる解像度及びフレームレート
を持つ画像に変換され、さらに、ＭＰＥＧ４画像情報符
号化部１０３により、ＭＰＥＧ４ビットストリームへ符
号化される。
【００１１】従来の画像情報変換装置１００は、ＭＰＥ
Ｇ４画像符号化部１０３において画像信号を符号化する
際、動きベクトルを検出する演算処理量が全演算処理量
の約６０〜７０パーセントを占めるため、画像のリアル
タイム処理が困難となり時間遅延が発生する場合があっ
た。また、処理時間の遅延を解消しようとすると処理回
路の部品点数が増加し、装置自体の構成が大規模になる
等の問題点があった。
Ｇ４画像符号化部１０３において画像信号を符号化する
際、動きベクトルを検出する演算処理量が全演算処理量
の約６０〜７０パーセントを占めるため、画像のリアル
タイム処理が困難となり時間遅延が発生する場合があっ
た。また、処理時間の遅延を解消しようとすると処理回
路の部品点数が増加し、装置自体の構成が大規模になる
等の問題点があった。
【００１２】しかし、上述の問題点は、ＭＰＥＧ画像符
号化回路１０３における演算処理量を減らすことで解消
されている。図１９に示す画像情報変換装置２００で
は、ＭＰＥＧ２ビットストリームの動きベクトルをＭＰ
ＥＧ４ビットストリームの動きベクトルに変換すること
により、処理の高速化が図られている。すなわち、上述
した画像情報変換装置１００のＭＰＥＧ４画像情報符号
化部１０３では、動きベクトルの検出に大きな演算処理
量を要していたが、画像情報変換装置２００のＭＰＥＧ
４画像情報符号化部２０４では、ＭＰＥＧ４の符号化の
際に動きベクトルを検出する必要がないので、演算量が
低減されて処理が高速化されている。
号化回路１０３における演算処理量を減らすことで解消
されている。図１９に示す画像情報変換装置２００で
は、ＭＰＥＧ２ビットストリームの動きベクトルをＭＰ
ＥＧ４ビットストリームの動きベクトルに変換すること
により、処理の高速化が図られている。すなわち、上述
した画像情報変換装置１００のＭＰＥＧ４画像情報符号
化部１０３では、動きベクトルの検出に大きな演算処理
量を要していたが、画像情報変換装置２００のＭＰＥＧ
４画像情報符号化部２０４では、ＭＰＥＧ４の符号化の
際に動きベクトルを検出する必要がないので、演算量が
低減されて処理が高速化されている。
【００１３】画像情報変換装置２００は、図１９に示す
ように、入力されたＭＰＥＧ２ビットストリームを復号
するとともに、ＭＰＥＧ２の動きベクトル、画像サイズ
等のパラメータを取り出すＭＰＥＧ２画像情報復号化部
２０１と、ＭＰＥＧ２画像情報復号化部２０１で取り出
されたパラメータ及び外部から入力された画像サイズ調
整フラグに基づいて、ＭＰＥＧ２画像情報復号化部２０
１で復号された画像の解像度及びフレームレートを変換
する解像度／フレームレート変換部２０２とを有してい
る。
ように、入力されたＭＰＥＧ２ビットストリームを復号
するとともに、ＭＰＥＧ２の動きベクトル、画像サイズ
等のパラメータを取り出すＭＰＥＧ２画像情報復号化部
２０１と、ＭＰＥＧ２画像情報復号化部２０１で取り出
されたパラメータ及び外部から入力された画像サイズ調
整フラグに基づいて、ＭＰＥＧ２画像情報復号化部２０
１で復号された画像の解像度及びフレームレートを変換
する解像度／フレームレート変換部２０２とを有してい
る。
【００１４】解像度／フレームレート変換部２０２は、
ＭＰＥＧ２画像情報復号化部２０１で取り出されたＭＰ
ＥＧ２動きベクトル、画像サイズ等のパラメータに基づ
いてＭＰＥＧ２画像情報復号化部２０１で復号された画
像の解像度及びフレームレートを変換する解像度フレー
ム変換部２０５と、外部から入力された画像サイズ調整
フラグに基づいて、解像度フレーム変換部２０５にて解
像度及びフレームレートを変換された画像に対して画素
の補填又は除去を行う画素補填／除去部２０６とを有し
ている。
ＭＰＥＧ２画像情報復号化部２０１で取り出されたＭＰ
ＥＧ２動きベクトル、画像サイズ等のパラメータに基づ
いてＭＰＥＧ２画像情報復号化部２０１で復号された画
像の解像度及びフレームレートを変換する解像度フレー
ム変換部２０５と、外部から入力された画像サイズ調整
フラグに基づいて、解像度フレーム変換部２０５にて解
像度及びフレームレートを変換された画像に対して画素
の補填又は除去を行う画素補填／除去部２０６とを有し
ている。
【００１５】また、画像情報変換装置２００は、ＭＰＥ
Ｇ２画像情報復号化部２０１から送られたＭＰＥＧ２の
動きベクトルをＭＰＥＧ４の動きベクトルに変換する動
きベクトル変換部２０３と、解像度／フレームレート変
換部２０２にて解像度及びフレームレートを変換された
画像を動きベクトル変換部２０３から送られたＭＰＥＧ
４動きベクトルに基づいてＭＰＥＧ４ビットストリーム
に符号化して出力するＭＰＥＧ４画像情報符号化部２０
４とを有している。
Ｇ２画像情報復号化部２０１から送られたＭＰＥＧ２の
動きベクトルをＭＰＥＧ４の動きベクトルに変換する動
きベクトル変換部２０３と、解像度／フレームレート変
換部２０２にて解像度及びフレームレートを変換された
画像を動きベクトル変換部２０３から送られたＭＰＥＧ
４動きベクトルに基づいてＭＰＥＧ４ビットストリーム
に符号化して出力するＭＰＥＧ４画像情報符号化部２０
４とを有している。
【００１６】動きベクトル変換部２０３は、解像度／フ
レームレート変換部２０２における解像度変換の際に、
ＭＰＥＧ２画像情報復号化部２０１から送られたＭＰＥ
Ｇ２動きベクトル、画像サイズ等のパラメータや外部か
ら供給された画像サイズ調整フラグに基づいて、ＭＰＥ
Ｇ４動きベクトルを生成する。
レームレート変換部２０２における解像度変換の際に、
ＭＰＥＧ２画像情報復号化部２０１から送られたＭＰＥ
Ｇ２動きベクトル、画像サイズ等のパラメータや外部か
ら供給された画像サイズ調整フラグに基づいて、ＭＰＥ
Ｇ４動きベクトルを生成する。
【００１７】ＭＰＥＧ４ビットストリームにおける被写
体の動きベクトルの水平成分は、解像度変換前の動きベ
クトルの水平成分と画像の横方向の解像度変換レートに
よって求めることができる。同様にして、解像度変換後
の垂直成分は、解像度変換前の動きベクトルの垂直成分
と画像の縦方向の解像度変換レートによって求められ
る。このように、変換後のＭＰＥＧ４ビットストリーム
における動きベクトルと解像度変換前のＭＰＥＧ２ビッ
トストリームにおける動きベクトルとの間には、相関関
係がある。
体の動きベクトルの水平成分は、解像度変換前の動きベ
クトルの水平成分と画像の横方向の解像度変換レートに
よって求めることができる。同様にして、解像度変換後
の垂直成分は、解像度変換前の動きベクトルの垂直成分
と画像の縦方向の解像度変換レートによって求められ
る。このように、変換後のＭＰＥＧ４ビットストリーム
における動きベクトルと解像度変換前のＭＰＥＧ２ビッ
トストリームにおける動きベクトルとの間には、相関関
係がある。
【００１８】したがって、画像情報変換装置２００は、
このような相関関係に基づいて、ＭＰＥＧ２のマクロブ
ロック動きベクトルやマクロブロックタイプ等のパラメ
ータを利用することで、入力されたＭＰＥＧ２ビットス
トリームをＭＰＥＧ４ビットストリームの動きベクトル
へ変換している。
このような相関関係に基づいて、ＭＰＥＧ２のマクロブ
ロック動きベクトルやマクロブロックタイプ等のパラメ
ータを利用することで、入力されたＭＰＥＧ２ビットス
トリームをＭＰＥＧ４ビットストリームの動きベクトル
へ変換している。
【００１９】これら解像度変換の前後の動きベクトルの
相関について説明する。解像度／フレームレート変換部
２０２が画像の解像度を縦・横ともに１／２にするダウ
ンサンプリング処理について説明する。縦方向のダウン
サンプリング処理は、入力した飛び越し走査画像の第一
フィールド（top field：トップフィールド）、第二フ
ィールド（bottom field：ボトムフィールド）を抽出
し、順次走査画像に変換する。一方、横方向のダウンサ
ンプリング処理は、ダウンサンプリングフィルタを用い
て、１／２の解像度に変換する。また、低ビットレート
化を実現するために、解像度変換による圧縮だけではな
く、画像内符号化画像（以下、Ｉピクチャと記す。）及
び画像間予測符号化画像（以下、Ｐピクチャと記す。）
のみで構成される第一フィールド又は第二フィールドを
抜き出すことによって、時間軸方向のフレームレートを
低下させている。
相関について説明する。解像度／フレームレート変換部
２０２が画像の解像度を縦・横ともに１／２にするダウ
ンサンプリング処理について説明する。縦方向のダウン
サンプリング処理は、入力した飛び越し走査画像の第一
フィールド（top field：トップフィールド）、第二フ
ィールド（bottom field：ボトムフィールド）を抽出
し、順次走査画像に変換する。一方、横方向のダウンサ
ンプリング処理は、ダウンサンプリングフィルタを用い
て、１／２の解像度に変換する。また、低ビットレート
化を実現するために、解像度変換による圧縮だけではな
く、画像内符号化画像（以下、Ｉピクチャと記す。）及
び画像間予測符号化画像（以下、Ｐピクチャと記す。）
のみで構成される第一フィールド又は第二フィールドを
抜き出すことによって、時間軸方向のフレームレートを
低下させている。
【００２０】解像度・フレーム変換を行った画像は、Ｍ
ＰＥＧ４画像符号化方式で符号化できるように、外部か
ら入力される画像サイズ調整フラグに基づいて画素補填
又は画素除去が施され、縦・横の画素数が１６の倍数と
される。
ＰＥＧ４画像符号化方式で符号化できるように、外部か
ら入力される画像サイズ調整フラグに基づいて画素補填
又は画素除去が施され、縦・横の画素数が１６の倍数と
される。
【００２１】次に、解像度／フレームレート変換部２０
２が画像サイズ調整フラグを用いて画像の解像度を変更
する処理について説明する。
２が画像サイズ調整フラグを用いて画像の解像度を変更
する処理について説明する。
【００２２】ＭＰＥＧ画像復号化部２０１から解像度／
フレームレート変換部２０２へと送出される画像の解像
度がｍ画素×ｎ画素であるとする。ｍ、ｎは、ともに１
６の倍数である。したがって、縦横両方向に対して１／
２にダウンサンプリングされたｍ／２画素画像及びｎ／
２画素画像は、１６の整数倍であるか、１６で割ったと
きに８画素の余りを生じるか、８画素の不足を生じる画
素数となっている。
フレームレート変換部２０２へと送出される画像の解像
度がｍ画素×ｎ画素であるとする。ｍ、ｎは、ともに１
６の倍数である。したがって、縦横両方向に対して１／
２にダウンサンプリングされたｍ／２画素画像及びｎ／
２画素画像は、１６の整数倍であるか、１６で割ったと
きに８画素の余りを生じるか、８画素の不足を生じる画
素数となっている。
【００２３】ｍ／２画素画像及びｎ／２画素画像が１６
の倍数の場合、ＭＰＥＧ４符号化方式に適応しているた
め画像処理は行わない。解像度・フレーム変換部２０２
は、縦横の画素数がｍ／２及びｎ／２である画像をその
まま出力する。
の倍数の場合、ＭＰＥＧ４符号化方式に適応しているた
め画像処理は行わない。解像度・フレーム変換部２０２
は、縦横の画素数がｍ／２及びｎ／２である画像をその
まま出力する。
【００２４】ｍ／２画素画像及びｎ／２画素画像が１６
の倍数でない場合は、ＭＰＥＧ４符号化方式に適用して
いないため、画像サイズ調整フラグに基づいた画像処理
が必要となる。画像サイズ調整フラグは、画素の補填、
又は画素の除去を行うためのフラグである。
の倍数でない場合は、ＭＰＥＧ４符号化方式に適用して
いないため、画像サイズ調整フラグに基づいた画像処理
が必要となる。画像サイズ調整フラグは、画素の補填、
又は画素の除去を行うためのフラグである。
【００２５】解像度／フレームレート変換部２０２は、
ｍ／２画素画像及びｎ／２画素画像が１６で割って８画
素が余る画素数である場合、余った８画素分の画像を除
去する。すなわち、解像度／フレームレート変換部２０
２からの出力画像は、（ｍ／２−８）画素又は（ｎ／２
−８）画素となる。
ｍ／２画素画像及びｎ／２画素画像が１６で割って８画
素が余る画素数である場合、余った８画素分の画像を除
去する。すなわち、解像度／フレームレート変換部２０
２からの出力画像は、（ｍ／２−８）画素又は（ｎ／２
−８）画素となる。
【００２６】一方、解像度／フレームレート変換部２０
２は、ｍ／２画素画像及びｎ／２が画素画像１６で割っ
て８画素不足する場合、８画素を補填する。すなわち、
解像度／フレームレート変換部２０２は、８画素分の画
像を新たに作成した８画素、もとの画像から複製した８
画素、又は画像に適した８画素で補填して、行又は列の
先頭、或いは、行又は列の後部から付け加える。すなわ
ち、解像度／フレームレート変換部２０２からの出力画
像は、（ｍ／２＋８）画素又は（ｎ／２＋８）画素とな
る。
２は、ｍ／２画素画像及びｎ／２が画素画像１６で割っ
て８画素不足する場合、８画素を補填する。すなわち、
解像度／フレームレート変換部２０２は、８画素分の画
像を新たに作成した８画素、もとの画像から複製した８
画素、又は画像に適した８画素で補填して、行又は列の
先頭、或いは、行又は列の後部から付け加える。すなわ
ち、解像度／フレームレート変換部２０２からの出力画
像は、（ｍ／２＋８）画素又は（ｎ／２＋８）画素とな
る。
【００２７】結果として、解像度／フレームレート変換
部２０２は、変換後の画像解像度の縦と横の画素数が１
６の倍数であるＭＰＥＧ４符号化方式に適した画像サイ
ズを有した画像を出力している。
部２０２は、変換後の画像解像度の縦と横の画素数が１
６の倍数であるＭＰＥＧ４符号化方式に適した画像サイ
ズを有した画像を出力している。
【００２８】解像度変換前と変換後のベクトルの相関が
大きいため、動きベクトル変換部２０３において、変換
後の８×８ブロックの動きベクトルは、変換前の１６×
１６マクロブロックの動きベクトルより求めることがで
きる。更に、動きベクトル変換部２０３では、ＭＰＥＧ
４画像符号化方式により符号化するのに用いる動きベク
トルのうち、４つの８×８動きベクトルと１６×１６動
きベクトルが生成されてる。
大きいため、動きベクトル変換部２０３において、変換
後の８×８ブロックの動きベクトルは、変換前の１６×
１６マクロブロックの動きベクトルより求めることがで
きる。更に、動きベクトル変換部２０３では、ＭＰＥＧ
４画像符号化方式により符号化するのに用いる動きベク
トルのうち、４つの８×８動きベクトルと１６×１６動
きベクトルが生成されてる。
【００２９】次いで、動きベクトル変換部２０３がＭＰ
ＥＧ２復号化方式により復号された画像における動きベ
クトルをＭＰＥＧ４符号化方式により符号化する処理を
図２０に示す動きベクトル変換部２０３の詳細な構造図
を用いて説明する。
ＥＧ２復号化方式により復号された画像における動きベ
クトルをＭＰＥＧ４符号化方式により符号化する処理を
図２０に示す動きベクトル変換部２０３の詳細な構造図
を用いて説明する。
【００３０】動きベクトル変換部２０３は、具体的に
は、入力されたＭＰＥＧ２ビットストリーム内の動きベ
クトルをＭＰＥＧ２ビットストリームにおける１６×１
６動きベクトルからＭＰＥＧ４ビットストリームにおけ
る８×８動きベクトルへと変換する動きベクトル変換部
２０７と、動きベクトル変換部２０７において変換され
た動きベクトルを画像サイズ調整フラグに基づいて調整
する動きベクトル調整部２０８と、ＭＰＥＧ４ビットス
トリームにおける８×８動きベクトルからＭＰＥＧ４１
６×１６動きベクトルへと変換する動きベクトル変換部
２０９と、ＭＰＥＧ２イントラマクロブロックに対して
動きベクトルを補正する補正部２１０とから構成されて
いる。
は、入力されたＭＰＥＧ２ビットストリーム内の動きベ
クトルをＭＰＥＧ２ビットストリームにおける１６×１
６動きベクトルからＭＰＥＧ４ビットストリームにおけ
る８×８動きベクトルへと変換する動きベクトル変換部
２０７と、動きベクトル変換部２０７において変換され
た動きベクトルを画像サイズ調整フラグに基づいて調整
する動きベクトル調整部２０８と、ＭＰＥＧ４ビットス
トリームにおける８×８動きベクトルからＭＰＥＧ４１
６×１６動きベクトルへと変換する動きベクトル変換部
２０９と、ＭＰＥＧ２イントラマクロブロックに対して
動きベクトルを補正する補正部２１０とから構成されて
いる。
【００３１】動きベクトル変換部２０７は、入力された
ＭＰＥＧ２のマクロブロックの動きベクトルとマクロブ
ロックタイプを変換している。この変換動作が図２１に
示されている。飛び越し走査のＭＰＥＧ２ビットストリ
ームでは、一般的にフレーム構造が用いられてるため、
ここではフレーム構造の場合の処理のみを説明する。
ＭＰＥＧ２のマクロブロックの動きベクトルとマクロブ
ロックタイプを変換している。この変換動作が図２１に
示されている。飛び越し走査のＭＰＥＧ２ビットストリ
ームでは、一般的にフレーム構造が用いられてるため、
ここではフレーム構造の場合の処理のみを説明する。
【００３２】ステップＳ１００において、動きベクトル
変換部２０７は、ＭＰＥＧ２画像情報復号化部２０１か
ら入力した動きベクトルがイントラ（画像内）マクロブ
ロックであるか、インター（画像間）スキップマクロブ
ロックであるかを判別する。
変換部２０７は、ＭＰＥＧ２画像情報復号化部２０１か
ら入力した動きベクトルがイントラ（画像内）マクロブ
ロックであるか、インター（画像間）スキップマクロブ
ロックであるかを判別する。
【００３３】動きベクトル変換部２０７は、入力した動
きベクトルがイントラマクロブロックであった場合、ス
テップＳ１０１において、８×８マクロブロックの動き
ベクトルを０に設定し、更に、イントラであることを示
すイントラモードフラグを設ける。
きベクトルがイントラマクロブロックであった場合、ス
テップＳ１０１において、８×８マクロブロックの動き
ベクトルを０に設定し、更に、イントラであることを示
すイントラモードフラグを設ける。
【００３４】一方、入力した動きベクトルがインタース
キップマクロブロックであった場合、ステップＳ１０２
において、動きベクトルを０に設定し、ＭＰＥＧ４の８
×８動きベクトルへ変換する。
キップマクロブロックであった場合、ステップＳ１０２
において、動きベクトルを０に設定し、ＭＰＥＧ４の８
×８動きベクトルへ変換する。
【００３５】ステップＳ１００において、入力した動き
ベクトルがインターマクロブロックであった場合、動き
ベクトル変換部２０７は、ステップＳ１０３において、
動き補償された動きベクトルを含む画像がフレーム予測
に基づくものであるか、フィールド予測に基づくもので
あるかを判別する。
ベクトルがインターマクロブロックであった場合、動き
ベクトル変換部２０７は、ステップＳ１０３において、
動き補償された動きベクトルを含む画像がフレーム予測
に基づくものであるか、フィールド予測に基づくもので
あるかを判別する。
【００３６】動きベクトル変換部２０７は、入力した動
きベクトルを含む画像がフレーム予測に基づくものであ
った場合、ステップＳ１０３において、フレーム予測に
適した動きベクトルへと変換する。
きベクトルを含む画像がフレーム予測に基づくものであ
った場合、ステップＳ１０３において、フレーム予測に
適した動きベクトルへと変換する。
【００３７】一方、入力した動きベクトルを含む画像が
フィールド予測であった場合、動きベクトル変換部２０
７は、ステップＳ１０５において、更に、第一フィール
ド予測であるか、第二フィールド予測であるかを判別す
る。
フィールド予測であった場合、動きベクトル変換部２０
７は、ステップＳ１０５において、更に、第一フィール
ド予測であるか、第二フィールド予測であるかを判別す
る。
【００３８】入力した動きベクトルを含む画像が第一フ
ィールド予測に基づく場合、動きベクトル変換部２０７
は、ステップＳ１０６において、第一フィールド予測に
適した動きベクトルへ変換する。
ィールド予測に基づく場合、動きベクトル変換部２０７
は、ステップＳ１０６において、第一フィールド予測に
適した動きベクトルへ変換する。
【００３９】一方、入力した動きベクトルを含む画像が
第二フィールド予測に基づく場合、動きベクトル変換部
２０７は、ステップＳ１０７において、第二フィールド
予測に適した動きベクトルへと変換する。
第二フィールド予測に基づく場合、動きベクトル変換部
２０７は、ステップＳ１０７において、第二フィールド
予測に適した動きベクトルへと変換する。
【００４０】ここで、入力した動きベクトルを含む画像
がフレーム予測に基づく場合の変換処理であるステップ
Ｓ１０４における動きベクトル変換の概念を図２２に示
す。
がフレーム予測に基づく場合の変換処理であるステップ
Ｓ１０４における動きベクトル変換の概念を図２２に示
す。
【００４１】変換後の動きベクトルの水平成分は、変換
前の動きベクトルの水平成分と画像の横方向の解像度変
換レートから求められ、垂直成分は、変換前の動きベク
トルの垂直成分と画像の縦方向の解像度変換レートから
求められる。すなわち、横方向の解像度及び縦方向の解
像度を１／２に変換すると変換後の動きベクトルの水平
成分及び垂直成分も変換前の１／２になる。
前の動きベクトルの水平成分と画像の横方向の解像度変
換レートから求められ、垂直成分は、変換前の動きベク
トルの垂直成分と画像の縦方向の解像度変換レートから
求められる。すなわち、横方向の解像度及び縦方向の解
像度を１／２に変換すると変換後の動きベクトルの水平
成分及び垂直成分も変換前の１／２になる。
【００４２】例えば、図２２（ａ）及び図２２（ｂ）に
示すように、変換前に（８，１２）であった動きベクト
ルＭＶは、変換された後、（４，６）成分の動きベクト
ルＭＶ’となる。ただし、この場合は、整数画素の中間
値（半画素）の間隔を１としている。解像度変換前の動
きベクトルを示した図２２（ａ）では、整数画素の位置
が黒丸で示され、半画素の位置がひし形で示されてい
る。また、解像度変換後の動きベクトルを示した図２２
（ｂ）では、半画素の位置は、白丸で示されている。
示すように、変換前に（８，１２）であった動きベクト
ルＭＶは、変換された後、（４，６）成分の動きベクト
ルＭＶ’となる。ただし、この場合は、整数画素の中間
値（半画素）の間隔を１としている。解像度変換前の動
きベクトルを示した図２２（ａ）では、整数画素の位置
が黒丸で示され、半画素の位置がひし形で示されてい
る。また、解像度変換後の動きベクトルを示した図２２
（ｂ）では、半画素の位置は、白丸で示されている。
【００４３】変換前の整数画素の位置に示されている動
きベクトルは、変換後は、整数画素、又は半画素の位置
に示される。ところが、変換前に半画素の位置に示され
ていた動きベクトルは、変換した後は、参照する画素が
なくなる。そこで、変換前の動きベクトルが半画素の位
置を示している場合、変換後の動きベクトルも予測画像
の半画素の位置を示すようにしている。
きベクトルは、変換後は、整数画素、又は半画素の位置
に示される。ところが、変換前に半画素の位置に示され
ていた動きベクトルは、変換した後は、参照する画素が
なくなる。そこで、変換前の動きベクトルが半画素の位
置を示している場合、変換後の動きベクトルも予測画像
の半画素の位置を示すようにしている。
【００４４】復号された画像信号には、量子化による歪
みが含まれているため、そのまま予測画像として使用す
ると予測効率が低下し、画質劣化を引き起こす場合があ
る。これを低減するために、低減通過フィルタに相当す
る参照画面での各画素間を１：１で直線補間した半画素
精度を選択することで画質劣化を回避している。従来の
画像情報変換装置１００におけるＭＰＥＧ４画像符号化
方式による符号化においても、予測効率を向上し画質劣
化を防ぐために、ＭＰＥＧ２で動きベクトルが半画素の
位置に示されている場合は、ＭＰＥＧ４のフォーマット
に変換した際も半画素の位置に示すように変換してい
る。
みが含まれているため、そのまま予測画像として使用す
ると予測効率が低下し、画質劣化を引き起こす場合があ
る。これを低減するために、低減通過フィルタに相当す
る参照画面での各画素間を１：１で直線補間した半画素
精度を選択することで画質劣化を回避している。従来の
画像情報変換装置１００におけるＭＰＥＧ４画像符号化
方式による符号化においても、予測効率を向上し画質劣
化を防ぐために、ＭＰＥＧ２で動きベクトルが半画素の
位置に示されている場合は、ＭＰＥＧ４のフォーマット
に変換した際も半画素の位置に示すように変換してい
る。
【００４５】このときの変換前と変換後の動きベクトル
の対応関係が図２３に示されている。図２３において、
［ＭＶ／２］は、ＭＶを２で割った整数部を示してい
る。すなわち、返還前の動きベクトルＭＶを４で割った
余りが１のときは、変換後の動きベクトルの半画素位置
に示し、それ以外の場合は、整数画素位置に示してい
る。
の対応関係が図２３に示されている。図２３において、
［ＭＶ／２］は、ＭＶを２で割った整数部を示してい
る。すなわち、返還前の動きベクトルＭＶを４で割った
余りが１のときは、変換後の動きベクトルの半画素位置
に示し、それ以外の場合は、整数画素位置に示してい
る。
【００４６】次に、入力した動きベクトルを含む画像が
フィールド予測に基づく場合の変換処理であるステップ
Ｓ１０６及びステップＳ１０７における動きベクトル変
換について示す。まず、入力した動きベクトルを含む画
像が第一フィールド予測に基づく場合における動きベク
トル変換の概念について示す。動きベクトルの水平成分
は、動きベクトルを含む画像がフレーム予測に基づく場
合と同様の処理で行われる。動きベクトルの垂直成分
は、第一フィールドを抽出することにより、解像度を１
／２に変換することが可能である。また、第一フィール
ド予測を行っているため、変換前の動きベクトルは、そ
のまま変換後の動きベクトルになる。
フィールド予測に基づく場合の変換処理であるステップ
Ｓ１０６及びステップＳ１０７における動きベクトル変
換について示す。まず、入力した動きベクトルを含む画
像が第一フィールド予測に基づく場合における動きベク
トル変換の概念について示す。動きベクトルの水平成分
は、動きベクトルを含む画像がフレーム予測に基づく場
合と同様の処理で行われる。動きベクトルの垂直成分
は、第一フィールドを抽出することにより、解像度を１
／２に変換することが可能である。また、第一フィール
ド予測を行っているため、変換前の動きベクトルは、そ
のまま変換後の動きベクトルになる。
【００４７】これに対し、入力した動きベクトルを含む
画像が第二フィールド予測である場合の動きベクトル変
換を図２４に示す。動きベクトルは、解像度変換される
と、第一フィールドのみが抽出されるため、変換後の動
きベクトルは、第一フィールドの画素値が参照画像とし
て用いられる。そのため、ＭＰＥＧ２で予測画像として
用いた第二フィールドの画素値に基づく動きベクトルを
解像度変換後の第一フィールドの画素値に変換するよう
に動きベクトルの時空間補正が行われている。
画像が第二フィールド予測である場合の動きベクトル変
換を図２４に示す。動きベクトルは、解像度変換される
と、第一フィールドのみが抽出されるため、変換後の動
きベクトルは、第一フィールドの画素値が参照画像とし
て用いられる。そのため、ＭＰＥＧ２で予測画像として
用いた第二フィールドの画素値に基づく動きベクトルを
解像度変換後の第一フィールドの画素値に変換するよう
に動きベクトルの時空間補正が行われている。
【００４８】図２４には、第二フィールドから予測され
た動きベクトルＭＶｂｏｔｔｏｍから近似的に第一フィ
ールドから予測された動きベクトルＭＶｔｏｐに変換す
るための空間的な補正を行う手法が模式的に示されてい
る。すなわち、第二フィールド予測された動きベクトル
ＭＶｂｏｔｔｏｍの場合、動きベクトルＭＶｂｏｔｔ
ｏｍの垂直成分に１を加える。第二フィールド予測で求
めた動きベクトルＭＶｂ ｏｔｔｏｍの垂直成分に１を足
すことで１行繰り上げられ、第二フィールドが第一フィ
ールドと同様の空間位置に達する。その結果、第二フィ
ールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍは、
空間上において、第一フィールド予測で求めた動きベク
トルＭＶｔｏｐに相当する位置に近似される。
た動きベクトルＭＶｂｏｔｔｏｍから近似的に第一フィ
ールドから予測された動きベクトルＭＶｔｏｐに変換す
るための空間的な補正を行う手法が模式的に示されてい
る。すなわち、第二フィールド予測された動きベクトル
ＭＶｂｏｔｔｏｍの場合、動きベクトルＭＶｂｏｔｔ
ｏｍの垂直成分に１を加える。第二フィールド予測で求
めた動きベクトルＭＶｂ ｏｔｔｏｍの垂直成分に１を足
すことで１行繰り上げられ、第二フィールドが第一フィ
ールドと同様の空間位置に達する。その結果、第二フィ
ールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍは、
空間上において、第一フィールド予測で求めた動きベク
トルＭＶｔｏｐに相当する位置に近似される。
【００４９】空間補正が施された後、第一フィールドに
相当する空間位置に近似された第二フィールド予測動き
ベクトルＭＶｂｏｔｔｏｍの垂直成分、すなわち、近似
第一フィールド予測を予測動きベクトルとしたときの垂
直成分ＭＶｔｏｐ，ｖは、以下に示す式（１）で表され
る。
相当する空間位置に近似された第二フィールド予測動き
ベクトルＭＶｂｏｔｔｏｍの垂直成分、すなわち、近似
第一フィールド予測を予測動きベクトルとしたときの垂
直成分ＭＶｔｏｐ，ｖは、以下に示す式（１）で表され
る。
【００５０】
【数１】
【００５１】また、飛び越し走査のＭＰＥＧ２画像圧縮
情報には第一フィールドと第二フィールドとの間に時間
ずれがあるため、第二フィールドから近似された第一フ
ィールドと実際の第一フィールドと間の時間ずれを補正
する必要がある。第一フィールドと第二フィールドの時
間的位置関係が図２５に示されている。
情報には第一フィールドと第二フィールドとの間に時間
ずれがあるため、第二フィールドから近似された第一フ
ィールドと実際の第一フィールドと間の時間ずれを補正
する必要がある。第一フィールドと第二フィールドの時
間的位置関係が図２５に示されている。
【００５２】図２５において、第一フィールドと第二フ
ィールドの間隔を１とし、ａをＩピクチャの第二フィー
ルドとＰピクチャの第一フィールドとの間隔であるとす
ると、ａは、１、３、５、７・・・のような奇数にな
る。なお、ａが１の場合は、画像の構成がＩＰＰＰ・・
・の場合である。時間補正を施した後の動きベクトルＭ
Ｖ’の垂直成分を、式（２）に示す。
ィールドの間隔を１とし、ａをＩピクチャの第二フィー
ルドとＰピクチャの第一フィールドとの間隔であるとす
ると、ａは、１、３、５、７・・・のような奇数にな
る。なお、ａが１の場合は、画像の構成がＩＰＰＰ・・
・の場合である。時間補正を施した後の動きベクトルＭ
Ｖ’の垂直成分を、式（２）に示す。
【００５３】
【数２】
【００５４】式（１）を式（２）に代入することによっ
て、入力した動きベクトルを含む画像が第二フィールド
予測である場合、第一フィールドに近似するための時間
空間補正を施した後の動きベクトルの垂直成分ＭＶｖ’
は、以下に示される式（３）として表される。一方、変
換後の動きベクトルの水平成分は、変換前の動きベクト
ルに（ａ＋１）／ａをかけて時間補正を行った後、図２
３に示した対応関係に基づいて求められる。
て、入力した動きベクトルを含む画像が第二フィールド
予測である場合、第一フィールドに近似するための時間
空間補正を施した後の動きベクトルの垂直成分ＭＶｖ’
は、以下に示される式（３）として表される。一方、変
換後の動きベクトルの水平成分は、変換前の動きベクト
ルに（ａ＋１）／ａをかけて時間補正を行った後、図２
３に示した対応関係に基づいて求められる。
【００５５】
【数３】
【００５６】ＭＰＥＧ２で予測画像として用いた第二フ
ィールドの画素値を解像度変換後の第一フィールドの画
素値に変換するための時空間補正は、動きベクトルの垂
直成分に対して時間的補正を行った後、空間的な補正を
行う方法でもよい。その場合、変換後の動きベクトルＭ
Ｖｖ’の垂直成分を式（４）に示す。なお、水平成分
は、空間補正を行ってから時間補正を行う場合（空間・
時間補正）と時間補正を行ってから空間補正を行う場合
（時間・空間補正）とでは、同様の値となる。
ィールドの画素値を解像度変換後の第一フィールドの画
素値に変換するための時空間補正は、動きベクトルの垂
直成分に対して時間的補正を行った後、空間的な補正を
行う方法でもよい。その場合、変換後の動きベクトルＭ
Ｖｖ’の垂直成分を式（４）に示す。なお、水平成分
は、空間補正を行ってから時間補正を行う場合（空間・
時間補正）と時間補正を行ってから空間補正を行う場合
（時間・空間補正）とでは、同様の値となる。
【００５７】
【数４】
【００５８】空間・時間補正を行った場合と、時間・空
間補正を行った場合の変換後の動きベクトルの垂直成分
の差、すなわち、式（３）と式（４）との差は、１／ａ
となっている。したがって、ａの値に応じて変換後の動
きベクトルの垂直成分の差による影響が異なる。そのた
め、ａが１の場合と、３、５、７・・・の場合とで補正
方法を変えている。
間補正を行った場合の変換後の動きベクトルの垂直成分
の差、すなわち、式（３）と式（４）との差は、１／ａ
となっている。したがって、ａの値に応じて変換後の動
きベクトルの垂直成分の差による影響が異なる。そのた
め、ａが１の場合と、３、５、７・・・の場合とで補正
方法を変えている。
【００５９】ａ＝１の場合について示す。式（３）にａ
＝１を代入すると、変換後の動きベクトルの垂直成分Ｍ
Ｖｖ’は、以下に示す式（５）として表され、式（４）
にａ＝１を代入すると、変換後の動きベクトルの垂直成
分ＭＶｖ’は、以下に示す式（６）として表される。
＝１を代入すると、変換後の動きベクトルの垂直成分Ｍ
Ｖｖ’は、以下に示す式（５）として表され、式（４）
にａ＝１を代入すると、変換後の動きベクトルの垂直成
分ＭＶｖ’は、以下に示す式（６）として表される。
【００６０】
【数５】
【００６１】その結果、変換前の動きベクトルＭＶ
ｂｏｔｔｏｍに、０、１、２・・・を代入すると、式
（５）による値は２、４、６・・・のような偶数にな
る。すなわち、空間・時間補正を行うと、変換前の動き
ベクトルは、整数画素の位置に示しても、半画素の位置
に示しても、変換後は、全て整数画素の位置に示される
ことになる。
ｂｏｔｔｏｍに、０、１、２・・・を代入すると、式
（５）による値は２、４、６・・・のような偶数にな
る。すなわち、空間・時間補正を行うと、変換前の動き
ベクトルは、整数画素の位置に示しても、半画素の位置
に示しても、変換後は、全て整数画素の位置に示される
ことになる。
【００６２】また、式（６）による値は、１、３、５の
ような奇数になる。すなわち、時間・空間補正を行う
と、変換前の動きベクトルは、整数画素の位置に示して
も、半画素の位置に示しても、変換後は、全て半画素の
位置に示されることになる。
ような奇数になる。すなわち、時間・空間補正を行う
と、変換前の動きベクトルは、整数画素の位置に示して
も、半画素の位置に示しても、変換後は、全て半画素の
位置に示されることになる。
【００６３】したがって、変換前に整数画素の位置を示
す動きベクトルが変換後も整数画素の位置を示すように
するためには、空間・時間補正が用いられ、変換前に半
画素の位置を示す動きベクトルが変換後も半画素の位置
を示すようにするためには、時間・空間補正が用いられ
ている。
す動きベクトルが変換後も整数画素の位置を示すように
するためには、空間・時間補正が用いられ、変換前に半
画素の位置を示す動きベクトルが変換後も半画素の位置
を示すようにするためには、時間・空間補正が用いられ
ている。
【００６４】このように、変換前の動きベクトルに対し
て、空間補正及び時間補正を交互に施す、又は、これら
の補正の両方を施している。
て、空間補正及び時間補正を交互に施す、又は、これら
の補正の両方を施している。
【００６５】動きベクトル変換部２０７において、以上
の動きベクトル変換処理が終了すると、動きベクトル変
換部２０７は、補正前のＭＰＥＧ４に基づく８×８動き
ベクトルを動きベクトル調整部２０８に対して送出す
る。
の動きベクトル変換処理が終了すると、動きベクトル変
換部２０７は、補正前のＭＰＥＧ４に基づく８×８動き
ベクトルを動きベクトル調整部２０８に対して送出す
る。
【００６６】動きベクトル調整部２０８は、動きベクト
ル変換部２０７からのＭＰＥＧ４の８×８動きベクトル
を外部から入力された画像サイズ調整フラグに基づいて
画像サイズに適した動きベクトルに調整し、出力してい
る。このとき、動きベクトル調整部２０８が画像サイズ
調整フラグに基づいて、画像サイズに適した動きベクト
ルを出力する処理を図２６に示す。
ル変換部２０７からのＭＰＥＧ４の８×８動きベクトル
を外部から入力された画像サイズ調整フラグに基づいて
画像サイズに適した動きベクトルに調整し、出力してい
る。このとき、動きベクトル調整部２０８が画像サイズ
調整フラグに基づいて、画像サイズに適した動きベクト
ルを出力する処理を図２６に示す。
【００６７】動きベクトル調整部２０８は、ステップＳ
１１０において、ｍ画素×ｎ画素で入力される画像サイ
ズに対するｍ／ ２画素画像及びｎ／ ２画素画像が１６
の倍数であるか否かを判別する。
１１０において、ｍ画素×ｎ画素で入力される画像サイ
ズに対するｍ／ ２画素画像及びｎ／ ２画素画像が１６
の倍数であるか否かを判別する。
【００６８】動きベクトル調整部２０８は、ｍ／２画素
画像及びｎ／２画素画像がともに１６の倍数であった場
合、動きベクトル変換部２０３からのＭＰＥＧ４の８×
８動きベクトルを処理することなくそのまま出力してい
る。
画像及びｎ／２画素画像がともに１６の倍数であった場
合、動きベクトル変換部２０３からのＭＰＥＧ４の８×
８動きベクトルを処理することなくそのまま出力してい
る。
【００６９】一方、動きベクトル調整部２０８は、ｍ画
素×ｎ画素で入力される画像に対するｍ／２画素画像、
ｎ／２画素画像のいずれかが１６の倍数でない場合、ス
テップＳ１１１において、外部から入力された画像サイ
ズ調整フラグに応じて、画素を除去するか否かを判別す
る。画像を除去する場合、除去された８画素分の８×８
動きベクトルを出力しないで、他の８×８動きベクトル
を出力している。
素×ｎ画素で入力される画像に対するｍ／２画素画像、
ｎ／２画素画像のいずれかが１６の倍数でない場合、ス
テップＳ１１１において、外部から入力された画像サイ
ズ調整フラグに応じて、画素を除去するか否かを判別す
る。画像を除去する場合、除去された８画素分の８×８
動きベクトルを出力しないで、他の８×８動きベクトル
を出力している。
【００７０】画素を除去しない場合、動きベクトル調整
部２０８は、画素を補填する。動きベクトル調整部２０
８は、画素補填の場合、補填された８画素の８×８動き
ベクトルをゼロとして設定し、受け取った他の８×８動
きベクトルと併せて送出している。
部２０８は、画素を補填する。動きベクトル調整部２０
８は、画素補填の場合、補填された８画素の８×８動き
ベクトルをゼロとして設定し、受け取った他の８×８動
きベクトルと併せて送出している。
【００７１】動きベクトル変換部２０３がＭＰＥＧ２復
号化方式により復号された画像の動きベクトルをＭＰＥ
Ｇ４符号化方式により符号化する処理を図２７に示す構
成図を用いて説明する。図２７に示す動きベクトル変換
部２０３は、図２０に示された動きベクトル変換部２０
３に、マクロブロック情報バッファ２１１が加えられた
構造である。
号化方式により復号された画像の動きベクトルをＭＰＥ
Ｇ４符号化方式により符号化する処理を図２７に示す構
成図を用いて説明する。図２７に示す動きベクトル変換
部２０３は、図２０に示された動きベクトル変換部２０
３に、マクロブロック情報バッファ２１１が加えられた
構造である。
【００７２】動きベクトル変換部２０９は、マクロブロ
ックを構成する４つのブロックのうち、イントラでない
マクロブロックから変換されたブロックの動きベクトル
の和をイントラでないマクロブロックから変換されたブ
ロックの数で割った平均を１６×１６動きベクトルとし
て送出する。
ックを構成する４つのブロックのうち、イントラでない
マクロブロックから変換されたブロックの動きベクトル
の和をイントラでないマクロブロックから変換されたブ
ロックの数で割った平均を１６×１６動きベクトルとし
て送出する。
【００７３】第１の方法として、ＭＰＥＧ４の８×８動
きベクトルをＭＰＥＧ４の１６×１６動きベクトルへ変
換する動きベクトル変換部２０９は、ＭＰＥＧ２の１６
×１６動きベクトルをＭＰＥＧ４の８×８動きベクトル
へ変換する動きベクトル変換部２０７において変換され
たＭＰＥＧ４の８×８動きベクトルのうち、最も符号化
効率が高いと考えられるマクロブロックより生成された
動きベクトルを選択し、ＭＰＥＧ４の１６×１６動きベ
クトルとして出力している。符号化効率の判定は、マク
ロブロック情報バッファ２１１に格納された画像情報変
換装置２００に入力されるＭＰＥＧ２ビットストリーム
におけるマクロブロックごとの情報に基づいて行われて
いる。すなわち、第１の方法は、４つのマクロブロック
のうち、最も非ゼロＤＣＴ（離散コサイン変換）係数の
少ないマクロブロックを符号化効率が高いとする方法で
ある。
きベクトルをＭＰＥＧ４の１６×１６動きベクトルへ変
換する動きベクトル変換部２０９は、ＭＰＥＧ２の１６
×１６動きベクトルをＭＰＥＧ４の８×８動きベクトル
へ変換する動きベクトル変換部２０７において変換され
たＭＰＥＧ４の８×８動きベクトルのうち、最も符号化
効率が高いと考えられるマクロブロックより生成された
動きベクトルを選択し、ＭＰＥＧ４の１６×１６動きベ
クトルとして出力している。符号化効率の判定は、マク
ロブロック情報バッファ２１１に格納された画像情報変
換装置２００に入力されるＭＰＥＧ２ビットストリーム
におけるマクロブロックごとの情報に基づいて行われて
いる。すなわち、第１の方法は、４つのマクロブロック
のうち、最も非ゼロＤＣＴ（離散コサイン変換）係数の
少ないマクロブロックを符号化効率が高いとする方法で
ある。
【００７４】第２の方法は、４つのマクロブロックのう
ち、輝度成分のＤＣＴ係数に割り当てられたビット数が
最も少ないマクロブロックを符号化効率が高いとする方
法である。
ち、輝度成分のＤＣＴ係数に割り当てられたビット数が
最も少ないマクロブロックを符号化効率が高いとする方
法である。
【００７５】第３の方法は、４つのマクロブロックのう
ち、ＤＣＴ係数に割り当てられたビット数が最も少ない
マクロブロックを符号化効率が高いとする方法である。
第４の方法は、４つのマクロブロックのうち、動きベ
クトル等を含めたマクロブロックに割り当てられた全ビ
ット数が最も少ないマクロブロックを符号化効率が高い
とする方法である。
ち、ＤＣＴ係数に割り当てられたビット数が最も少ない
マクロブロックを符号化効率が高いとする方法である。
第４の方法は、４つのマクロブロックのうち、動きベ
クトル等を含めたマクロブロックに割り当てられた全ビ
ット数が最も少ないマクロブロックを符号化効率が高い
とする方法である。
【００７６】第５の方法は、４つのマクロブロックのう
ち、割り当てられた量子化スケールが最も小さいマクロ
ブロックを符号化効率が高いとする方法である。
ち、割り当てられた量子化スケールが最も小さいマクロ
ブロックを符号化効率が高いとする方法である。
【００７７】第６の方法は、４つのマクロブロックのう
ち、コンプレクシティＸとして定められる変数が最も低
いマクロブロックを符号化効率が高いとする方法であ
る。コンプレクシティとは、各マクロブロックに割り当
てられた量子化スケールＱ、及びビット数Ｂを用いて以
下に示す式（７）として計算される変数である。ここ
で、ビット数Ｂは、マクロブロック全体に割り当てられ
たビット数でもよいし、ＤＣＴ係数に割り当てられたビ
ット数でもよいし、輝度成分に割り当てられたＤＣＴ係
数に割り当てられたビット数でもよい。
ち、コンプレクシティＸとして定められる変数が最も低
いマクロブロックを符号化効率が高いとする方法であ
る。コンプレクシティとは、各マクロブロックに割り当
てられた量子化スケールＱ、及びビット数Ｂを用いて以
下に示す式（７）として計算される変数である。ここ
で、ビット数Ｂは、マクロブロック全体に割り当てられ
たビット数でもよいし、ＤＣＴ係数に割り当てられたビ
ット数でもよいし、輝度成分に割り当てられたＤＣＴ係
数に割り当てられたビット数でもよい。
【００７８】
【数６】
【００７９】図２７に示された動きベクトル変換部２０
３では、第２の方法を採用して、動きベクトル変換部２
０９においては、動きベクトル変換部２０７において生
成された当該マクロブロックに対するＭＰＥＧ４の８×
８動きベクトルのうち、最も重み付けが高いと考えられ
るマクロブロックより生成された動きベクトルを２回重
複して数え、合計５つの８×８動きベクトルのうち、中
間の長さをもつ動きベクトルを最も符号化効率が高い動
きベクトルとして選択し、ＭＰＥＧ４の１６×１６動き
ベクトルとして出力している。ここで、動きベクトルの
長さの比較は、水平方向、垂直方向のそれぞれの長さの
２乗根の和を用いている。
３では、第２の方法を採用して、動きベクトル変換部２
０９においては、動きベクトル変換部２０７において生
成された当該マクロブロックに対するＭＰＥＧ４の８×
８動きベクトルのうち、最も重み付けが高いと考えられ
るマクロブロックより生成された動きベクトルを２回重
複して数え、合計５つの８×８動きベクトルのうち、中
間の長さをもつ動きベクトルを最も符号化効率が高い動
きベクトルとして選択し、ＭＰＥＧ４の１６×１６動き
ベクトルとして出力している。ここで、動きベクトルの
長さの比較は、水平方向、垂直方向のそれぞれの長さの
２乗根の和を用いている。
【００８０】重み付け判定は、マクロブロック情報バッ
ファ２１１に格納された画像情報変換装置２００に入力
されたＭＰＥＧ２ビットストリームにおけるマクロブロ
ックごとの情報に基づいて行う。
ファ２１１に格納された画像情報変換装置２００に入力
されたＭＰＥＧ２ビットストリームにおけるマクロブロ
ックごとの情報に基づいて行う。
【００８１】すなわち、第１の方法では、４つのマクロ
ブロックのうち、非ゼロＤＣＴ係数が最も少ないマクロ
ブロックを重み付けが高いとしている。
ブロックのうち、非ゼロＤＣＴ係数が最も少ないマクロ
ブロックを重み付けが高いとしている。
【００８２】第２の方法では、４つのマクロブロックの
うち、輝度成分のＤＣＴ係数に割り当てられたビット数
が最も少ないマクロブロックを重み付けが高いとしてい
る。
うち、輝度成分のＤＣＴ係数に割り当てられたビット数
が最も少ないマクロブロックを重み付けが高いとしてい
る。
【００８３】第３の方法では、４つのマクロブロックの
うち、ＤＣＴ係数に割り当てられたビット数が最も少な
いマクロブロックを重み付けが高いとしている。
うち、ＤＣＴ係数に割り当てられたビット数が最も少な
いマクロブロックを重み付けが高いとしている。
【００８４】第４の方法は、４つのマクロブロックのう
ち、動きベクトル等を含めたマクロブロックに割り当て
られた全ビット数が最も少ないマクロブロックを重み付
けが高いとしている。
ち、動きベクトル等を含めたマクロブロックに割り当て
られた全ビット数が最も少ないマクロブロックを重み付
けが高いとしている。
【００８５】第５の方法は、４つのマクロブロックのう
ち、割り当てられた量子化スケールが最も小さいマクロ
ブロックを重み付けが高いとしている。
ち、割り当てられた量子化スケールが最も小さいマクロ
ブロックを重み付けが高いとしている。
【００８６】第６の方法は、４つのマクロブロックのう
ち、上述のコンプレクシティＸが最も低いマクロブロッ
クを重み付けが高いとしている。
ち、上述のコンプレクシティＸが最も低いマクロブロッ
クを重み付けが高いとしている。
【００８７】一方、画像サイズ調整フラグによる動きベ
クトル調整部２０８より出力された画像サイズに適した
８×８動きベクトルは、ＭＰＥＧ２のイントラマクロブ
ロックに対する補正部２１０に入力される。補正部２１
０において、ＭＰＥＧ２ビットストリームにおけるイン
トラマクロブロックから変換されたの８×８動きベクト
ルは、動きベクトル変換部２０９によって変換された１
６×１６動きベクトルに置き換え、補正される。補正後
の８×８動きベクトルと、動きベクトル変換部２０９で
求めた１６×１６動きベクトルとが合わされて、ＭＰＥ
Ｇ４の動きベクトルとして送出されている。
クトル調整部２０８より出力された画像サイズに適した
８×８動きベクトルは、ＭＰＥＧ２のイントラマクロブ
ロックに対する補正部２１０に入力される。補正部２１
０において、ＭＰＥＧ２ビットストリームにおけるイン
トラマクロブロックから変換されたの８×８動きベクト
ルは、動きベクトル変換部２０９によって変換された１
６×１６動きベクトルに置き換え、補正される。補正後
の８×８動きベクトルと、動きベクトル変換部２０９で
求めた１６×１６動きベクトルとが合わされて、ＭＰＥ
Ｇ４の動きベクトルとして送出されている。
【００８８】図２８に示すように、ＭＰＥＧ２のイント
ラマクロブロックに対する補正部２１０は、そのブロッ
クがイントラマクロブロックに対応する場合に立つイン
トラモードフラグの状態に応じて、スイッチ２２１を切
り換えて補正を行う。すなわち、補正部２１０は、イン
トラモードフラグが立っている場合には、スイッチ２２
１をＡに倒して処理を補正処理部２２１に進める。補正
処理部２２１は、イントラマクロブロックに対応する０
に設定されたＭＰＥＧ４の８×８ブロックの動きベクト
ルを、動きベクトル変換部２０９で変換されたＭＰＥＧ
４の１６×１６動きベクトルに置き換える。
ラマクロブロックに対する補正部２１０は、そのブロッ
クがイントラマクロブロックに対応する場合に立つイン
トラモードフラグの状態に応じて、スイッチ２２１を切
り換えて補正を行う。すなわち、補正部２１０は、イン
トラモードフラグが立っている場合には、スイッチ２２
１をＡに倒して処理を補正処理部２２１に進める。補正
処理部２２１は、イントラマクロブロックに対応する０
に設定されたＭＰＥＧ４の８×８ブロックの動きベクト
ルを、動きベクトル変換部２０９で変換されたＭＰＥＧ
４の１６×１６動きベクトルに置き換える。
【００８９】なお、このような置き換え処理の代わり
に、補正処理部２２１は、イントラマクロブロックに対
応するＭＰＥＧ４の８×８ブロックの動きベクトルを、
そのイントラマクロブロックの周辺に存在するインター
マクロブロックの動きベクトルから変換された動きベク
トルに置き換えることもできる。
に、補正処理部２２１は、イントラマクロブロックに対
応するＭＰＥＧ４の８×８ブロックの動きベクトルを、
そのイントラマクロブロックの周辺に存在するインター
マクロブロックの動きベクトルから変換された動きベク
トルに置き換えることもできる。
【００９０】また、補正処理部２２１は、イントラマク
ロブロックに対応するＭＰＥＧ４の８×８ブロックの動
きベクトルを、そのイントラマクロブロックに一番近い
インターマクロブロックの動きベクトルから変換された
動きベクトルに置き換えることもできる。
ロブロックに対応するＭＰＥＧ４の８×８ブロックの動
きベクトルを、そのイントラマクロブロックに一番近い
インターマクロブロックの動きベクトルから変換された
動きベクトルに置き換えることもできる。
【００９１】なお、４つのブロックともイントラマクロ
ブロックから変換された場合は、４つともに動きベクト
ルが０となり、動きベクトル変換部２０９によって求め
られる１６×１６動きベクトルも０となるため、ＭＰＥ
Ｇ４画像符号化に用いる動きベクトルは０となり、マク
ロブロックタイプがイントラモードとなる。また、イン
トラモードフラグが立たない場合、すなわち、ＭＰＥＧ
２ではイントラマクロブロックがない場合、スイッチが
Ｂ方向に倒れ、入力された８×８動きベクトルがそのま
ま出力されている。
ブロックから変換された場合は、４つともに動きベクト
ルが０となり、動きベクトル変換部２０９によって求め
られる１６×１６動きベクトルも０となるため、ＭＰＥ
Ｇ４画像符号化に用いる動きベクトルは０となり、マク
ロブロックタイプがイントラモードとなる。また、イン
トラモードフラグが立たない場合、すなわち、ＭＰＥＧ
２ではイントラマクロブロックがない場合、スイッチが
Ｂ方向に倒れ、入力された８×８動きベクトルがそのま
ま出力されている。
【００９２】図２９には、ＭＰＥＧ４の８×８動きベク
トル及びＭＰＥＧ４の１６×１６動きベクトルを格納す
る動きベクトルバッファ２２３と、画像内符号化画像の
ＶＯＰ（Video Object Plane）（以下、Ｉ−ＶＯＰと記
す。）から画像間予測符号化画像（以下、Ｐピクチャと
記す。）（以下、Ｐ−ＶＯＰと記す。）へと変換するＩ
／Ｐ変換部２２４とを備えた補正部２１０の一例が示さ
れている。
トル及びＭＰＥＧ４の１６×１６動きベクトルを格納す
る動きベクトルバッファ２２３と、画像内符号化画像の
ＶＯＰ（Video Object Plane）（以下、Ｉ−ＶＯＰと記
す。）から画像間予測符号化画像（以下、Ｐピクチャと
記す。）（以下、Ｐ−ＶＯＰと記す。）へと変換するＩ
／Ｐ変換部２２４とを備えた補正部２１０の一例が示さ
れている。
【００９３】Ｉ／Ｐ変換部２２４は、イントラマクロブ
ロックに対する動きベクトルを補正する補正部２１０に
おいて生成された当該マクロブロックに対するＭＰＥＧ
４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動
きベクトルを入力し、指定されたＭＰＥＧ４における８
×８動きベクトル及びＭＰＥＧ４の１６×１６動きベク
トルを送出する。送出する動きベクトルの指定は、Ｉ−
ＶＯＰからＰ−ＶＯＰへと変換するきベクトル変換フラ
グの情報に基づいて行う。
ロックに対する動きベクトルを補正する補正部２１０に
おいて生成された当該マクロブロックに対するＭＰＥＧ
４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動
きベクトルを入力し、指定されたＭＰＥＧ４における８
×８動きベクトル及びＭＰＥＧ４の１６×１６動きベク
トルを送出する。送出する動きベクトルの指定は、Ｉ−
ＶＯＰからＰ−ＶＯＰへと変換するきベクトル変換フラ
グの情報に基づいて行う。
【００９４】すなわち、ＭＰＥＧ２の変換フレームのフ
レームタイプがイントラフレームモードであり、変換後
のＭＰＥＧ４のＶＯＰタイプがＰ−ＶＯＰであるとき、
Ｉ−ＶＯＰからＰ−ＶＯＰへと変換する動きベクトル変
換フラグが作動し、直前に入力されたＭＰＥＧ４のＰ−
ＶＯＰの動きベクトル情報が動きベクトル情報バッファ
２２３に保存される。動きベクトル変換フラグが作動し
ないときは、入力された動きベクトルが直接出力され
る。
レームタイプがイントラフレームモードであり、変換後
のＭＰＥＧ４のＶＯＰタイプがＰ−ＶＯＰであるとき、
Ｉ−ＶＯＰからＰ−ＶＯＰへと変換する動きベクトル変
換フラグが作動し、直前に入力されたＭＰＥＧ４のＰ−
ＶＯＰの動きベクトル情報が動きベクトル情報バッファ
２２３に保存される。動きベクトル変換フラグが作動し
ないときは、入力された動きベクトルが直接出力され
る。
【００９５】ＭＰＥＧ２の１６×１６動きベクトル情報
のないイントラフレームより変換するＭＰＥＧ４動きベ
クトルの場合、直前のＭＰＥＧ４のＰ−ＶＯＰフレーム
に該当するＭＰＥＧ２の１６×１６動きベクトルから生
成されたＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ
４の１６×１６動きベクトルを出力とすることによっ
て、ＭＰＥＧ４画像情報符号化部２０４における符号化
効率の低減を最小にすることが可能である。
のないイントラフレームより変換するＭＰＥＧ４動きベ
クトルの場合、直前のＭＰＥＧ４のＰ−ＶＯＰフレーム
に該当するＭＰＥＧ２の１６×１６動きベクトルから生
成されたＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ
４の１６×１６動きベクトルを出力とすることによっ
て、ＭＰＥＧ４画像情報符号化部２０４における符号化
効率の低減を最小にすることが可能である。
【００９６】ＭＰＥＧ４のＩ−ＶＯＰからＰ−ＶＯＰへ
とＩ／Ｐ変換部２２４は、変換フレームがＭＰＥＧ２イ
ントラフレームからＭＰＥＧ４のＰ−ＶＯＰへ変換され
るフレームの場合、動きベクトル情報バッファ２２３に
保存された直前に変換されたＰ−ＶＯＰのＶＯＰ内にお
ける同座標値を有する当該ブロックの８×８動きベクト
ルを入力する。Ｉ／Ｐ変換部２２４は、入力された動き
ベクトル情報に基づいて、動きベクトルが０である場合
の予測画素値と入力画像画素値との残差比較をブロック
単位及びマクロブロック単位で行い、動きベクトル０の
予測に基づいてする残差が直前のＰ−ＶＯＰの動きベク
トルを用いた残差より少ない場合、８×８動きベクトル
情報又は１６×１６動きベクトル情報を０に置き換えて
いる。
とＩ／Ｐ変換部２２４は、変換フレームがＭＰＥＧ２イ
ントラフレームからＭＰＥＧ４のＰ−ＶＯＰへ変換され
るフレームの場合、動きベクトル情報バッファ２２３に
保存された直前に変換されたＰ−ＶＯＰのＶＯＰ内にお
ける同座標値を有する当該ブロックの８×８動きベクト
ルを入力する。Ｉ／Ｐ変換部２２４は、入力された動き
ベクトル情報に基づいて、動きベクトルが０である場合
の予測画素値と入力画像画素値との残差比較をブロック
単位及びマクロブロック単位で行い、動きベクトル０の
予測に基づいてする残差が直前のＰ−ＶＯＰの動きベク
トルを用いた残差より少ない場合、８×８動きベクトル
情報又は１６×１６動きベクトル情報を０に置き換えて
いる。
【００９７】例示した従来の画像情報変換装置２００で
は、上述のようにして、ＭＰＥＧ２のＩピクチャからＭ
ＰＥＧ４のＰ−ＶＯＰへ変換する工程で、直前のＭＰＥ
Ｇ４のＰ−ＶＯＰに使用された動きベクトル及び動きベ
クトルが０のときの予測残差の少ない動きベクトルをＭ
ＰＥＧ４の８×８動きベクトル及び１６×１６動きベク
トルとすることによって、ＭＰＥＧ４のＰ−ＶＯＰの動
きベクトルを生成し、画像情報変換装置の構成要素であ
るＭＰＥＧ４画像符号化部２０４における符号化効率の
低減を最小にしている。
は、上述のようにして、ＭＰＥＧ２のＩピクチャからＭ
ＰＥＧ４のＰ−ＶＯＰへ変換する工程で、直前のＭＰＥ
Ｇ４のＰ−ＶＯＰに使用された動きベクトル及び動きベ
クトルが０のときの予測残差の少ない動きベクトルをＭ
ＰＥＧ４の８×８動きベクトル及び１６×１６動きベク
トルとすることによって、ＭＰＥＧ４のＰ−ＶＯＰの動
きベクトルを生成し、画像情報変換装置の構成要素であ
るＭＰＥＧ４画像符号化部２０４における符号化効率の
低減を最小にしている。
【００９８】更に、ＭＰＥＧ４画像情報符号化部２０４
は、動きベクトルの検出を行わず、変換された動きベク
トルを用いて画像信号を符号化するのみである。この場
合、結果として、ＭＰＥＧ４画像情報符号化部２０４で
は動きベクトル検出を行わないことになるため、ＭＰＥ
Ｇ４画像情報符号化部２０４における演算処理量を削減
している。
は、動きベクトルの検出を行わず、変換された動きベク
トルを用いて画像信号を符号化するのみである。この場
合、結果として、ＭＰＥＧ４画像情報符号化部２０４で
は動きベクトル検出を行わないことになるため、ＭＰＥ
Ｇ４画像情報符号化部２０４における演算処理量を削減
している。
【００９９】上述のように、画像情報変換装置２００
は、ＭＰＥＧ２ビットストリームの動きベクトルからＭ
ＰＥＧ４ビットストリームの動きベクトルへの変換を行
うこと、或いは、動きベクトル以外にもＭＰＥＧ２方式
での復号に用いたパラメータ又はＭＰＥＧ４形式への変
換後のパラメータを採用することによって、ＭＰＥＧ４
画像情報符号化部２０４における演算処理量を削減し、
時間遅延を低減している。
は、ＭＰＥＧ２ビットストリームの動きベクトルからＭ
ＰＥＧ４ビットストリームの動きベクトルへの変換を行
うこと、或いは、動きベクトル以外にもＭＰＥＧ２方式
での復号に用いたパラメータ又はＭＰＥＧ４形式への変
換後のパラメータを採用することによって、ＭＰＥＧ４
画像情報符号化部２０４における演算処理量を削減し、
時間遅延を低減している。
【０１００】
【発明が解決しようとする課題】従来の画像情報変換装
置２００では、動きベクトル変換部２０９において、動
きベクトル変換部２０７の出力となるＭＰＥＧ４の８×
８動きベクトルの平均値を算出している。画像情報変換
装置２００は、ＭＰＥＧ４における８×８動きベクトル
の代表値を選択することで、ＭＰＥＧ４における１６×
１６動きベクトルを生成している。
置２００では、動きベクトル変換部２０９において、動
きベクトル変換部２０７の出力となるＭＰＥＧ４の８×
８動きベクトルの平均値を算出している。画像情報変換
装置２００は、ＭＰＥＧ４における８×８動きベクトル
の代表値を選択することで、ＭＰＥＧ４における１６×
１６動きベクトルを生成している。
【０１０１】しかしながら、従来の画像情報変換装置２
００では、ＭＰＥＧ２に基づく動きベクトルをＭＰＥＧ
４に基づく動きベクトルに変換する際、画素数（空間解
像度）、ＳＮＲ（画素値の量子化精度）、フレーム数等
を拡大、縮小、増加、減少する等のスケーリング処理に
より、動きベクトルの精度に誤差が発生し、符号化効率
が低下するという問題点があった。
００では、ＭＰＥＧ２に基づく動きベクトルをＭＰＥＧ
４に基づく動きベクトルに変換する際、画素数（空間解
像度）、ＳＮＲ（画素値の量子化精度）、フレーム数等
を拡大、縮小、増加、減少する等のスケーリング処理に
より、動きベクトルの精度に誤差が発生し、符号化効率
が低下するという問題点があった。
【０１０２】そこで本発明は、上述した従来の実情に鑑
みてなされたものであり、符号化処理工程における符号
化効率の低下を軽減する動きベクトル変換装置及び動き
ベクトル変換方法を提供することを目的とする。
みてなされたものであり、符号化処理工程における符号
化効率の低下を軽減する動きベクトル変換装置及び動き
ベクトル変換方法を提供することを目的とする。
【０１０３】
【課題を解決するための手段】本発明は、水平方向及び
垂直方向ともに１６成分の離散コサイン変換係数からな
るマクロブロックから構成される飛び越し走査の画像を
符号化した入力画像圧縮情報を、水平方向及び垂直方向
ともに１６成分の離散コサイン変換係数からなるマクロ
ブロックから構成され、飛び越し走査の画像に対して水
平方向及び垂直方向ともに１／２のサイズを有する順次
走査の画像を符号化した出力画像圧縮情報へと変換する
際、動きベクトルを変換する動きベクトル変換装置にお
いて、入力画像圧縮情報のマクロブロックは、変換によ
り水平方向及び垂直方向ともに８成分のブロックに変換
され、入力画像圧縮情報のマクロブロックを動き補償す
る第１の動きベクトルに基づいて、出力画像圧縮情報の
マクロブロックを構成し、ブロックの各々を動き補償す
る第２の動きベクトルを生成し、この第２の動きベクト
ルのうち、符号化効率の最も高い動きベクトルを出力画
像圧縮情報のマクロブロックを動き補償する第３の動き
ベクトルとする変換手段と、第１の動きベクトルに基づ
いて生成された第２の動きベクトルを再度入力し、当該
第２の動きベクトルの値の近傍で第２の動きベクトルを
再検索し補正する動きベクトル補正手段とを有すること
により、上述した課題を達成する。
垂直方向ともに１６成分の離散コサイン変換係数からな
るマクロブロックから構成される飛び越し走査の画像を
符号化した入力画像圧縮情報を、水平方向及び垂直方向
ともに１６成分の離散コサイン変換係数からなるマクロ
ブロックから構成され、飛び越し走査の画像に対して水
平方向及び垂直方向ともに１／２のサイズを有する順次
走査の画像を符号化した出力画像圧縮情報へと変換する
際、動きベクトルを変換する動きベクトル変換装置にお
いて、入力画像圧縮情報のマクロブロックは、変換によ
り水平方向及び垂直方向ともに８成分のブロックに変換
され、入力画像圧縮情報のマクロブロックを動き補償す
る第１の動きベクトルに基づいて、出力画像圧縮情報の
マクロブロックを構成し、ブロックの各々を動き補償す
る第２の動きベクトルを生成し、この第２の動きベクト
ルのうち、符号化効率の最も高い動きベクトルを出力画
像圧縮情報のマクロブロックを動き補償する第３の動き
ベクトルとする変換手段と、第１の動きベクトルに基づ
いて生成された第２の動きベクトルを再度入力し、当該
第２の動きベクトルの値の近傍で第２の動きベクトルを
再検索し補正する動きベクトル補正手段とを有すること
により、上述した課題を達成する。
【０１０４】また、本発明は、水平方向及び垂直方向と
もに１６成分の離散コサイン変換係数からなるマクロブ
ロックから構成される飛び越し走査の画像を符号化した
入力画像圧縮情報を、水平方向及び垂直方向ともに１６
成分の離散コサイン変換係数からなるマクロブロックか
ら構成され、飛び越し走査の画像に対して水平方向及び
垂直方向ともに１／２のサイズを有する順次走査の画像
を符号化した出力画像圧縮情報へと変換する際、動きベ
クトルを変換する動きベクトル変換方法において、入力
画像圧縮情報のマクロブロックは、変換により水平方向
及び垂直方向ともに８成分のブロックに変換され、入力
画像圧縮情報のマクロブロックを動き補償する第１の動
きベクトルに基づいて、出力画像圧縮情報のマクロブロ
ックを構成し、ブロックの各々を動き補償する第２の動
きベクトルを生成し、この第２の動きベクトルのうち、
符号化効率の最も高い動きベクトルを出力画像圧縮情報
のマクロブロックを動き補償する第３の動きベクトルと
し、第１の動きベクトルに基づいて生成された第２の動
きベクトルを再度入力し、当該第２の動きベクトルの値
の近傍で第２の動きベクトルを再検索し補正することに
より、上述した課題を達成する。
もに１６成分の離散コサイン変換係数からなるマクロブ
ロックから構成される飛び越し走査の画像を符号化した
入力画像圧縮情報を、水平方向及び垂直方向ともに１６
成分の離散コサイン変換係数からなるマクロブロックか
ら構成され、飛び越し走査の画像に対して水平方向及び
垂直方向ともに１／２のサイズを有する順次走査の画像
を符号化した出力画像圧縮情報へと変換する際、動きベ
クトルを変換する動きベクトル変換方法において、入力
画像圧縮情報のマクロブロックは、変換により水平方向
及び垂直方向ともに８成分のブロックに変換され、入力
画像圧縮情報のマクロブロックを動き補償する第１の動
きベクトルに基づいて、出力画像圧縮情報のマクロブロ
ックを構成し、ブロックの各々を動き補償する第２の動
きベクトルを生成し、この第２の動きベクトルのうち、
符号化効率の最も高い動きベクトルを出力画像圧縮情報
のマクロブロックを動き補償する第３の動きベクトルと
し、第１の動きベクトルに基づいて生成された第２の動
きベクトルを再度入力し、当該第２の動きベクトルの値
の近傍で第２の動きベクトルを再検索し補正することに
より、上述した課題を達成する。
【０１０５】
【発明の実施の形態】以下、図面を参照し、本発明の実
施例について説明する。本発明の実施の形態として示す
画像情報変換装置は、ＭＰＥＧ（Moving Picture Exper
ts Group）によって標準化されたＭＰＥＧ２画像圧縮情
報に基づく水平方向及び垂直方向ともに１６成分の離散
コサイン変換係数からなるマクロブロック（以下、１６
×１６マクロブロックと記す。）を補正して、ＭＰＥＧ
４画像圧縮情報に基づく水平方向及び垂直方向ともに８
成分のブロック（以下、８×８ブロックと記す。）を生
成し、更に、このＭＰＥＧ２画像圧縮情報に基づく８×
８ブロックをＭＰＥＧ４画像圧縮情報に基づく１６×１
６マクロブロックへと変換する画像情報変換装置であっ
て、ＭＰＥＧ４の８×８ブロックのうち、最も符号化効
率が高い８×８ブロックを選択し、これをＭＰＥＧ４の
１６×１６マクロブロックとする動きベクトル変換部を
備え、更に、動きベクトル変換部において変換された動
きベクトルを受け取り、当該動きベクトルの値に基づい
て動きベクトルを再検索し、補正する動きベクトル検索
補正部を備えることにより、動きベクトル変換時におけ
る動きベクトル精度の誤差を抑え、符号化効率の低下を
防ぐものである。
施例について説明する。本発明の実施の形態として示す
画像情報変換装置は、ＭＰＥＧ（Moving Picture Exper
ts Group）によって標準化されたＭＰＥＧ２画像圧縮情
報に基づく水平方向及び垂直方向ともに１６成分の離散
コサイン変換係数からなるマクロブロック（以下、１６
×１６マクロブロックと記す。）を補正して、ＭＰＥＧ
４画像圧縮情報に基づく水平方向及び垂直方向ともに８
成分のブロック（以下、８×８ブロックと記す。）を生
成し、更に、このＭＰＥＧ２画像圧縮情報に基づく８×
８ブロックをＭＰＥＧ４画像圧縮情報に基づく１６×１
６マクロブロックへと変換する画像情報変換装置であっ
て、ＭＰＥＧ４の８×８ブロックのうち、最も符号化効
率が高い８×８ブロックを選択し、これをＭＰＥＧ４の
１６×１６マクロブロックとする動きベクトル変換部を
備え、更に、動きベクトル変換部において変換された動
きベクトルを受け取り、当該動きベクトルの値に基づい
て動きベクトルを再検索し、補正する動きベクトル検索
補正部を備えることにより、動きベクトル変換時におけ
る動きベクトル精度の誤差を抑え、符号化効率の低下を
防ぐものである。
【０１０６】画像情報変換装置１は、図１に示すよう
に、ＭＰＥＧ２画像情報復号化部１１と、解像度／フレ
ームレート変換部１２と、動きベクトル変換部１３と、
動きベクトル補正部１４と、ＭＰＥＧ４画像情報符号化
部１５とを備えている。更に、解像度／フレームレート
変換部１２は、解像度フレーム変換部１６と、画像補填
・除去部１７とを有する。動きベクトル補正部１４は、
具体的には、図２に示すように、動きベクトル整数画素
検索部１８と、動きベクトル半画素検索部１９とを有し
ている。
に、ＭＰＥＧ２画像情報復号化部１１と、解像度／フレ
ームレート変換部１２と、動きベクトル変換部１３と、
動きベクトル補正部１４と、ＭＰＥＧ４画像情報符号化
部１５とを備えている。更に、解像度／フレームレート
変換部１２は、解像度フレーム変換部１６と、画像補填
・除去部１７とを有する。動きベクトル補正部１４は、
具体的には、図２に示すように、動きベクトル整数画素
検索部１８と、動きベクトル半画素検索部１９とを有し
ている。
【０１０７】画像情報変換装置１において入力されたＭ
ＰＥＧ２ビットストリームとしての画像を図３（ａ）
に、画像情報変換装置１から出力されるＭＰＥＧ４ビッ
トストリームとしての画像を図３（ｂ）に示す。
ＰＥＧ２ビットストリームとしての画像を図３（ａ）
に、画像情報変換装置１から出力されるＭＰＥＧ４ビッ
トストリームとしての画像を図３（ｂ）に示す。
【０１０８】図３（ａ）に示す解像度変換前の現フレー
ム５０の左下には、太陽５１及び山５２が表示されてい
るものとする。また、現フレーム５０の太陽５１は、前
フレームでは領域５３に位置していたものとする。そし
て、図中のＭＶは、前フレームの太陽５４の位置を始点
として現フレーム５０の太陽５１に向かう動きベクトル
を表している。なお、この動きベクトルＭＶは、フレー
ムの水平成分及び垂直成分にそれぞれ分解することがで
きる。
ム５０の左下には、太陽５１及び山５２が表示されてい
るものとする。また、現フレーム５０の太陽５１は、前
フレームでは領域５３に位置していたものとする。そし
て、図中のＭＶは、前フレームの太陽５４の位置を始点
として現フレーム５０の太陽５１に向かう動きベクトル
を表している。なお、この動きベクトルＭＶは、フレー
ムの水平成分及び垂直成分にそれぞれ分解することがで
きる。
【０１０９】一方、図３（ｂ）に示す解像度変換後の現
フレーム５５に左下には、太陽５６及び山５７が表示さ
れているとする。また、現フレーム５５の太陽５６は、
前フレームでは図中の領域５８に位置していたものとす
る。そして、図中の動きベクトルＭＶ’は、前フレーム
の太陽５９の位置を始点として現フレーム５５の太陽５
６に向かう動きベクトルを表している。なお、この動き
ベクトルＭＶ’も、フレームの水平成分及び垂直成分に
それぞれ分解することができる。
フレーム５５に左下には、太陽５６及び山５７が表示さ
れているとする。また、現フレーム５５の太陽５６は、
前フレームでは図中の領域５８に位置していたものとす
る。そして、図中の動きベクトルＭＶ’は、前フレーム
の太陽５９の位置を始点として現フレーム５５の太陽５
６に向かう動きベクトルを表している。なお、この動き
ベクトルＭＶ’も、フレームの水平成分及び垂直成分に
それぞれ分解することができる。
【０１１０】解像度変換後の動きベクトルＭＶ’は、解
像度変換前の動きベクトルＭＶから解像度変換レートに
基づいて求めることができる。すなわち、解像度変換後
の動きベクトルＭＶ’の水平成分は、解像度変換前の動
きベクトルＭＶの水平成分ＭＶｈと、水平方向（横方
向）の解像度変換レートとを用いることによって求めら
れる。同様に解像度変換後の動きベクトルＭＶ’の垂直
成分は、解像度変換前の動きベクトルＭＶｖの垂直成分
と、垂直方向（縦方向）の解像度変換レートとを用いる
ことによって求められる。このように、解像度変換前の
ＭＰＥＧ２ビットストリームにおける動きベクトルと変
換後のＭＰＥＧ４ビットストリームにおける動きベクト
ルとの間には、相関関係がある。
像度変換前の動きベクトルＭＶから解像度変換レートに
基づいて求めることができる。すなわち、解像度変換後
の動きベクトルＭＶ’の水平成分は、解像度変換前の動
きベクトルＭＶの水平成分ＭＶｈと、水平方向（横方
向）の解像度変換レートとを用いることによって求めら
れる。同様に解像度変換後の動きベクトルＭＶ’の垂直
成分は、解像度変換前の動きベクトルＭＶｖの垂直成分
と、垂直方向（縦方向）の解像度変換レートとを用いる
ことによって求められる。このように、解像度変換前の
ＭＰＥＧ２ビットストリームにおける動きベクトルと変
換後のＭＰＥＧ４ビットストリームにおける動きベクト
ルとの間には、相関関係がある。
【０１１１】したがって、画像情報変換装置１は、この
ような相関関係に基づいて、ＭＰＥＧ２のマクロブロッ
ク動きベクトルやマクロブロックタイプ等のパラメータ
を利用することで、入力されたＭＰＥＧ２ビットストリ
ームをＭＰＥＧ４ビットストリームの動きベクトルへ簡
潔に変換している。
ような相関関係に基づいて、ＭＰＥＧ２のマクロブロッ
ク動きベクトルやマクロブロックタイプ等のパラメータ
を利用することで、入力されたＭＰＥＧ２ビットストリ
ームをＭＰＥＧ４ビットストリームの動きベクトルへ簡
潔に変換している。
【０１１２】続いて、画像情報変換装置１の各部におけ
る処理を具体的に説明する。ＭＰＥＧ２画像情報復号化
部１１は、ＭＰＥＧ２ビットストリームを入力し、復号
化処理を施して解像度／フレームレート変換部１２へと
送出する。ＭＰＥＧ２画像情報復号化部１１は、水平及
び垂直方向成分に対して、入力されたＭＰＥＧ２ビット
ストリームの８次のＤＣＴ（離散コサイン変換）係数の
全てを用いた復号処理を行う。
る処理を具体的に説明する。ＭＰＥＧ２画像情報復号化
部１１は、ＭＰＥＧ２ビットストリームを入力し、復号
化処理を施して解像度／フレームレート変換部１２へと
送出する。ＭＰＥＧ２画像情報復号化部１１は、水平及
び垂直方向成分に対して、入力されたＭＰＥＧ２ビット
ストリームの８次のＤＣＴ（離散コサイン変換）係数の
全てを用いた復号処理を行う。
【０１１３】解像度／フレームレート変換部１２は、Ｍ
ＰＥＧ２画像情報復号化部１１からのＭＰＥＧ２ビット
ストリームに解像度・フレームレート変換を施し、外部
から入力された画像サイズ調整フラグに基づいて、ＭＰ
ＥＧ４画像符号化に適した解像度とされた画像を出力す
る。画像サイズ調整フラグとは、解像度／フレームレー
ト変換部１２に入力される画像のうち、縦・横の画素数
が１６の倍数でない画像に対して、１６の整数倍になる
ように画素を補填するか、画素を除去するかを判別する
ためのフラグである。
ＰＥＧ２画像情報復号化部１１からのＭＰＥＧ２ビット
ストリームに解像度・フレームレート変換を施し、外部
から入力された画像サイズ調整フラグに基づいて、ＭＰ
ＥＧ４画像符号化に適した解像度とされた画像を出力す
る。画像サイズ調整フラグとは、解像度／フレームレー
ト変換部１２に入力される画像のうち、縦・横の画素数
が１６の倍数でない画像に対して、１６の整数倍になる
ように画素を補填するか、画素を除去するかを判別する
ためのフラグである。
【０１１４】解像度／フレームレート変換部１２が画像
の解像度を縦・横ともに１／２にする画素間引き処理
（以下、ダウンサンプリング処理と記す。）を図４に例
示する。縦方向のダウンサンプリング処理は、入力した
飛び越し走査画像の第一フィールド（top field：トッ
プフィールド）、第二フィールド（bottom field：ボト
ムフィールド）を抽出し、順次走査画像に変換する。一
方、横方向のダウンサンプリング処理は、ダウンサンプ
リングフィルタを用いて、１／２の解像度に変換する。
また、低ビットレート化を実現するために、解像度変換
による圧縮だけではなく、画像内符号化画像（以下、Ｉ
ピクチャと記す。）及び画像間予測符号化画像（以下、
Ｐピクチャと記す。）のみで構成される第一フィールド
又は第二フィールドを抜き出すことによって、時間軸方
向のフレームレートを低下させている。
の解像度を縦・横ともに１／２にする画素間引き処理
（以下、ダウンサンプリング処理と記す。）を図４に例
示する。縦方向のダウンサンプリング処理は、入力した
飛び越し走査画像の第一フィールド（top field：トッ
プフィールド）、第二フィールド（bottom field：ボト
ムフィールド）を抽出し、順次走査画像に変換する。一
方、横方向のダウンサンプリング処理は、ダウンサンプ
リングフィルタを用いて、１／２の解像度に変換する。
また、低ビットレート化を実現するために、解像度変換
による圧縮だけではなく、画像内符号化画像（以下、Ｉ
ピクチャと記す。）及び画像間予測符号化画像（以下、
Ｐピクチャと記す。）のみで構成される第一フィールド
又は第二フィールドを抜き出すことによって、時間軸方
向のフレームレートを低下させている。
【０１１５】例えば、図４（ａ）に示されるＩピクチャ
と双方向予測符号化画像（以下、Ｂピクチャと記す。）
とを含むＭＰＥＧ２の第一フィールドのＩＢＢＰＢＢの
画像は、解像度・フレーム変換の際にＢピクチャを抜き
出すことによって、図４（ｂ）に示されたＩＰＰＰの第
一フィールドの構成になる。解像度・フレーム変換を行
った画像は、ＭＰＥＧ４画像符号化方式で符号化できる
ように、外部から入力される画像サイズ調整フラグに基
づいて画素補填又は画素除去が施され、縦・横の画素数
が１６の倍数とされる。
と双方向予測符号化画像（以下、Ｂピクチャと記す。）
とを含むＭＰＥＧ２の第一フィールドのＩＢＢＰＢＢの
画像は、解像度・フレーム変換の際にＢピクチャを抜き
出すことによって、図４（ｂ）に示されたＩＰＰＰの第
一フィールドの構成になる。解像度・フレーム変換を行
った画像は、ＭＰＥＧ４画像符号化方式で符号化できる
ように、外部から入力される画像サイズ調整フラグに基
づいて画素補填又は画素除去が施され、縦・横の画素数
が１６の倍数とされる。
【０１１６】画像の垂直方向のダウンサンプリングは、
図４（ａ）の第一フィールド（topfield：トップフィー
ルド）及び図４（ｂ）の第二フィールド（bottom fiel
d：ボトムフィールド）から第一フィールドを抽出し
て、飛び越し走査の画像を図４（ｃ）に示す順次走査の
画像に変換することにより行う。この変換により、画像
の垂直方向の解像度は１／２になる。なお、垂直方向の
ダウンサンプリングは、図４（ａ）及び（ｂ）に示すフ
レームから図４（ｂ）に示す第二フィールドを抽出する
ことによって行ってもよい。
図４（ａ）の第一フィールド（topfield：トップフィー
ルド）及び図４（ｂ）の第二フィールド（bottom fiel
d：ボトムフィールド）から第一フィールドを抽出し
て、飛び越し走査の画像を図４（ｃ）に示す順次走査の
画像に変換することにより行う。この変換により、画像
の垂直方向の解像度は１／２になる。なお、垂直方向の
ダウンサンプリングは、図４（ａ）及び（ｂ）に示すフ
レームから図４（ｂ）に示す第二フィールドを抽出する
ことによって行ってもよい。
【０１１７】実際には、垂直方向のダウンサンプリング
は、ビットレートを低下させるためのフレームレート変
換と同時に行われる。すなわち、図４（ｃ）に示す順次
走査の画像は、ＩＢＢＰのピクチャのうちでＩピクチャ
及びＰピクチャから抽出された第一フィールドから構成
される。
は、ビットレートを低下させるためのフレームレート変
換と同時に行われる。すなわち、図４（ｃ）に示す順次
走査の画像は、ＩＢＢＰのピクチャのうちでＩピクチャ
及びＰピクチャから抽出された第一フィールドから構成
される。
【０１１８】これにより、図４（ａ）及び（ｂ）に示さ
れたＩＢＢＰのフレームから構成される飛び越し走査の
画像は、解像度・フレーム変換後、図４（ｃ）に示すよ
うにＩＰの第一フィールドから構成される順次走査の画
像になる。解像度／フレーム変換を行った画像は、ＭＰ
ＥＧ４画像符号化方式により符号化できるように、縦・
横の画素数がともに１６の倍数にする。そのため、外部
から入力される画像サイズ調整フラグにより、画素の補
填、或いは、画素の除去を行う。画像サイズ調整フラグ
は、解像度／フレームレート変換部１２の外部から入力
され、画像の縦・横の画素数が１６の倍数でない場合に
対し、画像への画素補填若しくは、除去を判別するため
のフラグである。
れたＩＢＢＰのフレームから構成される飛び越し走査の
画像は、解像度・フレーム変換後、図４（ｃ）に示すよ
うにＩＰの第一フィールドから構成される順次走査の画
像になる。解像度／フレーム変換を行った画像は、ＭＰ
ＥＧ４画像符号化方式により符号化できるように、縦・
横の画素数がともに１６の倍数にする。そのため、外部
から入力される画像サイズ調整フラグにより、画素の補
填、或いは、画素の除去を行う。画像サイズ調整フラグ
は、解像度／フレームレート変換部１２の外部から入力
され、画像の縦・横の画素数が１６の倍数でない場合に
対し、画像への画素補填若しくは、除去を判別するため
のフラグである。
【０１１９】次に、解像度／フレームレート変換部１２
が画像サイズ調整フラグを用いて画像の解像度を変更す
る処理について、図５を用いて説明する。具体的には、
解像度／フレームレート変換部１２において、画像補填
・除去部１７は、外部から入力される画像サイズ調整フ
ラグに基づいて、画素の補填又は除去を行うことにより
画像の水平方向及び垂直方向の画素数がともに１６の倍
数になるようにする。これによって、画像のサイズは、
ＭＰＥＧ４画像情報符号化部１５で行われる１６×１６
マクロブロックの符号化に適合するようになる。
が画像サイズ調整フラグを用いて画像の解像度を変更す
る処理について、図５を用いて説明する。具体的には、
解像度／フレームレート変換部１２において、画像補填
・除去部１７は、外部から入力される画像サイズ調整フ
ラグに基づいて、画素の補填又は除去を行うことにより
画像の水平方向及び垂直方向の画素数がともに１６の倍
数になるようにする。これによって、画像のサイズは、
ＭＰＥＧ４画像情報符号化部１５で行われる１６×１６
マクロブロックの符号化に適合するようになる。
【０１２０】画像補填・除去部１７における処理は、図
５に示すような手順によって行われる。
５に示すような手順によって行われる。
【０１２１】図５（ａ）に示すように、解像度／フレー
ムレート変換部１２には、ＭＰＥＧ２画像情報復号化部
１１で水平方向及び垂直方向ともに１６成分のＤＣＴ係
数からなるマクロブロックごとに復号され、１６×１６
マクロブロックを構成要素とした画像が入力される。し
たがって、入力された画像を水平方向にｍ画素及び垂直
方向にｎ画素とすると、ｍ及びｎはともに１６の倍数で
ある。
ムレート変換部１２には、ＭＰＥＧ２画像情報復号化部
１１で水平方向及び垂直方向ともに１６成分のＤＣＴ係
数からなるマクロブロックごとに復号され、１６×１６
マクロブロックを構成要素とした画像が入力される。し
たがって、入力された画像を水平方向にｍ画素及び垂直
方向にｎ画素とすると、ｍ及びｎはともに１６の倍数で
ある。
【０１２２】この画像は、解像度／フレームレート変換
部１２の解像度フレーム変換部１６によって、水平方向
及び垂直方向ともに１／２に解像度変換され、水平方向
にｍ／２画素及び垂直方向にｎ／２画素から構成される
ようになる。このように解像度変換により水平方向にｍ
／２画素及び垂直方向にｎ／２画素から構成されるよう
になった画像が画像補填・除去部１７に入力されるが、
これらｍ／２及びｎ／２は、１６で割り切れる場合と、
１６で割ると８余る場合とがある。
部１２の解像度フレーム変換部１６によって、水平方向
及び垂直方向ともに１／２に解像度変換され、水平方向
にｍ／２画素及び垂直方向にｎ／２画素から構成される
ようになる。このように解像度変換により水平方向にｍ
／２画素及び垂直方向にｎ／２画素から構成されるよう
になった画像が画像補填・除去部１７に入力されるが、
これらｍ／２及びｎ／２は、１６で割り切れる場合と、
１６で割ると８余る場合とがある。
【０１２３】そこで、画像補填・除去部１７において
は、図５のＳ１に示すように、ｍ／２及びｎ／２が１６
の倍数である場合とそうでない場合によって処理を分岐
させている。
は、図５のＳ１に示すように、ｍ／２及びｎ／２が１６
の倍数である場合とそうでない場合によって処理を分岐
させている。
【０１２４】すなわち、図５（ｂ）に示すように、ｍ／
２及びｎ／２がともに１６の倍数の場合には、画像のサ
イズはＭＰＥＧ４の画像圧縮符号化に適合する。したが
って、この場合には、画像補填・除去部１７は、画素の
補填又は除去を行うことなく水平方向にｍ／２及び垂直
方向にｎ／２画素の画像をそのまま出力する。
２及びｎ／２がともに１６の倍数の場合には、画像のサ
イズはＭＰＥＧ４の画像圧縮符号化に適合する。したが
って、この場合には、画像補填・除去部１７は、画素の
補填又は除去を行うことなく水平方向にｍ／２及び垂直
方向にｎ／２画素の画像をそのまま出力する。
【０１２５】ｍ／２又はｎ／２の少なくとも一方が１６
で割ると８余る場合には、画像のサイズは、ＭＰＥＧ４
の画像圧縮符号化に適合していない。したがって、この
場合には、画像補填／除去部５ｂは、画像のサイズをＭ
ＰＥＧ４の画像圧縮符号化に適合させるために、画素の
補填又は除去を行うことにより画像のサイズを変更す
る。
で割ると８余る場合には、画像のサイズは、ＭＰＥＧ４
の画像圧縮符号化に適合していない。したがって、この
場合には、画像補填／除去部５ｂは、画像のサイズをＭ
ＰＥＧ４の画像圧縮符号化に適合させるために、画素の
補填又は除去を行うことにより画像のサイズを変更す
る。
【０１２６】なお、以下では便宜上、水平方向のｍ／２
画素が１６で割り切れない場合について例示するが、垂
直方向のｎ／２画素が１６で割り切れない場合や、水平
方向のｍ／２画素及び垂直方向のｎ／２画素がともに１
６で割り切れない場合についても同様である。
画素が１６で割り切れない場合について例示するが、垂
直方向のｎ／２画素が１６で割り切れない場合や、水平
方向のｍ／２画素及び垂直方向のｎ／２画素がともに１
６で割り切れない場合についても同様である。
【０１２７】画像補填・除去部１７は、外部から入力さ
れた画像サイズ調整フラグに応じて、画像へ８画素を補
填する処理と、画像から８画素を除去する処理をスイッ
チＳ２で切り換える。
れた画像サイズ調整フラグに応じて、画像へ８画素を補
填する処理と、画像から８画素を除去する処理をスイッ
チＳ２で切り換える。
【０１２８】すなわち、画像サイズ調整フラグに応じて
８画素を除去する場合には、スイッチＳ２で画素の除去
を選択する。この場合には、図５（ｃ）に示すように、
水平方向にｍ／２画素の画像の例えば後部から水平方向
に８画素が除去される。これによって、画像は水平方向
にはｍ／２−８画素（すなわち、１６で割り切れる画素
数）から構成されるようになる。同様に、画像の水平方
向に先頭から画素を除去することもできる。
８画素を除去する場合には、スイッチＳ２で画素の除去
を選択する。この場合には、図５（ｃ）に示すように、
水平方向にｍ／２画素の画像の例えば後部から水平方向
に８画素が除去される。これによって、画像は水平方向
にはｍ／２−８画素（すなわち、１６で割り切れる画素
数）から構成されるようになる。同様に、画像の水平方
向に先頭から画素を除去することもできる。
【０１２９】一方、画像調整フラグに応じて８画素を補
填する場合には、スイッチＳ２で画素の補填を選択す
る。この場合には、図５（ｄ）に示すように、水平方向
にｍ／２画素の画像の例えば後部に８画素が補填され
る。これによって、画素は水平方向にはｍ／２＋８画素
（すなわち、１６で割り切れる画素数）から構成される
ようになる。同様に、画像の水平方向に先頭に画素を補
填することもできる。なお、画像に補填する画素は、新
たに作成したり、補填前の画像から複製したり、画像に
適した画素を選択したものを使用することができる。
填する場合には、スイッチＳ２で画素の補填を選択す
る。この場合には、図５（ｄ）に示すように、水平方向
にｍ／２画素の画像の例えば後部に８画素が補填され
る。これによって、画素は水平方向にはｍ／２＋８画素
（すなわち、１６で割り切れる画素数）から構成される
ようになる。同様に、画像の水平方向に先頭に画素を補
填することもできる。なお、画像に補填する画素は、新
たに作成したり、補填前の画像から複製したり、画像に
適した画素を選択したものを使用することができる。
【０１３０】このような画像補填・除去部１７における
画素の補填又は除去により、画像の水平方向及び垂直方
向の画素数はともに１６の倍数になり、ＭＰＥＧ４画像
情報符号化部１５におけるＭＰＥＧ４ビットストリーム
への符号化に適合するようになる。結果として、解像度
／フレームレート変換部１２は、変換後の画像解像度の
縦と横の画素数が１６の倍数であるＭＰＥＧ４符号化方
式に適した画像サイズを有した画像を出力する。
画素の補填又は除去により、画像の水平方向及び垂直方
向の画素数はともに１６の倍数になり、ＭＰＥＧ４画像
情報符号化部１５におけるＭＰＥＧ４ビットストリーム
への符号化に適合するようになる。結果として、解像度
／フレームレート変換部１２は、変換後の画像解像度の
縦と横の画素数が１６の倍数であるＭＰＥＧ４符号化方
式に適した画像サイズを有した画像を出力する。
【０１３１】続いて、動きベクトル変換部１３が動きベ
クトルを変換する処理について、図６を用いて説明す
る。
クトルを変換する処理について、図６を用いて説明す
る。
【０１３２】図６（ａ）はＭＰＥＧ２画像情報復号化部
２０１より出力された画像を表している。図６（ｂ）
は、図６（ａ）に示す画像を解像度／フレームレート変
換部１２で水平方向及び垂直方向ともに１／２の解像度
に変換された画像を表している。
２０１より出力された画像を表している。図６（ｂ）
は、図６（ａ）に示す画像を解像度／フレームレート変
換部１２で水平方向及び垂直方向ともに１／２の解像度
に変換された画像を表している。
【０１３３】例えば、図６（ａ）に示した解像度変換前
の画像における左上の１６×１６マクロブロック６１
は、解像度／フレームレート変換部１２によって、図６
（ｂ）に示した変換後の画像における左上の８×８ブロ
ック６２に変換される。同様に、図６（ａ）に示した解
像度変換前の画像における４つの１６×１６マクロブロ
ック６３は、解像度／フレームレート変換部１２による
解像度変換後の画像における４つの８×８ブロック６４
に対応している。これら４つの８×８ブロック６４によ
って、１つの１６×１６マクロブロックが構成される。
の画像における左上の１６×１６マクロブロック６１
は、解像度／フレームレート変換部１２によって、図６
（ｂ）に示した変換後の画像における左上の８×８ブロ
ック６２に変換される。同様に、図６（ａ）に示した解
像度変換前の画像における４つの１６×１６マクロブロ
ック６３は、解像度／フレームレート変換部１２による
解像度変換後の画像における４つの８×８ブロック６４
に対応している。これら４つの８×８ブロック６４によ
って、１つの１６×１６マクロブロックが構成される。
【０１３４】解像度変換前の画像における４つの１６×
１６マクロブロック６３の各マクロブロックの動きベク
トルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４は、解像度変換後
の画像における４つの８×８ブロック６４の動きベクト
ルｍｖ１、ｍｖ２、ｍｖ３、ｍｖ４にそれぞれ対応して
いる。
１６マクロブロック６３の各マクロブロックの動きベク
トルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４は、解像度変換後
の画像における４つの８×８ブロック６４の動きベクト
ルｍｖ１、ｍｖ２、ｍｖ３、ｍｖ４にそれぞれ対応して
いる。
【０１３５】なお、１６×１６マクロブロックの動きベ
クトルを１６×１６動きベクトル、８×８ブロックの動
きベクトルを８×８動きベクトルと称する。
クトルを１６×１６動きベクトル、８×８ブロックの動
きベクトルを８×８動きベクトルと称する。
【０１３６】解像度／フレームレート変換部１２による
解像度変換の前後の画像に対応する動きベクトルの相関
により、解像度変換後の８×８ブロックの動きベクトル
は、解像度変換前の１６×１６マクロブロックの動きベ
クトルより求めることができる。したがって、解像度変
換前の４つの１６×１６マクロブロック６３の動きベク
トルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４から、解像度変換
後の４つのブロック６４の動きベクトルｍｖ１，ｍｖ
２，ｍｖ３，ｍｖ４をそれぞれ求めることができる。
解像度変換の前後の画像に対応する動きベクトルの相関
により、解像度変換後の８×８ブロックの動きベクトル
は、解像度変換前の１６×１６マクロブロックの動きベ
クトルより求めることができる。したがって、解像度変
換前の４つの１６×１６マクロブロック６３の動きベク
トルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４から、解像度変換
後の４つのブロック６４の動きベクトルｍｖ１，ｍｖ
２，ｍｖ３，ｍｖ４をそれぞれ求めることができる。
【０１３７】次いで、動きベクトル変換部１３がＭＰＥ
Ｇ２復号化方式により復号された画像における動きベク
トルをＭＰＥＧ４符号化方式により符号化する処理を図
７に示す構成図を用いて説明する。
Ｇ２復号化方式により復号された画像における動きベク
トルをＭＰＥＧ４符号化方式により符号化する処理を図
７に示す構成図を用いて説明する。
【０１３８】動きベクトル変換部１３は、具体的には、
入力されたＭＰＥＧ２ビットストリーム内の動きベクト
ルをＭＰＥＧ２ビットストリームにおける１６×１６動
きベクトルからＭＰＥＧ４ビットストリームにおける８
×８動きベクトルへと変換するＭＰＥＧ２＿１６×１６
ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０
と、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８
ＭＶ動きベクトル変換部２０において変換された動きベ
クトルを画像サイズ調整フラグに基づいて調整する動き
ベクトル調整部２１と、ＭＰＥＧ４ビットストリームに
おける８×８動きベクトルからＭＰＥＧ４の１６×１６
動きベクトルへと変換するＭＰＥＧ４＿８×８ＭＶ→Ｍ
ＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２と、
ＭＰＥＧ２イントラマクロブロックに対して動きベクト
ルを補正する動きベクトル補正部２３とから構成されて
いる。
入力されたＭＰＥＧ２ビットストリーム内の動きベクト
ルをＭＰＥＧ２ビットストリームにおける１６×１６動
きベクトルからＭＰＥＧ４ビットストリームにおける８
×８動きベクトルへと変換するＭＰＥＧ２＿１６×１６
ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０
と、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８
ＭＶ動きベクトル変換部２０において変換された動きベ
クトルを画像サイズ調整フラグに基づいて調整する動き
ベクトル調整部２１と、ＭＰＥＧ４ビットストリームに
おける８×８動きベクトルからＭＰＥＧ４の１６×１６
動きベクトルへと変換するＭＰＥＧ４＿８×８ＭＶ→Ｍ
ＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２と、
ＭＰＥＧ２イントラマクロブロックに対して動きベクト
ルを補正する動きベクトル補正部２３とから構成されて
いる。
【０１３９】ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４
＿８×８ＭＶＭＰＥＧ４＿８×８ＭＶ→ＭＰＥＧ４＿１
６×１６ＭＶ動きベクトル変換部２２は、ＭＰＥＧ２画
像情報復号化部１１から入力されたＭＰＥＧ２のマクロ
ブロックの動きベクトルとマクロブロックタイプとを変
換する。このときの変換動作を図８に示す。飛び越し走
査のＭＰＥＧ２ビットストリームでは、一般的にフレー
ム構造が用いられてるため、ここではフレーム構造の場
合の処理のみを説明する。
＿８×８ＭＶＭＰＥＧ４＿８×８ＭＶ→ＭＰＥＧ４＿１
６×１６ＭＶ動きベクトル変換部２２は、ＭＰＥＧ２画
像情報復号化部１１から入力されたＭＰＥＧ２のマクロ
ブロックの動きベクトルとマクロブロックタイプとを変
換する。このときの変換動作を図８に示す。飛び越し走
査のＭＰＥＧ２ビットストリームでは、一般的にフレー
ム構造が用いられてるため、ここではフレーム構造の場
合の処理のみを説明する。
【０１４０】ステップＳ１１において、ＭＰＥＧ２＿１
６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変
換部２０は、ＭＰＥＧ２画像情報復号化部１１からの動
きベクトルがイントラマクロブロックであるか、インタ
ースキップマクロブロックであるかを判別する。
６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変
換部２０は、ＭＰＥＧ２画像情報復号化部１１からの動
きベクトルがイントラマクロブロックであるか、インタ
ースキップマクロブロックであるかを判別する。
【０１４１】ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４
＿８×８ＭＶ動きベクトル変換部２０は、入力した動き
ベクトルがイントラマクロブロックであった場合、ステ
ップＳ１２において、８×８マクロブロックの動きベク
トルを０に設定し、更に、イントラであることを示すイ
ントラモードフラグを設ける。
＿８×８ＭＶ動きベクトル変換部２０は、入力した動き
ベクトルがイントラマクロブロックであった場合、ステ
ップＳ１２において、８×８マクロブロックの動きベク
トルを０に設定し、更に、イントラであることを示すイ
ントラモードフラグを設ける。
【０１４２】一方、入力した動きベクトルがインタース
キップマクロブロックであった場合、ステップＳ１３に
おいて、動きベクトルを０に設定し、ＭＰＥＧ４の８×
８動きベクトルへ変換する。
キップマクロブロックであった場合、ステップＳ１３に
おいて、動きベクトルを０に設定し、ＭＰＥＧ４の８×
８動きベクトルへ変換する。
【０１４３】ステップＳ１１において、入力した動きベ
クトルがインターマクロブロックであった場合、ＭＰＥ
Ｇ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベ
クトル変換部２０は、ステップＳ１４において、動き補
償された動きベクトルを含む画像がフレーム予測に基づ
くものであるか、フィールド予測に基づくものであるか
を判別する。
クトルがインターマクロブロックであった場合、ＭＰＥ
Ｇ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベ
クトル変換部２０は、ステップＳ１４において、動き補
償された動きベクトルを含む画像がフレーム予測に基づ
くものであるか、フィールド予測に基づくものであるか
を判別する。
【０１４４】ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４
＿８×８ＭＶ動きベクトル変換部２０は、入力した動き
ベクトルを含む画像がフレーム予測に基づくものであっ
た場合、ステップＳ１５において、フレーム予測に適し
た動きベクトルへと変換する。
＿８×８ＭＶ動きベクトル変換部２０は、入力した動き
ベクトルを含む画像がフレーム予測に基づくものであっ
た場合、ステップＳ１５において、フレーム予測に適し
た動きベクトルへと変換する。
【０１４５】一方、入力した動きベクトルを含む画像が
フィールド予測であった場合、ＭＰＥＧ４＿８×８ＭＶ
→ＭＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２
は、ステップＳ１６において、更に、第一フィールド予
測であるか、第二フィールド予測であるかを判別する。
フィールド予測であった場合、ＭＰＥＧ４＿８×８ＭＶ
→ＭＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２
は、ステップＳ１６において、更に、第一フィールド予
測であるか、第二フィールド予測であるかを判別する。
【０１４６】入力した動きベクトルを含む画像が第一フ
ィールド予測に基づく場合、ＭＰＥＧ２＿１６×１６Ｍ
Ｖ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０
は、ステップＳ１７において、第一フィールド予測に適
した動きベクトルへ変換する。
ィールド予測に基づく場合、ＭＰＥＧ２＿１６×１６Ｍ
Ｖ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０
は、ステップＳ１７において、第一フィールド予測に適
した動きベクトルへ変換する。
【０１４７】一方、入力した動きベクトルを含む画像が
第二フィールド予測に基づく場合、ＭＰＥＧ２＿１６×
１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部
２０は、ステップＳ１８において、第二フィールド予測
に適した動きベクトルへと変換する。
第二フィールド予測に基づく場合、ＭＰＥＧ２＿１６×
１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部
２０は、ステップＳ１８において、第二フィールド予測
に適した動きベクトルへと変換する。
【０１４８】ここで、入力した動きベクトルを含む画像
がフレーム予測に基づく場合の変換処理としてのステッ
プＳ１５における動きベクトル変換の概念を図９に示
す。
がフレーム予測に基づく場合の変換処理としてのステッ
プＳ１５における動きベクトル変換の概念を図９に示
す。
【０１４９】図３で説明したように、変換後の動きベク
トルの水平成分は、変換前の動きベクトルの水平成分と
画像の横方向の解像度変換レートから求められ、垂直成
分は、変換前の動きベクトルの垂直成分と画像の縦方向
の解像度変換レートから求められる。すなわち、横方向
の解像度及び縦方向の解像度を１／２に変換すると変換
後の動きベクトルの水平成分及び垂直成分も変換前の１
／２になる。
トルの水平成分は、変換前の動きベクトルの水平成分と
画像の横方向の解像度変換レートから求められ、垂直成
分は、変換前の動きベクトルの垂直成分と画像の縦方向
の解像度変換レートから求められる。すなわち、横方向
の解像度及び縦方向の解像度を１／２に変換すると変換
後の動きベクトルの水平成分及び垂直成分も変換前の１
／２になる。
【０１５０】図３（ａ）に示す解像度変換前の画像に
は、現フレームにおける太陽５１及び山５２が表示され
ている。解像度変換前の動きベクトルＭＶは、前フレー
ムの太陽５４の位置を始点とし、現フレームの太陽５１
の位置に向かっている。すなわち、解像度変換前の１６
×１６動きベクトルであるこの動きベクトルＭＶは、
（０，０）から（８，１２）に向かっている。
は、現フレームにおける太陽５１及び山５２が表示され
ている。解像度変換前の動きベクトルＭＶは、前フレー
ムの太陽５４の位置を始点とし、現フレームの太陽５１
の位置に向かっている。すなわち、解像度変換前の１６
×１６動きベクトルであるこの動きベクトルＭＶは、
（０，０）から（８，１２）に向かっている。
【０１５１】ここで、動きベクトルＭＶは、水平方向及
び垂直方向のそれぞれについて、画像を構成する整数画
素ａ１に相当する位置０，２，４，・・・と、隣接する
整数画素ａ１の間の位置１，３，５，・・・に想定され
た仮想的な半画素ａ２とを用いて表されている。なお、
この半画素ａ２は、動きベクトルＭＶを整数画素ａ１に
相当する位置の１／２の精度で表すために想定された実
在しない画素である。
び垂直方向のそれぞれについて、画像を構成する整数画
素ａ１に相当する位置０，２，４，・・・と、隣接する
整数画素ａ１の間の位置１，３，５，・・・に想定され
た仮想的な半画素ａ２とを用いて表されている。なお、
この半画素ａ２は、動きベクトルＭＶを整数画素ａ１に
相当する位置の１／２の精度で表すために想定された実
在しない画素である。
【０１５２】一方、図３（ｂ）に示す解像度変換後の画
像は、図３（ａ）に示した画像の解像度を１／２に変換
したものである。
像は、図３（ａ）に示した画像の解像度を１／２に変換
したものである。
【０１５３】この解像度変換により、水平方向及び垂直
方向について、図３（ａ）に示した位置０，４，８，・
・・に相当する整数画素ａ１が残り、図３（ｂ）に示し
た整数画素ｂ１の位置０’，２’，４’，・・・に相当
するようになる。図３（ａ）に示した位置２，６，１
０，・・・に相当する整数画素ａ１は捨てられる。な
お、図３（ｂ）においては、動きベクトルＭＶ’を整数
画素ｂ１に相当する位置０’，２’，４’，・・・の１
／２の精度で表すために、隣接する整数画素ｂ１の間の
位置１’，３’，５’，・・・に仮想的な半画素ｂ２が
想定されている。
方向について、図３（ａ）に示した位置０，４，８，・
・・に相当する整数画素ａ１が残り、図３（ｂ）に示し
た整数画素ｂ１の位置０’，２’，４’，・・・に相当
するようになる。図３（ａ）に示した位置２，６，１
０，・・・に相当する整数画素ａ１は捨てられる。な
お、図３（ｂ）においては、動きベクトルＭＶ’を整数
画素ｂ１に相当する位置０’，２’，４’，・・・の１
／２の精度で表すために、隣接する整数画素ｂ１の間の
位置１’，３’，５’，・・・に仮想的な半画素ｂ２が
想定されている。
【０１５４】解像度変換後の動きベクトルＭＶ’も、前
フレームの太陽５９の位置を始点とし、現フレームの太
陽５６の位置に向かっている。すなわち、解像度変換後
の８×８動きベクトルであるこの動きベクトルＭＶ’
は、（０，０）から（４’，６’）に向かっている。
フレームの太陽５９の位置を始点とし、現フレームの太
陽５６の位置に向かっている。すなわち、解像度変換後
の８×８動きベクトルであるこの動きベクトルＭＶ’
は、（０，０）から（４’，６’）に向かっている。
【０１５５】このような画像の解像度変換に応じて、解
像度変換前の動きベクトルＭＶから解像度変換後の動き
ベクトルＭＶ’への変換を行うものとする。すなわち、
解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’
は、画像の水平方向の解像度変換レートに応じて１／２
倍に変換される。同様に、解像度変換後の動きベクトル
ＭＶ’の垂直成分ＭＶｖ’も、画像の垂直成分の解像度
変換レートに応じて１／２倍に変換される。
像度変換前の動きベクトルＭＶから解像度変換後の動き
ベクトルＭＶ’への変換を行うものとする。すなわち、
解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’
は、画像の水平方向の解像度変換レートに応じて１／２
倍に変換される。同様に、解像度変換後の動きベクトル
ＭＶ’の垂直成分ＭＶｖ’も、画像の垂直成分の解像度
変換レートに応じて１／２倍に変換される。
【０１５６】例えば、図３（ａ）に示した（０，０）か
ら（８，１２）に向かう解像度変換前の動きベクトルＭ
Ｖは、水平成分８及び垂直成分１２であるので、解像度
変換レートに応じて１／２倍されて水平成分４及び垂直
成分６となる。したがって、図３（ｂ）に示す（０，
０）から（４，６）に向かう解像度変換後の動きベクト
ルＭＶ’が得られる。
ら（８，１２）に向かう解像度変換前の動きベクトルＭ
Ｖは、水平成分８及び垂直成分１２であるので、解像度
変換レートに応じて１／２倍されて水平成分４及び垂直
成分６となる。したがって、図３（ｂ）に示す（０，
０）から（４，６）に向かう解像度変換後の動きベクト
ルＭＶ’が得られる。
【０１５７】ところで、解像度変換後の動きベクトルＭ
Ｖ’は、水平成分及び垂直成分に相当する整数画素ｂ１
又は半画素ｂ２が存在しないことがある。なお、以下の
説明では便宜上動きベクトルの水平成分についてのみ言
及するが、垂直成分についても同様である。
Ｖ’は、水平成分及び垂直成分に相当する整数画素ｂ１
又は半画素ｂ２が存在しないことがある。なお、以下の
説明では便宜上動きベクトルの水平成分についてのみ言
及するが、垂直成分についても同様である。
【０１５８】すなわち、図３（ａ）の上部に対応関係を
示すように、解像度変換前の画像において、解像度変換
前の動きベクトルＭＶの水平成分ＭＶｈが整数画素ａ１
に相当する０，４，８，・・・のとき、すなわち水平成
分ＭＶｈを４で割った余りが０となるときには、解像度
変換レートに応じて１／２倍して得た解像度変換後の動
きベクトルＭＶ’の水平成分ＭＶｈ’は、０’，２’，
４’，・・・となり、解像度変換後の画像における整数
画素ｂ１に相当する。同様に、解像度変換前の動きベク
トルＭＶの水平成分ＭＶｈが整数画素ａ１に相当する
２，６，１０，・・・のとき、すなわち水平成分ＭＶｈ
を４で割った余りが２となるときには、解像度変換レー
トに応じて１／２倍して得た解像度変換後の動きベクト
ルＭＶ’の水平成分ＭＶｈ’は、１’，３’，５’，・
・・となり、解像度変換後の画像における半画素ｂ２に
相当する。また、解像度変換前の動きベクトルＭＶの水
平成分ＭＶｈが半画素ａ２に相当する１，３，５，７，
・・・のときには、解像度変換前の動きベクトルＭＶの
水平成分ＭＶｈを解像度変換レートに応じて１／２倍し
た値１／２，３／２，５／２，７／２，・・・に相当す
る画素が存在しない。
示すように、解像度変換前の画像において、解像度変換
前の動きベクトルＭＶの水平成分ＭＶｈが整数画素ａ１
に相当する０，４，８，・・・のとき、すなわち水平成
分ＭＶｈを４で割った余りが０となるときには、解像度
変換レートに応じて１／２倍して得た解像度変換後の動
きベクトルＭＶ’の水平成分ＭＶｈ’は、０’，２’，
４’，・・・となり、解像度変換後の画像における整数
画素ｂ１に相当する。同様に、解像度変換前の動きベク
トルＭＶの水平成分ＭＶｈが整数画素ａ１に相当する
２，６，１０，・・・のとき、すなわち水平成分ＭＶｈ
を４で割った余りが２となるときには、解像度変換レー
トに応じて１／２倍して得た解像度変換後の動きベクト
ルＭＶ’の水平成分ＭＶｈ’は、１’，３’，５’，・
・・となり、解像度変換後の画像における半画素ｂ２に
相当する。また、解像度変換前の動きベクトルＭＶの水
平成分ＭＶｈが半画素ａ２に相当する１，３，５，７，
・・・のときには、解像度変換前の動きベクトルＭＶの
水平成分ＭＶｈを解像度変換レートに応じて１／２倍し
た値１／２，３／２，５／２，７／２，・・・に相当す
る画素が存在しない。
【０１５９】しかし、従来のように半画素動きベクトル
を生成し、これを中心に再検索を行う場合、半画素値を
サーチウィンドウ内で予め求める工程を必要とするた
め、処理工程が増えることになる。
を生成し、これを中心に再検索を行う場合、半画素値を
サーチウィンドウ内で予め求める工程を必要とするた
め、処理工程が増えることになる。
【０１６０】そこで、本実施の形態においては、かかる
場合には、解像度変換後の動きベクトルＭＶ’の水平成
分ＭＶｈ’は、サーチウィンドウ内で最も予測差が少な
い整数画素の動きベクトルを求め、次にその整数画素周
辺の９半画素値を検索するようにしている。
場合には、解像度変換後の動きベクトルＭＶ’の水平成
分ＭＶｈ’は、サーチウィンドウ内で最も予測差が少な
い整数画素の動きベクトルを求め、次にその整数画素周
辺の９半画素値を検索するようにしている。
【０１６１】したがって、解像度変換前の動きベクトル
ＭＶの水平成分ＭＶｈが整数画素ａ１に相当する２，
６，１０，・・・のとき解像度変換レートに応じて１／
２倍して得た解像度変換後の動きベクトルＭＶ’の水平
成分ＭＶｈ’が１’，３’，５’，・・・となり、解像
度変換後の画像における半画素値ｂ２に相当する場合、
すなわち水平成分ＭＶｈを４で割った余りが２となる場
合、及び解像度変換前の動きベクトルＭＶの水平成分Ｍ
Ｖｈを解像度変換レートに応じて１／２倍した値１／
２，３／２，５／２，７／２，・・・等に相当する画素
が存在しない場合は、整数画素ｂ２に相当する０’，
２’，２’，４’，・・・に変換する。
ＭＶの水平成分ＭＶｈが整数画素ａ１に相当する２，
６，１０，・・・のとき解像度変換レートに応じて１／
２倍して得た解像度変換後の動きベクトルＭＶ’の水平
成分ＭＶｈ’が１’，３’，５’，・・・となり、解像
度変換後の画像における半画素値ｂ２に相当する場合、
すなわち水平成分ＭＶｈを４で割った余りが２となる場
合、及び解像度変換前の動きベクトルＭＶの水平成分Ｍ
Ｖｈを解像度変換レートに応じて１／２倍した値１／
２，３／２，５／２，７／２，・・・等に相当する画素
が存在しない場合は、整数画素ｂ２に相当する０’，
２’，２’，４’，・・・に変換する。
【０１６２】これら解像度変換前の動きベクトルＭＶの
水平成分ＭＶｈと、解像度変換後の動きベクトルＭＶ’
の関係を図１０に示す。なお、この図１０においては、
解像度変換前の動きベクトルＭＶの水平成分又は垂直成
分の値をＭＶと表記している。
水平成分ＭＶｈと、解像度変換後の動きベクトルＭＶ’
の関係を図１０に示す。なお、この図１０においては、
解像度変換前の動きベクトルＭＶの水平成分又は垂直成
分の値をＭＶと表記している。
【０１６３】すなわち、解像度変換前の動きベクトルＭ
Ｖの水平成分を４で割った余りが０の場合には、解像度
変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は
整数画素ｂ１に相当する。したがって、解像度変換後の
動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。
Ｖの水平成分を４で割った余りが０の場合には、解像度
変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は
整数画素ｂ１に相当する。したがって、解像度変換後の
動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。
【０１６４】解像度変換前の動きベクトルＭＶの水平成
分を４で割った余りが１の場合には、解像度変換前の動
きベクトルＭＶの水平成分を解像度変換レートに応じて
１／２倍した値［ＭＶ／２］とする。
分を４で割った余りが１の場合には、解像度変換前の動
きベクトルＭＶの水平成分を解像度変換レートに応じて
１／２倍した値［ＭＶ／２］とする。
【０１６５】解像度変換前の動きベクトルＭＶの水平成
分を４で割った余りが２の場合には、解像度変換後の動
きベクトルＭＶ’の水平成分は、［ＭＶ／２］＋１とす
る。
分を４で割った余りが２の場合には、解像度変換後の動
きベクトルＭＶ’の水平成分は、［ＭＶ／２］＋１とす
る。
【０１６６】解像度変換前の動きベクトルＭＶの水平成
分を４で割った余りが３の場合には、解像度変換前の動
きベクトルＭＶの水平成分を解像度変換レートに応じて
１／２倍した値［ＭＶ／２］に対応させる。
分を４で割った余りが３の場合には、解像度変換前の動
きベクトルＭＶの水平成分を解像度変換レートに応じて
１／２倍した値［ＭＶ／２］に対応させる。
【０１６７】このように、本実施の形態では、まずサー
チウィンドウ内で最も予測誤差が少ない整数画素の動き
ベクトルを求め、次に、その整数画素周辺の９半画素値
を検索することにより、半画素値をサーチウィンドウ内
で予め求める工程を削減している。
チウィンドウ内で最も予測誤差が少ない整数画素の動き
ベクトルを求め、次に、その整数画素周辺の９半画素値
を検索することにより、半画素値をサーチウィンドウ内
で予め求める工程を削減している。
【０１６８】次に、入力した動きベクトルを含む画像が
フィールド予測に基づく場合の変換処理であるステップ
Ｓ１７及びステップＳ１８における動きベクトル変換の
概念について図１１に示す。
フィールド予測に基づく場合の変換処理であるステップ
Ｓ１７及びステップＳ１８における動きベクトル変換の
概念について図１１に示す。
【０１６９】まず、ステップＳ１７における入力した動
きベクトルを含む画像が第一フィールド予測に基づく場
合の動きベクトル変換の概念について示す。動きベクト
ルの水平成分は、動きベクトルを含む画像がフレーム予
測に基づく図９に示した場合と同様の処理で行われる。
すなわち、変換前の動きベクトルが半画素の位置を示し
ている場合、変換後の動きベクトルも予測画像の最も近
接した整数画素の位置を示すようにする。
きベクトルを含む画像が第一フィールド予測に基づく場
合の動きベクトル変換の概念について示す。動きベクト
ルの水平成分は、動きベクトルを含む画像がフレーム予
測に基づく図９に示した場合と同様の処理で行われる。
すなわち、変換前の動きベクトルが半画素の位置を示し
ている場合、変換後の動きベクトルも予測画像の最も近
接した整数画素の位置を示すようにする。
【０１７０】動きベクトルの垂直成分は、図１１（ａ）
に示すように、第一フィールドのラインａ３及び第二フ
ィールドのラインａ４のうち、第一フィールドのライン
ａ３を取り出す間引き処理を行うことにより、解像度を
１／２にする解像度変換が行われる。図１１（ｂ）に
は、第一フィールドのラインｂ３を取り出すことで、垂
直方向に解像度が１／２になった画像が示されている。
また、第一フィールド予測を行っているため、解像度変
換前の動きベクトルＭＶは、そのまま解像度変換後の動
きベクトルＭＶ’になる。
に示すように、第一フィールドのラインａ３及び第二フ
ィールドのラインａ４のうち、第一フィールドのライン
ａ３を取り出す間引き処理を行うことにより、解像度を
１／２にする解像度変換が行われる。図１１（ｂ）に
は、第一フィールドのラインｂ３を取り出すことで、垂
直方向に解像度が１／２になった画像が示されている。
また、第一フィールド予測を行っているため、解像度変
換前の動きベクトルＭＶは、そのまま解像度変換後の動
きベクトルＭＶ’になる。
【０１７１】続いて、ステップＳ１８における動きベク
トルを含む画像が第二フィールド予測に基づく場合の動
きベクトル変換の概念図を図１２に示す。図１２（ａ）
において、第一フィールドのラインａ３及び第二フィー
ルドのラインａ４のうち、第一フィールドのラインａ３
を取り出す間引きを行うことにより、解像度を１／２に
する解像度変換が行われる。このため、この第二フィー
ルド予測の場合においても、解像度変換後には第一フィ
ールドの画素値を参照画像として用いる。
トルを含む画像が第二フィールド予測に基づく場合の動
きベクトル変換の概念図を図１２に示す。図１２（ａ）
において、第一フィールドのラインａ３及び第二フィー
ルドのラインａ４のうち、第一フィールドのラインａ３
を取り出す間引きを行うことにより、解像度を１／２に
する解像度変換が行われる。このため、この第二フィー
ルド予測の場合においても、解像度変換後には第一フィ
ールドの画素値を参照画像として用いる。
【０１７２】図１２（ｂ）には、参照画像として用いら
れる第一フィールドのラインｂ３のみから構成される解
像度変換後の画像が示されている。しかし、飛び越し走
査のＭＰＥＧ２画像圧縮情報では第一フィールドの画像
と第二フィールドの画像には、時間的及び空間的なずれ
がある。このため、ＭＰＥＧ２で予測画像として用いた
第二フィールドの画素値を解像度変換後の第一フィール
ド予測に変換するように、動きベクトルの時間的及び空
間的な補正を行う。
れる第一フィールドのラインｂ３のみから構成される解
像度変換後の画像が示されている。しかし、飛び越し走
査のＭＰＥＧ２画像圧縮情報では第一フィールドの画像
と第二フィールドの画像には、時間的及び空間的なずれ
がある。このため、ＭＰＥＧ２で予測画像として用いた
第二フィールドの画素値を解像度変換後の第一フィール
ド予測に変換するように、動きベクトルの時間的及び空
間的な補正を行う。
【０１７３】まず、第二フィールド予測から近似的に第
一フィールド予測に変換するための空間的補正として、
動きベクトルの垂直成分に１を加える。これによって、
図１２（ａ）に示すように、第二フィールド予測で求め
た動きベクトルＭＶｂｏｔｔ ｏｍは、垂直成分に１を加
えることにより垂直方向に一行を繰り上げられ、第二フ
ィールドが第一フィールドと同様の位置に達し、第一フ
ィールド予測の近似動きベクトルＭＶｔｏｐが得られ
る。このような空間的な補正によって、第二フィールド
予測で求めた動きベクトルＭＶｂｏｔｔｏｍの空間的な
位置は、第一フィールド予測で求めた動きベクトルと同
様になる。
一フィールド予測に変換するための空間的補正として、
動きベクトルの垂直成分に１を加える。これによって、
図１２（ａ）に示すように、第二フィールド予測で求め
た動きベクトルＭＶｂｏｔｔ ｏｍは、垂直成分に１を加
えることにより垂直方向に一行を繰り上げられ、第二フ
ィールドが第一フィールドと同様の位置に達し、第一フ
ィールド予測の近似動きベクトルＭＶｔｏｐが得られ
る。このような空間的な補正によって、第二フィールド
予測で求めた動きベクトルＭＶｂｏｔｔｏｍの空間的な
位置は、第一フィールド予測で求めた動きベクトルと同
様になる。
【０１７４】式（８）は、近似第一フィールド、すなわ
ち第一フィールドと同様な空間位置にある第二フィール
ドを空間的な補正によって予測したときの動きベクトル
ＭＶ ｔｏｐの垂直成分を表している。
ち第一フィールドと同様な空間位置にある第二フィール
ドを空間的な補正によって予測したときの動きベクトル
ＭＶ ｔｏｐの垂直成分を表している。
【０１７５】
【数７】
【０１７６】次に、第二フィールドから近似された第一
フィールドと実際の第一フィールドとの時間ずれの補正
を行う。
フィールドと実際の第一フィールドとの時間ずれの補正
を行う。
【０１７７】図１３は、時間ずれの補正を説明する図で
ある。すなわち、図１３（ａ）における各フレームは、
第一フィールド及び第二フィールドから構成されるが、
第一フィールドと第二フィールドの時間間隔を１とする
と、Ｉピクチャの第二フィールドとＰピクチャの第一フ
ィールドの時間間隔をａは１，３，５，・・・の値を取
り得る。
ある。すなわち、図１３（ａ）における各フレームは、
第一フィールド及び第二フィールドから構成されるが、
第一フィールドと第二フィールドの時間間隔を１とする
と、Ｉピクチャの第二フィールドとＰピクチャの第一フ
ィールドの時間間隔をａは１，３，５，・・・の値を取
り得る。
【０１７８】図中には、Ｉピクチャの第一フィールドを
参照してＰピクチャの第一フィールドを予測する動きベ
クトルＭＶｔｏｐと、Ｉピクチャの第二フィールドを参
照してＰピクチャの第一フィールドを予測する動きベク
トルＭＶｂｏｔｔｏｍとが示されている。
参照してＰピクチャの第一フィールドを予測する動きベ
クトルＭＶｔｏｐと、Ｉピクチャの第二フィールドを参
照してＰピクチャの第一フィールドを予測する動きベク
トルＭＶｂｏｔｔｏｍとが示されている。
【０１７９】図１３（ｂ）には、図１３（ａ）に示した
画像に解像度変換及びフレームレート変換により変換さ
れたＩピクチャの第一フィールド及びＰピクチャの第一
フィールドと、解像度変換後の動きベクトルＭＶ’が示
されている。
画像に解像度変換及びフレームレート変換により変換さ
れたＩピクチャの第一フィールド及びＰピクチャの第一
フィールドと、解像度変換後の動きベクトルＭＶ’が示
されている。
【０１８０】これらの時間間隔の比率により、第二フィ
ールドを参照する動きベクトルＭＶ ｂｏｔｔｏｍから近
似した近似ＭＶｔｏｐを用いて、時間のずれを補正して
解像度変換後の動きベクトルＭＶ’を得るためには式
（９）を適用する。
ールドを参照する動きベクトルＭＶ ｂｏｔｔｏｍから近
似した近似ＭＶｔｏｐを用いて、時間のずれを補正して
解像度変換後の動きベクトルＭＶ’を得るためには式
（９）を適用する。
【０１８１】
【数８】
【０１８２】式（８）を式（９）に代入すると、解像度
変換後の動きベクトルＭＶ’の垂直成分は、式（１０）
のようになる。
変換後の動きベクトルＭＶ’の垂直成分は、式（１０）
のようになる。
【０１８３】
【数９】
【０１８４】なお、解像度変換後の動きベクトルの水平
成分に対しては、解像度変換前の動きベクトルＭＶ
ｂｏｔｔｏｍに（ａ＋１）／ａを乗じ、時間的な補正を
行った後、先に図１０に示したように変換される。すな
わち、解像度変換前に半画素に相当する動きベクトル
は、解像度変換後にも半画素に相当する動きベクトルに
変換される。
成分に対しては、解像度変換前の動きベクトルＭＶ
ｂｏｔｔｏｍに（ａ＋１）／ａを乗じ、時間的な補正を
行った後、先に図１０に示したように変換される。すな
わち、解像度変換前に半画素に相当する動きベクトル
は、解像度変換後にも半画素に相当する動きベクトルに
変換される。
【０１８５】場合によっては、動きベクトルの垂直成分
に対して時間的補正を行った後、空間的な補正を行って
もよい。その場合、動きベクトルＭＶ’の垂直成分は、
式（１１）で与えられる。
に対して時間的補正を行った後、空間的な補正を行って
もよい。その場合、動きベクトルＭＶ’の垂直成分は、
式（１１）で与えられる。
【０１８６】
【数１０】
【０１８７】なお、解像度変換後の動きベクトルＭＶ’
の水平成分は、空間補正を行ってから時間補正を行う空
間・時間補正と時間補正を行ってから空間補正を行う時
間・空間補正のいずれでも同様な値となる。
の水平成分は、空間補正を行ってから時間補正を行う空
間・時間補正と時間補正を行ってから空間補正を行う時
間・空間補正のいずれでも同様な値となる。
【０１８８】式（１０）と式（１１）の差、すなわち、
空間・時間補正を行った場合と、時間・空間補正を行っ
た場合の動きベクトルの垂直成分の差は１／ａになる。
したがって、ａの値によって、空間・時間補正と時間・
空間補正との差による影響が異なる。そこで、ａが１の
場合と、１より大きい、すなわち３，５，７，・・・の
２つの場合における補正方法を説明する。
空間・時間補正を行った場合と、時間・空間補正を行っ
た場合の動きベクトルの垂直成分の差は１／ａになる。
したがって、ａの値によって、空間・時間補正と時間・
空間補正との差による影響が異なる。そこで、ａが１の
場合と、１より大きい、すなわち３，５，７，・・・の
２つの場合における補正方法を説明する。
【０１８９】まず、ａが１の場合について、式（１０）
のａに１を代入すると、動きベクトルの垂直成分は式
（１２）になる。
のａに１を代入すると、動きベクトルの垂直成分は式
（１２）になる。
【０１９０】
【数１１】
【０１９１】式（１２）のａに１を代入し、動きベクト
ルの垂直成分は式（１３）になる。
ルの垂直成分は式（１３）になる。
【０１９２】
【数１２】
【０１９３】その結果、解像度変換前の動きベクトルＭ
Ｖｂｏｔｔｏｍに０，１，２，・・・を代入すると、式
（１２）による値は２，４，６，・・・のような偶数に
なる。すなわち、空間・時間補正を行うと、解像度変換
前の動きベクトルＭＶｂｏｔ ｔｏｍは整数画素又は半画
素に位置しても、解像度変換後の動きベクトルＭＶ’
は、全て整数画素に位置する。
Ｖｂｏｔｔｏｍに０，１，２，・・・を代入すると、式
（１２）による値は２，４，６，・・・のような偶数に
なる。すなわち、空間・時間補正を行うと、解像度変換
前の動きベクトルＭＶｂｏｔ ｔｏｍは整数画素又は半画
素に位置しても、解像度変換後の動きベクトルＭＶ’
は、全て整数画素に位置する。
【０１９４】また、式（１３）による値は、１，３，
５，・・・のような奇数になる。すなわち、時間・空間
補正を行うと、解像度変換前の動きベクトルＭＶは整数
画素又は半画素に位置しても、解像度変換後の動きベク
トルＭＶ’は、全て半画素に位置する。
５，・・・のような奇数になる。すなわち、時間・空間
補正を行うと、解像度変換前の動きベクトルＭＶは整数
画素又は半画素に位置しても、解像度変換後の動きベク
トルＭＶ’は、全て半画素に位置する。
【０１９５】したがって、解像度変換前に整数画素に位
置する動きベクトルＭＶｂｏｔｔｏ ｍに対して、解像度
変換後の動きベクトルＭＶ’を整数画素に位置するよう
にする場合、空間・時間補正を行う。また、解像度変換
前に半画素に位置する動きベクトルＭＶｂｏｔｔｏｍに
対して、解像度変換後の動きベクトルＭＶ’を半画素に
位置するようにする場合、時間・空間補正を行う。
置する動きベクトルＭＶｂｏｔｔｏ ｍに対して、解像度
変換後の動きベクトルＭＶ’を整数画素に位置するよう
にする場合、空間・時間補正を行う。また、解像度変換
前に半画素に位置する動きベクトルＭＶｂｏｔｔｏｍに
対して、解像度変換後の動きベクトルＭＶ’を半画素に
位置するようにする場合、時間・空間補正を行う。
【０１９６】すなわち、解像度変換後の動きベクトルＭ
Ｖ’の垂直成分を求めるために、解像度変換前の動きベ
クトルＭＶｂｏｔｔｏｍに対し、空間補正、時間補正を
交互に使用して解像度変換後の動きベクトルＭＶ’に変
換する。若しくは、解像度変換前の動きベクトルＭＶ
ｂｏｔｔｏｍの全てに対して時間・空間補正を行う。
Ｖ’の垂直成分を求めるために、解像度変換前の動きベ
クトルＭＶｂｏｔｔｏｍに対し、空間補正、時間補正を
交互に使用して解像度変換後の動きベクトルＭＶ’に変
換する。若しくは、解像度変換前の動きベクトルＭＶ
ｂｏｔｔｏｍの全てに対して時間・空間補正を行う。
【０１９７】以上の動きベクトル変換処理が終了した
後、動きベクトル変換部１２から、ＭＰＥＧ４の８×８
動きベクトルが出力される。
後、動きベクトル変換部１２から、ＭＰＥＧ４の８×８
動きベクトルが出力される。
【０１９８】次に、画像情報変換装置１における動きベ
クトル補正部１４について説明する。動きベクトル補正
部１４は、動きベクトル変換部１３においてＭＰＥＧ２
に基づく動きベクトルをＭＰＥＧ４に基づく動きベクト
ルに変換する際、画素数（空間解像度）、ＳＮＲ（画素
値の量子化精度）、フレーム数等を拡大、縮小、増加、
減少するスケーリング処理により発生した動きベクトル
の誤差を補正し、より精度の高い動きベクトルを求める
処理を行う。
クトル補正部１４について説明する。動きベクトル補正
部１４は、動きベクトル変換部１３においてＭＰＥＧ２
に基づく動きベクトルをＭＰＥＧ４に基づく動きベクト
ルに変換する際、画素数（空間解像度）、ＳＮＲ（画素
値の量子化精度）、フレーム数等を拡大、縮小、増加、
減少するスケーリング処理により発生した動きベクトル
の誤差を補正し、より精度の高い動きベクトルを求める
処理を行う。
【０１９９】具体的には、動きベクトル補正部１４は、
入力されたＭＰＥＧ４の８×８動きベクトルの周辺画素
に対して、水平方向に＋−２整数画素、垂直方向に＋−
１画素の動きベクトル検索を行う。すなわち、動きベク
トル補正部１４は、再検索の際のサーチウィンドウを動
きベクトル変換部１３によって求められた動きベクトル
を中心に水平方向に５画素、垂直方向に３画素の領域に
抑えている。これにより、動きベクトル検索の処理数を
大幅に減少させて、符号化効率の低下を防ぐことを可能
としている。
入力されたＭＰＥＧ４の８×８動きベクトルの周辺画素
に対して、水平方向に＋−２整数画素、垂直方向に＋−
１画素の動きベクトル検索を行う。すなわち、動きベク
トル補正部１４は、再検索の際のサーチウィンドウを動
きベクトル変換部１３によって求められた動きベクトル
を中心に水平方向に５画素、垂直方向に３画素の領域に
抑えている。これにより、動きベクトル検索の処理数を
大幅に減少させて、符号化効率の低下を防ぐことを可能
としている。
【０２００】また、図２に示した動きベクトル整数画素
検索部１８は、指定されたサーチウィンドウ内で最も予
測画素値が少ない整数画素動きベクトルを選択する。動
きベクトル半画素検索部１９は、整数画素値で選択され
た最小予測誤差の動きベクトルの周辺９半画素値を検索
し、最も予測誤差が少ない最適な動きベクトル値を送出
する。
検索部１８は、指定されたサーチウィンドウ内で最も予
測画素値が少ない整数画素動きベクトルを選択する。動
きベクトル半画素検索部１９は、整数画素値で選択され
た最小予測誤差の動きベクトルの周辺９半画素値を検索
し、最も予測誤差が少ない最適な動きベクトル値を送出
する。
【０２０１】動きベクトル補正部１４は、サーチウィン
ドウの再検索画素数を設定するための動きベクトル補正
方向情報フラグに基づいて、サーチウィンドウのサイズ
を設定している。図１４及び図１５を用いて、動きベク
トル補正方向情報フラグについて説明する。
ドウの再検索画素数を設定するための動きベクトル補正
方向情報フラグに基づいて、サーチウィンドウのサイズ
を設定している。図１４及び図１５を用いて、動きベク
トル補正方向情報フラグについて説明する。
【０２０２】図１４（ａ）及び（ｂ）では、ＭＰＥＧ２
の動きベクトルにおける整数画素がｃ１で表され、ＭＰ
ＥＧ４の８×８動きベクトルにおける整数画素がｃ１’
で表されている。また、ＭＰＥＧ２の半画素位置は、ｄ
１で表されている。また、図１４（ａ）には、変換前の
ＭＰＥＧ２の動きベクトルが整数画素であり、変換後の
ＭＰＥＧ４の８×８動きベクトルも整数画素である場合
が示され、図１４（ｂ）には、変換前のＭＰＥＧ２の動
きベクトルが整数画素値であり、変換後のＭＰＥＧ４の
８×８動きベクトルが半画素精度である場合が示されて
いる。
の動きベクトルにおける整数画素がｃ１で表され、ＭＰ
ＥＧ４の８×８動きベクトルにおける整数画素がｃ１’
で表されている。また、ＭＰＥＧ２の半画素位置は、ｄ
１で表されている。また、図１４（ａ）には、変換前の
ＭＰＥＧ２の動きベクトルが整数画素であり、変換後の
ＭＰＥＧ４の８×８動きベクトルも整数画素である場合
が示され、図１４（ｂ）には、変換前のＭＰＥＧ２の動
きベクトルが整数画素値であり、変換後のＭＰＥＧ４の
８×８動きベクトルが半画素精度である場合が示されて
いる。
【０２０３】図１４（ａ）に示されるように、変換前の
ＭＰＥＧ２の動きベクトルが整数画素であり、変換後の
ＭＰＥＧ４の８×８動きベクトルも整数画素である場
合、同位相の画素が存在し、変換前と変換後とで動きベ
クトルの画素値に歪みが生じないため、動きベクトルの
サーチウィンドウは、動きベクトルの進行方向に対して
対称に設定される。
ＭＰＥＧ２の動きベクトルが整数画素であり、変換後の
ＭＰＥＧ４の８×８動きベクトルも整数画素である場
合、同位相の画素が存在し、変換前と変換後とで動きベ
クトルの画素値に歪みが生じないため、動きベクトルの
サーチウィンドウは、動きベクトルの進行方向に対して
対称に設定される。
【０２０４】一方、図１４（ｂ）に示されるように、変
換前のＭＰＥＧ２の動きベクトルが整数画素値であり、
変換後のＭＰＥＧ４の８×８動きベクトルが半画素精度
である場合、動きベクトルの進行方向に対して、繰り上
げにより近似のＭＰＥＧ４の整数画素に修正されるた
め、サーチウィンドウは、動きベクトルの進行方向に対
して逆方向に大きくなるように設定することにより、検
索処理工程を削減することが可能となる。例えば、動き
ベクトルと逆方向に２整数画素値分、順方向に１整数画
素値分検索するようにする。このとき、動きベクトル変
換時に、ＭＰＥＧ４動きベクトルを繰り下げることによ
って、これを近似のＭＰＥＧ４の整数画素値とした場
合、サーチウィンドウの設定は、動きベクトルの進行方
向に対して順方向に大きくなるように設定される。
換前のＭＰＥＧ２の動きベクトルが整数画素値であり、
変換後のＭＰＥＧ４の８×８動きベクトルが半画素精度
である場合、動きベクトルの進行方向に対して、繰り上
げにより近似のＭＰＥＧ４の整数画素に修正されるた
め、サーチウィンドウは、動きベクトルの進行方向に対
して逆方向に大きくなるように設定することにより、検
索処理工程を削減することが可能となる。例えば、動き
ベクトルと逆方向に２整数画素値分、順方向に１整数画
素値分検索するようにする。このとき、動きベクトル変
換時に、ＭＰＥＧ４動きベクトルを繰り下げることによ
って、これを近似のＭＰＥＧ４の整数画素値とした場
合、サーチウィンドウの設定は、動きベクトルの進行方
向に対して順方向に大きくなるように設定される。
【０２０５】図１５（ａ）には、変換前のＭＰＥＧ２の
動きベクトルが半画素位置であり、変換後のＭＰＥＧ４
の８×８動きベクトルが整数画素である場合が示され、
図１５（ｂ）には、変換前のＭＰＥＧ２の動きベクトル
が半画素位置であり、変換後のＭＰＥＧ４の８×８動き
ベクトルも半画素精度である場合が示されている。
動きベクトルが半画素位置であり、変換後のＭＰＥＧ４
の８×８動きベクトルが整数画素である場合が示され、
図１５（ｂ）には、変換前のＭＰＥＧ２の動きベクトル
が半画素位置であり、変換後のＭＰＥＧ４の８×８動き
ベクトルも半画素精度である場合が示されている。
【０２０６】図１５（ａ）及び（ｂ）に示されるよう
に、変換前のＭＰＥＧ２の動きベクトルが半画素位置で
あり、変換後のＭＰＥＧ４の８×８動きベクトルが整数
画素である場合、変換前のＭＰＥＧ２動きベクトルが半
画素精度を示し、ＭＰＥＧ４動きベクトルに変換する際
に、最も近接したＭＰＥＧ４整数画素値に修正するた
め、図１４（ｂ）に示した場合と同様に、歪みが生じる
方向に応じて、サーチウィンドウは、動きベクトルの進
行方向に対して順方向又は逆方向に大きくなるように設
定される。
に、変換前のＭＰＥＧ２の動きベクトルが半画素位置で
あり、変換後のＭＰＥＧ４の８×８動きベクトルが整数
画素である場合、変換前のＭＰＥＧ２動きベクトルが半
画素精度を示し、ＭＰＥＧ４動きベクトルに変換する際
に、最も近接したＭＰＥＧ４整数画素値に修正するた
め、図１４（ｂ）に示した場合と同様に、歪みが生じる
方向に応じて、サーチウィンドウは、動きベクトルの進
行方向に対して順方向又は逆方向に大きくなるように設
定される。
【０２０７】これにより、動きベクトル補正部１４は、
動きベクトル再検索の際の処理工程数を減少させるた
め、動きベクトル変換部１３から送出された動きベクト
ルの歪み方向を受け取って、動きベクトルの補正検索を
行う際の最適なサーチウィンドウの大きさを設定するこ
とが可能となる。
動きベクトル再検索の際の処理工程数を減少させるた
め、動きベクトル変換部１３から送出された動きベクト
ルの歪み方向を受け取って、動きベクトルの補正検索を
行う際の最適なサーチウィンドウの大きさを設定するこ
とが可能となる。
【０２０８】このように、画像情報変換装置１は、ＭＰ
ＥＧ２ビットストリームを入力し、ＭＰＥＧ４における
８×８動きベクトル及び１６×１６動きベクトルを求め
る際に、動きベクトル変換部１３によりスケーリングさ
れた動きベクトルに対して、動きベクトル補正部１４に
おいて最適なサーチウィンドウの大きさを設定して再検
索し、補正することによって、ＭＰＥＧ４画像符号化部
１５における符号化効率の低減を最小とすることを可能
としている。
ＥＧ２ビットストリームを入力し、ＭＰＥＧ４における
８×８動きベクトル及び１６×１６動きベクトルを求め
る際に、動きベクトル変換部１３によりスケーリングさ
れた動きベクトルに対して、動きベクトル補正部１４に
おいて最適なサーチウィンドウの大きさを設定して再検
索し、補正することによって、ＭＰＥＧ４画像符号化部
１５における符号化効率の低減を最小とすることを可能
としている。
【０２０９】以上説明したように、本発明の実施の形態
においては、ＭＰＥＧ２ビットストリームを入力して、
ＭＰＥＧ４ビットストリームを出力する場合について説
明したが、入力、出力ともこれに限らず、例えば、ＭＰ
ＥＧ−１やＨ．２６３等の画像圧縮情報（ビットストリ
ーム）に対応した画像情報変換装置に適用してもよい。
においては、ＭＰＥＧ２ビットストリームを入力して、
ＭＰＥＧ４ビットストリームを出力する場合について説
明したが、入力、出力ともこれに限らず、例えば、ＭＰ
ＥＧ−１やＨ．２６３等の画像圧縮情報（ビットストリ
ーム）に対応した画像情報変換装置に適用してもよい。
【０２１０】なお、図１、２に示す画像情報変換装置１
は、ＭＰＥＧ４における１６×１６動きベクトルも８×
８動きベクトルと同様に処理を行うようにしているが、
これを、最適なＭＰＥＧ４における８×８動きベクトル
を動きベクトル整数画素検索部により整数画素値として
求め、当該整数画素値を再度動きベクトル変換部に入力
し、ＭＰＥＧ４における１６×１６動きベクトルを求め
てもよい。このような画像情報変換装置を図１６及び図
１７に示す。画像情報変換装置２において、画像情報変
換装置１と同様の構成は、同番号を付して示し、詳細な
説明を省略する。
は、ＭＰＥＧ４における１６×１６動きベクトルも８×
８動きベクトルと同様に処理を行うようにしているが、
これを、最適なＭＰＥＧ４における８×８動きベクトル
を動きベクトル整数画素検索部により整数画素値として
求め、当該整数画素値を再度動きベクトル変換部に入力
し、ＭＰＥＧ４における１６×１６動きベクトルを求め
てもよい。このような画像情報変換装置を図１６及び図
１７に示す。画像情報変換装置２において、画像情報変
換装置１と同様の構成は、同番号を付して示し、詳細な
説明を省略する。
【０２１１】画像情報変換装置２における動きベクトル
変換部２４は、整数画素精度で補正されたＭＰＥＧ４の
８×８動きベクトルを受け取り、この動きベクトルに基
づいて、ＭＰＥＧ４の１６×１６動きベクトルを算出し
て送出する。
変換部２４は、整数画素精度で補正されたＭＰＥＧ４の
８×８動きベクトルを受け取り、この動きベクトルに基
づいて、ＭＰＥＧ４の１６×１６動きベクトルを算出し
て送出する。
【０２１２】図１７に詳細を示す動きベクトル補正部２
５は、動きベクトル整数画素検索部２６と動きベクトル
半画素検索部２７とを有する。動きベクトル整数画素検
索部２６は、動きベクトル変換部２４からのＭＰＥＧ４
の１６×１６動きベクトルを受け取り、ＭＰＥＧ４の８
×８動きベクトルを補正するのと同様に、入力されたＭ
ＰＥＧ４の１６×１６動きベクトルを中心としたサーチ
ウィンドウ内を水平５画素、垂直３画素で再検索する。
動きベクトル半画素検索部２７は、整数画素値で選択さ
れた最小予測誤差の動きベクトルの周辺９半画素値を検
索する。
５は、動きベクトル整数画素検索部２６と動きベクトル
半画素検索部２７とを有する。動きベクトル整数画素検
索部２６は、動きベクトル変換部２４からのＭＰＥＧ４
の１６×１６動きベクトルを受け取り、ＭＰＥＧ４の８
×８動きベクトルを補正するのと同様に、入力されたＭ
ＰＥＧ４の１６×１６動きベクトルを中心としたサーチ
ウィンドウ内を水平５画素、垂直３画素で再検索する。
動きベクトル半画素検索部２７は、整数画素値で選択さ
れた最小予測誤差の動きベクトルの周辺９半画素値を検
索する。
【０２１３】このような画像情報変換装置２は、最も予
測誤差が少ない最適なＭＰＥＧ４の１６×１６動きベク
トル値を送出することが可能である。
測誤差が少ない最適なＭＰＥＧ４の１６×１６動きベク
トル値を送出することが可能である。
【０２１４】なお、画像情報変換装置１において、ＭＰ
ＥＧ２画像情報復号化部１１は、４×８ダウンデコー
ド、若しくは、４×４ダウンデコードを行うことによっ
て、画質劣化を最小限に抑えながら演算量とビデオメモ
リ容量とを削減してもよい。特に、ダウンサンプリング
処理を簡略化することによって演算量とビデオメモリ容
量とを削減してもよい。
ＥＧ２画像情報復号化部１１は、４×８ダウンデコー
ド、若しくは、４×４ダウンデコードを行うことによっ
て、画質劣化を最小限に抑えながら演算量とビデオメモ
リ容量とを削減してもよい。特に、ダウンサンプリング
処理を簡略化することによって演算量とビデオメモリ容
量とを削減してもよい。
【０２１５】以上、画像情報変換装置１では、サーチウ
ィンドウを水平５画素、垂直３画素と設定して説明した
が、これに限らず、水平、垂直方向のサーチウィンドウ
の検索画素数は、任意に選択可能としてもよい。
ィンドウを水平５画素、垂直３画素と設定して説明した
が、これに限らず、水平、垂直方向のサーチウィンドウ
の検索画素数は、任意に選択可能としてもよい。
【０２１６】
【発明の効果】以上詳細に説明したように、本発明にか
かる動きベクトル変換装置によれば、入力画像圧縮情報
のマクロブロックは、変換により水平方向及び垂直方向
ともに８成分のブロックに変換され、入力画像圧縮情報
のマクロブロックを動き補償する第１の動きベクトルに
基づいて、出力画像圧縮情報のマクロブロックを構成
し、ブロックの各々を動き補償する第２の動きベクトル
を生成し、この第２の動きベクトルのうち、符号化効率
の最も高い動きベクトルを出力画像圧縮情報のマクロブ
ロックを動き補償する第３の動きベクトルとする変換手
段と、第１の動きベクトルに基づいて生成された第２の
動きベクトルを再度入力し、当該第２の動きベクトルの
値の近傍で第２の動きベクトルを再検索し補正する動き
ベクトル補正手段とを有することによって、動きベクト
ル変換手段により補正処理された動きベクトルに対し
て、動きベクトル検索補正手段において再検索して動き
ベクトルの精度の誤差を補正することで、符号化処理に
おける符号化効率の低減を最小とすることが可能であ
る。
かる動きベクトル変換装置によれば、入力画像圧縮情報
のマクロブロックは、変換により水平方向及び垂直方向
ともに８成分のブロックに変換され、入力画像圧縮情報
のマクロブロックを動き補償する第１の動きベクトルに
基づいて、出力画像圧縮情報のマクロブロックを構成
し、ブロックの各々を動き補償する第２の動きベクトル
を生成し、この第２の動きベクトルのうち、符号化効率
の最も高い動きベクトルを出力画像圧縮情報のマクロブ
ロックを動き補償する第３の動きベクトルとする変換手
段と、第１の動きベクトルに基づいて生成された第２の
動きベクトルを再度入力し、当該第２の動きベクトルの
値の近傍で第２の動きベクトルを再検索し補正する動き
ベクトル補正手段とを有することによって、動きベクト
ル変換手段により補正処理された動きベクトルに対し
て、動きベクトル検索補正手段において再検索して動き
ベクトルの精度の誤差を補正することで、符号化処理に
おける符号化効率の低減を最小とすることが可能であ
る。
【０２１７】また、本発明にかかる動きベクトル変換方
法によれば、水平方向及び垂直方向ともに１６成分の離
散コサイン変換係数からなるマクロブロックから構成さ
れる飛び越し走査の画像を符号化した入力画像圧縮情報
を、水平方向及び垂直方向ともに１６成分の離散コサイ
ン変換係数からなるマクロブロックから構成され、飛び
越し走査の画像に対して水平方向及び垂直方向ともに１
／２のサイズを有する順次走査の画像を符号化した出力
画像圧縮情報へと変換する際、動きベクトルを変換する
動きベクトル変換方法において、入力画像圧縮情報のマ
クロブロックは、変換により水平方向及び垂直方向とも
に８成分のブロックに変換され、入力画像圧縮情報のマ
クロブロックを動き補償する第１の動きベクトルに基づ
いて、出力画像圧縮情報のマクロブロックを構成し、ブ
ロックの各々を動き補償する第２の動きベクトルを生成
し、この第２の動きベクトルのうち、符号化効率の最も
高い動きベクトルを出力画像圧縮情報のマクロブロック
を動き補償する第３の動きベクトルとし、第１の動きベ
クトルに基づいて生成された第２の動きベクトルを再度
入力し、当該第２の動きベクトルの値の近傍で第２の動
きベクトルを再検索し補正することにより、動きベクト
ル変換手段により補正処理された動きベクトルに対し
て、動きベクトルを再検索して動きベクトルの精度の誤
差を補正することで、符号化処理における符号化効率の
低減を最小とすることが可能となる。
法によれば、水平方向及び垂直方向ともに１６成分の離
散コサイン変換係数からなるマクロブロックから構成さ
れる飛び越し走査の画像を符号化した入力画像圧縮情報
を、水平方向及び垂直方向ともに１６成分の離散コサイ
ン変換係数からなるマクロブロックから構成され、飛び
越し走査の画像に対して水平方向及び垂直方向ともに１
／２のサイズを有する順次走査の画像を符号化した出力
画像圧縮情報へと変換する際、動きベクトルを変換する
動きベクトル変換方法において、入力画像圧縮情報のマ
クロブロックは、変換により水平方向及び垂直方向とも
に８成分のブロックに変換され、入力画像圧縮情報のマ
クロブロックを動き補償する第１の動きベクトルに基づ
いて、出力画像圧縮情報のマクロブロックを構成し、ブ
ロックの各々を動き補償する第２の動きベクトルを生成
し、この第２の動きベクトルのうち、符号化効率の最も
高い動きベクトルを出力画像圧縮情報のマクロブロック
を動き補償する第３の動きベクトルとし、第１の動きベ
クトルに基づいて生成された第２の動きベクトルを再度
入力し、当該第２の動きベクトルの値の近傍で第２の動
きベクトルを再検索し補正することにより、動きベクト
ル変換手段により補正処理された動きベクトルに対し
て、動きベクトルを再検索して動きベクトルの精度の誤
差を補正することで、符号化処理における符号化効率の
低減を最小とすることが可能となる。
【図１】本発明の実施の形態の一例として示す画像情報
変換装置の構成を説明するブロック図である。
変換装置の構成を説明するブロック図である。
【図２】本発明の実施の形態の一例として示す画像情報
変換装置の動きベクトル補正部の構成を説明するブロッ
ク図である。
変換装置の動きベクトル補正部の構成を説明するブロッ
ク図である。
【図３】ＭＰＥＧ２ビットストリームにおける動きベク
トルとＭＰＥＧ４ビットストリームにおける動きベクト
ルとの間の相関関係を説明する図である。
トルとＭＰＥＧ４ビットストリームにおける動きベクト
ルとの間の相関関係を説明する図である。
【図４】本発明の実施の形態の一例として示す画像情報
変換装置の解像度／フレームレート変換部における変換
動作を説明する図である。
変換装置の解像度／フレームレート変換部における変換
動作を説明する図である。
【図５】本発明の実施の形態の一例として示す画像情報
変換装置の解像度／フレームレート変換部が画像サイズ
調整フラグを用いて画像の解像度を変更する処理を説明
する図である。
変換装置の解像度／フレームレート変換部が画像サイズ
調整フラグを用いて画像の解像度を変更する処理を説明
する図である。
【図６】本発明の実施の形態の一例として示す画像情報
変換装置の動きベクトル変換部が動きベクトルを変換す
る処理を説明する図である。
変換装置の動きベクトル変換部が動きベクトルを変換す
る処理を説明する図である。
【図７】本発明の実施の形態の一例として示す画像情報
変換装置の動きベクトル変換部の構成を説明するブロッ
ク図である。
変換装置の動きベクトル変換部の構成を説明するブロッ
ク図である。
【図８】本発明の実施の形態の一例として示す画像情報
変換装置の動きベクトル変換部における動きベクトル変
換部がＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ
４の８×８動きベクトルへと変換する動作を説明する図
である。
変換装置の動きベクトル変換部における動きベクトル変
換部がＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ
４の８×８動きベクトルへと変換する動作を説明する図
である。
【図９】ＭＰＥＧ２の１６×１６動きベクトルからＭＰ
ＥＧ４の８×８動きベクトルへ変換する際、画像がフレ
ーム構造かつフレーム予測の場合の変換動作を模式的に
説明する図である。
ＥＧ４の８×８動きベクトルへ変換する際、画像がフレ
ーム構造かつフレーム予測の場合の変換動作を模式的に
説明する図である。
【図１０】本発明の実施の形態の一例として示す画像情
報変換装置がＭＰＥＧ２画像圧縮情報における半画素精
度の動きベクトルをＭＰＥＧ４画像圧縮情報の８×８動
きベクトルへと変換するときの動きベクトルの対応関係
を示す図である。
報変換装置がＭＰＥＧ２画像圧縮情報における半画素精
度の動きベクトルをＭＰＥＧ４画像圧縮情報の８×８動
きベクトルへと変換するときの動きベクトルの対応関係
を示す図である。
【図１１】本発明の実施の形態の一例として示す画像情
報変換装置がＭＰＥＧ２の１６×１６動きベクトルから
ＭＰＥＧ４の８×８動きベクトルへ変換する際、画像が
フレーム構造かつ第一フィールド予測の場合の変換動作
を模式的に説明する図である。
報変換装置がＭＰＥＧ２の１６×１６動きベクトルから
ＭＰＥＧ４の８×８動きベクトルへ変換する際、画像が
フレーム構造かつ第一フィールド予測の場合の変換動作
を模式的に説明する図である。
【図１２】本発明の実施の形態の一例として示す画像情
報変換装置がＭＰＥＧ２の１６×１６動きベクトルから
ＭＰＥＧ４の８×８動きベクトルへ変換する際、画像が
フレーム構造かつ第二フィールド予測の場合の変換動作
を模式的に説明する図である。
報変換装置がＭＰＥＧ２の１６×１６動きベクトルから
ＭＰＥＧ４の８×８動きベクトルへ変換する際、画像が
フレーム構造かつ第二フィールド予測の場合の変換動作
を模式的に説明する図である。
【図１３】本発明の実施の形態の一例として示す画像情
報変換装置の解像度／フレームレート変換部における変
換動作を説明する図である。
報変換装置の解像度／フレームレート変換部における変
換動作を説明する図である。
【図１４】本発明の実施の形態の一例として示す画像情
報変換装置が動きベクトル補正方向情報フラグに基づい
た画素補正を説明する図である。
報変換装置が動きベクトル補正方向情報フラグに基づい
た画素補正を説明する図である。
【図１５】本発明の実施の形態の一例として示す画像情
報変換装置が動きベクトル補正方向情報フラグに基づい
た画素補正を説明する図である。
報変換装置が動きベクトル補正方向情報フラグに基づい
た画素補正を説明する図である。
【図１６】本発明の実施の形態の一例として示す画像情
報変換装置の構成を説明するブロック図である。
報変換装置の構成を説明するブロック図である。
【図１７】本発明の実施の形態の一例として示す画像情
報変換装置の動きベクトル補正部の構成を説明するブロ
ック図である。
報変換装置の動きベクトル補正部の構成を説明するブロ
ック図である。
【図１８】従来の画像情報変換装置の構成を説明するブ
ロック図である。
ロック図である。
【図１９】従来の画像情報変換装置の構成を説明するブ
ロック図である。
ロック図である。
【図２０】従来の画像情報変換装置における動きベクト
ル変換部の構成を説明するブロック図である。
ル変換部の構成を説明するブロック図である。
【図２１】従来の画像情報変換装置の動きベクトル変換
部における動きベクトル変換部がＭＰＥＧ２の１６×１
６動きベクトルをＭＰＥＧ４の８×８動きベクトルへと
変換する動作を説明する図である。
部における動きベクトル変換部がＭＰＥＧ２の１６×１
６動きベクトルをＭＰＥＧ４の８×８動きベクトルへと
変換する動作を説明する図である。
【図２２】従来の画像情報変換装置がＭＰＥＧ２の１６
×１６動きベクトルからＭＰＥＧ４の８×８動きベクト
ルへ変換する際、画像がフレーム構造かつフレーム予測
の場合の変換動作を模式的に説明する図である。
×１６動きベクトルからＭＰＥＧ４の８×８動きベクト
ルへ変換する際、画像がフレーム構造かつフレーム予測
の場合の変換動作を模式的に説明する図である。
【図２３】従来の画像情報変換装置がＭＰＥＧ２画像圧
縮情報における半画素精度の動きベクトルをＭＰＥＧ４
画像圧縮情報の８×８動きベクトルへと変換するときの
動きベクトルの対応関係を示す図である。
縮情報における半画素精度の動きベクトルをＭＰＥＧ４
画像圧縮情報の８×８動きベクトルへと変換するときの
動きベクトルの対応関係を示す図である。
【図２４】従来の画像情報変換装置がＭＰＥＧ２の１６
×１６動きベクトルからＭＰＥＧ４の８×８動きベクト
ルへ変換する際、画像がフレーム構造かつフィールド予
測の場合の変換動作を模式的に説明する図である。
×１６動きベクトルからＭＰＥＧ４の８×８動きベクト
ルへ変換する際、画像がフレーム構造かつフィールド予
測の場合の変換動作を模式的に説明する図である。
【図２５】従来の画像情報変換装置の解像度／フレーム
レート変換部における変換動作を説明する図である。
レート変換部における変換動作を説明する図である。
【図２６】従来の画像情報変換装置が画素サイズ調整フ
ラグに基づいて画像サイズに適した動きベクトルを出力
する処理を示すフローチャートである。
ラグに基づいて画像サイズに適した動きベクトルを出力
する処理を示すフローチャートである。
【図２７】従来の画像情報変換装置における動きベクト
ル変換部の構成を説明するブロック図である。
ル変換部の構成を説明するブロック図である。
【図２８】従来の画像情報変換装置における補正部の構
成を説明するブロック図である。
成を説明するブロック図である。
【図２９】従来の画像情報変換装置における動きベクト
ル変換部の構成を説明するブロック図である。
ル変換部の構成を説明するブロック図である。
１，２ 画像情報変換装置、１１ ＭＰＥＧ２画像情報
復号化部、１２ 解像度／フレームレート変換部、１
３，２４ 動きベクトル変換部、１４，２５ 動きベク
トル補正部、１５ ＭＰＥＧ４画像情報符号化部、１６
解像度フレーム変換部、１７ 画像補填・除去部、１
８，２６ 動きベクトル整数画素検索部、１９，２７
動きベクトル半画素検索部、２０ 動きベクトル変換
部、２１ 動きベクトル調整部、２２ 動きベクトル変
換部、２３ 動きベクトル補正部
復号化部、１２ 解像度／フレームレート変換部、１
３，２４ 動きベクトル変換部、１４，２５ 動きベク
トル補正部、１５ ＭＰＥＧ４画像情報符号化部、１６
解像度フレーム変換部、１７ 画像補填・除去部、１
８，２６ 動きベクトル整数画素検索部、１９，２７
動きベクトル半画素検索部、２０ 動きベクトル変換
部、２１ 動きベクトル調整部、２２ 動きベクトル変
換部、２３ 動きベクトル補正部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 輝彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 名雲 武文 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 LB05 LB07 MA00 MA23 NN15 NN21 NN28 PP05 PP06 PP07 PP30 SS01 SS08 SS10 SS11 TA62 TB07 TB08 TC12 TD02 UA02 UA11 5C063 AA01 AB03 AC01 BA01 BA12 CA05 CA07 CA11
Claims (8)
- 【請求項１】 水平方向及び垂直方向ともに１６成分の
離散コサイン変換係数からなるマクロブロックから構成
される飛び越し走査の画像を符号化した入力画像圧縮情
報を、水平方向及び垂直方向ともに１６成分の離散コサ
イン変換係数からなるマクロブロックから構成され、上
記飛び越し走査の画像に対して水平方向及び垂直方向と
もに１／２のサイズを有する順次走査の画像を符号化し
た出力画像圧縮情報へと変換する際、動きベクトルを変
換する動きベクトル変換装置において、 上記入力画像圧縮情報のマクロブロックは、上記変換に
より水平方向及び垂直方向ともに８成分のブロックに変
換され、上記入力画像圧縮情報のマクロブロックを動き
補償する第１の動きベクトルに基づいて、上記出力画像
圧縮情報のマクロブロックを構成し、上記ブロックの各
々を動き補償する第２の動きベクトルを生成し、この第
２の動きベクトルのうち、符号化効率の最も高い動きベ
クトルを上記出力画像圧縮情報のマクロブロックを動き
補償する第３の動きベクトルとする変換手段と、 上記第１の動きベクトルに基づいて生成された上記第２
の動きベクトルを再度入力し、当該第２の動きベクトル
の値の近傍で第２の動きベクトルを再検索し補正する動
きベクトル補正手段とを有することを特徴とする動きベ
クトル変換装置。 - 【請求項２】 上記動きベクトル補正手段は、最も予測
誤差が少ない整数画素の動きベクトルを求め、この整数
画素に隣接する９つの半画素値を検索することを特徴と
する請求項１記載の動きベクトル変換装置。 - 【請求項３】 上記再検索を行うための最適な画像領域
を設定する設定手段を備えることを特徴とする請求項１
記載の動きベクトル変換装置。 - 【請求項４】 上記入力画像圧縮情報は、ＭＰＥＧ（Mo
ving Picture ExpertsGroup）によって標準化されたＭ
ＰＥＧ２規格に基づくものであり、上記出力画像圧縮情
報は、ＭＰＥＧ４規格に基づくものであることを特徴と
する請求項１記載の動きベクトル変換装置。 - 【請求項５】 水平方向及び垂直方向ともに１６成分の
離散コサイン変換係数からなるマクロブロックから構成
される飛び越し走査の画像を符号化した入力画像圧縮情
報を、水平方向及び垂直方向ともに１６成分の離散コサ
イン変換係数からなるマクロブロックから構成され、上
記飛び越し走査の画像に対して水平方向及び垂直方向と
もに１／２のサイズを有する順次走査の画像を符号化し
た出力画像圧縮情報へと変換する際、動きベクトルを変
換する動きベクトル変換方法において、 上記入力画像圧縮情報のマクロブロックは、上記変換に
より水平方向及び垂直方向ともに８成分のブロックに変
換され、上記入力画像圧縮情報のマクロブロックを動き
補償する第１の動きベクトルに基づいて、上記出力画像
圧縮情報のマクロブロックを構成し、上記ブロックの各
々を動き補償する第２の動きベクトルを生成し、この第
２の動きベクトルのうち、符号化効率の最も高い動きベ
クトルを上記出力画像圧縮情報のマクロブロックを動き
補償する第３の動きベクトルとし、 上記第１の動きベクトルに基づいて生成された上記第２
の動きベクトルを再度入力し、当該第２の動きベクトル
の値の近傍で第２の動きベクトルを再検索し補正するこ
とを特徴とする動きベクトル変換方法。 - 【請求項６】 上記再検索では、最も予測誤差が少ない
整数画素の動きベクトルを求め、この整数画素に隣接す
る９つの半画素値を検索することを特徴とする請求項５
記載の動きベクトル変換方法。 - 【請求項７】 上記再検索を行うための最適な画像領域
を設定することを特徴とする請求項５記載の動きベクト
ル変換方法。 - 【請求項８】 上記入力画像圧縮情報は、ＭＰＥＧ（Mo
ving Picture ExpertsGroup）によって標準化されたＭ
ＰＥＧ２規格に基づくものであり、上記出力画像圧縮情
報は、ＭＰＥＧ４規格に基づくものであることを特徴と
する請求項５記載の動きベクトル変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001009301A JP4779207B2 (ja) | 2001-01-17 | 2001-01-17 | 動きベクトル変換装置及び動きベクトル変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001009301A JP4779207B2 (ja) | 2001-01-17 | 2001-01-17 | 動きベクトル変換装置及び動きベクトル変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002218468A true JP2002218468A (ja) | 2002-08-02 |
| JP4779207B2 JP4779207B2 (ja) | 2011-09-28 |
Family
ID=18876806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001009301A Expired - Fee Related JP4779207B2 (ja) | 2001-01-17 | 2001-01-17 | 動きベクトル変換装置及び動きベクトル変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4779207B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009076972A (ja) * | 2007-09-18 | 2009-04-09 | Canon Inc | 画像符号化装置及び画像符号化方法 |
| JP2011131017A (ja) * | 2009-12-25 | 2011-07-07 | Sanyo Product Co Ltd | 遊技機 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066088A (ja) * | 1996-08-16 | 1998-03-06 | Ricoh Co Ltd | 多地点テレビ会議制御装置 |
| JPH10271494A (ja) * | 1997-03-26 | 1998-10-09 | Nec Commun Syst Ltd | 動画符号変換装置 |
| JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
| JP2000059789A (ja) * | 1998-08-04 | 2000-02-25 | Victor Co Of Japan Ltd | 動画像符号列変換装置及びその方法 |
| JP2000165883A (ja) * | 1998-11-27 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
| JP2000244927A (ja) * | 1999-02-23 | 2000-09-08 | Matsushita Electric Ind Co Ltd | 動画変換装置 |
-
2001
- 2001-01-17 JP JP2001009301A patent/JP4779207B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066088A (ja) * | 1996-08-16 | 1998-03-06 | Ricoh Co Ltd | 多地点テレビ会議制御装置 |
| JPH10271494A (ja) * | 1997-03-26 | 1998-10-09 | Nec Commun Syst Ltd | 動画符号変換装置 |
| JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
| JP2000059789A (ja) * | 1998-08-04 | 2000-02-25 | Victor Co Of Japan Ltd | 動画像符号列変換装置及びその方法 |
| JP2000165883A (ja) * | 1998-11-27 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
| JP2000244927A (ja) * | 1999-02-23 | 2000-09-08 | Matsushita Electric Ind Co Ltd | 動画変換装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009076972A (ja) * | 2007-09-18 | 2009-04-09 | Canon Inc | 画像符号化装置及び画像符号化方法 |
| JP2011131017A (ja) * | 2009-12-25 | 2011-07-07 | Sanyo Product Co Ltd | 遊技機 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4779207B2 (ja) | 2011-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4682410B2 (ja) | 画像処理装置及び画像処理方法 | |
| EP2290991B1 (en) | Predicting motion vectors for fields of forward-predicted interlaced video frames | |
| US9197903B2 (en) | Method and system for determining a macroblock partition for data transcoding | |
| US8514939B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| JP5325638B2 (ja) | 画像復号化方法 | |
| JP2001238218A (ja) | 信号変換装置及び方法 | |
| JP3797209B2 (ja) | 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム | |
| JP2001285863A (ja) | 画像情報変換装置及び方法 | |
| JP4622077B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2009027446A (ja) | 画像処理方法および画像処理装置 | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP2002125227A (ja) | 画像情報変換装置及び方法 | |
| JP4779207B2 (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP2002044669A (ja) | 画像情報変換装置及び方法 | |
| JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
| JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
| JP2001309389A (ja) | 動きベクトル変換装置及び方法 | |
| JP4529295B2 (ja) | 動きベクトル変換方法及び変換装置 | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| JP2002199399A (ja) | 動きベクトル変換方法及び変換装置 | |
| JP4505992B2 (ja) | 画像情報変換装置及び方法 | |
| JP2002247588A (ja) | 動きベクトル変換方法及び変換装置 | |
| JP2002135785A (ja) | 動きベクトル変換方法及び変換装置 | |
| JPH11252561A (ja) | 動画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |