JP2002142222A - 圧縮画像の画面サイズ変更装置 - Google Patents

Abstract

(57)【要約】 【課題】 空間軸及び時間軸方向に圧縮符号化した画像
から、異なる解像度の圧縮符号化した画像に高速に変換
する。 【解決手段】可変長復号手段101は、圧縮画像を復号
し、各フレームの動きベクトル情報と直交変換画像を出
力する。この直交変換画像は逆量子化され、階層逆直交
変換手段103は、直交変換画像を画素数の変更率に応じ
て逆直交変換し、解像度変更後の非圧縮差分画像または
非圧縮画像を出力する。動きベクトル補正手段104は、
復号した動きベクトル情報を画素数の変更率に応じて修
正する。動きベクトル生成手段105は、復号した動きベ
クトル情報を用いて、解像度変更後の動きベクトル情報
を生成し、これを用いて動き補償非圧縮画像生成手段10
6が非圧縮差分画像の動き補償処理を行い、非圧縮画像
を生成する。動き補償非圧縮差分画像生成手段107は、
解像度変更後の動きベクトル情報を用いて、非圧縮画像
の非圧縮差分画像を生成する。非圧縮差分画像や非圧縮
画像は次いで圧縮される。解像度変更前の圧縮画像から
解像度変更後の非圧縮画像を直接生成できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、空間軸及び時間軸
方向に圧縮符号化した画像から、異なる解像度の圧縮符
号化した画像への変換を行う画面サイズ変更装置に関
し、特に、高速での変換を可能にしたものである。

【０００２】

【従来の技術】近年、デジタル放送やインターネットの
普及に伴い、圧縮画像の解像度を変更するトランスコー
ディング技術が重要になってきている。このトランスコ
ーディング技術は、例えば、デジタル放送で受信した複
数の番組画像を縮小合成し、1つのストリームとしてＴ
Ｖ受信機に表示する番組一覧表示や、ある圧縮フォーマ
ットの画像をテレビ会議用の圧縮フォーマットに解像度
を変更して変換するフォーマット変換や、ネットワーク
帯域やコンピュータの処理能力に応じて、圧縮画像の解
像度を変更してビットレートを抑制する映像中継装置等
に用いることができる。

【０００３】圧縮画像の符号化方式には、ＣＣＩＴＴ
（Comite Consultatif Internationable Telegraphique
Expert Group）のテレビ会議用のＨ．２６１符号化方
式や、ＩＳＯ（International Standards Organizatio
n）のＭＰＥＧ（Moving PictureExperts Group）符号化
方式等が挙げられる。Ｈ．２６１やＭＰＥＧ符号化方式
は、フレーム間予測、ＤＣＴ（Discrete Cosine Transf
orm：離散コサイン変換）、量子化、可変長符号を用い
て、時間軸及び空間軸方向に圧縮している。

【０００４】図１２は、Ｈ．２６１やＭＰＥＧ等の圧縮
符号化で採用されている、空間的相関関係を利用して圧
縮を行うフレーム内符号化を模式的に示している。フレ
ーム内符号化は、直交変換の一つであるＤＣＴを用い
て、まず、フレームを構成する画素ブロック（８ｘ８画
素ブロック）を直交変換し、周波数分布を表わすＤＣＴ
ブロックに変換する。ＤＣＴブロックは、図１２に示す
ように、低周波の方にエネルギーが集まる特性がある。
次に、算出したＤＣＴブロックの直流成分やそれに近い
低周波成分の係数に細かい量子化を行い、高周波成分に
対しては粗い量子化を行う。これにより、視覚的な画質
劣化を伴わずにＤＣＴブロックの量子化ができる。そし
て、図１３に示すように、量子化したＤＣＴブロックの
係数をジグザグスキャン方式で、低周波領域から順に走
査し、ランレングス符号化、可変長符号化を行う。

【０００５】ランレングス符号化は、ＤＣＴブロックの
係数を（零係数の個数，非零係数の値）の組に変換する
もので、ジグザグスキャン方式と併用して、ＤＣＴブロ
ックで零係数の多い高周波情報を圧縮できる。可変長符
号化は、ランレングス符号化で変換した（零係数の個
数，非零係数の値）の組の出現確率によって予め用意し
ているハフマン符号テーブルで、可変長のビットを順に
生成する。

【０００６】また、図１４は、Ｈ．２６１やＭＰＥＧ等
の圧縮符号化で採用されている、時間的相関関係を利用
して圧縮を行うフレーム間符号化を模式的に示してい
る。フレーム間予測符号化は、図１４に示すように、過
去または未来のフレームから現在のフレームを予測する
もので、現在のフレーム内の各ブロックに対して、過去
あるいは未来のフレームとの動きベクトルと差分情報と
を求めて時間軸方向への圧縮を行う。過去のフレームか
ら予測して符号化したものをフレーム間順方向予測符号
化フレーム（Ｐフレーム）、過去と未来の２つのフレー
ムから予測して符号化したものをフレーム間双方向予測
符号化フレーム（Ｂフレーム）と呼ぶ。

【０００７】動きベクトル検出方法は、現在の画像内の
マクロブロック（１６ｘ１６画素ブロック）毎に、平均
誤差が最小となるマクロブロックを過去・未来の画像か
ら半画素あるいは１画素ずつずらしながら探索する。こ
のため、精度は高いが、膨大な演算量が必要となり処理
速度低下の原因となっている。なお、動きベクトル検出
の結果、最小の平均誤差が、ある閾値より大きいマクロ
ブロックに関しては、フレーム内符号化のマクロブロッ
ク（Ｉマクロブロック）として符号化する。

【０００８】このように圧縮符号化されている圧縮画像
の解像度を変更するためには、一旦非圧縮に伸長し、再
度、符号化し直す必要がある。しかし、この解像度変更
方法では、解像度を変換する処理以外に、動き補償、動
きベクトル検出、ＤＣＴ、逆ＤＣＴ等の莫大な画像処理
を必要とし、高速に処理することができない。

【０００９】高速に解像度を変換する方法は、例えば、
特開平１０−２７１４９４号公報に開示されている。こ
の方法を実施する画面サイズ変更装置は、図１６に示す
ように、圧縮画像を復号し、この復号画像がフレーム内
符号化画像（Ｉピクチャ）、フレーム間順方向予測符号
化画像（Ｐピクチャ）、双方向予測符号化画像（Ｂピク
チャ）のいずれのピクチャタイプかを示す画像識別デー
タと動きベクトルデータと周波数データとを出力する可
変長復号手段1501と、周波数データを逆量子化する逆量
子化手段1502と、逆量子化した周波数データを空間領域
の画素データに変換し、画像メモリ1597に蓄積する逆Ｄ
ＣＴ手段1503と、画像メモリ1503から読み出した画素デ
ータを変換する解像度に応じて間引き処理し、補正画像
データを出力する画像サブサンプリング手段1506と、ピ
クチャタイプデータを判定し使用するピクチャタイプデ
ータであれば、起動指示信号を出力するピクチャ判定手
段1505と、起動指示信号により動きベクトルデータの補
正を行い補正ベクトルデータを出力するベクトル補正手
段1504と、補正画像データを周波数データに変換するＤ
ＣＴ手段1508と、周波数データを量子化する量子化手段
1509と、量子化した周波数データと補正ベクトルデータ
とをともに可変長符号を行う可変長符号手段1510とを備
えている。

【００１０】この装置では、可変長復号手段1501が圧縮
画像を復号し、画像識別データをピクチャ判定手段1505
に、動きベクトルデータをベクトル補正手段1504に、周
波数データを逆量子化手段1502に出力する。逆量子化手
段1502は、周波数データを逆量子化し、逆ＤＣＴ手段15
03は、逆量子化された周波数データを空間領域の画素デ
ータに変換して画像メモリ1597に蓄積する。

【００１１】ピクチャ判定手段1505は、ピクチャタイプ
データを判定し、使用するピクチャタイプデータであれ
ば、起動指示信号をベクトル補正手段1504及び画像サン
プリング手段1506に出力する。画像サブサンプリング手
段1506は、画像メモリ1503から画素データを読み出し、
変換する解像度に応じて画素データの間引き処理を行
い、生成した補正画像データをＤＣＴ手段1508に出力す
る。ＤＣＴ手段1508は、補正画像データを周波数データ
に変換し、量子化手段1509は、周波数データを量子化し
て可変長符号手段1510に出力する。

【００１２】また、ベクトル補正手段1504は、起動指示
信号により動きベクトルデータの補正を行い、補正ベク
トルデータを可変長符号手段1510に出力する。可変長符
号手段1510は、量子化した周波数データと補正ベクトル
データとをともに可変長符号化する。この方法では、再
エンコード時の動きベクトル検出の演算量を削減する効
果を伴う。

【００１３】

【発明が解決しようとする課題】しかし、従来の技術で
は、図１５（ａ）に示すように、解像度変更前の圧縮画
像から解像度変更前の非圧縮画像を一旦生成し、画像サ
ブサンプリングを行うことで解像度変更後の非圧縮画像
を生成し、この解像度変更後非圧縮画像を圧縮して解像
度変更後の圧縮画像を生成しているため、高速な解像度
の変更処理ができないという問題点がある。

【００１４】本発明は、こうした従来の問題点を解決す
るものであり、解像度変更前の圧縮画像から解像度変更
後の非圧縮画像を直接生成することにより、解像度変更
に伴う演算量の削減を可能にした画面サイズ変更装置を
提供することを目的としている。

【００１５】

【課題を解決するための手段】そこで、本発明では、圧
縮画像の画素数を変更する画面サイズ変更装置におい
て、圧縮画像を可変長復号し、各フレームの動きベクト
ル情報と直交変換画像とを出力する可変長復号手段と、
復号した直交変換画像を逆量子化する逆量子化手段と、
この直交変換画像を画素数の変更率に応じて逆直交変換
し非圧縮差分画像または非圧縮画像を生成する階層逆直
交変換手段と、可変長復号手段により生成した動きベク
トル情報を画素数の変更率に応じて修正する動きベクト
ル補正手段と、可変長復号手段により生成した動きベク
トル情報を用いて解像度変更後の動きベクトル情報を生
成する動きベクトル生成手段と、階層逆直交変換手段に
より生成した非圧縮差分画像と動きベクトル補正手段に
より修正した動きベクトル情報とを用いて、非圧縮差分
画像を非圧縮画像に変換する動き補償非圧縮画像生成手
段と、この非圧縮画像と動きベクトル生成手段により生
成した解像度変更後の動きベクトル情報とを用いて、解
像度変更後の非圧縮差分画像を生成する動き補償非圧縮
差分画像生成手段と、この非圧縮差分画像または前記非
圧縮画像を直交変換する直交変換手段と、この直交変換
画像を量子化する量子化手段と、量子化した直交変換画
像と動きベクトル生成手段で生成した解像度変更後の動
きベクトル情報とを用いて可変長符号化する可変長符号
手段とを設けている。

【００１６】そのため、解像度の変更率に応じて、逆Ｄ
ＣＴ処理と動き補償処理とのパラメータ（ブロックサイ
ズ、動きベクトル）を変更することにより、解像度変更
前圧縮画像から解像度変更後非圧縮画像を直接生成する
ことができ、解像度変更の演算量を低減することができ
る。

【００１７】

【発明の実施の形態】（実施の形態１）実施の形態１で
は、空間軸及び時間軸方向に圧縮符号化した画像から、
異なる解像度の圧縮符号化した画像に高速に変換する圧
縮画像の画面サイズ変更装置について説明する。以下、
複数の画素から構成される画素ブロックを非圧縮画素ブ
ロック、非圧縮画素ブロック間で画素の差分処理を行っ
て得られたブロックを非圧縮差分ブロック、複数の非圧
縮画素ブロックから構成される画像を非圧縮画像、ま
た、複数の非圧縮差分ブロックから構成される画像を非
圧縮差分画像と定義する。

【００１８】この画面サイズ変更装置は、図１に示すよ
うに、圧縮画像を可変長復号し、各フレームの動きベク
トル情報と直交変換画像とを出力する可変長復号手段10
1と、可変長復号手段101により復号した直交変換画像を
逆量子化する逆量子化手段102と、逆量子化手段102によ
り生成した直交変換画像を画素数の変更率に応じて逆直
交変換し非圧縮差分画像または非圧縮画像を生成する階
層逆直交変換手段103と、可変長復号手段101により生成
した動きベクトル情報を画素数の変更率に応じて修正す
る動きベクトル補正手段104と、可変長復号手段101によ
り生成した動きベクトル情報を用いて解像度変更後の動
きベクトル情報を生成する動きベクトル生成手段105
と、階層逆直交変換手段103により生成した非圧縮差分
画像と動きベクトル補正手段104により修正した動きベ
クトル情報とを用いて、非圧縮差分画像を非圧縮画像に
変換する動き補償非圧縮画像生成手段106と、動き補償
非圧縮画像生成手段106により生成した非圧縮画像と動
きベクトル生成手段105により生成した解像度変更後の
動きベクトル情報とを用いて、解像度変更後の非圧縮差
分画像を生成する動き補償非圧縮差分画像生成手段107
と、動き補償非圧縮差分画像生成手段107により生成し
た非圧縮差分画像または非圧縮画像を直交変換する直交
変換手段108と、直交変換手段108により生成した直交変
換画像を量子化する量子化手段109と、量子化手段109に
より量子化した直交変換画像と動きベクトル生成手段10
5で生成した解像度変更後の動きベクトル情報とを用い
て、可変長符号化する可変長符号手段110とから構成さ
れる。

【００１９】この装置では、図１５（ｂ）に示すよう
に、解像度変更前圧縮画像が、可変長復号手段101及び
逆量子化手段102の処理を経た後、階層逆直交変換手段1
03によって、Ｉピクチャは解像度変更後の非圧縮画像
に、また、Ｐ、Ｂピクチャは解像度変更後の非圧縮差分
画像に変換される。この内、解像度変更後非圧縮差分画
像は、動き補償非圧縮画像生成手段106により解像度変
更後非圧縮画像に変換された後、動き補償非圧縮差分画
像生成手段107により解像度変更後の非圧縮差分画像に
変換される。次いで、解像度変更後非圧縮画像と解像度
変更後非圧縮差分画像とは、直交変換手段108、量子化
手段109及び可変長符号手段110により解像度変更後圧縮
画像に変換される。

【００２０】フレーム内予測符号化及びフレーム間予測
符号化を用いて圧縮されている圧縮画像の解像度を変更
する場合には、図２（ａ）に示すように、解像度の変更
により、画素ブロックの画素構成が変更になる。また、
図２（ｂ）に示すように、動きベクトルはマクロブロッ
ク単位で保持されているため、画素数を変更すると、変
更後の動きベクトルと差分画像とを新たに算出する必要
がある。

【００２１】この画面サイズ変更装置では、圧縮画像の
非圧縮伸張時に、階層逆直交変換手段103が、逆ＤＣＴ
処理を施すブロックサイズを、解像度の変更率に応じて
設定する。また、動き補償非圧縮画像生成手段106が、
動きベクトル補正手段104によって修正された動きベク
トルを用いて非圧縮画像を生成し、動き補償非圧縮差分
画像生成手段107が、動きベクトル生成手段105によって
生成された動きベクトルを用いて非圧縮差分画像を生成
し、動きベクトルの変更が行われる。こうすることで解
像度変更後の非圧縮画像の生成が可能になる。

【００２２】図３は、本願発明の解像度の変更率に応じ
て、ＩＤＣＴ処理及び動き補償処理のパラメータ（ブロ
ックサイズ、動きベクトル）の変更を行う方法の一例を
示している。

【００２３】階層逆直交変換手段103は、８ｘ８ＤＣＴ
ブロックに対して、ＩＤＣＴ４ｘ４（縦横１／２縮小の
場合）の処理を行う。ＩＤＣＴを施すＤＣＴブロックの
領域は、画像サイズの縮小を行う場合には、８ｘ８ＤＣ
Ｔブロックの低周波領域を抽出した領域、また、画像サ
イズの拡大を行う場合には、８ｘ８ＤＣＴブロックに高
周波領域を新たに追加した領域とする。例えば、縦横の
１／４縮小を行う場合、８ｘ８ＤＣＴブロックの２ｘ２
低周波領域を抽出し、ＩＤＣＴ２ｘ２の処理を行う。ま
た、縦横２倍の拡大を行う場合、８ｘ８ＤＣＴブロック
に新たに高周波成分を追加し、１６ｘ１６ＤＣＴブロッ
クを生成し、ＩＤＣＴ１６ｘ１６の処理を行う。

【００２４】動きベクトル補正手段104は、解像度の変
更率に応じて、解像度変更前の動きベクトルを補正す
る。例えば、縦横１／２の縮小を行う場合、動きベクト
ルも縦横の各方向に１／２の補正を行う。即ち、図３に
示すように、解像度変更前の各マクロブロックに保持さ
れている動きベクトルが（２，４）（−３，２）（４，
２）（５，０）であるとすると、（１，２）（−１.
５，１）（２，１）（２.５，０）に補正される。

【００２５】動き補償非圧縮画像生成手段106は、階層
逆直交変換手段103で生成した非圧縮差分画像と、動き
ベクトル補正手段104で補正した動きベクトルとを用い
て、動き補償処理を行い、非圧縮画像を生成する。

【００２６】なお、動き補償処理を行う画素ブロックサ
イズは、解像度の変更率に応じて変更しないといけな
い。例えば、縦横１／２縮小を行う場合、４ｘ４画素ブ
ロック単位で動き補償処理を行わなければならない。

【００２７】動きベクトル生成手段105は、解像度変更
前の動きベクトルを用いて、その平均を取ったり、同じ
向きのベクトルが多い場合にその１つを選択したり、ベ
クトル量が最小のベクトルを選択する等の方法で、解像
度変更後の動きベクトルを生成する。図３の場合、動き
ベクトル生成手段105は、動きベクトルとして（２，
１）を生成している。動き補償非圧縮差分画像生成手段
107は、動き補償非圧縮画像生成手段106により生成した
非圧縮画像と、動きベクトル生成手段105で生成した動
きベクトルとを用いて、非圧縮差分画像を生成する。

【００２８】図４は、本画面サイズ変更装置のフレーム
単位での処理の流れを示したフローチャートで、以下そ
の動作を説明する。 Step701：可変長復号手段101において、圧縮画像を可変
長復号し、各フレームのピクチャタイプ、動きベクトル
情報、直交変換画像を抽出する。 Step702：逆量子化手段102において、直交変換画像を逆
量子化する。 Step703：解像度の変更率に応じて、階層逆直交変換手
段103で使用する直交変換ブロックの成分を抽出する。 Step704：階層逆直交変換手段103において、解像度の変
更率に応じた逆直交変換処理を施し、解像度変更後の画
面サイズを有する非圧縮差分画像または非圧縮画像を生
成する。 Step705：フレームのピクチャタイプがＩフレームかど
うか判定する。Ｉフレームの場合、Step709へ、Ｐ，Ｂ
フレームの場合、Step706へ進む。

【００２９】Step706：動きベクトル補正手段104におい
て、解像度の変更率に応じて、Step701で抽出した動き
ベクトル情報を補正する。 Step707：解像度の変更率に応じて、動き補償処理を行
う画素ブロックサイズを決定する。 Step708：動き補償非圧縮画像生成手段106において、St
ep704で生成した非圧縮差分画像と、Step706で補正した
動きベクトル情報とを用いて、Step707で決定した画素
ブロックサイズ単位で動き補償処理を行い、非圧縮画像
を生成する。 Step709：フレームのピクチャタイプがＩフレームかど
うか判定する。Ｉフレームの場合、Step712へ、Ｐ、Ｂ
フレームの場合、Step710へ進む。

【００３０】Step710：動きベクトル生成手段105におい
て、解像度変更後の動きベクトル情報を生成する。 Step711：動き補償非圧縮差分画像生成手段107におい
て、Step708で生成した非圧縮画像と、Step710で生成し
た解像度変更後の動きベクトル情報とを用いて、動き補
償処理を行い、非圧縮差分画像を生成する。 Step712：直交変換手段108において、非圧縮差分画像及
び非圧縮画像の直交変換を行う。 Step713：量子化手段109において、Step712で生成した
直交変換画像の量子化を行う。 Step714：可変長符号化手段110において、Step710で生
成した解像度変更後の動きベクトル情報と、Step713で
量子化した直交変換画像との可変長符号化を行い、解像
度変更後の圧縮画像を生成し、処理を終了する。

【００３１】以上のように、本画面サイズ変更装置は、
解像度の変更率に応じて、逆ＤＣＴ処理及び動き補償処
理のパラメータ（ブロックサイズ、動きベクトル）を変
更することにより、解像度変更の演算量を低減できる。
そのため、その実用的効果は大きい。

【００３２】（実施の形態２）実施の形態２では、図１
の画面サイズ変更装置の動き補償非圧縮画像生成手段10
6が、動きベクトル補正手段104で生成された補正した動
きベクトルが指す位置の画素ブロックを抽出して、非圧
縮差分画像から非圧縮画像を生成する方法（動きベクト
ル動き補償非圧縮画像生成方法）について説明する。

【００３３】動きベクトルが例えば（２，１）である場
合には、動きベクトルが指す画素は１つの画素に特定さ
れる。この場合は、元の画素の画素データ（差分デー
タ）に動きベクトルが指す画素の画素データを加算して
非圧縮画像の画素データを求めることができる。しか
し、動きベクトルが（２.５，０）と云うように整数で
ない場合には、動きベクトルが指す画素は複数の画素に
跨がる。

【００３４】図６は、縦横１／４縮小により、解像度変
更前の（５，０）の動きベクトルが（１.２５，０）の
動きベクトルに補正されたとき、２ｘ２非圧縮差分画素
ブロック（ａ’、ｂ’、ｅ’、ｆ’）において参照すべ
き、動きベクトルが指す参照先（太線枠）を示してい
る。このような場合、参照先の各画素に、参照枠との重
なりに応じた重みを付けて各画素の画素データを加算
し、それに参照元の非圧縮差分画素の画素データを加え
て非圧縮画像の画素データを得る。

【００３５】この動作を行う動き補償非圧縮画像生成手
段106は、図５に示すように、補正した動きベクトルを
解析し、動きベクトルが指す位置の画素間の重み付けを
生成する画素間重み生成手段801と、画素間重み生成手
段801により生成した画素間の重み付け情報を用いて、
参照画像メモリ851から参照先の非圧縮画素ブロックを
抽出する画素ブロック抽出手段802と、画素ブロック抽
出手段802により抽出した非圧縮画素ブロックと、非圧
縮差分ブロックとから非圧縮画素ブロックを生成する非
圧縮画素ブロック生成手段803とから構成される。

【００３６】図６の例において、縦横１／４縮小によ
り、解像度変更前の（５，０）の動きベクトルが（１.
２５，０）の動きベクトルに補正されると、画素間重み
生成手段801は、補正した動きベクトルを解析し、動き
ベクトルが指す位置の画素間の重み付けを生成する。

【００３７】例えば、補正した動きベクトルが（１.２
５，０）である場合、画素間の重み付け０.７５：０.２
５（横方向）、０：０（縦方向）を生成する。画素ブロ
ック抽出手段802は、参照先の非圧縮画像から、補正し
た動きベクトルが指す位置の画素ブロックを画素間の重
み付けを用いて抽出する。例えば、図６において、
（０.７５ｂ＋０.２５ｃ）等の演算を行って画素ブロッ
クを抽出する。なお、（０.７５ｂ＋０.２５ｃ）の演算
は、ビットシフト等を用いて、整数演算として実現する
ことも可能である。

【００３８】非圧縮画素ブロック生成手段803は、抽出
した画素ブロックと非圧縮差分画像ブロックとから、解
像度変更後の非圧縮画素ブロックを生成する。非圧縮画
素ブロックでの画素ａ’、ｂ’、ｅ’及びｆ’の画素デ
ータは次のようになる。 ａ’＝ａ’＋（０．７５ｂ＋０．２５ｃ） ｂ’＝ｂ’＋（０．７５ｃ＋０．２５ｄ） ｅ’＝ｅ’＋（０．７５ｆ＋０．２５ｇ） ｆ’＝ｆ’＋（０．７５ｇ＋０．２５ｈ） 図７は、実施形態の画面サイズ変更装置の動き補償非圧
縮画像生成手段において、画素ブロック単位の処理の流
れを示したフローチャートで、以下その動作を説明す
る。 Step1001：画素間重み生成手段801において、補正した
動きベクトル（m_x，m_y）を入力する。 Step1002：画素間重み生成手段801において、補正した
動きベクトル（m_x，m_y）の整数部分（i_x，i_y）を生
成する。 Step1003：画素間重み生成手段801において、補正した
動きベクトル（m_x，m_y）の少数点部分（f_x，f_y）を
生成する。 Step1004：画素間重み生成手段801において、横方向の
画素間の重み付け（1-f_x）：f_xと、縦方向の画素間の
重み付け（1-f_y）：f_yを生成する。 Step1005：画素ブロック抽出手段802において、Step100
2で生成した（i_x，i_y）とStep1004で生成した縦方向
及び横方向の画素間の重み付けとを用いて、参照画像メ
モリ851から参照先の非圧縮画素ブロックを抽出する。 Step1006：非圧縮画素ブロック生成手段803において、
非圧縮差分ブロックを入力する。 Step1007：非圧縮画素ブロック生成手段803において、S
tep1005で抽出した参照先の非圧縮画素ブロックとStep1
006で入力した非圧縮差分ブロックとを用いて、解像度
変更後の非圧縮画素ブロックを生成し、処理を終了す
る。

【００３９】以上のように、本画面サイズ変更装置は、
解像度の変更率に応じて修正した動きベクトルが指す位
置情報（画素間の重み付け情報）を生成し、その重み付
け情報に従って、参照画像から画素ブロックを抽出する
ことにより、解像度変更前の圧縮画像から直接解像度変
更後の非圧縮画像を生成する場合の動き補償処理を実現
できる。そのため、その実用的効果は大きい。

【００４０】（実施の形態３）実施の形態３では、任意
サイズの解像度の変更を実現する動き補償非圧縮画像生
成方法について説明する。例えば、解像度を１／３に縮
小するため、図９に示すように、９個の８ｘ８ＤＣＴ差
分ブロックに対して、縦横１／３の縮小を行う逆直交変
換を施し、８ｘ８非圧縮差分ブロックを生成すると、こ
の８ｘ８非圧縮差分ブロック内には（８／３）ｘ（８／
３）サイズのブロック単位で、９個の動きベクトルが存
在することになり、この（８／３）ｘ（８／３）サイズ
の各ブロックに対して動き補償処理を行うことが必要と
なる。

【００４１】このように、動き補償処理を行うブロック
単位のブロックサイズが整数でない場合は、図１０に示
すように、８ｘ８非圧縮差分ブロックを、（８／３）ｘ
（８／３）サイズのブロック単位を含み、ブロックサイ
ズが整数となるブロック単位に再分割する。但し、隣接
するブロック単位同士は、向き合う側に同じ画素の列を
含むように（分割線の両側に同一画素が重複して配置さ
れるように）再分割を行う（図１０（ａ）の連結部分が
重複画素となる）。

【００４２】そのため、縦横１／３の縮小を行う場合に
は、横方向に、３、４、３画素、縦方向に、３、４、３
画素のブロックに再分割する。このように重複画素を含
むブロックをオーバーラップドブロックと呼ぶことにす
る。

【００４３】次に、９個の再分割非圧縮差分ブロックに
対して、対応する（８／３）ｘ（８／３）サイズのブロ
ック単位の動きベクトルを割り当てて動き補償処理を行
い、９個の再分割非圧縮画素ブロックを生成する。次い
で、９個の再分割非圧縮画素ブロック間の重複する画素
を連結する。このとき、再分割ブロック単位と（８／
３）ｘ（８／３）サイズのブロック単位との大きさの関
係から、各再分割ブロック単位の重複する画素の画素デ
ータに重みを付けて加算する。

【００４４】この画面サイズ変更装置の動き補償非圧縮
画像生成手段は、図８に示すように、補正した動きベク
トルを解析し、動きベクトルが指す位置の画素間の重み
付けを生成する画素間重み生成手段1101と、非圧縮差分
ブロックを重複する画素を含む非圧縮差分ブロックに再
分割するオーバラップドブロック分割手段1102と、画素
間重み生成手段1101により生成した画素間の重み付け情
報を用いて、オーバラップドブロック分割手段1102によ
り再分割した非圧縮差分ブロックの参照先の非圧縮画素
ブロックを参照画像メモリ1151から抽出する画素ブロッ
ク抽出手段1103と、オーバラップドブロック分割手段11
02により再分割した非圧縮差分ブロックと画素ブロック
抽出手段1103により抽出した非圧縮画素ブロックとから
非圧縮画素ブロックを生成する非圧縮画素ブロック生成
手段1104と、非圧縮画素ブロック生成手段1104により生
成した複数の非圧縮画素ブロックから重複する画素を連
結する非圧縮画素ブロック連結手段1105とから構成され
る。

【００４５】任意サイズの解像度の変更を行うために、
まず、図１の階層逆直交変換手段103は、従来から提案
されている任意サイズの解像度の変更が可能な方法によ
り、ＤＣＴ差分ブロックから、例えば縦横１／３に縮小
した非圧縮差分ブロックを生成する（図９）。

【００４６】オーバーラップドブロック分割手段1102
は、図１０に示すように、この非圧縮差分ブロックから
９個のオーバーラップドブロックを再分割し、非圧縮画
素ブロック生成手段1104が、再分割した９個の非圧縮差
分ブロック毎に、動き補償処理を行い、９個の非圧縮画
素ブロックを生成する。非圧縮画素ブロック連結手段11
05は、生成した９個の非圧縮画素ブロック間の重複する
画素を連結する。例えば、縦横１／３の縮小を行う場
合、横方向に、３，４，３画素と並んだブロックの連結
は、Ｘ１＝８／３の少数点部分、Ｘ２＝１６／３の少数
点部分とした場合、Ｘ１：（１−Ｘ１）、Ｘ２：（１−
Ｘ２）の割合で、順に重複する画素連結を行う。

【００４７】図１１は、この画面サイズ変更装置の動き
補償非圧縮画像生成手段において、画素ブロック単位の
処理の流れを示すフローチャートであり、以下その動作
を説明する。 Step1401：画素間重み生成手段1101において、補正した
動きベクトルを入力する。 Step1402：画素間重み生成手段1101において、補正した
動きベクトルが指す位置の画素間の重み付けを生成す
る。生成方法は、図７のStep1002〜1004と同様である。

【００４８】Step1403：オーバラップドブロック分割手
段1102において、非圧縮差分ブロックを入力する。 Step1404：オーバラップドブロック分割手段1102におい
て、非圧縮差分ブロックを重複する画素を含む非圧縮差
分ブロックに再分割する。 Step1405：画素ブロック抽出手段1103において、再分割
した非圧縮差分ブロックの動きベクトルが指す位置の非
圧縮画素ブロックを参照用メモリ1151から抽出する。 Step1406：非圧縮画素ブロック生成手段1104において、
Step1404で再分割した非圧縮差分ブロックと、Step1405
で抽出した非圧縮画素ブロックとを用いて、動き補償処
理を行い、再分割後の非圧縮画素ブロックを生成する。 Step1407：再分割した個数分処理を行ったかどうか判定
する。処理を行っていない場合、Step1405へ、処理を行
った場合、Step1408へ進む。 Step1408：非圧縮画素ブロック連結手段1105において、
Step1406で再分割した非圧縮画素ブロック間の重複する
画素の重み付けを生成する。 Step1409：非圧縮画素ブロック連結手段1105において、
Step1408で生成した重み付けを用いて、Step1406で再分
割した非圧縮画素ブロック間の重複する画素を連結し、
処理を終了する。

【００４９】以上のように、この画面サイズ変更装置
は、画素ブロックを重複する画素を含む画素ブロックに
再分割し、再分割した画素ブロック単位で動き補償処理
を行い、動き補償処理後、重複する画素を連結して元の
画素ブロックを生成することにより、任意サイズの解像
度変更を実現できる。そのため、その実用的効果は大き
い。なお、実施形態では、直交変換としてＤＣＴを行う
場合について述べたが、ウェーブレット変換など、他の
直交変換方法を用いることも可能である。

【００５０】

【発明の効果】以上の説明から明らかなように、本発明
の画面サイズ変更装置では、解像度の変更率に応じて、
逆ＤＣＴ処理と動き補償処理とのパラメータ（ブロック
サイズ、動きベクトル）を変更することにより、解像度
変更前圧縮画像から解像度変更後非圧縮画像を直接生成
することができ、解像度変更の演算量を低減することが
できる。そのため、番組一覧表示装置や映像中継装置な
どにおいて、一度に解像度変更の処理を行う映像数を増
やすことができ、これらの装置の機能性を高めることが
できる。

【００５１】また、本発明の画面サイズ変更装置では、
解像度変更前圧縮画像から解像度変更後非圧縮画像を直
接生成する場合の細かい動き補償処理を確実に行うこと
ができる。また、本発明の画面サイズ変更装置では、任
意サイズでの解像度変更が可能である。

【図面の簡単な説明】

【図１】第１の実施の形態における画面サイズ変更装置
の構成を示すブロック図、

【図２】解像度を変更する上での問題点を説明する図、

【図３】第１の実施の形態における画面サイズ変更装置
のＩＤＣＴ処理及び動き補償処理を説明する図、

【図４】第１の実施の形態における画面サイズ変更装置
の動作を示す流れ図、

【図５】第２の実施の形態における動き補償非圧縮画像
生成手段の構成を示すブロック図、

【図６】第２の実施の形態における動き補償非圧縮画素
ブロックの生成処理を説明する図、

【図７】第２の実施の形態における画面サイズ変更装置
の動作を示す流れ図、

【図８】第３の実施の形態における動き補償非圧縮画像
生成手段の構成を示すブロック図、

【図９】縦横１／３の縮小を行う場合の動きベクトルと
画素との関係を説明する図、

【図１０】第３の実施の形態における動き補償非圧縮画
像の生成方法を説明する図、

【図１１】第３の実施の形態における画面サイズ変更装
置の動作を示す流れ図、

【図１２】ＤＣＴ後の周波数特性を説明する図、

【図１３】ランレングス符号化及び可変長符号化を説明
する図、

【図１４】フレーム間予測符号化を説明する図、

【図１５】従来の動画符号化装置の動作（ａ）と、本発
明の画面サイズ変更装置の動作（ｂ）とを対比して示す
図、

【図１６】従来の動画符号化装置の構成を示すブロック
図である。

【符号の説明】

101、1501 可変長復号手段 102、1502 逆量子化手段 103 階層逆直交変換手段 104 動きベクトル補正手段 105 動きベクトル生成手段 106 補償非圧縮画像生成手段 107 動き補償非圧縮差分画像生成手段 108 直交変換手段 109、1509 量子化手段 110、1510 可変長符号手段 801、1101 画素間重み生成手段 851、1151 参照画像メモリ 802、1103 画素ブロック抽出手段 803、1104 非圧縮画素ブロック生成手段 1102 オーバラップドブロック分割手段 1105 非圧縮画素ブロック連結手段 1503 逆ＤＣＴ手段 1504 ベクトル補正手段 1505 ピクチャ判定手段 1506 画像サブサンプリング手段 1507 画像メモリ 1508 ＤＣＴ手段

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK11 LA02 LB05 MA23 MC11 ME01 NN21 PP04 SS08 TA06 TA61 TB08 TB17 TC12 TC25 UA05 5J064 AA02 BA09 BA13 BA16 BB05 BC01 BC16 BD03

Claims (3)

【特許請求の範囲】
1. 【請求項１】 圧縮画像の画素数を変更する画面サイズ
   変更装置において、 圧縮画像を可変長復号し、各フレームの動きベクトル情
   報と直交変換画像とを出力する可変長復号手段と、 前記可変長復号手段により復号した直交変換画像を逆量
   子化する逆量子化手段と、 前記逆量子化手段により生成した直交変換画像を画素数
   の変更率に応じて逆直交変換し非圧縮差分画像または非
   圧縮画像を生成する階層逆直交変換手段と、 前記可変長復号手段により生成した動きベクトル情報を
   画素数の変更率に応じて修正する動きベクトル補正手段
   と、 前記可変長復号手段により生成した動きベクトル情報を
   用いて解像度変更後の動きベクトル情報を生成する動き
   ベクトル生成手段と、 前記階層逆直交変換手段により生成した非圧縮差分画像
   と前記動きベクトル補正手段により修正した動きベクト
   ル情報とを用いて、非圧縮差分画像を非圧縮画像に変換
   する動き補償非圧縮画像生成手段と、 前記動き補償非圧縮画像生成手段により生成した非圧縮
   画像と前記動きベクトル生成手段により生成した解像度
   変更後の動きベクトル情報とを用いて、解像度変更後の
   非圧縮差分画像を生成する動き補償非圧縮差分画像生成
   手段と、 前記動き補償非圧縮差分画像生成手段により生成した非
   圧縮差分画像または前記非圧縮画像を直交変換する直交
   変換手段と、 前記直交変換手段により生成した直交変換画像を量子化
   する量子化手段と、 前記量子化手段により量子化した直交変換画像と前記動
   きベクトル生成手段で生成した解像度変更後の動きベク
   トル情報とを用いて、可変長符号化する可変長符号手段
   とを備えたことを特徴とする圧縮画像の画面サイズ変更
   装置。
2. 【請求項２】 前記動き補償非圧縮画像生成手段が、前
   記動きベクトル補正手段により補正した動きベクトルを
   解析し、前記動きベクトルが指す位置の画素間の重み付
   けを生成する画素間重み生成手段と、前記画素間重み生
   成手段により生成した画素間の重み付け情報を用いて、
   参照画像メモリから参照先の非圧縮画素ブロックを抽出
   する画素ブロック抽出手段と、前記画素ブロック抽出手
   段により抽出した非圧縮画素ブロックと前記階層逆直交
   変換手段により生成した非圧縮差分ブロックとから非圧
   縮画素ブロックを生成する非圧縮画素ブロック生成手段
   とを備えたことを特徴とする請求項１記載の圧縮画像の
   画面サイズ変更装置。
3. 【請求項３】 前記動き補償非圧縮画像生成手段が、前
   記動きベクトル補正手段により補正した動きベクトルを
   解析し、前記動きベクトルが指す位置の画素間の重み付
   けを生成する画素間重み生成手段と、前記階層逆直交変
   換手段により生成した非圧縮差分ブロックを重複する画
   素を含む非圧縮差分ブロックに再分割するオーバラップ
   ドブロック分割手段と、前記画素間重み生成手段により
   生成した画素間の重み付け情報を用いて、前記オーバラ
   ップドブロック分割手段により再分割した非圧縮差分ブ
   ロックの参照先の非圧縮画素ブロックを参照画像メモリ
   から抽出する画素ブロック抽出手段と、前記オーバラッ
   プドブロック分割手段により再分割した非圧縮差分ブロ
   ックと前記画素ブロック抽出手段により抽出した非圧縮
   画素ブロックとから非圧縮画素ブロックを生成する非圧
   縮画素ブロック生成手段と、前記非圧縮画素ブロック生
   成手段により生成した複数の非圧縮画素ブロックから重
   複する画素を連結する非圧縮画素ブロック連結手段とを
   備えたことを特徴とする請求項１記載の圧縮画像の画面
   サイズ変更装置。