JP2001285863A - 画像情報変換装置及び方法 - Google Patents

画像情報変換装置及び方法

Info

Publication number
JP2001285863A
JP2001285863A JP2000097941A JP2000097941A JP2001285863A JP 2001285863 A JP2001285863 A JP 2001285863A JP 2000097941 A JP2000097941 A JP 2000097941A JP 2000097941 A JP2000097941 A JP 2000097941A JP 2001285863 A JP2001285863 A JP 2001285863A
Authority
JP
Japan
Prior art keywords
image
coded
information
discrete cosine
cosine transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000097941A
Other languages
English (en)
Inventor
Kazufumi Sato
数史 佐藤
Kuniaki Takahashi
邦明 高橋
Teruhiko Suzuki
輝彦 鈴木
Shinya Kato
慎也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000097941A priority Critical patent/JP2001285863A/ja
Priority to US09/819,190 priority patent/US20040218671A1/en
Publication of JP2001285863A publication Critical patent/JP2001285863A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Abstract

(57)【要約】 【課題】 ＭＰＥＧ２画像圧縮情報をＭＰＥＧ４画像圧
縮情報に変換する際に、演算処理量とビデオメモリ量を
低減する。 【解決手段】 飛び越し走査によるＭＰＥＧ２画像圧縮
情報を構成するマクロブロックの８×８成分のＤＣＴ係
数の内、低域４×４成分のみを用いて飛び越し画像を復
号するＭＰＥＧ２画像情報復号化部１９と、ＭＰＥＧ２
画像情報復号化部１９にて復号された飛び越し画像の第
１フィールド又は第２フィールドのいずれか一方を選択
して順次操作の画像を生成する走査変換部２０と、走査
変換部２０にて生成された画像を水平方向に間引く間引
き部２１と、間引き部２１にて間引かれた画像をＭＰＥ
Ｇ４画像圧縮情報に符号化する符号化手段２２とを有す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像情報を変換す
る画像情報変換装置及び方法に関し、詳しくは、離散コ
サイン変換等の直交変換と動き補償によって圧縮された
ＭＰＥＧ等の画像情報（ビットストリーム）を衛星放
送、ケーブルＴＶ、インターネット等のネットワークメ
ディアを介して受信する際に、若しくは光、磁気ディス
クのような記憶メディア上で処理する際に用いられる画
像情報変換装置及び方法に関する。
【０００２】
【従来の技術】近年、画像情報をディジタルとして取り
扱い、効率の高い情報の伝送、蓄積を目的とし、画像情
報特有の冗長性を利用して、離散コサイン変換等の直交
変換と動き補償により圧縮するＭＰＥＧなどの画像情報
圧縮方式が提供されている。そして、このような画像情
報圧縮方法に準拠した装置は、放送局などの情報配信、
及び一般家庭における情報受信の双方において普及しつ
つある。
【０００３】特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３
８１８−２）は、汎用画像符号化方式として定義されて
おり、飛び越し走査画像及び順次走査画像の双方、並び
に標準解像度画像及び高精細画像を網羅する標準で、プ
ロフェッショナル用途及びコンシューマー用途の広範な
アプリケーションに今後とも用いられるものと予想され
る。ＭＰＥＧ２圧縮方式を用いることにより、高い圧縮
率と良好な画質の実現が可能である。このためには、例
えば、７２０×４８０画素を持つ標準解像度の飛び越し
走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８
画素を持つ高解像度の飛び越し走査画像であれば１８〜
２２Ｍｂｐｓの符号量（ビットレート）を割り当てるこ
とが必要である。
【０００４】今後広く普及するであろうと思われるディ
ジタル放送においても、このような圧縮方式によって画
像情報が伝送されるが、その規格には、標準解像度の画
像及び高解像度の画像が存在し、受信機においてはこの
両方を復号することの出来る機能を持つことが望まれ
る。
【０００５】ところで、ＭＰＥＧ２は主として放送用に
適合する高画質符号化を対象としていたが、ＭＰＥＧ１
より低い符号量（ビットレート）、つまり高い圧縮率の
符号化方式には対応していなかった。携帯端末の普及に
より、今後そのような符号化方式のニーズは高まると思
われ、これに対応してＭＰＥＧ４符号化方式の標準化が
行われた。画像符号化方式に関しては、１９９８年１２
月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格書が
国際標準に承認された。
【０００６】また、ディジタル放送用に一度符号化され
たＭＰＥＧ２画像圧縮情報（ビットストリーム）を、携
帯端末上等で処理するのにより適した、より低い符号量
（ビットレート）のＭＰＥＧ４画像圧縮情報（ビットス
トリーム）に変換したいというニーズがある。
【０００７】かかる目的を達成する画像情報変換装置
（トランスコーダ）として、“Field-to-Frame Transco
ding with Spatial and Tempora1 Downsampling"(Susie
J.Wee, John G.Apostolopoulos,and Nick Feamster,IC
IP'99)では、図１５に示すような装置が提案されてい
る。
【０００８】この画像情報変換装置は、入力される飛び
越し走査のＭＰＥＧ２画像圧縮情報を構成する符号化画
像がフレーム内符号化画像（Ｉピクチャ）、フレーム間
順方向予測符号化画像（Ｐピクチャ）、フレーム間双方
向予測符号化画像（Ｂピクチャ）のいずれかであるか判
定し、Ｉピクチャ及びＰピクチャを通過させてＢピクチ
ャを破棄するピクチャタイプ判別部１２と、ピクチャタ
イプ判別部１２から送られたＩピクチャ又はＰピクチャ
からなるＭＰＥＧ２画像圧縮情報を復号するＭＰＥＧ２
画像情報復号化部１３とを有している。
【０００９】また、この画像情報変換装置は、ＭＰＥＧ
２画像情報復号化部１３から出力された画像について画
素を間引いて解像度を低減させる間引き部１４と、間引
き部１４から出力された画像をＭＰＥＧ４のフレーム内
符号化画像（Ｉ−ＶＯＰ）又はフレーム間順方向予測符
号化画像（Ｐ−ＶＯＰ）に符号化して出力するＭＰＥＧ
４画像情報符号化部１５とを有している。
【００１０】さらに、この画像情報変換装置は、ＭＰＥ
Ｇ１３から出力されたＭＰＥＧ２画像圧縮情報の動きベ
クトルに基づいて動きベクトルを合成する動きベクトル
合成部１６と、動きベクトル合成部１６から出力された
動きベクトル及び間引き部１４から出力された画像に基
づいて動きベクトルを検出してＭＰＥＧ４画像情報符号
化部に送る動きベクトル検出部１７とを有している。
【００１１】入力となる、飛び越し走査のＭＰＥＧ２画
像圧縮情報（ビットストリーム）における各フレームの
データは、まず、ピクチャタイプ判別部１２において、
Ｉ／Ｐピクチャに関するものか、Ｂピクチャに関するも
のであるかを判別され、前者のみ、後続のＭＰＥＧ２画
像情報復号化部（Ｉ／Ｐピクチャ）１３に出力される。
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１３
における処理は通常のＭＰＥＧ２画像情報復号化装置と
同様であるが、Ｂピクチャに関するデータはピクチャタ
イプ判別部１２において廃棄されるため、ＭＰＥＧ２画
像情報復号化部（Ｉ／Ｐピクチャ）１３における機能と
してはＩ／Ｐピクチャのみを復号化出来れば良い。
【００１２】ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピク
チャ）１３の出力となる画素値は、間引き部１４に入力
され、ここで、水平方向には１／２の間引き処理が施さ
れ、垂直方向には、第１フィールド若しくは第２フィー
ルドのどちらか一方のデータのみを残し、もう一方を廃
棄することで、入力となる画像情報の１／４の大きさを
持つ順次走査画像を生成する。
【００１３】間引き部１４によって生成された順次走査
画像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）
１５によつて符号化され、ＭＰＥＧ４画像圧縮情報（ビ
ットストリーム）として出力される。その際、入力とな
るＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動
きベクトル情報は、動きベクトル合成部１６において間
引き後の画像情報に対する動きベクトルにマッピングさ
れ、動きベクトル検出部１７においては、動きベクトル
合成部１５において合成された動きベクトル値を元に高
精度の動きベクトルを検出する。
【００１４】
【発明が解決しようとする課題】図１５に示した画像情
報変換装置は、入力となるＭＰＥＧ２画像圧縮情報（ビ
ットストリーム）がＮＴＳＣ規格（７２０×４８０画
素、飛び越し走査）に準ずるものである場合、その凡そ
１／２×１／２の画枠であるＳＩＦ（３５２×２４０画
素、順次走査）の大きさのＭＰＥＧ４画像圧縮情報（ビ
ットストリーム）を出力するものである。しかしなが
ら、ＭＰＥＧ４のターゲットアプリケーションの１つで
ある携帯情報端末においては、モニタ部の解像度がＳＩ
Ｆサイズの画像を表示しきれないということもありう
る。また、記憶メディアの容量、或いは伝送経路のバン
ド幅により定められた符号量（ビットレート）の元で
は、ＳＩＦサイズのままでは良好な画質が得られないと
いう問題が生じる場合もある。このような場合、入力と
なるＭＰＥＧ２画像圧縮情報（ビットストリーム）の凡
そ１／４×１／４の画枠であるＱＳＩＦ（１７６×１１
２画素、順次走査）に変換する必要がある。さらに、後
段で破棄されてしまう、画像の持つ高域成分に関する情
報もＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１
３においては処理されてしまうため、復号化に必要とさ
れる演算量とメモリ容量が冗長であると言える。
【００１５】本発明は、上述の実情に鑑みて提案される
ものであって、入力となる飛び越し走査のＭＰＥＧ２画
像圧縮情報を凡そ１／４×１／４の画枠であるＱＳＦに
変換する画像情報変換装置及び方法であって、復号化に
必要とされる演算量と面メモリ容量を低減するような画
像情報変換装置及び方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像情報変換装置は、画像を水平方
向及び垂直方向共に８成分の画素からなるマクロブロッ
クを単位として離散コサイン変換した画像圧縮情報の解
像度を変換する画像情報変換装置において、飛び越し走
査による画像を符号化した入力画像圧縮情報を構成する
マクロブロックの水平方向及び垂直方向共に８成分の離
散コサイン変換係数の内、水平方向及び垂直方向共に４
成分のみを用いて飛び越し走査の画像を復号する復号化
手段と、上記復号化手段で復号された飛び越し走査の画
像を構成する第１フィールド及び第２フィールドのいず
れか一方を選択して順次走査の画像を生成する走査変換
手段と、上記走査変換手段により生成された画像を水平
方向に間引く間引き手段と、上記間引き手段で間引かれ
た画像を上記入力画像より解像度の低い出力画像圧縮情
報に符号化する符号化手段とを有するものである。
【００１７】本発明に係る画像情報変換方法は、画像を
水平方向及び垂直方向共に８成分の画素からなるマクロ
ブロックを単位として離散コサイン変換した画像圧縮情
報の解像度を変換する画像情報変換方法において、飛び
越し走査による画像を符号化した入力画像圧縮情報を構
成するマクロブロックの水平方向及び垂直方向共に８成
分の離散コサイン変換係数係数の内、水平方向及び垂直
方向共に４成分のみを用いて飛び越し走査の画像を復号
する復号化工程と、上記復号化工程で復号された飛び越
し走査の画像を構成する第１フィールド及び第２フィー
ルドのいずれか一方を選択して順次走査の画像に生成す
る走査変換工程と、上記走査選択工程により生成された
画像を水平方向に間引く間引き工程と、上記間引き工程
で間引かれた画像を上記入力画像情報より解像度の低い
出力画像圧縮情報に符号化する符号化工程とを有するも
のである。
【００１８】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。
【００１９】まず、本発明の実施の形態として、画像情
報変換装置について、図１を参照して説明する。
【００２０】この画像情報変換装置は、入力されるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）を構成する符
号化画像の種類を判別するピクチャタイプ判別部１８、
ピクチャタイプ判別部１８から送られたＭＰＥＧ２画像
圧縮情報（ビットストリーム）を復号するＭＰＥＧ２画
像情報復号化部１９とを有している。
【００２１】ピクチャタイプ判別部１８には、飛び越し
走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）が
入力される。このＭＰＥＧ２画像圧縮情報（ビットスト
リーム）は、フレーム内で符号化されたイントラ符号化
画像（Ｉピクチャ）と、フレーム間で順方向に他の画像
を参照して予測符号化された順方向予測符号化画像（Ｐ
ピクチャ）と、フレーム間で順方向及び逆方向に他の画
像を参照して予測符号化された双方向予測符号化画像
（Ｂピクチャ）とから構成されている。
【００２２】ピクチャタイプ判別部１８は、入力となる
ＭＰＥＧ２画像圧縮情報（ビットストリーム）内で、Ｉ
ピクチャ及びＰピクチャだけ残してＢピクチャは廃棄す
る。
【００２３】ＭＰＥＧ２画像情報復号化部１９は、ＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）の画像を構成
するマクロブロックの水平方向及び垂直方向共に８成分
（以下、８×８と表記する。）の離散コサイン変換（di
screte cosine transformation; DCT）係数の内で、水
平方向及び垂直方向共に４成分（以下、４×４と表記す
る。他でも同様とする。）のみを用いてマクロブロック
の部分的な復号を行う４×４ダウンデコーダである。
【００２４】すなわち、ＭＰＥＧ２画像情報復号化部１
９は、ピクチャタイプ判定部１８からＩピクチャ又はＰ
ピクチャ（以下、Ｉ／Ｐピクチャと称する。）から構成
されるＭＰＥＧ２画像圧縮情報（ビットストリーム）が
入力され、Ｉ／Ｐピクチャから飛び越し走査の画像を復
号する。
【００２５】また、画像情報変換装置は、画像情報復号
化部１９から出力された飛び越し走査の画像を順次走査
の画像に変換する走査変換部２０と、走査変換部２０か
ら出力された画像を間引きする間引き部２１と、間引き
部２１にて間引かれた画像を動きベクトル検出部２４か
ら送られた動きベクトルを用いてＭＰＥＧ４の画像圧縮
情報（ビットストリーム）に符号化するＭＰＥＧ４画像
情報符号化部２２とを有している。
【００２６】走査変換部２０は、ＭＰＥＧ２画像情報復
号化部１９の出力となる飛び越し画像の内、第１フィー
ルド又は第２フィールドのいずれか一方を残して他を廃
棄する。走査変換部２０は、残されたフィールドから順
次走査の画像を生成し、ＭＰＥＧ２入力画像圧縮情報
（ビットストリーム）を構成する飛び越し走査の入力画
像の１／２×１／４の大きさの順次走査の画像に変換す
る。
【００２７】間引き部２１は、走査変換部２０によって
入力画像の１／２×１／４の大きさに変換された画像に
対して水平方向に１／２倍のダウンサンプリングを行
う。これによって、間引き部２１は、入力画像の１／４
×１／４の大きさの画像を生成する。
【００２８】ＭＰＥＧ４画像情報符号化部２２は、間引
き部２１から出力された、入力画像の１／４×１／４の
大きさを有する画像をＭＰＥＧ４符号化してＭＰＥＧ４
画像圧縮情報（ビットストリーム）として出力する。
【００２９】このＭＰＥＧ４画像圧縮情報（ビットスト
リーム）は、ビデオオブジェクト（video object; VO）
にて構成される。ＶＯを構成する画面であるビデオオブ
ジェクトプレイン（video object plane; VOP）は、フ
レーム内符号化VOPであるＩ−ＶＯＰと、順方向予測符
号化ＶＯＰであるＰ−ＶＯＰと、双方向予測符号化ＶＯ
Ｐと、スプライト符号化ＶＯＰとから構成される。
【００３０】ＭＰＥＧ４画像情報符号化部２２は、間引
き部２１から出力された画像をＩ−ＶＯＰ及び／又はＰ
−ＶＯＰ（Ｉ／Ｐ−ＶＯＰ）にＭＰＥＧ４符号化してＭ
ＰＥＧ４画像圧縮情報（ビットストリーム）として出力
する。
【００３１】さらに、画像情報変換装置は、ＭＰＥＧ２
画像情報復号化部１９にて検出された動きベクトルを合
成する動きベクトル合成回路２３と、動きベクトル合成
部２３からの出力と間引き部２１からの画像に基づいて
動きベクトルを検出する動きベクトル検出部２４とを有
している。
【００３２】動きベクトル合成部２３は、ＭＰＥＧ２画
像情報復号化部１９で検出された、ＭＰＥＧ２画像圧縮
情報（ビットストリーム）内の動きベクトル値を元に、
走査変換後の画像にデータに対して動きベクトル値を用
いたマッピングを施す。
【００３３】動きベクトル検出部２４は、動きベクトル
合成部２３から出力される動きベクトル値を元に、高精
度の動きベクトル検出を行う。
【００３４】続いて、本実施の形態の画像情報変換装置
の動作について説明する。
【００３５】入力となる飛び越し走査のＭＰＥＧ２画像
圧縮情報（ビットストリーム）は、まずピクチャタイプ
判別部１８に入力され、ここで、Ｉ／Ｐピクチャに関す
る情報は出力されＭＰＥＧ２画像情報復号化部（Ｉ／Ｐ
ピクチャ４×４ダウンデコーダ）１９の入力となるが、
Ｂピクチャに関する情報は破棄される。このようにして
フレームレートの変換が行われる。ＭＰＥＧ２画像情報
復号化部（Ｉ／Ｐピクチャ４×４ダウンデコーダ）１９
は図２に示したものと同等であるが、Ｂピクチャに関す
る情報はピクチャタイプ判別部１７において既に破棄さ
れているため、機能としてはＩ／Ｐピクチャのみの復号
化処理が行えれば良い。水平方向、垂直方向共に低域４
次情報のみを用いた復号化処理を行うことで、図１にお
けるＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ４×
４ダウンデコーダ）１９で必要とされるビデオメモリの
容量は、図１５におけるＭＰＥＧ２画像情報復号化部
（Ｉ／Ｐピクチャ）１３の１／４で良く、また、逆離散
コサイン変換に要する演算量もフィールドＤＣＴモード
の場合には１／４、フレームＤＣＴモードの場合には１
／２で良い。さらに、フレームＤＣＴモードの際、図１
２に示すように、４×８成分のＤＣＴ係数の一部を０と
置き換えることで、画質を殆ど劣化させることなく演算
量を削減することが可能である。図中の記号ａは、０と
置き換える画素値を示している。
【００３６】ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピク
チャ４×４ダウンデコーダ）１９の出力となる、入力と
なる画像圧縮情報（ビットストリーム）の１／２×１／
２の大きさを持つ飛び越し走査の画素データは、まず、
走査変換部２０において、まず、第１フィールド若しく
は第２フィールドの内一方のみを残してもう一方を破棄
することで、入力となる画像圧縮情報（ビットストリー
ム）の１／２×１／４の大きさを持つ順次走査の画素デ
ータへと変換され出力される。その動作原理を図１３に
示す。図１３のＡにおいて、第１フィールドの画素ａ１
及び第２フィールドの画素ａ２の内、第２フィールドａ
２の画素を破棄することにより図１３のＢに示す画素ｂ
が得られる。
【００３７】次に、走査変換部２０の出力である、入力
となる画像圧縮情報（ビットストリーム）の１／２×１
／４の大きさを持つ順次走査の画素データは、間引き部
２１へ入力され、ここで水平方向に１／２倍のダウンサ
ンプリングが施され、入力となる画像圧縮情報（ビット
ストリーム）の１／４×１／４の大きさを持つ順次走査
の画素データへと変換される。 １／２倍のダウンサン
プリングは、単純な間引き処理を用いても、或いは数タ
ップのローパスフィルタを用いても良い。その動作原理
を図１４に示す。図１４のＡにおいて、画素ａに対して
水平方向に１／２ダウンサンプリングすることにより図
１４のＢに示す画素ｂが得られる。走査変換部２０にお
ける処理と間引き部２１の処理との順序は逆であっても
良い。間引き部２１の出力である、入力となる画像圧縮
情報（ビットストリーム）の１／４×１／４の大きさを
持つ順次走査の画素データはＭＰＥＧ４画像情報符号化
部（Ｉ／Ｐ−ＶＯＰ）２１において符号化処理がなされ
る。
【００３８】尚、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ
―ＶＯＰ）２１においては、ブロック毎の処理を行うた
め、水平方向、垂直方向共に、輝度成分の画素数が１６
の倍数である必要がある。色差成分に関しては、入力と
なる画像圧縮情報（ビットストリーム）が４２０フォー
マットの場合、水平方向、垂直方向共に８の倍数であれ
ば良い。４２２フォーマットの場合、水平方向は８の倍
数で良いが、垂直方向に関しては１６の倍数でなければ
ならない。 ４４４フォーマットの場合には水平方向、
垂直方向共に１６の倍数でなければならない。
【００３９】このための垂直方向、水平方向の画素数の
調整をそれぞれ走査変換部２０及び間引き部２１にて行
う。すなわち、例えば入力となる画像圧縮情報（ビット
ストリーム）の輝度成分が７２０×４８０画素である場
合、走査変換部において第１若しくは第２フィールドの
み抜き出した後の画像の大きさは３６０×１２０とな
る。１２０は１６の倍数でないので、１６の倍数となる
よう、例えば下８ライン分の画素データを破棄して３６
０×１１２画素とする。また、この画像を間引き部２１
を用いて処理すると１８０×１１２画素となるが、１８
０は１６の倍数でないので、１６の倍数となるよう、例
えば右８行を破棄し、１７６×１１２画素とする。
【００４０】また、ＭＰＥＧ２画像情報復号化部（Ｉ／
Ｐピクチャ４×４ダウンデコーダ）１９において検出さ
れる、入力となるＭＰＥＧ２画像圧縮情報（ビットスト
リーム）中の動きベクトル情報は、動きベクトル合成部
２３に入力され、ここで走査変換後の順次走査画像にお
ける動きベクトル値にマッピングされる。動きベクトル
検出部２４においては、動きベクトル合成部２３の出力
となる走査変換後の順次走査画像における動きベクトル
値を元に高精度の動き検出を行う。
【００４１】次に、８×８成分のマクロブロックの内で
低域４×４成分を復号する４×４ダウンデコーダについ
て、図２を参照して説明する。
【００４２】この４×４ダウンデコーダは、入力される
画像圧縮情報を一時的に保持する符号バッファ１と、入
力画像圧縮情報を解析する圧縮情報解析部２と、入力画
像圧縮情報を可変長復号する可変長復号化部３と、可変
長復号化部３の出力を逆量子化する逆量子化部４とを有
している。
【００４３】また、４×４ダウンデコーダは、逆量子化
部４から出力された８×８成分の内で低域４×４成分の
みに逆離散コサイン変換を施す縮小逆離散コサイン変換
部（４×４）５と、飛び越し走査の画像を構成する第１
フィールド及び第２フィールドの分離をする縮小逆離散
コサイン変換部（フィールド分離）５とを有している。
【００４４】さらに、４×４ダウンデコーダは、ビデオ
メモリ１０から与えられた画像に対してフィールド単位
で動き予測して動き補償を行う動き補償部（フィールド
予測）８と、ビデオメモリ１０から与えられた画像に対
してフレーム単位で動き予測して動き補償を行う動き補
償部（フレーム予測）９と、これらの出力と縮小逆離散
コサイン変換部（４×４）５及び縮小逆離散コサイン変
換部（フィールド分離）６の出力を加算する加算器７
と、加算器７からの出力を記憶するビデオメモリ１０
と、ビデオメモリ１０に記憶された画像に画枠補正及び
位相ずれ補正を施して出力する画枠／位相ずれ補正部１
１とを有している。
【００４５】この４×４ダウンデコーダにおいて、符号
バッファ１、圧縮情報解析部２、可変長復号化部３、逆
量子化部４は、通常の画像復号化装置の動作原理と同等
である。
【００４６】但し、可変長復号化部３においては、当該
マクロブロックのＤＣＴモードがフィールドＤＣＴモー
ドであるかフレームＤＣＴモードであるかに応じて、後
続の縮小逆離散コサイン変換部（４×４）５若しくは縮
小逆離散コサイン変換部（フィールド分離）６において
必要なＤＣＴ係数のみを復号し、あとはＥＯＢが検出さ
れるまで処理を行わないということも考えられる。
【００４７】入力となるＭＰＥＧ２画像圧縮情報（ビッ
トストリーム）がジグザグスキャンである場合の可変長
符号化部３における動作原理について、図３を用いて説
明する。なお、図３中の数字は、ＤＣＴ係数を読み取る
順序を示している。
【００４８】フレームＤＣＴモードの場合には、図３の
Ａに示すように、縮小逆離散コサイン変換部（４×４）
５は、８×８成分のマクロブロックの内で破線で囲まれ
た低域４×４成分のＤＣＴ係数のみを可変長復号する。
フィールドＤＣＴモードの場合には、図３のＢに示すよ
うに、縮小逆離散コサイン変換部（フィールド分離）６
は、８×８成分のマクロブロックの内で破線で囲まれた
低域４×８成分のＤＣＴ係数のみを可変長復号する。
【００４９】入力となるＭＰＥＧ２画像圧縮情報（ビッ
トストリーム）がオルタネートスキャンである場合の可
変長符号化部３における動作原理について、図４を用い
て説明する。
【００５０】フレームＤＣＴモードの場合には、図４の
Ａに示すように、逆離散コサイン変換部（４×４）５
は、８×８成分のマクロブロックの内で破線で囲まれた
低域４×４成分のＤＣＴ係数のみを可変長復号する。フ
ィールドＤＣＴモードの場合には、図４のＢに示すよう
に、逆離散コサイン変換部（フィールド分離）６は、８
×８成分のマクロブロックの位置で低域４×８成分のＤ
ＣＴ係数のみを可変長復号する。
【００５１】逆量子化部４にて逆量子化されたＤＣＴ係
数は、当該マクロブロックのＤＣＴモードがフレームＤ
ＣＴモードである場合には縮小逆離散コサイン変換部
（４×４）５において、当該マクロブロックのＤＣＴモ
ードがフィールドＤＣＴモードである場合には縮小逆離
散コサイン変換部（フィールド分離）６において逆離散
コサイン変換が施される。
【００５２】縮小逆離散コサイン変換部（４×４）５又
は縮小逆離散コサイン変換部（フィールド分離）６から
の出力は、当該マクロブロックがイントラマクロブロッ
クの場合は、ビデオメモリ１０にそのまま格納される。
【００５３】縮小逆離散コサイン変換部（４×４）５又
は縮小逆離散コサイン変換部（フィールド分離）６から
の出力は、当該マクロブロックがインターマクロブロッ
クの場合は、動き補償モードがフィールド予測モードの
場合には動き補償部（フィールド予測）８により、動き
補償モードがフレーム予測モードの場合には動き補償部
（フレーム予測）９により、ビデオメモリ１０内の参照
データを元に水平方向及び垂直方向共に１／４画素精度
の補間処理が施された予測画像と加算器７によって合成
されてビデオメモリ１０に出力される。
【００５４】ビデオメモリ１０に格納された画素値は、
上位レイヤーの画素に対応して、図５のＡに示す上位レ
イヤーや図５のＢに示す下位レイヤーのように、第１フ
ィールド及び第２フィールドの間で位相ずれを含む。
【００５５】図５のＡの上位レイヤーにおいては、第１
フィールドの画素ａ１及び第２フィールドの画素ａ２が
示されている。図５のＢの下位レイヤーにおいては、第
１フィールドの画素ｂ１及び第２フィールドの画素ｂ２
が示されている。図５のＢに示す下位レイヤーの画素値
は縮小逆離散コサイン変換により上位レイヤーの画素数
を減じて得られるが、フィールド間の位相ずれを含んで
いる。
【００５６】ビデオメモリ１０に格納された画素値は、
画枠変換／位相ずれ補正部１１によって表示装置に適し
た画枠サイズに変換されると同時にフィールド間の位相
ずれが補正される。
【００５７】縮小逆離散コサイン変換部（４×４）５
は、水平成分及び垂直成分共に、８×８成分のＤＣＴ係
数の内低域４×４成分を取り出し、これに４次の逆離散
コサイン変換を施すという動作原理である。
【００５８】図６は、逆離散コサイン変換部（フィール
ド分離型）５の処理を示したものである。すなわち、入
力となる画像圧縮情報（ビットストリーム）中の符号化
データであるＤＣＴ係数ｙ1〜ｙ8に、８×８成分の逆離
散コサイン変換を施し、復号化されたデータｘ1〜ｘ8を
得る。次に、これらを第１フィールドのデータｘ1，
ｘ3，ｘ5，ｘ7と第２フィールドのデータｘ2，ｘ4，
ｘ6，ｘ8に分離する。
【００５９】分離されたそれぞれのデータ列に４×４成
分の離散コサイン変換を施し、第１フィールドに対する
ＤＣＴ係数ｚ1，ｚ3，ｚ5，ｚ7及び第２フィールドに対
するＤＣＴ係数ｚ2，ｚ4，ｚ6，ｚ8を得る。
【００６０】こうして得られた第１及び第２フィールド
に対するＤＣＴ係数に間引き処理を行い低域２成分を残
す。すなわち、第１フィールドに対するＤＣＴ係数の内
ｚ5、ｚ7、第２フィールドに対するＤＣＴ係数の内
ｚ6、ｚ8を破棄する。これによって、第１フィールドに
対するＤＣＴ係数ｚ1、ｚ3及び第２フィールドに対する
ＤＣＴ係数ｚ2、ｚ4が残る。
【００６１】間引きされた第１フィールドの低域ＤＣＴ
成分ｚ1、ｚ3及び間引きされた第２フィールドの低域Ｄ
ＣＴ成分ｚ2、ｚ4に対してそれぞれ２×２の逆離散コサ
イン変換を施すことで、第１フィールドに対する縮小さ
れた画素値ｘ’1，ｘ’3及び第２フィールドに対する縮
小され亜ｔ画素値ｘ’2，ｘ’4が得られる。
【００６２】これらの値を再びフレーム合成することに
よって出力値となる画素値ｘ’1〜ｘ’4とする。
【００６３】尚、実際の処理はこれら一連の処理と等価
な行列をＤＣＴ係数ｙ1〜ｙ8に施すことで、直接画素値
ｘ’1〜ｘ’4を得る。加法定理を用いて展開計算するこ
とにより得られるこの行列［ＦＳI］は次の式（１）に
よって与えられる。
【００６４】
【数１】
【００６５】但し、式（１）における要素Ａ〜Ｊは、以
下のように定義される。
【００６６】
【数２】
【００６７】
【数３】
【００６８】
【数４】
【００６９】
【数５】
【００７０】
【数６】
【００７１】
【数７】
【００７２】
【数８】
【００７３】
【数９】
【００７４】
【数１０】
【００７５】
【数１１】
【００７６】４×４成分の縮小逆離散コサイン変換、及
びフィールド分離型縮小逆離散コサイン変換に関して
は、高速アルゴリズムによる実現が可能である。以下で
は、Ｗａｎｇのアルゴリズム（参考文献： Zhong de Wa
ng.,“Fast Algorithms for the Discrete W Transform
and for the Discrete Fourier Transform", IEEE Tr.
ASSP-32, N0.4, pp.803-816, Aug.1984）に基づく手法
を示す。
【００７７】４×４成分の縮小逆離散コサイン変換を表
す行列は、Ｗａｎｇの高速化アルゴリズムを用いて、次
の式（２）のように分解される。
【００７８】
【数１２】
【００７９】但し、式（２）においては、以下のように
定義された小行列及び要素が用いられる。
【００８０】
【数１３】
【００８１】
【数１４】
【００８２】
【数１５】
【００８３】この構成を表したものが図７である。この
ように乗算器５個及び加算器９個を用いることで本装置
の実現が可能となる。
【００８４】図７においては、第０出力要素ｆ（０）
は、加算器４３において値ｓ２及び値ｓ５を加えること
により得られる。
【００８５】ここで、値ｓ２は、第０入力要素Ｆ（０）
と第２入力要素Ｆ（２）を加算器３１にて加えた値を乗
算器３４でＡ倍したものである。また、値ｓ５は、第１
入力要素Ｆ（１）を乗算器３７でＣ倍した値に加算器４
０において値ｓ１を加えたものである。値ｓ１は、第３
入力要素Ｆ（３）から第１入力要素Ｆ（１）を加算器３
３にて減じた値を乗算器３８でＤ倍したものである。
【００８６】第１出力要素ｆ（１）は、値ｓ３及び値ｓ
４を加算器４１において加えることにより得られる。
【００８７】ここで、値ｓ３は、第０入力要素Ｆ（０）
から第２入力要素Ｆ（２）を加算器３２で減じた値を乗
算器３５でＡ倍したものである。値ｓ４は、第３入力要
素Ｆ（３）を乗算器３６でＢ倍した値から値ｓ１を加算
器３９において減算したものである。
【００８８】第２出力要素ｆ（２）は、値ｓ４から値ｓ
３を加算器４２において減じることにより得られる。
【００８９】第３出力要素ｆ（３）は、値ｓ２から値ｓ
５を加算器４４において減じることにより得られる。
【００９０】図中では、次のような量が用いられてい
る。
【００９１】Ａ＝１／√２ Ｂ＝−Ｃ1/8＋Ｃ3/8 Ｃ＝Ｃ1/8＋Ｃ3/8 Ｄ＝Ｃ3/8 但し、上の式では、以下のような数が用いられる。他も
同様である。
【００９２】Ｃ3/8＝ｃｏｓ（３π／８） フィールド分離型縮小逆離散コサイン変換を表す式
（１）の行列は、Ｗａｎｇの高速化アルゴリズムを用い
て、次の式（３）のように分解される。
【００９３】
【数１６】
【００９４】但し、式（３）における小行列は、以下の
ように定義されている。
【００９５】
【数１７】
【００９６】
【数１８】
【００９７】尚、要素Ａ〜Ｊについては式（１）と同様
である。この構成を表したものが図８である。このよう
に乗算器１０個及び加算器１３個を用いることで本装置
の実現が可能となる。
【００９８】すなわち、第０出力要素ｆ（０）は、値ｓ
１６及び値ｓ１８が加算器７０において加算されたもの
である。
【００９９】ここで、値ｓ１６は、値ｓ１１及び値ｓ１
２が加算器６６において加算されたものである。値ｓ１
１は、第０入力要素Ｆ（０）が乗算器５１においてＡ倍
されたものである。値ｓ１２は、第２入力要素Ｆ（２）
が乗算器５２においてＤ倍された値と第４入力要素Ｆ
（４）が乗算器５３においてＦ倍された値が加算器６１
において加えられた値と、第６入力要素Ｆ（６）が乗算
器５４においてＨ倍された値とが加算器６３において加
えられたものである。
【０１００】第１出力要素ｆ（１）は、値ｓ１７から値
ｓ１９が加算器７３において減ぜられたものである。
【０１０１】ここで、値ｓ１７は、値ｓ１１から値ｓ１
２が加算器６７において減ぜられたものである。値ｓ１
９は、値ｓ１３及び値ｓ１５が加算器６９において加え
られたものである。値ｓ１３は、第３入力要素Ｆ（３）
が乗算器５５においてＥ倍された値から第５入力要素Ｆ
（５）が乗算器５６においてＧ倍された値が加算器６４
において減ぜられたものである。値ｓ１５は、第１入力
要素Ｆ（１）が乗算器５８においてＣ倍された値及び第
７入力要素Ｆ（７）が乗算器６０においてＪ倍された値
が加算器６５において加えられたものである。
【０１０２】第２出力要素ｆ（２）は、値ｓ１７及び値
ｓ１９が加算器７２において加えられたものである。
【０１０３】第３出力要素ｆ（３）は、値ｓ１６から値
ｓ１８が加算器７１において減ぜられたものである。
【０１０４】ここで、値ｓ１８は、値ｓ１３及び値ｓ１
４が加算器６８において加えられたものである。値ｓ１
４は、第１入力要素Ｆ（１）が乗算器５７においてＢ倍
された値及び第７入力要素Ｆ（７）が乗算器５９におい
てＩ倍された値が加算器６２において加えられたもので
ある。
【０１０５】次に、フィールド動き補償モード及びフレ
ーム動き補償モードに対応した動き補償部（フィールド
予測）８及び動き補償部（フレーム予測）９の動作につ
いて述べる。水平方向の補間に関しては、フィールド動
き補償モード、フレーム動き補償モードの場合共に、ま
ず、１／２精度相当の画素を、ハーフバンドフィルタの
様な２倍補間のフィルタによって作り出し、その作り出
された画素を元に１／４精度相当の画素を線形補間によ
って作り出す。その際、ハーフバンドフィルタを用いる
ことで、フレームメモリから取り出された画素と同じ位
相の画素値を予測画として出力する場合、タップ数に応
じた積和演算を行う必要がないために高速な演算が可能
である。また、ハーフバンドフィルタを用いることによ
り、補間に伴う除算をシフト演算で行うことが可能とな
り、さらに高速な実行が可能である。若しくは、４倍補
間のフィルタリングによって、動き補償に必要な画素を
直接作り出すことも考えられる。
【０１０６】図９はフィールド動き補償モード対応の動
き補償部８の垂直方向の補間に関するものである。ま
ず、入力となる画像圧縮情報（ビットストリーム）中の
動きベクトルの値に応じて、図９のＡの様に、フィール
ド間の位相ずれを含む画素値がビデオメモリ１０から取
り出される。図中の左側の記号ａ１が第１フィールドの
画素に、右側の記号ａ２が第２フィールドの画素に、そ
れぞれ対応している。第１フィールドの画素及び第２フ
ィールドの画素は位相がずれている。
【０１０７】次に、図９のＢの様に、ハーフバンドフィ
ルタ等の２倍補間フィルタを用いて、フィールド内で１
／２画素精度相当の画素値が作り出される。２倍補間フ
ィルタを用いて第１フィールド及び第２フィールド内で
それぞれ２倍補間により作り出された画素はそれぞれ記
号ｂ１及び記号ｂ２で表される。
【０１０８】そして、図９のＣの様に、フィールド内で
線形補間を行うことによって１／４画素精度相当の画素
値が作り出される。第１フィールド及び第２フィールド
内でそれぞれ線形補間により作り出された画素はそれぞ
れ記号ｃ１及び記号ｃ２にて示されている。その際、ハ
ーフバンドフィルタを用いることで、フレームメモリか
ら取り出された画素と同じ位相の画素値を予測画として
出力する場合、タップ数に応じた積和演算を行う必要が
ないために高速な演算が可能である。若しくは、図９の
Ａの画素値を元に、４倍補間のフィルタリングによって
図９のＣの位相に相当する画素値を作り出すことも考え
られる。
【０１０９】例えば、第１フィールドの画素が位置０、
位置１等に存在する場合には、２倍補間による画素は位
置０．５等に作り出される。さらに、線形補間による画
素は、位置０．２５、位置０．７５等に作り出される。
第２フィールドについても同様である。尚、図中では第
１フィールドの位置と第２フィールド位置とは０．２５
ずれている。
【０１１０】図１０はフレーム動き補償モード対応の動
き補償部９の垂直方向の補間に関するものである。ま
ず、入力となる画像圧縮情報（ビットストリーム）中の
動きベクトルの値に応じて、図１０のＡの様に、フィー
ルド間の位相ずれを含む画素値がビデオメモリ１０から
取り出される。図中の左側の記号ａ１が第１フィールド
の画素に、右側の記号ａ２が第２フィールドの画素に、
それぞれ対応している。第１のフィールドの画素及び第
２フィールドの画素は位相が擦れている。
【０１１１】次に、図１０のＢの様に、ハーフバンドフ
ィルタ等の２倍補間フィルタを用いて、フィールド内で
１／２画素精度相当の画素値が作り出される。２倍補間
フィルタを用いて第１フィールド及び第２フィールド内
でそれぞれ２倍補間により作り出された画素はそれぞれ
記号ｂ１及び記号ｂ２にて示されている。
【０１１２】そして、図１０のＣの様に、フィールド間
で線形補間を行うことによって１／４画素精度相当の画
素値が作り出される。第１フィールド及び第２フィール
ドの画素の線形補間により作り出された画素は記号ｃに
て示されている。
【０１１３】例えば、第１フィールドの画素が位置０、
位置２等に、第２フィールドの画素が位置０．５、位置
２．５等に存在する場合には、第１フィールドの２倍補
間による画素は位置１等に、第２フィールドの２倍補間
による画素は位置１．５等に作り出される。さらに、線
形補間による画素は、位置０．２５、位置０．７５、位
置１．２５及び位置１．７５等に作り出される。
【０１１４】このような補間処理を行うことにより、画
質劣化の要因となる、フィールド反転及びフィールドミ
ックスを防ぐことが出来る。また、ハーフバンドフィル
タを用いることで、フレームメモリから取り出された画
素と同じ位相の画素値を予測画として出力する場合、タ
ップ数に応じた積和演算を行う必要がないために高速な
演算が可能である。
【０１１５】実際の処理としては、水平、垂直の場合共
に、上記の様な２倍補間フィルタと線形補間によって実
現される２段階の補間が、一度で行われる様な係数を予
め用意しておき、１段階の補間であるかの様に処理が行
われる。また、水平、垂直の場合共に、入力となる画像
圧縮情報（ビットストリーム）中の動きベクトルの値に
応じて、必要な画素値のみが作り出される。水平方向と
垂直方向の動きベクトルの値に応じたフィルタ係数を予
め用意しておき、水平方向と垂直方向の補間を一度に行
うことも可能である。
【０１１６】尚、２倍補間のフィルタリングを行う際、
動きベクトルの値によって、ビデオメモリにおける画枠
の外を参照する必要が生じる場合がある。この場合は、
端点を中心にして必要なタップ数だけ対称に折り返すか
（以下これをミラー処理と呼ぶ。）、端点の画素値と同
じ値の画素が必要なタップ数の分だけ画枠の外に存在す
るものとして取り扱う（以下これをホールド処理と呼
ぶ。）。
【０１１７】図１１のＡにミラー処理を示す。図中の記
号ｐはビデオメモリ１０内の画素であり、記号ｑは補間
に必要となる画枠外の仮想的な画素である。この画枠外
の画素は、画枠内の画素を画枠について対称に折り返し
たものである。
【０１１８】図１１のＢにはホールド処理を示す。この
画枠外の画素は、画枠内の画枠と垂直方向に対しては、
動き補償部（フィールド予測）８においても、動き補償
部（フレーム予測）９においても、ミラー処理若しくは
ホールド処理はフィールド単位で行う。或いはまた、水
平方向、垂直方向共に、画枠をはみ出した画素値に関し
ては、固定値（例えば１２８）とすることも考えられ
る。
【０１１９】以上、入力としてＭＰＥＧ２画像圧縮情報
（ビットストリーム）を、出力としてＭＰＥＧ４画像圧
縮情報（ビットストリーム）を対象としてきたが、入
力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．
２６３などの画像圧縮情報（ビットストリーム）でも良
い。
【０１２０】このように、本実施の形態は、高解像度画
像及び標準解像度画像の共存を図り、高解像度画像情報
を画質劣化を最小限に抑えながら間引いて処理するもの
で、安価な受信機を構築することを可能とするものであ
る。
【０１２１】高解像度画像及び標準解像度画像の共存
は、ディジタル放送などの伝送メディアにおいてのみな
らず、光ディスクやフラッシュメモリ等の蓄積メディア
においても生じるものであると考えられる。
【０１２２】
【発明の効果】以上述べてきた様に、本発明は、飛び越
し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）
を入力とし、より少ない演算処理量とビデオメモリ容量
を用いた回路構成により、入力となる画像圧縮情報（ビ
ットストリーム）の１／４×１／４解像度を持つ順次走
査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変
換して出力する手段を提供するものである。
【図面の簡単な説明】
【図１】本実施の形態の画像情報変換装置の構成を示す
図である。
【図２】本実施の形態の画像情報復号化装置（４×４ダ
ウンデコーダ）で、水平方向、垂直方向共に、８次の離
散コサイン変換係数の内、４次の低域情報のみを用いて
復号処理を行う装置構成を示したブロック図である。
【図３】図１で、入力となるＭＰＥＧ２画像圧縮情報
（ビットストリーム）がジグザグスキャンである場合の
可変長復号化部３の動作原理を示した図である。
【図４】図１で、入力となるＭＰＥＧ２画像圧縮情報
（ビットストリーム）がオルタネートスキャンである場
合の可変長復号化部３の動作原理を示した図である。
【図５】図１で、ビデオメモリ１０内における画素の位
相を示した図である。
【図６】図１で、縮小逆離散コサイン変換部（フィール
ド分離）６における動作原理を示した図である。
【図７】図１で、縮小逆離散コサイン変換部（４×４）
５における動作を高速アルゴリズムを用いて実現する手
法を示した図である。
【図８】図１で、縮小逆離散コサイン変換部（フィール
ド分離）６における処理を、高速アルゴリズムを用いて
実現する手法を示した図である。
【図９】図１で、動き補償部（フィールド予測）８にお
ける動作原理を示した図である。
【図１０】図１で、動き補償部（フレーム予測）９にお
ける動作原理を示した図である。
【図１１】図１で、動き補償部（フィールド予測）８及
び動き補償部（フレーム予測）９におけるホールド処理
／ミラー処理の手法を示した図である。
【図１２】図１２で、入力となる画像圧縮情報（ビット
ストリーム）の当該マクロブロックがフレームＤＣＴモ
ードである場合の処理量削減を実現する手法の例を示し
た図である。
【図１３】図１２で、走査変換部２０における動作原理
を説明した図である。
【図１４】図１２で、間引き部２１における動作原理を
説明した図である。
【図１５】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）を入力とし、ＭＰＥＧ４画像圧縮情報（ビットスト
リーム）を出力する画像情報変換部（トランスコーダ）
の従来技術の構成を示した図である。
【符号の説明】
１８ ピクチャタイプ判別部、１９ ＭＰＥＧ２画像情
報復号化部、２０ 走査変換部、２１ 間引き装置、２
２ ＭＰＥＧ４画像情報符号化装置、２３ 動きベクト
ル合成装置、２４ 動きベクトル検出装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 輝彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 加藤 慎也 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK08 LA07 LB07 MA00 MA01 MA23 NN01 NN27 PP05 PP06 PP14 SS02 SS08 SS10 SS11 UA02 UA31 5C063 AB03 AC01 BA01 CA01 CA03 CA09 CA11 5J064 AA02 BA01 BA16 BB03 BC01 BD02

Claims (32)

    【特許請求の範囲】
  1. 【請求項１】 画像を水平方向及び垂直方向共に８成分
    の画素からなるマクロブロックを単位として離散コサイ
    ン変換した画像圧縮情報の解像度を変換する画像情報変
    換装置において、 飛び越し走査による画像を符号化した入力画像圧縮情報
    を構成するマクロブロックの水平方向及び垂直方向共に
    ８成分の離散コサイン変換係数の内、水平方向及び垂直
    方向共に４成分のみを用いて飛び越し走査の画像を復号
    する復号化手段と、 上記復号化手段で復号された飛び越し走査の画像を構成
    する第１フィールド及び第２フィールドのいずれか一方
    を選択して順次走査の画像を生成する走査変換手段と、 上記走査変換手段により生成された画像を水平方向に間
    引く間引き手段と、上記間引き手段で間引かれた画像を
    上記入力画像より解像度の低い出力画像圧縮情報に符号
    化する符号化手段とを有することを特徴とする画像情報
    変換装置。
  2. 【請求項２】 上記入力画像圧縮情報はＭＰＥＧ２規格
    によるものであり、上記出力画像圧縮情報はＭＰＥＧ４
    規格によるものであることを特徴とする請求項１記載の
    画像情報変換装置。
  3. 【請求項３】 上記間引き手段は上記画像の水平方向に
    １／２倍となるダウンサンプリングを行い、上記出力画
    像圧縮情報は上記入力画像圧縮情報に対して水平方向及
    び垂直方向共に１／４の解像度を有することを特徴とす
    る請求項１記載の画像情報変換装置。
  4. 【請求項４】 上記入力画像圧縮情報は、フレーム内で
    符号化されたイントラ符号化画像と、フレーム間で順方
    向に他の画像を参照して予測符号化された順方向予測符
    号化画像と、フレーム間で順方向及び逆方向に他の画像
    を参照して予測符号化された双方向予測符号化画像とか
    ら構成され、上記入力画像圧縮情報を構成する符号化画
    像の種類を判別し、イントラ符号化画像及び順方向予測
    符号化画像を通過させるが双方向予測符号化画像を破棄
    する判別手段を有し、上記復号化手段にはこの判別手段
    を介した画像圧縮情報が入力されることを特徴とする請
    求項４記載の画像情報変換装置。
  5. 【請求項５】 上記復号化手段は、イントラ符号化画像
    及び順方向予測符号化画像のみを復号することを特徴と
    する請求項４記載の画像情報変換装置。
  6. 【請求項６】 上記入力画像圧縮情報は可変長符号化さ
    れたものであって、 上記復号化手段は、画像圧縮情報を可変長復号する可変
    長復号化手段と、この可変長復号化手段で可変長復号さ
    れた画像圧縮情報に逆離散コサイン変換を施す逆離散コ
    サイン変換手段を有し、上記可変長復号化手段は、上記
    入力画像圧縮情報を構成するマクロブロックがフィール
    ドモード又はフレームモードのいずれであるかに応上記
    逆離散コサイン変換手段における逆離散コサイン変換に
    必要な離散コサイン変換係数のみを可変長復号すること
    を特徴とする請求項１記載の画像情報変換装置。
  7. 【請求項７】 上記逆離散コサイン変換手段は、フィー
    ルドモードに対応し、上記マクロブロックを構成する水
    平方向及び垂直方向共に８成分の離散コサイン変換係数
    の内で水平方向及び垂直方向共に低域４成分の離散コサ
    イン変換係数に逆離散コサイン変換を施すことを特徴と
    する請求項６記載の画像情報変換装置。
  8. 【請求項８】 上記逆離散コサイン変換は、所定の高速
    アルゴリズムを用いて演算を実行することを特徴とする
    請求項６記載の画像情報変換装置。
  9. 【請求項９】 上記逆離散コサイン変換手段は、フレー
    ムモードに対応し、上記マクロブロックを構成する水平
    方向及び垂直方向共に８成分の離散コサイン変換係数の
    内で水平方向に低域４成分の離散コサイン変換係数に逆
    離散コサイン変換を施し、垂直方向にフィールド分離型
    の逆離散コサイン変換を施すことを特徴とする請求項６
    記載の画像情報変換装置。
  10. 【請求項１０】 上記逆離散コサイン変換手段は、所定
    の高速アルゴリズムを用いて演算を実行することを特徴
    とする請求項９記載の画像情報変換装置。
  11. 【請求項１１】 上記逆離散コサイン変換手段は、水平
    方向に低域４成分及び垂直方向に８成分の離散コサイン
    変換係数の内で、水平方向及び垂直方向共に低域４成分
    の離散コサイン変換係数に加えて水平方向に低域４成分
    及び垂直方向に低域４成分に続く２成分の離散コサイン
    変換係数のみを用い、残りの成分は０として逆離散コサ
    イン変換を施すことを特徴とする請求項９記載の画像情
    報変換装置。
  12. 【請求項１２】 上記入力画像圧縮情報は動きベクトル
    を用いて動き補償されたものであって、上記復号化手段
    は動きベクトルを用いて画像を動き補償する動き補償手
    段を有し、この動き補償手段は上記入力画像圧縮情報の
    動きベクトルに基づいて、水平方向及び垂直方向共に１
    ／４画素精度の補間処理を行うことを特徴とする請求項
    １記載の画像情報変換装置。
  13. 【請求項１３】 上記動き補償手段は、水平方向の補間
    処理を、２倍補間のディジタルフィルタを用いて１／２
    画素精度の補間を行い、線形内挿により１／４画素精度
    の補間を行うことを特徴とする請求項１２記載の画像情
    報変換装置。
  14. 【請求項１４】 上記動き補償手段は、フィールドモー
    ドの上記マクロブロックに対して、水平方向の補間処理
    を、２倍補間のディジタルフィルタを用いて１／２画素
    精度の補間を行い、さらに線形内挿により１／４画素精
    度の補間をフィールド内で行うことを特徴とする請求項
    １２記載の画像情報変換装置。
  15. 【請求項１５】 上記動き補償手段は、フレームモード
    の上記マクロブロックに対して、垂直方向の補間処理
    を、２倍補間のディジタルフィルタを用いて１／２画素
    精度の補間を行い、さらに線形内挿により１／４画素精
    度の補間をフィールド間で行うことを特徴とする請求項
    １２記載の画像情報変換装置。
  16. 【請求項１６】 上記ディジタルフィルタは、ハーフバ
    ンドフィルタであることを特徴とする請求項 １２記載
    の画像情報変換装置。
  17. 【請求項１７】 上記ディジタルフィルタは、一連の補
    間処理と等価な係数を予め算出し、上記入力画像圧縮情
    報を構成するマクロブロックの動きベクトルの値に応
    じ、画素値に上記係数を直接施すことを特徴とする請求
    項１６記載の画像情報変換装置。
  18. 【請求項１８】 上記動き補償手段は、２倍補間のフィ
    ルタ処理を行うために必要な上記入力画像圧縮情報を構
    成する画像の画枠の外に存在する画素に対しては、上記
    画枠の外に必要な画素を仮想的に作り出すことによりフ
    ィルタ処理を行うことを特徴とする請求項請求項１２記
    載の画像情報変換装置。
  19. 【請求項１９】 上記動き補償手段は、既存の画素の配
    列の所定位置で折り返し、既存の画素の配列の延長、又
    は所定値を用いることのいずれかにより上記画枠の外に
    必要な画素を作り出すことを特徴とする請求項１８記載
    の画像情報変換装置。
  20. 【請求項２０】 上記走査変換手段は、上記復号化手段
    にて復号された飛び越し走査の画像の第１フィールド又
    は第２のフィールドのいずれか一方を選択することで上
    記入力画像圧縮情報に対して水平方向及び垂直方向共に
    １／２の解像度を有する飛び越し走査の画像から上記入
    力画像圧縮情報に対して水平方向に１／２及び垂直方向
    に１／４の解像度を有する順次走査の画像に変換するこ
    とを特徴とする請求項１記載の画像情報変換装置。
  21. 【請求項２１】 上記走査変換手段は、上記符号化手段
    におけるマクロブロック対応の処理に対応するように垂
    直方向の画素数を調整することを特徴とする請求項２０
    記載の画像情報変換装置。
  22. 【請求項２２】 上記間引き手段は、上記走査変換手段
    から出力される上記有力画像圧縮情報に対して水平方向
    に１／２及び垂直方向に１／４の解像度を有する順次走
    査の画像を水平方向に１／２のダウンサンプリングを行
    い、上記入力画像圧縮情報に対して水平方向及び垂直方
    向共に１／４の解像度を有する順次走査の画像を出力す
    ることを特徴とする請求項１記載の画像情報変換装置。
  23. 【請求項２３】 上記間引き手段は、数タップのローパ
    スフィルタを用いてダウンサンプリングを行うことを特
    徴とする請求項２２記載の画像情報変換装置。
  24. 【請求項２４】 上記間引き手段は、上記符号化手段に
    おいてマクロブロック単位の処理が行えるように水平方
    向の画素数を調整することを特徴とする請求項２２記載
    の画像情報変換装置。
  25. 【請求項２５】 上記出力画像圧縮情報は、フレーム内
    で符号化されたイントラ符号化画像と、フレーム間で順
    方向に他の画像を参照して予測符号化された順方向予測
    符号化画像と、フレーム間で順方向及び逆方向に他の画
    像を参照して予測符号化された双方向予測符号化画像
    と、スプライト符号化画像とから構成され、上記符号化
    手段は、上記イントラ符号化画像及び上記順方向予測符
    号化画像により画像を符号化することを特徴とする請求
    項１記載の画像情報変換装置。
  26. 【請求項２６】 上記画像圧縮情報は動きベクトルによ
    って動き補償されたものであって、この動き補償ベクト
    ルを合成する動きベクトル合成手段を有し、上記入力画
    像圧縮情報の動きベクトルに基づいて上記間引き手段か
    ら出力された画像に対応する動きベクトルを合成し、上
    記符号化手段はこの動きベクトルに基づいて符号化を行
    うことを特徴とする請求項１記載の画像情報変換装置。
  27. 【請求項２７】 上記動きベクトル合成手段で合成され
    た動きベクトルに基づいて動きベクトルを検出する動き
    ベクトル検出手段を有することを特徴とする請求項２６
    記載の画像情報変換装置。
  28. 【請求項２８】 画像を水平方向及び垂直方向共に８成
    分の画素からなるマクロブロックを単位として離散コサ
    イン変換した画像圧縮情報の解像度を変換する画像情報
    変換方法において、 飛び越し走査による画像を符号化した入力画像圧縮情報
    を構成するマクロブロックの水平方向及び垂直方向共に
    ８成分の離散コサイン変換係数係数の内、水平方向及び
    垂直方向共に４成分のみを用いて飛び越し走査の画像を
    復号する復号化工程と、 上記復号化工程で復号された飛び越し走査の画像を構成
    する第１フィールド及び第２フィールドのいずれか一方
    を選択して順次走査の画像に生成する走査変換工程と、 上記走査選択工程により生成された画像を水平方向に間
    引く間引き工程と、 上記間引き工程で間引かれた画像を上記入力画像情報よ
    り解像度の低い出力画像圧縮情報に符号化する符号化工
    程とを有することを特徴とする画像情報変換方法。
  29. 【請求項２９】 上記入力画像圧縮情報はＭＰＥＧ２規
    格によるものであり、上記出力画像圧縮情報はＭＰＥＧ
    ４規格によるものであることを特徴とする請求項２８記
    載の画像情報変換方法。
  30. 【請求項３０】 上記間引き工程は上記画像の水平方向
    に１／２倍となるダウンサンプリングを行い、上記出力
    画像圧縮情報は上記入力画像圧縮情報に対して水平方向
    及び垂直方向共に１／４の解像度を有することを特徴と
    する請求項２８記載の画像情報変換方法。
  31. 【請求項３１】 上記入力画像圧縮情報は、フレーム内
    で符号化されたイントラ符号化画像と、フレーム間で順
    方向に他の画像を参照して予測符号化された順方向予測
    符号化画像と、フレーム間で順方向及び逆方向に他の画
    像を参照して予測符号化された双方向予測符号化画像と
    から構成され、上記入力画像圧縮情報を構成する符号化
    画像の種類を判別し、イントラ符号化画像及び順方向予
    測符号化画像を通過させるが双方向予測符号化画像を破
    棄する判別工程を有し、上記復号化工程にはこの判別手
    段を介した画像圧縮情報が入力されることを特徴とする
    請求項２８記載の画像情報変換方法。
  32. 【請求項３２】 上記復号化工程は、イントラ符号化画
    像及び順方向予測符号化画像復号することを特徴とする
    請求項２８記載の画像情報変換方法。
JP2000097941A 2000-03-15 2000-03-30 画像情報変換装置及び方法 Withdrawn JP2001285863A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000097941A JP2001285863A (ja) 2000-03-30 2000-03-30 画像情報変換装置及び方法
US09/819,190 US20040218671A1 (en) 2000-03-15 2001-03-28 Picture information conversion method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000097941A JP2001285863A (ja) 2000-03-30 2000-03-30 画像情報変換装置及び方法

Publications (1)

Publication Number Publication Date
JP2001285863A true JP2001285863A (ja) 2001-10-12

Family

ID=18612498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000097941A Withdrawn JP2001285863A (ja) 2000-03-15 2000-03-30 画像情報変換装置及び方法

Country Status (2)

Country Link
US (1) US20040218671A1 (ja)
JP (1) JP2001285863A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100441552B1 (ko) * 2002-01-22 2004-07-23 삼성전자주식회사 영상변환장치 및 방법
US7110451B2 (en) 2002-06-11 2006-09-19 Hitachi, Ltd. Bitstream transcoder

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012959B2 (en) * 2000-05-25 2006-03-14 Sony Corporation Picture information conversion method and apparatus
JP2002305746A (ja) * 2001-04-05 2002-10-18 Nec Corp 画像復号処理装置および画像復号処理方法
JP2003087785A (ja) * 2001-06-29 2003-03-20 Toshiba Corp 動画像符号化データの形式変換方法及び装置
JP2003116104A (ja) * 2001-10-02 2003-04-18 Sony Corp 情報処理装置及び情報処理方法
JP4281309B2 (ja) * 2002-08-23 2009-06-17 ソニー株式会社 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
JP4403737B2 (ja) * 2003-08-12 2010-01-27 株式会社日立製作所 信号処理装置及びこれを用いた撮像装置
US8576924B2 (en) * 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
US7965773B1 (en) 2005-06-30 2011-06-21 Advanced Micro Devices, Inc. Macroblock cache
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US20080165849A1 (en) * 2005-07-22 2008-07-10 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US8509551B2 (en) * 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US8488889B2 (en) 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US7636497B1 (en) 2005-12-27 2009-12-22 Advanced Micro Devices, Inc. Video rotation in a media acceleration engine
JP4922839B2 (ja) * 2007-06-04 2012-04-25 三洋電機株式会社 信号処理装置、映像表示装置及び信号処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69023381T2 (de) * 1989-04-10 1996-06-13 Canon Kk Bildverkleinerungsgerät.
KR100205503B1 (ko) * 1993-12-29 1999-07-01 니시무로 타이죠 비디오데이타 부호화장치 및 복호장치
US5463569A (en) * 1994-06-24 1995-10-31 General Electric Company Decimation filter using a zero-fill circuit for providing a selectable decimation ratio
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
US5689698A (en) * 1995-10-20 1997-11-18 Ncr Corporation Method and apparatus for managing shared data using a data surrogate and obtaining cost parameters from a data dictionary by evaluating a parse tree object
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
JP3164031B2 (ja) * 1997-05-30 2001-05-08 日本ビクター株式会社 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体
JP2000059793A (ja) * 1998-08-07 2000-02-25 Sony Corp 画像復号装置及び画像復号方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100441552B1 (ko) * 2002-01-22 2004-07-23 삼성전자주식회사 영상변환장치 및 방법
US7110451B2 (en) 2002-06-11 2006-09-19 Hitachi, Ltd. Bitstream transcoder

Also Published As

Publication number Publication date
US20040218671A1 (en) 2004-11-04

Similar Documents

Publication Publication Date Title
JP3975629B2 (ja) 画像復号装置及び画像復号方法
US7227898B2 (en) Digital signal conversion method and digital signal conversion device
JP3338639B2 (ja) ディジタル・ビデオ・デコーダおよびディジタル・ビデオ信号をデコードする方法
KR100370076B1 (ko) 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
US7088775B2 (en) Apparatus and method for converting image data
US20040213470A1 (en) Image processing apparatus and method
JP2001285863A (ja) 画像情報変換装置及び方法
JP2000059795A (ja) 情報ストリ―ムデコ―ダにおいてモ―ションベクトル情報を適応的にスケ―リングする方法および装置
US20010016010A1 (en) Apparatus for receiving digital moving picture
JP2002515705A (ja) ビデオデコーダのコストを低減させる方法および装置
KR100323676B1 (ko) 디지털 동영상 수신 장치
KR100463515B1 (ko) 비디오 디코딩 시스템
JP2008109700A (ja) ディジタル信号変換方法およびディジタル信号変換装置
JP2001285875A (ja) 画像情報変換装置及び方法
JP2002034046A (ja) 画像情報変換装置及び方法
JP4016166B2 (ja) 画像復号装置及び画像復号方法
JP2002034041A (ja) 画像情報変換装置及び方法
JP4605212B2 (ja) ディジタル信号変換方法およびディジタル信号変換装置
JP4513856B2 (ja) ディジタル信号変換方法およびディジタル信号変換装置
JP2002199399A (ja) 動きベクトル変換方法及び変換装置
JPH10145749A (ja) デジタルビデオ信号をダウンコンバートするための装置及び方法
JP2001204027A (ja) 画像情報変換装置及び方法
JP2002152745A (ja) 画像情報変換装置及び方法
JP2002218468A (ja) 動きベクトル変換装置及び動きベクトル変換方法
JP2001309389A (ja) 動きベクトル変換装置及び方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070605