JP2000041262A - 予測フレ―ムを含む画像の復号方法 - Google Patents

予測フレ―ムを含む画像の復号方法

Info

Publication number
JP2000041262A
JP2000041262A JP11190852A JP19085299A JP2000041262A JP 2000041262 A JP2000041262 A JP 2000041262A JP 11190852 A JP11190852 A JP 11190852A JP 19085299 A JP19085299 A JP 19085299A JP 2000041262 A JP2000041262 A JP 2000041262A
Authority
JP
Japan
Prior art keywords
frame
data
resolution
dct
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP11190852A
Other languages
English (en)
Inventor
Jie Liang
リアン ジー
Hsiao Yi Ri Stephen
フシアオ − イ リ スチーブン
K Taruri Lagendla
ケイ.タルリ ラジェンドラ
L Rakuzuko Frank Sr
エル.ラクズコ,シニア フランク
Paul Chan Y
チァン ワイ.ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of JP2000041262A publication Critical patent/JP2000041262A/ja
Abandoned legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【課題】 周波数領域におけるMPEGタイプビットス
トリームに対するダウンサンプリングおよびマクロブロ
ックの解析を使用して選択的により高解像度の動き補正
を使用し動きベクトルドリフトを防止する適応解像度動
き補正を達成する。 【解決手段】 マクロブロックの評価に応じて全解像度
もしくは低減解像度で復号される予測フレーム(Pフレ
ーム)マクロブロックを有するMPEGタイプ信号の画
像復号方法。高エネルギすなわちエッジコンテントマク
ロブロックは全解像度で復号することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は電子画像方法および
装置に関し、特に、圧縮画像を有するデジタル通信およ
び記憶システムに関する。
【0002】
【従来の技術】画像通信(テレビ、電話会議、インター
ネット、等)では典型的に音声と共に画像(写真,映
像)フレームストリームが伝送チャネルを介して伝送さ
れリアルタイムで視聴もしくは格納される。しかしなが
ら、伝送チャネルには頻繁に改変ノイズが加わり帯域幅
は制限されている。したがって、圧縮を行うデジタルビ
デオ伝送が広く使用されている。特に、高精細度テレビ
(HDTV)はMPEG−2型圧縮を使用している。
【0003】1920x1080HDTV信号に対する
MPEGビットストリームは音声プラス画像Iフレー
ム、Pフレーム、およびBフレームを含んでいる。各I
フレームはおよそ8000のマクロブロックを含み、各
マクロブロックは4つの8x8DCT(ディスクリート
コサイン変換)輝度ブロックおよび2つの8x8DCT
クロミナンス(赤および青)ブロックにより構成されて
いるが、これらのクロミナンスブロックは高解像度で1
6x8さらには16x16へ拡張することができる。各
Pフレームは半ピクセル解像度プラス関連する残差(r
esidual)マクロブロックを有するおよそ800
0までの動きベクトルを有し、各マクロブロックは4つ
の8X8DCT残差輝度ブロックプラス2つの8X8D
CTクロミナンス残差ブロックの形をしている。各Bフ
レームは8000(対)までの動きベクトルプラス関連
する残差マクロブロックを有し、各マクロブロックは4
つの8X8DCT輝度残差ブロックプラス2つの8X8
DCTクロミナンス残差ブロックの形をしている。
【0004】
【発明が解決しようとする課題】FCC(Federa
l Communication Commissio
n)はMPEG−2コーディングを使用する放送産業に
対するHDTV標準を押し進める計画を告知している。
数百万の標準精細度テレビ(SDTV)との過去に溯る
コンパチビリティを維持するために、HDTV/SDT
Vトランスコーダがいくつかの調査機関により調査され
ている。例えば、USP5,262,854およびUS
P5,635,985にはHDTV型信号の低解像度へ
の変換が示されている。トランスコーダは本質的に1/
4だけダウンサンプルし(各ディメンジョンで1/
2)、1920ピクセルx1080ピクセルHDTVフ
レームは960x540フレームとなり、それは標準T
Vの760x576に近い。これらの確立された方法に
は、(1)周波数領域からのHDTV信号を空間領域へ
復号し次に空間領域内でダウンサンプリングし、(2)
周波数領域内の残差をダウンサンプリングし、動きベク
トルをスケーリングし、次にダウンサンプルされた領域
もしくは元のHDTV領域内で動き補償を行うことが含
まれている。しかしながら、これらのトランスコーダに
は通信の複雑さを含む問題点がある。
【0005】デジタルTVシステムは典型的に同調/復
調、順方向エラー修正、デパケッティング、可変長復
号、伸長、画像メモリ、およびディスプレイ/VCRの
部品を含んでいる。HDTVに対して予期される伸長は
本質的にMPEG−2型ビットストリームを復号し、標
準HDTV解像度もしくはVHSレコーディングに対す
るダウン変換等の他の特徴を含むことができる。
【0006】放送デジタルHDTV信号はエラー修正コ
ーディング(例えば、リードソロモン)付きMPEG−
2圧縮画像および音声プラスランレングスおよび可変長
コーディングの形およびTVチャネル内のキャリヤの変
調の形とされている。セットトップボックスフロントエ
ンドはチューナ、位相同期ループシンセサイザ、直角復
調器、アナログ/デジタルコンバータ、可変長デコー
ダ、および順方向エラー修正を含むことができる。MP
EG−2デコーダは逆DCTおよび動き補償プラスSD
TVその他の低解像度が必要である場合のダウンサンプ
リングを含んでいる。USP5,635,985にはD
CT係数を破棄して復号する前にビットストリームを単
純化するプリパーサを含むHDTVからSDTVへのダ
ウンサンプリングを含むデコーダが例示されている。
【0007】
【課題を解決するための手段】本発明により周波数領域
におけるMPEG型ビットストリームに対するダウンサ
ンプリングおよびマクロブロックの解析を使用して選択
的により高い解像度動き補償を使用し動きベクトルドリ
フトを防止する適応解像度動き補償が提供される。
【0008】また、本発明により適応高解像度復号映像
方式が提供される。
【0009】HDTVからSDTVへのセットトップボ
ックスの好ましい実施例には、DCT領域ダウンサンプ
リングを含むMPEG−2復号による、到来する高解像
度信号の復調(チューナ、PLL合成、IQ復調、AD
C、VLD、FEC)およびMPEG−2復号が含まれ
ている。
【0010】
【発明の実施の形態】概観 HDTV MPEG信号を標準TVに匹敵する解像度へ
ダウンサンプリングするための最も単純ではあるが計算
および記憶装置に対する要求の最も高い方法は、高解像
度信号を全解像度で復号しかつ格納してディスプレイ/
出力のための空間領域内へ低減された解像度でダウンサ
ンプルすることである。すなわち、Iフレームの全ブロ
ックに逆DCTを実施して後の動き補償のために格納さ
れかつ出力のためのダウンサンプルされる全解像度Iフ
レームを得、格納された全解像度先行I(もしくはP)
フレームプラス残差に対する逆DCTを使用してPフレ
ームに対する動き補償を実施して後の動き補償のために
格納され出力するためのダウンサンプルされた全解像度
Pフレームを得、格納された全解像度Iおよび/もしく
はPフレームおよび逆DCT残差を使用してBフレーム
に対する動き補償を実施しダウンサンプルして出力され
る高解像度Bフレームを得ることである。
【0011】好ましい実施例では、このような高精細度
MPEG復号の計算および/もしくは格納は逆DCT、
適応解像度動き補償の前にDCT領域内のダウンサンプ
リングの1つ以上の特徴により制限され、全解像度復号
は選択されたマクロブロックにだけ行われ、格納された
低減解像度のマクロブロックのアップサンプリングが動
き補償に対して行われる。特に、好ましい実施例には、
(1)全解像度Iフレーム、適応解像度Pフレーム、お
よび低減解像度Bフレーム、(2)適応解像度Iおよび
Pフレームおよび低減解像度Bフレーム、(3)低減解
像度Iフレーム、適応解像度Pフレーム、および低減解
像度Bフレームが含まれる。好ましい実施例では、19
20x1080HDTVビットストリームから960x
540(SDTV)信号を抽出することができ、960
x540はさらにサブサンプリングして760x576
等の好ましいサイズへ拡張することができる。
【0012】図30−図32は、好ましい実施例のデコ
ーダ内のPフレームマクロブロック復号を示し、それは
DCT領域内で全てのマクロブロックについてダウンサ
ンプリングを実施し、次に低減解像度で全てのマクロブ
ロックをまだ処理しながら全解像度を固定するマクロブ
ロックを選択する、すなわち、図30、図31の左側お
よび右側の垂直パスは平行である。次に、ディスプレイ
/出力の前に2つのパスからの最終出力を構成する。こ
のようなトランスコーダは入力シーケンスに無関係に常
に働く。1つの代替策は固定される低減解像度でマクロ
ブロックを処理しないことである、すなわち、マクロブ
ロックは左側もしくは右側の垂直パスを横切するが両方
は横切しない。それにより、重複計算は解消されるがマ
クロブロックを固定するための大量の計算により計算要
求の正確な予測/スケジューリングが要求される。
【0013】図33は適応解像度復号を内蔵するシステ
ムを示す。
【0014】図34−図37は別のトランスコーダアー
キテクチュアを示す。特に、図34は初期パーサーを含
み、それは音声および類似機能からMPEG画像を抽出
し、図35に示すようにトランスコーダが既存のMPE
Gデコーダで使用される場合に、ダウンサンプリングを
行う前のI/Pフレームマクロブロックに対する全解像
度復号の可能性を反映するBフレームおよびI/Pフレ
ームプロセッサ、およびMPEGエンコーダを分離す
る。ポストプロセッサが空間領域画像についてリサイジ
ング、アンチフリッカー濾波、平方ピクセル変換、プロ
グレッシブインターレース変換、等の処理を実施する。
図36ではダウンサンプリングした出力が直接使用さ
れ、図37はBフレームだけの既存のMPEGデコーダ
のハイブリッド使用を示す。
【0015】適応解像度Pフレームの好ましい実施例 適応解像度Pフレームの好ましい実施例では、Iフレー
ムマクロブロックは全解像度(例えば、HDTV192
0x1080)で復号され、Bフレームマクロブロック
は低減解像度(例えば、960x540)で復号され、
あるマクロブロックの混合を有するPフレームは全解像
度および幾分は低減解像度で復号される。Pフレームマ
クロブロックを全解像度で復号するか低減解像度で復号
するかの判断はさまざまな測度を使用して行うことがで
き状況に適合させることができる。例えば、(輝度)残
差DCT高周波係数がしきい値を越える場合には、入力
Pフレーム動きベクトルプラス関連するマクロブロック
(4つの8x8DCT輝度残差ブロック(および随意2
つの8x8DCTクロミナンス残差ブロック))を全解
像度で復号するように判断される。あるいは、その動き
ベクトル(MV)が格納された(大部分は)全解像度復
号されたPフレームマクロブロックもしくは高エネルギ
あるいはエッジ内容を有する格納されたIフレームマク
ロブロックを指す場合には、全解像度復号に対するマク
ロブロックを選択する。このようなマクロブロックに対
する低減解像度での動き補償により動きベクトルドリフ
トを生じることがある。
【0016】図30−図32はPフレームマクロブロッ
クに対するフローを示す。より詳細には、次のように復
号が行われる(Yは輝度を示し、CbおよびCrはクロ
ミナンスを示し、MVは動きベクトルを示し、Δは残差
を示す): (a)Iフレームマクロブロック: 1.4つの8x8YDCT(および随意8x8CbDC
Tおよび8x8CrDCT)に逆DCTを適用して16
x16Y(および8x8Cbおよび8x8Cr)を得
る。クロミナンスは低周波4x4次に逆DCTをとるこ
とによりCbおよびCrDCTをダウンサンプリングし
て4x4CbおよびCrを得ることを含んでいる。 2.後続PフレームおよびBフレームの基準として使用
する16x16Y(および8x8Cbおよび8x8C
r)を格納する。 3.8x8Yおよび4x4Cbおよび4x4Crへ4ポ
イントダウンサンプリング(もしくは他の空間ダウンサ
ンプリング;後述)を行って低減解像度ディスプレイ/
出力し、随意4つのグループ(すなわち、4つの8x8
Yおよび1つの8x8Cbおよび1つの8x8Cr)へ
リパックしてディスプレイ/出力(低減解像度)マクロ
ブロックを形成する。 (b)Pフレームマクロブロック:(1)固定される
(全解像度復号)および(2)固定されない(低減解像
度復号)のいずれかとして分類する。 (1)固定されるマクロブロックに対して、 1.格納された前のIもしくは固定Pマクロブロックの
全解像度16x16Yおよび/もしくは格納された前の
固定されないPマクロブロックの格納された8x8Y,
4x4Cb,Crからアップサンプルされた16x16
Y,8x8Cb,Crから発生されるMVおよび基準1
6x16Y(随意8x8Cb,Cr)格納マクロブロッ
クを使用する:図38および下記の参照に関する関連す
る検討を参照されたい。アップサンプリングは任意の補
間法とすることができ、隣接する格納ブロックの境界ピ
クセルを使用することができる。 2.4つの8x8ΔYDCT(随意8x8ΔCb,ΔC
rDCT)に逆DCTを適用して4つの8x8ΔY(8
x8ΔCb,ΔCr)を得る。 3.ステップ1からの全解像度基準マクロブロックとス
テップ2からの全解像度残差マクロブロックとを加えて
全解像度の4つの8x8Y(8x8Cb,Cr)を再構
成する。 4.再構成された16x16Y(および8x8Cb,C
r)を次のPフレームおよびBフレームの基準として使
用するために格納する(かつイントラ符号化マクロブロ
ックへ変換する)。 5.8x8Yおよび4x4Cb,Crへ4ポイント平均
ダウンサンプリング(もしくは他のダウンサンプリン
グ)を行ってディスプレイ/出力しかつ随意4つのグル
ープへリパックして低減解像度マクロブロックをディス
プレイ/出力する。 (2)固定されないマクロブロックに対して、 1.MV/2を使用して前の固定されないPの格納され
た8x8Y,4x4Cb,Crから8x8Y,4x4C
b,Cr基準を発生しかつ/もしくは格納された全解像
度(16x16Yおよび恐らくは8x8Cb,Cr)I
および固定されたPマクロブロックからダウンサンプリ
ングされる8x8Y,4x4Cb,Crを発生する。M
Vは1/2ピクセル解像度を有するため、MV/2は1
/4ピクセル解像度を有し、そのため8x8Y,4x4
Cb,Cr基準は3対1重み付けにより発生することが
できる。 2.4つの8x8ΔYDCT,8x8ΔCb,ΔCrD
CTをダウンサンプリングして8x8ΔYDCT,4x
4ΔCb,ΔCrDCTを得る。 3.8x8ΔYDCT,4x4ΔCb,ΔCrDCTに
逆DCTを適用して8x8ΔY,4x4ΔCb,ΔCr
を得る。 4.ステップ1からの基準とステップ3からの残差とを
加えて8x8Y,4x4Cb,Crを再構成する。 5.8x8Yおよび4x4Cb,Crを次のPフレーム
およびBフレームの基準のために格納してディスプレイ
/出力するかあるいは随意4つのグループへリパックし
て低減解像度の4つの8x8Y,8x8Cb,Crを出
力する。 (c)Bフレームマクロブロック 1.両方の動きベクトルについてMV/2を使用して前
の固定されないPの格納された8x8Y,4x4Cb,
Crから8x8Y,4x4Cb,Cr基準を発生しかつ
/もしくは格納された全解像度(4つの8x8Y,8x
8Cb,Cr)Iおよび固定されたPマクロブロックか
らダウンサンプリングされる8x8Y,4x4Cb,C
rを発生する。MVは1/2ピクセル解像度を有するた
め、MV/2は1/4ピクセル解像度を有し、そのため
8x8Y,4x4Cb,Cr基準は3対1重みづけによ
り発生することができる。 2.4つの8x8ΔYDCT,8x8ΔCb,ΔCrD
CTをダウンサンプリングして8x8ΔYDCT,4x
4ΔCb,ΔCrDCTを得る。 3.8x8ΔYDCT,4x4ΔCb,ΔCrDCTに
逆DCTを適用して8x8ΔY,4x4ΔCb,ΔCr
を得る。 4.ステップ1からの基準とステップ3からの残差とを
加えて8x8Y,4x4Cb,Crを再構成し、随意4
つのグループへリパックして低減解像度の4つの8x8
Y,8x8Cb,Crをディスプレイ/出力する。
【0017】動きベクトルはマクロブロックの輝度部か
ら引き出されるため、クロミナンスが全解像度で復号さ
れるか低減解像度で復号されるかによって動きベクトル
ドリフトが影響を受けることはない。したがって、Iフ
レームマクロブロックおよび固定されるPフレームマク
ロブロックの全解像度復号化には輝度ブロックしか含ま
れないことがある。4x4低周波サブブロックをとり4
x4逆DCTを適用することによりDCT領域内でクロ
ミナンスブロックを全てダウンサンプリングすることが
でき、2で除した動きベクトルを使用する。
【0018】したがって、HDTVPフレームの代替策
は後述するように(クロミナンスブロックについても同
様)32,400の8x8DCT残差輝度ブロックを直
接DCT領域内の8050の8x8DCT残差輝度ブロ
ックへダウンサンプリングし、次にこれらのブロックを
(1)固定されるもしくは(2)固定されないのいずれ
かとして分類する。あるいは、ダウンサンプリングする
前に固定する必要性を評価してDCT領域内での不要な
ダウンサンプリングを解消する。さらに、分類規準は利
用できる計算力に適合させることができる。
【0019】好ましい実施例のダウンサンプリングは、
標準精細度TVのセットトップボックス等の、さまざま
なシステム内で実施してHDTV信号を受信標準TV信
号へ変換することができる。
【0020】DCT領域内のダウンサンプリング 好ましい実施例のダウンサンプリングはDCT領域内で
行われる。HDTVデコーダへの入力データストリーム
はMPEG−2フォーマットである。ピクセルデータは
8x8ブロックのDCT係数として符号化される。従来
技術のダウンサンプリング方式ではデータに逆DCT操
作を実施して空間領域内の係数へ回復し戻し、次に空間
領域内でダウンサンプリングを実施して解像度およびサ
イズを低減する。全解像度オリジナルピクチュアは空間
領域内に格納する必要があるため、この操作は大きなメ
モリ記憶装置を要求する。さらに、2ステップ操作によ
り大きな計算要求が生じる。好ましい実施例のDCT領
域ダウンサンプリングは全解像度およびサイズDCT領
域入力データを直接変換して1ステップの解像度および
サイズ空間領域ピクセル値を低減し、空間ピクセル領域
内に全解像度ピクチュア(特にBフレーム)を格納する
必要性を無くしさらに計算要求を制限する。
【0021】ダウンサンプリング操作はタイプX→MX
のマトリクス操作として表すことができ、Mはダウ
ンサンプリングマトリクスでありXは入力DCT係数で
ある。Xがマクロブロックの4つの8x8DCT輝度ブ
ロックから構成される16x16である場合に、Mは8
x16であり、したがってMXMは8x8である。
【0022】2種の好ましい実施例のダウンサンプリン
グマトリクスがよい結果を示しており、DCT領域内の
低域濾波および空間領域内の4ポイント平均化である。
DCT領域内の低域濾波は8x18ダウンサンプリング
マトリクスMを有し、
【数1】 ここに、Iは8x8アイデンティティマトリクス、0は
8x8ゼロマトリクス、D[16]は16x16DCT
変換マトリクス、D[8]は8x8変換マトリクスであ
る。右から左へ、対角ブロックD[8]は4つの8x
8ブロックの逆DCTを実施して空間領域内に16x1
6を作り出し、D[16]は16x16に16x16D
CTを実施し、Iは16x16の低周波8x8を選出
し、D[8]tは最終逆DCTを実施して空間領域内に
ダウンサンプリングされた8x8を生じる。
【0023】同様に、ダウンサンプリングマトリクスM
としての空間領域内での平均化は、
【数2】 ここでも、対角D[8]は4つの8x8ブロックの逆
DCTを実施して空間領域内に16x16を作り出し、
0および1の8x16マトリクスは4ポイント平均化を
実施する(2x2ピクセルのグループが平均化されて1
つのダウンサンプリングされたピクセルを形成する)。
【0024】DCT領域内の低域濾波によるダウンサン
プリングの詳細 単にDCT高周波係数を廃棄して(例えば、単に各8x
8DCTブロックの4x4低周波係数を維持して)逆D
CT計算を簡約化し再構成フレーム解像度を低減するの
ではなく、マクロブロックの4つのDCT輝度ブロック
を使用して16x16DCTを発生し次に16x16D
CT高周波係数を廃棄して(例えば、8x8低周波係数
を維持して)逆DCT計算を簡約化し解像度を低減す
る。マクロブロックの16x16DCT係数は8x8ブ
ロックDCT係数プラスこの計算において利用できるあ
る対称性により表現することができるため、マクロブロ
ックベースへのこの切替えにより計算上の利点が得られ
る。また、より大きい16x16の低周波濾波により単
に4つの4x4低周波濾波を継ぎ合わせる場合よりも良
い結果が得られる。
【0025】特に、P(j,k)を4つの8x8ブロッ
クP00,P01,P10およびP11により構成され
た16x16マクロブロックとすると、
【数3】 W(m,n)で示すPの16x16DCT係数は次式で
与えられ、
【数4】 ここに、和はm=0もしくはn=0であれば0≦j≦1
5および0≦k≦15プラス1/√2の追加因子にわた
る。Wは16x16であり前の2次元DCT定義は16
x16マトリクスの2つのマトリクス乗算W=D[1
6]PD[16]として解釈することができ、ここ
に、16x16マトリクスD[16]は要素D[16]
=(1/√8)cos[π(2k+1)n/32]を有
しており(n=0であれば、1/√2の追加因子が付
く)D[16]はD[16]の移項である。もちろ
ん、D[16]の左の乗算により列変数に対するDCT
が与えられD[16]の右の乗算により行変数に対す
るDCTが与えられる。さまざまな周波数の余弦の直交
性により、D[16]は直交マトリクス(D[16]D
[16]=1)である。それは逆DCTがP=D[1
6]WD[16]で与えられることを意味する。
【0026】また、Wは4つの8x8ブロックW00
01,W10およびW11により構成されていると考
えることができ、
【数5】 00は低空間周波数係数であり、好ましい実施例では
元の16x16マクロブロックPのダウンサンプリング
により生じる8x8ブロックに対するDCT係数として
00を取り出してダウンサンプリングを行う。すなわ
ち、W00はPの所望の低減解像度ダウンサンプリング
バージョンのDCTである。事実、4でダウンサンプリ
ングされた1920ピクセルの1080行のHDTVフ
レームに対して960ピクセルの540行が得られ、そ
れは720ピクセルの576行の標準tvフレームに近
い。
【0027】W00は8x8ブロックP00,P01
10およびP11のDCTで表すことができ、これら
のDCTはビットストリーム内にある。これらのDCT
をP^00,P^01,P^10およびP^11で示
す。8x8マトリクスD[8]が要素D[8](k,
n)=1/2cos[π(2k+1)n/16]を有す
るものとすると(m=0であれば1/√2の追加因子が
ある)、D[8]は直交性であり8x8DCT変換は、
それぞれ、D[8]およびD[8]の前および後乗算
P^00=D[8]00D[8],...,P^
11=D[8]11D[8],であり、逆DCTは
00=D[8]P^00D[8],...,P11
=D[8]P11D[8],である。P00
01,P10およびP11の逆DCT式をWの定義へ
挿入して16x16マトリクス乗算を4つの8x8サプ
マトリクスD[16]00,...,D[16]11
して表現される16x16マトリクスD[16]を有す
る8x8サプマトリクス乗算として実施すると、
【数6】 となり、ここに、S=D[16]00 D[8]および
T=D[16]10 D[8]は共に8x8マトリクス
であるが、自明でない成分は僅かである。事実、
【数7】 かつ、
【数8】 であり、ここに、
【数9】 和は0≦n≦7にわたる。SおよびTの項において、W
00を求める計算はSおよびTの8x8マトリクス計算
プラス積のマトリクス加算、およびW00=(SM
TNのM=SP^00+TP^10およびN=S
P^10+TP^11による転置の3回の繰返しとな
る。これらの計算において多くの項が共用され、一般的
にX,YおよびZが全て8x8マトリクスであるZ=S
X+TYについて考える。SおよびTの特定の形式はj
=0,1,...,7に対して、
【数10】 となる。Z(i.j)に対する前式間で共用される多く
の項があり、それらの予計算により次のようにさらに計
算が省かれる。定義、
【数11】 したがって、Z(i,j)式は次のようになる。
【数12】 Z(i,j)を得るのに必要な総計算は前式(32乗算
および40加算)から各列Z(.,j)について72演
算と推定することができる。したがって、Zの計算には
72=576の演算が行われる。したがって、W
00の計算には3576=1728の演算が行われ
る。
【0028】したがって、16x16マクロブロックは
1728演算でダウンサンプリングすることができる。
フルサイズ1080x1960HDTVシーケンスを3
0フレーム/秒でダウンサンプリングすることは(全て
のフレームマクロブロックを仮定して)、(1080/
16)(1920/16)172830命令/秒
=425MIPSの計算力(1サイクル乗算DSPに対
する命令数)を意味する。Iフレームのダウンサンプル
された8x8ブロックをバッファ内に格納する。これら
のブロックは後のPおよびBフレームの動き補償再構成
に使用される。
【0029】Pフレーム内の動きベクトルドリフト PおよびBフレームの復号は格納されたPおよび/もし
くはIフレームからの動きベクトル予測マクロブロック
および残差の逆DCTの両方を必要とする。残差マクロ
ブロックDCT(4つの8x8DCT輝度残差ブロック
プラス2つの8x8DCTクロミナンス残差ブロック)
は、前記したようにDCT領域内でダウンサンプリング
することができる。動きベクトルはスケールダウンする
ことができる(すなわち、両成分により2で除算され、
スケールされた動きベクトルが出力される場合には随意
最も近い半ピクセル位置へ丸められる)。しかしなが
ら、Iフレームの後のいくつかのPフレームに続くPフ
レームは非常に細かいテクスチュア周りでフリッカした
り動くエッジ周りでぎざぎざを示すことがある。この問
題は動きベクトルの精度低下に起因する。したがって、
好ましい実施例では、Pフレーム(ダウンサンプリング
された)マクロブロックに対する動きベクトルドリフト
の尤度が評価され、全解像度で復号することによりマク
ロブロックに高い尤度を選択的に固定した後でダウンサ
ンプリングしてディスプレイ/出力する。(復号はある
実施例で必要なピクセルに対する逆DCTを実施するだ
けである)。動きベクトルドリフトがあるとは思われな
い全てのBフレームマクロブロックおよびPフレームマ
クロブロックについては、残差のマクロブロックは前と
同様にDCT領域内でダウンサンプリングされ、動きベ
クトルは再構成されたダウンサンプリングフレーム内で
は2で除算されているにすぎない。
【0030】特に、DCT残差のPフレーム16x16
マクロブロック(ビットスシリーム内の残差の4つの8
x8DCT輝度ブロック)については、前記したよう
に、最初にDCT領域内でダウンサンプリングを実施し
てW00、残差のダウンサンプリングされたブロックの
8x8DCTが得られる。次に、和が0≦j,k≦7の
範囲にわたる係数(ΣΣW00(j,k))の平方和
によりW00のエネルギが測定され、かつ和が小範囲0
≦j,k≦3を除外する係数の平方和によりW00の高
空間周波数エネルギであるエネルギの一部が測定され
る。エネルギがしきい値よりも大きくかつ高周波エネル
ギの一部が第2のしきい値よりも大きければ、固定され
る必要があるものとしてブロックが分類され(全解像度
マクロブロック復号)、さもなくばブロックは固定され
ないものとして分類される(DCT領域ダウンサンプリ
ングに利用できる)。全てのBフレームマクロブロック
はDCT領域ダウンサンプリングに利用できるものとし
て分類され、BフレームはPもしくはIフレームだけか
らしか予測されないため、Pフレームが動きベクトルド
リフトを克服すれば動きベクトルドリフトを招くことは
ない。
【0031】どのPフレームマクロブロックを固定する
かを別に決定することができ、ダウンサンプリングの前
に決定を行って全解像度DCTを使用し次に全解像度で
再構成マクロブロックを格納し最後に空間的にダウンサ
ンプリングして低減解像度で出力することができる。固
定するマクロブロックの特性:大きい高周波成分、大き
い動きベクトル、動きベクトルが納された全解像度固定
ブロックを指す、等である。ブロックが沢山の高周波成
分(高周波の大きいDCT係数)を有する場合には、固
定する必要があるという考えである。また、ブロックが
高い動き領域内にあれば(大きい動きベクトル)、高速
運動は精密には知覚されないため、それは固定する必要
がない(DCT高周波成分が大きすぎない限り)。ま
た、Pフレームマクロブロックは残差を表すため、その
参照として高エネルギもしくはエッジコンテントIマク
ロブロックを有するPフレームは精度を維持するように
固定する必要がある。さらに、Pフレームマクロブロッ
クの固定には計算力が必要であるため、固定するか否か
の判断には現在利用可能な計算力を考慮することが含ま
れ、例えば、負荷に応じてしきい値を調整することがで
きる。
【0032】全16x16復号により固定する必要のあ
る選択ブロックに対して、次のように再構成が行われ
る。最初に、全動きベクトルを使用して先行する全解像
度IおよびPフレーム内の16x16規準マクロブロッ
ク(すなわち半ピクセル運動ベクトルに対する17x1
7)が捜し出される(格納されたIフレームは全解像度
を有するが、Pフレームは(一部)全解像度で格納され
ていることがあり、格納された低減解像度部分のアップ
サンプリングを導くことがある)。図38に示すよう
に、規準マクロブロックは(最大)9つの異なる8x8
ブロックを跨ぐことがあり、破線で示す大きい方形は規
準16x16マクロブロックであり番号を付した実線ブ
ロックは規準マクロブロックによりカバーされる8x8
ブロックである。これら9つの8x8ブロックはせいぜ
い4つの16x16(空間8x8の2x2アレイ)マク
ロブロックのブロックである。これら4つのマクロブロ
ックの1つ以上が全解像度で格納される場合には(すな
わち、固定PマクロブロックのIマクロブロック)、規
準16x16の対応する部分に対する8x8のピクセル
を使用するだけである。逆に、これら4つのマクロブロ
ックのいずれかが低減解像度で格納される場合には(例
えば、固定されないPマクロブロック)、これらのマク
ロブロック(8x8輝度および4x4クロミナンスとし
て格納される)は単に補間により8x8輝度ブロック
(少なくともその一部)を16x16へアップサンプリ
ングし(それは隣接する格納されたマクロブロックの境
界ピクセルを使用することができ、かつ単なる線形補間
とするか文脈ベース補間を使用することができる)、ア
ップサンプリングされたピクセルを16x16基準の対
応する部分に使用する。したがって、基準マクロブロッ
クは全解像度16x16であり、残差DCTは基準に加
える全解像度逆DCTを有する。
【0033】固定する必要のないPマクロブロック(お
よび全てのBマクロブロック)については、前と同様に
単にDCT領域内の残差DCTをダウンサンプリングし
て動きベクトル成分を2で除算するだけである。せいぜ
い4つの8x8低減解像度ブロック内にある基準ブロッ
ク(8x8低減解像度)が捜し出される。これら8x8
低減解像度ブロックのいずれかが全解像度で格納される
場合には、4ポイントもしくは他の空間ダウンサンプリ
ングを使用して8x8低減解像度が作られる。8x8基
準の対応するピクセルについては低減解像度のピクセル
を使用し、1/4ピクセル動きベクトル解像度は基準8
x8を作るのに3対1重み付けを必要とすることがあ
る。
【0034】全解像度が8x8でありダウンサンプリン
グは4x4DCTへの単なる低域濾波にすぎない点を除
けば、クロミナンスブロックも同様に処理することがで
きる。しかしながら、運動ベクトルは輝度だけから引き
出されるため動きベクトルドリフトを防止するための全
解像度クロミナンスは不要である。
【0035】図30−図32は固定すべきか否かの判断
を示すPマクロブロックのフロー図である。ルックアッ
プテーブル(ハッシュテーブル)が固定マクロブロック
を追跡し現在利用可能な計算力やメモリへ適応するのを
助けるために使用することができる。
【0036】切取り代替適応Pフレーム 格納された低減解像度をアップサンプリングすることな
く固定されるPフレームマクロブロックを処理する別の
好ましい実施例は下記のように進行する。図?に示され
ているように基準マクロブロックは(せいぜい)9つの
異なる8x8ブロックに跨がり、破線の大きい方形は基
準マクロブロックであり番号付けされた実線ブロックは
基準マクロブロックによりカバーされる8x8ブロック
である。しかしながら、8x8ブロック内のピクセルの
一部(しばしば小さい部分)しか基準マクロブロック内
で使用されない。極端な場合、ブロックの1ピクセルし
か使用されない。高エネルギマクロブロックしか全復号
を必要としないため、関連するブロックの全て(すなわ
ち、図38の9部分全部)に逆DCTを適用する通常の
方法では計算力が浪費される。したがって、次節で説明
するようにDTC(周波数)領域内のブロックが切り取
られ、切り取りれた部分だけが逆DCTされる。それに
より、全解像度基準マクロブロックが得られる。次に、
DTC残差の16x16マクロブロックの逆DCTが加
えられる。最後に、この全解像度マクロブロックをダウ
ンサンプリングしてPフレームの再構成に対する8x8
ダウンサンプリングブロックが得られる。また、後続P
フレームマクロブロックは選択復号を必要とすることが
あり、かつこの全解像度マクロブロックを基準マクロブ
ロックとして使用するため、全解像度マクロブロックが
格納される。もちろん、Bフレームマクロブロックは全
て低エネルギ/エッジとして処理されるため、次のIフ
レームの前の最後のPフレームはいかなる全解像度記憶
装置も必要としない。
【0037】基準マクロブロック内に含まれる各8x8
ブロックの演算は(1)ブロック内の全ピクセルを得る
かあるいは(2)ブロックを切り取って必要なピクセル
だけが残るようにすることである。マトリクス用語で
は、ブロックの一部を切り取る演算はマトリクス乗算と
して書き表すことができる。例えば、8x8マトリクス
Aの最後のm行の切取りはA=CAとして書き表す
ことができ、8−m≦j≦7に対してC(j,j)=
1であることを除けば、Cは全成分が0の8x8であ
る。同様に、8−n≦j≦7に対してC(j,j)=
1であることを除けば、Cが全て0成分を有する場合
の後乗算により最後のn列が切り取られる。したが
って、Aのn列サブマトリクスによる右下m行の切取り
演算はA=CACとして書き表すことができる。
次に、AのDTCをA^で示すことはA=D[8]
^D[8]を意味し、ここにD[8]はやはり8x8D
TC変換マトリクスである。したがって、A=C
[8]A^D[8]Cとなり、積はやはりU=C
D[8]およびV=CD[8]と呼ばれA=U
A^Tとなる。Uの最初の8−m行は全てゼロであり
Tの最初の8−n列は全てゼロであることがお判りであ
ろう。したがって、Uのmの非ゼロ行のmx8マトリク
スをUで示しVのnの非ゼロ列の8xnマトリクスを
で示すと、Aの切り取られた部分からなるmxnマ
トリクスAcroppedはAcropped=U
^V で与えられる。実際上、Uは逆8x8DCT
マトリクスの最初のm行であり、Vは逆8x8DCT
マトリクスの最終行である。逆8x8DCTマトリクス
は次のように表される。
【数13】
【0038】B=UAを計算するのに必要な演算数は
138=104mであり、Bはmx8マトリクス
である。Acropped=BV の計算にはm
n=13nm演算が必要である。1ブロックに対す
る合計は104m+13nm=(13n+104)mと
なる。もちろん、Acorpped の計算は本質的に
croppedを計算することであり、対称性により
それは(13m+104)nの演算を要する。したがっ
て、Acroppedは[13max(m,n)+1
04]min(m,n)演算で計算することができ
る。
【0039】全8x8逆DCT(高速アルゴリズムはな
い)は138+104)8=1664演算を要する
ことがお判りであろう。しかしながら、8x8ブロック
からの1ピクセルしか使用されない場合には、前記した
ことから切取処理計算は(131+104)=11
7演算しか必要とせず、93%の節減となる。
【0040】単一切取ブロックの前記推定値を使用して
選択マクロブロック復号の計算上の複雑さが次のように
推定される。図2において、16x16マクロブロック
に対する最大カバーエリア(破線方形)は17x17
(動きベクトルの半ピクセル解像度により)である。し
たがって、a+b≦9かつc+d≦9である。そのため
9ブロックの各々に対する計算負荷は次のようになる
(a≦b,c≦dおよびb≦dの普遍性は損なわれない
ものとする)。
【数14】
【0041】したがって、再構成の16x16動き補償
部に必要な全ピクセルを得るための総計算は1664+
(138+104)(a+b+c+d)+13(a+
b)(c+d)+104(a+b+2c)であるブロッ
ク1−9に対する計算の和であり、それはせいぜい82
57演算である。双1次補間に対する総計算は64演算
である。前進8x8DTCのコストは64112=
1408である。基準マクロブロック、濾波/ダウンサ
ンプリング、および前進DTCを得るための総演算数は
せいぜい9727である。
【0042】30フレーム/秒の1920x1080H
DTVシーケンスに対して、最悪のシナリオはBフレー
ムが存在しないことである。総計算負荷は、(1920
/16)(1080/16)972930演算/
秒=2382MIPSとなる。400MIPSではマク
ロブロックのおよそ17%に対する選択全復号にしか利
用できない。HDTVシーケンスがIBBF(3フレー
ム毎に1つのPフレーム)のフォーマットであれば、4
00MIPSでPフレームマクロブロックのおよそ50
%を処理することができる。
【0043】適応解像度Iフレームマクロブロックの好
ましい実施例 IマクロブロックはPマクロブロックと同様に全解像度
および低減解像度復号の範疇に入れることもできる。特
に、Iマクロブロック輝度DTC内の小さい高周波成分
により、前記したようにDTC領域内でダウンサンプリ
ングを行うことにより低減解像度復号を行うことができ
る。したがって、Pマクロブロックと同様に、Iマクロ
ブロックは全解像度もしくは低減解像度として格納する
ことができ、低減解像度マクロブロックが全解像度基準
の一部として使用される場合、それはアップサンプリン
グされる。
【0044】全解像度で復号すべきかどうかを判断する
他の方法には現在計算負荷および同じ位置の前のPマク
ロブロックが固定されたか否かが含まれる。
【0045】適応解像度Pクロブロックを有する適応解
像度Iマクロブロック Iマクロブロックは全てDCT領域内でダウンサンプリ
ングして低減解像度として格納することができる。Pク
ロブロックが固定され基準がIフレーム内にある場合に
は、前記したように格納された低減解像度Iマクロブロ
ックをアップサンプリングする。
【0046】BおよびPフレーム DCT領域ダウンサンプリングに利用可能なマクロブロ
ック(Bフレームマクロブロックおよび低周波/エッジ
Pフレームマクロブロック)に対して、次のようにダウ
ンサンプリングおよび再構成を行う。動きベクトル成分
を2で除算して、最も近い半ピクセルまで丸め、バッフ
ァに格納されたIおよび/もしくはPフレームの予め再
構成されダウンサンプリングされた8x8ブロックを使
用する。Iフレームマクロブロックに対して前記したよ
うに、DCT領域内で残差のマクロブロック(残差の4
つの8x8DCTブロック)をダウンサンプリングして
残差の8x8DCTブロックを見つけ、逆DCTを適用
して残差の8x8ブロックを得る。残差の8x8ブロッ
クを8x8基準ブロックに加えて8x8ブロックの再構
成を完了する。
【0047】高速DCT方法の応用 動きベクトルドリフトを回避するための高エネルギ/エ
ッジPフレームマクロブロックに対する前の選択復号に
は、各ピクセルに対するエンドツーエンド遅延が小さく
符号が単純であるという利点がある。しかしながら、イ
ンプリメンテーションの複雑度を僅かに高くすれば高速
DCT反転方法と前の選択復号方法とを組み合わせるこ
とにより演算数を著しく低減することができる。
【0048】高速DCT計算を実施する多くの方法があ
る。最善の結果の1つは8x8DCTマトリクスの単純
な8x8マトリクスの積への下記の分解により達成され
る。D[8]=ΔPBMAここに、因
子マトリクスは次のようである。
【数15】
【数16】
【数17】 行もしくは列について8ポイントDCTを行うのに合計
428=336を要する。したがって、2次元8x8
DCTに対する総計算は672演算となる。
【0049】前記高速DCTを列に適用し次に切取マト
リクスを適用した後では、mの非ゼロ行しか残らない。
行DCTに対する計算は僅か42m演算しか要しない。
また、AcroppedもしくはAcropped
計算することができ、総計算は336+42min
(m,n)となる。
【0050】次に、DCT反転の切取りと一緒に高速因
子分解を行うおよび行わない8x8逆DCTの使用に対
する演算数を比較する。演算数はmin(m,n)≦3
([104+13max(m,n)]min(m,n)
演算に等しい)ならば高速因子分解を行わない方が小さ
く、min(m,n)≧4(336+42min(m,
n)演算に等しい)ならば高速因子分解を行う方が小さ
い。
【0051】したがって、図38と同様に9つの8x8
ブロックの一部をカバーする基準マクロブロックの最悪
のケースでは、DCT反転に対する総演算数は次のよう
になる。ここでも、普遍性を損なうことなくa+b=
9,c+d=9,かつa≦c≦bであれば、考えられる
全てのaおよびcの値について総演算数は次のようにな
る。
【表1】 最も高い演算数は5205であり、平均は4453であ
る。双一次補間(64f)および前進DCT計算(67
2)を因子分解すると、1つのマクロブロックに対する
総計算は5840(最悪のケース)および5189(平
均)である。
【0052】1920x1080HDTVシーケンスに
ついて(Bフレームが無いものと仮定すると)、必要な
総計算は最悪のケースでは、(1920/16)(1
080/16)594030ops/秒=1454
MIPsとなり、平均的ケースでは、(1920/1
6)(1080/16)455330ops/秒
=1090MIPsとなる。400MIPsでは、全マ
クロブロックのおよそ28%について選択マクロブロッ
ク復号を行うことができる。全てのマクロブロックが最
悪ケースのグリッド上にあることはありそうもないの
で、平均数は良い測度である。マクロブロックに対する
平均数を使用して、マクロブロックの37%について選
択マクロブロック復号を行うことができる。シーケンス
がIBBPフォーマットであれば、全てのPフレームに
ついてマクロブロックのほぼ100%に対する逆動き復
号を実施するのに十分な計算力を持たなければならな
い。
【0053】インターレースフィールドダウンサンプリ
ング インターレースフィールドフォーマットについて、マク
ロブロックPの偶数および奇数ラインを、それぞれ、P
およびPで示す。したがって、PおよびPは8
x16フィールドであり、各々が2つのブロックP
+P およびP=P +P からなるも
のと考えることができ、それは前記したPの4ブロック
への分解と類似している。次に、前と同様にPおよび
の行をダウンサンプリングする。 P down=P +P およびP
down=P +P ここに、P downおよびP downは8x8ブロ
ックである。
【0054】P downの8x8DCT、8x8ダウ
ンサンプリングされたPはP downおよびP
downの平均として書き表すことができる。 Pdown=(P down+P down)/2 1マクロブロックに対する全手順は2つのマトリクス乗
算を計算する必要があり、3362=672演算を要
する。平均化にさらに64演算を要する(スケーリング
は終りに行われる)。総カウントはマクロブロック当た
り736演算である。したがって、フィールドマクロブ
ロックは16x16マクロブロックよりも少ない演算で
ダウンサンプリングすることができる。
【0055】セットトップボックス 好ましい実施例のセットトップボックスを図3に示し、
到来する高解像度信号の復調器(チューナ、PLL合
成、IQ復調、ADC,VLD,FEC)およびMPE
G−2復号を含んでいる。MPEG−2デコーダは前記
した好ましい実施例を使用する。
【0056】ダウンサンプリングプラス簡単な逆DCT
に対するクロミナンスブロックのリパッキングをさらに
詳細に説明する。また、デコーダ(AV310)の説明
も添える。
【0057】本発明のアスペクトには周波数領域符号化
HDTVデータストリームをトランスコーディングおよ
び復号して標準精細度テレビジョンに放映する方法およ
び装置を含んでいる。以下の説明では、本発明を完全に
理解するために特定の情報について説明する。説明を不
要に複雑化させないために既知の回路および装置がブロ
ック図形式で含まれる。さらに、当業者ならば本発明を
実施するのにこれらのブロックの特定の詳細は必要ない
ことがお判りであろう。
【0058】図22は標準精細度テレビセット3000
に接続された本発明に従ったトランスコータ1000お
よびSDTVデコーダ2000を示すブロック図であ
る。周波数領域符号化データストリーム990がトラン
スコーダ1000の入力端子に接続されている。データ
ストリーム990はMPEG標準に従って符号化され、
音声データストリームおよび画像データストリームを含
んでいる。画像データストリームは高精細度テレビジョ
ン(HDTV)ピクチュアを表す周波数領域符号化デー
タを含んでいる。
【0059】図23Aおよび図23Bは本発明に従った
トランスコーディングプロセスおよび復号プロセスを示
すフロー図である。図23Aはトランスコーダ1000
により実施されるトランスコーティングプロセスを示
す。MPEGトランスポートストリームが入力“A”へ
与えられる。解析ブロックがMPEGトランスポートス
トリームを調べて画像データストリームを抽出し、それ
はMPEG標準に従って符号化される。次に、“fin
d header”ブロックが画像データストリームに
同期化して1組のマクロブロックを抽出する。各マクロ
ブロックはピクチュアフレーム内からの16x16ピク
セル領域の周波数領域符号化表現である。完全なHDT
Vピクチュアフレームは1920x1050ピクセルを
有している。次に、“VLD”ブロックが各マクロブロ
ックについて可変長復号を実施して4つの輝度サブブロ
ックおよび2つのクロミナンスサブブロックを得る。各
組の輝度サブブロックがxおよびy方向に2:1でダウ
ンサンプリングされて4:1の総簡約化が得られる。各
クロミナンスサブブロックは1方向にダウンサンプリン
グされて2:1の簡約化が得られる。本発明に従って、
ダウンサンプリングステップは周波数領域内で有利に行
われる。
【0060】さらに図23Aを参照して、ブロックVL
Cはダウンサンプリングステップにより形成される6つ
のサブブロックを可変長符号で符号化して8x8ピクセ
ル領域を表す新しいマクロフロックを形成する。このよ
うにして、1920x1050の解像度を有するHDT
Vピクチュアフレームが960x540ピクセルの解像
度を有する擬似SDTVピクチュアフレームへトランス
コーディングされる。次に、ダウンサンプリングステッ
プにより形成されるマクロブロックを使用しそれらを画
像データストリームの現在フォーマットを反映するよう
に編集されているオリジナルデータストリームからのヘ
ッダー情報と結合することにより、画像データストリー
ムが再構成される。最後に、再構成された画像ストリー
ムを音声データストリームと結合することによりトラン
スポートストリームが再構成される。この再構成された
MPEGトランスポートストリームは任意の完全にコン
プライアントなMPEGデコーダとコンパチブルであ
り、出力“B”に送られる。
【0061】図23Bは復号プロセスを示す。再構成M
PEGトランスポートストリームは復号されNTSCフ
ォーマットに従う空間領域データストリームへ変換され
て出力“C”へ送られる。図24に示すように、NTS
Cピクチュアフレームは720x480ピクセルを有す
るピクチュアフレームとして表すことができる。
【0062】図25および図26は図22のトランスコ
ーダおよびデコーダの動作を示すフロー図である。一時
に3つのマクロブロックが処理される。各マクロブロッ
クは4:2:0フォーマットを有し1920x1050
の解像度を有するピクチュアフレームを表す。3つ全て
が周波数領域内でダウンサンプリングされ次にまだ周波
数領域内にある間に再構成ブロック1015において結
合されて(図23A)、4:2:2フォーマットを有し
960X540の解像度を有するピクチュアフレームを
表す1つの新しいマクロブロックを形成する。したがっ
て、新しい各マクロブロックが3つのスケーリングされ
たオリジナルマクロブロックを表す。
【0063】図27は本発明に従ったトランスコーディ
ングの効果を示す。MPEG2仕様に従って、HDTV
ソースピクチュアは、各ピクセルに1つずつの、輝度値
の16x16ブロックのいくつかにより空間領域内に表
現される。ブロック1050は輝度値のこのような1つ
のブロックである。ブロック1050は4つのサブブロ
ックbij,cij,dijおよびeijにより構成さ
れる。HDTVフレームの解像度を低減して標準精細度
TV上にディスプレイするために、ブロック1050を
濾波して8x8ピクセルしか表さない等化ブロックを得
ることが望ましい。しかしながら、MPEG2符号化プ
ロセスはIDCTにより形成される周波数領域ブロック
1050を送信するため、それを直接行うことはできな
い。ブロック1051では、4つのサブブロックは周波
数領域ブロックBij,Cij,DijおよびEijで
ある。本発明に従って、ダウンサンプリングは周波数領
域内で実施され、ブロック1051はcompute
intensive DCTを実施して空間領域へ変換
される必要がないようにされる。したがって、その結果
得られるブロック1052は8x8ピクセルを表す周波
数領域ブロックでありBij,Cij,DijおよびE
ijの関数である。
【0064】MPEG2に従って、画像シーケンスはP
フレームおよびBフレームが差し込まれている一連のI
フレームにより表される。Iフレームは完全なピクチュ
アフレームを含み、BフレームおよびPフレームは動き
ベクトルおよび画像データのまばらなアレイを含んでい
る。本発明に従って、動きベクトルも画像データのダウ
ンサンプリングに対応してスケールダウンされる。
【0065】次に、輝度およびクロミナンス画像データ
を周波数領域内でダウンサンプリングする記述について
詳細に説明する。
【0066】DCT領域内の輝度ダウンサンプリング複
雑さを低減するために全ての計算についてスケールファ
クターは無視されることをお判り願いたい。小文字a,
b,c,d,fは空間領域係数を示し大文字A,B,
C,D,Eは周波数(DCT)領域係数を示す。
【0067】図27に示すように、4つの8x8ブロッ
クで構成される16x16ブロックを仮定し、4つの8
x8ブロックは係数b(i,j),c(i,j),d
(i,j),e(i,j)を有し、それぞれ、0≦i,
j≦7であり、結合した16x16は係数a(i,j)
を有し0≦i,j≦15である。したがって、0≦i,
j≦7に対してa(i,j)=b(i,j);0≦i≦
7かつ8≦j≦15に対してa(i,j)=c(i,j
−8):8≦i≦15かつ0≦j≦7に対してa(i,
j)=d(i−8,j);および8≦i,j≦15に対
してa(i,j)=e(i−8,j−8)である。4つ
の8x8ブロックの8x8DCTは下記の係数を与え
る。
【数18】 ここに、和は0≦i≦7かつ0≦j≦7にわたる。同様
に、
【数19】 ここに、和は0≦i≦15かつ0≦j≦15にわたる。
【0068】偶数項については、
【数20】 となり、ここで、0≦i≦15かつ0≦j≦15にわた
る最初の和は、各々が0≦i≦7かつ0≦j≦7にわた
る、4つの和へ分けられる。cos[x+nπ]=cp
s(−1)を使用すると次のようになる。
【数21】 したがって、A(2u,2v)=B(u,v)+(−
1)C(u,v)+(−1)D(u,v)+(−
1)v+uE(u,v)
【0069】偶数項については、
【数22】 となり、ここで、0≦i≦15かつ0≦j≦15にわた
る最初の和は、各々が0≦i≦7かつ0≦j≦7にわた
る、4つの和へ分けられる。逆DCTに空間係数を代入
すると、
【数23】 となり、内部和は0≦m≦7かつ0≦n≦7にわたる。
【0070】総和の切替え順は、
【数24】 となり、ここに、
【数25】
【0071】Aの低周波8x8ブロック(A(2u,2
v)の前式における0≦u≦3かつ0≦v≦3に対応す
る)だけを取り出すと、DCT領域内のダウンサンプリ
ングが得られる。Aのこの8x8ブロックに対する8x
8逆DCTにより空間ダウンサンプリングが得られる。
【0072】DCT領域内のクロミナンスダウンサンプ
リング マクロブロックの2つのクロミナンスブロックをDCT
領域内で2だけダウンサンプリングしてリパックして1
つの8x8ブロックを形成する。次に、このリパックし
た8x8ブロックについて逆DCTを行ってダウンサン
プリングされた2つの8x4空間クロミナンスブロック
を回復する。図27bおよび8x4B(u,v)が8x
8CbDCTの低周波半部を示し8x4C(u,v)が
8x8CrDCTの低周波半部を示す下記の計算を参照
していただきたい。b(i,j)およびc(i,j)
を、それぞれ、B(u,v)およびC(u,v)の8x
4逆DCTとすると、bおよびcはダウンサンプリング
された空間クロミナンスとなる。
【0073】
【数26】 ここに、和は0≦i≦7かつ0≦j≦7にわたる。
【0074】和を0≦i≦3かつ4≦j≦7に対応する
2つの和へ分け、0≦i≦7かつ0≦j≦3にわたる和
をA(u,v)とし0≦i≦7かつ4≦j≦7にわた
る和をA(u,v)とする。したがって、A(u,
v)=A(u,v)+A(u,v)。
【0075】b(i,j)およびc(i,j)で表され
るa(i,j)、およびB(m,n)およびC(m,
n)で表されるb(i,j)およびc(i,j)の定義
をこれらの和に代入する。
【数27】 ここに、和は0≦i≦7,0≦j≦3,0≦m≦7,0
≦n≦7にわたる。和を順序替えすると、
【数28】 となり、ここに、和は0≦i≦7,0≦j≦3,0≦m
≦7,0≦n≦7にわたる。和を順序替えすると、
【数29】
【0076】Cの定義において、項にはcos[(2
j+9)vπ/16]が含まれ、それは次のように拡張
される。
【数30】 したがって、偶数vについては、
【数31】 となり、v=0および4に対しては+符号、v=2およ
び6に対しては−符号である。コサインの和はちょうど
(v,n)であることをお判り願いたい。
【0077】結合:偶数vについては、A(u,v)=
Σ[B(u,n)±C(u,n)]B(v,n)、そ
れによりA(u,v)の一般式に較べて計算が簡約化さ
れる。
【0078】計算レートの簡約化および制御 輝度の偶数項以外について、他の計算は下記の形式とな
り、 ΣΣA(u,v)A(u,v)+ΣΣB(u,v)B
(u,v) A(u,v)およびB(u,v)項は周波数(DCT)
領域内にあり、大部分の高次項はゼロである。項はジグ
ザグ順で合計することができ、8x8ブロックに対する
非ゼロ項の平均数はおよそ20である。可変長復号段階
中に、非ゼロ項の数が判っており非ゼロの最高次項はジ
グザグ順である。処理すべき時間およびブロックの量を
調べて異常な数の非ゼロ項のケースを検出し高周波の切
頭を開始する監視プロセス。
【0079】図28は図22のトランスコーダおよびデ
コーダの詳細ブロック図である。プリプロセッサ110
0が各マクロブロックについて前記した計算を実施す
る。DRAM1110はデータストリームの一部に対す
る記憶装置を提供する。プリプロセッサ1100はダウ
ンサンプリングされたデータの2つのストリームIN
およびIN Bを形成し、それぞれ、2つのMPEGデ
コーダ回路2010および2011へ通される。2つの
プロセッサは擬似SDTVデータストリームを復号して
濾波するのに十分な計算資源を提供するために使用され
る。これらのプロセッサは図1−図21に詳細に記載さ
れている。それは本発明の観点を制約するものではない
ことをお判り願いたい。十分な計算力を有する単一復号
回路で回路2010および2011を置換することがで
きる。
【0080】各プロセッサ回路2010/2011はB
フレームの半分しか復号しないことが有利である。各プ
ロセッサ回路にはIフレームの全ておよびPフレームの
全てを与えて任意のBフレームをいずれかのプロセッサ
により復号できるようにされる。Mux2020はOU
AおよびOUT Bに出力されるディスプレイフレ
ームの正しい順序を選択するように制御される。
【0081】正規のビットストリームはI(イント
ラ)、P(予測)およびB(双方向予測)ピクチュアに
対する下記の復号シーケンスを有している。 復号シーケンス:I
1210・・・ プリプロセッサの後
【数32】 3フレームデコーダAがPを復号し、デコーダB
がPを復号する。ディスプレイシーケンス:
【数33】 各デコータについて、各6フレームタイムが3つのピク
チュアをディスプレイする。
【0082】図29は図22のトランスコーダのブロッ
ク図である。トランスーダ1000は本質的に同じであ
る3つの処理装置1220−1202を有している。各
処理装置は4つの算術演算装置を有している。デュアル
ポートRAM1300は一方の半分に到来するMPEG
マクロブロックから新しいデータが書き込まれる間に、
他方の半分は4つの算術演算装置によりアクセスされる
ように構成されている。CPU1400はステップ10
10−1012を実施して(図23A)各デュアルポー
トRAM1300にマクロブロックを与える。
【0083】次に、プロセッサ2010および2011
について詳細に説明する。下記の説明において、AV3
10の参照はプロセッサ2010および2011に関連
する。
【0084】次に、図1には本発明の音声−画像システ
ムの一部を形成する回路200のハイレベル機能ブロッ
ク図およびそのオフチップデバイスおよび/もしくは回
路とのインターフェイスが示されている。特に、図1の
破線部で示すように、好ましくはシングルチップ上に実
現されるオンチップ配線を含む回路の全体機能アーキテ
クチュアが示されている。
【0085】図1の破線の内側に示すように、この回路
はビットストリームデコーダすなわちデスクランブラー
212およびクロック回復回路214を含むトランスポ
ートパケットパーサ(TPP)ブロック210、ARM
CPUブロック220、データROMブロック230、
データRAMブロック240、MPEG−2音声デコー
ダ254およびMPEG−2画像デコーダ252を含む
音声/画像(A/V)コアブロック250、NTSC/
PAL画像エンコーダブロック260、bitbltハ
ードウェア(H/W)アクセラレータ272を含みグラ
フィックおよび画像をミックスするオンスクリーンディ
スプレイ(OSD)コントローラブロック270、2つ
のUARTシリアルデータインターフェイス、赤外(I
R)および無線周波数(RF)入力、SIRCS入出
力、12Cおよびスマートカードインターフェイスとの
接続を含む通信コプロセッサ(CCP)ブロック28
0、外部1394テバイスに接続するためのP1394
インターフェイス(I/F)ブロック2990、付加R
S232ポート等の周辺装置、ディスプレイおよびコン
トロールパネル、外部ROM,DRAMもしくはEEP
ROMメモリ、モデムおよび追加周辺装置に接続する拡
張バスインターフェイス(I/F)ブロック300、お
よびSRAM/ARMインターフェイス(I/F)31
2およびDRAMI/F314を含むトラフィックコン
トローラ(TC)ブロック310を含んでいる。ブロッ
クを相互接続する内部32ビットアドレスバス320お
よびブロックを相互接続する内部32ビットデータバス
330も図示されている。外部プログラムおよびデータ
メモリ拡張により回路は広範な音声/画像システム、特
に、限定はしないが例えばセットトップボックスをロー
エンドからハイエンドまでサポートすることができる。
【0086】これら全ての機能を多数の入出力を有する
シングルチップ上へ統合すれば、これらの機能がいくつ
かのチップ間に分散される場合に制御および/もしくは
通信のために必要となる余分な回路および/もしくは論
理を除去することができ、また統合した後でシングルチ
ップ上に残る回路を単純化することができる。特に、こ
の統合によりこれら全ての機能を制御する、もしくは制
御を調整する、外部CPUの必要性が解消される。その
結果、現在多くの異なるチップを組み合わせかつ/もし
くは特殊なチップセットを使用しなければ入手できない
機能がより単純かつ低コストのシングルチップで実現さ
れる。しかしながら、この回路は、まさにその機能によ
り多数の入出力を必要としチップのピン数が多くなる。
【0087】さらに、JTAGブロックはそれに相互接
続される標準JTAGインターフェイスを使用してこの
回路をテストするように図示されている。後述するよう
に、混合電圧システムに使用する5v入力を許可するた
めにある信号ピン(図示せず)上に外部プルアップ抵抗
体を必要とする点を除けば、この回路は完全にJTAG
コンプライアントである。
【0088】さらに、図1において回路は複数の他の外
部ブロックに接続されている。特に、図1には1組の外
部メモリブロックが示されている。好ましくは、外部メ
モリはSDRAMであるが、明らかに他種のRAMを利
用することができる。外部メモリ300については後述
する。これらの外部ブロックのいずれかもしくは全てお
よび/もしくは外部メモリのいずれかもしくは全てをチ
ップ上に内蔵するが考えられ、それは本発明の範囲内で
ある。
【0089】次に図2には、40Mbit/sもしくは
7.5Mbytes/sの最大スループットを有する順
方向誤差修正(FEC)デバイスの出力から回路(‘A
V310)がどのようにトランスポートビットストリー
ムを受け取るかが図示されている。‘AV310内のト
ランスポートパケットパーサ(TPP)が各パケットの
ヘッダーを処理してパケットを廃棄すべきか、ARM
CPUによりさらに処理すべきか、あるいはパケットが
関連データしか含んでいなくてARMから干渉されずに
格納する必要があるかを判断する。TPPはさらに処理
を要するあるいは関連データを含む全てのパケットをト
ラフィックコントローラ(TC)を介して内部RAMへ
送る。また、TPPは個別のパケットの内容に基づいて
復号エンジン(DES)を活性化もしくは消勢する。条
件付アクセスキーがRAM内に格納されARM CPU
上で実行される特殊ファームウェアにより管理される。
TPPからSRAMへのデータ転送はトラフィックコン
トローラ(TC)により開設されるDMAを介して行わ
れる。
【0090】パケットはARMファームウェアによりさ
らに処理され、それはパケットデータ転送後にTPPか
らの割込みにより活性化される。2種のトランスポート
パケットがRAM内に格納されファーストインファース
トアウト(FIFO)として管理される。一方はARM
から干渉されずにSDRAMへルーティングされる純粋
データ用であり、他方はさらに処理を要するパケット用
である。割込みサービスルーチン内で、ARMはさらに
処理を要するパケットについてFIFOを調べ、必要な
解析を実施し、ヘッダー部を除去し、RAMからSDR
AMへペイロードデータを転送するDMAを確立する。
トラフィックコントローラはデータをリパックして任意
のヘッダー除去により生じる空白を免れる。
【0091】ARMと一緒に、TPPは外部VCXOに
よるシステムクロック基準(SCR)も処理する。シス
テムクロック情報を含むことがある任意のパケットが到
来すると、TPPはその内部システムクロックをラッチ
してARMへ転送する。パケットをさらに処理してシス
テムクロックを識別した後で、ARMはビットストリー
ムからのシステムクロックとバケット到来時の実際のシ
ステムクロックとの差を計算する。次に、ARMは差を
濾波してTPP内のシグマ−デルタDACへ送り外部電
圧制御発振器(VCXO)を制御する。到来SCRがな
い開設中に、ARMはVCXOをその中心周波数へ駆動
する。
【0092】TPPはトランスポートストリームから消
失したパケットを検出する。音声/画像デコーダによる
エラー隠蔽およびDSSビットストリームからの冗長ヘ
ッダーにより、‘AV310は消失データの影響を最小
限に抑える。
【0093】バケットヘッダーおよび他のシステム関連
情報を除去した後で、音声および画像データは共に外部
SDRAMに格納される。次に、画像および音声デコー
ダがSDRAMからビットストリームを読み出しISO
標準に従ってそれを処理する。チップは画像については
メインレベルのMPEG−1およびMPEG−2メイン
プロファイルを復号し、音声についてはレイヤI,II
MPEG−1およびMPEG−2を復号する。画像およ
び音声デコーダは共に伝送されたプレゼンテーションタ
イムスタンプ(PTS)を使用してそれらのプレゼンテ
ーションを同期化する。デジタル衛星システム(DS
S)では、PTSは画像ビットストリーム内のピクチュ
アユーザデータおよび音声に対するMPEG−1システ
ムパケットビットストリームとして伝送される。それが
MPEG−1システムパケットであれば、専用ハードウ
ェアがPTSを復号して音声デコーダへ転送する。画像
デコーダがピクチュアユーザデータからのPTSを復号
する。再構成データのプレゼンテーションを同期化させ
るために、画像および音声デコーダは共にPTSをロー
カルシステムクロックと比較する。ローカルシステムク
ロックはARMにより連続的に更新される。すなわち、
選択されたSCIDのシステムクロック基準が受信され
処理されるたびに、ARMはデコーダシステムクロック
を更新する。
【0094】画像デコータはディメンジョン当たり1/
2もしくは1/4間引きを使用して間引きされたピクチ
ュアを発生することができ、その結果1/4もしくは1
/16へ面積が低減される。間引きされたピクチュアは
リアルタイムで見ることができる。間引きはフレーム、
スキップラインからのフィールドデータを使用し、間引
き画像を滑らかにする垂直濾波を実施して達成される。
【0095】デジタルレコーダからのピクチュアを復号
する場合、データはいくつかのイントラスライスではな
く全ピクチュアでなければならないという制限の元で、
デコーダはトリックモードを処理することができる(I
フレームだけを復号およびディスプレイ)。トリックモ
ードピクチュア間でランダムビットが許される。しかし
ながら、ランダムビットが任意の開始符号をエミュレー
トする場合には、それにより予想不能な復号およびディ
スプレイエラーが生じる。
【0096】クローズドキャプション(CC)および拡
張データサービス(EDS)がピクチュアレイヤユーザ
データとして送信される。画像デコーダは画像ビットス
トリームからCCおよびEDS情報を抽出してNTSC
/PALエンコーダモジュールへ送る。
【0097】また、画像デコーダはビットストリームか
らアスペクト比を抽出してARMへ送り、それは画像ア
スペクト比識別信号(VARIS)標準、EIAJCP
X−1204に従ってデータを準備する。次にARM
は,それをNTSC/PALエンコーダ及びOSDモジ
ュールに送る。
【0098】OSDデータはビットストリーム内のユー
ザデータから来ることがあり、あるいはARM上で実行
されるアプリケーションにより発生することができる。
ソースとは無関係に、OSDデータはSDRAM内に格
納されARMにより管理される。しかしながら、SDR
AM内のOSDに対するスペスは限定されている。大量
のOSDデータを必要とするアプリケーションは拡張バ
スに取り付けられた外部メモリ内にそれらを格納しなけ
ればならない。アプリケーションからの要求に基づい
て、ARMはOSD機能をターンオンしてOSDがどこ
でどのように正規の画像シーケンスと一緒に混合されデ
ィスプレイされるかを指定する。OSDデータは次のい
ずれかの形式で表現することができる、bitmap、
グラフィック4:4:4コンポーネント、CCIR60
1 4:2:2コンポーネント、もしくは背景色そのも
の。特殊専用bitBLTハードウェアはメモリブロッ
クがさまざまなOSD間を移動するのを促進する。
【0099】制御語パケット(CWP)の到来により条
件付アクセスがトリガされる。ARMファームウァアは
CWPが受信されているのを認識してそれをベリファイ
アへ渡し、それはARM上で実行されるNewsDat
aCom(NDC)アプリケーションである。ベリファ
イアはCWPを読み出し、UART I/Oを介して外
部スマートカードと通信する。検証後、それはポインタ
ーを8バイトキーへ通してファームウェアへ戻り、次に
DES用キーをロードして後続パケットを復号する。
【0100】40.5MHzで実行中の32ビットAR
Mおよびその関連するファームウェアにより次の事柄が
提供される。全ハードウェアモジュールの初期化および
管理、ハードウェアモジュールおよびI/Oにより発生
される選択割込みに対するサービス、およびそれ自身の
アプリケーションを開発するユーザに対するアプリケー
ションインターフェイスプログラム(API)。
【0101】OSDグラフィクスおよびいくつかのジェ
ネリックランタイムサポートを除けば、全てのファーム
ウェアはオンチップ12KバイトROM内に格納され
る。4.5KバイトオンチッブRAMは‘AV310が
いかなるパケットも消失することなくトランスポートビ
ットストリームを適切に復号するのに必要なスペースを
提供する。ランタイムサポートライブラリ(RTSL)
および全てのユーザアプリケーションソフトウェアが
‘AV310の外部に配置される。ファームウェアおよ
びRTSLの詳細はコンパニオンソフトウェア仕様ドキ
ュメントに記載されている。
【0102】メモリおよびバッファー間の大きなブロッ
ク転送を容易にするためにトラフィックコントローラに
より管理される2つの物理的DMAチャネルがある。す
なわち、送り手と受け手間に衝突がないかぎり、2つの
同時DMA転送を有することができる。DMAの詳細な
説明はトラフィックコントローラの項に記載されてい
る。
【0103】‘AV310は順方向エラー修正(FE
C)ユニット等のフロントエンドからDSSトランスポ
ートパケットデータを受け取る。データはバイトクロッ
クDCLKを使用して一時に8ビットずつ入力される。
PACCLKハイは有効なパケットデータを知らせる。
DERRORはデータエラーを有するパケットを示すの
に使用される。図3のタイミング図は入力タイミングを
示す。
【0104】‘AV310はスマートカードアクセス制
御システムとのインターフェイスを含んでいる。インタ
ーフェイスは、News Datacom仕様(ドキュ
メント#HU−T052,Release E dat
ed November 1994, and Rel
eae F dated January 1996)
“DirectvProject:Decoder−S
mart CardInterfaceRequire
ments”に従う論理、高速UARTからなってい
る。インターフェイスを制御するのに応用できるソフト
ウェアドライバも含まれており、コンパニオンソフトウ
ェアドキュメントに示されている。
【0105】‘AV310は3.3ボルトデバイスであ
り、スマートカードは5ボルトインターフェイスを必要
とすることをお判り願いたい。‘AV310は必要に応
じてカードのVCCおよびVPPをターンオンオフする
制御信号を出力するが、外部スイッチングが必要であ
る。また、ある論理信号には外部レベルシフターが必要
なこともある。
【0106】NTSC/PALピンがNTSCもしくは
PAL出力間を選択する。NTSCおよびPALモード
間の切替えにはデバイスのハードウェアリセットが必要
である。
【0107】‘AV310は2つの独立チャネル、輝度
(Y)およびクロミナンス(C)、にアナロクS−画像
信号を発生する。また、アナログ合成信号(Comp)
信号も発生する。3つの出力は全てRS170A標準に
従っている。
【0108】また、‘AV310はクローズドキャプシ
ョンおよび拡張データサービスをサポートする。アナロ
グ出力は第21番画像ライン中にCCデータをASCI
I符号として送信する。NTSC/PALエンコーダモ
ジュールはNTSCの第20番画像ラインおよびPAL
の第23番ライン内へVARIS符号を挿入する。
【0109】デジタル出力は4:4:4もしくは4:
4:2コンポーネントフォーマットの画像、プラス各画
像フレームの始のアスペクト比VARIS符号を与え
る。画像出力フォーマットはユーザがプログラム可能で
あるが4:4:2へデフォールトする。画像の内容は純
粋な画像もしくは画像とOSCのブレンドされた組合せ
とすることができる。
【0110】デジタル画像出力信号に対するピン割当て
は次のようである。 YCOUT(8) 8ビットCb/Y/Cy/Yおよ
びVARIS多重化データ出力 YCCLK(1) 27MHzもしくは40.5MH
zクロック出力 YCCTRL(2) Y/Cb/Crコンポーネントお
よびVARIS符号間を区別する2ビット制御信号 YCCTRLの解釈は次の表で定義される。
【0111】
【表2】
【0112】アスペクト比VARIS符号はデータの1
4ビットプラス6ビットCRCを含み、合計20ビット
である。NTSCでは14ビットは表2に示すように指
定される。
【0113】
【表3】
【0114】プリセット値は全て1とし、方程式G
(X)=X+X+1に基づいて6ビットCRCが計算
される。
【0115】表3に示す下記のフォーマットに従って2
0ビット符号がさらに3バイトへパッケージされる。
【0116】
【表4】
【0117】3バイトVARIS符号は初期化プロセス
の一部としてARMにより構成される。ARMは考えら
れる2つのアスペクト比に対応する2つのVARIS符
号を計算する。画像デコーダにより抽出されたビットス
トリームからアスペクト比に基づいて適切な符号が選択
される。ユーザはVID ENを設定してNTSC/P
ALエンコーダへ信号を送りVARIS符号を(1)イ
ネーブルもしくは(2)ディセーブルすることができ
る。送信順序は第1バイトが最初であり、それは非アク
ティブ画像ライン中に画像データを送信する前に送信さ
れる。
【0118】VARIS出力のタイミングを図4に示
す。4:2:2および4:4:4デジタル画像出力のタ
イミングを図5に示す。
【0119】‘AV310からのPCM音声出力はシリ
アルPCMデータラインであり、ビットおよび左右クロ
ックが関連している。
【0120】PCMデータはシリアルクロックASCL
Kを使用してPCMOUT上にシリアルに出力される。
ASCLKは制御レジスタ内のPCMセレクトビットに
従ってPCMクロック、PCMCLKから引き出され
る。PCMクロックはビットストリームのサンプリング
周波数の適切な倍数でなければならない。PCM SR
Cピンの状態に応じて、PCMCLKはデバイス内へ入
力したり18.432MHzクロックから内部的に引き
出すことができる。PCMOUTのデータ出力は、図6
に示すLRCLKにより指示される、2つのチャネル間
で交番する。データは最上位ビットが最初に出力され
る。18ビット出力の場合には、PCM語サイズは24
ビットである。最初の6ビットはゼロであり、それに1
8ビットPCM値が続く。
【0121】SPDIF出力はデジタル音声データのシ
リアル送信に対するAES3標準の一部分に従う。SP
DIFフォーマットはAES3の最小インプリメンテー
ションの一部分である。
【0122】PCM SRCピンがローであれば、‘A
V310は入力ビットストリームに位相同期された音声
データに必要な出力クロックを発生する。クロック発生
器は18.432MHz外部VCXOを必要とし、外部
ループフィルタおよびVCXOへ加えて所要入力を発生
することができる制御電圧を出力する。クロック発生器
は、下記の表に示す、音声制御レジスタビットPCMS
EL1−0の内容に基づいて正しい出力クロックを引き
出す。
【0123】
【表5】
【0124】最大クロックジッターは200psRMS
を越えない。回路の例を図7に示す。
【0125】PCM SRCがハイであれば、‘AV3
10は正しいPCMオーバサンプリングクロック周波数
がPCMCLK上へ入力されることを予期する。
【0126】SDRAMは16ビット幅SDRAMでな
ければならない。‘AV310は2つまでのSDRAM
へ制御信号を与える。合計が少なくとも16Mbitで
ある限り、4,8,もしくは16MbitSDRAMの
任意の組合せを使用することができる。SDRAMは8
1MHzクロック周波数で作動し、かつTI TMS6
26162と同じタイミングパラメータ、16Mbit
SDRAM、を持たなければならない。
【0127】拡張バスインターフェイスはバイトアクセ
スに対する25ビットアドレスを有する16ビット双方
向データバスである。それは、各々がそれ自体の肯定応
答信号を有する3つの外部割込み、および待ちラインも
提供する。外部メモリおよびI/Oデバイスは全てAR
Mの32ビットアドレススペースへマップされる。EE
PROMメモリ、DRAM、モデム、フロントパネル、
フロントエンドコントロール、並列出力ポート、および
1394リンクデバイスに対する7つの内部発生チップ
セレクト(CS)がある。各CSはそれ自体の明確なメ
モリスペースおよびデフォールト値が1のプログラマブ
ル待ちレジスタを有している。待ち状態数はレジスタの
内容によって決まり、最小1の待ち状態を有する。ま
た、そのメモリスペースないに遅いデバイスが存在する
場合には、EXWAIT信号を使用してアクセス時間を
延ばすことができる。
【0128】拡張バスが予め定められたチップセレクト
を使用して7デバイスの接続をサポートする。アドレス
バスを外部で復号することにより付加デバイスを使用す
ることができる。下記の表はデバイス名、そのチップセ
レクト、アドレス範囲、およびプログラマブル待ち状態
を示す。各デバイスはチップセレクトの除去に続く1ク
ロックサイクル内に3状態データ出力を有する必要があ
る。
【0129】
【表6】
【0130】CS1はARMアプリケーション符号用で
あるが、書込みは防止されない。CS2はARMにより
アクセス可能なリード/ライトである。それはTPPお
よびbitBLT DMA転送のためにTCによりアク
セスすることもできる。CS3,CS4,CS5,およ
びCS6は全て同じ特性を有する。ARMは拡張バスを
介してこれらのデバイスへのリード/ライトを実施す
る。CS7はARMによりリードおよびライトアクセス
することができる。また、それはTPP DMAに対す
るTCによりアクセスすることもでき、それはライトの
みである。並列ポートは1バイト幅であり、最下位バイ
トを介してアクセスされる。
【0131】拡張バスは外部EEPROM、SRAM、
もしくはROMメモリおよびDRAMへのその16ビッ
トデータおよび25ビットアドレスの接続をサポートす
る。また、拡張バスに対するDMA転送もサポートす
る。拡張バス内のDMA転送はサポートされない。しか
しながら、SRAMへのDMA、それに続く拡張バスへ
のDMAにより達成することができる。拡張バスリード
およびライトタイミングを図8(リード)および図9
(ライト)に示し、共に2つの待ち状態がある。待ち状
態数は次式で計算することができる。
【数34】 例えば、チッブ上のCS delayは20nsecで
ある。80nsecリードタイミングを有するデバイス
は4つの待ち状態が必要である。
【0132】‘AV310内に3本の割込ラインおよび
3つの割込肯定応答がある。これらの割込みおよび他の
モジュールからの割込みは中央割込ハンドラーにより処
理される。割込マスクおよび優先順位はファームウェア
により管理される。3つの拡張バス割込みは3つの異な
るIRQに接続される。ARM上の割込ハンドラーがこ
れらのIRQの1つのサービスを開始する時は、最初に
対応するEXTACK信号を発しなければならない。
【0133】EXTWAIT信号は遅いデバイスと通信
するための代替策である。それはプログラマブル待ち状
態と一緒に使用することができるが、プログラマブル待
ちサイクルが切れる前にアクティブとならなければなら
ない。待ち状態の総量は表5の最大許容量を越えてはな
らない。合体した総待ち状態がその最大値を越える場合
には、デコーダは適切に機能することを保証されない。
デバイスがEXTWAIT信号を使用する必要がある場
合には、プログラマブル待ち状態を少なくとも2に設定
しなければならない。EXTWAIT信号は復号プロセ
ス全体を止めてしまう可能性があるため、ARMはその
待ちを490ナノ秒に抑える。その後、ARMはEXT
WAITを発生したデバイスが故障しているものと推定
しその後のEXTWAITを無視する。EXTWAIT
信号を再度活性化できるのはソフトウェアおよびハード
ウェアだけである。EXTWAIT信号がオンであるリ
ードのタイミング図を図10に示す。
【0134】拡張バスは2つの待ち状態を有する70n
sDRAMへのアクセスをサポートする。DRAMは8
ビット、9ビット、もしくは10ビットであるカラムア
ドレスを持たなければならない。DRAMは8もしくは
16ビットのデータ幅を持たなければならない。DRA
Mが16ビットデータ幅を有する場合でもバイトアクセ
スが許される。システムデフォールトDRAM構成は9
ビットカラムアドレスおよび16ビットデータ幅であ
る。ファームウェアが始動中にDRAMの構成を検証す
る。
【0135】‘AV310はマスター(デフォールト)
もしくはスレーブとして作用することができる集積回路
間(IC)シリアルバスインターフェイスを含んでい
る。‘標準モード’(100kbit/s)ICバス
システムだけがインプリメントされ、‘高速モード’は
サポートされない。インターフェイスは7ビットアドレ
ッシングを使用する。スレーブモードでは、‘AV31
0のアドレスはAPIによりプログラムされる。
【0136】このインターフェイスのタイミングはI
Cバスの標準タイミング定義と一致する。‘AV310
はアプリケーションプログラムによりメモリマップされ
かつ完全にアクセス可能な2つの汎用2線UARTを含
んでいる。UARTは非同期モードでしか作動せず、1
200,2400,4800,9600,14400.
19200および28800kbpsのボーレートをサ
ポートする。UARTの出力はデジタルであり、RS2
32コンプライアンスに対する外部レベルシフターが必
要である。
【0137】IR,RF,およびSIRCSIポートは
偽遷移のない方形波入力を必要とし、したがって、信号
はしきい値にかけた後でピンに加えなければならない。
インターフェイスはIR,RF,およびSIRCSIデ
ータストリームを1.3KHzの周波数まで受け入れ
る。任意所与の時間に2つ以上がアクティブとなること
ができるが、1つのIR,RF,もしくはSIRCSI
入力しか復号されない。IR,RF,およびSIRCS
I信号の復号はハードウェアとソフトウェアの組合せに
より行われる。詳細については通信プロセッサモジュー
ルを参照されたい。
【0138】SIRCSOはSIRCSIもしくはER
入力もしくはアプリケーション発生SIRCSO符号を
出力する。
【0139】‘AV310は1394に対する専用デー
タインターフェイスを提供する。インプリメンテーショ
ンを完成するために、‘AV310は内部パケタイザ
ー、リンクーレイヤ、および物理レイヤデバイスを必要
とする。図11に接続を示す。
【0140】パケタイザもしくはリンクーレイヤインタ
ーフェイスデバイスへの制御/コマンドは拡張バスを介
して送信される。1394データは下記の14信号を有
する1394インターフェイスを介して転送される。
【0141】
【表7】
【0142】記録モードにおいて、‘AV310は暗号
化もしくはクリーンパケットを1394インターフェイ
スへ送る。パケットは入ってくると転送される。暗号化
データを記録する場合には、TPPは各バイトを直接1
394インターフェイスへ送りDESモジュールをバイ
パスする。復号データを記録する場合には、TPPはパ
ケットペイロードをDESモジュールへ送り、次に1ブ
ロックのバケットを1394インターフェイスへ転送す
る。インターフェイスはパケットのブロックを1バイト
ずつ送り出す。暗号ビットを適切な状態に設定すること
を除けば、記録中にパケットにはなんの処理もなされな
い。特に、TPPは補助パケットからCWPを除去しな
い。再生モード中に、インターフェイスから来るパケッ
トは直接TPPモジュールへ行く。図12はTPP、D
ES、および1394インターフェイス間のデータフロ
ーの機能的ブロック図を示す。TPPから来るパケット
は1394インターフェイスもしくはトラフィックコン
トローラを介したRAM、もしくは両方の場所へ同時に
行くことができる。それにより‘AV310はトランス
コーダからの1から32までの考えられる全サービスを
記録しながら1つのプログラムを復号することができ
る。
【0143】図13および図14は1394インターフ
ェイス上のリードおよびライトタイミング関係を示す。
【0144】記録中に、フロントエンドインターフェイ
スからのDERROR信号がパケットの中間でハイとな
れば、PERRORピンへ転送される。パケット間でD
ERRORがアクティブとなる場合には、次のパケット
の転送中に少なくとも1PDATAサイクルだけPER
ROR信号が発生される。
【0145】再生モード中に、外部1394デバイスは
PPACENがアクティブである時にPERROR信号
を立ち上げて現在パケット内のエラーもしくはその前の
パケットが消失していることを表示することしかできな
い。PPACENがアクティブでなければPERROR
は無視される。PERROR信号は少なくとも2PCL
Kサイクルだけハイのままでなければならない。1つの
パケットには1つのPERROR信号がある。
【0146】‘AV310はパワーアップしたらハード
ウェアをリセットする必要がある。デバイスのリセット
は、クロックが継続している間に、少なくとも100n
sだけRESETピンをローとして開始される。次に、
下記のアクションが発生する。全てのポート上の入力デ
ータが無視される、外部メモリがサイジングされる、デ
ータポインタがリセットされる、全てのモジュールが初
期化されてデフォールト状態に設定される、TPPテー
ブルが初期化される、音声デコーダが256xオーバサ
ンプリングを有する16ビット出力に設定される、OS
D背景色が青に設定されアナログおよびデジタル出力に
対する画像データが設定される、MacroVisio
nがディセーブルされる、およびICポートがマスタ
ーモードに設定される。
【0147】リセットシーケンスが完了すると、デバイ
スはデータを受け入れ開始する。リセットンーケンスの
終りよりも前の全データが無視される。
【0148】JTAG境界走査が‘AV310内に含ま
れている。IEEE1149.1(JTAG)仕様を実
現するのに5ピン(テストリセットを含む)が使用され
る。ポートは命令を選択するのに使用される8ビットレ
ジスタを含んでいる。このレジスタはTDI入力を介し
てシリアルにロードされる。4つの命令がサポートさ
れ、他の全てが無視される:Bypas;Extes
t;IntestおよびSample。
【0149】このインターフェイスのタイミングはIE
EE1149.1仕様に従っている。
【0150】ARM/CPUモジュールの特徴:40.
5MHzで作動する;バイト(8ビット),半語(16
ビット),および語(32ビット)データタイプをサポ
ートする;オンチップRPMもしくは拡張バスから命令
を読み出す;ARM(32ビット)もしくはThumb
(16ビット)命令モード間の切り替えが可能;32ビ
ットデータおよび32ビットアドルスライン;7処理モ
ード;および2つの割込み,FIQおよびIRQであ
る。
【0151】‘AV310内のCPUは32ビットRI
SCプロセッサARM7TDMI/Thumbであり、
それは16もしくは32ビットフォーマットの命令を4
0.5MHzのクロック周波数で実行する能力を有す
る。正規のARM命令は厳密に1語(32ビット)長で
あり、データ演算は語量にしか実施されない。しかしな
がら、LOADおよびSTORE命令がバイトを転送す
ることができる。
【0152】Thumbは16ビット命令セットと同じ
32ビットアーキテクチュアを使用する。すなわち、そ
れは32ビット性能を保持するが16ビット命令により
符号サイズを低減する。16ビット命令でも、Thum
bは32ビットメモリからのARM命令を実行する時に
まだARMの性能の70−80%を与える。ここでは、
ARMおよびThumbは相互交換可能に使用される。
【0153】ARMはLOADおよびSTOREアーキ
テクチュアを使用する、すなわち全ての演算がレジスタ
上で行われる。ARMは6つの異なる処理モードを有
し、16の32ビットレジスタがユーザモードで見られ
る。Thumb状態では、ユーザモードで利用可能なレ
ジスタは8つしかない。しかしながら、最高レジスタは
特殊命令によりアクセスすることができる。命令パイプ
ラインは3状態、フェッチ→復号→実行であり、大概の
命令は実行するのに1サイクルしか要しない。図15は
ARMプロセッサコアのデータパスを示す。
【0154】ARM CPUは‘AV310内の全ての
ハードウェアおよびソフトウェアを管理する責任があ
る。パワーアップすると、ARMは外部メモリのサイズ
を検証する。その後、制御レジスタ、テーブル、および
リセットデータポインタを開設することにより全てのハ
ードウェアを初期化する。次に、内部ROMからのデフ
ォールトファームウェアを実行する。1組の実行時ライ
ブラリルーチンがユーザアプリケーションプログラムの
ためのファームウェアおよびハードウェアへのアクセス
を提供する。アプリケーションプログラムは拡張バスに
取り付けられた外部メモリ内に格納される。
【0155】正規動作中に、プログラマブル優先順位に
基づいて、ARMは常時応答して拡張バスを介した任意
のハードウェアモジュールおよびデバイスからの要求を
割り込む。割込サービスの種別にはトランスポートパケ
ット解析、プログラムクロック回復、トラフィックコン
トローラおよびOSDサービス要求、拡張バスおよび通
信プロセッサからのサービスもしくはデータ転送要求、
および音声/画像デコーダからのサービス要求が含まれ
る。
【0156】トラフィックコントローラモジュールの特
徴:割込要求を管理する、DMA転送を許可し管理す
る、SDRAMインターフェイスを提供する、拡張バス
を管理する、メモリアクセス保護を提供する、プロセッ
サおよびメモリ完のデータフローを管理する、内部DA
TA RAMに対するTPP/DES、拡張バスに対す
るDATA RAM、SDRAMからOSD、DATA
RAMに対するOSD、SDRAMに対する音声/画
像デコーダ、およびDATA RAMに対するSDRA
M。拡張バス上の全ての内部モジュールおよびデバイス
に対するチップセレクト(CS)を発生し、拡張バス上
のデバイスに対するブログラマブル待ち状態を発生し、
3つのブレークポイントレジスタおよび64の32ビッ
トパチRAMを提供する。
【0157】図16にトラフィックコントローラにより
管理されるデータフローを示す。SDRAMインターフ
ェイスは12ナノ秒16ビットデータ幅SDRAMをサ
ポートする。それは最小2つのSDRAMチップへの接
続を許す2つのチップセレクトを有する。デコーダに必
要な最小SDRAMサイズは16Mbitである。サポ
ートされる他のサイズおよび構成は次のようである。 16Mbit → 1つの16MbitSDRAM 20Mbit → 1つの16Mbitおよび1つの4
MbitSDRAM 24Mbit → 1つの16Mbitおよび1つの8
MbitSDRAM 32Mbit → 2つの16MbitSDRAM SDRAMへのアクセスはバイト、半語、1語、連続ブ
ロック、画像ラインブロク、もしくは2Dマクロブロッ
クによることができる。また、インターフェイスはbi
tBLTブロック転送のための減分モードをサポートす
る。
【0158】2つのチップセレクトは下記のアドレス範
囲に対応する。 SCS1 → 0xFE00 0000−0xFE1F
FFFF SCS2 → 0xFE20 0000−0xFE3F
FFFF 復号中に、‘AV310は表7に従ってNTSCにたい
して16MbitSDRAMを割り当てる。
【0159】
【表8】 *これらの値は現在のDSS仕様に対するものである。
最近提案されている仕様では、VBVバッファサイズは
1,835,008ビットに縮小されており、OSDそ
の他の用途にたいしては355,586バイトが与えら
れる。
【0160】しかしながら、VBVバッファを拡張バス
300上のオプショナルメモリ内に入れてVBVバッフ
ァの量だけSDRAMメモリを解放するのも本発明の範
囲内である。それはSDRAMが表7とは異なる方法で
割り当てられる、すなわちOSDメモリサイズを拡張で
きるかあるいは任意の他のブロックを拡張できることを
意味する。
【0161】割込要求はTPP、OSD、A/Vデコー
ダおよび通信プロセッサ等の内部モジュール、および拡
張バス上のデバイスから発生することができる。いくつ
かの要求は内部RAMへのデータ転送であり、他はAR
M CPUへの真の割込みである。トラフィックコント
ローラはデータ転送を処理し、ARMは真の割込みへの
サービスを提供する。割込みはFIQおよびIRQへ分
類される。システムソフトウェアはFIQを使用し、ア
プリケーションソフトウェアはIRQを使用する。FI
QおよびIRQの優先順位はファームウェアにより管理
される。
【0162】SDRAMはシステムレベルテーブル、画
像および音声ビットストリーム、再構成画像、OSDデ
ータ、および画像復号符号、テーブル、およびFIFO
を格納するのに使用される。内部DATA RAMは一
時的バッファ、OSDウィンドウ属性、条件付アクセス
に対するキー、およびファームウェアに対する他のテー
ブルおよびバッファを格納する。TCは2つの物理的D
MAチャネルを管理するが、ユーザにはその中の1つ、
汎用DMA、しか見えない。ユーザにはTPP、画像お
よび音声デコーダ、およびOSDモジュールにより開始
されるDMAの知識は無い。汎用DMAはARM発生お
よびbitBLT発生DMAを含んでいる。TCは任意
所与の時間に、4つまでの汎用DMAを受け入れること
ができる。表8は許される汎用DMA転送を示す。
【0163】
【表9】 拡張バスメモリとSDRAM間の直接DMA転送は無い
ことがお判りであろう。しかしながら、ユーザはDat
a RAMをそのための中間ステップとして使用するb
itBLTハードウェアを使用することができる。唯一
の制約は転送されるブロックが32ビット語境界で開始
しなければならないことである。
【0164】TPPモジュールの特徴:トランスポート
ビットストリームを解析する、フロントエンドデバイス
もしくは1394インターフェイスからのビットストリ
ームを受け入れる、システムクロック基準(SCR)回
復を実施する、40Mbit/秒までのトランスポート
ストリームをサポートする、8ビットパラレル入力デー
タを受け入れる、32SCIDの格納をサポートする、
消失パケット検出、復号もしくは暗号化パケットを直接
1394インターフェイスへ与える、およびハードウェ
アにインプリメントされるデータ暗号化標準(DES)
によるDSSに対する内部デスクランブラー。
【0165】TPPはパケットをバイト毎に受け入れ
る。各パケットは一意的なID.SCIDを含み、TP
Pは指定されたID番号を含むこれらのパケットを抽出
する。それはトランスポートパケットのヘッダーを処理
してペイロードすなわち補助パケットをDESハードウ
ェアおよびトラフィックコントローラを介して内部RA
Mへ転送する。ARM上で実行される特殊ファームウェ
アがDESキー抽出を処理してDES操作を活性化す
る。ARM/CPUはさらに内部RAM内に格納された
補助パケットの解析を実施する。ARMおよびTPPは
一緒にSCRクロック回復も実施する。図17は外部V
CXOの回路例である。‘AV310からの出力は25
6レベルを有するデジタルパルスである。
【0166】条件付アクセスおよびDESブロックはパ
ケットヘッダー解析機能の一部である。ヘッダー内のC
Fビットはパケットがクリーンであるか暗号化されてい
るかを示す。クリーンパケットは内部RAMへ直接転送
することができるが、暗号化されたものはDESブロッ
クへ通して復号する必要がある。許可および復号キー情
報は制御語パケット(CWP)を介して送信される。外
部スマートカードがこの情報をカードしてDESを働か
せるのに適切なキーを与える。
【0167】1394インターフェイスは直接TPP/
DESモジュールに接続される。ユーザプロクラムのコ
マンドにより、TPP/DESはクリーンもしくは暗号
化パケットを1394インターフェイスへ送ることがで
きる。ユーザは32までのサービスを選択して記録する
ことができる。マテリアルが暗号化される場合、ユーザ
はクリーンもしくは暗号化画像をどこへ記録するかをも
指定する必要がある。記録モードではTPPは復号モー
ドが選択されるとパケットヘッダーを修正し、暗号化モ
ードではパケットヘッダーは修正されない。再生モード
中に、1394インターフェイスはTPP内へ入る各バ
イトを転送する。TPPはフロントエンドからのデータ
と同様にビットストリームを解析する。
【0168】画像デコーダモジュールの特徴:MPEG
−2メインプロファイルメインレベルおよびMPEG−
1のリアルタイム画像復号、エラー検出および隠蔽、内
部90KHz/27MHzシステムタイムクロック、1
6Mbpsの持続入力レート、全トリックモードによる
トリックモードのサポート、1/4および1/6間引き
サイズピクチュアの提供、クロヘズドキャプションおよ
びビットストリームからの他のピクチュアユーザデータ
の抽出、NTSCモードの3:2プルダウン、および水
平リサンプリングおよび垂直クロミナンス濾波による後
続ディスプレイフォーマットのサポート。
【0169】
【表10】 DSSおよびMPEGシンタクスの両方に従った16:
9ソースマテリアルに対するパン−アンド−スキャン、
ハイレベルコマンドインターフェイス、およびプレゼン
テーションタイムスタンプ(PTS)を使用する同期
化。
【0170】画像デコーダモジュールはSDRAMから
画像ビットストリームを受信する。また、それはSDR
AMをそのワーキングエリアとして使用してテーブル、
バッファ、および再構成画像を格納する。復号プロセス
はARMからハイレベルコマンドを受け取るRISCエ
ンジンにより制御される。このようにして、ARMは外
部ホストとして作用して外部デコーダモジュールを初期
化し制御する。出力画像はOSDモジュールへ送られて
さらにOSDデータとブレンドされる。
【0171】正規のビットストリーム復号の他に、画像
デコーダはピクチュアレイヤユーザデータからクローズ
ドキャプション(CC)、拡張データサービス(ED
S)、プレゼンテーションタイムスタンプ(PTS)お
よび復号タイムスタンプ、パン−アンド−スキャン、フ
ィールドディスプレイフラグ、およびno_burst
フラグを抽出する。これらのデータフィールドはDSS
により指定される。CCおよびEDSはNTSC/PA
Lエンコーダへ転送されPTSはプレゼンテーション同
期化のために使用される。他のデータフィールドは正規
のMPEGビットストリームに対する特定DSS制約を
形成し、それらはビットストリームから得られる情報を
更新するのに使用される。
【0172】PTSおよびSCR(システムクロック基
準)が公差内で一致しない場合には、画像デコーダはフ
レームを再ディスプレイするかスキップする。ここで、
CC/EDSは次のように処理される、フレームを再デ
ィスプレイし第2のディスプレイはCC/EDSを含ま
ない、フレームをスキップする場合には対応するCC/
EDSもスキップされる。トリックモード復号中に、画
像デコーダは下記のステップを繰り返す、Iピクチュア
が続くシーケンスヘッダーを探索する、画像バッファア
ンダーフローエラーを無視する、かつ復号されたIフレ
ームを連続的にディスプレイする。
【0173】トリックモードIフレームデータはいくつ
かのフレーム間スライスの替わりに全フレームを含まな
ければならない。画像データは表10に詳細に示すハイ
レベルコマンドを受け入れる。
【0174】
【表11】 下記の表はサポートされたアスペクト比変換を示す。
【0175】
【表12】
【0176】パン−走査方法は16:9ソース画像を
4:3デバイス上にディスプレイする時に適用される。
ソース画像がフルサイズ、720/704x480、で
あればパン−走査位置は1,1/2もしくは1/4サン
プルを指定する。サンプルサイズがフルサイスよりも小
さければ、パン−走査位置は厳密に整数サンプルしか指
定しない。‘AV310からのデフォールトディスプレ
イフォーマット出力は4:3であることをお判り願いた
い。4:3ディスプレイデバイスと16:9ディスプレ
イデバイス間を切り替える場合には、リセットも必要で
ある。
【0177】1/2および1/4間引きは、各ディメン
ジョンにおいて、4:3もしくは16:9フォーマット
のさまざまなサイズの画像に対してサポートされる。詳
細を下記の表に示す。
【0178】
【表13】 画像デコーダモジュールの特徴:MPEG音声レイヤ
1,2を復号する、全てのMPEG−1およびMPEG
−2データレートおよび半周波数を除くサンプリング周
波数をサポートする、自動音声同期化を行う、16およ
び18ビットPCMデータをサポートする、PCMおよ
びSPDIの両フォーマットで出力する、PCMクロッ
クを発生するもしくは外部ソースを受け入れる、同期化
もしくはビットエラーのエラー隠蔽(ミューティングに
よる)を行う、およびフレーム毎状態情報を与える。
【0179】音声モジュールはトラフィックコントロー
ラからMPEG圧縮音声データを受信して復号し、PC
Mフォーマットで音声サンプルを出力する。ARM C
PUは制御レジスタを介して音声デコーダを初期化/制
御し、かつデコーダの状態レジスタから状態情報を読み
出すことができる。
【0180】音声フレームデータおよびPTS情報はパ
ケット形式でSDRAM内に格納される。音声モジュー
ルはパケットを復号してPTSおよび音声データを抽出
する。
【0181】ARMは32ビット制御レジスタを介して
音声モジュールの動作を制御することができる。ARM
は音声デコーダをリセットすなわちミューティングし、
出力精度およびオーバサンプリング比を選択し、デュア
ルチャネルモードに対する出力フォーマットを選択する
ことができる。ARMはまた音声モジュールから状態情
報を読み出すことができる。1つの(32ビット)レジ
スタがMPEGヘッダー情報およびsync、CRC、
およびPCM状態を提供する。
【0182】音声モジュールは、リード/ライト制御レ
ジスタおよびリードオンリー状態レジスタの、2つのレ
ジスタを有する。レジスタは次のように定義される。
【0183】
【表14】 OSDモジュールの特徴:8つまでのハードウェアウィ
ンドウをサポートしその中の1つはカーソルに使用でき
る、全ての非重複ウィンドウを同時にディスプレイでき
る、重複ウィンドウは最高優先順位のウィンドウを頂部
に遮るようにディスプレイされる、プログラマブルサイ
ズおよびブリンキング周波数を有するハードウェアウィ
ンドウベース矩形カーソルを提供する、また青へデフォ
ールトするプログラマブル背景色を与える、4ウィンド
ウフォーマット(間引き画像に対する空ウィンドウ、ビ
ットマップ、YCrCb4:4:4グラフィックコンポ
ーネント、およびYCrCb4:2:2CCIR601
コンポーネント)をサポートする、ビットマップYCr
Cb4:4:4もしくは動き画像および空ウィンドウを
有するYCrCb4:2:2のブレンドをサポートす
る、ウィンドウモードおよびカラーモードブレンドをサ
ポートする、プログラマブル256エントリカラールッ
クアップテーブルを提供する、動き画像もしくはプログ
ラマブル422もしくは444デジタルコンポーネント
フォーマットとの混合を出力する、動き画像もしくはO
SDとの混合をオンチップNTSC/PALエンコーダ
へ与えてbitBLTハードウェアによりグラフィック
加速能力を提供する。各ハードウェアウィンドウは次の
属性を有する、ウィンドウ位置(画面上の任意の偶数ピ
クセル水平位置、間引き画像を有するウィンドウも偶数
番画像ラインから開始しなければならない)、ウィンド
ウサイズ;2から720ピクセル幅(偶数値のみ)かつ
1から576ライン、ウィンドウベースアドレス、デー
タフォーマット(ビットマップ、YCrCb4:4:
4、YCrCb4:2:2、および空)、ビットマップ
解像度(1,2,4および8ビット/ピクセル)、ビッ
トマップおよびYCrCb4:4:4ウィンドウに対す
る全および半解像度、ビットマップカラーパレットベー
スアドレス、ブレンドイネーブルフラグ、4もしくは1
6ブレンドレベル、YCrCb4:4:4およびYCr
Cb4:2:2に対するトランスペアレンシイネーブル
フラグ、および出力チャネル制御。
【0184】OSDモジュールはさまざまなOSDウィ
ンドウからのOSDデータを管理して画像とブレンドす
る責任がある。それは画像デコーダから画像を受け入
れ、SDRAMからOSDデータを読み出し、オンチッ
プNTSC/PALエンコーダへの1組の画像出力およ
びチップを離れるテジタル出力へのもう1組の画像出力
を発生する。OSDモジュールはスタンバイモードへデ
フォールトし、画像デコーダから両出力へ画像を送るだ
けである。ARM CPUにより活性化された後で、O
SDモジュールはARMにより開設されるウィンドウ属
性に続いてOSDデータを読み出して画像出力と混合す
る。ARM CPUはOSD操作をターンオン/オフさ
せる責任がある。OSDモジュールに取り付けられるb
itBLTハードウェアはメモリブロック動きおよびグ
ラフィック操作を加速させる。図18はOSDモジュー
ルのブロック図である。OSDのさまざまな機能につい
て下記の小節で詳細に説明する。
【0185】OSDデータは可変サイズを有する。ビッ
トマップモードにおいて、各ピクセルは1,2,4,も
しくは8ビット幅とすることができる。グラフィックY
CrCb4:4:4もしくはCCIR601YCrCb
4:2:2モードでは、8ビット/コンポーネントを要
し、コンポーネントは4:4:4(Cb/Y/Cr/C
b/Y/Cr)もしくは4:2:2(Cb/Y/Cr/
Y)フォーマットに従って配列される。RGBグラフィ
ックデータをOSDとして使用する必要がある場合に
は、アプリケーションはY/Cr/Cbへのソフトウェ
ア変換を実施した後で格納しなければならない。OSD
データは常に32ビット語へパックされ後に正当化され
る。OSDウィンドウの左上コーナから開始して、全デ
ータが隣接32ビット語内へパックされる。専用bit
BLTハードウェアがARMに対するOSDデータのパ
ッキングおよびアンパッキングを促進させて個別のピク
セルへアクセスし、OSDモジュールはピクセルアクセ
スを提供する内部シフターを有する。
【0186】NTSCモードにおいて利用可能なSDR
AMは、DSSに対する現在および提案されたVBVバ
ッファサイズを示す、表14に載せたサイズを有する下
記のOSDの1つを格納することができる。
【0187】
【表15】
【0188】OSDウィンドウはその属性により定義さ
れる。ウィンドウに対するOSDデータをSDRAM内
へ格納する他に、アプリケーションプログラムは後述す
るようにOSDモジュール内のウィンドウ属性および他
の配置も更新する必要がある。
【0189】CAMメモリは各ウィンドウの上左および
下右コーナのXおよびY位置を含む。アプリケーション
プログラムはCAMを開設して選択されたOSDウィン
ドウをイネーブルする必要がある。各ウィンドウの優先
順位はCAM内のその位置により決定される。すなわ
ち、低いアドレスウィンドウは常に高い優先順位を有す
る。ウィンドウの優先順位をスワップするために、AR
MはCAM内の位置を交換しなければならない。
【0190】OSDモジュールはウィンドウ属性のロー
カルコピーを維持する。これらの属性によりOSDモジ
ュールはOSDデータに対するアドレスを計算し、適切
なサイズのピクセルを抽出し、ブレンド因子を制御し、
出力チャネルを選択することができる。
【0191】ビットマップOSDを使用する前に、アプ
リケーションプログラムは256エントリカラールック
アップテーブル(CLUT)を初期化しなければならな
い。CLUTは主としてビットマップデータをY/Cr
/Cb成分へ変換するのに使用される。ビットマップピ
クセルは1,2,4,もしくは8ビットを有することが
できるため、CLUT全体も16の別々の16−エント
リCLUT等のより小さいサイズのテーブルのセグメン
トを含むようにプログラムすることができる。
【0192】2つのブルンドモードがある。ウィンドウ
モードブレンドはタイプビットマップ、YCrCb4:
4:4:,およびYCrCb4:2:2のOSDウィン
ドウに適用される。ピクセルごとのカラーモードブレン
ドはビットマップOSDにしか許されない。OSDウィ
ンドウが常にリアルタイム動き画像とブレンドされる。
すなわち、間引きした動き画像を含む空ウィンドウを除
けば、OSD間のブレンドは行われない。重複するOS
Dウィンドウの場合には、頂部OSDウィンドウと画像
の間でしかブレンドは行われない。ブレンドはウィンド
ウ属性、Blend_En(2ビット),Blend
Level(4ビット),およびTrans_En(1
ビット)により制御される。Blend_Enにより表
15に示すようにブレンドが活性化される。ウィンドウ
モードでは、属性Blend_Levelにより定義さ
れるレベルに基づいて全てのピクセルが画像データと混
合される。カラーモードでは、ブレンドレベルはCLU
T内に与えられる。すなわち、CbおよびCrの最下位
ビットが4レベルブレンドを提供し、CbおよびCrか
らの最後の2ビットが16レベルブレンドを提供する。
トランスペアレンシレベル、OSDのない画像だけ、は
Trans_Enビットオンおよびオール0を含むOS
Dピクセルにより達成される。
【0193】
【表16】
【0194】矩形ブリンキングカーソルがハードウェア
ウィンドウ0を使用して提供される。ウィンドウ0であ
れば、カーソルは常に他のOSDウィンドウの頂部に現
れる。ユーザはウィンドウ属性を介してカーソルのサイ
ズを指定することができる。カーソルの活性化、その
色、およびブリンキング周波数は制御レジスタを介して
プログラムすることができる。ハードウェアウィンドウ
0がカーソルとして指定されると、7つのウィンドウし
かアプリケーションに利用できない。ハードウェアカー
ソルが使用されない場合には、アプリケーションはウィ
ンドウ0を正規のハードウェアウィンドウとして使用す
ることができる。
【0195】OSDウィンドウは活性化された後で、各
々が属性Disp_Ch_Cntl[1,0]を有し、
ウィンドウの位置が現在ディスプレイされている場合そ
れは2つの出力チャネル(アナログおよびテジタル画像
出力)の内容を定義する。次の表は出力チャネルをどの
ように制御するかを示す。
【0196】
【表17】 これら2つの出力チャネルのディスプレイの例を図19
に示す。
【0197】bitBLTハードウェアは1ブロックの
メモリを1つのスペースから別のスペースへ移すより高
速な方法を提供する。それはソース位置からデータを読
み出し、データにシフト/マスク/マージ/伸長操作を
実施し、最後にそれをデスティネーション位置へ書き込
む。このハードウェアにより下記のグラフィック関数が
イネーブルされる:Set/Get Pixel;Ho
rizontal/Vertical Line Dr
awing;Block Fill;FontBitB
LTing;Bitmap/graphic BitB
LTing;およびTransparency。
【0198】bitBLTに対する許容ソースおよびデ
スティネーションメモリは表17に定義される。
【0199】
【表18】 bitBLTによりサポートされるソースおよびデステ
ィネーションOSDウィントウのタイプを次の表に示す
(HRは半解像度を表す)。
【0200】
【表19】
【0201】ビットマップは1,2,4,もしくは8ビ
ット/ピクセルを許すため、異なる解像度のウィンドウ
間でスワップする場合bitBLTはMSBビットを落
とすすなわち0でパッドすることがある。半解像度OS
Dに対しては、水平ピクセルディメンジョンは偶数でな
ければならない。YCrCb4:2:2データに対して
は、線画操作は常に32ビット語、語境界ち一列に並ぶ
2つの隣接ピクセル、で行われる。
【0202】ブロック移動操作では、データのブロック
はトランスペアレントとしてテキストすなわちグラフィ
ックオーバレイを許すことができる。ソースデータのピ
クセルはデスティネーションデータのピクセルと結合さ
れる。トランスペアレンシがターンオンされてソースピ
クセルの値が非ゼロであれば、ピクセルはデスティネー
ションへ書き込まれる。ピクセルの値がゼロであれば、
デスティネーションピクセルは不変である。トランスペ
アレンシはビットマップからビットマップ、およびビッ
トマップからYCrCb4:4:4:へしか許されな
い。
【0203】NTSC/PALエンコーダモジュールの
特徴:NTSCおよびPAL B,D,G/H,および
ディスプレイフォーマットをサポートする、Y,C,お
よび9ビットDACを有する複合画像を出力する、RS
170A標準へコンパイルする、マクロビジョンアンチ
テーピング機能をサポートする、クローズドキャプショ
ン、拡張データサービス、およびアスペクト比VARI
S符号化を提供する、および外部sync信号を受け入
れるオプションを有するsync信号を与える。
【0204】このモジュールはOSDデータとブレンド
されているかもしれない画像データをOSDモジュール
から受け入れてY,Cおよび複合アナログ出力へ変換す
る。クローズドキャプションおよび拡張データサービス
データは画像デコーダからシリアルインターフェイスラ
インを介して与えられる。これらのデータは対応するレ
ジスタ内へラッチされる。CCエンコーダはライン21
のクローズドキャプションデータおよびライン284の
拡張データサービスを送出する。ARMはこのモジュー
ルをARMインターフェイスブロックを介して初期化お
よび制御する。それはまたVARIS符号を指示された
レジスタへ送り、次にそれは画像ライン20内へ符号化
される。ARMはまたARMインターフェイスブロック
を介してマクロビジョンをターンオンオフする。マクロ
ビジョンのデフォールト状態はオフである。
【0205】通信プロセッサモジュールの特徴:2つの
プログラマブルタイマを提供する、1つのスマートカー
ド用と2つの汎用との3つのUARTを提供する、I
R,SIRCSIおよびRF信号を受け入れる、SIR
CSO出力を与える、2つの汎用I/Oを提供する、I
CおよびJTAGインターフェイスを管理する。
【0206】このモシュールはバッファ、制御レジス
タ、およびUART,IR/RF,ICおよびJTA
G等のさまざまなインターフェイスの制御論理の集まり
を含んでいる。全てのバッファおよびレジスタがメモリ
マップされARM CPUにより個別に管理される。こ
れらのインターフェイスモジュールとARM CPU間
の通信に割込みが使用される。
【0207】‘AV310はユーザプログラマブルな2
つの汎用タイマを有する。両方のタイマが16ビットプ
レスケーラを有する16ビットカウンタを含み、25n
sから106秒のタイミング間隔を見込んでいる。各タ
イマ、timer0およびtimer1、に1組の制御
および状態レジスタが関連している。これらのレジスタ
は表19に明示されている。
【0208】
【表20】
【0209】タイマは2つのタイマ、tddrからプリ
ロードされsys_clock毎にカウントダウンする
タイマプリスケーラ,psc,およびタイマカウンタt
im(prdからプリロードされる)、からなるカウン
トダウンタイマである。psc=0であれば、それ自体
をプリロードしてtimを1だけ減分する。それによ
り、sys_clockは下記の値で除算される。(t
ddr+1)(prd+1),tddおよびrprd
が共に0ではない場合、あるいは、2
tddおよびrprdが共に0の場
合。
【0210】tim=0かつpsc=0の場合、対応す
るtint_maskが設定されなければタイマは割込
みを発する。次に、soft=0であれば、両カウンタ
がプリロードされる。softが1であれば、タイマは
カウントを停止する。
【0211】タイマ制御レジスタ(tcr)が正規のタ
イマ操作をオーバライドすることができる。タイマリロ
ードビットtrbにより両カウンタはプリロードされタ
イマ停止ビットtssにより両カウンタは停止される。
【0212】2つの汎用2線UARTは同期モード、全
二重、28.8kbpsまで作動する8バイトFIFO
UARTで二重バッファされる。それらは1開始ビッ
ト、7もしくは8データビット、オプショナルパリテ
ィ、および1もしくは2停止ビットを送受信する。
【0213】UARTはAPIへ完全にアクセスするこ
とができ、データ受信時もしくは送信バッファが空であ
る時に割込みを発生することができる。ARMもデータ
オーバランおよびフレーミングエラー等のフラグを含む
各UARTに対する状態レジスタへのアクセスを有す
る。
【0214】IR/RF遠隔制御インターフェイスはセ
ットトップボックスへユーザコマンドを送信する手段で
ある。このインターフェイスはビットフレームベース通
信プロトコルをインプリメントするカスタムハードウェ
ア受信機からなっている。単一ビットフレームはユーザ
コマンドを表す。
【0215】ビットフレームは12,15もしくは20
の考えられる3つの長さで定義される。フレーム内のビ
ットのオン/オフ値は2つの長さの異なるパルス幅で表
される。‘1’は1.2msのパルス幅で表され‘0’
は0.6msのパルス幅で表される。図20の例はIR
入力ビットストリームを示す。ビットストリームはいか
なるキャリヤ(典型的は36−48KHz)にも制限さ
れずかつゼロ復帰フォーマットで純粋にデジタルなビッ
トストリームを表すものとする。このインターフェイス
のハードウェア部分はビットストリームを捕捉して捕捉
した値をアクセスのソフトウェアインターフェイスのた
めに読出レジスタへ入れると共にビット値を決定する責
任がある。読出レジスタへ入れられる各値が割込要求を
発生する。
【0216】各ユーザコマンドが単一ビットフレームと
して送信され、各フレームが最低3回送信される。ハー
ドウェアインターフェイスはフレームを認識して不要フ
レームを濾波する責任がある。ハードウェアインターフ
ェイスにより認識されるビットフレームは次のステップ
パスしなければならない、第1にそれは予期されるフレ
ームサイズ12,15もしくは20ビットと一致しなけ
ればならない、次に受信した最低3フレームの中の2フ
レームは値が一致しなければならない。ハードウェアイ
ンターフェイスによりフレーム一致が検出されると、1
つの割込要求しか発生されない。
【0217】IR/RFプロトコルは1つの受信割込み
を有するが、それは2つの異なる条件を示すために発生
される。2つの異なる条件はユーザコマンドの開始およ
び終了である。第1のタイプの受信割込み(開始)はハ
ードウェアインターフェイスが新しいフレームを検出す
る時に発生される(3フレームの中の2つが一致しなけ
ればならないことを思い出していただきたい)。第2の
タイプの割込みはハードウェア時間切れ期間(ユーザコ
マンド時間切れ)の長さにわたって信号が検出されない
場合に発生される。各フレームは、送信されると、連続
もしくは繰り返しと考えられる。したがって、ユーサコ
マンドに対して最低3フレームがあるが、プロトコルは
開始割込みが受信されるとインターフェイスは終了(時
間切れ)割込みが発生されるまでは同じフレームが受信
されていると仮定するようになっている。
【0218】受信シーケンスの典型的な例はインターフ
ェイスが休止しておりハードウェアインターフェィスが
フレームとして認識される信号を検出すると仮定するこ
とである。そらはユーザコマンドの開始と考えられ、ハ
ードウェアインターフェイスにより開始割込みが発せら
れる。およそ100msの時間切れ期間の間ハードウェ
アインターフェイスにより検出される信号が無い場合に
ユーザコマンドの終了と見なされる。終了はハードウェ
アインターフェイスからの割込みにより表示される。
【0219】受信シーケンス中に、終了割込みを受信す
る前にいくつかの開始割込みを受信することができる。
いくつかの開始割込みは時間切れ期間が切れる前にいく
つかのコマンドを入力するユーザが引き起こすことがで
きる。ユーザにより入力されるこれらの各コマンドは異
なるコマンドとすることができる。前のコマンドの時間
切れの前に新しいユーザコマンドを受け入れることがで
きる。
【0220】IR,SIRCSI,およびRF入力は共
通復号論理を共用する。図21はハードウェアインター
フェイスの理論的モデルを示す。考えられる3つの入力
SIRCSI,IRおよびRF、および1つの出力SI
RCSOがある。IR受信機はもう1つのデバイスのS
IRCSOからその入力を受信する。再度図21を調べ
ると、正規の操作によりIRはSIRCSOおよびデコ
ータに接続されることが判る。SIRCSI信号はIR
よりも優先順位が高く進行中の任意のIR信号をオーバ
ライドする。SIRCSIが検出される場合には、ハー
ドウェアインターフェイスは入力ストリームをIRから
SIRCSIへ切り替えSIRCSIはテコーダおよび
SIRCSOへ送られる。
【0221】IRフレームタイブに対する2つの入力お
よびRFフレームタイプに対する1つの入力が考えられ
る。受信フレームがIRもしくはRFである場合には、
ユーザは選択を行わなければならない。IR/RFイン
ターフェイスは2つの32ビットデータレジスタを含
み、受信データに対するもの(IRRFデータ復号レジ
スタ)および書き出されるデータに対するもの(IRR
F符号化データレジスタ)である。両レジスタにおい
て、ビット31−20は使用されず0に設定される。
【0222】‘AV310はユーサが構成可能な2つの
汎用I/Oピン(101および102)を有する。各I
/Oピンはそれ自体の32ビット制御/状態レジスタ、
iocsr1もしくはiocsr2を有する。
【0223】I/Oが入力として構成されかつデルタ割
込マスクがクリアされると、入力の状態が替わる時はつ
ねにARM割込みが発生される。デルタ割込マスクが設
定されると、ARMへの割込みはディセーブルされる。
入力として構成される間I/Oピンを駆動するデバイス
が他になければ、それは内部プルアップ抵抗によりハイ
に保持される。
【0224】I/Oが出力として構成される(対応する
制御/状態レジスタ内にcioビットを設定して)場合
には、制御/状態レジスタのio_outビット内に含
まれる値が出力される。I/Oが出力として構成される
場合には、割込み発生がディセーブルされる。制御/状
態レジスタの定義を表20に示す。
【0225】
【表21】
【0226】‘AV310はマスターもしくはスレーブ
として作用することができるICシリアルバスを含
む。(マスターモードはデフォールトである)。マスタ
ーモードにおいて、‘AV310は転送を開始かつ終止
しクロック信号を発生する。
【0227】デバイスをスレーブモードとするために、
ARMはブロック内の制御レジスタへ書込みしなければ
ならない。APIはスレーブモードセレクトおよび‘A
V310に対する7ビットアドレスを設定しなければな
らない。また、ICへソフトウェアリセットを送って
スレーブモードへの遷移を完了しなければならない。
【0228】スレーブモードにおいて、プログラマブル
アドレスビットが加えられるアドレスと一致する場合に
は、‘AV310が応答する。‘AV310はまたスレ
ーブアドレスのプログラマブル部分を変えるアドレス0
(一般呼出しアドレス)へ発せられる一般呼出しコマン
ドにも応答する。これらのコマンドは0x04および0
x06である。他の一般呼出しコマンドは肯定応答され
ず、なんのアクションもとられない。
【0229】好ましくは、回路は240ピンPQFP内
にパッケージされる。表21はピン信号名とそれらの説
明のリストである。他のピン出力を使用して本回路を利
用するエミュレーション、シミュレーション、および/
もしくはソフトウェアデバッギングプラットフォームの
設計を単純化することができる。
【0230】
【表22】
【表23】
【表24】
【0231】データ処理テバイス1000および200
0の製作には半導体基板内へさまざまな量の不純物を打
ち込み基板内の選定深さまで拡散させてトランジスタデ
バイスを形成する多数のステップが含まれる。不純物の
配置を制御するためにマスクが形成される。導電材料お
よび絶縁材料の多数の層が体積されエッチングされてさ
まざまなデバイスが相互接続される。これらのステップ
はクリーンルーム環境内で実施される。
【0232】データ処理デバイスの製作コストのかなり
の部分がテストに伴うものである。ウェーハの形で、個
別のデバイスが作動状態へバイアスされ基本的な動作機
能についてプローブテストされる。次にウェーハは個別
のダイスへ分離され、それはベアダイもしくはパッケー
ジして販売することができる。パッケージした後で、完
成部品は作動状態へバイアスされ動作機能についてテス
トされる。
【0233】本発明の新しいアスペクトの別の実施例に
は結合した機能の総ゲート数を低減するためにここに開
示した回路と組み合わされる他の回路を含むことができ
る。当業者ならばゲートを最小限に抑える技術は知って
いるので、そのような実施例の詳細についてはここで説
明しない。
【0234】ここで使用した“適用した”、“接続し
た”、および“接続”という用語は電気的に接続された
ことを意味し、電気的接続経路内に付加素子がある場合
も含まれる。
【0235】実施例について本発明を説明してきたが、
本明細書は制約的意味合いを有するものではない。当業
者ならば、本明細書をよめば本発明のさまざまな他の実
施例が自明であろう。したがって、本発明の真の範囲お
よび精神に含まれる実施例のこのような修正は全て添付
した請求の範囲に含まれるものとする。以上の説明に関
して更に以下の項を開示する。
【0236】(1)予測フレームを含む画像の復号方法
であって、 (a)マクロブロックの評価に応じて第1の解像度もし
くは第2の解像度で前記マクロブロックを復号するステ
ップを含む方法。
【0237】(2)第1項記載の方法であって、 (a)前記マクロブロックは関連する動きベクトルを有
する方法。
【0238】(3)マクロブロックの評価に応じて全解
像度もしくは低減解像度で復号される予測フレーム(P
フレーム)マクロブロックを有するMPEGタイプ信号
の画像復号方法。高エネルギもしくはエッジコンテント
マクロブロックは全解像度で復号することができる。
【0239】関連出願の相互参照 本出願の譲受人に譲り受けられた下記の出願は関連する
主題を開示している。06/04/97出願の第60/
049,379号および10/31/97出願の第08
/961,763号。
【図面の簡単な説明】
【図1】本発明の音声−画像システムの一部を形成する
回路のハイレベル機能ブロック図。
【図2】図1の一部およびこれらの部分間のデータフロ
ーを示す図。
【図3】入力タイミングを示す図。
【図4】VARIS出力のタイミングを示す図。
【図5】4:2:2および4:4:4デジタル画像出力
のタイミングを示す図。
【図6】LRCLKで示す2つのチャネル間で交番する
PCMOUTのデータ出力を示す図。
【図7】最大クロックジッターが200psRMSを越
えない回路の例を示す図。
【図8】共にプログラマブル待ち状態を有する拡張バス
リード(図8)およびライト(図9)タイミングを示す
図。
【図9】共にプログラマブル待ち状態を有する拡張バス
リード(図8)およびライト(図9)タイミングを示す
図。
【図10】EXTWAITを有するリードのタイミング
図。
【図11】回路、外部パケタイザ、リンクレイヤ、およ
び物理レイヤテバイス間の接続を示す図。
【図12】TPP,DES,および1394インターフ
ェイス間のデータフローの機能ブロック図。
【図13】1394インターフェイス上のリードおよび
ライトタイミング関係を示す図。
【図14】1394インターフェイス上のリードおよび
ライトタイミング関係を示す図。
【図15】ARMプロセッサコアのデータパス
【図16】トラフィックコントローラにより管理される
データフローを示す図。
【図17】外部VCXOの回路例。
【図18】OSDモジュールのブロック図。
【図19】これら2つの出力チャネルのディスプレイの
例。
【図20】IR入力ビットストリームの例。
【図21】ハードウェアインターフェイスのモデル。
【図22】標準精細度テレビジョンセットに接続される
本発明によるトランスコーダおよびSDTVデコーダを
示すブロック図。
【図23】本発明によるトランスコーティングプロセス
および復号プロセスを示すフロー図。
【図24】標準精細度テレビションのディスプレイフォ
ーマットを示す図。
【図25】図22のトランスコーダおよびデコーダの動
作を示すフロー図。
【図26】図25のフローを示すフロー図。
【図27】本発明によるトランスコーティングの効果を
示す図。
【図28】図22のトランスコーダおよびデコーダの詳
細を示すブロック図。
【図29】図22のトランスコーダのブロック図。
【図30】適応解像度復号に対するフロー図。
【図31】適応解像度復号に対するフロー図。
【図32】適応解像度復号に対するフロー図。
【図33】適応解像度デコーダを示す図。
【図34】さまざまなアーキテクチュアを示す図。
【図35】さまざまなアーキテクチュアを示す図。
【図36】さまざまなアーキテクチュアを示す図。
【図37】さまざまなアーキテクチュアを示す図。
【図38】動き補正における参照ブロックを示す図。
【符号の説明】
1000 トランスコータ 1100 プリプロセッサ 1110 DRAM 1200,1201,1202 処理装置 1300 RAM 1400 CPU 2010,2011 MPEG
───────────────────────────────────────────────────── フロントページの続き (72)発明者 スチーブン フシアオ − イ リ アメリカ合衆国 テキサス,ガーランド, キングスブリッジ ドライブ 142 (72)発明者 ラジェンドラ ケイ.タルリ アメリカ合衆国 テキサス,プラノ,ファ ウンテン ヘッド ドライブ 2220 (72)発明者 フランク エル.ラクズコ,シニア アメリカ合衆国 テキサス,アレン,サウ ス ジュピター 301,ナンバー711 (72)発明者 ワイ.ポール チァン アメリカ合衆国 テキサス,リチャードソ ン,ハニイサックル ドライブ 2558

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 予測フレームを含む画像の復号方法であ
    って、 (a)マクロブロックの評価に応じて第1の解像度もし
    くは第2の解像度で前記マクロブロックを復号するステ
    ップを含む方法。
JP11190852A 1998-06-01 1999-06-01 予測フレ―ムを含む画像の復号方法 Abandoned JP2000041262A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US089290 1993-07-08
US09/089,290 US20020196853A1 (en) 1997-06-04 1998-06-01 Reduced resolution video decompression

Publications (1)

Publication Number Publication Date
JP2000041262A true JP2000041262A (ja) 2000-02-08

Family

ID=22216806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11190852A Abandoned JP2000041262A (ja) 1998-06-01 1999-06-01 予測フレ―ムを含む画像の復号方法

Country Status (3)

Country Link
US (1) US20020196853A1 (ja)
EP (1) EP0964583A3 (ja)
JP (1) JP2000041262A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945596A (zh) * 2012-10-31 2013-02-27 四川长虹电器股份有限公司 遥控器信号接收方法
WO2013114462A1 (ja) * 2012-02-02 2013-08-08 三菱電機株式会社 表示装置
JP2014096745A (ja) * 2012-11-12 2014-05-22 Hitachi Kokusai Electric Inc 画像伝送システム
CN108924553A (zh) * 2018-06-20 2018-11-30 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、计算机设备和存储介质
USRE48845E1 (en) 2002-04-01 2021-12-07 Broadcom Corporation Video decoding system supporting multiple standards

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470051B1 (en) * 1999-01-25 2002-10-22 International Business Machines Corporation MPEG video decoder with integrated scaling and display functions
US8266657B2 (en) 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
US6263503B1 (en) * 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
FI110743B (fi) 1999-06-28 2003-03-14 Valtion Teknillinen Menetelmä ja järjestelmä liike-estimoinnin suorittamiseksi
US20030142107A1 (en) * 1999-07-16 2003-07-31 Intel Corporation Pixel engine
US7634011B2 (en) 2000-04-21 2009-12-15 Microsoft Corporation Application program interface (API) facilitating decoder control of accelerator resources
US6891893B2 (en) * 2000-04-21 2005-05-10 Microsoft Corp. Extensible multimedia application program interface and related methods
US7649943B2 (en) * 2000-04-21 2010-01-19 Microsoft Corporation Interface and related methods facilitating motion compensation in media processing
US6940912B2 (en) * 2000-04-21 2005-09-06 Microsoft Corporation Dynamically adaptive multimedia application program interface and related methods
US7471834B2 (en) * 2000-07-24 2008-12-30 Vmark, Inc. Rapid production of reduced-size images from compressed video streams
EP1231794A1 (en) * 2001-02-09 2002-08-14 STMicroelectronics S.r.l. A process for changing the resolution of MPEG bitstreams, a system and a computer program product therefor
US7804899B1 (en) * 2001-07-13 2010-09-28 Cisco Systems Canada Co. System and method for improving transrating of MPEG-2 video
US7675972B1 (en) * 2001-07-30 2010-03-09 Vixs Systems, Inc. System and method for multiple channel video transcoding
KR100424850B1 (ko) * 2001-08-08 2004-03-27 엘지전자 주식회사 데이터 전송 속도 변환 장치
KR100421015B1 (ko) * 2001-08-29 2004-03-04 삼성전자주식회사 음성 메일 기능을 제공하는 인터넷 팩시밀리
US20030105875A1 (en) * 2001-12-04 2003-06-05 Chun-Liang Lee Transmission management device of a server
US7660356B2 (en) 2002-10-02 2010-02-09 Lsi Corporation Compressed video format with partial picture representation
US7079578B2 (en) * 2002-10-28 2006-07-18 Scopus Network Technologies Ltd. Partial bitstream transcoder system for compressed digital video bitstreams
NO319007B1 (no) * 2003-05-22 2005-06-06 Tandberg Telecom As Fremgangsmate og apparat for videokomprimering
JP3823191B2 (ja) * 2003-07-31 2006-09-20 松下電器産業株式会社 データ出力制御装置
KR100519776B1 (ko) * 2003-11-24 2005-10-07 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
US20050175099A1 (en) * 2004-02-06 2005-08-11 Nokia Corporation Transcoder and associated system, method and computer program product for low-complexity reduced resolution transcoding
US7647614B2 (en) 2004-06-07 2010-01-12 Sling Media, Inc. Fast-start streaming and buffering of streaming content for personal media player
US9998802B2 (en) 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7769756B2 (en) 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
TWI244333B (en) * 2004-07-23 2005-11-21 Realtek Semiconductor Corp Video composing circuit and method thereof
US7304646B2 (en) * 2004-08-19 2007-12-04 Sony Computer Entertainment Inc. Image data structure for direct memory access
JP5090158B2 (ja) * 2005-04-22 2012-12-05 パナソニック株式会社 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
US8385419B2 (en) * 2006-04-26 2013-02-26 Altera Corporation Methods and apparatus for motion search refinement in a SIMD array processor
US9247260B1 (en) * 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
GB2444993B (en) * 2007-03-01 2011-09-07 Kenneth Stanley Jones Plastic digital video codec circuit
US8369411B2 (en) 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US8416857B2 (en) 2007-03-29 2013-04-09 James Au Parallel or pipelined macroblock processing
US8837575B2 (en) * 2007-03-29 2014-09-16 Cisco Technology, Inc. Video processing architecture
US8422552B2 (en) 2007-03-29 2013-04-16 James Au Entropy coding for video processing applications
US8565310B2 (en) * 2008-01-08 2013-10-22 Broadcom Corporation Hybrid memory compression scheme for decoder bandwidth reduction
US20100091188A1 (en) * 2008-07-11 2010-04-15 Stmicroelectronics Pvt. Ltd. Synchronization of secondary decoded media streams with a primary media stream
JP2010258624A (ja) * 2009-04-22 2010-11-11 Panasonic Corp 画像再生装置及び画像再生方法
IL201682A0 (en) * 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US20120275502A1 (en) * 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
GB2496015B (en) 2012-09-05 2013-09-11 Imagination Tech Ltd Pixel buffering
US9516358B2 (en) 2013-11-26 2016-12-06 At&T Intellectual Property I, L.P. Method and apparatus for providing media content
CN104023202B (zh) * 2014-03-18 2018-04-27 山东大学 高清视频处理系统
KR102230862B1 (ko) * 2014-07-01 2021-03-24 삼성전자 주식회사 영상처리장치 및 그 제어방법
KR102068828B1 (ko) 2014-09-30 2020-01-22 에이치에프아이 이노베이션 인크. 비디오 코딩을 위한 적응적 모션 벡터 레졸루션 방법
CN111741312B (zh) * 2014-10-31 2024-03-19 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
WO2017212524A1 (ja) * 2016-06-06 2017-12-14 オリンパス株式会社 データ転送装置、画像処理装置、および撮像装置
CN110677653B (zh) * 2019-09-27 2024-01-09 腾讯科技(深圳)有限公司 视频编解码方法和装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
US5253055A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Efficient frequency scalable video encoding with coefficient selection
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
GB2296618B (en) * 1994-12-30 2003-03-26 Winbond Electronics Corp System and method for digital video decoding
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE48845E1 (en) 2002-04-01 2021-12-07 Broadcom Corporation Video decoding system supporting multiple standards
WO2013114462A1 (ja) * 2012-02-02 2013-08-08 三菱電機株式会社 表示装置
CN104094348A (zh) * 2012-02-02 2014-10-08 三菱电机株式会社 显示装置
JPWO2013114462A1 (ja) * 2012-02-02 2015-05-11 三菱電機株式会社 表示装置
CN104094348B (zh) * 2012-02-02 2016-04-27 三菱电机株式会社 显示装置
CN102945596A (zh) * 2012-10-31 2013-02-27 四川长虹电器股份有限公司 遥控器信号接收方法
JP2014096745A (ja) * 2012-11-12 2014-05-22 Hitachi Kokusai Electric Inc 画像伝送システム
CN108924553A (zh) * 2018-06-20 2018-11-30 腾讯科技(深圳)有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP0964583A2 (en) 1999-12-15
EP0964583A3 (en) 2000-02-23
US20020196853A1 (en) 2002-12-26

Similar Documents

Publication Publication Date Title
JP2000041262A (ja) 予測フレ―ムを含む画像の復号方法
US6263396B1 (en) Programmable interrupt controller with interrupt set/reset register and dynamically alterable interrupt mask for a single interrupt processor
US6885707B2 (en) Systems for MPEG subsample decoding
US5874995A (en) MPEG video decoder having a high bandwidth memory for use in decoding interlaced and progressive signals
US6823014B2 (en) Video decoder with down conversion function and method for decoding video signal
JP4346114B2 (ja) 複数の標準的な出力信号を提供するmpegデコーダ
US6519283B1 (en) Integrated video processing system having multiple video sources and implementing picture-in-picture with on-screen display graphics
US5990958A (en) Apparatus and method for MPEG video decompression
US6828987B2 (en) Method and apparatus for processing video and graphics data
US8111932B2 (en) Digital image decoder with integrated concurrent image prescaler
KR20000057301A (ko) 다중 포맷의 비디오 신호 프로세서용 메모리 구조
JP2009534931A (ja) 共有メモリマルチビデオチャネルディスプレイ装置および方法
JP2006197587A (ja) デュアルビデオデコーディングシステム及び方法
US20010016010A1 (en) Apparatus for receiving digital moving picture
JPH11164322A (ja) アスペクト比変換装置及び方法
Schu et al. System on silicon-IC for motion compensated scan rate conversion picture-in-picture processing, split screen applications and display processing
US7460600B2 (en) MPEG video decoding system
US6829303B1 (en) Methods and apparatus for decoding images using dedicated hardware circuitry and a programmable processor
Yamauchi et al. Single chip video processor for digital HDTV
Lee et al. Implementation of digital hdtv video decoder by multiple multimedia video processors
JP3685386B2 (ja) 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム
Brosz et al. A single-chip HDTV video decoder design
JP2004516761A (ja) フレーム種別依存の低複雑性のビデオ復号化方法
Gass System integration issues for set-top box
Feigel Processors aim at desktop video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060601

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20081210