JP2002112259A - 符号化画像情報処理装置 - Google Patents

符号化画像情報処理装置

Info

Publication number
JP2002112259A
JP2002112259A JP2000297060A JP2000297060A JP2002112259A JP 2002112259 A JP2002112259 A JP 2002112259A JP 2000297060 A JP2000297060 A JP 2000297060A JP 2000297060 A JP2000297060 A JP 2000297060A JP 2002112259 A JP2002112259 A JP 2002112259A
Authority
JP
Japan
Prior art keywords
image
frame
bit stream
decoding
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000297060A
Other languages
English (en)
Inventor
Hironori Komi
弘典 小味
Koichi Terui
孝一 照井
Toshio Okada
敏男 岡田
Yukitoshi Tsuboi
幸利 坪井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2000297060A priority Critical patent/JP2002112259A/ja
Publication of JP2002112259A publication Critical patent/JP2002112259A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】インタレース・プログレッシブの両方式対応デ
ィジタル符号化画像情報処理装置を安価な回路で実現す
る。また、方式切替時に出力画像を乱さない。 【解決手段】インタレースとプログレッシブの復号時に
それぞれ同周波数で位相の異なる同期信号1、同期信号
2に同期して各フレームをデコードし、復号画像読みだ
し回路は、常に同期信号1に同期して各フレームもしく
はフィールドを読み出し、解像度変換して出力する。ま
た、復号時のシーケンス情報を復号ブロックは画像読み
だし部に指示し、画像読みだし部は該情報より表示画像
の切替時刻を遅延させ、解像度変換部は、同タイミング
で解像度変換設定を変更する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ディジタル高能率
符号化されたビットストリームを復号し、表示する符号
化ビデオ復号技術に関する。特に、高精細TVで用いら
れるプログレッシブ方式(順次走査方式)の画像とイン
タレース方式の両方のビデオを復号する技術に関する。
【0002】
【従来の技術】高能率ビデオ符号化技術、国際標準IS
O/IEC13818−2、通称MPEG2Video
(Moving Picture Experts G
roup Phase2 Video)を用いたディジ
タルTV放送が開始され、特に高精細テレビ放送(HD
TV放送)技術に関する重要性が高まっている。HDT
V放送では、従来までのNTSC規格のアナログ放送よ
りも、水平画素数、走査線数が多い高画質の放送が提供
される。また、HDTV放送では、画像解像度、アスペ
クト比が異なるフォーマットが複数種類放送される。ま
た、走査方式もインタレース方式、プログレッシブ方式
両方が用いられており、フレームレートに関しても複数
種類の規格が存在する。たとえば、米国のHDTV放送
では、ATSC(Advanced TV Stand
ard Committe)によって図15に示すよう
な18種類の画像フォーマットが定義されている。な
お、以降の記述では、走査方式とフレームレート(イン
タレースの場合はフィールドレート)を表現するため、
図15に用いているような60p、60iなどの略記号
を用いる。例えば、60pはフレームレートが60Hz
のプログレッシブ走査方式の画像であり、60iはフィ
ールドレートが60Hzであるインタレース走査方式の
画像を意味する。図15に示すように入力フォーマット
が複数存在する場合、受信機側では、受信した画像を復
号するとともに、復号した画像の解像度、フレームレー
トをディスプレイ装置に適合するように変換して出力す
る必要がある。従来、これらの復号技術については、例
えば特開平8−18953号や特開平8−23514号
などの特許公報おいて開示されており、またHDTV対
応の解像度変換技術については、特開平11−0276
63号などに記載されている。以下、従来の符号化ビデ
オ復号表示装置について説明する。図16は、MPEG
2で符号化圧縮されたビデオのビットストリームを入力
とし、接続されたディスプレイの解像度に適合するよう
に復号画像を解像度変換して出力するデコーダ回路であ
る。
【0003】デコーダ1に入力されたビットストリーム
は、一旦入力バッファメモリ100に格納され、メモリ
コントローラ11を介して外部のメモリ2に格納され
る。その後、ビットストリームはバッファメモリ101
に読み込まれ、102によって可変長復号処理が行わ
れ、シーケンスレイヤ、ピクチャレイヤ、マクロブロッ
ク(MB)レイヤなどMPEG2規格に従って内容が解
析される。MBレイヤ以下の画素に関するデータは、ブ
ロック103に渡され逆量子化(IQ)され、逆DCT
変換(Inverse Discrete Cosine
Transform)される。MPEG方式に基づく
符号化では、画像データの各フレームを、予測値として
参照する参照フレームを持たずに符号化するIフレーム
(IntraPicture)や過去のフレーム(即
ち、表示順で当該フレームよりも前方に配列されるフレ
ームのみ)を参照フレームとし、この参照フレームをも
とに符号化するPフレーム(Predictive P
icture)、過去のフレームと未来のフレーム(即
ち、表示順で当該フレームよりも後方に配列されるフレ
ームのみ)とを参照フレームとし、これら参照フレーム
をもとに符号化するBフレーム(Bidirectio
nal Picture)とに区分される。Iフレーム
内のMBの復号時には、IDCTの結果がそのままその
MBの復号画像内の画素値となるが、Pフレームまたは
Bフレームは他のフレームを参照フレームと用いている
ため、各MBごとに指定された動きベクトルに従い、参
照フレームから画素を読み込み、IDCTの計算結果に
加算する必要がある。この動き補償処理をブロック10
4において行う。動き補償によって得られた復号画像
は、メモリコントローラ11を介して、メモリ2内のフ
レームメモリに格納される。
【0004】上記フレームメモリが必要とされる理由
は、I,Pフレームの復号画像については、その後のB
フレームの復号の参照データとして用いる必要があり、
このため、必ず2フレーム分の画像データを上記のメモ
リ内に蓄えている必要があるためである。また、インタ
レースの場合、Bフレームの復号画像についても、フレ
ーム単位で符号化されている画像を、2つのフィールド
画像として分割して表示する必要があり、フレームメモ
リにおいて表示されるまでの間、復号画像を保持する必
要があるためである。連続してBフレームのフレーム復
号処理とフィールド表示を行うためには、やはりBフレ
ーム用に1フレーム分程度のメモリが必要となる。
【0005】したがって、メモリ2内の復号画像用フレ
ームメモリは、複数の画像フォーマットを復号する場
合、1フレームの画素数が最も多いフォーマットにおけ
る3フレーム分を格納するだけの容量を必要とする。
【0006】上記復号処理によって、メモリ2に格納さ
れた復号画像は、メモリコントローラ11を介して復号
画像読み出し部12によって読み出される。復号画像読
み出し部12は、I、P、Bフレームの復号順序をもと
に表示順序を決定し、メモリ2内の該当するフレームメ
モリよりデータを読み出す。このとき、復号時に解析さ
れた水平画素数、垂直走査線数に基づき、メモリ空間か
ら必要な画素数分だけデータを読み出す。インタレース
画像の場合は、フィールド単位で読み出され、プログレ
ッシブ画像の場合は、フレーム単位で読み出される。読
み出された復号画像は水平垂直画素数変換部13に転送
され、接続されたディスプレイの解像度に適合するよう
に解像度が変換される。この後、表示ユニット14に送
られ図示されていない外部のディスプレイに同期信号と
ともに画素データが出力される。上記の復号および出力
処理行うため、タイミング発生ユニット15は、フレー
ム同期信号、フィールド同期信号を生成し、各ブロック
に配信する。
【0007】図17(a)に60i画像を復号し、60
pディスプレイもしくは60iディスプレイに出力する
場合の復号および出力周期を示す。図中例えばI1は、
Iフレームで1番目に復号されたフレームを意味する。
B3、P4などはそれぞれBフレーム、Pフレームを表
し、それぞれ3番目、4番目に復号されたフレームを意
味する。復号ブロック10では図17の処理300に示
すように、1/30sec期間内に1フレームの復号処
理を行う。このとき、60pの信号を入力とするディス
プレイが接続されている場合は、図17の処理301の
ように、各1/60sec期間内にフレーム出力する
が、入力画像60iのフレームレートは30Hzである
ため、出力時には2フレーム間同じ復号フレームの画像
から出力しなければならない。例えば、処理301中の
B2出力310はB2のフレーム出力のためには、表示
順序で1フィールド目のB2データを水平垂直画素数変
換ブロック13で補間し、フレームデータにして出力す
る。同様に、処理301中の出力311のB2のフレー
ム出力のためには、表示順序で2フィールド目のB2デ
ータを水平垂直画素数変換ブロック13で補間し、フレ
ームデータとして出力する。60iの信号を入力とする
ディスプレイが接続されている場合は、図17の処理3
02のように、各1/60sec期間内に各フィールド
を出力する。なお、図中EV、ODの記号はそれぞれ出
力ディスプレイの偶数ラインフィールド、奇数ラインフ
ィールドを意味する。
【0008】次に図17(b)に60p画像を復号し出
力する処理を示す。処理303に示すように復号ブロッ
ク10では、1/60sec期間内に各フレームのデコ
ードを完了する必要がある。このとき、60pの信号を
入力とするディスプレイが接続されていれば、1/60
secごとに各フレームデータをプログレッシブ表示す
る。入力データも60pであることから、図17の30
4に示すように各フレームは入力画像の各フレームに1
対1に対応する。次に、60i信号を入力とするディス
プレイが接続されていれば、1/60secごとにフィ
ールド画像を出力する必要があり、この場合、各フイー
ルド画像は、各プログレッシブフレームから解像度変換
されて出力される。
【0009】
【発明が解決しようとする課題】上記のように、フレー
ムレートや、走査方式が異なる複数種類ビデオビットス
トリームを入力とし、複数種類のディスプレイに出力可
能にするためには、それぞれのフォーマットを復号、表
示するための処理スピードや動作タイミングが異なるた
め回路が複雑になるという課題があった。また、各入出
力フォーマットに応じて回路の設定を変更する際、たと
えば画面表示途中で新たなビットストリームのために設
定を変更すると、外部への同期信号が切り替わり、出力
画像が乱れるという課題があった。
【0010】本発明の目的は、上記問題を解決し、例え
ば60pと60iのようにフレームレートや走査方式が
異なる符号化ビデオビットストリームおよび出力ディス
プレイに対して復号および出力できる回路を簡素化し、
安価に提供できるようにすることである。また、異なる
フォーマットのビットストリームが連続して入力された
ときに設定を変更しても、復号画像を乱さずに出力する
装置を提供することである。
【0011】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、ラインを順次表示するプログレッシブ走
査方式を有する符号化されたビットストリームおよびラ
インを交互に表示するインタレース走査方式を有する符
号化されたビットストリームを入力可能な入力手段と、
前記ビットストリームを復号する復号手段と、前記復号
手段により復号された画像情報を記憶する記憶手段と、
前記画像情報を前記記憶手段から読み出す読み出し手段
と、同じ周期でかつ異なる位相の第1および第2の同期
信号を発生するタイミング発生手段とを備えてなり、前
記インタレース走査方式を有するビットストリームが入
力されたとき、前記復号手段は、前記第1の同期信号に
同期してビットストリームを復号し、前記復号された画
像情報は前記記憶手段に記憶され、前記プログレッシブ
走査方式を有するビットストリームが入力されたとき、
前記復号手段は、前記第2の同期信号に同期してビット
ストリームを復号し、前記復号された画像情報は前記記
憶手段に記憶され、前記読み出し手段は、前記第1の同
期信号に同期して画像情報を前記記憶手段より読み出す
構成とする。
【0012】
【発明の実施の形態】まず、本発明の第1の実施形態に
ついて図面を用いて説明する。以下、同じ機能を持つブ
ロックに関しては、同一の番号を記す。本発明の第1の
実施形態は図15に示す18フォーマットのうち、下線
を付したフォーマットを復号可能なMPEG2ビデオ復
号出力装置とする。また、接続されるディスプレイは6
0iもしくは60pフォーマットを入力とするディスプ
レイであるとする。図1は、本実施形態のブロック図で
ある。図1中、1はデコーダ、2はメモリ、10は復号
ブロック、11はメモリコントローラ、12は復号画像
読み出し部、13は水平垂直画素数変換部、14は表示
ユニット、15はタイミング発生ユニット、16〜19
は外部端子を示す。
【0013】以下、図1を用いて本実施形態を説明す
る。まず、60i画像の符号化ビットストリームが入力
されたとすると、デコーダ1に入力されたビットストリ
ームは、一旦入力バッファメモリ100に格納され、メ
モリコントローラ11を介して外部のメモリ2に格納さ
れる。MPEG2の規格では、ある規定容量のバッファ
をビットストリーム用にもつことにより、各フレームご
との符号化量が変化しても、一定レートで復号したとき
にバッファがアンダフロー、オーバーフローしないこと
が保証される。このバッファをVBV(Video B
uffer Verification)バッファとよ
ぶ。本構成では、図2の21に示すようにメモリ2内に
最も画像サイズが大きい場合にビットストリームを格納
しうるだけのVBVバッファ領域をもち、ビットストリ
ーム内に指定されたデコード開始タイミングまでビット
ストリームをリングバッファ状に保持する。
【0014】その後、ビットストリームはデコード開始
タイミングにおいてバッファメモリ101に読み込ま
れ、102によって可変長復号処理が行われ、シーケン
スレイヤ、ピクチャレイヤ、マクロブロック(MB)レ
イヤなど規格に従って内容が解析される。MBレイヤ以
下の画素に関するデータは、ブロック103に渡され逆
量子化(IQ)後、逆DCT変換される。Iフレームの
場合、逆DCT変換の結果がそのまま復号画像の画素値
となり、メモリコントローラ11を介してメモリ2内の
後述のフレームメモリに格納される。Pフレームの場
合、逆DCT変換の結果は、同MBの動きベクトルで指
定される復号順序で最新参照フレームの該当画素データ
と加算されることで動き補償が行われる。この結果もま
た、メモリコントローラ2を介してメモリ2内のフレー
ムメモリに格納される。Bフレームの場合は、逆DCT
変換の結果は復号順序において最新2枚の参照フレーム
(IフレームもしくはPフレーム)を用いて動き補償が
行われ各MBの画素値が復号される。復号された結果は
メモリコントローラ2を介してメモリ2内のフレームメ
モリに格納される。
【0015】図2に示すように、メモリ2内には、第1
の参照画像格納領域(FM1)と第2の参照画像領域
(FM2)とBフレーム格納領域(FM3)と3つのフ
レームメモリが存在する。復号されたIフレームもしく
はPフレームはFM1もしくはFM2のうち復号順序で
古い方のフレームメモリに格納されることになる。従っ
て、FM1、FM2はIフレーム、Pフレームがデコー
ドされるたびに交互に新しいフレームで書き換えられ
る。Bフレームがデコードされた場合には、必ずFM3
のフレームメモリに書き込まれる。各フレームメモリ
は、デコードすべき画像フォーマットのうち最大の画素
数を持つフォーマットの1フレーム分の画素データを格
納するだけの容量を持つ。
【0016】例えば本実施形態では、図3より、最大の
解像度が1920x1088である。また、MPEG2
では、輝度、色差の各成分(Y、Cb、Cr)が4:
2:0フォーマットで符号化されており、Y水平2画素
x垂直2画素=4画素に対して1画素ずつCb,Crの
画素データが割り当てられる。従って1フレームメモリ
の容量は1画素につき1バイト必要であることから19
20x1088x(1+1/4+1/4)=約3MBy
te分になる。
【0017】図3に各FM1〜FM3のフレームメモリ
内の仮想的なメモリマップの一例を示す。実際のメモリ
マップは使用されるメモリの容量、サイズ、データバス
幅等で異なるが、図3に示すような仮想的なY、Cb、
Crのフレームメモリに置き換えて考えることができ、
一般性を失うことはない。各メモリ領域はそれぞれTo
pフィールドとBottomフィールドに分割され、マ
クロブロック(MB)が順番に配置されている。図3は
フレームピクチャのデコード時の各MBの該当位置概略
を示している。
【0018】MPEG2では、1MBはY成分では復号
画面単位であるピクチャ構造内で、水平16画素x垂直
16画素がMBの単位となる。例えば、1フレームの画
像がTopフィールド、Bottomフィールド混在し
た形で符号化されているフレームピクチャでは、図3に
示すように、Topフィールド、Bottomフィール
ドそれぞれにおいてMB0〜8159の長方形の領域に
示すように、水平16画素x垂直8画素がMBの単位と
なる。本実施形態では最大解像度時で水平1920画
素、垂直1088画素であることから、各フィールド内
で1920/16=120個のMBが8行アドレス内に
配置される。また垂直方向には1088/16=68個
のMBが配置され、総計120×68=8160MBが
各フィールド内に存在する。Cb,Crについては、1
MBに対応する画素数がフレーム内で水平8画素x垂直
8画素であり、Cb 、Crの各フィールド120個の
MBが4行アドレス内に配置される。一方、復号画面単
位がフィールドピクチャである場合、Y成分は各フィー
ルド内で水平16画素×垂直16画素がMBの単位とな
り、各120個のMBは16行アドレス内に格納され、
1フィールド内のMB数は、フレーム構造時の半分にな
る。図3の場合、フレーム構造時にMB0とMB120
の格納場所であったところに、MB0のデータが格納さ
れる。
【0019】フレームピクチャを復号する際、各MBの
復号時には、Topフィールド、Bottomフィール
ド両方の該当MB位置に復号画像が一度に書き込まれる
が、1フィールドごとに個別に符号化されているインタ
レース画像のフィールドピクチャの復号時には、Top
フィールド、Bottomフィールドいずれかの該当M
B位置だけ復号画像が書き込まれる。
【0020】以上の格納規則に従い、図1の復号ブロッ
ク10が各MB毎に復号が完了するごとに、各フィール
ド内の該当するMB内の位置のアドレスをメモリコント
ローラ11に出力し、メモリコントローラは該当する領
域にデータを書き込む。また、Pフレーム、Bフレーム
を復号する際に、FM1,FM2の領域内のデータを参
照フレームとして読み出す場合には、動き補償ブロック
104は動きベクトルで指定されたフレーム内の該当部
分に対して行アドレスおよび列アドレスを発行し、メモ
リコントローラ11を介して、画素データを読み出す。
【0021】復号する画像サイズが1920x1088
画素より小さい場合は、左上端のアドレスから復号画像
サイズ分の画像領域にデータを書き込む。例えば、12
80x720の60p画像を復号する際には、左上端か
ら水平方向1280/16=80MB、垂直方向には7
20/16=45MB分の矩形領域に復号画像を書き込
む。なお、プログレッシブ画像の場合にも、仮想メモリ
上では、Topフィールド、Bottomフィールドと
格納場所をフィールドごとに分けて補完することで、イ
ンタレース、プログレッシブ画像の復号時にメモリマッ
プを変更する必要は無い。
【0022】メモリ2のフレームメモリ部分FM1〜F
M3に格納された復号画像メモリは図1の復号画像読み
出し部12によって読み出される。Y,Cb,Crそれ
ぞれについて読み出されるべき画素位置の行アドレスと
列アドレスが復号画像読みだし部12よりメモリコント
ローラ11に送信され、メモリコントローラ11は該当
部分のデータをメモリ2より読み出す。インタレース画
像の場合には、インタレース走査で読み出すため、例え
ば、Topフィールドの画像はTopフィールド内で行
アドレスをひとつずつ増加させながら各水平ラインが読
み出される。一方、プログレッシブ画像の場合には、プ
ログレッシブ走査するため、Topフィールド、Bot
tomフィールドの各水平ラインが交互に読み出される
ことになる。
【0023】図4は、60i画像のビットストリームを
復号ブロック10で復号し、復号画像読みだし部12が
メモリ2から復号画像を読み出す際の動作タイミングを
示す図である。図4中30は、図1におけるタイミング
生成ユニット15が生成し、各ブロックに供給している
垂直同期信号vsync1、31は復号ブロック10が
復号中のフレーム、32は復号画像読みだし部12が読
みだしているフレームを示す。斜線部33は復号画像読
みだし部が読みだしを行わないブランク期間を表す。本
60iの復号例では、入力されたビットストリームの各
フレームはP,I,B,B,P,Bの順番で符号化され
ているものとし(最初のPフレームは図中の31内に示
されていない)、各フレームには0から符号化順に番号
を付記する。また、全フレームのうち、B5フレームの
み1stフィールド、2ndフィールドがフィールドピ
クチャとして符号化されており、残りはフレームピクチ
ャであるとする。
【0024】60i画像のビットストリームを復号する
場合、31に示すように、復号ブロック10はvsyn
c1に同期して復号を開始し、1/30secで1フレ
ーム分を復号する。復号時のメモリ2中Y成分領域への
書き込みアドレス(ここでは、メモリマップ図3におけ
る行アドレスを上位ビット、列アドレスを下位ビットし
たアドレスを意味する。)を縦軸とし、時間を横軸とし
た場合に、フレームメモリFM1〜FM3における各M
Bの書き込み位置を示したものが、実線34〜43であ
る。例えば、I1のフレームの復号時には、FM1に復
号画像データは書き込まれる。このときI1フレームの
ピクチャ構造はフレーム構造であるため、1MBが復号
されるごとに、Topフィールド、Bottomフィー
ルド各々に1/2MB分のデータが書き込まれる。した
がって、両フィールドへの書き込みは実線34、35の
示すようにほぼ平行に復号画像の書き込みアドレスは推
移していく。
【0025】その後のB2フレーム、B3フレームにつ
いても同様にフレームピクチャ構造であるため、Bフレ
ーム専用の領域であるFM3において、それぞれ実線3
6,37の組、実線38、39の組に示すように復号画
像の書き込みは推移する。P4フレームの復号について
は、最後に参照フレームとなるフレーム(この場合はI
1フレーム)が書き込まれたフレームと反対側の参照フ
レームメモリFM2に復号画像が書き込まれる。このと
き実線40、41の組に示すように書き込みアドレスは
推移する。
【0026】I,PフレームについてはBフレーム復号
時に参照フレームとして読み込みできるように、FM1
とFM2に交互に復号する。これにより、Bフレームの
復号時には、常に最新の2参照フレームがFM1、FM
2に存在し、両参照フレームの画像データをもとに動き
補償が可能となる。
【0027】引き続き、B5フレームの復号時には、F
M3に書き込まれるが、B5フレームは2つのフィール
ドピクチャから構成されているので、各々フィールドご
とに復号処理が進む。従って、実線42、43のように
それぞれ連続する1/60sec内に復号される。各1
/60secのフィールドデコード処理の開始は、図4
中30のvsync1に同期している。
【0028】次に、復号画像読みだし部12の動作につ
いて説明する。復号画像読みだし部12は、FM1〜F
M3に格納された復号画像をvsync1に同期した1
/60secごとにフィールド単位で読み出していく。
このとき、図4の行32に示すように、復号されたフレ
ーム順序を表示順序に並べ替え、各1stフィールド、
2ndフィールドを交互に出力する。
【0029】図4中32のP01stはP0フレームの
1stフィールド、P02ndはP0フレームの2nd
フィールドを意味する。ここでは、復号画像フレームの
読みだし順序は、P0、B2、B3、I1、B5となり
復号順序と異なる。これは、Bフレームの復号時には、
表示順序において該当Bフレーム以前で最新のIもしく
はPフレームと、該当Bフレーム以降で該Bフレームに
最近のIもしくはPフレームを参照画像とするため、後
者のIもしくはPフレームを符号化時にBフレームより
も早く復号するためである。このため、例えば本ビット
ストリームの例では、I1はB2、B3の参照画像とす
るためにB2,B3に先立って符号化されていたもの
を、表示の際には、B2,B3の後に並べ替える必要が
ある。
【0030】フレームピクチャ構造をもつBフレームを
各フィールドに分割して表示する際、復号期間に対して
1フィールド期間すなわち1/60secの遅延を必要
とする。もし、遅延が1/60sec未満の場合、例え
ばB2の復号時に実線36、37で書き込みが完了した
アドレス空間を、破線44および45でフィールドにお
いてラインごとに読みだしている際に破線44が実線3
6と交差し、すなわち復号が未完了の画像位置を復号済
みの画像として表示することになり、出力画像が乱れる
ことになる。また、1/60sec以上の遅延の場合、
破線45と次のフレームの復号画像書き込み処理の実線
39が交差し、すなわち復号画像の処理が未完了の位置
に新たな復号画像を書き込むことになり、やはり出力画
像が乱れることになる。
【0031】従って,復号画像の読みだし部12は、復
号画像の並べ替え、およびBフレームにおける復号処理
と復号画像読みだし処理の衝突を避けるために、復号処
理の1/30sec単位のvsync1から1/60s
ecだけずれた各vsync1において、前1/60s
ec期間中に復号されていたフレームメモリ(FM1〜
FM3)を復号ブロック10より受け、次の1/30s
ec中に表示すべきフレームメモリを決定する。すなわ
ち、各1/60sec期間ごとに順番に番号をつけ、n
番目の期間に復号されていたフレームメモリをFMnと
した場合、FMn=FM1の場合(n+1)と(n+
2)番目の期間にはFM2の内容を表示し、FMn=F
M2の場合、(n+1)と(n+2)番目の期間にはF
M1の内容を表示する。そして、FMn=FM3の場
合、(n+1)と(n+2)番目の期間には、FM3の
内容を表示する。
【0032】かかる並べ換えの手段により表示すべきフ
レームを決定し、1stフィールドと2ndフィールド
を交互に表示(図4の例では、1stフィールドがto
pフィールド、2ndフィールドがbottomフィー
ルドに対応)する場合の表示アドレス位置を点線44〜
51に示す。
【0033】図5は図4の円で囲ったB2フレームとB
3フレームの復号が続くフレーム境界における様子を拡
大した図である。図中36〜39は復号画像の書き込み
推移を表すが、復号時には、各MBごとに書き込みが行
われるため、図3の水平120個のMB分を復号をして
いる最中は、各フィールドの8行ライン内で行アドレ
ス、列アドレスともに前後にアクセスすることになり、
各8ラインの復号処理のアドレス推移を概略的に示すと
微小な長方形状になる。このため、実線36〜39中に
は垂直方向のMB数分だけの段数が生じることになる。
一方、復号画像読みだし時のアドレスは均一に各ライン
を一本ずつ読み出すため、アドレスの推移は連続増加と
なる。したがって、破線はほぼ一直線となる。
【0034】復号画像の書き込みタイミングと復号画像
読みだしタイミングの間には1/60secの遅延が生
じる説明で述べたとおり、正しい復号画像を出力するた
めには、復号画像書き込み曲線である実線36〜39
と、復号画像の読みだし曲線44〜45は交差してはい
けない。このため、復号画像の書き込み直線36と復号
画像読みだし曲線44が最も接近する部分では、top
フィールドの最後の120MB分の8ライン分が復号完
了するまで、その8ライン分の復号画像読みだしは開始
しないようになっている。
【0035】同様に、復号画像読みだし曲線45と復号
画像の書き込み直線39とが最も接近する部分では、b
ottomフィールドの最初の8ライン分を表示完了す
るまでは、次のフレーム最初のMBの復号が開始されな
いようになっている。この条件を保証し、復号画像書き
込み処理と復号画像読みだし処理が平均的に推移するよ
うに復号ブロック10および復号画像読みだし部12は
処理を行うことで、復号と出力の両者の関係に破綻をき
たすことなく動作可能である。
【0036】なお、1フィールド期間中、斜線で示すよ
うに、有効画素領域の通常上下部分には帰線期間が設け
られる。この期間中は、復号画像読みだし処理がストッ
プするため、復号画像書き込み処理および、復号読みだ
し処理は帰線期間以外の有効画素期間内で平均的な速度
で行われるものとする。
【0037】以上のように60iのビットストリームを
入力とし、復号処理した結果を、復号画像読みだし部1
2は60iのインタレース画像として各フィールドごと
に平均的な画素レートでデータを読みだし、水平垂直画
素数変換部13に出力する。なお、上記説明では、Y成
分についてのみ説明したが、Cb,Cr成分についても
同様の復号処理、復号読みだし処理を行うことで、Y,
Cb,Crの各画素を同時に水平垂直画素数変換部13
に出力することが可能である。
【0038】次に図6を用い60p画像のビットストリ
ームを復号ブロック10で復号し、復号画像読みだし部
12がメモリ2から復号画像を読み出す際の動作タイミ
ングについて説明する。60p画像の復号時には、本実
施形態では、60iで復号開始タイミングとして使用し
た垂直同期信号vsync1の代わりに、異なる位相を
もつ60Hzの垂直同期信号vsync2に同期して各
フレームの復号を開始する。vsync2も、vsyn
c1と同様、図1におけるタイミング生成ユニット15
が生成し、各ブロックに供給する。各フレームの復号
は、このvsync2に同期して、1/60sec中に
平均的に復号処理が進むように制御する。
【0039】本60pの復号例では、図6の61に示す
ように入力されたビットストリームの各フレームは、
P,I,B,B,P,B,B,P,B,B,Pの順番で
符号化されているものとし(最初のPフレームは図中の
61に示されていない)、図1中の復号ブロック10
は、60iのフレーム構造ピクチャの復号時と同様各フ
レームのMBを順番にデコードしていく。プログレッシ
ブ画像では、Topフィールド、Bottomフィール
ドの区別はないが、メモリマップの管理上は60i時と
同様にフレームを1ライン置きにTopフィールド領
域、Bottomフィールド領域に分けて格納するもの
とする。従って、各フレームの復号画像の書き込みアド
レスの曲線は、例えば、階段状の実線63、64のよう
にTopフィールド領域、Bottomフィールド領域
にほぼ平行に推移する。
【0040】図6の、61は復号ブロック10が復号中
のフレーム、62は復号画像読みだし部12が読みだし
ているフレームを示す。各フレームの復号画像を格納す
るフレームメモリFM1〜FM3の選択方法については
60iの復号時と同様であり、I,P,Bのピクチャ種
別より決定する。ただし、60iの場合、各vsync
1のパルスに時間順に番号をつけ、n番目のvsync
1のパルスから1/60sec期間に復号されていたフ
レームメモリをFMnと考えたが、60pの場合には、
vsync1およびvsync2の両方のパルスの論理
和をとったパルスvsync3を考えて、各vsync
3のパルス間の期間に時間順に番号をつけ、n番目の期
間に復号されていたフレームメモリをFMnと考える。
このとき、FMn=FM1の場合(n+1)と(n+
2)番目の期間にはFM2の内容を表示し、FMn=F
M2の場合、(n+1)と(n+2)番目の期間にはF
M1の内容を表示する。そして、FMn=FM3の場
合、(n+1)と(n+2)番目の期間には、FM3の
内容を表示する。この並べ換え判定を各vsync1=
1のタイミングで行い、次の1/60sec期間に出力
フレームをFM1〜FM3の中から決定する。
【0041】次に、復号画像読みだし部12の動作につ
いて説明する。復号画像読みだし部12は、FM1〜F
M3に格納された復号画像を図中30のvsync2に
同期した1/60secごとにフレーム単位で読み出し
ていく。このとき、図6の62に示すように、復号され
たフレーム順序を表示順序に並べ替え、プログレッシブ
画像フレームとして出力する。すなわち、FM1〜FM
3内のTopフィールド領域、Bottomフィールド
領域の各ラインを交互に出力する。このため、復号画像
読みだし曲線は、図6のFM1〜FM3領域内に示した
破線のようになる。
【0042】例えば、破線69、70は実線65、66
で書き込まれたFM3内のB2画像をTopフィールド
領域、Bottomフィールド領域から1ラインずつ交
互に読み出す様子を示している。B2画像の復号後、実
線67,68に示すように、B3画像が同じFM3領域
に書き込まれる。このとき、B2フレームの復号画像書
き込み開始、B2フレームの復号画像読みだし開始、そ
してB3フレームの復号画像読みだし開始タイミング
は、それぞれvsync1、vsync2、vsync
1に同期しており、しかもそれぞれほぼ同期間(1/6
0secから帰線期間分を除いた期間)で1フレームの
画面内をアドレスが均一に遷移するため、復号画像書き
込み動作と、復号画像の読みだし動作でアドレスが衝突
することはない。図6においては、vsync1、vs
ync2の位相は半周期異なるものであるが、位相差が
半周期でなくとも上記の読み出し動作は可能である。こ
のように、同フレームに連続したフレームの復号画像を
書き込む場合が、もっとも復号画像の読みだし動作と接
近する場合であり、他のFM1、FM2においても本動
作タイミングによって正しい復号処理および読みだし処
理が保証される。
【0043】上記60iおよび60pの復号動作の説明
のように、復号画像の開始タイミングをそれぞれの場合
でvsync1とvsync2の異なる位相の60Hz
の信号に同期させ、さらに復号画像の読みだしについて
は60iおよび60p両方の場合において、vsync
1に同期させることで、それぞれの復号動作を正しく行
うことができる。上記の60p、60iの動作の切り替
えの方法については、図1において端子16を介して、
図中にないコントローラが入力ビットストリームが60
i、60pのどちらの画像を含むかを教示することによ
り、可変長復号回路102はデコード開始タイミングを
vsync1とvsync2の二つから選択することが
可能である。また、端子17を介して、図中にないコン
トローラが入力ビットストリームの60p、60i種別
および、画像サイズなどを復号画像読みだし部12に教
示することにより、復号画像読みだし時の走査方式を切
り替える。
【0044】次に、図7を用いて復号画像読みだし部1
2の復号画像アドレス出力までの回路を詳細に説明す
る。復号画像読みだし部12は、可変長復号部102か
ら各フレームもしくはフィールド単位のデコード情報を
受ける(以下デコード情報と記す)。この情報をvsy
nc1とvsync2より生成したvsync3を取り
込みタイミングとしてデコード情報遅延回路120に格
納する。このデコード情報には、各復号画像の書き込み
フレーム(FMdec)、topフィールドがフレーム
中1stフィールド期間に出力されるべきかどうかのフ
ラグ(TopFie1st)が含まれる。
【0045】MPEG2規格では、TopField1
stと呼ばれるフラグが各フレーム構造のピクチャヘッ
ダ情報に書き込まれており、フレームピクチャの場合
は、このフラグがそのままTopFie1stフラグに
対応する。(1stフィールドにTopフィールドを出
力する場合はTopFie1st=1)一方、フィール
ドピクチャの場合には、1stフィールド期間にTop
フィールドピクチャが復号される場合、もしくは、2n
dフィールド期間にBottomフィールドピクチャが
復号される場合、TopFie1st=1となり、1s
t期間にBottomフィールドピクチャが復号される
とき、もしくは2ndフィールド期間にTopフィール
ドピクチャが復号される場合には、TopFie1st
=0となるように加工されている。
【0046】120に取り込まれるデコード゛情報のう
ち、デコードフレームメモリに関する情報FMdec
は、フレーム情報遅延回路1200に記憶されvsyn
c3の1期間分遅延され、回路121に出力される。一
方、各フレームのTopFie1st信号は、FMデー
タ格納レジスタ1201内に格納される。このとき、F
Mdecによって該当するフレームメモリの格納場所に
入力される。
【0047】これらのデータを取り込むタイミングvs
ync3は、60i画像の復号の場合にはvsync1
であり、60p画像の復号の場合、vsync1とvs
ync2の論理和になるよう、回路122で選択され
る。
【0048】回路121では、復号画像を読み出すべき
フレーム(FMread)と、インタレースの場合に
は、表示すべきフィールドがtopフィールドかbot
tomフィールドの情報を決定し、アドレス発生回路1
24に送る。FMreadの決定方法は、各vsync
3のパルス間の期間に時間順に番号をつけ、n番目の期
間に復号されていたフレームメモリをFMnと考えると
き、FMn=FM1の場合(n+1)番目の期間にはF
M2の内容を表示し、FMn=FM2の場合、(n+
1)番目の期間にはFM1の内容を表示する。そして、
FMn=FM3の場合、(n+1)番目の期間には、F
M3の内容を表示する。
【0049】この並べ換え判定を各vsync1=1の
タイミングで行い、次の1/60sec期間に出力フレ
ームをFM1〜FM3の中から決定する。この決定法則
は60i画像、60p画像で共通である。また、インタ
レース画像の場合には、回路121内では、現在のフレ
ームのフィールド期間をvsync1ごとに1stフィ
ールド、2ndフィールドと交互にトグル動作してお
り、決定したFMreadに対応するTopFie1s
t情報を1201から入力する。そして現在のフィール
ド期間に対応するフィールドがTopフィールドかBo
ttomフィールドかを決定する(top/btm情
報)。
【0050】回路123はラインカウンタであり、vs
ync1によってリセットされ、帰線期間を含めて現在
の走査位置をアドレス発生部に知らせる。走査スピード
については、外部端子17より与えられた60p、60
i種別情報および画像サイズ情報をもとに変更される。
この走査位置情報と、回路121から与えられたFMr
ead情報および、top/btm情報よりアドレス発
生回路124は、読み出すべき復号画像のアドレスを算
出し、メモリコントローラ11に出力する。アドレス発
生回路124にも、外部端子17からの60p、60i
種別情報が与えられており、60iの場合には、回路1
21から送られたtopもしくはbtmいずれかのフィ
ールド内でラインカウンタ123からのライン位置に対
してアドレスを計算する。一方、60pの場合には、回
路121から送られたtop/btm情報ではなく、ラ
インカウンタの最下位ビットをtop/btm情報とし
て用い、この情報で示されたいずれかのフィールド内
で、ラインカウンタの値を1/2した位置に対してアド
レス計算する。一般に復号画像読みだし部12内では、
回路120〜123の部分は回路規模が大きいが、本実
施形態では、60p、60iの両方の復号動作時におい
て一部の小規模な信号切替回路を除いて共通に用いるこ
とができ、回路削減の点で有利である。
【0051】図1に示すように、復号画像読みだし部1
2から出力された復号画像は、水平垂直画素数変換部1
3にて解像度変換される。水平垂直画素数変換部13で
は、復号画像の各成分Y,Cb,Cr成分はそれぞれ図
8に示すようなデーターフローで画素数変換が行われ
る。まず水平方向解像度変換部130でフィルタ処理、
水平方向のアップサンプリング/ダウンサンプリングが
施され、水平方向の画素数変換が行われる。
【0052】図9(a)に水平解像度変換部130の動
作原理を示し、以下説明する。解像度変換比率がNh/
Mh倍の場合(ただし、Nh,Mhは正の整数とす
る)、まず133の黒丸で示した入力画像をNh倍にア
ップサンプリングする。これは、各入力画素間に、(N
h−1)個ずつ0の値を持つ画素(134内の白丸)を
挿入することに等価である。図9(a)の134ではN
h=2倍のアップサンプリングに相当する。次に、アッ
プサンプリング後の各画素に対して、近傍の数点に係数
を乗じ全て加算することである帯域の高周波成分を除去
するローパスフィルタ(LPF)を施す。例えば、タッ
プ数(係数を乗じる画素数)=5のフィルタをa点に対
して施す際、係数を乗じて加算する範囲を134、13
5間の破線に示す。この処理により、アップサンプリン
グ、ダウンサンプリングによって生じるイメージング成
分/エリアジング成分を取り除き変換後の歪を低減す
る。LPF135の出力は、次に1/Mhにダウンサン
プリングされる。これは、136に示すようにMh画素
中にひとつずつ画素が残るよう間引きを行うことと等価
である。
【0053】図9(a)136の場合は、Mh=3に相
当する。結果として、解像度比率がNh/Mh=2/3
倍の解像度を変換した画素群が得られる。以上の処理
で、Nh>Mhの場合には拡大処理、Nh<Mhの場合
には縮小処理の水平方向解像度変換が可能となる。実際
に水平解像度変換部130での処理は、136示すアッ
プサンプル/ダウンサンプル後に残る画像に対してのみ
必要なフィルタ処理を行う。また、アップサンプル時に
挿入された0値の画素位置に対しては、係数乗算を省略
する。したがって、図9(b)の133、136間の斜
線に示すように、最終的な画素位置の近傍においてフィ
ルタタップ数の範囲に入る変換前の画素位置についての
み係数乗算および加算を行い、アップサンプリング/ダ
ウンサンプリングの処理はフィルタ処理時の係数乗算を
行う画素を各画素ごとに適宜選択することによって実現
される。
【0054】上記Nh/Mh倍の値は、(入力復号画像
の水平解像度)/(出力ディスプレイの水平解像度)に
相当する。従って、本実施形態の回路では外部端子18
を介して水平画素数変換部における、Nh、Mhの値を
自由に設定できるようにし、任意の入力復号画像、およ
び出力ディスプレイの組み合わせに適応可能である。ま
た、Mh、Nhの値のうちの最大値をLh(=max
(Mh、Nh))とすると、エリアジングあるいはイメ
ージング成分による画素歪を除去するためには、一般的
にはLが大きいときほど広帯域の高周波成分を除去する
必要が生じる。一方、高周波成分を除去すると画像のシ
ャープネスが失われるため、Nh、Mhの比率に応じて
フィルタ係数を適切に選択することが望ましい。したが
って、Mh,Nhの設定値に応じて水平方向のフィルタ
係数を端子18を介して外部から設定できるようにす
る。これにより、各入力画像、出力ディスプレイの組み
合わせにおいて適切な画質を得ることができる。
【0055】水平方向の画素数変換された各ライン分の
画素データは図8内に示すラインメモリ131内に複数
存在するラインバッファのうちの一本に格納されてい
く。ラインメモリ131内には次の垂直方向の画素数変
換時に必要な本数のラインバッファが用意されており
(T本とする)、水平解像度変換部130からの出力が
格納されるラインバッファは、T本中から巡回的に選択
される。
【0056】Tライン内の水平位置が同じの画素データ
は同時に垂直方向解像度変換部131によって読み出さ
れ、垂直方向のローパスフィルタ処理、垂直方向のアッ
プサンプリング/ダウンサンプリングが施され、垂直方
向の画素数変換が行われる。アップサンプリング/ダウ
ンサンプリングおよびフィルタリングよって解像度変換
が行われる原理については、水平方向の解像度変換を垂
直方向にしたものと同様である。
【0057】ただし、topフィールドとbottom
フィールドでフィルタ処理が異なる場合は、個々のフィ
ールドごとに設定したフィルタ係数値を用いる。例え
ば、60iの入力画像に対して、60i対応の外部ディ
スプレイに出力する場合には、各フィールド内の画像デ
ータから出力フィールドの画像を生成するが、topフ
ィールド、bottomフィールドで垂直方向に1ライ
ンのサンプリング位置のずれがあるため、両フィールド
の変換時では変換前後で対応する画素同士の垂直位置関
係が異なる。したがって、本実施形態ではtopフィー
ルド時,bottomフィールド時で各々変換前後の画
素位置関係に適したフィルタ係数設定、それらを交互に
切り替えてフィルタ処理する。同様に60iの入力画像
を変換して、60p出力する場合には、各フィールド内
の画素データからフレーム画像を生成するため、各入力
フィールド時で変換前後の画素関係が異なる。このとき
もフィルタ係数を各入力フィールドごとに切り替える。
また、60pの入力画像を変換して、60i出力する際
にも入力フレームから出力時のtopフィールド、bo
ttomフィールドを生成するため、両フィールドへの
変換は変換前後の画素関係が異なる。このときも、各出
力フィールドごとに使用するフィルタ係数を変更する。
60pの入力画像を変換して60pの出力画像を得る場
合は、フレーム画像からフレーム画像への変換であるた
め、全てのフレームでの変換前後の画素の位置関係は同
じである。この変換時には常に同じフィルタ係数を用い
る。
【0058】水平方向解像度変換部130と同様に、垂
直方向解像度変換部132の変換率をNv/Mv倍(N
v,Mvは正の整数)とすると、垂直方向解像度変換部
132のアップサンプリングレート=Nv倍、ダウンサ
ンプリングレート=Mv倍となる。外部端子18を介し
この両パラメータNv、Mvの値を自由に設定できるよ
うにすることで、任意の入力復号画像、および出力ディ
スプレイの組み合わせに適応可能になっている。Nv、
Mvの比率に応じてフィルタ係数を選択できるように
し、Mh,Nhの設定値に応じて垂直方向のフィルタ係
数を端子18を介して外部から設定する。また、Top
フィールドとBottomフィールドについて別々のフ
ィルタ係数を記憶する。
【0059】以上のように、水平垂直画素数変換部13
で復号画像は出力ディスプレイの解像度に適合するよう
に変換され、図1の表示ユニット14に出力される。表
示ユニット14では、外部端子19より外部に接続され
ているディスプレイの同期信号フォーマット、画素周波
数等を指示され、解像度変換後の画像を外部のディスプ
レイが同期可能な同期信号とともに出力する。
【0060】上記構成を持つ符号化ディジタルビデオ復
号装置により、図17の各解像度における下線を付した
フォーマット(フレームレートおよび走査方式)を持つ
入力ビットストリームを60pもしくは60iのディス
プレイに出力することが可能となる。
【0061】次に、本発明による第2の実施形態を図1
0を用いて説明する。本実施形態では第1の実施形態と
同様図17の18フォーマットのうち、下線を付したフ
ォーマットを復号可能なMPEG2ビデオ復号出力装置
とする。また、接続されるディスプレイは60iもしく
は60p フォーマットを入力とするディスプレイであ
るとする。本発明の第1の実施形態では、入力ビットス
トリームが60pもしくは60iのいずれのタイプかを
外部のコントローラより指示したが、本発明第2の実施
形態では、入力ビットストリーム内の情報よりデコーダ
部1が判定し、復号動作が同期するvsync1とvs
ync2の信号を切り替える。また、現在の復号画像フ
ォーマットを復号画像読みだし部12に指示し、復号画
像読みだし部12は表示フォーマットの切り替わりタイ
ミングを算出する。本実施形態の構成および機能は、第
1の実施形態と大部分で共通であるため、以下、第1の
実施形態と異なる部分について説明する。
【0062】MPEG2ビデオの規格では、複数のフレ
ームの集合であるシーケンスごとに、フレームレート、
画像の走査方式およびフレームサイズ等の情報を含んだ
ヘッダ部が存在する。本発明第2の実施形態では、可変
長復号部102では初期状態では、vsync1に同期
して、復号バッファメモリ101にリード要求リクエス
トを出し、データを読みだす。そして、復号画像の各フ
レーム情報もしくはフィールド情報を解析開始しようと
するが、上記シーケンスのヘッダ情報部(以下Seq情
報と記す)がそれに先立って存在する場合は、まずこの
Seq情報を解析する。本実施形態では、このSeq情
報内に示された60p、60i情報に基づいて復号処理
の開始タイミングが同期する同期信号をvsync1と
vsync2で切り替える手段を可変長復号回路102
内に備える。
【0063】可変長復号部でSeq情報が解析された場
合、かかる情報は復号画像読みだし部12に送られる。
Seq情報が以前と変わらない場合には、現在の復号タ
イミングが同期している同期信号vsync1またはv
sync2において、このSeq情報を復号画像読みだ
し部12に渡すが、Seq情報が以前と切り替わった場
合、復号処理の開始タイミングが切り替えられたあと
に、復号画像読みだし部12に出力される。
【0064】図11に示すように復号画像読みだし部1
2では、このSeq情報内の復号画像フォーマット60
p、60iによって復号画像の並べ替えのためのvsy
nc3を回路122によって選択するが、Seq情報の
切り替わりがvsync3に反映されるまで、回路12
5によって一定遅延を設ける。すなわち、復号画像のフ
レーム順序の入れ替え作業の動作タイミングが変更され
まで、回路125分の遅延が生じる。
【0065】vsync3にSeq情報の切り替わりが
反映された後、実際の表示中のフレームもしくはフィー
ルドのライン走査スピードおよびアドレス発生回路にお
ける走査方式が変更されるまでには、さらに変更後のv
sync3の1期間分の遅延が回路126によって付加
される。以上のタイミング遅延回路125、および12
6により、復号回路10側で復号するシーケンスが切り
替換えられた場合、新しい画像フォーマットのシーケン
スが復号が始まっても、その復号画像を正しく表示でき
るタイミングが来るまで、古いシーケンスの内容を表示
することができる。
【0066】また、シーケンスが切替前のSeq情報
と、切替後のSeq情報’を表示Fr/Fi選択回路1
21に入力する。もし、Seq情報とSeq情報’が異
なる場合、Fr/Fi選択回路121は復号画像の復号
処理が新しいシーケンスを復号中で復号画像読みだし部
12が古いシーケンスの内容を表示する間とみなすこと
ができる。この場合、デコード情報遅延回路120から
の情報に加えて、後述の例外処理により復号画像読みだ
しフレーム(もしくはフィールド)を決定する。タイミ
ング遅延回路126によって得られた、復号画像読みだ
しフォーマットが切り替わるタイミングは、水平垂直画
素数変換回路13に転送される。
【0067】次に、本実施形態における水平垂直画素数
変換回路13について述べる。水平垂直画素数変換回路
13では、水平方向解像度変換部130におけるフィル
タ係数設定および、解像度変換比率に関する設定を13
00と1301の直列の2段もっており、外部端子18
から与えられた設定値は1301に保持され、上記復号
画像読みだし部12から与えられた切替タイミングにお
いて設定値1300に転送される。同様に、垂直方向解
像度変換部132においても、1320と1321の設
定値をもっており、これも復号画像読みだし部12から
の切替タイミングによって値の転送が制御される。これ
により、切替タイミングに先立ってあらかじめ設定した
切替後のフィルタ設定値等を、vsync1=1である
フレームもしくはフィールドの切替タイミングにおいて
一度に変更することが可能となる。
【0068】以下、入力ビットストリームが60iから
60pに変更される場合について図13を用いて説明す
る。vsync1に同期して、Seq情報を解析した結
果、Seq情報内のフレームレート情報および走査方式
に関する情報が60i画像を示す場合、図13の復号処
理を示した行の400より左側部分のように、vsyn
c1に同期して各フレームの復号を続ける。そして、S
eq情報が60p画像を示す場合、図13の400に示
すように、一度、復号処理を中断し、次のvsync2
信号が1になるまで待機する。この後、図13の400
より右側の復号処理に示すように、vsync2信号が
1になった時点でフレームデータ復号を続行する。その
後、60iのSeq情報が到来するまでは、vsync
2に同期して各フレームを復号する。
【0069】復号ブロック10より切替後のSeq情報
は、タイミング401において復号画像読みだし部12
内のタイミング遅延回路125(図11)に送られる。
この回路125により、Seq情報はvsync1とv
sync3の論理和の同期期間で2期間分遅延させら
れ、タイミング402でvsync3はvsync1か
らvsync2に図11の回路122によって切り替え
られる。タイミング401から403の間の期間中、図
11のSeq情報とSeq情報’は異なるため、回路1
21はFM1もしくはFM2のうち最終復号されたフレ
ームを表示するよう通常動作と異なる例外的なフレーム
選択を行う。これは、図13の401〜403間は既に
60pの復号処理が始まっており、vsync1に同期
した60iのフレーム決定タイミングと異なるためであ
る。本実施形態では、60i復号時の最終フレームを繰
り返し表示する。タイミング403以降は、通常の60
pの復号画像フレーム順序入れ替え作業および出力が行
われ、切替後の60pSeq情報に従った画像サイズに
適切な走査スピードおよび走査方式で復号画像を読み出
す。また、タイミング403は、水平垂直画素数変換部
13に転送され、これ以降、切替後60pに適切なフィ
ルタ係数および解像度変換比率を用いて画面が出力され
る。
【0070】次に、入力ビットストリームが60pから
60iに変更される場合のそれぞれについて図14を用
いて説明する。vsync2に同期して、Seq情報を
解析した結果、Seq情報のフレームレートおよび走査
方式に関する情報が60p画像を示す場合、図14の復
号処理を示した行の410より左側部分のように、vs
ync2に同期して各フレームの復号を行う。そして、
Seq情報が60i画像を示す場合、図14の410に
示すように、一度復号処理を中断し、次にvsync1
信号が1になるまで待機する。この後、図14の411
に示すタイミングよりvsync1に同期してフレーム
データ復号を続行する。その後60pの情報が到来する
までは、vsync1に同期して各フレーム構造ピクチ
ャもしくはフィールド構造ピクチャを復号する。
【0071】復号ブロック10より切替後のSeq情報
は、タイミング411において復号画像読みだし部12
内のタイミング遅延回路125(図11)に送られる。
の回路125により、Seq情報はvsync1で2期
間分遅延させられ、タイミング412でvsync3は
vsync2からvsync1に図11の回路122に
よって切り替えられる。図14のタイミング411から
413の期間中、図11のSeq情報とSeq情報’は
異なるため、回路121はFM1もしくはFM2のうち
最終復号されたフレームを表示するよう通常動作と異な
る例外的なフレーム選択を行う。60pから60iへ復
号処理が切り替わるとき60iの復号が開始されてか
ら、60iの復号画像が表示されるまで、414〜41
6のように60p画像で3フレーム間の遅延が生じる。
したがって、上記例外的フレーム選択処理によって最新
のフレームが繰り返し表示される。
【0072】タイミング412以降は、通常の60iの
復号画像フレーム順序入れ替え作業および出力が行わ
れ、タイミング413以降は、切替後の60iSeq情
報に従い、画像サイズに適切な走査スピードおよび走査
方式で復号画像を読み出す。また、タイミング413
は、図10の水平垂直画素数変換部13に転送され、こ
れ以降、切替後60iに適切なフィルタ係数および解像
度変換比率を用いて画面が出力される。
【0073】以上のように、本発明第2の実施形態で
は、60p、60iと入力ストリームの画像フォーマッ
トが切り替わっても、復号処理、復号処理の読みだし期
間のずれの間も切替前の画素フォーマットで表示するこ
とが可能である。また、復号画像読みだし部12およ
び、水平垂直画素数変換部13において設定値を切替タ
イミングで瞬時に切り替えることができ、ビットストリ
ーム間のつなぎ目で画像が途切れることなく復号画像を
出力可能となる。また水平垂直画素数変換部13から出
力ユニット14に出力している画像フォーマットは、切
替タイミング前後で変化がないため、ディスプレイに出
力している同期信号も乱れることはない。
【0074】なお、本実施形態では、復号画像の画像フ
ォーマットが切り替わったとき、切替前の復号画像を表
示する際、FM1もしくはFM2のうち最新の復号フレ
ームを出力するような例外処理を、図11の回路121
で行うと述べたが、これをFM3を含めて最後に表示し
たフレームを表示したり、あるいは、FM1、FM2、
FM3のいずれのフレームにもアクセスせずブランク画
面を表示するように変更することも容易であり、この場
合でも、出力画面の同期がビットストリーム同期時に乱
れないという本発明の効果が変わらないことは明らかで
ある。
【0075】
【発明の効果】以上述べた様に、本発明により、プログ
レッシブ画像、インタレース画像の両方式のビットスト
リームを入力として、接続されているディスプレイに適
合する画像を復号し出力する符号化ビデオ復号装置を安
価に提供することが可能である。特に、インタレース画
像時の倍のフレームレートを持つプログレッシブ画像を
インタレース画像用の復号回路と回路を共通化する際に
有利である。さらに、プログレッシブ画像のシーケンス
とインタレース画像のシーケンスが連続して入力された
ときに、ビットストリームの切替タイミングにおいて、
復号画像を同期の乱れなく出力することができる。特
に、本符号化ビデオ復号装置の出力に、OSD(On
Screen Display)などで外部で生成され
た画像を合成している場合、特に切替時の出力同期が乱
れると合成画像の必要な情報が見られなくなるため、本
発明の効果は特に重要になる。
【図面の簡単な説明】
【図1】本発明の符号化画像情報処理装置の第1の実施
形態を示すブロック図である。
【図2】図1におけるメモリ2内のメモリ領域を解説す
る図である。
【図3】図1におけるメモリ2内のフレームメモリ領域
のメモリマップ図である。
【図4】本発明第1の実施形態における60i復号時の
動作タイミングを解説する図である。
【図5】本発明第1の実施形態における60i復号時の
メモリアクセスを拡大した図である。
【図6】本発明第1の実施形態における60p復号時の
動作タイミングを解説する図である。
【図7】図1における復号画像読みだし部12の詳細を
示すブロック図である。
【図8】図1における水平垂直画素数変換部13の詳細
を示すブロック図である。
【図9】図1における水平垂直画素数変換部13の解像
度変換処理を解説する図である。
【図10】本発明の符号化画像情報処理装置の第2の実
施形態を示すブロック図である。
【図11】図10における復号画像読みだし部12の詳
細を示すブロック図である。
【図12】図10における水平垂直画素数変換部13の
詳細を示すブロック図である。
【図13】本発明第2の実施形態において60iから6
0pに復号処理が切替る際の動作を解説する図である。
【図14】本発明第2の実施形態において60pから6
0iに復号処理が切替る際の動作を解説する図である。
【図15】従来のディジタルTV放送の規格を示したフ
ォーマット表である。
【図16】従来の符号化ビデオ復号装置の一例を示した
ブロック図である。
【図17】従来の符号化ビデオ復号装置における60
i、60p画像の復号処理を出力ディスプレイ別に示し
た図である。
【符号の説明】
1…デコーダ、2…メモリ、10…復号ブロック、11
…メモリコントローラ、12…復号画像読みだし部、1
3…水平垂直画素数変換部、14…出力ユニット、15
…タイミング発生ユニット、16〜19…外部端子
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡田 敏男 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立画像情報システム内 (72)発明者 坪井 幸利 東京都青梅市新町六丁目16番地の3 株式 会社日立製作所デバイス開発センタ内 Fターム(参考) 5C059 KK07 MA00 MA05 ME01 NN21 PP05 PP06 PP07 SS01 UA05 UA32 UA34 UA36 UA37 5C063 AA06 AA11 AB03 AB07 AC01 BA04 BA06 BA10 CA05 CA12 CA14 CA16

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】ラインを順次表示するプログレッシブ走査
    方式を有する符号化されたビットストリームおよびライ
    ンを交互に表示するインタレース走査方式を有する符号
    化されたビットストリームを入力可能な入力手段と、 前記ビットストリームを復号する復号手段と、 前記復号手段により復号された画像情報を記憶する記憶
    手段と、 前記画像情報を前記記憶手段から読み出す読み出し手段
    と、 同じ周期でかつ異なる位相の第1および第2の同期信号
    を発生するタイミング発生手段とを備えてなり、 前記インタレース走査方式を有するビットストリームが
    入力されたとき、前記復号手段は、前記第1の同期信号
    に同期してビットストリームを復号し、 前記復号された画像情報は前記記憶手段に記憶され、 前記プログレッシブ走査方式を有するビットストリーム
    が入力されたとき、前記復号手段は、前記第2の同期信
    号に同期してビットストリームを復号し、 前記復号された画像情報は前記記憶手段に記憶され、 前記読み出し手段は、前記第1の同期信号に同期して画
    像情報を前記記憶手段より読み出すことを特徴とする符
    号化画像情報処理装置。
  2. 【請求項2】前記読み出し手段により読み出された画像
    情報は、画像の解像度を変換する解像度変換部を介して
    出力されることを特徴とする請求項1に記載の符号化画
    像情報処理装置。
  3. 【請求項3】前記読み出し手段により読み出された画像
    情報は、プログレッシブ走査方式およびインタレース走
    査方式を有する画像情報として選択的に出力する出力部
    を備えてなることを特徴とする請求項1または請求項2
    に記載の符号化画像情報処理装置。
  4. 【請求項4】符号化されたビットストリームであって、
    その方式が、ラインを順次表示するプログレッシブ走査
    方式または、ラインを交互に表示するインタレース走査
    方式が途中で互いに変更されるビットストリームを入力
    可能な入力手段と、 前記ビットストリームを復号する復号手段と、 前記復号手段により復号された画像情報を記憶する記憶
    手段と、 前記画像情報を前記記憶手段から読み出す読み出し手段
    と、 同じ周期でかつ異なる位相の第1および第2の同期信号を
    出力するタイミング発生手段とを備えてなり、 入力されるビットストリームの走査方式に応じて前記第
    1または第2の同期信号に同期して前記ビットストリーム
    が復号され、 復号された画像情報は、前記記憶手段に記憶され、 入力されるビットストリームの走査方式が変更されたと
    き、変更された後の走査方式に応じた前記同期信号が発
    生するまでビットストリームの復号または画像情報の記
    憶を中断することを特徴とする符号化画像情報処理装
    置。
  5. 【請求項5】入力されるビットストリームの走査方式が
    変更されるタイミングを検出する切替タイミング検出手
    段と画像の解像度を変換する解像度変換部とを備え、 前記切替タイミング検出手段による信号に応じて前記解
    像度変換部の設定が変更されることを特徴とする請求項
    4に記載の符号化画像情報処理装置。
  6. 【請求項6】前記読み出し手段は、前記ビットストリー
    ムの復号または、情報の記憶を中断した期間において、
    前に読み出した画像情報と同一の画像情報を読み出すこ
    とを特徴とする請求項4または請求項5に記載の符号化
    画像情報処理装置。
  7. 【請求項7】符号化圧縮された入力ビットストリームを
    復号し、ディジタルビデオ信号を出力する符号化画像情
    報処理装置であって、該画像情報処理装置は、画像情報
    処理部と、復号した画像を格納する画像メモリと、該画
    像メモリから出力順序に復号画像を並べ替えて読み出す
    復号画像読出し部と、該復号画像読み出し部から出力さ
    れた復号画像の水平解像度および垂直走査線数を所望の
    解像度に変換して出力する解像度変換部とを備えてな
    り、 走査方式が1フレームを1ライン垂直位置がずれた上下
    2フィールドを交互に表示するインタレース方式であ
    り、フレームレートがNフレーム/秒(フィールドレー
    トは2Nフィールド/秒)であるビデオのビットストリ
    ーム1を入力とし、周波数が2NHzである同期信号1
    に同期して、上記画像情報処理部は各フレームの復号処
    理を行い上記画像メモリに復号画像を書き込み、上記復
    号画像読み出し部は上記同期信号1に同期して上記画像
    メモリから復号画像を各フィールド単位で読み出し上記
    解像度変換部にフィールド単位で出力し、 さらに走査方式が、1フレームをラインごとに順次走査
    するプログレッシブ方式であり、フレームレートが2N
    フレーム/秒であるビデオのビットストリーム2を入力
    とし、周波数が2NHzで同期信号1と異なる位相を持
    つ同期信号2に同期して、上記画像情報処理部は各フレ
    ームの復号処理を行い、上記画像メモリに復号画像を書
    き込み、上記復号画像読み出し部は上記同期信号1に同
    期して上記画像メモリから復号画像を各フレームをプロ
    グレッシブ方式で読み出し、上記解像度変換部にプログ
    レッシブ方式で各フレーム単位で出力することを特徴と
    する符号化画像情報処理装置。
  8. 【請求項8】請求項7に記載の符号化画像情報処理装置
    であって、フレームレートNフレーム/秒のインタレー
    ス走査方式(フィールドレートが2Nフィールド/秒)
    の信号を入力するディスプレイに接続される場合、 上記ビットストリーム1の復号時には上記解像度変換部
    は、復号画像読み出し部から出力された各フィールド画
    像の水平解像度および垂直走査線数を出力するディスプ
    レイのフィールド解像度に適合するようにフィールド内
    の画素情報を用いて変換し、フィールド画像として出力
    し、 さらに上記ビットストリーム2の復号時には上記解像度
    変換部は、復号画像読み出し部からプログレッシブ方式
    で出力された各フレーム画像の水平解像度および、垂直
    走査線数を出力するディスプレイのフィールド解像度に
    適合するようにフレーム内の画素情報を用いて変換し、
    フィールド画像として出力することを特徴とする符号化
    画像情報処理装置。
  9. 【請求項9】請求項7に記載の符号化画像情報処理装置
    であって、フレームレートNフレーム/秒のプログレッ
    シブ走査方式の信号を入力するディスプレイに接続され
    る場合、 上記ビットストリーム1の復号時には上記解像度変換部
    は、復号画像読み出し部から出力された各フィールド画
    像の水平解像度および垂直走査線数を出力するディスプ
    レイのフレーム解像度に適合するようにフィールド内の
    画素情報を用いて変換し、フレーム画像として出力し、 さらに上記ビットストリーム2の復号時には上記解像度
    変換部は、復号画像読み出し部からプログレッシブ方式
    で出力された各フレーム画像の水平解像度および、垂直
    走査線数を出力するディスプレイのフレーム解像度に適
    合するようにフレーム内の画素情報を用いて変換し、フ
    レーム画像として出力することを特徴とする符号化画像
    情報処理装置。
  10. 【請求項10】請求項7に記載の符号化画像情報処理装
    置であって、入力される入力ビットストリーム中に上記
    ビットストリーム1および上記ビットストリーム2が混
    在しているときに、それぞれのビットストリームの復号
    画像を連続的に表示する際、上記画像情報処理部は、そ
    れぞれのビットストリームの切り替わり後の入力ビット
    ストリームが上記ビットストリーム1と上記ビットスト
    リーム2のどちらに属するかを判別し、ビットストリー
    ム1の場合には、そのシーケンス内の復号を行う開始タ
    イミングを直近の同期信号1に遅延させ、ビットストリ
    ーム2の場合には直近の同期信号2に遅延させることを
    特徴とする符号化画像情報処理装置。
  11. 【請求項11】請求項10に記載の符号化画像情報処理
    装置であって、上記ビットストリーム1および上記ビッ
    トストリーム2間で復号開始タイミングが上記同期信号
    1と上記同期信号2の間で切り替わる際、 上記画像読み出し部は、タイミング切り替わり後のビッ
    トストリームが画像メモリから同期信号1に同期して読
    み出し開始できるタイミング時刻Tを算出し、 上記時刻Tにおいて復号画像の読み出し方式をビットス
    トリーム1およびビットストリーム2に対応してそれぞ
    れインタレース方式、プログレッシブ方式に切り替え、 上記解像度変換部は、上記時刻Tを検知し、接続された
    ディスプレイ解像度に適合するように、上記時刻Tにお
    いて解像度変換の設定を変更することを特徴とする符号
    化画像情報処理装置。
JP2000297060A 2000-09-26 2000-09-26 符号化画像情報処理装置 Pending JP2002112259A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000297060A JP2002112259A (ja) 2000-09-26 2000-09-26 符号化画像情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000297060A JP2002112259A (ja) 2000-09-26 2000-09-26 符号化画像情報処理装置

Publications (1)

Publication Number Publication Date
JP2002112259A true JP2002112259A (ja) 2002-04-12

Family

ID=18779231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000297060A Pending JP2002112259A (ja) 2000-09-26 2000-09-26 符号化画像情報処理装置

Country Status (1)

Country Link
JP (1) JP2002112259A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004091198A1 (ja) * 2003-04-09 2004-10-21 Matsushita Electric Industrial Co., Ltd. Osd合成画像復号装置、osd合成画像復号方法、プログラム、記録媒体
JP2008306660A (ja) * 2007-06-11 2008-12-18 Panasonic Corp 映像信号処理装置
JP2011234387A (ja) * 2011-06-09 2011-11-17 Panasonic Corp 映像信号処理装置及び映像信号処理方法
JPWO2011074070A1 (ja) * 2009-12-15 2013-04-25 パイオニア株式会社 画像出力装置
CN108464004A (zh) * 2015-12-21 2018-08-28 汤姆逊许可公司 使用智能编码树单元扫描的视频压缩的装置、系统和方法以及对应计算机程序和介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004091198A1 (ja) * 2003-04-09 2004-10-21 Matsushita Electric Industrial Co., Ltd. Osd合成画像復号装置、osd合成画像復号方法、プログラム、記録媒体
KR100999777B1 (ko) 2003-04-09 2010-12-08 파나소닉 주식회사 Osd 합성화상 복호장치, osd 합성화상 복호방법, 기록매체
JP2008306660A (ja) * 2007-06-11 2008-12-18 Panasonic Corp 映像信号処理装置
JPWO2011074070A1 (ja) * 2009-12-15 2013-04-25 パイオニア株式会社 画像出力装置
JP2011234387A (ja) * 2011-06-09 2011-11-17 Panasonic Corp 映像信号処理装置及び映像信号処理方法
CN108464004A (zh) * 2015-12-21 2018-08-28 汤姆逊许可公司 使用智能编码树单元扫描的视频压缩的装置、系统和方法以及对应计算机程序和介质
CN108464004B (zh) * 2015-12-21 2022-10-28 交互数字Vc控股公司 使用智能编码树单元扫描的视频压缩的装置、系统和方法以及对应计算机程序和介质

Similar Documents

Publication Publication Date Title
KR100385968B1 (ko) 디스플레이 포맷 및/또는 프레임 레이트가 서로 다른 신호들을동시에 표시하는 수신기와 그 표시방법
JP3395166B2 (ja) 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体
JP5008826B2 (ja) 高精細度デインタレース/フレーム倍増回路およびその方法
EP0710033A2 (en) MPEG video decoder having a high bandwidth memory
JPH08130745A (ja) 復号化システム、復号化装置および復号化回路
US6084637A (en) Decoding and displaying device for coded picture data
CA2261434A1 (en) Memory controller for an atsc video decoder
JP2009534931A (ja) 共有メモリマルチビデオチャネルディスプレイ装置および方法
KR980013377A (ko) 영상신호 변환장치와 델레비젼신호처리장치
EP0729276B1 (en) Memory control system and video decoder using the same
JP2594750B2 (ja) 高画質テレビジョンのメモリアドレスコントロールおよびディスプレイコントロール装置
JPH08305860A (ja) 画像復号表示装置
US5485215A (en) HDTV raster converter and interpolation filter with section overlap
JP2003528549A (ja) 2つの異なるビデオプログラムを同時に記録及び表示するための方法及び装置
US5754243A (en) Letter-box transformation device
JPH11164322A (ja) アスペクト比変換装置及び方法
JPH08294115A (ja) Mpeg復号化器及びその復号化方法
JP2002112259A (ja) 符号化画像情報処理装置
KR19980021020A (ko) 간이형 에이치디티브이 비디오 디코더 및 디코딩 방법
JP3586484B2 (ja) 多地点会議用画面合成システムおよび方法
US7301582B2 (en) Line address computer for providing line addresses in multiple contexts for interlaced to progressive conversion
WO2000065830A1 (fr) Dispositif et procede de conversion d'image
JP3685386B2 (ja) 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム
JP2000333166A (ja) 高効率符号化画像の復号手段及び同手段を有する画像表示装置
JP3981189B2 (ja) 符号化画像データの復号装置