JP2002335528A - 動画像復号化装置及び方法 - Google Patents

動画像復号化装置及び方法

Info

Publication number
JP2002335528A
JP2002335528A JP2001137438A JP2001137438A JP2002335528A JP 2002335528 A JP2002335528 A JP 2002335528A JP 2001137438 A JP2001137438 A JP 2001137438A JP 2001137438 A JP2001137438 A JP 2001137438A JP 2002335528 A JP2002335528 A JP 2002335528A
Authority
JP
Japan
Prior art keywords
image data
moving image
display
bit stream
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001137438A
Other languages
English (en)
Inventor
Takashi Yamamoto
貴志 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Micro Systems Co Ltd
Original Assignee
Renesas Micro Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Micro Systems Co Ltd filed Critical Renesas Micro Systems Co Ltd
Priority to JP2001137438A priority Critical patent/JP2002335528A/ja
Publication of JP2002335528A publication Critical patent/JP2002335528A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】異なるMPEG2符号化ビットストリームデー
タの接続点においても正常に復号化でき動画像の切換え
時の画像劣化を目立たなくする。 【解決手段】MPEG2復号化部1で復号化した復号化
動画像データDBを静止画像データDSとして1フレー
ム分記憶する静止画像記憶部5と、2つの動画像データ
に対応する2つのビットストリームの接続部分における
ビットストリームの変化を検出しストリーム変化検出信
号VSを出力するストリーム変化検出部8と、ストリー
ム変化検出信号VSの供給に応答して静止画像記憶部5
に格納してある上記ビットストリームの変化検出の直前
の静止画像データDSを画像制御部に供給するメモリ間
転送制御部6とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動画像復号化装置及
び方法に関し、特にMPEG2(MovingPict
ure Experts Group Pase2)規
格の符号化動画像データを復号化して復号化動画像デー
タを生成する動画像復号化装置及び方法に関する。
【0002】
【従来の技術】MPEG2は、標準的な動画像圧縮符号
化技術としてISO/IEC(国際標準化機構/国際電
気標準会議)13812−2で規定され、放送やAV
(Audio−Video)機器などの画像、音声、デ
ータなどの情報圧縮技術として広く用いられている。
【0003】従来のこの種の動画像復号化装置をブロッ
クで示す図8を参照すると、この従来の動画像復号化装
置は、入力したMPEG2符号化動画像データ(以下M
PEG2データ)であるビットストリームデータBSを
復号化し復号化動画像データDBを出力するMPEG2
復号部101と、復号化動画像データDBを一時格納し
出力処理を行いTV映像信号である所定のフレーム単位
の出力画像DOを出力するフレームバッファ102とを
備える。
【0004】まず、動画像復号化装置に入力するMPE
G2データを生成する動画像符号化装置の動作概要につ
いて説明すると、この動画像符号化装置は動画像の時間
方向の冗長性を削減する動き補償予測符号化を採用して
いる。
【0005】動き補償予測符号化は、まず、入力画像
を、16画素×16ライン等のマクロブロックに分割
し、すでに符号化した画像の復号画像を参照画像として
各マクロブロックに最も近い画像の領域を参照画像の中
から探索して予測画像として順方向予測を行うPピクチ
ャ及び両方向予測を行うBピクチャを作成するととも
に、その予測画像の位置を動きベクトルとして符号化す
る。また、符号化の初期状態や、伝送エラーの発生に備
えて、予測を行わないで一つの画面内で符号化するIピ
クチャを作成する。
【0006】順方向予測の場合、参照画像はすでに符号
化した画像で、入力画像より時問的に前の画像である。
また、両方向予測の場合、参照画像はすでに符号化した
画像で、入力画像より時問的に前と後の画像の両方を用
いる。すなわち、符号化前に入力画像の順番を入れ替え
る必要がある。この場合、予測画像には、時間的に前の
画像を参照画像としたときの予測画像と、時問的に後の
画像を参照画像としたときの予測画像と、これらの予測
画像の平均をとった画像の3つのうち、予測誤差の少な
いものを選ぶ。入力画像と予測画像の差分を、予測誤差
として離散コサイン変換(以下、DCT変換)を用いて
符号化する。
【0007】次に、図8を参照して、従来の動画像復号
化装置及び方法の動作について説明すると、MPEG2
復号部101は、入力されたビットストリームデータB
Sを復号化し復号化動画像データDBを出力する。フレ
ームバッファ102は、復号化された復号化動画像デー
タDBを一時格納し、ディスプレイに表示するための所
定のフレーム単位の動画像データDOを生成し、出力す
る。
【0008】MPEG2復号部101は、入力したビッ
トストリームデータBSデータを、まず、可変長復号し
符号化された予測誤差(符号化予測誤差)と、予測モー
ドと、動きベクトルを出力する。次に、符号化予測誤差
を逆量子化及び逆DCT変換により復号化し復号化予測
誤差を生成する。一方、予測モードと、動きベクトルを
動き補償予測処理して予測画像を生成する。復号化予測
誤差を予測画像と加算し、復号画像を生成し、この復号
画像を画像メモリに記憶する。上記加算処理では符号化
順に復号画像を出力するので、上記画像メモリは、復号
画像を符号化時の画像入力順、すなわち画像表示順に並
び換えて出力する。次に、画像メモリの出力を、表示す
る画像のフォーマットに変換し、D/A変換して復号化
動画像データDBとして出力する。
【0009】しかしながら、上述した従来の動画像復号
化装置では、連続して入力された2つの異なるMPEG
2符号化ビットストリームデータを復号化する場合にビ
ットストリームデータの切り替わるデータ接続点で正常
に復号化できず、その結果、その部分の画像が乱れる等
の劣化を生じるという問題がある。
【0010】その理由は、上述したように、MPEG2
は符号の圧縮率を高めるために動画像の差分を用いて符
号化されているためである。
【0011】
【発明が解決しようとする課題】上述した従来の動画像
復号化装置及び方法は、MPEG2は符号の圧縮率を高
めるために動画像の差分を用いて符号化されているた
め、連続して入力された2つの異なるMPEG2符号化
ビットストリームデータを復号化する場合に符号の切り
換わるデータ接続点で正常に復号化できず、動画像の切
換え時の画像が劣化するという欠点があった。
【0012】本発明の目的は、異なるMPEG2符号化
ビットストリームデータの接続点においても正常に復号
化でき動画像の切換え時の画像劣化を目立たなくする動
画像復号化装置及び方法を提供することにある。
【0013】
【課題を解決するための手段】請求項1記載の発明の動
画像復号化装置は、伝送回線及び回線入力インタフェー
スを通して入力されるMPEG符号化された動画像デー
タを含むビットストリームを復号化して復号化動画像デ
ータを生成するMPEG復号手段と、前記復号化動画像
データを表示動画像データとして出力する表示出力手段
とを備える動画像復号化装置において、前記MPEG復
号化手段で復号化した前記復号化動画像データを静止画
像データとして1フレーム分記憶する静止画像記憶手段
と、第1及び第2の前記動画像データに対応する第1及
び第2のビットストリームの接続部分における前記ビッ
トストリームの変化を検出しビットストリーム変化検出
信号を出力するビットストリーム変化検出手段と、前記
ビットストリーム変化検出信号の供給に応答して前記静
止画像記憶手段に格納してある前記ビットストリームの
変化検出の直前の前記静止画像データを前記表示出力手
段に供給する転送制御手段とを備えて構成されている。
【0014】請求項2記載の発明の動画像復号化装置
は、伝送回線及び回線入力インタフェースを通して入力
されるMPEG符号化された動画像データを含むビット
ストリームを復号化して復号化動画像データを生成する
MPEG復号部と、前記復号化動画像データを格納し復
号画像データを出力する復号データ記憶部と、復号化が
終了した前記復号画像データを1フレーム分格納し表示
用の動画像データである表示動画像データを出力する表
示画像記憶部と、1フレーム分の前記表示動画像データ
を静止画像データとして格納する静止画像記憶部と、前
記ビットストリームを監視し第1及び第2の前記動画像
データに対応する第1及び第2のビットストリームの接
続部分における前記ビットストリーム変化の検出に応答
してストリーム変化検出信号を出力するストリーム変化
検出部と、前記ストリーム変化検出信号の供給に応答し
て前記表示画像記憶部に格納されている前記表示動画像
データを前記静止画像記憶部に転送するメモリ間転送部
と、前記ストリーム変化検出信号の供給に応答して前記
静止画像記憶部に格納されている前記静止画像データを
表示出力するよう制御する静止画像制御部と、前記表示
画像記憶部からの前記表示動画像データと前記静止画像
制御部からの前記静止画像データとのいずれか一方を選
択しTV画像である出力画像として出力する画像制御部
とを備えて構成されている。
【0015】請求項3記載の発明の動画像復号化装置
は、伝送回線及び回線入力インタフェースを通して入力
されるMPEG符号化された動画像データを含むビット
ストリームを復号化して復号化動画像データを生成する
MPEG復号部と、前記復号化動画像データを表示可能
まで処理し対応する表示動画像データを生成して記憶す
るとともにこの表示動画像データを出力する復号データ
処理記憶部と、前記表示動画像データを1フレーム分記
憶しTV画像である出力画像として出力する表示画像記
憶部と、前記ビットストリームを監視し第1及び第2の
前記動画像データに対応する第1及び第2のビットスト
リームの接続部分における前記ビットストリーム変化の
検出に応答してストリーム変化検出信号を出力するスト
リーム変化検出部と、前記ストリーム変化検出信号の供
給に応じて前記復号データ処理記憶部から前記表示画像
記憶部への表示動画像データの転送を停止するメモリ間
転送部とを備えて構成されている。
【0016】請求項4記載の発明の動画像復号化装置
は、伝送回線及び回線入力インタフェースを通して入力
されるMPEG符号化された動画像データを含むビット
ストリームを復号化して復号化動画像データを生成する
MPEG復号部と、前記復号化動画像データを格納し復
号画像データを出力する復号データ記憶部と、復号化が
終了した前記復号画像データを1フレーム分格納し表示
用の動画像データである表示動画像データを出力する表
示画像記憶部と、1フレーム分の前記表示動画像データ
を静止画像データとして格納する静止画像記憶部と、前
記ビットストリームを監視し第1及び第2の前記動画像
データに対応する第1及び第2のビットストリームの接
続部分における画像を出力すべき時間情報であるプレゼ
ンテーションタイムスタンプ(PTS)の連続性の変化
を検出しPTS不連続点検出信号を出力するPTS不連
続点検出部と、前記PTS不連続点検出信号の供給に応
答して前記表示画像記憶部に格納されている前記表示動
画像データを前記静止画像記憶部に転送するメモリ間転
送部と、前記PTS不連続点検出信号の供給に応答して
前記静止画像記憶部に格納されている前記静止画像デー
タを表示出力するよう制御する静止画像制御部と、前記
表示画像記憶部からの前記表示動画像データと前記静止
画像制御部からの前記静止画像データとのいずれか一方
を選択しTV画像である出力画像として出力する画像制
御部とを備えて構成されている。
【0017】また、請求項5記載の発明は、請求項1又
は2又は3記載の動画像復号化装置において、前記ビッ
トストリーム変化が、前記ビットストリームの最上位レ
イヤを構成するパックレイヤのパックヘッダ及び/又は
前記パックレイヤを構成するPESパケットレイヤのP
ESパケットヘッダのストリーム識別コードの変化であ
ることを特徴とするものである。
【0018】また、請求項6記載の発明は、請求項1又
は2又は3記載の動画像復号化装置において、前記ビッ
トストリーム変化が、前記ビットストリームの最上位レ
イヤであるシーケンスレイヤの終了を示すシーケンスエ
ンドコードの変化であることを特徴とするものである。
【0019】また、請求項7記載の発明は、請求項2記
載の動画像復号化装置において、前記ビットストリーム
変化が、前記ビットストリームの最上位レイヤを構成す
るパックレイヤのパックヘッダのシステムクロックレフ
ァレンスコードの変化であることを特徴とするものであ
る。
【0020】請求項8記載の発明の動画像復号化方法
は、伝送回線及び回線入力インタフェースを通して入力
されるMPEG符号化された動画像データを含むビット
ストリームを復号化して復号化動画像データを生成し、
前記復号化動画像データを表示動画像データとして出力
画像を生成する動画像復号化方法において、復号化した
前記復号化動画像データを静止画像データとして1フレ
ーム分静止画像記憶手段に記憶し、第1及び第2の前記
動画像データに対応する第1及び第2のビットストリー
ムの接続部分における前記ビットストリームの変化を検
出してビットストリーム変化検出信号を生成し、前記ビ
ットストリーム変化検出信号の供給に応答して前記静止
画像記憶手段に格納してある前記ビットストリームの変
化検出の直前の前記静止画像データを前記出力画像とし
て出力することを特徴とするものである。
【0021】また、請求項9記載の発明は、請求項8記
載の動画像復号化方法において、前記ビットストリーム
を監視し、前記ビットストリームの変化検出の有無を判
定するストリーム変化検出判定ステップと、前記ストリ
ーム変化検出判定ステップで前記ストリーム変化を検出
したときストリーム変化検出信号を生成して表示動画像
を記憶した表示画像記憶手段から前記静止画像記憶手段
にストリーム変化検出の直前の前記表示動画像データを
転送し、前記ストリーム変化を検出しないときは処理を
終了する表示画像データ転送ステップと、前記静止画像
記憶手段へのデータ転送の終了を検出するデータ転送終
了判定ステップと、前記データ転送終了判定ステップで
データ転送の終了を検出したとき前記表示動画像データ
から前記静止画像データに切換えこの静止画像データを
前記出力画像として出力する静止画像出力ステップと、
新たに入力された前記ビットストリームデータを復号化
し前記復号化動画像データが正常に復号され正常表示可
能であるかを判定する正常復号判定ステップと、前記正
常復号判定ステップで正常に表示可能となったとき、前
記静止画像データから前記表示動画像データに切換えこ
の表示動画像データを前記出力画像として出力する動画
像出力ステップとを有することを特徴とするものであ
る。
【0022】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。
【0023】本実施の形態の動画像復号化装置及び方法
は、伝送回線及び回線入力インタフェースを通して入力
されるMPEG2(Moving Picture E
xperts Group Pase2)符号化された
動画像データを含むビットストリームを復号化して復号
化動画像データを生成するMPEG復号手段と、復号化
動画像データを表示動画像データとして出力する表示出
力手段とを備える動画像復号化装置において、上記MP
EG復号化手段で復号化した復号化動画像データを静止
画像データとして1フレーム分記憶する静止画像記憶手
段と、第1及び第2の動画像データに対応する第1及び
第2のビットストリームの接続部分におけるビットスト
リームの変化を検出しビットストリーム変化検出信号を
出力するビットストリーム変化検出手段と、上記ビット
ストリーム変化検出信号の供給に応答して上記静止画像
記憶手段に格納してある上記ビットストリームの変化検
出の直前の静止画像データを上記表示出力手段に供給す
る転送制御手段とを備え、正常に復号化した復号化画像
を格納している表示画像記憶部からは、任意のタイミン
グでMPEG2データの任意のフレームの復号化画像が
取り出し可能であり、静止画像記憶部へ取り出した復号
化画像を転送することでMPEG2データの任意のフレ
ーム画像を静止画像として表示できることから、復号化
動画像と上記静止画像とを切換えることで必要な画像で
静止画像を出力するという動作を実行する。従って、連
続して入力された2つの異なるMPEG2符号化ビット
ストリームデータを連続して復号して動画像を出力する
場合に正常に復号できない動画像を出力せずに正常に復
号された画像を静止画像として出力することで正常に復
号した画像のみを出力することにより動画像の切換え時
の画像劣化を目立たなくすることを特徴とするものであ
る。
【0024】次に、本発明の実施の形態をブロックで示
す図1を参照すると、この図に示す本実施の形態の動画
像復号化装置は、入力したMPEG2符号化動画像デー
タ(以下MPEG2データ)であるビットストリームデ
ータBSを復号化し復号化動画像データDBを出力する
MPEG2復号部1と、復号化動画像データDBを格納
し復号画像データDCを出力する復号データ記憶部2
と、復号化が終了した復号画像データDCを1フレーム
分格納し表示用の動画像データである表示動画像データ
DDを出力する表示画像記憶部3と、1フレーム分の表
示動画像データDDを静止画像データDSとして格納す
る静止画像記憶部5と、ストリーム変化検出信号VSの
供給に応答して表示画像記憶部3に格納されている表示
動画像データDDを静止画像記憶部5に転送するメモリ
間転送部6と、ストリーム変化検出信号VSの供給に応
答して静止画像記憶部5に格納されている静止画像デー
タDSを表示出力するよう制御する静止画像制御部4
と、表示画像記憶部3からの表示動画像データDDと静
止画像制御部4からの静止画像データDSとのいずれか
一方を選択しTV画像である出力画像DOとして出力す
る画像制御部7と、ビットストリームデータBSを監視
し異なる2つの動画像データに対応するそれぞれのビッ
トストリームの接続部分におけるビットストリーム変化
の検出に応答してストリーム変化検出信号VSを出力す
るストリーム変化検出部8とを備える。
【0025】MPEG2復号部1の構成をブロックで示
す図2を参照すると、このMPEG2復号部1は、入力
したビットストリームデータBSを記憶する入力バッフ
ァ11と、入力バッファ11の出力である予測誤差を可
変長復号化し可変長復号化予測誤差と予測モード及び動
きベクトルを出力する可変長復号化部12と、可変長復
号化予測誤差を逆量子化し逆量子化予測誤差を出力する
逆量子化部13と、逆量子化予測誤差を逆離散コサイン
変換(逆DCT変換)し復号化予測誤差を出力する逆D
CT変換部14と、予測モードと動きベクトル及び後述
の復号画像とに基づき動き補償予測を行い動き補償予測
画像を出力する動き補償予測部18と、復号化予測誤差
と動き補償予測画像とを加算し復号画像を出力する加算
器15と、復号画像を記憶する画像メモリ16と、画像
メモリ16の出力であるメモリ復号画像を表示する画像
のフォーマットに変換しフォーマット変換画像を出力す
るフォーマット変換部17と、フォーマット変換画像を
D/A変換し復号化動画像データDBを出力するD/A
変換器19とを備える。
【0026】まず、動画像復号化装置に入力するMPE
G2データを生成する動画像符号化装置の動作概要につ
いて説明すると、この動画像符号化装置は動画像の時間
方向の冗長性を削減する動き補償予測符号化を採用して
いる。
【0027】動き補償予測符号化は、まず、入力画像
を、例えば16画素×16ラインのマクロブロックに分
割し、すでに符号化した画像の復号画像を参照画像とし
て、各マクロブロックに最も近い画像の領域を参照画像
の中から探索して予測画像を作成するとともに、その予
測画像の位置を動きベクトルとして符号化する。予測画
像としては順方向予測を行うPピクチャ及び両方向予測
を行うBピクチャの2つの画像がある。また、符号化の
初期状態や、伝送エラーが起こった場合のために、予測
を行わないで一つの画面内で符号化するIピクチャがあ
る。
【0028】順方向予測の場合、参照画像はすでに符号
化した画像で、入力画像より時問的に前の画像である。
また、両方向予測の場合、参照画像はすでに符号化した
画像で、入力画像より時問的に前と後の画像の両方を用
いる。すなわち、符号化する前に入力画像の順番を入れ
替える必要がある。この場合、予測画像には、時間的に
前の画像を参照画像としたときの予測画像と、時問的に
後の画像を参照画像としたときの予測画像と、これらの
予測画像の平均をとった画像の3つのうち、予測誤差の
少ないものを選ぶ。入力画像と予測画像の差分を、予測
誤差として離散コサイン変換(以下、DCT変換)を用
いて符号化する。
【0029】動画像復号化装置のMPEG2復号部には
画像メモリ(本実施の形態では画像メモリ16)を備
え、この画像メモリは符号化順に復号し、符号化時に符
号化器に入力された動画像の順に出力する。例えば、4
枚の画像が上記画像メモリに時系列(Iピクチャ、Pピ
クチャ、Bピクチャ、Bピクチャの順)で記憶され、第
1の画像Iピクチャを復号し、第2の画像Pピクチャを
復号し、第3及び第4の画像Bピクチャを復号する場
合、画像メモリは、第1の画像を最初に出力し、次に第
3、第4の画像を出力し、その後、第2の画像を出力す
る。このような順序で画像メモリから画像を出力させる
ことによって、符号化時の動画映像を忠実に再生するこ
とが可能となる。
【0030】次に、このようにして生成したMPEG2
データの伝送方法について説明する。MPEG2データ
は、通常、通信メディアを介して復号器を備える他の機
器に伝送される。このとき、圧縮符号化された映像・音
声情報は時系列的に分割伝送されるが、この伝送方法と
しては、映像・音声の圧縮符号化データを1つのプログ
ラム単位で扱うプログラムストリーム(以下、PS)
と、映像・音声の圧縮符号化データを複数のプログラム
単位で扱うトランスポートストリーム(以下、TS)が
ある。
【0031】PSは、例えばDVDのような単一メディ
アからの圧縮符号化データが送られてくる場合に用い、
TSは、CSデジタル放送のように、多チャンネルの情
報を一つのチャンネル情報に時系列的に多重化して伝送
する場合に用いる。
【0032】一方、MPEGでは、このPSとTS問の
データ転送を容易に行うために、両者の中間的なデータ
ストリーム構造をもつPES(Packetized
E1ememtary Stream)を設けている。
このPESは、一定長のデータの塊であるパケットから
構成され、PESパケットとして扱われる。PSの場合
はこのPESパケットを基本として、複数のPESパケ
ットにPS独自の情報を付加して1つのストリームとし
て扱う。
【0033】このようにして生成されたMPEG2画像
データ、すなわち、ビットストリームデータの配列を説
明図で示す図3を参照すると、この図には階層化された
ビットストリームデータの最上位レイヤ、パックレイ
ヤ、PESパケットレイヤ、PESパケットレイヤのP
ESパケットヘッダ及びパックレイヤのパックヘッダを
示す。
【0034】最上位レイヤはシーケンスレイヤとも呼
び、n個のパック、すなわち、パック#1、パック#2
・・・パック#n、シーケンスエンドコード(SEC)
から成る。
【0035】説明の便宜上パック#1について説明する
と、パック#1のパックレイヤは、先頭からパックヘッ
ダ、システムヘッダ、PESパケット#1(ビデオ:G
OP(グループオブピクチャ)#1)、PESパケット
#2(オーディオ1)、PESパケット#3(オーディ
オ2)、PESパケット#4(AUX(文字等補助デー
タ))から成る。
【0036】PESパケットレイヤを代表して、PES
パケット#1は、先頭からPESパケットヘッダ、GO
Pフラグ、Iピクチャ、Bピクチャ、Bピクチャ、Pピ
クチャ、・・・から成る。また、各ピクチャの先頭にピ
クチャスタートコード(PSC)を有する。
【0037】PESパケットヘッダは、先頭からパケッ
トスタートコード、ストリーム識別コード(SID)、
・・・プレゼンテーションタイムスタンプ(PTS)を
有する。
【0038】パックヘッダは、パックスタートコード、
SID、システムクロックレファレンス(SCR)を有
する。
【0039】MPEG2のデータ構造を示す図4を参照
すると、従来の技術で説明したように、予測を行わない
で一つの画面内で符号化するIピクチャ(フレーム内符
号化画像)P2と、順方向予測を行う画像であるPピク
チャ(順方向予測符号化画像)P5,P8と、双方向予
測を行うBピクチャ(双方向予測符号化画像)P0,P
1,P3,P4,P6,P7の各ピクチャから構成され
ている。
【0040】Iピクチャは、復号するときにその情報の
みで画像を復元できる。Pピクチャは、Iピクチャまた
はPピクチャから順方向予測を行うことで作成される。
Bピクチャは予測画像として時間的に前に位置するすで
に復号されたIピクチャまたはPピクチャと時間的に後
に位置するすでに復号されたIピクチャ又は、Pピクチ
ャを利用する。動画像としては、P0,P1,P2,P
3・・・P7,P8の順に再生される。
【0041】次に、図1、図2及び図4を参照して本実
施の形態の動作について説明すると、MPEG2復号部
1は、入力されたビットストリームデータBSを復号化
し復号化動画像データDBを出力する。
【0042】図2を参照してMPEG2復号部1の動作
を説明すると、まず、入力バッファ11は、入力したビ
ットストリームデータBSデータを一時記憶し、予測誤
差を出力する。次に、可変長復号化部12は入力バッフ
ァ11の出力である予測誤差を可変長復号化し可変長復
号化予測誤差と予測モード及び動きベクトルを出力し、
可変長復号化予測誤差を逆量子化部13に、予測モード
及び動きベクトルを動き補償予測部18にそれぞれ供給
する。逆量子化部13は、供給を受けた可変長復号化予
測誤差を逆量子化し逆量子化予測誤差を出力する。逆D
CT変換部14は、供給を受けた逆量子化予測誤差を逆
DCT変換し、復号化予測誤差を出力し、加算器15に
供給する。
【0043】一方、動き補償予測部18は、予測モード
と動きベクトル及び後述の復号画像との供給を受け、こ
れら予測モードと動きベクトル及び復号画像とに基づき
動き補償予測を行い動き補償予測画像を出力し、加算器
15に供給する。
【0044】加算器15は、復号化予測誤差と動き補償
予測画像とを加算し、復号画像を出力し、画像メモリ1
6に格納する。フォーマット変換部17は、画像メモリ
16の出力であるメモリ復号画像を表示対象とする画像
のフォーマットに変換しフォーマット変換画像を出力す
る。D/A変換器19は、フォーマット変換画像をD/
A変換し復号化動画像データDBを出力する。
【0045】復号データ記憶部2は、復号化動画像デー
タDBを格納し一時保持し、復号化動画像データDBを
対応する復号画像データDCとして次の表示画像記憶部
3に出力する。表示画像記憶部3は入力した復号画像デ
ータDCを1フレーム分記憶し、対応する表示動画像デ
ータDDを出力する。メモリ間転送部6は、後述するス
トリーム変化検出信号VSの供給に応じて直前に格納さ
れていた表示動画像データDDを静止画像記憶部5に転
送する。静止画像記憶部5は転送された表示動画像デー
タDDを1フレーム分静止画像データDSとして格納す
る。画像制御部7は、通常時は表示動画像データDDを
TV画像である出力画像DOとして出力する。この場
合、表示動画像データDDを表示用に出力した時点で対
応の静止画像データDSは棄却され、次の表示動画像デ
ータDD対応の静止画像データDSを格納する。
【0046】ストリーム変化検出部8は、ビットストリ
ームデータBSを監視し後述するストリーム変化を検出
すると、ストリーム変化検出信号VSを出力する。静止
画像制御部4は、ストリーム変化検出信号VSの供給を
受けると、静止画像記憶部5に格納されている静止画像
データDSを画像制御部7に出力するよう制御する。画
像制御部7は、上述のように、通常時は表示動画像デー
タDDをTV画像である出力画像DOとして出力してい
るが、ストリーム変化の検出に応じて静止画像データD
Sが供給されると、この静止画像データDSを出力画像
DOとして出力する。
【0047】ストリーム変化検出の対象として、上述し
たSID(ストリーム識別コード)、SCR(システム
クロックレファレンス)、SEC(シーケンスエンドコ
ード)の各々の変化、及び出力画像DO格納用のビデオ
バッファ(図示しない)が空であるかの情報を示すビデ
オバッファエンプテイ等があげられる。
【0048】入力ビットストリームデータBSが2つの
異なるビットストリームデータであるストリームAとス
トリームBと接続した場合の両ビットストリームデータ
の接続点近傍を模式的に説明図で示す図4(B)を参照
すると、この図ではピクチャP0A,P1A,P2A,
P3A,P4AがストリームAを、ピクチャP0B,P
1B,P2B,P3BがストリームBをそれぞれ示す。
ピクチャP4AとピクチャP0Bとの間が両ストリーム
A,Bの接続点である。このビットストリームデータB
SをMPEG2復号化部2で復号化した復号化動画像デ
ータDBは、ストリームBの先頭のBピクチャP0B、
P1Bが、時間的に前に復号されたピクチャを利用すべ
きであるが、利用すべきストリームBのIピクチャは存
在しない。従って、このままでは、正常な画像が得られ
ない。
【0049】このため、本実施の形態では、ピクチャP
4AとピクチャP0Bとの間が両ストリームA,Bの接
続点でストリーム変化を検出すると、静止画像記憶部5
に予め記憶していた直前のストリームAの表示動画像デ
ータDD対応の静止画像データDSをつなぎの出力画像
DOとして出力することにより、スムーズに画像を接続
し、画像劣化を目立たさなくする。
【0050】次に、本実施の形態のストリーム変化に応
じた表示画像DDと静止画像DSの選択動作の処理フロ
ーをフローチャートで示す図5を併せて参照して、本実
施の形態の動画像復号化方法の動作について説明する
と、まず、ストリーム変化検出部8は、ビットストリー
ムデータBSを監視し、ストリーム変化検出の有無を判
定する(ストリーム変化検出判定ステップS1)。
【0051】ストリーム変化検出判定ステップS1で、
ストリーム変化を検出するとストリーム変化検出信号V
Sを出力してメモリ間転送部6を動作させ、表示画像記
憶部3から静止画像記憶部5へストリーム変化検出の直
前の表示動画像データDDを転送する(表示画像データ
転送ステップS2)。ストリーム変化検出判定ステップ
S1でストリーム変化を検出しない場合は、本処理を終
了し、表示動画像データDDを出力画像DOとして出力
を継続する。
【0052】静止画像記憶部4へのデータ転送の終了を
検出する(データ転送終了判定ステップS3)と、画像
制御部7は、表示動画像データDDから静止画像データ
DSに切換え静止画像データDSを出力画像DOとして
出力する。(静止画像出力ステップS4)。
【0053】次に、新たに入力されたビットストリーム
データBSをMPEG2復号部2で復号させ画像データ
DCが正常に復号され正常表示可能であるかを判定し
(正常復号判定ステップS5)、正常に表示可能となっ
たとき、画像制御部7は、静止画像データDSから表示
動画像データDDに切換え表示動画像データDDを出力
画像DOとして出力する。(動画像出力ステップS
6)。
【0054】ここで、正常に復号化されたと判断するの
は、Iピクチャはそれ自身の情報のみで復号できるの
で、Iピクチャが復号したときである。
【0055】このように、本実施の形態では、連続して
入力した異なる2つのビットストリームデータを復号化
する場合に表示画像記憶部のデータを使用して静止画像
を出力することで正常に復号した画像のみを出力するこ
とができる。
【0056】次に、本発明の第2の実施の形態を図1と
共通の構成要素には共通の参照文字/数字を付して同様
にブロックで示す図6を参照すると、この図に示す本実
施の形態の前述の第1の実施の形態との相違点は、スト
リーム変化検出部8の代わりに画像を出力すべき時間情
報であるPTS(プレゼンテーションタイムスタンプ)
の連続性の変化を検出するPTS不連続点検出部9を備
えることである。
【0057】PTS変化検出部9は、入力ビットストリ
ームデータBSのPESパケットヘッダを処理し、この
PESパケットヘッダに含まれるPTSの値を調べその
連続性が変化する、すなわち、PTSが不連続となる不
連続点を検出し、PTS不連続点検出に応答してPTS
不連続点検出信号VPを出力する。それ以外の動作は、
ストリーム変化検出信号VSをPTS不連続点検出信号
VPと読み替えることにより第1の動作と同一の動作を
行う。
【0058】次に、本発明の第3の実施の形態を図1と
共通の構成要素には共通の参照文字/数字を付して同様
にブロックで示す図7を参照すると、この図に示す本実
施の形態の前述の第1の実施の形態との相違点は、復号
データ記憶部2の代わりに復号化動画像データDBを表
示可能まで処理し対応する表示動画像データDDを生成
して記憶するとともにこの表示動画像データDDを出力
する復号データ処理記憶部10と、表示画像記憶部3の
代わりに表示動画像データDDを1フレーム分記憶しT
V画像である出力画像DOとして出力する表示画像記憶
部3Aと、メモリ間転送部6の代わりにストリーム変化
検出信号VSの供給に応じて復号データ処理記憶部10
から表示画像記憶部3Aへの表示動画像データDDの転
送を停止するメモリ間転送部6Aを備えることである。
【0059】本実施の形態では、入力ビットストリーム
データBSに変化が生じ、正常に復号できない場合に
は、表示画像記憶部3Aへの動画像データの転送を停止
し、表示画像記憶部3Aで記憶していた直前の表示動画
像データDD対応の画像を出力画像DOとして出力する
ことにより第1の実施の形態と同様な効果を得る。
【0060】
【発明の効果】以上説明したように、本発明の動画像復
号化装置及び方法は、MPEG復号化手段で復号化した
復号化動画像データを静止画像データとして1フレーム
分記憶する静止画像記憶手段と、第1及び第2の動画像
データに対応する第1及び第2のビットストリームの接
続部分におけるビットストリームの変化を検出しビット
ストリーム変化検出信号を出力するビットストリーム変
化検出手段と、上記ビットストリーム変化検出信号の供
給に応答して上記静止画像記憶手段に格納してある上記
ビットストリームの変化検出の直前の静止画像データを
上記表示出力手段に供給する転送制御手段とを備え、連
続して入力した複数の異なるビットストリームデータを
接続し復号化する時に正常に復号化された画像のみを表
示できるので、上記接続点での画像劣化が目立たないと
いう効果がある。
【図面の簡単な説明】
【図1】本発明の動画像復号化装置の第1の実施の形態
を示すブロック図である。
【図2】図1のMPEG2復号化部の構成の一例を示す
ブロック図である。
【図3】MPEG2のデータ構造を示す説明図である。
【図4】ビットストリームデータの配列を示す説明図で
ある。
【図5】本実施の形態の動画像復号化装置における動作
である動画像復号化方法の一例を示すフローチャートで
ある。
【図6】本発明の動画像復号化装置の第2の実施の形態
を示すブロック図である。
【図7】本発明の動画像復号化装置の第3の実施の形態
を示すブロック図である。
【図8】従来の動画像復号化装置の一例を示すブロック
図である。
【符号の説明】
1,101 MPEG2復号部 2 復号データ記憶部 3,3A 表示画像記憶部 4 静止画像制御部 5 静止画像記憶部 6 メモリ間転送部 7 画像制御部 8 ストリーム変化検出部 9 PTS不連続点検出部 10 復号データ処理記憶部 11 入力バッファ 12 可変長復号化部 13 逆量子化部 14 逆DCT変換部 15 加算器 16 画像メモリ 17 フォーマット変換部 18 動き補償予測部 19 D/A変換器
フロントページの続き Fターム(参考) 5C059 KK01 MA00 MA23 MC38 ME01 PP05 PP06 PP07 RC04 SS01 SS11 TA80 TB04 TC50 TD05 UA05 UA32 UA38 5J064 AA01 BA09 BB03 BC01 BC07 BD02 BD03

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 伝送回線及び回線入力インタフェースを
    通して入力されるMPEG符号化された動画像データを
    含むビットストリームを復号化して復号化動画像データ
    を生成するMPEG復号手段と、前記復号化動画像デー
    タを表示動画像データとして出力する表示出力手段とを
    備える動画像復号化装置において、 前記MPEG復号化手段で復号化した前記復号化動画像
    データを静止画像データとして1フレーム分記憶する静
    止画像記憶手段と、 第1及び第2の前記動画像データに対応する第1及び第
    2のビットストリームの接続部分における前記ビットス
    トリームの変化を検出しビットストリーム変化検出信号
    を出力するビットストリーム変化検出手段と、 前記ビットストリーム変化検出信号の供給に応答して前
    記静止画像記憶手段に格納してある前記ビットストリー
    ムの変化検出の直前の前記静止画像データを前記表示出
    力手段に供給する転送制御手段とを備えることを特徴と
    する動画像復号化装置。
  2. 【請求項2】 伝送回線及び回線入力インタフェースを
    通して入力されるMPEG符号化された動画像データを
    含むビットストリームを復号化して復号化動画像データ
    を生成するMPEG復号部と、 前記復号化動画像データを格納し復号画像データを出力
    する復号データ記憶部と、 復号化が終了した前記復号画像データを1フレーム分格
    納し表示用の動画像データである表示動画像データを出
    力する表示画像記憶部と、 1フレーム分の前記表示動画像データを静止画像データ
    として格納する静止画像記憶部と、 前記ビットストリームを監視し第1及び第2の前記動画
    像データに対応する第1及び第2のビットストリームの
    接続部分における前記ビットストリーム変化の検出に応
    答してストリーム変化検出信号を出力するストリーム変
    化検出部と、 前記ストリーム変化検出信号の供給に応答して前記表示
    画像記憶部に格納されている前記表示動画像データを前
    記静止画像記憶部に転送するメモリ間転送部と、 前記ストリーム変化検出信号の供給に応答して前記静止
    画像記憶部に格納されている前記静止画像データを表示
    出力するよう制御する静止画像制御部と、 前記表示画像記憶部からの前記表示動画像データと前記
    静止画像制御部からの前記静止画像データとのいずれか
    一方を選択しTV画像である出力画像として出力する画
    像制御部とを備えることを特徴とする動画像復号化装
    置。
  3. 【請求項3】 伝送回線及び回線入力インタフェースを
    通して入力されるMPEG符号化された動画像データを
    含むビットストリームを復号化して復号化動画像データ
    を生成するMPEG復号部と、 前記復号化動画像データを表示可能まで処理し対応する
    表示動画像データを生成して記憶するとともにこの表示
    動画像データを出力する復号データ処理記憶部と、 前記表示動画像データを1フレーム分記憶しTV画像で
    ある出力画像として出力する表示画像記憶部と、 前記ビットストリームを監視し第1及び第2の前記動画
    像データに対応する第1及び第2のビットストリームの
    接続部分における前記ビットストリーム変化の検出に応
    答してストリーム変化検出信号を出力するストリーム変
    化検出部と、 前記ストリーム変化検出信号の供給に応じて前記復号デ
    ータ処理記憶部から前記表示画像記憶部への表示動画像
    データの転送を停止するメモリ間転送部とを備えること
    を特徴とする動画像復号化装置。
  4. 【請求項4】 伝送回線及び回線入力インタフェースを
    通して入力されるMPEG符号化された動画像データを
    含むビットストリームを復号化して復号化動画像データ
    を生成するMPEG復号部と、 前記復号化動画像データを格納し復号画像データを出力
    する復号データ記憶部と、 復号化が終了した前記復号画像データを1フレーム分格
    納し表示用の動画像データである表示動画像データを出
    力する表示画像記憶部と、 1フレーム分の前記表示動画像データを静止画像データ
    として格納する静止画像記憶部と、 前記ビットストリームを監視し第1及び第2の前記動画
    像データに対応する第1及び第2のビットストリームの
    接続部分における画像を出力すべき時間情報であるプレ
    ゼンテーションタイムスタンプ(PTS)の連続性の変
    化を検出しPTS不連続点検出信号を出力するPTS不
    連続点検出部と、 前記PTS不連続点検出信号の供給に応答して前記表示
    画像記憶部に格納されている前記表示動画像データを前
    記静止画像記憶部に転送するメモリ間転送部と、 前記PTS不連続点検出信号の供給に応答して前記静止
    画像記憶部に格納されている前記静止画像データを表示
    出力するよう制御する静止画像制御部と、 前記表示画像記憶部からの前記表示動画像データと前記
    静止画像制御部からの前記静止画像データとのいずれか
    一方を選択しTV画像である出力画像として出力する画
    像制御部とを備えることを特徴とする動画像復号化装
    置。
  5. 【請求項5】 前記ビットストリーム変化が、前記ビッ
    トストリームの最上位レイヤを構成するパックレイヤの
    パックヘッダ及び/又は前記パックレイヤを構成するP
    ESパケットレイヤのPESパケットヘッダのストリー
    ム識別コードの変化であることを特徴とする請求項1又
    は2又は3記載の動画像復号化装置。
  6. 【請求項6】 前記ビットストリーム変化が、前記ビッ
    トストリームの最上位レイヤであるシーケンスレイヤの
    終了を示すシーケンスエンドコードの変化であることを
    特徴とする請求項1又は2又は3記載の動画像復号化装
    置。
  7. 【請求項7】 前記ビットストリーム変化が、前記ビッ
    トストリームの最上位レイヤを構成するパックレイヤの
    パックヘッダのシステムクロックレファレンスコードの
    変化であることを特徴とする請求項1又は2又は3記載
    の動画像復号化装置。
  8. 【請求項8】 伝送回線及び回線入力インタフェースを
    通して入力されるMPEG符号化された動画像データを
    含むビットストリームを復号化して復号化動画像データ
    を生成し、前記復号化動画像データを表示動画像データ
    として出力画像を生成する動画像復号化方法において、 復号化した前記復号化動画像データを静止画像データと
    して1フレーム分静止画像記憶手段に記憶し、 第1及び第2の前記動画像データに対応する第1及び第
    2のビットストリームの接続部分における前記ビットス
    トリームの変化を検出してビットストリーム変化検出信
    号を生成し、 前記ビットストリーム変化検出信号の供給に応答して前
    記静止画像記憶手段に格納してある前記ビットストリー
    ムの変化検出の直前の前記静止画像データを前記出力画
    像として出力することを特徴とする動画像復号化方法。
  9. 【請求項9】 前記ビットストリームを監視し、前記ビ
    ットストリームの変化検出の有無を判定するストリーム
    変化検出判定ステップと、 前記ストリーム変化検出判定ステップで前記ストリーム
    変化を検出したときストリーム変化検出信号を生成して
    表示動画像を記憶した表示画像記憶手段から前記静止画
    像記憶手段にストリーム変化検出の直前の前記表示動画
    像データを転送し、前記ストリーム変化を検出しないと
    きは処理を終了する表示画像データ転送ステップと、 前記静止画像記憶手段へのデータ転送の終了を検出する
    データ転送終了判定ステップと、 前記データ転送終了判定ステップでデータ転送の終了を
    検出したとき前記表示動画像データから前記静止画像デ
    ータに切換えこの静止画像データを前記出力画像として
    出力する静止画像出力ステップと、 新たに入力された前記ビットストリームデータを復号化
    し前記復号化動画像データが正常に復号され正常表示可
    能であるかを判定する正常復号判定ステップと、 前記正常復号判定ステップで正常に表示可能となったと
    き、前記静止画像データから前記表示動画像データに切
    換えこの表示動画像データを前記出力画像として出力す
    る動画像出力ステップとを有することを特徴とする請求
    項8記載の動画像復号化方法。
JP2001137438A 2001-05-08 2001-05-08 動画像復号化装置及び方法 Pending JP2002335528A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001137438A JP2002335528A (ja) 2001-05-08 2001-05-08 動画像復号化装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001137438A JP2002335528A (ja) 2001-05-08 2001-05-08 動画像復号化装置及び方法

Publications (1)

Publication Number Publication Date
JP2002335528A true JP2002335528A (ja) 2002-11-22

Family

ID=18984546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001137438A Pending JP2002335528A (ja) 2001-05-08 2001-05-08 動画像復号化装置及び方法

Country Status (1)

Country Link
JP (1) JP2002335528A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025489A1 (ja) * 2004-09-01 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像再生方法及び画像再生装置
JP2006128823A (ja) * 2004-10-26 2006-05-18 Oki Electric Ind Co Ltd 符号化装置、復号装置及び映像伝送システム
US7639280B2 (en) 2006-06-15 2009-12-29 Sony Corporation Image recording apparatus, image reproducing apparatus, image recording method, and image reproducing method
WO2011114633A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 映像信号処理装置及び映像信号処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025489A1 (ja) * 2004-09-01 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像再生方法及び画像再生装置
JP4780617B2 (ja) * 2004-09-01 2011-09-28 パナソニック株式会社 画像再生方法及び画像再生装置
JP2006128823A (ja) * 2004-10-26 2006-05-18 Oki Electric Ind Co Ltd 符号化装置、復号装置及び映像伝送システム
US7639280B2 (en) 2006-06-15 2009-12-29 Sony Corporation Image recording apparatus, image reproducing apparatus, image recording method, and image reproducing method
WO2011114633A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 映像信号処理装置及び映像信号処理方法

Similar Documents

Publication Publication Date Title
US6014178A (en) Receiver having analog and digital video modes and receiving method thereof
EP0923243B1 (en) Editing device, editing method, splicing device, splicing method, encoding device, and encoding method
US7072571B2 (en) Data reproduction transmission apparatus and data reproduction transmission method
US8204104B2 (en) Frame rate conversion system, method of converting frame rate, transmitter, and receiver
JP5209154B2 (ja) デジタル・ビデオ復号システム、複数のビデオ・プログラムを順次表示する方法およびユーザーによって選択される次のチャネルを予測する方法
US6091458A (en) Receiver having analog and digital video modes and receiving method thereof
JP4983317B2 (ja) フレームレート変換システム,フレームレート変換方法,受信装置
JPH1118083A (ja) ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
KR20040080930A (ko) 정보 처리 장치 및 방법
US7446819B2 (en) Apparatus and method for processing video signals
JP4010617B2 (ja) 画像復号化装置及び画像復号化方法
JP2002335528A (ja) 動画像復号化装置及び方法
JPH08251582A (ja) 符号化データ編集装置
JP2009290768A (ja) 映像処理装置および映像処理方法
JP3822821B2 (ja) 画像再生表示装置
JP2001128164A (ja) ビデオ符号処理方法およびそのシステム
JPH1155660A (ja) デジタル・ビットストリームの修正における又はデジタル・ビットストリームの修正に関する改良
JP4470345B2 (ja) データ配信装置及び方法、データ配信システム
JPH1070727A (ja) 動画像伝送方法および動画像伝送装置
JP2002094938A (ja) データ処理方法及び装置、データ伝送システム、伝送媒体
JP2002077811A (ja) データ処理方法及び装置、データ伝送システム、伝送媒体
JP2004193961A (ja) 映像伝送システム
JP2914368B1 (ja) 時報に合わせた動画像信号符号化方法及び装置
KR100397133B1 (ko) 영상 데이터 압축 전송 시스템 및 그 방법
JP2009071427A (ja) 画像処理装置、この画像処理装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050104