JP2001339721A

JP2001339721A - 動画像多重符号化信号処理回路及びその装置

Info

Publication number: JP2001339721A
Application number: JP2000155941A
Authority: JP
Inventors: Yoshiro Sasaki; 嘉郎佐々木; Manabu Higuchi; 学樋口
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-05-26
Filing date: 2000-05-26
Publication date: 2001-12-07

Abstract

(57)【要約】【課題】ＭＰＥＧプログラムストリームの編集処理を
ハードウェアでリアルタイム処理を実現する動画像多重
符号化信号処理回路およびその装置を提供すること。【解決手段】ＭＰＥＧプログラムストリームを入力
し、パケットヘッダを検出するヘッダ検出手段２１と、
検出されたヘッダコードに基づいて、映像および音声情
報の何れであるかを判別し、後段の処理を分岐するＩＤ
分岐手段２３と、映像ヘッダ情報抽出手段２５と、映像
情報計測手段２７と、音声ヘッダ情報抽出手段２９と、
音声情報計測手段３１と、各手段からの情報を一時的に
格納する情報格納手段３５と、この情報格納手段３５か
ら情報を読み出す情報読み出し手段３７とを備える。Ｉ
Ｄ分岐手段２３は、映像ヘッダを検出した時に、映像ヘ
ッダ情報抽出手段２５および映像情報計測手段２７を動
作させ、音声ヘッダを検出した時に、音声ヘッダ情報抽
出手段２９および音声情報計測手段３１を動作させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像多重符号化
信号処理回路及びその装置に関し、特に、ＭＰＥＧプロ
グラムストリームをフレーム単位で編集する際に、リア
ルタイム処理を実現するＭＰＥＧデータ処理回路及びそ
の装置に関するものである。

【０００２】

【従来の技術】従来、この種の動画像処理装置は、特開
平１０−３２８２６号に記載されたものが知られてい
る。図１２に示す従来のＭＰＥＧシステムとしての動画
像処理装置は、本体にワークステーションやパーソナル
コンピュータを適用した例で、ワークステーション、パ
ーソナルコンピュータからなるコンピュータ本体１と、
本体１に接続されたキーボード２と、ＣＲＴ等の表示器
３と、ΜＰＥＧデータを記憶するハードディスクなどの
記憶装置４とを備えている。

【０００３】上記コンピュータ本体１は、ΜＰＥＧスト
リーム複製機能部５と、ΜＰＥＧストリーム解析機能部
６（ストリーム解析手段）と、ΜＰＥＧストリーム分割
機能部７（ストリーム分割手段）と、ＭＰＥＧストリー
ム再生機能部８（ストリーム再生手段）と、ΜＰＥＧス
トリーム付加機能部９と、メモリ１０とを含む。

【０００４】尚、ＭＰＥＧのデータ構造は、下位の層か
ら、ブロック層、マクロブロック層、スライス層、ピク
チャ層、ＧＯＰ層およびビデオシーケンス層となってい
る。

【０００５】ＭＰＥＧビデオストリームは、その構造上
ＧＯＰ単位で分割編集されるように設計されていないた
め、これをピクチャ単位で分割編集することはできなか
った。そこで、上記の従来の動画像処理装置は、ＭＰＥ
Ｇビデオストリームをピクチャ単位できめ細かく分割編
集するために、ストリーム解析手段６によって、予めプ
ログラムストリームをすべてメモリ１０に一旦格納し
て、その中からＭＰＥＧビデオストリーム内のピクチャ
構造を知るために必要な情報を抽出して解析する方法を
とっている。

【０００６】また、図１３に、典型的なディジタル多重
符号化ストリームの基本構成単位であるパックおよびパ
ケットの構造を示す。同図に示すように、ディジタル多
重符号化ストリームは、複数のパック１１から構成され
る。各パック１１は、先頭のパックヘッダ１１ａと、そ
れに続く少なくとも１つのパケット１３とを有する。パ
ックヘッダ１１ａは、再生基準時間（System Clock Ref
erence）（以下、「ＳＣＲ」と呼ぶ）を含んでいる。こ
のＳＣＲは、符号化装置で符号化した時の時刻基準とな
る基本同期信号（System Time Clock）（以下、「ＳＴ
Ｃ」と呼ぶ。）を、多重化ストリームを復号する際に、
再現するための情報である。各パケット１３は、先頭の
パケットヘッダ１３ａと、それに続く符号化データ１５
とを有する。パケットヘッダ１３ａは、先頭の同期信号
と、映像および音声などのパケットを区別する識別子
（以下、「ストリームＩＤ」と呼ぶ。）と、パケット長
情報と、映像および音声の同期再生情報（Presentation
Time Stamp）（以下、「ＰＴＳ」と呼ぶ。）などが含
まれる。ＰＴＳは、映像および音声が、それぞれ再生単
位、すなわちパック毎に、基準時間のどこで復号し、い
つ再生すればよいかを示すタイムスタンプである。符号
化データ１５は、映像および音声情報を符号化装置で符
号化したデータであり、ストリームＩＤに対応する符号
化データが含まれる。

【０００７】図１４は、典型的なＭＰＥＧビデオストリ
ームの構造を示す図である。同図に示すように、ＭＰＥ
Ｇビデオストリームは、ＧＯＰ１７と、フレーム１８、
固定長、例えば２キロバイトのパック１９から構成され
ている。

【０００８】図１４では、ＧＯＰ１７が１ＧＯＰで、フ
レーム１８が３フレームで、パック１９が１３パックの
例を示している。この例において１フレーム目と２フレ
ーム目の境界は、３パック目と４パック目と同一である
が、２フレーム目と３フレーム目の境界は、９パック目
の中間に位置することになる。

【０００９】ＭＰＥＧビデオストリームの各ピクチャの
符号量は、２キロバイト以上になることが多い。また、
ＭＰＥＧビデオストリームの各ピクチャヘッダは、スト
リーム中でランダムな位置に存在する。そこで、ＭＰＥ
Ｇビデオストリーム内のピクチャ構造を知るためには、
ストリーム解析手段６によって、予めプログラムストリ
ームをすべてメモリ１０に一旦格納して、その中から、
必要な情報を解析する方法が一般的である。

【００１０】また、ビデオエンコーダを備えている構成
では、ビデオストリーム内の最終フレームのＰＴＳとＳ
ＣＲと、発生符号量とに基づいて、各フレームのＶＢＶ
バッファ予測をする。ＶＢＶバッファ予測値は下記の式
（１）により算出される。

【００１１】 VBV_b=((PTS−SCR)／27[MHz]＋1／30[sec])×R_max[Mbps]−f_b0 …式（１）

【００１２】ここで、ＶＢＶ_bは最終フレームのＶＢＶ
バッファ予測値、ＰＴＳは最終フレームのＰＴＳであ
り、ＳＣＲは最終フレームのＳＣＲ（最終フレームの先
頭のＳＣＲ）であり、Ｒ_maxは多重化レートであり、ｆ
_b0は最終フレームのビット発生量である。また、ビデオ
ストリームの基準クロックは２７ＭＨｚであり、１フレ
ームの表示時間は１／３０秒である。

【００１３】

【発明が解決しようとする課題】しかし、このような従
来の動画像処理装置では、ストリーム解析手段６が、ラ
ンダムに来るピクチャヘッダを常時検索するために、コ
ンピュータ本体１のＣＰＵが他の処理を実行できず、処
理時間的に編集に耐えられないという問題点があった。

【００１４】また、ビデオエンコーダを備えた動画像処
理装置においては、図１４に示すように、フレームの区
切り、つまりピクチャヘッダは、ランダムなアドレスを
取ることになる為、２キロバイト毎に付いているＳＣＲ
の値では、最大６００バイト程度の誤差が生じるため
に、最悪、画像の破綻を招くという問題点があった。例
えば、ＧＯＰ１７を編集する際に、再エンコードする際
に必要な情報を、最後のフレームつまり、３フレームの
情報を９パック目の先頭のヘッダにあるＳＣＲやＰＴＳ
でＶＢＶバッファの予測を行うとすると、最大６００バ
イトの誤差が生じることになる。

【００１５】本発明はこのような問題を解決するために
なされたもので、ＭＰＥＧプログラムストリームの編集
処理をリアルタイムに実行できる動画像多重符号化信号
処理回路を提供するものである。

【００１６】また、本発明は、ＭＰＥＧプログラムスト
リームの編集処理をフレーム単位でリアルタイムに実行
できる動画像多重符号化信号処理装置を提供するもので
ある。

【００１７】

【課題を解決するための手段】本発明の動画像多重符号
化信号処理回路は、映像および音声情報をそれぞれ符号
化圧縮した複数の映像および音声パケットを多重化して
構成されるＭＰＥＧプログラムストリームを処理する動
画像多重符号化信号処理回路であって、前期ＭＰＥＧプ
ログラムストリームを入力する入力手段と、前記ＭＰＥ
Ｇプログラムストリームから前記パケットに付加される
ヘッダを検出するヘッダ検出手段と、このヘッダ検出手
段によって検出されたヘッダに含まれる識別コードに基
づいて、前記ヘッダに続くパケットが、映像および音声
情報の何れのパケットであるかを判別する判別手段と、
前記ヘッダに含まれる情報を抽出する映像ヘッダ情報抽
出手段と、前記ヘッダに続くパケットの情報を映像情報
として計測する映像情報計測手段と、前記ヘッダに含ま
れる情報を抽出する音声ヘッダ情報抽出手段と、前記ヘ
ッダに続くパケットの情報を音声情報として計測する音
声情報計測手段と、前記判別手段によって前記ヘッダに
続くパケットの情報が映像情報であると判別された時
に、前記入力手段に前記映像ヘッダ情報抽出手段および
前記映像情報計測手段を並列に接続し、前記判別手段に
よって前記ヘッダに続くパケットの情報が音声情報であ
ると判別された時に、前記入力手段に前記音声ヘッダ情
報抽出手段および前記音声情報計測手段を並列に接続す
るよう接続を切り替える切替手段と、前記映像ヘッダ抽
出手段および前記音声ヘッダ抽出手段によって抽出され
た情報、並びに前記映像情報計測手段および前記音声情
報計測手段によって計測された情報を一時的に格納する
情報格納手段と、この情報格納手段に接続され、この情
報格納手段に格納された情報を読み出す情報読み出し手
段とを備えたことを特徴とする。

【００１８】この構成により、ＭＰＥＧプログラムスト
リームのヘッダを検出した時に、ヘッダに含まれる識別
コードに基づいて、音声および映像情報に関する処理を
分岐させ、各処理を並列に処理することができるので、
ＭＰＥＧプログラムストリームの解析をリアルタイムに
行えることとなる。並列処理された情報は一時的に情報
格納手段に格納し、一連の処理終了後に、情報読み出し
手段を介して外部から読み出すことができるので、ＭＰ
ＥＧプログラムストリームの編集がリアルタイムに行え
ることとなる。

【００１９】映像情報には、映像の符号量、Ｉ、Ｂ、Ｐ
ピクチャ種別、フィールドシーケンスなどが含まれ、ま
た、音声情報には、音声のフレーム数、音声チャンネル
数などが含まれる。

【００２０】また、本発明の動画像多重符号化信号処理
回路は、前記ＭＰＥＧプログラムストリームが、複数の
前記パケットを含む少なくとも一つのパックと、このパ
ックに付加されるヘッダとを含み、前記映像情報計測手
段が、前記パケットを検出するパケット検出部と、前記
パックのヘッダを検出するヘッダ検出部と、前記判別手
段が前記ヘッダに続くパケットの情報が映像情報である
と判別したとき、前記パケットの符号量を初期化し、前
記パケット検出部が前記パケットを検出したとき、前記
パケットの符号量を計測し、前記ヘッダ検出部が前記パ
ックヘッダを検出したとき、前記パケットの符号量を保
持して、前記映像パケットの符号量のみをフレーム毎に
発生符号量として計測する符号量計測部とを有すること
を特徴とする。

【００２１】この構成により、映像の符号量などを計測
する際に、ＰＥＳを検出した時に、検出フラグをセット
して、パックヘッダを検出した時に、検出フラグをリセ
ットして、検出フラグを基に映像の符号量を計測すると
いう作用を有することとなる。これにより、プログラム
ストリームからビデオストリームのみの分離して映像情
報のみを計測することが可能となり、計測される映像の
発生符号量の精度が±０バイトにすることができ、計測
精度が向上する。

【００２２】さらに、本発明の動画像多重符号化信号処
理回路は、前記音声情報計測手段が、音声ストリーム番
号を検出するストリームＩＤ検出部と、このストリーム
ＩＤ検出部で検出された音声ストリーム番号毎に、前記
音声情報を計測する音声情報計測部とを有することを特
徴とする。

【００２３】この構成により、音声情報を計測する際
に、音声ストリーム番号を検出して、各々のストリーム
のフレーム数を並列に計測するという作用を有すること
となる。これにより、プログラムストリームに複数の音
声ストリームが多重化されても、一度のプログラムスト
リームの入力で、音声ストリーム毎に、すべての音声の
フレーム数を計測することができる。

【００２４】また、本発明の動画像多重符号化信号処理
回路は、前記音声ヘッダ情報抽出手段が、音声ストリー
ム番号を検出するストリームＩＤ検出部と、このストリ
ームＩＤ検出部によって検出された前記音声ストリーム
ＩＤ毎に前記音声情報の同期信号を抽出する音声ヘッダ
情報抽出部とを有することを特徴とする。

【００２５】音声情報の同期信号とは、ＰＴＳである。
この構成により、音声ヘッダ情報を抽出する際に、音声
ストリーム番号を検出して、各々のストリームの音声の
ＰＴＳ等を並列に計測するという作用を有することとな
る。プログラムストリームに複数の音声ストリームが多
重化されても、一度のプログラムストリームの入力で、
音声ストリーム毎に、すべての音声ヘッダ情報を抽出す
ることができる。

【００２６】さらに、本発明の動画像多重符号化信号処
理回路は、ピクチャヘッダをそれぞれ有する複数のフレ
ームを符号化したビデオストリームが、所定のデータ長
を有する複数のパックを有し、前記ピクチャヘッダの位
置に対応する前記パックの先頭からの相対的なバイト数
を計数するピクチャヘッダ位置計測手段と、このピクチ
ャヘッダ位置計測手段が計数した相対的なバイト数と、
各フレームの前記音声情報の前記同期信号および前記発
生符号量と、基準時間とを出力する出力手段をさらに備
えことを特徴とする。

【００２７】ここで、基準時間とはＳＣＲのことであ
る。この構成により、ＭＰＥＧエンコーダでＶＢＶバッ
ファ予測を行う際に、各種パラメータの精度が正確にな
るという作用を有することとなる。これにより、再エン
コードしても映像が破綻することを防ぐことができる。

【００２８】また、本発明の動画像多重符号化信号処理
回路は、前記情報格納手段が、双方向ＲＡＭで構成され
たことを特徴とする。この構成により、各種抽出、解
析、計測した値を逐次格納するという作用を有すること
となる。双方向ＲＡＭは、数キロバイト程度の小容量な
ので、ＦＰＧＡ（Field Programmable Gate Array）や
ＤＳＰ（Digital Signal Processor）１個から構成でき
る。このためコストが削減できる。また、ＦＩＦＯで構
成されていないことにより、プログラムストリームのＧ
ＯＰサイズの制限に柔軟になり、いかなるプログラムス
トリームにも対応が可能となる。

【００２９】さらに、本発明の動画像多重符号化信号処
理回路は、前記情報格納手段が、異なる物理層の情報毎
に割り当てられる複数の領域を有することを特徴とす
る。この構成により、各種抽出、解析、計測した値を逐
次格納する際に、ＭＰＥＧのデータ構造に沿って、ＧＯ
Ｐ層、ピクチャ層、オーディオ層などの物理層毎に、格
納するという作用を有することとなる。情報格納手段
が、異なる物理層の情報毎に、割り当てられていること
により、必要な情報を読み出すアドレスが、計算式で求
められることになり、情報を読み出すオーバヘッド時間
を最短時間にすることができる。

【００３０】また、本発明の動画像多重符号化信号処理
装置は、前記ＭＰＥＧプログラムストリームをフレーム
単位で編集する動画像多重符号化信号処理装置であっ
て、ＭＰＥＧ復号化手段と、ＭＰＥＧ符号化手段と、上
述の動画像多重符号化信号処理回路と、前記ＭＰＥＧ復
号化手段と、ＭＰＥＧ符号化手段と、動画像多重符号化
信号処理回路とを並列動作させる制御手段とを備えたこ
とを特徴とする。この構成により、ＭＰＥＧプログラム
ストリームをフレーム単位で編集する際に、編集負荷に
耐えるリアルタイム処理を実現するという作用を有する
こととなる。ＭＰＥＧプログラムストリームをフレーム
単位で編集する際に、ストリーム解析時間が、転送時間
＋約１μ秒（転送基準クロック２０ＭＨｚ時）の処理時
間で可能になり、編集に耐えるリアルタイム処理を実現
する装置ができる。

【００３１】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。尚、すべての図面におい
て、同様な構成要素は同じ参照記号および符号を用いて
示してある。

【００３２】図１に示すように、本発明の第１の実施の
形態の動画像多重符号化信号処理回路２０は、ヘッダ検
出手段２１と、ＩＤ分岐手段２３と、映像ヘッダ情報抽
出手段２５と、映像情報計測手段２７と、音声ヘッダ情
報抽出手段２９と、音声情報計測手段３１と、エラー抽
出手段３３と、情報格納手段３５と、情報読み出し手段
３７とを備えている。

【００３３】ヘッダ検出手段２１は、入力端子Ａを有
し、音声および映像情報を多重符号化したＭＰＥＧプロ
グラムストリームＰＳを入力端子Ａを介して入力し、入
力したＭＰＥＧプログラムストリームＰＳに含まれる複
数のオーディオおよびビデオパケットの各ヘッダを常時
監視して検出するものである。ヘッダ検出手段２１は、
第１出力端子Ｘおよび第２の出力端子Ｙを有し、入力し
たＭＰＥＧプログラムストリームＰＳを第１出力端子Ｘ
を介して出力するとともに、ヘッダを検出した時、ヘッ
ダ検出信号ＳＩＧ１を出力端子Ｙを介して出力するもの
である。このヘッダ検出信号ＳＩＧ１は、ＩＤ分岐手段
２３を可動する信号である。

【００３４】ヘッダ検出手段２１は、入力したＭＰＥＧ
プログラムストリームＰＳをパケット単位に分割して第
１出力端子Ｘを介して出力してもよい。

【００３５】ＩＤ分岐手段２３は、ヘッダ検出手段２１
の第２出力端子Ｙに接続され、ヘッダ検出手段２１から
ヘッダ検出信号ＳＩＧ１を入力する。ＩＤ分岐手段２３
は、ヘッダ検出手段２１からヘッダ検出信号ＳＩＧ１が
入力された場合のみ、動作可能となる。ＩＤ分岐手段２
３は、ヘッダ検出手段２１の第１出力端子Ｘに接続さ
れ、ヘッダ検出手段２１から入力されたＭＰＥＧプログ
ラムストリームＰＳのヘッダに含まれる識別コード、例
えばストリームＩＤを入力する。この識別コードに基づ
いて、ＩＤ分岐手段２３は、ヘッダに続くパケットがオ
ーディオパケットかビデオパケットかを判別するもので
ある。さらに、ＩＤ分岐手段２３は、第１出力端子Ｘお
よび第２出力端子Ｙを有し、識別コードに基づいて、検
出されたパケットが、ビデオパケットと判別した場合、
ビデオ検出信号ＳＩＧ２を、第１出力端子Ｘを介して出
力し、一方、識別コードに基づいて、検出されたパケッ
トが、オーディオパケットと判別した場合、オーディオ
検出信号ＳＩＧ３を、第２出力端子Ｙを介して出力する
ものである。

【００３６】映像ヘッダ情報抽出手段２５および映像情
報計測手段２７は、ヘッダ検出手段２１の第１出力端子
Ｘに並列に接続され、ヘッダ検出手段２１からＭＰＥＧ
プログラムストリームＰＳを入力するとともに、ＩＤ分
岐手段２３の第１出力端子Ｘに並列に接続され、ＩＤ分
岐手段２３からビデオ検出信号ＳＩＧ２を入力する。

【００３７】一方、音声ヘッダ情報抽出手段２９および
音声情報計測手段３１は、ヘッダ検出手段２１の第１出
力端子Ｘに並列に接続され、ヘッダ検出手段２１からＭ
ＰＥＧプログラムストリームＰＳを入力するとともに、
ＩＤ分岐手段２３の第２出力端子Ｙに並列に接続され、
ＩＤ分岐手段２３からオーディオ検出信号ＳＩＧ３を入
力する。

【００３８】映像ヘッダ情報抽出手段２５は、ＩＤ分岐
手段２３からビデオ検出信号ＳＩＧ２が入力された時、
動作可能となり、ヘッダ検出手段２１で検出されたパケ
ットのヘッダの内容をＭＥＰＧプログラムストリームＰ
Ｓから抽出し、映像ヘッダ情報Ｄ１として出力するもの
である。

【００３９】映像情報計測手段２７は、ＩＤ分岐手段２
３からビデオ検出信号ＳＩＧ２が入力された時、動作可
能となり、ヘッダ検出手段２１で検出されたパケットの
情報を映像情報として計測および解析し、映像計測情報
Ｄ２として出力するものである。ここで計測および解析
される映像情報は、映像の符号量、Ｉ、Ｐ、Ｂピクチャ
種別およびフィールドシーケンスなどである。

【００４０】音声ヘッダ情報抽出手段２９は、ＩＤ分岐
手段２３からオーディオ検出信号ＳＩＧ３が入力された
時、動作可能となり、ヘッダ検出手段２１で検出された
パケットのヘッダの内容をＭＰＥＧプログラムストリー
ムから抽出し、音声ヘッダ情報Ｄ３として出力するもの
である。

【００４１】音声情報計測手段３１は、ＩＤ分岐手段２
３からオーディオ検出信号ＳＩＧ３が入力された時、動
作可能となり、ヘッダ検出手段２１で検出されたパケッ
トの情報を音声情報として計測し、音声計測情報Ｄ４と
して出力するものである。音声情報は、音声のフレーム
数などである。

【００４２】エラー抽出手段３３は、ヘッダ検出手段２
１に接続され、ＭＰＥＧプログラムストリームＰＳが入
力されているか否かを判定し、その結果をエラー情報Ｄ
５として出力するものである。詳しくは、エラー抽出手
段３３は、ヘッダ検出手段２１を介してＭＰＥＧプログ
ラムストリームＰＳを入力し、入力されたＭＰＥＧプロ
グラムストリームＰＳのデータサイズを、ヘッダ検出手
段２１でヘッダが検出されるまでの間、算出する。すな
わち、ヘッダ検出手段２１でヘッダが検出されるまでの
間に、入力されたデータがあった場合は、エラーと判定
し、このデータサイズをエラーサイズとして解析し、そ
の結果をエラー情報Ｄ５として出力する。

【００４３】情報格納手段３５は、映像ヘッダ情報抽出
手段２５と、映像情報計測手段２７と、音声ヘッダ情報
抽出手段２９と、音声情報計測手段３１と、エラー抽出
手段３３とに接続され、各情報Ｄ１〜Ｄ５を入力し、一
時的に格納するものである。

【００４４】情報読み出し手段３７は、情報格納手段３
５および外部の図示されない動画像処理装置と接続さ
れ、動画像処理装置から読み出しアドレスＤ７を入力
し、情報格納手段３５から当該アドレスＤ７の情報デー
タＤ８を読み出して、出力するものである。

【００４５】このように構成された動画像多重符号化信
号処理回路２０の動作について、図２のフローチャート
を用いて以下に説明する。ＭＰＥＧプログラムストリー
ムＰＳが動画像多重符号化信号処理回路２０に入力され
る（Ｓ１）と、ヘッダ検出手段２１が、入力されたプロ
グラムストリームＰＳ中のパケットヘッダを監視する
（Ｓ２）。ヘッダを検出すると、ＩＤ分岐手段２３を動
作可能にする（Ｓ３）。ステップＳ２では、同時にエラ
ー監視を行ってもよく、その場合は、エラーデータのサ
イズを解析し、ステップＳ１０へ進む。

【００４６】ＩＤ分岐手段２３が、プログラムストリー
ムＰＳから検出されたヘッダに含まれる識別コードに基
づいて、検出されたヘッダに続く情報が映像情報か音声
情報かを判別する（Ｓ４）。映像情報の場合は、ビデオ
検出信号ＳＩＧ２を出力し（Ｓ５）、一方、音声情報の
場合は、オーディオ検出信号ＳＩＧ３を出力する（Ｓ
６）。映像ヘッダ情報抽出手段２５と映像情報計測手段
２７、および音声ヘッダ情報抽出手段２９と音声情報計
測手段３１が、それぞれビデオ検出信号ＳＩＧ２および
オーディオ検出信号ＳＩＧ３を監視する（Ｓ７）。ビデ
オ検出信号ＳＩＧ２が検出されると、映像ヘッダ情報抽
出手段２５および映像情報計測手段２７が動作可能とな
る（Ｓ８）。一方、オーディオ検出信号ＳＩＧ３が検出
されると、音声ヘッダ情報抽出手段２９および音声情報
計測手段３１が動作可能となる（Ｓ９）。各手段で抽出
または計測された情報データＤ１〜Ｄ４並びにエラー情
報Ｄ５を情報格納手段３５に格納する（Ｓ１０）。情報
読み出し手段３７が、外部から指定された読み出しアド
レスＤ７に基づいて、情報格納手段３５から該当する情
報データＤ８を読み出して出力する（Ｓ１１）。上記の
ステップＳ１〜Ｓ１１が、繰り返される。

【００４７】上記ステップＳ１、Ｓ４およびＳ７の判定
は、一連の動作の中で、並列に常時行うようにしてもよ
い。

【００４８】このように、本実施例の動画像多重符号化
信号処理回路２０は、映像ヘッダの抽出、映像の符号量
などの計測、音声ヘッダの抽出、音声のフレーム数など
の計測の処理を、並列に処理することができ、これらの
処理で得られた情報は一時的に情報格納手段に格納さ
れ、随時、外部からの読み出し要求に応じて読み出すこ
とが可能となる。

【００４９】以上のように、本発明の第１の実施の形態
の動画像多重符号化信号処理回路２０は、ＭＰＥＧプロ
グラムストリームＰＳを音声および映像情報において並
列的に解析処理できることとなり、ストリーム解析作業
用のメモリを必要としない。また、解析処理に必要な時
間は、従来は、「記憶媒体からメモリへの転送時間＋メ
モリの読み出し時間＋最後のフレーム情報書き込み時
間」であったのが、「記憶媒体からの転送時間＋最後の
フレーム情報の書き込み時間」となる為、最小限の遅延
で済み、これによりＭＰＥＧプログラムストリームの編
集処理をリアルタイムに実行できる。

【００５０】図３は、本発明の第２の実施の形態の映像
情報計測手段４０の詳細ブロック図である。同図に示す
ように、映像情報計測手段４０は、パケットヘッダ検出
部４１と、ピクチャ検出部４３と、ＰＥＳ（Packetized
Elementary Stream）検出部４５と、パック検出部４７
と、符号量計測部４９とで構成される。

【００５１】パケットヘッダ検出部４１は、プログラム
ストリームＰＳを入力し、常時パケットヘッダを監視
し、映像パケットヘッダを検出したとき、後段のピクチ
ャ検出部４３、ＰＥＳ検出部４５およびパック検出部４
７を動作可能にするものである。ここで、パケットヘッ
ダ検出部４１は、第１の実施の形態のヘッダ検出手段２
１およびＩＤ分岐手段２３によって構成してもよい。

【００５２】ピクチャ検出部４３、ＰＥＳ検出部４５お
よびパック検出部４７は、パケットヘッダ検出部４１に
並列に接続され、ともにプログラムストリームＰＳを入
力し、プログラムストリームＰＳを常時監視する。ピク
チャ検出部４３は、入力したプログラムストリームＰＳ
からピクチャヘッダの検出を行う。ＰＥＳ検出部４５
は、入力したプログラムストリームＰＳからＰＥＳの検
出を行う。パック検出部４７は、入力したプログラムス
トリームＰＳからパックヘッダの検出を行う。例えば、
ＰＥＳ検出部４５で、ＰＥＳが検出されたときに、検出
フラグをセットし、パック検出部４７でパックヘッダが
検出されたとき、検出フラグをリセットする。

【００５３】符号量計測部４９は、上記の検出フラグに
基づいて、入力したプログラムストリームＰＳから映像
情報の符号量のみを計測する。詳しくは、ピクチャ検出
部４３でピクチャヘッダが検出されたとき、映像の符号
量の計測データ値を初期化し、検出フラグが１のとき、
映像符号量の計測を行い、計測データ値を積算する。検
出フラグが０のとき、計測データ値は保持したままとす
る。

【００５４】図４は、図３に示した第２の実施の形態の
映像情報計測手段４０における映像情報計測処理手順を
示すフローチャートである。同図に示すように、映像情
報計測手段４０は、ステップＳ２１〜Ｓ２６の順に動作
する。

【００５５】パケットヘッダ検出部４１が、プログラム
ストリームＰＳを入力し（Ｓ２１）、映像パケットヘッ
ダの検出を行う（Ｓ２２）。第１の実施の形態において
は、ＩＤ分岐手段２３が、この映像パケットヘッダの検
出を行うので、ステップＳ２２では、ビデオ検出信号Ｓ
ＩＧ２の検出を行えば良い。あるいは、映像パケットヘ
ッダ検出フラグを設け、このフラグの設定および監視に
よって行ってもよい。

【００５６】映像パケットヘッダが検出されると、ピク
チャ検出部４３、ＰＥＳ検出部４５およびパック検出部
４７が、ピクチャヘッダ、ＰＥＳおよびパックをそれぞ
れ常時監視する（Ｓ２３）。ピクチャ検出部４３がピク
チャヘッダを検出すると、符号量計測部４９が、ヘッダ
に続くパケットの情報を映像情報として計測を開始する
ために、前回までのピクチャの映像情報をクリアし、計
測データ値を初期化して（Ｓ２４）、ステップＳ２１へ
戻る。

【００５７】ステップＳ２３で、ＰＥＳ検出部４５がＰ
ＥＳを検出すると、符号量計測部４９が、ヘッダに続く
パケットの情報を映像情報として計測を続行し（Ｓ２
５）、ステップＳ２１へ戻る。例えば符号量計測部４９
が、映像の符号量を積算する。ステップＳ２３で、パッ
ク検出部４７がパックヘッダを検出すると、ここで、符
号量計測部４９は、映像情報の計測を一旦停止し、映像
情報のデータ値を保持し（Ｓ２６）、ステップＳ２１へ
戻る。

【００５８】以下、図３および４を用いて映像情報計測
手段４０の作用を説明する。

【００５９】パケットヘッダ検出部４１が、プログラム
ストリームＰＳを常時監視して映像パケットヘッダを検
出すると、後段のピクチャ検出部４３、ＰＥＳ検出部４
５およびパック検出部４７が動作可能となる。次に、プ
ログラムストリームＰＳから検出されたヘッダの識別コ
ードに基づいて、並列に接続されている３つの検出部４
３、４５および４７が符号量計測部４９の制御を決定す
る。

【００６０】初期状態からの動作としては、符号量計測
部４９は、ピクチャ検出部４３でピクチャヘッダが検出
されないかぎり、符号量の計測は行わない。次に、ピク
チャ検出部４３でピクチャヘッダが検出された後に、Ｐ
ＥＳ検出部４５にて、ＰＥＳが検出された時に、符号量
計測部４９が、符号量の計測を開始する。その後に、パ
ック検出部４７にて、パックヘッダが検出されると、符
号量計測部４９は、符号量の計測をホールドして、映像
データ以外の情報を計測しないように動作する。以降は
これらの動作の繰り返しとなる。

【００６１】再度、ピクチャ検出部４３にて、ピクチャ
ヘッダが検出されると、映像情報データＤ１として計測
結果が出力される。映像情報計測手段４０における一連
の動作を完了して、次段、すなわち情報格納手段３５へ
処理を移行する。映像情報計測手段４０は、再びピクチ
ャヘッダの監視に処理を戻し、上記の動作が繰り返され
る。

【００６２】このようにして、プログラムストリームＰ
Ｓに音声情報が多重化されている場合でも、音声パケッ
トヘッダが検出された間は、映像の符号量の計測をホー
ルドできるので音声データを計測値から除外することが
可能となり、これによりリアルタイムで、１フレーム当
たりの映像符号量を計測することが可能となる。

【００６３】尚、音声データは、２キロバイト固定長サ
イズであり、本実施の形態におけるパックも２キロバイ
トの固定長サイズとするので、これにより、ＰＥＳが検
出されて符号量の計測が開始した後、音声パケットＰＥ
Ｓが一旦検出されて、映像情報計測手段４０の動作が停
止した後から次の映像パケットＰＥＳが検出される前ま
でに、パックヘッダが検出されるので、符号量計測値が
ホールドすることができる。

【００６４】本実施の形態の映像情報計測手段４０によ
れば、音声と映像情報が多重符号化されたプログラムス
トリームＰＳからビデオストリームを分離して映像情報
のみ計測することが可能となり、計測される映像の発生
符号量の精度を±０バイトにすることができ、計測精度
が向上する。

【００６５】図５は、本発明の第３の実施の形態の音声
情報計測手段５０の詳細ブロック図である。同図に示す
ように、音声情報計測手段５０は、パケットヘッダ検出
部５１と、音声ストリーム番号取得部５３と、音声フレ
ーム数計測部５５とを備えている。

【００６６】パケットヘッダ検出部５１は、プログラム
ストリームＰＳを入力し、常時パケットヘッダを監視
し、音声パケットヘッダを検出したとき、後段の音声ス
トリーム番号取得部５３を動作可能にするものである。
ここで、パケットヘッダ検出部５１は、第１の実施の形
態のヘッダ検出手段２１およびＩＤ分岐手段２３によっ
て構成してもよい。

【００６７】音声ストリーム番号取得部５３は、パケッ
トヘッダ検出部５１に接続され、音声パケットヘッダに
含まれる音声ストリーム番号を取得する。音声フレーム
数計測部５５は、上記音声ストリーム番号取得部５３で
取得した音声ストリーム番号にそれぞれ対応して、音声
ストリーム番号毎に音声フレーム数を計測するものであ
る。

【００６８】具体的には、音声ストリーム番号取得部５
３で、取得した音声ストリーム番号分だけ音声フレーム
数計測領域を設定し、音声フレーム数計測部５５で、該
当するストリーム番号の音声フレーム数を計測して音声
フレーム計測領域内に積算すれば良い。

【００６９】図６は、図５に示した第３の実施の形態の
音声情報計測手段５０における音声情報計測処理手順を
示すフローチャートである。

【００７０】同図に示すように、パケットヘッダ検出部
５１が、プログラムストリームＰＳを入力し（Ｓ３
１）、音声パケットヘッダの検出を行う（Ｓ３２）。第
１の実施の形態においては、ＩＤ分岐手段２３が、この
音声パケットヘッダの検出を行うので、ステップＳ２２
では、オーディオ検出信号ＳＩＧ３の検出を行えば良
い。あるいは、音声パケットヘッダ検出フラグを設け、
このフラグの設定および監視によって行ってもよい。

【００７１】音声パケットヘッダが検出されると、音声
ストリーム番号取得部５３５３が動作可能となり、音声
ストリーム番号毎に処理を分岐する（Ｓ３３）。各音声
ストリーム番号毎に、音声フレーム数計測部５５が、音
声フレーム数を計測する（Ｓ３５ａ、３５ｂ、３５
ｃ）。すなわち、音声フレーム番号が０の時は、ステッ
プＳ３５ａに進み、音声フレーム数計測部５５が音声フ
レーム番号０の音声フレーム数を計測する。音声フレー
ム番号が１の時は、ステップＳ３５ｂに進み、音声フレ
ーム数計測部５５が音声フレーム番号１の音声フレーム
数を計測する。音声フレーム番号がｉの時は、ステップ
Ｓ３５ｃに進み、音声フレーム数計測部５５が音声フレ
ーム番号ｉの音声フレーム数を計測する。ステップＳ３
５ａ、３５ｂおよび３５ｃは、すべてステップＳ３１へ
戻る。

【００７２】以下、図５および６を用いて音声情報計測
手段５０の作用を説明する。

【００７３】パケットヘッダ検出部５１が、プログラム
ストリームＰＳを常時監視して音声パケットヘッダを検
出すると、音声ストリーム番号取得部５３が動作可能と
なる。

【００７４】初期状態からの動作としては、音声フレー
ム数計測部５５は、パケットヘッダ検出部５１で音声パ
ケットヘッダが検出されない限り、音声ストリーム数の
計測は行わない。次に、パケットヘッダ検出部５１で音
声パケットヘッダが検出された後、音声ストリーム番号
取得部５３にて、ストリーム番号が取得される。

【００７５】例えば、二つの音声ストリーム番号が取得
された場合は、仮に音声ストリーム番号は０および１と
設定され、ストリーム番号０の時は、ステップＳ３５ａ
に進み、ストリーム番号１の時は、ステップＳ３５ｂに
進む。

【００７６】ステップＳ３５ａでは、ストリーム番号０
の音声フレーム数のみが計測され、ステップＳ３５ｂで
は、ストリーム番号１の音声フレーム数のみが計測され
る。

【００７７】このようにして、プログラムストリームＰ
Ｓに音声ストリームが複数以上重畳されている場合で
も、一度のプログラムストリームの入力で、音声ストリ
ーム毎に、すべての音声フレーム数の計測が可能とな
る。

【００７８】他の実施の形態において、音声フレーム数
計測部５５は、他の音声情報、例えば、音声チャンネル
数を計測する手段であってもよい。

【００７９】図７は、本発明の第４の実施の形態に係る
音声ヘッダ情報抽出手段６０の詳細ブロック図である。
同図に示すように、音声ヘッダ情報抽出手段６０は、音
声ＰＴＳ（Presentation Time Stamp）抽出部６５と、
図５に示した第５の実施の形態の音声情報計測手段５０
と同じパケットヘッダ検出部５１および音声ストリーム
番号取得部５３とを備えている。

【００８０】音声ＰＴＳ抽出部６５は、上記音声ストリ
ーム番号取得部５３で取得した音声ストリーム番号にそ
れぞれ対応して、音声ストリーム番号毎に音声ＰＴＳを
抽出するものである。

【００８１】具体的には、音声ストリーム番号取得部５
３で、取得した音声ストリーム番号分だけ音声ＰＴＳ領
域を設定し、音声ＰＴＳ抽出部６５で、該当するストリ
ーム番号の音声ＰＴＳを抽出して音声ＰＴＳ領域内に記
録すれば良い。

【００８２】図８は、図７に示した第４の実施の形態の
音声ヘッダ情報抽出手段６０における音声ヘッダ情報抽
出処理手順を示すフローチャートである。

【００８３】同図に示すように、パケットヘッダ検出部
５１が、プログラムストリームＰＳを入力し（Ｓ３
１）、音声パケットヘッダの検出を行う（Ｓ３２）。音
声パケットヘッダが検出されると、音声ストリーム番号
取得部５３が動作可能となり、音声ストリーム番号毎に
処理を分岐する（Ｓ３３）。ここまでのステップは第３
の実施の形態と同様である。

【００８４】各音声ストリーム番号毎に、音声ＰＴＳ抽
出部６５が、音声ＰＴＳを抽出する（Ｓ４５ａ、４５
ｂ、４５ｃ）。すなわち、音声フレーム番号が０の時
は、ステップＳ４５ａに進み、音声ＰＴＳ抽出部６５が
音声フレーム番号０の音声ＰＴＳを抽出する。音声フレ
ーム番号が１の時は、ステップＳ４５ｂに進み、音声Ｐ
ＴＳ抽出部６５が音声フレーム番号１の音声ＰＴＳを抽
出する。音声フレーム番号がｉの時は、ステップＳ４５
ｃに進み、音声ＰＴＳ抽出部６５が音声フレーム番号ｉ
の音声ＰＴＳを抽出する。ステップＳ４５ａ、４５ｂお
よび４５ｃは、すべてステップＳ４１へ戻る。

【００８５】以下、図７および８を用いて音声ヘッダ情
報抽出手段６０の作用を説明する。

【００８６】パケットヘッダ検出部５１が、プログラム
ストリームＰＳを常時監視して音声パケットヘッダを検
出すると、音声ストリーム番号取得部５３が動作可能と
なる。

【００８７】初期状態からの動作としては、音声ＰＴＳ
抽出部６５は、音声ストリーム番号取得部５３で音声パ
ケットヘッダが検出されない限り、音声ヘッダ情報の抽
出は行わない。次に、パケットヘッダ検出部５１で音声
パケットヘッダが検出された後、音声ストリーム番号取
得部５３にて、ストリーム番号が取得される。

【００８８】例えば、二つの音声ストリーム番号が取得
された場合は、仮に音声ストリーム番号は０および１と
設定され、ストリーム番号０の時は、ステップＳ４５ａ
に進み、ストリーム番号１の時は、ステップＳ４５ｂに
進む。

【００８９】ステップＳ４５ａでは、ストリーム番号０
の音声ＰＴＳのみが抽出され、ステップＳ４５ｂでは、
ストリーム番号１の音声ＰＴＳのみが抽出される。

【００９０】このようにして、プログラムストリームＰ
Ｓに音声ストリームが複数以上重畳されている場合で
も、音声ストリーム毎に、すべての音声ヘッダ情報、す
なわち音声ＰＴＳの抽出が可能となる。

【００９１】本発明の第５の実施の形態の動画像多重符
号化信号処理回路は、プログラムストリームＰＳから分
離されたビデオストリームのピクチャヘッダが、当該ピ
クチャヘッダが含まれるパックの先頭から何バイトの位
置にあるかを示す相対的なバイト数を計数するピクチャ
ヘッダ位置計測手段（図示無し）と、各フレームのＰＴ
Ｓと発生符号量と、ＳＣＲと、上記バイト数とを出力す
る出力手段（図示なし）を備えている。

【００９２】これにより、ＭＰＥＧ２ビデオストリーム
を再エンコードする場合、ＶＢＶバッファ予測値の精度
が６００バイト以下にすることができ、再エンコードし
ても映像が破綻することを防ぐことが可能となる。

【００９３】本発明の第６の実施の形態の動画像多重符
号化信号処理回路において、図１に示された情報格納手
段３５は、双方向ＲＡＭ（図示なし）で構成されてい
る。双方向ＲＡＭは、数キロバイト程度の小容量を有し
ている。これにより、本実施の形態の動画像多重符号化
信号処理回路は、ＦＰＧＡやＤＳＰ１個から構成でき
る。このためコストが削減できる。

【００９４】以下、図９を用いて本実施の形態の動画像
多重符号化信号処理の情報格納手段３５の作用を説明す
る。

【００９５】図９は、本実施の形態の情報格納手段３５
への情報の格納動作を説明するタイミングチャートであ
る。同図に示すように、例えば、入力されるプログラム
ストリームＰＳが、３つのＧＯＰを有し、第１ＧＯＰは
３フレーム、第２ＧＯＰは６フレーム、第３ＧＯＰは６
フレームを有している。このように一般的にプログラム
ストリームはＧＯＰ辺りのフレーム数は一定ではない。

【００９６】情報格納手段３５へは、ＧＯＰ毎の情報
と、フレーム毎の情報とがある。これらの書き込みのタ
イミングは、ＧＯＰデータ書き込みタイミング７１と、
ピクチャデータ書き込みタイミング７２との矢印で図示
してある。同図に示すように、ＧＯＰの境界において、
データ書き込みの競合が見られる。

【００９７】例えば、情報格納手段３５をＦＩＦＯ（Ｆ
ＩＲＳＴＩＮＦＩＲＳＴＯＵＴ）とする構成で、
前段で処理、解析や計測した値を、逐次書き込み処理を
行うとすると、１ＧＯＰ辺りのフレーム数を書き込むタ
イミングと、ＧＯＰ層のデータを書き込むタイミングに
制約が生じてしまい、結果的に回路の構成が煩雑になっ
てしまう。また、メモリの容量に対するデータの無駄が
生じてくることも明らかであり、尚かつＭＰＥＧプログ
ラムストリームへの対応すべき大きさへの制約も生じ、
またコストも高くなる。

【００９８】本実施の形態の情報格納手段３５は、ＦＩ
ＦＯではなく、双方向ＲＡＭで構成したことにより、Ｇ
ＯＰサイズの制限が柔軟となり、いかなるプログラムス
トリームにも対応を可能となる。

【００９９】本発明の第７の実施の形態の動画像多重符
号化信号処理回路は、図示されない情報書き込みアドレ
ス発生手段を備えている。図１０は、本実施の形態の動
画像多重符号化信号処理回路における情報格納手段３５
のレジスタマップである。同図に示すように、情報格納
手段３５は、ＧＯＰ層情報格納領域７５、ピクチャ層情
報格納領域７７、オーディオ層情報格納領域７９の、３
つの異なる物理層の情報毎の格納領域を有している。

【０１００】情報書き込みアドレス発生手段は、下記の
式（２）に基づいて、情報格納手段３５へ情報を書き込
むアドレスを算出するものである。はじめに、各層の要
素の総数をＮと定義し、この情報は、先頭アドレス、例
えば０番地に格納される。

【０１０１】以下、情報格納手段３５への書き込み動作
を説明する。

【０１０２】まず、ＧＯＰ層情報については、先頭（例
えば０番地）にＧＯＰ数をＮと定義しておき、ＧＯＰ層
の情報量をｍ列とすると、第ｎ番目のＧＯＰの開始アド
レスは、下記の式（２）により算出される。

【０１０３】ｎ＋１＋（ｎ×ｍ） …式（２）

【０１０４】従って、順次、ｍ、ｎの値を代入すること
により、各ＧＯＰの開始アドレスが算出され、情報格納
手段３５への書き込みアドレスが決定される。

【０１０５】ピクチャ層情報格納領域７７、オーディオ
層情報格納領域７９についても、同様にしてアドレスを
決定する。

【０１０６】また、情報読み出し手段３７が、情報格納
手段３５に格納されたデータを読み出す場合も、上記の
式（２）に基づいて、読み出しアドレスを計算すること
ができる。

【０１０７】このように異なる物理層の情報毎にメモリ
の開始アドレスを定めるとともに、情報格納手段３５と
情報読み出し手段３７とで同じ計算式を用いることによ
り情報を読み出し始めるオーバヘッド時間を最短時間に
することができる。

【０１０８】また仮に情報量の増減に対しても、書き込
みアドレス発生手段は、外部からの列パラメータの変更
だけで、対応できる柔軟な回路構成とすることができ
る。

【０１０９】図１１は、本発明の第８の実施の形態の動
画像多重符号化信号処理装置（以下、「ＭＰＥＧデータ
処理装置」と呼ぶ。）の構成を示すブロック図である。
同図に示すように、ＭＰＥＧデータ処理装置８０は、ビ
デオカメラなどの撮像装置８１と、ディジタル映像デー
タを記憶する第１記憶保持装置８３と、ディジタル映像
データを予め記録保持した記録媒体などの第２記憶保持
装置８５と、映像データを表示する表示手段８７とが接
続され、撮像装置８１から入力した映像をディジタル符
号化し、第１記憶保持装置８３に録画するとともに、第
１記憶保持装置８３または第２記憶保持装置８５に記録
されている映像を表示手段８７に再生表示し、さらに映
像を編集可能にするものである。特に、本発明のＭＰＥ
Ｇデータ処理装置８０は、記憶保持装置８３または８５
に記憶されたＭＰＥＧストリームをフレーム単位で編集
可能とするものである。

【０１１０】ＭＰＥＧデータ処理装置８０は、装置制御
手段８９と、指示手段９１と、メモリ制御手段９３と、
一時記憶手段９５と、ＭＰＥＧ符号手段１０１と、第１
インタフェース手段１０３と、第２インタフェース手段
１０５と、ＭＰＥＧ復号手段１０７と、ＭＰＥＧ解析手
段１０９とを備えている。

【０１１１】装置制御手段８９は、本ＭＰＥＧデータ処
理装置８０全体の動作を制御するものである。指示手段
９１は、装置制御手段８９に接続され、操作者にＭＰＥ
Ｇデータ処置装置８０への指示を入力させて、装置制御
手段８９に指示を伝達することにより、操作者の指示に
従ってＭＰＥＧデータ処理装置８０を動作させるもので
ある。

【０１１２】メモリ制御手段９３は、一時記憶手段９
５、ＭＰＥＧ符号手段１０１、第１インタフェース手段
１０３、第２インタフェース手段１０５、ＭＰＥＧ復号
手段１０７、ＭＰＥＧ解析手段１０９に接続され、各手
段と一時記憶手段９５間の情報の転送を制御するもので
ある。

【０１１３】一時記憶手段９５は、メモリ制御手段９３
を介して、各手段に接続され、各手段から転送されたデ
ィジタル映像データを一時的に格納するとともに、要求
に応じて読み出すものである。

【０１１４】ＭＰＥＧ符号手段１０１は、撮像手段８１
および装置制御手段８９に接続され、指示手段９１を介
した操作者の指示に応じて、装置制御手段８９により制
御され、撮像手段８１からディジタル映像信号を入力
し、符号化圧縮してＭＰＥＧストリームＰＳを出力する
ものである。出力されたＭＰＥＧストリームＰＳは、メ
モリ制御手段９３を介して一時記憶手段９５に一時的に
格納される。

【０１１５】第１インタフェース手段１０３は、メモリ
制御手段９３および第１記憶保持手段８３に接続され、
一時記憶手段９５からメモリ制御手段９３介してＭＰＥ
Ｇ符号手段１０１で符号化されたＭＰＥＧストリームＰ
Ｓを第１記憶保持手段８３に転送するとともに、第１記
憶保持手段８３に記憶されたＭＰＥＧストリームを読み
出し、メモリ制御手段９３を介して一時記憶手段９５に
一時的に格納するものである。

【０１１６】第２インタフェース手段１０５は、第２記
憶保持手段８５および装置制御手段８９に接続され、指
示手段９１を介した操作者の指示に応じて、装置制御手
段８９により制御され、第２記憶保持手段８５からＭＰ
ＥＧストリームを入力し、出力するものである。

【０１１７】ＭＰＥＧ復号手段１０７は、装置制御手段
８９と、メモリ制御手段９３と表示手段８７に接続さ
れ、指示手段９１を介した操作者の指示に応じて、装置
制御手段８９により制御され、一時記憶手段９５からＭ
ＰＥＧストリームを、メモリ制御手段９３を介して入力
し、復号して表示手段８７に再生するものである。

【０１１８】ＭＰＥＧ解析手段１０９は、装置制御手段
８９と、メモリ制御手段９３に接続され、指示手段９１
を介した操作者の指示に応じて、装置制御手段８９によ
り制御され、一時記憶手段９５からＭＰＥＧストリーム
を、メモリ制御手段９３を介して入力し、ＭＰＥＧスト
リームをＧＯＰ層まで分割して、各ＧＯＰ層の情報を解
析するものである。

【０１１９】以下、図１１を用いてＭＰＥＧデータ処理
装置の動作を説明する。

【０１２０】始めに、撮像手段８１からの映像が入力さ
れて、第１記憶保持手段８３に録画する場合について説
明する。指示手段９１を介して操作者から録画の指示が
あった場合、装置制御手段８９が、以下の信号伝達を制
御する。撮像手段８１から入力されたディジタルの映像
信号は、ＭＰＥＧ符号手段１０１により、ＭＰＥＧ符号
化された後に、メモリ制御手段９３から一時記憶手段９
５に記憶される。これにより、データの転送時間の高速
化が図られる。その後、メモリ制御手段９３により、一
時記憶手段９５からデータを再度読み出して、第１イン
タフェース手段１０３にて、第１記憶保持手段８３との
整合を取り、第１記憶保持手段８３へ録画を行う。

【０１２１】次に、第１記憶保持手段８３に記憶されて
いるデータに基づいて、映像を表示手段８７にて再生す
る動作について説明する。指示手段９１を介して操作者
から再生の指示があった場合は、装置制御手段８９が、
以下の信号伝達を制御する。

【０１２２】第１記憶保持手段８３からのＭＰＥＧプロ
グラムストリームＰＳが読み出され、メモリ制御手段９
３を介して一時記憶手段９５に一時的に格納される。こ
れにより、データの転送時間の高速化が図られる。その
後、メモリ制御手段９３により、一時記憶手段９５から
データを再度読み出して、ＭＰＥＧ復号手段１０７によ
り映像に復号されて、表示手段８７で再生される。

【０１２３】次に、第１記憶保持手段８３および第２記
憶保持手段８５に記憶されているデータに基づいて、映
像を編集する場合について以下、図１１を用いて説明す
る。

【０１２４】編集対象の２つの素材が、第１記憶保持手
段８３または第２記憶保持手段８５に記録されている場
合は、プログラムストリーム同士の編集であるので、Ｍ
ＰＥＧ符号手段１０１は、符号化に最低限必要なデータ
のみを部分的に使用することになる。まず、ＭＥＰＧプ
ログラムストリームが、記憶保持手段８３または８５か
らインタフェース手段１０３または１０５を介して入力
され、装置制御手段８９からの制御により、メモリ制御
手段９３を介して一時記憶手段９５に格納される。

【０１２５】一方、基となるプログラムストリームの分
割位置が、指示手段９１を介して操作者から指示された
時に、装置制御手段８９が、一時記憶手段９５に格納さ
れているデータをＭＰＥＧ解析手段１０９に転送して、
分割されたＧＯＰの情報を解析することにより、その後
に、挿入する素材の情報を解析しながら該当する情報だ
けを書き換えて、情報を分割したプログラムストリーム
と挿入する素材の情報の連続性を確保する。

【０１２６】このようにすることにより、フレーム単位
でのプログラムストリームの編集が、容易となり、必要
な部分だけ再エンコードすることができ、画質の劣化も
最小限となる。

【０１２７】素材の一方が、撮像手段８１から入力され
たものの場合には、ＭＰＥＧ符号手段１０１で符号化さ
れたプログラムストリームと、記憶保持手段８３または
８５から読み出したプログラムストリームとが、指示手
段９１を介した操作者からの指示に応じて、装置制御手
段８９により、一時記憶手段９５に格納される。一時的
に格納されたデータを、ＭＰＥＧ解析手段８５へ転送し
て、分割されたＧＯＰの情報を解析することにより、そ
の後に、挿入する素材の情報を解析しながら、該当する
情報だけを書き換えて、情報を分割したプログラムスト
リームと挿入する素材の連続性を確保する。

【０１２８】このように、本実施の形態によれば、ＭＰ
ＥＧプログラムストリームをフレーム単位で編集する際
に、ストリーム解析時間が、転送時間＋約１μ秒（転送
基準クロック２０ＭＨｚ時）の処理時間で可能になり、
編集に耐えるリアルタイム処理を実現する動画像信号処
理装置が提供できる。

【０１２９】この編集機能が、本発明の動画像多重符号
化信号処理装置における重要な機能である。すなわち、
録画または再生の単機能であれば、装置制御手段８９の
処理時間への制約は発生しないが、編集機能に関して
は、装置制御手段８９は、指示手段９１を介した操作者
からの指示に応じて装置を制御する動作が最優先される
必要がある。本発明の動画像多重符号化信号処理装置に
よれば、ＭＰＥＧプログラムストリームの解析ＰＳを装
置制御手段８９で行う際の装置への負荷を大幅に削減す
ることが可能となる。

【０１３０】

【発明の効果】以上説明したように、本発明は、ＭＰＥ
Ｇプログラムストリームを並列的に解析処理を行うこと
により、リアルタイムに解析結果を出力することができ
る動画像多重符号化信号処理回路を提供することができ
るものである。

【０１３１】また、本発明は、ＭＰＥＧプログラムスト
リームをフレーム単位で編集する際に、ストリーム解析
時間が、転送時間＋約１μ秒（転送基準クロック２０Ｍ
Ｈｚ時）の処理時間で可能になり、編集に耐えるリアル
タイム処理を実現する動画像多重符号化信号処理装置が
提供することができるものである。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の動画像多重符号化
信号処理回路のブロック図

【図２】図１に示された動画像多重符号化信号処理回路
の処理手順を示すフローチャート

【図３】本発明の第２の実施の形態における映像情報計
測手段のブロック図

【図４】図３に示された映像情報計測手段の処理手順を
示すフローチャート

【図５】本発明の第３の実施の形態における音声情報計
測手段のブロック図

【図６】図５に示された音声情報計測手段の処理手順を
示すフローチャート

【図７】本発明の第４の実施の形態における音声ヘッダ
情報抽出手段のブロック図

【図８】図７に示された音声ヘッダ情報抽出手段の処理
手順を示すフローチャート

【図９】本発明の第６の実施の形態における情報格納動
作を示すタイミング図

【図１０】本発明の第７の実施の形態における情報格納
構成を示すレジスタマップ

【図１１】本発明の第８の実施の形態のＭＰＥＧデータ
処理装置の構成ブロック図

【図１２】従来の動画像処理装置の構成例を示すブロッ
ク図

【図１３】典型的な多重符号化ストリームを構成するパ
ックおよびパケットの構造図

【図１４】典型的なＭＰＥＧビデオストリームの構造図

【符号の説明】

１１パック１１ａパックヘッダ１３パケット１３ａパケットヘッダ１５符号化データ１７ＧＯＰ１８フレーム１９パック２１ヘッダ検出手段（入力手段、ヘッダ検出手段）２３ＩＤ分岐手段（判別手段、切り替え手段）２５映像ヘッダ情報抽出手段２７、４０映像情報計測手段２９、６０音声ヘッダ情報抽出手段３１、５０音声情報計測手段３３エラー抽出手段３５情報格納手段３７情報読み出し手段ＰＳプログラムストリームＳＩＧ１ヘッダ検出信号ＳＩＧ２ビデオ検出信号ＳＩＧ３オーディオ検出信号Ｄ１映像ヘッダ情報Ｄ２映像計測情報Ｄ３音声ヘッダ情報Ｄ４音声計測情報Ｄ５エラー情報Ｄ７読み出しアドレスＤ８情報データ４１パケットヘッダ検出部（ヘッダ検出手段）４３ピクチャ検出部４５ＰＥＳ検出部（パケット検出部）４７パック検出部（パックヘッダ検出部）４９符号量計測部５１パケットヘッダ検出部５３音声ストリーム番号取得部（ストリームＩＤ検出
部）５５音声フレーム数計測部（音声情報計測部）６５音声ＰＴＳ抽出部（音声ヘッダ情報抽出部）７１ＧＯＰデータ書き込みタイミング７３ピクチャデータ書き込みタイミング７５ＧＯＰ層情報格納領域７７ピクチャ層情報格納領域７９オーディオ層情報格納領域８０ＭＰＥＧデータ処理装置８１撮像手段８３第１記憶保持手段８５第２記憶保持手段８７表示手段８９装置制御手段９１指示手段９３メモリ制御手段９５一時記憶手段１０１ＭＰＥＧ符号手段１０３第１インタフェース手段１０５第２インタフェース手段１０７ＭＰＥＧ復号手段１０９ＭＰＥＧ解析手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 KK36 MA00 RB02 RB09 RC02 RC28 RC32 SS11 SS26 UA02 UA31 5C063 AB05 AC01 AC05 CA11 CA20 CA23 DA07 5K028 AA00 EE03 KK32 MM05 MM08 MM16 SS24 5K030 GA01 HB02 HB16 HB28 JA01 KA02 KA19

Claims

【特許請求の範囲】

【請求項１】映像および音声情報をそれぞれ符号化圧
縮した複数の映像および音声パケットを多重化して構成
されるＭＰＥＧプログラムストリームを処理する動画像
多重符号化信号処理回路であって、前期ＭＰＥＧプログラムストリームを入力する入力手段
と、前記ＭＰＥＧプログラムストリームから前記パケットに
付加されるヘッダを検出するヘッダ検出手段と、このヘッダ検出手段によって検出されたヘッダに含まれ
る識別コードに基づいて、前記ヘッダに続くパケット
が、映像および音声情報の何れのパケットであるかを判
別する判別手段と、前記ヘッダに含まれる情報を抽出する映像ヘッダ情報抽
出手段と、前記ヘッダに続くパケットの情報を映像情報として計測
する映像情報計測手段と、前記ヘッダに含まれる情報を抽出する音声ヘッダ情報抽
出手段と、前記ヘッダに続くパケットの情報を音声情報として計測
する音声情報計測手段と、前記判別手段によって前記ヘッダに続くパケットの情報
が映像情報であると判別された時に、前記入力手段に前
記映像ヘッダ情報抽出手段および前記映像情報計測手段
を並列に接続し、前記判別手段によって前記ヘッダに続
くパケットの情報が音声情報であると判別された時に、
前記入力手段に前記音声ヘッダ情報抽出手段および前記
音声情報計測手段を並列に接続するよう接続を切り替え
る切替手段と、前記映像ヘッダ抽出手段および前記音声ヘッダ抽出手段
によって抽出された情報、並びに前記映像情報計測手段
および前記音声情報計測手段によって計測された情報を
一時的に格納する情報格納手段と、この情報格納手段に接続され、この情報格納手段に格納
された情報を読み出す情報読み出し手段とを備えたこと
を特徴とする動画像多重符号化信号処理回路。
【請求項２】前記ＭＰＥＧプログラムストリームが、
複数の前記パケットを含む少なくとも一つのパックと、
このパックに付加されるヘッダとを含み、前記映像情報計測手段が、前記パケットを検出するパケット検出部と、前記パックのヘッダを検出するヘッダ検出部と、前記判別手段が前記ヘッダに続くパケットの情報が映像
情報であると判別したとき、前記パケットの符号量を初
期化し、前記パケット検出部が前記パケットを検出した
とき、前記パケットの符号量を計測し、前記ヘッダ検出
部が前記パックヘッダを検出したとき、前記パケットの
符号量を保持して、前記映像パケットの符号量のみをフ
レーム毎に発生符号量として計測する符号量計測部とを
有することを特徴とする請求項１に記載の動画像多重符
号化信号処理回路。
【請求項３】前記音声情報計測手段が、音声ストリーム番号を検出するストリームＩＤ検出部
と、このストリームＩＤ検出部で検出された音声ストリーム
番号毎に、前記音声情報を計測する音声情報計測部とを
有することを特徴とする請求項１または２に記載の動画
像多重符号化信号処理回路。
【請求項４】前記音声ヘッダ情報抽出手段が、音声ストリーム番号を検出するストリームＩＤ検出部
と、このストリームＩＤ検出部によって検出された前記音声
ストリームＩＤ毎に前記音声情報の同期信号を抽出する
音声ヘッダ情報抽出部とを有することを特徴とする請求
項１乃至３の何れかに記載の動画像多重符号化信号処理
回路。
【請求項５】ピクチャヘッダをそれぞれ有する複数の
フレームを符号化したビデオストリームが、所定のデー
タ長を有する複数のパックを有し、前記ピクチャヘッダの位置に対応する前記パックの先頭
からの相対的なバイト数を計数するピクチャヘッダ位置
計測手段と、このピクチャヘッダ位置計測手段が計数した相対的なバ
イト数と、各フレームの前記音声情報の前記同期信号お
よび前記発生符号量と、基準時間とを出力する出力手段
をさらに備えことを特徴とする請求項１乃至４の何れか
に記載の動画像多重符号化信号処理回路。
【請求項６】前記情報格納手段が、双方向ＲＡＭで構
成されたことを特徴とする請求項１乃至５の何れかに記
載の動画像多重符号化信号処理回路。
【請求項７】前記情報格納手段が、異なる物理層の情
報毎に割り当てられる複数の領域を有することを特徴と
する請求項１乃至６の何れかに記載の動画像多重符号化
信号処理回路。
【請求項８】前記ＭＰＥＧプログラムストリームをフ
レーム単位で編集する動画像多重符号化信号処理装置で
あって、ＭＰＥＧ復号化手段と、ＭＰＥＧ符号化手段と、請求項１乃至７の何れかに記載の動画像多重符号化信号
処理回路と、前記ＭＰＥＧ復号化手段と、ＭＰＥＧ符号化手段と、動
画像多重符号化信号処理回路とを並列動作させる制御手
段とを備えたことを特徴とする動画像多重符号化信号処
理装置。