JP2002077926A - Ｍｐｅｇビデオデータ処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 高速再生時においても、ユーザーが画像の動
きを追いやすいく見やすい再生画像を生成するためのMP
EGビデオデータ処理装置を提供すること。 【解決手段】 MPEGビデオデータをその符号化レートよ
り早い速度で読み取り、GOPごとに動きベクトルの大き
さを観測し、動き量が大きいとき、もしくは動き量が小
さくても接続されるMPEGデコーダー側のデコーダーバッ
ファの占有量が所定の値以下の場合には、デコーダーバ
ッファにそのGOPデータを伝送し、それ以外の場合には
デコーダーのバッファにそのGOPデータを伝送しない。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、MPEGビデオデータ
を高速再生する際に好適なビデオデータ処理装置に関す
るものである。そして、この発明は特に、高速再生時に
おいても、ユーザーが画像の動きを追いやすいく見やす
い再生画像を生成するためのMPEGビデオデータ処理装置
を提供することを目的としている。

【０００２】

【従来の技術】まず、ここで使用されているMPEGについ
て説明する。MPEGは1988年、ISO/IEC JTC1/SC2（国際標
準化機構/国際電気標準化会合同技術委員会1/専門部会
2、現在のSC29）に設立された動画像符号化標準を検討
する組織の名称（Moving Pictures Expert Group）の略
称である。MPEG１（MPEGフェーズ１）は1.5Mbps程度の
蓄積メディアを対象とした標準であり、静止画符号化を
目的としたJPEGと、ISDNのテレビ会議やテレビ電話の低
転送レート用の動画像圧縮を目的としたH.261（CCITT S
GXV、現在のITU-T SG15で標準化）の基本的な技術を受
け継ぎ、蓄積メディア用に新しい技術を導入したもので
ある。これらは1993年8月、ISO/IEC 11172 として成立
している。MPEG２（MPEGフェーズ２）は通信や放送など
の多様なアプリケーションに対応できるように汎用標準
を目的として、1994年11月ISO/IEC 13818、H.262として
成立している。

【０００３】MPEGは幾つかの技術を組み合わせて作成さ
れている。図４に従来のMPEG符号化器を示し、以下に簡
単に説明する。入力画像は動き補償予測器１で復号化し
た画像と、入力画像の差分とを差分器２で取ることで時
間冗長部分を削減する。

【０００４】予測の方向は、過去、未来、両方からの３
モード存在する。また、これらは16画素×16画素のMB
（マクロブロック）ごとに切り替えて使用できる。予測
方向は入力画像に与えられたピクチャタイプによって決
定される。過去からの予測により符号化するモードと、
予測をしないでそのMBを独立で符号化するモードとの２
つのモードが存在するのがPピクチャーである。また、
未来からの予測、過去からの予測、両方からの予測、独
立で符号化する４つのモードが存在するのがBピクチャ
ーである。そして、全てのMBを独立で符号化するのがI
ピクチャーである。

【０００５】動き補償は、動き領域をMBごとにパターン
マッチングを行ってハーフペル精度で動きベクトルを検
出し、動き分だけシフトしてから予測する。動きベクト
ルは水平方向と垂直方向が存在し、何処からの予測かを
示すMC(Motion Compensation)モードとともにMBの付加
情報として伝送される。図３にマクロブロックの構造を
示す。

【０００６】Iピクチャから次のIピクチャの前のピクチ
ャまでをGOP(Group Of Picture)といい、蓄積メディア
などで使用される場合には、一般に約１５ピクチャ程度
が一つのGOPとして使用される。

【０００７】差分画像はDCT器３において直交変換が行
われる。DCT（Discrete Cosine Transform)とは、余弦
関数を積分核とした積分変換を有限空間への離散変換す
る直交変換である。MPEGではMBを４分割し8×8のDCTブ
ロックに対して、２次元DCTを行う。一般にビデオ信号
は低域成分が多く高域成分が少ないため、DCTを行うと
係数が低域に集中する。

【０００８】DCTされた画像データ（DCT係数）は量子化
器４で量子化が行われる。量子化は量子化マトリックス
という8×8の２次元周波数を視覚特性で重み付けした値
と、その全体をスカラー倍する量子化スケールという値
で乗算した値を量子化値として、DCT係数をその量子化
値で叙算する。MPEG復号化器（デコーダー）で逆量子化
するときは量子化値で乗算することにより、元のDCT係
数に近似している値を得ることになる。

【０００９】量子化されたデータはVLC器５で可変長符
号化される。量子化された値のうち直流（ＤＣ）成分は
予測符号化のひとつであるＤＰＣＭ（differential pul
se code modulation )を使用する。また交流（ＡＣ）成
分は 低域から高域にzigzagscanを行い、ゼロのラン長
および有効係数値を１つの事象とし、出現確率の高いも
のから符号長の短い符号を割り当てていくハフマン符号
化が行われる。

【００１０】可変長符号化されたデータは一時バッファ
６に蓄えられ、所定の転送レートで符号化データとして
出力される。また、その出力されるデータのマクロブロ
ック毎の発生符号量は、符号量制御器（図示せず）に送
信され、目標符号量に対する発生符号量との誤差符号量
を量子化器４にフィードバックして量子化スケールを調
整することで符号量制御される。

【００１１】量子化された画像データは逆量子化器７に
て逆量子化、逆DCT器８にて逆DCTされ、加算器９を介し
て一時、画像メモリー１０に蓄えられたのち、動き補償
予測器１において、差分画像を計算するためのリファレ
ンスの復号化画像として使用される。

【００１２】このようにしてMPEG符号化された符号化デ
ータを復号化するMPEG復号化器（デコーダー）を図５に
示す。 入来する符号化データ（ストリーム）はバッファ１１で
バッファリングされ、バッファ１１からのデータはVLD
器１２に入力される。VLD器１２では可変長復号化を行
い、直流（ＤＣ）成分および交流（ＡＣ）成分を得る。
交流（ＡＣ）成分データは低域から高域にzigzag scan
の順で８ｘ８のマトリックスに配置される。このデータ
は逆量子化器１３に入力され、量子化マトリックスにて
逆量子化される。逆量子化されたデータは逆DCT器１４
に入力されて逆DCTされ、画像データ（復号化データ）
として出力される。また、復号化データは一時、画像メ
モリー１６に蓄えられたのち、動き補償予測器１７にお
いて、差分画像を計算するためのリファレンスの復号化
画像として使用される。

【００１３】次に、MPEG圧縮データの高速再生の従来例
について説明する。特開平１１−１５５１２９号公報の
発明によれば、MPEG圧縮データの再生される画像の品質
を悪化させずに、高速再生を行うために、例えば２倍速
の高速再生を行う場合に、Ｂピクチャのみをスキップ
し、２フレームに１回の割合で同じフレームを繰り返し
て再生する方式が開示されている。

【００１４】また、特開平９−５５９１６号公報の発明
によれば、画像の動き量により適応的にスキップする画
面数を決定して、スキップ画面後の画面を表示すること
によって、内容把握に適した高速再生を行うことのでき
る動画像の高速ブラウジング装置を提供するために、高
速早見をする画面を順次入力し、ｎ画面スキップし、ｎ
画面スキップ後の画面を表示する。そのあと、表示され
る画面に対して時間的に前または後の画面を用いて、１
フレーム間隔での動きベクトルを検出し、該動きベクト
ルからスキップする画面数ｎを決定する方式が開示され
ている。

【００１５】

【発明が解決しようとする課題】本来ならば高速N倍で
読み取った符号化データをN倍の早さでデコードして表
示するのがもっとも品質の良い高速再生画像であるが、
N倍のデコーダの能力が必要となり、コストの面でも非
常に贅沢なものととなってしまう。

【００１６】そこで上記従来の発明がなされたわけであ
るが、例えば、特開平１１−１５５１２９号公報の発明
によるMPEGデータのIとPの復号のみで高速サーチデータ
を作成すると、動きの激しい部分も、緩やかな部分も、
同じようにフレーム間引きをして再生するため、動きの
大きいシーンでは、高速再生画像が早すぎてしまい、動
きのほとんど無いシーンでは不必要な画像が連続すると
いった問題がある。また、特開平９−５５９１６号公報
の発明による高速ブラウジング装置を用いると、上記問
題は解決するが、スキップする画像をフレームごとに選
択して、再生画像を選択するためフレームメモリーが新
たに必要となる。

【００１７】本発明は、フレームメモリーを新たに必要
とせず、高速再生時においても、ユーザーが画像の動き
を追いやすいく見やすい再生画像を生成するためのMPEG
ビデオデータ処理装置を提供することを目的とする。

【００１８】

【課題を解決するための手段】そこで、上記課題を解決
するために発明は、以下の装置を提供するものである。 （１） ＭＰＥＧビデオデータをそのＭＰＥＧビデオ
データの符号化レートより早い速度で読み取る高速デー
タ読み取り器と、読み取ったＭＰＥＧビデオデータの各
ＧＯＰデータごとに動きベクトルの大きさを観測する動
きベクトル観測器と、前記動きベクトル観測器から各Ｇ
ＯＰデータごとの観測結果が供給されると共に、接続さ
れるＭＰＥＧデコーダー側からデコーダーバッファの占
有量情報が供給され、一のＧＯＰデータの前記動きベク
トルの大きさが所定の値よりも大きい場合、もしくは前
記動きベクトルの大きさが小さくても前記デコーダーバ
ッファの占有量が所定の値以下の場合のみ、前記デコー
ダーバッファに対し前記一のＧＯＰデータを出力する選
択出力器と、を備えたことを特徴とするＭＰＥＧビデオ
データ処理装置。 （２） 上記（１）記載のＭＰＥＧビデオデータ処理装
置において、前記選択出力器は、その選択動作により出
力するＧＯＰデータが元のＭＰＥＧビデオデータに対し
て不連続となる場合に、そのＧＯＰデータのヘッダに存
在するBroken linkの値を１として出力することを特徴
とするＭＰＥＧビデオデータ処理装置。

【００１９】

【発明の実施の形態】本発明を用いれば、MPEGデコーダ
以外にフレームメモリーをもたずして、従来の単なるフ
レーム間引きによる高速再生に比べ、動きの激しい部分
は相対的にゆっくりと、動きの緩やかな部分は相対的に
早く高速再生することができ、ユーザーが動きを追いや
すい、見やすい高速再生画像を生成するシステムを提供
することが可能となる。

【００２０】まず、図１を用いて本発明の好適な実施例
を説明する。図１において、ブロック２２〜２６が、本
実施例のMPEGビデオデータ処理装置を構成するものであ
る。記録メディア２１にはMPEGで圧縮符号化されビデオ
たデータが記録されている。このデータを高速データ読
み取り器２２で例えば、圧縮符号化レートの３倍の早さ
で読み出す。

【００２１】従来ならばこの３倍の早さで読み取った符
号化データを３倍の早さでデコードして表示するのがも
っとも品質の良い高速再生画像であるが、３倍のデコー
ダーの能力が必要となり、コストの面でも非常に贅沢な
ものとなってしまう。

【００２２】そこで、本実施例では、高速に読み取った
データをMPEGのシンタックスのひとつである動きベクト
ルを観測するために、VLD器（Variable Length code De
coder：可変長復号器）２３に送信する。VLD器２３では
MPEGデータのMB（マクロブロック）の中の動きベクトル
だけをGOP毎に復号して、その大きさを観測する。動き
ベクトルデータはMPEGデータのマクロブロックレイヤー
に存在している。図３にマクロブロックレイヤーのデー
タ構造を示す。

【００２３】図２にMPEGのピクチャーの構成例を示す。
動きベクトル観測対象となるピクチャーは、Pピクチャ
ーとBピクチャーの両方の動きベクトルすべてを観測す
るのが望ましいが、Pピクチャーの動きベクトルのみを
対象とするようにしてもよい。また、１GOPのすべてのP
及びBピクチャーを観測しても良いし、Pピクチャーのみ
を観測しても良い。また、GOPのはじめのPピクチャー１
枚のみ観測するのでも良い。また、動きベクトルは16画
素×16ラインのMBごとに記述されているが、ここでの動
きベクトルの大きさの観測においては、画面の中の画像
テクスチャーがどのくらい動いているかを判断するのが
目的なので、画面の動きベクトルの絶対値について、平
均値をとるか、もしくは画面内の動きベクトル最大値、
もしくは最頻値を使用する。

【００２４】観測した動きベクトルの値はデータ選択器
２５に送信される。また、データ選択器２５には、接続
されるMPEGデコーダー側からデコーダーバッファ１１の
占有量情報が供給される。データ選択器２５では、観測
された動きベクトルの値が予め設定されている値、例え
ば、閾値＝１６（０．５画素精度）の値以上であるGOP
データのとき、あるいはデコーダーバッファ１１の占有
量が所定の値（例えば１０％）以下の場合には、そのGO
Pデータを選択して出力し、それ以外の場合にはGOPデー
タを出力しない。

【００２５】出力されると選択されたGOPデータは、Bro
kenLinkビット制御器２６に伝送される。また、データ
選択器２５からは、選択したGOPが一つ前に伝送されたG
OPと連続であるかどうかを示す信号もBrokenLinkビット
制御器２６に伝送する。BrokenLinkビットとは図６に示
すように、MPEGビデオのGOPヘッダーに存在する１ビッ
トのシンタックスで、通常は０である。このBrokenLink
ビットは、本実施例のようにGOP単位で編集をしたとき
に、図２に示す星印で表現したGOPのはじめのBピクチャ
ー２枚が、参照している、時間的に前のGOPの最後のPピ
クチャーが、置き換わっていることを明示するフラッグ
である。デコーダーはこのフラッグが１になっている
と、そのまま復号すると、前記２枚のBピクチャーに劣
化をおこす可能性があるので、その２枚を表示せず、正
常な直前の画像を２画面分ホールドするように動作す
る。

【００２６】BrokenLinkビット制御器２６では、データ
選択器２５から供給される、出力すると選択したGOPが
一つ前に伝送されたGOPと連続であるかどうかの信号に
従って、連続である場合には上記BrokenLinkビットを０
とし、不連続となっている場合には１に書き換える。Br
okenLinkビット制御器２６から出力されたGOPデータ
は、デコーダーバッファ１１に伝送される。デコーダー
バッファ１１ではバッファ占有量を常に監視して、その
占有量情報をデータ選択器２５にフィードバックして
い。デコーダーバッファ１１以降の動作は、従来のMPEG
デコーダーの動作とまったく同じである。

【００２７】なお、本発明のMPEGビデオデータ処理装置
は、テープ状記録媒体、ディスク状記録媒体、半導体メ
モリー型の記録媒体に対しても適用できる。また、記録
媒体からの高速読み取りだけでなく、放送や通信からの
高速データ伝送に対しても適用できる。

【００２８】

【発明の効果】以上の通り、本発明のMPEGビデオデータ
処理装置は、MPEGビデオデータをその符号化レートより
早い速度で読み取り、GOPごとに動きベクトルの大きさ
を観測し、動き量が大きいとき、もしくは動き量が小さ
くても接続されるMPEGデコーダー側のデコーダーバッフ
ァの占有量が所定の値以下の場合には、デコーダーバッ
ファにそのGOPデータを伝送し、それ以外の場合にはデ
コーダーのバッファにそのGOPデータを伝送しないとい
う制御ができる。従って、本発明のMPEGビデオデータ処
理装置は、デコーダーバッファへGOPデータを伝送する
際に、GOPデータが元のMPEGビデオデータに対して不連
続になる場合にはBroken linkを１として伝送すること
ことができる。よって、本発明のMPEGビデオデータ処理
装置を用いれば、MPEGデコーダ以外にフレームメモリー
をもたずして、動きの激しい部分は相対的にゆっくり
と、緩やかな部分は相対的に早く高速再生することがで
き、ユーザーが動きを追いやすい、見やすい高速再生画
像を生成するシステムを提供することが可能となる。

【図面の簡単な説明】

【図１】一実施例のブロック図である。

【図２】MPEGピクチャー構造を示す説明図である。

【図３】マクロブロック構造を示す説明図である。

【図４】従来のMPEG符号化器のブロック図である。

【図５】従来のMPEG復号化器のブロック図である。

【図６】MPEGデータのGOPレイヤーのシンタックスを説
明するための図である。

【符号の説明】

２１ 記録メディア ２２ 高速データ読み取り器 ２３ VLD器 ２４ 動きベクトル観測器 ２５ データ選択器 ２６ Broken linkビット制御器

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA22 FA23 GA11 GB22 GB27 GB29 GB32 GB37 HA24 KA03 5C059 LB07 MA00 MA23 MC11 MC38 ME02 NN15 NN21 NN28 PP05 PP06 PP07 SS01 SS06 SS17 TA07 TB04 TC12 TC20 TD12 TD14 UA05 UA33 5J064 AA03 BA09 BA13 BB03 BB11 BC01 BC02 BC08 BC22 BC25 BD02 BD03

Claims (2)

【特許請求の範囲】
1. 【請求項１】ＭＰＥＧビデオデータをそのＭＰＥＧビデ
   オデータの符号化レートより早い速度で読み取る高速デ
   ータ読み取り器と、 読み取ったＭＰＥＧビデオデータの各ＧＯＰデータごと
   に動きベクトルの大きさを観測する動きベクトル観測器
   と、 前記動きベクトル観測器から各ＧＯＰデータごとの観測
   結果が供給されると共に、接続されるＭＰＥＧデコーダ
   ー側からデコーダーバッファの占有量情報が供給され、
   一のＧＯＰデータの前記動きベクトルの大きさが所定の
   値よりも大きい場合、もしくは前記動きベクトルの大き
   さが小さくても前記デコーダーバッファの占有量が所定
   の値以下の場合のみ、前記デコーダーバッファに対し前
   記一のＧＯＰデータを出力する選択出力器と、を備えた
   ことを特徴とするＭＰＥＧビデオデータ処理装置。
2. 【請求項２】請求項１記載のＭＰＥＧビデオデータ処理
   装置において、 前記選択出力器は、その選択動作により出力するＧＯＰ
   データが元のＭＰＥＧビデオデータに対して不連続とな
   る場合に、そのＧＯＰデータのヘッダに存在するBroken
   linkの値を１として出力することを特徴とするＭＰＥ
   Ｇビデオデータ処理装置。