JP2002232847A - 動画像データの記録再生方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】動画像の復号化に必要なフレーム内符号化画像
（I-VOP）の挿入頻度が少ない動画符号化データを受信
して、任意のシーンを小容量のメモリに効率的に録画す
る。 【解決手段】動画符号化データ列からなる受信ビットス
トリームを復号化して再生画像を表示している間に、任
意に選択された復号化画像を仮想的フレーム内符号化画
像（仮想I-VOP）として保存しておき、仮想I-VOPとして
扱われた復号化画像に続く特定期間分の再生画像を生み
出す部分的なビットストリームを録画データとして記録
する。録画データは、仮想I-VOPを初期画面として復号
化される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データの記
録再生方法および装置に関し、更に詳しくは、フレーム
内符号化の適用頻度が少ないディジタル動画像符号化デ
ータ列の部分的記録に適した動画像データの記録再生方
法および装置に関するものである。

【０００２】

【従来の技術】ディジタル放送のようにディジタル動画
像を不特定多数のユーザに同時にリアルタイム配信する
１対多のアプリケーションでは、各端末で受信動画像デ
ータの復号処理を瞬時に開始できるデータ構造、すなわ
ち、任意の時刻から復号可能な符号化データ(ビットス
トリーム)形式が採用されている。図２は、ディジタル
放送における動画像ビットストリームの１例として、MP
EG方式のデータ構造を示す。MPEG方式では、フレーム内
符号化、フレーム間符号化、双方向符号化と呼ばれる３
種類の符号化が定義されている。

【０００３】「フレーム内符号化」は、現フレームの画
像に対して直接ＤＣＴ(離散コサイン変換)を施すデータ
圧縮方法であり、フレーム内符号化を適用したフレーム
は、MPEG-4ではI-VOP（Intra-coded Video Object Plan
e）、MPEG-2ではI-Pictureと呼ばれている。なお、VOP
は矩形画像ではフレームと同義語である。I-VOPは、符
号化、復号化に際して過去のフレームの復号情報を必要
としないため、符号化動画像のランダムアクセス時の復
号開始フレームとして使用される。

【０００４】「フレーム間符号化」は、１つのフレーム
を時間的に過去のフレームの符号化情報を利用してデー
タ圧縮する符号化方法であり、フレーム間符号化を適用
したフレームは、MPEG-4ではP-VOP（Predictive-coded
VOP）、MPEG-2ではP-Pictureと呼ばれている。また、
「双方向符号化」は、１つのフレームを既に符号化済み
の時間的に過去および未来の２つのフレームがもつ符号
化情報を利用してデータ圧縮する方法であり、双方向符
号化を適用したフレームをMPEG-4ではB-VOP（Bidirecti
onally predicted-coded VOP）、MPEG-2ではB-Picture
と呼んでいる。

【０００５】以下の説明では、MPEG-4ビットストリーム
のデータ構造を前提とし、図面に示された符号IはI-VO
P、PはP-VOP、BはB-VOPを意味するものとする。図２に
示したMPEGビットストリームは、ビットストリームサイ
ズ等、シーケンス全体の特徴を示すヘッダ情報201とI-V
OP202とが定期的に挿入されたデータ構造となってい
る。このデータ構造は、例えば、破線で示すP-VOPとB-V
OPとからなるデータ部分203からビットストリームの受
信動作を開始した場合でも、端末側で次に現れるヘッダ
情報201とI-VOP202を待つことによって、受信データの
復号処理を開始することができる。従って、上記データ
構造によれば、データ部分203のサイズを視聴者が待ち
時間を意識しない程度の大きさに制限しておくことによ
り、各視聴者に瞬時スタートの動画像配信サービスが可
能となる。

【０００６】最近サービスが開始されたディジタル放送
では、上記MPEG-4のヘッダ情報201が、例えば、図３に
示すように、VOSヘッダ201-1、VOヘッダ201-2、VOLヘッ
ダ201-3、GOVヘッダ201-4からなっている。VOSヘッダ20
1-1は、MPEG-4製品の適用範囲を決めるプロファイル・
レベル情報を含み、VOヘッダ201-2は、MPEG-4のバージ
ョン情報を含む。VOLヘッダ201-3は、受信データの復号
化に必須となる画像サイズ、符号化ビットレート、フレ
ームメモリサイズ、適用ツール等の情報を含む。また、
GOVヘッダ201-4は、予約再生等で活用される時刻情報を
含んでいる。

【０００７】上述したヘッダ情報201とI-VOP202を定期
的に挿入したデータ構造は、ビデオ録画や、録画データ
のランダムアクセスに有効となる。例えば、ビデオ録画
では、ユーザが録画開始ボタンを押した後に最初に現れ
るヘッダ情報201を解析することによって、それ以降の
データを記録できる。MPEGデコーダは、B-VOPやB-Pictu
reの復号処理を飛ばしてもシーケンス全体の復号画像列
の品質を破綻させない構成となっているため、上記デー
タ部分203にB-VOPを頻繁に挟むことによって、記録デー
タの早送りや高速再生等が容易となる。

【０００８】

【発明が解決しようとする課題】無線回線を利用したリ
アルタイム通信では、伝送遅延、通信容量、データの伝
送誤り、消費電力等の制限によって、ビットストリーム
中への頻繁なI-VOP挿入が困難となる。このため、無線
回線の使用を前提としてオンデマンド型のストリーミン
グ動画像配信サービスでは、例えば、図４に示すよう
に、I-VOPの使用を極力回避した符号化データを採用せ
ざるを得ない。

【０００９】図４に示した符号化データは、図２と異な
り、ヘッダ情報311とI-VOP312の後に、連続した多数のP
-VOPからなる長いデータ列313を配置したデータ構造と
なっている。この場合、P-VOP列中には、伝送誤りを修
正するためにイントラ符号化ブロックを適宜配置するの
が一般的である。上記イントラ符号化ブロックは、伝送
誤りにより劣化したブロックの画像品質をリフレッシュ
する役割を果たしており、MPEGの場合、１つのVOPを16x
16画素サイズの複数のブロックに分割し、数VOPで全て
の符号化ブロックをリフレッシュできるように、符号化
対象ブロックの位置が周期的に変更される。尚、ストリ
ーミング動画像配信サービスでは、例えば、図５に示す
ように、ヘッダ情報311が、VOSヘッダ311-1、VOヘッダ3
11-2、VOLヘッダ311-3で構成され、GOVヘッダを含まな
いケースもある。

【００１０】然るに、ビットストリーム中のI-VOPの挿
入頻度を減らすと、I-VOPに続くデータ部分313のサイズ
が長くなるため、端末側で受信ストリーム（符号化デー
タ列）中の特定部分のみを記録したい場合でも、実際に
は、I-VOPから目的画像フレームまでの間に受信される
多数の不要フレーム群も記録しなければならないという
問題が発生する。

【００１１】例えば、図４に示したビットストリームが
３分間の動画像データであると仮定すると、ユーザがビ
ットストリーム中の最終部分に位置した僅か１５秒間分
の動画を記録したい場合でも、復号化に不可欠なヘッダ
311、I-VOP312から目的画像フレーム迄の全ビットスト
リームを記録しなければならない。従って、例えば、携
帯電話のように小容量メモリを内蔵した端末装置では、
ユーザが受信動画中で選択した特定ストリーム部分を選
択的に録画したいと思っても、目的ストリーム部分に到
達する前に内蔵メモリが満杯となって録画に失敗する可
能性があり、所望画面を含む部分的ストリームを確実に
録画するためには、十分なメモリ容量をもつ外部記憶装
置を予め端末装置に接続しておく必要がある。

【００１２】本発明の目的は、比較的小容量のメモリを
内蔵した端末装置に適した動画像データの記録再生方法
を提供することにある。本発明の他の目的は、フレーム
内符号化の適用頻度が少ない動画像符号化データ列から
抽出された任意部分の画像ストリームを比較的小容量の
メモリに記録可能な動画像データの記録再生方法を提供
することにある。本発明の更に他の目的は、フレーム内
符号化の適用頻度が少ない動画像符号化データ列中の任
意部分の画像ストリームを記録再生可能な端末装置を提
供することにある。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、受信した動画符号化データ列（受信ビ
ットストリーム）を復号化して再生画像を表示している
間に、任意に選択された復号化画像を仮想的フレーム内
符号化画像として保存しておき、上記仮想的フレーム内
符号化画像として扱われた復号化画像に続く特定期間分
の再生画像を生み出す部分的な受信ビットストリームを
録画データとして記録することを特徴とする。

【００１４】本発明によれば、上記仮想的フレーム内符
号化画像を初期データとして、録画データとして記録さ
れた後続フレームのビットストリームを次々と復号化
し、再生画像として表示することが可能となる。上記仮
想的フレーム内符号化画像は、復号化画像を再符号化し
て得られた符号化データの形で保存されてもよい。上記
仮想的フレーム内符号化画像の選択は、基本的にはユー
ザが録画指定したタイミングで行われ、これによって、
表示された動画中でユーザが所望する場面が録画され
る。

【００１５】本発明の好ましい実施例では、ユーザ操作
の遅れとユーザ指令に対する応答動作の遅れに起因した
録画開始タイミングの遅れを回避するために、受信動画
を再生中の端末装置が、上記仮想的フレーム内符号化画
像を所定の周期で定期的に更新し、仮想的フレーム内符
号化画像の更新の都度、改めて部分的受信ビットストリ
ームを記録し直す予備録画モードで動作する。予備録画
モードで動作中にユーザが録画を指定すると、上記仮想
的フレーム内符号化画像の更新を抑制し、受信ビットス
トリームの記録動作を継続する録画保存モードに移行す
る。録画保存モードは、ユーザが録画終了を指示する
か、録画用メモリが満杯になった時に終了する。仮想的
フレーム内符号化画像の更新周期を適当に設定すること
によって、ユーザが所望した場面から確実に録画するこ
とが可能となる。

【００１６】I-VOPとP-VOPのみを利用する一般的なMPEG
-4復号器では、２面のフレームメモリを用意し、一方を
動き予測処理における参照VOP画像用、他方を現VOP画像
用のフレームメモリとしてフレーム単位の復号化処理を
実行し、復号化サイクル毎にメモリ用途を交互に切り替
えるようになっている。この場合、参照VOP用のフレー
ムメモリに蓄積された復号化画像は、次の復号化サイク
ルで、新たな復号化画像の上書きによって消滅してしま
う。

【００１７】本発明の第１の実施例では、上記参照VOP
用のフレームメモリに蓄積された復号化画像を瞬時に、
且つ、任意の期間、仮想的フレーム内符号化画像（以
下、仮想I-VOP画像と言う）として保存する目的で、MPE
G復号器に第３のフレームメモリを追加する。常時は、
参照VOP画像用、現VOP画像用に割当てられた２つのフレ
ームメモリを交互に切り替えることによって、受信ビッ
トストリームがフレーム単位で復号化される。仮想I-VO
P画像の更新タイミングでは、参照VOP画像用のフレーム
メモリを仮想I-VOP画像用に切り替え、それまで仮想I-V
OP画像用となっていたフレームメモリを現VOP画像用に
切り替える。上記構成によれば、フレームメモリ間の画
像データ転送を行うことなく、復号化画像を瞬時に保存
した上で、後続フレームを復号化できる。

【００１８】仮想I-VOP画像に続く特定期間分の再生画
像を生み出す部分的な受信ビットストリームは、録画メ
モリとなるビットストリームメモリに蓄積される。本実
施例において、録画の再生は、仮想I-VOP画像用のフレ
ームメモリを参照VOP画像用に切り替え、ビットストリ
ームメモリから読み出された符号化データをMPEG復号器
に供給することによって達成される。

【００１９】本発明の第２の実施例では、上記第３のフ
レームメモリに代えて、MPEG符号器を使用し、仮想I-VO
P画像の更新タイミングとなった時点で、参照VOP画像用
のフレームメモリに蓄積されている参照VOP画像をMPEG
符号器に供給する。MPEG符号器で符号化された画像デー
タは、ビットストリームメモリに蓄積される。従って、
第２実施例では、仮想I-VOP画像と後続画像が全て符号
化データとしてビットストリームメモリに蓄積され、録
画再生時には、ビットストリームメモリから読み出され
た符号化データが次々とMPEG復号器に供給される。

【００２０】

【発明の実施の形態】以下、本発明の実施例について図
面を参照して説明する。図６は、例えば、携帯電話など
の無線通信端末に搭載される本発明による動画データ処
理システムの第１の実施例を示す。本実施例は、MPEG-4
デコーダ503が、参照VOP用フレームメモリ、現VOP用フ
レームメモリの他に、仮想I-VOP画像保存用の第３のフ
レームメモリを備えたことに特徴がある。各種のアプリ
ケーション・ソフトウェア（プログラム）を実行するマ
イクロプロセッサと、動画像データを処理するDSP(ディ
ジタルシグナルプロセッサ)とを備えた無線通信端末に
おいては、上記MPEG-4デコーダ503の機能をDSPによるデ
ータ処理によって実現できる。ここでは、MPEG-4デコー
ダ503をDSPによって構成した動画データ処理システムに
ついて説明するが、MPEG-4デコーダ503の機能は専用LSI
で実現されてもよく、また、マイクロプロセッサのデー
タ処理機能を利用するソフトウェアによって実現されて
いてもよい。

【００２１】図において、501はアプリケーション制御
部(マイクロプロセッサ)、502は受信された符号化デー
タ(ビットストリーム)を一時的に蓄積する入力バッフ
ァ、503はMPEG-4デコーダ、504は液晶表示装置等からな
る復号VOP画像出力部、505は配信された動画像の一部を
保存するためのビットストリームメモリ、506は保存デ
ータ制御用のスイッチ、507は入力データ選択用のスイ
ッチングゲート、508はユーザが操作する各種の入力ボ
タンを備えた入力装置を示す。MPEG-4デコーダ部503、
出力部504、ビットストリームメモリ505、スイッチ506
およびゲート507は、アプリケーション制御部501から出
力される制御信号521、522、520、523、524によってそ
れぞれ制御される。また、入力バッファ502は、アプリ
ケーション制御部501から出力される制御信号525によっ
てクリアされる。

【００２２】配信動画像を復号化して表示画面に出力す
る受信動画像出力モードでは、スイッチングゲート507
が、図面からは省略された無線受信回路から出力される
動画符号化データ(ビットストリーム)を選択し、パス51
1を介して入力バッファメモリ502に供給する。入力バッ
ファメモリ502に一時的に蓄積された動画符号化データ
は、順次に読み出され、パス512、514を介してデコーダ
503とスイッチ506に供給される。スイッチ506は、制御
信号523によってオンオフ制御され、オン期間中の符号
化データがパス515を介してビットストリームメモリ505
に入力される。ビットストリームメモリ505へのデータ
の書き込みと読み出しは制御信号520によって制御され
る。

【００２３】MPEG-4デコーダ部503は、第１、第２、第
３のフレームメモリ101、102、103と、フレームメモリ
制御部100と、パス512から入力された符号化データを解
析する分離部104と、誤差復号部105と、動き補償部106
と、上記誤差復号部105と動き補償部106の出力を加算す
る加算器107と、上記加算器からの出力を第１、第２、
第３のフレームメモリ101〜103に選択的に供給するため
の第１のスイッチングゲート108と、第１、第２、第３
のフレームメモリ101〜103の出力を出力部504と動き補
償部106に選択的に供給するための第２のスイッチング
ゲート109とからなっている。上記フレームメモリ制御
部100は、アプリケーション制御部501からの制御信号52
1に応答して、第１、第２のスイッチングゲート108、10
9に制御信号111、112を与え、フレームメモリ101〜103
の入出力を切り替える。

【００２４】上記分離部104は、パス512から入力される
符号化データを解析してヘッダ情報を検出する。解析動
作を開始してから最初のヘッダ情報が検出される迄に入
力された符号化データは廃棄される。分離部104は、検
出された各ヘッダ情報から画像サイズと時刻精度情報を
抽出し、これらをアプリケーション制御部501に渡す。
分離部104は、VOLヘッダに含まれる適用ツール情報から
一意に決まるデータ構造に従って、上記ヘッダ情報に後
続して入力される一連のVOPデータを解析し、各VOPデー
タから抽出された時刻関連情報、誤差関連情報、動き関
連情報を、それぞれアプリケーション制御部501、誤差
復号部105、動き制御部106に振り分ける。

【００２５】上記MPEG-4デコーダ部503において、符号
化データは分離部104に入力され、各VOPから抽出された
誤差情報と動き情報が、それぞれ誤差復号部105と動き
補償部106に分配される。今、第１フレームメモリ101が
現VOP画像用、第２フレームメモリ102が参照VOP画像
用、第３フレームメモリ103が仮想I-VOP画像用に割当て
られたVOP復号化サイクルを想定する。参照VOP画像用と
なった第２フレームメモリ102には、前サイクルで復号
化されたVOP画像データが保存されている。

【００２６】フレームメモリ制御部100は、第２フレー
ムメモリ102に記憶された参照VOP画像が動き補償部106
と出力部504に供給されるようにスイッチングゲート109
を切り替え、加算器107から出力される復号VOP画像信号
が第１フレームメモリ101に入力されるようにスイッチ
ングゲート108を制御する。動き補償部106は、分離部10
4から入力される新VOPの動き情報と参照VOP画像とを用
いて動き補償処理を行い、予測VOP画像を生成する。加
算器107は、上記予測VOP画像と誤差復号部105から出力
される誤差画像とを合成して復号VOP画像を生成する。
この復号VOP画像は、スイッチングゲート108を介して第
１フレームメモリ101に入力される。フレームメモリ制
御部100は、１つのVOPについて復号処理が完了する毎
に、制御信号526によって、VOP処理の終了と復号済みVO
Pの種類および出力時刻をアプリケーション制御部501に
通知する。

【００２７】フレームメモリ制御部100は、次のVOPの復
号処理に先立って、アプリケーション制御部501から与
えられる制御信号521に応じて上記第１〜第３フレーム
メモリの役割を変更する。例えば、上記制御信号521に
よって、参照VOP画像の保存が指示されていた場合は、
今回参照VOP画像用として使用した第２フレームメモリ1
02を仮想I-VOP画像用に切り替え、復号VOP画像用として
使用した第１フレームメモリ101を参照VOP画像用に切り
替え、それまで仮想I-VOP画像が蓄積されていた第３フ
レームメモリ103を現VOP画像用に切り替える。もし、参
照VOP画像の保存が指示されていなければ、今回参照VOP
画像用として使用した第２フレームメモリ102を現VOP画
像用に切り替え、復号VOP画像用として使用した第１フ
レームメモリ101を参照VOP画像用に切り替え、第３フレ
ームメモリ103に蓄積されている仮想I-VOP画像はそのま
ま保持する。出力部504は、第２スイッチングゲート109
からパス513に出力された画像を、制御信号522として与
えられる出力画像サイズ、表示タイミング、時刻情報に
従って表示画面に出力する。

【００２８】本実施例では、上述したように、第１〜第
３フレームメモリのうちの何れを仮想I-VOP画像用とし
て使用し、仮想I-VOP画像以降のビットストリームをメ
モリ505の蓄積する。仮想I-VOP画像の変更は、アプリケ
ーション制御部501から参照VOP保存指令の形で指定され
る。

【００２９】アプリケーション制御部501は、例えば、
入力装置508を通してユーザから録画開始指示を受けた
時点で、スイッチ506とフレームメモリ制御部100に制御
信号523、521を与えることによって、仮想I-VOP画像の
変更（参照VOP画像の保存）とメモリ505へのビットスト
リームの蓄積動作を開始できる。但し、ユーザから指示
を待って録画動作を開始すると、例えば、アプリケーシ
ョンプログラムのキャッシュ制御における遅延等によっ
て、録画開始位置がユーザ所望の画面から遅れる可能性
がある。

【００３０】そこで、本発明の好ましい実施例では、ア
プリケーション制御部501が、動画の表示中にスイッチ5
06を常時オン状態にし、制御信号520と521によって保存
ビットストリームと仮想I-VOP画像を定期的に更新する
予備録画モード動作を実行する。このモードでは、ビッ
トストリームメモリ505の記憶容量および制御遅れ時間
に応じて設定される所定の周期で仮想I-VOP画像を定期
的に更新する。また、仮想I-VOP画像の更新の都度、ビ
ットストリームメモリ505に蓄積済みの不要VOP列（符号
化データ）を無効にし、新たに受信したVOP列で順次に
書き換える。ユーザから録画開始指示を受けた場合、仮
想I-VOP画像の周期的更新動作を抑制し、ビットストリ
ームメモリ505の記憶容量の範囲内で受信ビットストリ
ームの蓄積する録画保存モードに移行する。

【００３１】上記方法によれば、ユーザからの録画開始
指示に先行して録画動作が実行されているため、ユーザ
から録画再生指示があった時、ユーザが所望した録画開
始画面から所定時間分の動画を再生出力することが可能
になる。例えば、予備録画モードでは、ビットストリー
ムメモリ容量の一部を利用し、ユーザからの録画開始指
示に対する応答遅れを十分に補える数VOP〜数１０VOP期
間の符号化データを周期的に記憶しておく。ユーザから
の録画開始指示に応答して録画保存モードに移行し、仮
想I-VOPの更新を停止して、ビットストリームメモリ505
の残り全容量を後続符号化データの蓄積に使用すれば、
メモリ容量を有効に利用してユーザが所望する動画シー
ンを録画することができる。

【００３２】録画保存モードでは、録画データの再生に
備えて、ユーザからの録画開始指示と録画録終了指示に
対応した時刻情報を記憶しておく。これらの時刻情報と
しては、MPEG-4で「modulo_time_base」、「vop_time_i
ncrement」と呼ばれる情報を利用できる。これらの情報
は各VOPに含まれており、modulo_time_baseは秒単位、v
op_time_incrementは秒以下の時間を示す。上記vop_tim
e_incrementの精度は、各VOLヘッダに「vop_time_incre
ment_resolution」として設定されている。

【００３３】上記modulo_time_baseは、前のVOPが示す
秒時刻との相対値を表しており、秒単位の時間差に相当
した個数のビット“1”を含むビットパターンとなって
いる。例えば、そのVOPの時刻が前VOPと秒単位で一致す
る場合には“0”、１秒異なる場合は“10”、２秒異な
る場合は“110”となる。各VOPの秒以下の時刻は、vop_
time_incrementによって、vop_time_increment_resolut
ionの精度で示される。従って、時刻情報としては、vop
_time_incrementについてはその復号値、modulo_time_b
aseについては録画開始VOPを基準としたビット“1”の
個数を記録すればよい。尚、modulo_time_baseについて
は、更新開始VOPを基準としたビット“1”値の個数とし
てもよい。

【００３４】次に、図７〜図１０を参照して、P-VOPが
仮想I-VOPとなった場合の予備録画モードにおけるMPEG-
4デコーダ503の動作について説明する。図７は、スイッ
チングゲート507を介して入力バッファ502に供給される
受信ビットストリーム300の１例を示す。受信ビットス
トリーム300は、ヘッダ情報311の直後に位置したIフレ
ーム（I-VOP）311と、それに続く複数のPフレーム（P-V
OP）331、332、…とからなっている。図中、符号I、Pに
付された数字はフレーム番号を表している。今、上記ビ
ットストリームにおけるP2フレーム332が録画開始VOP、
P4フレーム334が表示中、P5フレーム335が復号中の状態
にあるものと仮定する。

【００３５】この状態では、図８に示すように、入力バ
ッファメモリ502には、これから復号化されるP5フレー
ム以降の符号化データが蓄積されている。ここで、第３
フレームメモリ103が仮想I-VOP用となって録画開始VOP
（P2フレーム）を蓄積していた場合、残りの第１フレー
ムメモリ101と第２フレームメモリ102が現VOP画像用、
参照VOP画像用として交互に使い分けられる。例えば、P
4フレームの復号化サイクルで第２フレームメモリ102が
現VOP画像となっていた場合、P5フレームの復号化サイ
クルでは、第２フレームメモリ102が参照VOP画像用とな
って、P5フレームの復号ブロック画像が現VOP画像用の
第１フレームメモリ101に次々と蓄積される。ビットス
トリームメモリ505には、符号化データの解析に必要な
ヘッダ情報311と、現在録画開始VOPとなっているP2フレ
ームに続くP3フレーム333以降の符号化データとが順次
に保存される。

【００３６】P5フレームの復号化が完了した時点で、ア
プリケーション制御部501から制御信号521によって仮想
I-VOP画像の更新が指令されたと仮定する。この場合、
図９に示すように、それまで参照VOP画像用となってい
た第２フレームメモリ102が仮想I-VOP画像用に、現VOP
画像用となっていた第１フレームメモリ101が参照VOP画
像用に、仮想I-VOP画像用となっていた第３フレームメ
モリ103が現VOP画像用にそれぞれ切り替えられ、次のP6
フレーム336の復号化サイクルが実行される。この時、
ビットストリームメモリ505に蓄積済みとなっていたP
3、P4フレームの符号化データからなる部分ビットスト
リームは無効になり、新たな仮想I-VOP画像（P4フレー
ム）に続くP5フレーム以降の符号化データが蓄積される
ことになる。

【００３７】P5フレームの復号化が完了した時点で、も
し、アプリケーション制御部501が仮想I-VOP画像の更新
指令を出さなかった場合は、図１０に示すように、ビッ
トストリームメモリ505に復号化済みとなったP5フレー
ムの符号化データが追加され、第１フレームメモリ101
を参照VOP画像用、第２フレームメモリ102を現VOP画像
用として、P6フレームの復号化サイクルが実行される。

【００３８】上述したように、予備録画モードでは、ア
プリケーション制御部501からの制御信号521で、所定の
フレーム間隔で周期的に仮想I-VOP画像の更新を指令す
ることによって、ビットストリームメモリ505に所定時
間分の動画符号化データ（部分的ビットストリーム）の
蓄積を繰り返しておき、ユーザから録画開始の指示があ
った時、録画保存モードに移行し、仮想I-VOP画像の自
動更新を抑制した状態で、画像データの蓄積を継続的に
行う。

【００３９】録画保存モードでは、図１０で説明した動
作を繰り返すことによって、ビットストリームメモリ50
5が許容する範囲内で受信動画の後続ビットシーケンス
を蓄積する。録画保存モードで符号化データの蓄積を繰
り返している間に、ユーザから録画終了の指示があった
場合は、蓄積済みの動画符号化データを保存する。この
場合、ビットストリームメモリ505の残り容量の範囲内
で予備録画モードによるデータ蓄積動作を再開できる
が、ユーザから特別な指示がない限り、予備録画モード
の再開を抑制するようにしてもよい。

【００４０】予備録画モードとこれに続く録画保存モー
ドでビットストリームメモリ505に蓄積された符号化デ
ータは、ユーザから再生指示があった時、ヘッダ情報31
1に続いてパス516に順次に読み出され、スイッチングゲ
ート507と入力バッファ502を介してMPEG-4デコーダ503
に入力される。これらの符号化データは、MPEG-4デコー
ダ503において、仮想I-VOP画像を初期画像として復号処
理され、再生画像が表示画面に出力される。録画データ
の全てについて再生動作が終了した時、録画保存を解除
し、自動的に予備録画モード動作を再開させるようにし
てもよい。

【００４１】尚、図９では、ビットストリームメモリ50
5の蓄積内容を明確にするために、無効データ（P3、P4
フレーム）を消去した形となっているが、実際の応用で
は、ヘッダ311の記憶領域以外のメモリ領域をリングメ
モリとして使用し、P5フレームの符号化データを図１０
に示すようにP4フレームの次に書き込み、P5フレーム書
き込み領域の先頭アドレスを有効データ領域の開始アド
レスとして記憶するようにしてもよい。この場合、ビッ
トストリームメモリ505の最後の領域に符号化データが
書き込まれた時点で、書き込みアドレスがヘッダ311の
次の位置に戻り、新たな符号化データが無効データ（P
3、P4フレーム）領域に上書きされ、録画再生時に、有
効データ領域の開始アドレスから符号化データ列（ビッ
トストリーム）が読み出される。

【００４２】次に、図１１〜図１４を参照して、受信ビ
ットストリームのP-VOP列中にI-VOPが含まれていた場合
の予備録画モード動作について説明する。図１１は、I-
VOPが仮想I-VOPとなり得る受信ビットストリーム300-2
の１例を示す。受信ビットストリーム300-2は、図７に
示したビットストリーム300と異なり、第４VOP334-2がI
-VOP（I4）になっている。今、P2フレーム332が録画開
始VOP、I4フレーム334-2が参照VOP表示中、P5フレーム3
35が現在復号中の状態にあるものと仮定する。

【００４３】この状態では、図１２に示すように、入力
バッファメモリ502には、これから復号化されるP5フレ
ーム以降の符号化データが蓄積され、仮想I-VOP画像用
となった第３フレームメモリ103にP2フレームが蓄積さ
れ、例えば、参照VOP画像用となった第２フレームメモ
リ102にI4フレームが蓄積され、このI4フレームを参照
して、P5フレームが復号化処理され、復号化画像が順次
に現VOP画像用の第１フレームメモリ101に蓄積される。
また、ビットストリームメモリ505には、ヘッダ情報311
と、録画開始VOPであるP2フレームに後続するP3、I4フ
レームの符号化データ333、334-2が保存されている。

【００４４】上記I4フレームのようにI-VOPを参照VOPと
して復号化が行われた時、アプリケーション制御部501
から仮想I-VOPの更新が指令された場合は、図１３に示
すように、I4フレームを蓄積した第２フレームメモリ10
2が仮想I-VOP画像用となり、第１フレームメモリ101が
現VOP画像用から参照VOP画像用に切り替えられ、第３フ
レームメモリ103が仮想I-VOP画像用から現VOP画像用に
切り替えられる。また、ビットストリームメモリ505で
は、それまで蓄積されていたP3、I4フレームの符号化デ
ータが無効にされ、仮想I-VOP画像（I4フレーム）に後
続するフレーム（P5、P6、…）の符号化データが順次に
蓄積される。

【００４５】上述したように、I-VOPが仮想I-VOPとなっ
た時、これを検出したアプリケーション制御部501から
ビットストリームメモリ505に指令して、例えば、図１
４に示すように、I4フレームより前の画像データを無効
にし、I4フレーム以降のフレームの符号化データ334-
2、335、336、…が残るように制御してもよい。この場
合、ユーザから録画再生の指示があった時、ビットスト
リームメモリ505から読み出されたI4フレームの符号化
データを利用して、P5フレーム以降の符号化データが復
号化される。

【００４６】次に、図６に示した動画データ処理システ
ムによる録画データの再生処理について説明する。アプ
リケーション制御部501は、入力装置508を通してユーザ
から録画データの再生指示を受けると、制御信号521に
よってフレームメモリ制御部100に録画の再生を指令す
る。この指令に応答して、フレームメモリ制御部100
は、現時点で仮想I-VOP画像用となっているフレームメ
モリの内容が参照VOPとして動き補償部106に入力される
ように、スイッチングゲート109に切り替え制御信号112
を与え、残りのフレームメモリの一方が現VOP画像用と
なるように、スイッチングゲート108に切り替え制御信
号111を与える。アプリケーション制御部501は、上記録
画再生指令（制御信号521）に引き続いて制御信号523、
524、525を発生し、これによって、入力バッファメモリ
502をクリアし、入力バッファメモリ502からビットスト
リームメモリ505へのデータ入力を遮断した状態で、ビ
ットストリームメモリ505からパス516に読み出されたデ
ータがスイッチングゲート507を介して入力バッファ502
に供給されるようにする。

【００４７】図８〜図１３で説明したように、仮想I-VO
P画像用フレームメモリにP-VOP（またはI-VOP）の復号
化データを保持し、ビットストリームメモリ505に後続
フレームの符号化データを蓄積した場合は、入力バッフ
ァ502から読み出された符号化データをMPEG-4デコーダ5
03に順次に供給し、仮想I-VOP画像用フレームメモリか
ら得られたP-VOP（またはI-VOP）の画像フレームを参照
VOPとして後続フレームの復号化を開始する。その後
は、フレーム毎に現VOP画像用フレームメモリと参照VOP
画像用フレームメモリを切り替えることによって、録画
データが次々と再生される。

【００４８】参照VOP画像用フレームメモリに得られた
再生画像は、順次に出力部504に出力される。この時、
ビットストリームメモリ505から読み出された各フレー
ムの同期時刻をアプリケーション制御部501でチェック
しておき、ユーザが録画を指定した時刻のフレームから
表示を開始するように、制御信号522で出力部504を制御
するようにしてもよい。

【００４９】図１４で説明したように、ビットストリー
ムメモリ505にI-VOPから始まる符号化データが蓄積され
た場合は、仮想I-VOP画像用フレームメモリを動き補償
部106に接続するためのスイッチングゲート109の制御動
作を省略し、ビットストリームメモリ505から読み出さ
れた画像符号化データを順次にMPEG-4デコーダに供給す
ればよい。

【００５０】図１は、MPEG-4コーデックから保存VOP画
像用のフレームメモリを省略した本発明による動画デー
タ処理システムの第２の実施例を示す。この実施例は、
仮想I-VOP画像用のフレームメモリの代りにMPEG-4エン
コーダ601を使用し、参照VOP画像用のフレームメモリの
出力を上記MPEG-4エンコーダ601に選択的に入力するた
めのスイッチングゲート110を設けたことを特徴として
いる。

【００５１】本実施例では、第１、第２のフレームメモ
リ101、102の一方を現VOP画像用、他方を参照VOP画像用
とし、その役割をフレーム毎に交互に切り替え、各符号
化サイクルで参照VOP画像用フレームメモリの出力を動
き補償部106に供給することによって、受信ビットスト
リームを復号化する。また、参照VOP画像用フレームメ
モリの内容を出力部504に出力することによって受信動
画を表示する。

【００５２】予備録画モードを実行中のアプリケーショ
ン制御部501は、図６で説明した第１実施例と同様、制
御信号521によって、フレームメモリ制御部100に周期的
に仮想I-VOP画像の更新を指令する。フレームメモリ制
御部100は、上記仮想I-VOP画像の更新指令を受けると、
次フレームの復号化サイクルで、参照VOP画像用フレー
ムメモリの出力が動き補償部106とMPEG-4エンコーダ601
の両方に入力されるように、スイッチングゲート110を
切り替える。

【００５３】MPEG-4エンコーダ601は、スイッチングゲ
ート110からパス611を介して入力された参照VOP画像を
イントラ符号化する。MPEG-4エンコーダ601でイントラ
符号化された参照VOP画像は、ヘッダ情報を含む符号化
データとしてパス612に出力され、仮想I-VOPとしてビッ
トストリームメモリ505に蓄積される。但し、上記MPEG-
4エンコーダが、ビットストリームメモリ505に保存済み
のヘッダ情報と同じ情報で上記参照VOP画像の符号化処
理を実行する場合は、新たに生成されたヘッダ情報を必
ずしも保存する必要はない。この場合、MPEG-4エンコー
ダ601は、フレーム内符号化機能のみを持っていればよ
いことになる。

【００５４】例えば、P4フレームの復号化処理を終えた
時点で、アプリケーション制御部501から仮想I-VOPの更
新指令が発行された場合、フレームメモリ制御部100
は、上記P4フレームを参照VOPとするP5フレームの復号
化サイクルにおいて、P4フレームをMPEG-4エンコーダ60
1に供給する。MPEG-4エンコーダ601で再符号化されたP4
フレームの再符号化データ（ビットストリーム）411
は、例えば、図１５に示すように、ビットストリームメ
モリ505内でヘッダ情報311の直後に書き込まれる。今回
符号化されたP5フレームの符号化データ（ビットストリ
ーム）335と、その後に符号化される後続フレームの符
号化データ336、…は、上記再符号化データ411の後に書
き込まれる。但し、再符号化データ（ビットストリー
ム）411は、例えば、図１６に示すように、ヘッダ情報3
11の前に位置させてもよい。

【００５５】ビットストリーム411の位置は、アプリケ
ーション制御部501で認識されているため、録画データ
の再生時には、仮想I-VOPとなるビットストリーム411を
最初に読み出し、その復号VOP画像を参照VOPとして、次
フレーム以降のビットストリームを順次に復号化すれば
よい。尚、MPEG-4では、ヘッダ情報の再送が認められて
いるため、図１６に示すように、P4フレーム再符号化デ
ータ411の後に受信符号化データのヘッダ情報311が存在
した場合でも、復号処理は可能となる。

【００５６】また、図１１に示したI4フレーム334-1の
ように、受信ビットストリームが先頭I-VOP以外のI-VOP
フレームを含む場合、定期的な更新に加えて、各I-VOP
の復号タイミングに合わせて仮想I-VOPを更新したけれ
ば、アプリケーション制御部501において保存対象とな
るVOPの種類を判定し、I-VOPフレームを参照VOPとする
復号化サイクルではMPEG-4エンコーダへのデータ供給を
省略すればよい。この場合、ビットストリームメモリ50
5の内容は、例えば、図１４で説明した形式で更新され
る。

【００５７】図１７は、本発明による動画データ処理シ
ステムの第３の実施例を示す。本実施例では、MPEG-4デ
コーダが現VOP画像用、参照VOP画像用、仮想I-VOP画像
用の３個のフレームメモリ101〜103を具備し、更にMPEG
-4エンコーダ601が付加された構造となっている。本実
施例によれば、参照VOPを仮想I-VOP画像用のフレームメ
モリに保存した後、任意のタイミングで再符号化し、仮
想I-VOPとしてビットストリームメモリ505に蓄積すると
いう制御手順が採用可能となる。

【００５８】上述した第１、第２の実施例において、仮
想I-VOP画像用となるフレームメモリは、出力部504に表
示される動画像の動きを一時的に停止するためのフレー
ムメモリとしても利用できる。例えば、ユーザから表示
画面の一時停止要求があった時、スイッチングゲート11
1によって、現在、表示画面に出力されている参照VOP画
像用フレームメモリを仮想I-VOP画像用フレームメモリ
に切り替えると共に、該仮想I-VOP画像用フレームメモ
リの内容を出力部504に出力するようにスイッチングゲ
ート109を切り替える。このスイッチ操作によって、表
示部への動画出力が一時的に停止し、表示画面を静止画
状態にすることが可能となる。

【００５９】尚、表示画面の停止期間中は、受信ビット
ストリームの復号化処理を中断してもよいし、他の２つ
のフレームメモリを利用して受信ビットストリームの復
号処理を継続しても良い。後者の場合、参照VOP画像用
のフレームメモリの内容は、動き補償部106に供給され
て次フレームの復号化処理に利用されるだけであり、出
力部504には反映されない。表示画面停止期間中に保存
用ビットストリームメモリ505に受信ビットストリーム
を蓄積しておき、ビットストリームメモリが満杯となっ
た時点で復号処理を停止するようにしても良い。

【００６０】また、入力バッファ502が比較的大容量の
場合は、表示画面停止期間中に受信されたビットストリ
ームを入力バッファに蓄積しておき、入力バッファが満
杯になった時点で一時停止を解除するようにしてもよ
い。画像配信サーバが、端末からの一時停止要求に応じ
てデータの配信を一時的に停止する機能を備えている場
合には、ユーザが表示画面の一時停止を指示した時、ア
プリケーション制御部501から画像配信サーバにデータ
配信の一時停止を要求し、ユーザが表示画面の一時停止
を解除した時、画像の配信動作を再開するようにしても
よい。

【００６１】上記表示画面の一時停止機能は、録画デー
タの再生時にも利用できる。例えば、録画データを再生
表示中に、ユーザからの表示画面一時停止要求に応じて
画面を固定し、停止解除要求に応じて後続フレームの再
生表示を再開することによって、ユーザに録画された特
定のシーンをじっくりと検討する機会を与えることが可
能となる。

【００６２】録画データの中から特定のシーンを検索す
るためには、録画再生画像のコマ送り機能が有効とな
る。例えば、録画データに対してユーザがコマ送り再生
を指示した場合、フレームメモリ制御部100が復号化サ
イクル間に自動的に休止期間を設定し、表示画面をフレ
ーム毎に識別できる程度の周期で切り替える。この場
合、画面の切り替え周期をユーザからの指示に応じて可
変にしてもよい。また、ユーザからの指示に応じて１フ
レームずつコマ送りするようにしてもよい。尚、検索し
た画像をキャプチャすれば壁紙として利用できる。

【００６３】図１８は、本発明による動画データ処理シ
ステムの第４の実施例を示す。上述した第２、第３の実
施例では、仮想I-VOPとして保存すべき参照VOPをMPEG-4
エンコーダ601によって再符号化し、ビットストリーム
メモリ505に蓄積している。これは、仮想I-VOPの符号化
方式をビットストリームメモリ505に蓄積された後続フ
レームの符号化方式と統一することによって、ビットス
トリームメモリ505から読み出された全ての録画データ
を同一のMPEG-4デコーダ503で処理できるようにするた
めである。しかしながら、仮想I-VOPを受信ビットスト
リームとは異なる符号化方式で符号化しておき、録画デ
ータの再生処理時に、仮想I-VOPのみを後続フレームと
は別の復号化方式で復号処理し、これを参照VOPとして
後続フレームを再生することも可能である。

【００６４】図１８に示した第４の実施例は、図１に示
した動画像符号化方式のMPEG-4エンコーダ601の代りに
静止画像符号化方式であるJPEGのエンコーダ701を使用
し、これによって仮想I-VOPを生成する。すなわち、参
照VOP画像用のフレームメモリ101または102の画像デー
タをJPEG方式で再符号化し、仮想I-VOPとしてビットス
トリームメモリ505に蓄積する。仮想I-VOPに続く後続フ
レームの符号化データはMPEG-4方式のままビットストリ
ームメモリ505に蓄積される。

【００６５】録画再生時には、上記仮想I-VOPをビット
ストリームメモリ505からパス713に読み出し、JPEGデコ
ーダ702で復号化された仮想I-VOP画像をスイッチングゲ
ート108によって参照VOP画像用のフレームメモリ101ま
たは102に設定する。ビットストリームメモリ505から読
み出された後続フレームの符号化データは、上記仮想I-
VOPを初期画面として次々とMPEG-4デコーダ503で復号化
される。このように、仮想I-VOPを静止画像符号化方式
のエンコーダで再符号化することにより、仮想I-VOP画
像の符号化データサイズを更に圧縮することが可能とな
る。上記第４実施例の方式は、図１７に示した３面のフ
レームメモリを備えた動画処理システムにも同様に適用
できる。また、仮想I-VOP画像の符号化／復号化方式と
しては、JPEG以外に、例えば、MPEG-4静止画像符号化方
式や、ZIPのような他の符号化／復号化方式や圧縮ツー
ルを適用してもよい。

【００６６】上述した実施例では、受信ビットストリー
ムがMPEG-4で符号化されたものとなっているが、本発明
の動画データ処理システムでは、デコーダ503を受信ビ
ットストリームの符号化方式に適合させることによっ
て、例えば、MPEG-1、MPEG-2、H.261、H.263等、他の符
号化方式で圧縮された動画データも処理できる。符号化
方式によっては、図３に示したヘッダ情報が存在しない
が、その場合はヘッダ情報の復号とビットストリームメ
モリへの蓄積を省略すればよい。

【００６７】また、上述した実施例では、参照VOP画像
用のフレームメモリの内容を動き補償部106と出力部504
に供給し、ユーザから録画開始の指示があった時、表示
画面に相当する参照VOP画像用のフレームメモリの内容
を録画開始画面とみなして、上記参照VOPに付随する時
刻情報を記憶して録画データの再生を制御している。し
かしながら、表示画面に対するユーザ操作の遅れを考慮
すると、ユーザから録画開始の指示があった時、参照VO
Pよりも前のフレームを録画開始画面として取り扱うよ
うにしてもよい。

【００６８】また、現VOP画面用、参照VOP画面用のフレ
ームメモリの他に、表示画面の出力画像を保持する表示
VOP画面用のフレームメモリを用意し、通常は、現VOP画
面用、参照VOP画面用、表示VOP画面用、現VOP画面用の
順でフレームメモリ用途を切り替えておき、仮想I-VOP
の更新時には、表示VOP画面用を仮想I-VOP画面用に切り
替え、仮想I-VOP画面用を現VOP画面用として使用するよ
うにしてもよい。

【００６９】このように表示VOP画像用のフレームメモ
リと復号処理に関与する参照VOP画像、現VOP画像用のフ
レームメモリとを別メモリにした場合、画像の復号化処
理と表示処理とを完全に分離されるため、例えば、出力
部の都合によって表示VOP画像用メモリの内容を変更す
る必要が生じた場合でも、復号化処理に与える悪影響を
回避することが可能となる。また、上記フレームメモリ
構成において、例えば、参照VOP画面用のフレームメモ
リの内容を表示画面に出力し、表示VOP画面用のフレー
ムメモリを前表示VOP画面用として使用すれば、ユーザ
が録画指定した時、現在の表示画面より１つ前のフレー
ムを録画開始VOPまたは仮想I-VOPとして記憶することが
可能となる。

【００７０】次に、配信動画データの録画、録画データ
の再生、再生画面の一時停止を指示するためのユーザ・
インターフェースについて説明する。図１９は、ビデオ
処理用専用の操作ボタンとして、再生ボタン821、録画
ボタン822、停止ボタン823、一時停止ボタン824を備え
た端携帯電話端末800の操作面の１例を示す。

【００７１】再生ボタン821は、例えば、ユーザがWeb検
索等により見つけたビデオデータを受信して表示画面81
1に再生する際、または録画した符号化データを再生す
る際に用いる。上記再生ボタン821が押されると、アプ
リケーション制御部501が動画再生制御用のプログラム
やDSP600を起動し、復号化された画像を出力部504の一
部となる表示画面811に出力する。時刻表示領域812に
は、再生開始時刻から現在までの経過時間（「２秒２
５」）が刻々と表示される。

【００７２】記録ボタン822は、録画開始をMPEG-4デコ
ーダに指示するために用いられる。MPEG-4デコーダが保
存VOP画像（仮想I-VOP）を周期的に更新しながら予備録
画モードで受信画像を記録している時、ユーザが記録ボ
タン822を操作（録画指示）した場合、アプリケーショ
ン制御部501は、保存VOP画像の周期的更新を中止し、録
画開始フレーム（現在表示中の画像フレーム）の符号化
データに付随している同期時刻を記憶すると共に、それ
以降の受信画像を録画保存モードでビットストリームメ
モリ505に蓄積する。記憶された同期時刻は、時刻表示
領域812に録画開始時刻として表示される。図示した例
では、受信画像の再生開始から2秒05経過した時点で録
画が開始されたことを示している。

【００７３】録画データの再生方法としては、例えば、
ビットストリームメモリ505に蓄積された録画データの
先頭VOPから再生表示する方法と、ユーザが録画を指示
した時刻（録画開始同期時刻）のVOPから再生表示する
方法とがある。通常は録画開始同期時刻のVOPから再生
し、ユーザが特別に指定した場合に限り録画先頭VOPか
ら再生するようにすればよい。

【００７４】停止ボタン823は、受信画像の再生動作、
録画動作、録画再生動作を停止させるために用いられ
る。録画動作中に停止ボタン823が操作された場合は、
その時点で復号化処理中の符号化データに付随した同期
時刻を記憶すると共に、これを録画終了時刻として時刻
表示領域812に表示し、ビットストリームメモリに録画
された最終フレーム（符号化データ）の後にエンドコー
ドを記録する。録画保存モードで動作中にビットストリ
ームメモリ505が溢れそうになった場合は、ユーザから
の録画停止指示を待つことなく自動的に録画を終了し、
録画終了時刻を表示する。尚、時刻表示領域812が狭い
場合、上記録画終了時刻は、例えば、録画開始時刻に代
えて表示するか、経過時間を示す現在VOPの同期時刻の
表示を停止し、そこに録画終了時刻を一時的に表示する
などの方式を採用すればよい。

【００７５】一時停止ボタン824は、受信画像や録画の
再生動作一時的に停止し、表示画面を静止させるために
用いられる。受信画像の再生動作停止期間中、MPEG-4デ
コーダ503は、前述したように復号処理を継続しても良
い。一時停止ボタン824をもう一回押せば、一時停止状
態を脱して再生動作が再開される。前述した表示画面の
コマ送りは、例えば、一時停止の状態で再生ボタン821
を押すことによって指示できる。また、コマ送り状態か
ら通常の再生モードへの復帰は、例えば、一時停止ボタ
ンを押してから再生ボタンを押す操作によって指示でき
る。

【００７６】図２０は、図１８に示したビデオ関連専用
ボタン821〜824の機能を数字ボタンに置き換えた携帯電
話端末801の操作面の１例を示す。831はVideoボタンで
あり、これを押すことにより端末はビデオモード（受信
動画出力コード）に入り、時刻表示部812にビデオモー
ドを示す記号“V”が表示される。端末がビデオモード
に入ると、数字１の入力ボタン834が再生ボタン、数字
２の入力ボタン835が記録/停止ボタン、数字３の入力ボ
タン836が一時停止ボタンとして機能する。832と833は
ボリュームボタンであり、一時停止中にボタン832がコ
マ送りボタンとして機能する。

【００７７】上記図１９、図２０に示したユーザ・イン
タフェースは単なる実施例に過ぎず、本発明による動画
像の記録／再生制御において、ユーザからの制御指令
は、アイコン選択方式や他のボタン操作方式など、他の
任意の入力方式を採用できることは明らかである。

【００７８】以上、本発明の実施例について説明した
が、本発明は次のような変形を含む。 （１）受信ビットストリームは、図２に示したように、
途中にB-VOPを含む符号化データであってもよい。但
し、ビットストリームメモリに保存すべき符号化データ
の先頭がB-VOPとなる場合は、先頭VOPとこれに連続する
複数B-VOPの符号化データを保存対象から除外できる。
もし、B-VOPを復号して表示したい場合は、参照VOP画像
用のフレームメモリを増設する必要がある （２）受信ビットストリームは矩形画像以外の任意形状
画像のものでもよい。但し、MPEG-4では、参照VOP画像
の各符号化ブロックの形状タイプを必要とするため、矩
形画像以外のビットストリームを復号化する場合は、仮
想I-VOPの更新時時および録画開始時に、符号化データ
の同期時刻情報と各符号化ブロックの形状タイプを記録
しておく。

【００７９】（３）新たな仮想I-VOPをビットストリー
ムメモリに保存する場合、実施例では、不要となった従
前のビットストリームを無効にしたが、１つの仮想I-VO
Pとこれに後続する複数VOPのビットストリームを１組と
して、ビットストリームメモリに連続する複数組のビッ
トストリームを蓄積し、古い組から順に無効化するよう
にしてもよい。

【００８０】（４）予備録画モードにおける仮想I-VOP
の更新は、VOP数で決まる固定周期とする代わりに、ビ
ットストリームメモリに蓄積された録画データサイズに
依存させてもよい。すなわち、予備録画モードで使用す
るメモリ容量に上限値を設定しておき、蓄積データ量が
上限値を超えた時、次の復号化サイクルで仮想I-VOPを
更新して、新たなビットストリームに置き換えるように
してもよい。

【００８１】（５）録画保存モードでビットストリーム
メモリが満杯となったとき、蓄積不能となった後続ビッ
トストリームの先頭VOPに付随した同期時刻（時刻１）
を記憶しておき、ユーザから録画終了の指示があった時
点で上記後続ビットストリームの最終VOPに付随する同
期時刻（時刻２）を記憶し、録画再生時に、これらの時
刻情報（時刻１〜時刻２）で特定される不足ビットスト
リームを画像サーバからファイル転送プロトコルで再送
させるようにしてもよい。また、仮想I-VOPの次のVOPに
付随した同期時刻（時刻０）を記憶しておき、ユーザか
らの録画終了指示を受ける前にビットストリームメモリ
が満杯となった場合は、時刻０と時刻２で特定される録
画範囲のビットストリームを画像サーバから再送させ、
これらのビットストリームを端末側で保持する仮想I-VO
Pを起点として復号処理するようにしてもよい。このよ
うに、画像サーバからの再送機能を利用することによっ
て、ビットストリームメモリの記憶容量を超えた録画再
生が可能となる。

【００８２】(６)実施例では、ユーザが指定した録画開
始フレームと録画終了フレームを識別するための情報と
して、受信ビットシーケンスで各画像フレーム（VOP）
に付随している同期時刻(modulo_time_baseおよびvop_t
ime_increment)を利用したが、これらの同期時刻に代え
て、例えば、フレーム番号等の他の情報を適用してもよ
い。また、ユーザが録画の開始を指示する代わりに、録
画すべきシーンの特徴情報を予め登録しておき、これら
の特徴を備えた画像が復号化または再生された時点で、
自動的に録画保存モードを開始し、所定時間分の動画を
自動記録することもできる。

【００８３】

【発明の効果】以上の説明から明らかなように、本発明
によれば、受信ビットストリームの任意の位置で選択し
た復号化画像を仮想的なフレーム内符号化画像（仮想I-
VOP）として保存しておき、これを初期画面として後続
フレームの画像符号化データを復号化処理することによ
って、途中にランダムアクセス用フレーム内符号化画像
を持たない、あるいはその挿入頻度が少ない動画像符号
化データ列から、ユーザが所望するシーンを効率的に録
画し、再生することが可能となる。

【図面の簡単な説明】

【図１】本発明による動画データ処理システムの１実施
例を示す図。

【図２】動画像ビットストリームであるMPEG-4のデータ
構造の１例を示す図。

【図３】MPEG-4ビットストリームのシーケンスヘッダ部
の構造を示す図。

【図４】無線通信に適用されるMPEG-4ビットストリーム
のデータ構造の１例を示す図。

【図５】無線通信に適用されるMPEG-4ビットストリーム
のシーケンスヘッダ部の構造を示す図。

【図６】本発明による動画データ処理システムの他の実
施例を示す図。

【図７】上記動画データ処理システムで処理される受信
ビットストリーム300の１例を示す図。

【図８】受信ビットストリーム300のP5フレームの復号
化サイクルにおける上記動画データ処理システムのメモ
リの状態を示す図。

【図９】受信ビットストリーム300のP5フレームの復号
化サイクルで仮想I-VOP更新指令があった場合のメモリ
の状態を示す図。

【図１０】受信ビットストリーム300のP5フレームの復
号化サイクルで仮想I-VOP更新指令がなかった場合のメ
モリの状態を示す図。

【図１１】上記動画データ処理システムで処理される複
数のI-VOPを含む受信ビットストリーム300-2の１例を示
す図。

【図１２】受信ビットストリーム300-2のP5フレームの
復号化サイクルにおける上記動画データ処理システムの
メモリの状態を示す図。

【図１３】受信ビットストリーム300-2のP5フレームの
復号化サイクルで仮想I-VOP更新指令があった場合のメ
モリの状態を示す図。

【図１４】受信ビットストリーム300-2のP5フレームの
復号化サイクルにおける仮想I-VOP更新指令の変形例を
説明するための図。

【図１５】再符号化された仮想I-VOPのビットストリー
ムメモリ505への保存形式の１例を示す図。

【図１６】再符号化された仮想I-VOPのビットストリー
ムメモリ505への保存形式の他の例を示す図。

【図１７】本発明による動画データ処理システムの第３
の実施例を示す図。

【図１８】本発明による動画データ処理システムの第４
の実施例を示す図。

【図１９】本発明による携帯端末が備えるユーザ・イン
ターフェースの１例を示す図。

【図２０】本発明による携帯端末が備えるユーザ・イン
ターフェースの他の例を示す図。

【符号の説明】

１００：フレームメモリ制御部、１０１〜１０３：フレ
ームメモリ、１０８〜１１０、５０７：スイッチングゲ
ート、５０１：アプリケーション制御部、５０２：入力
バッファメモリ、５０３：ＭＰＥＧエンコーダ、５０
４：出力部、５０５：ビットストリームメモリ、５０
６：スイッチ、５０８：入力装置、６００：ディジタル
シグナルプロセッサ、６０１：ＭＰＥＧエンコーダ、７
０１：ＪＰＥＧエンコーダ、７０２：ＪＰＥＧデコー
ダ、８００、８０１：携帯電話端末、８１１：表示画
面、８１２：時刻表示領域、８２１、８３４：再生ボタ
ン、８２２：記録ボタン、８２３：停止ボタン、８２
４、８３６：一時停止ボタン、８３５：記録／停止ボタ
ン。

Claims (14)

【特許請求の範囲】
1. 【請求項１】動画符号化データ列からなる受信ビットス
   トリームを復号化して再生画像を表示している間に、任
   意に選択された復号化画像を仮想的フレーム内符号化画
   像として保存しておき、 上記仮想的フレーム内符号化画像として扱われた復号化
   画像に続く特定期間分の再生画像を生み出す部分的なビ
   ットストリームを録画データとして記録することを特徴
   とする動画像データの記録再生方法。
2. 【請求項２】ユーザからの録画指示に応答して選択され
   た復号化画像を前記仮想的フレーム内符号化画像として
   保存することを特徴とする請求項１に記載の動画像デー
   タの記録再生方法。
3. 【請求項３】前記仮想的フレーム内符号化画像を所定の
   周期で定期的に更新し、仮想的フレーム内符号化画像の
   更新の都度、改めて前記録画データとなる部分的受信ビ
   ットストリームを記録し直す予備録画モードと、 ユーザからの録画指示に応答して、上記仮想的フレーム
   内符号化画像の更新動作を抑制し、上記部分的受信ビッ
   トストリームの記録動作を継続する録画保存モードとを
   実行することを特徴とする請求項１に記載の動画像デー
   タの記録再生方法。
4. 【請求項４】前記仮想的フレーム内符号化画像として、
   前記復号化画像を再符号化して得られた符号化データを
   保存することを特徴とする請求項１〜請求項３の何れか
   に記載の動画像データの記録再生方法。
5. 【請求項５】前記復号化画像が、前記受信ビットストリ
   ームとは異なる符号化方式で再符号化されることを特徴
   とする請求項４に記載の動画像データの記録再生方法。
6. 【請求項６】前記受信ビットストリームに含まれるヘッ
   ダ情報を記録データの一部として記録し、新たなヘッダ
   情報が受信される都度、記録ヘッダ情報を更新すること
   を特徴とする請求項１〜請求項５の何れかに記載の動画
   像データの記録再生方法。
7. 【請求項７】ユーザからの録画再生指示に応答して、前
   記仮想的フレーム内符号化画像を初期画像として前記録
   画データの復号化処理を開始することを特徴とする請求
   項１〜請求項６の何れかに記載の動画像データの記録再
   生方法。
8. 【請求項８】動画符号化データ列からなるビットストリ
   ームを受信し、動画像として表示する端末装置におい
   て、 上記受信ビットストリームを復号化するための復号器
   と、上記受信ビットストリームの一部を録画データとし
   て選択的に蓄積するための蓄積装置と、上記蓄積装置へ
   の録画データの書き込みと読み出しを制御する制御装置
   とからなり、 上記制御装置が、上記復号器で生成された復号化画像群
   から任意の復号化画像を選択し、仮想的フレーム内符号
   化画像として保存すると共に、上記受信ビットストリー
   ムから抽出されたヘッダ情報と、上記仮想的フレーム内
   符号化画像に続く特定期間分の再生画像を生み出す部分
   的なビットストリームを上記蓄積装置に録画データとし
   て書き込むことを特徴とする端末装置。
9. 【請求項９】ユーザからの指令を入力するための入力装
   置を備え、前記制御装置が、ユーザからの指令に応答し
   て前記復号化画像の選択と、前記蓄積装置への前記ビッ
   トストリームの書き込みを制御することを特徴とする請
   求項８に記載の端末装置。
10. 【請求項１０】ユーザからの指令を入力するための入力
    装置を備え、動画像を表示中に、前記制御装置が、前記
    仮想的フレーム内符号化画像を所定の周期で定期的に更
    新し、仮想的フレーム内符号化画像の更新の都度、改め
    て前記蓄積装置に部分的受信ビットストリームを記録し
    直す予備録画モードと、ユーザからの録画指定に応答し
    て、上記仮想的フレーム内符号化画像の更新動作を抑制
    し、上記部分的受信ビットストリームの記録動作を継続
    する録画保存モードとを選択的に実行することを特徴と
    する請求項８に記載の端末装置。
11. 【請求項１１】前記制御装置が、ユーザからの録画再生
    指令に応答して、前記仮想的フレーム内符号化画像を前
    記復号器に初期画像として設定し、前記蓄積装置から読
    み出されたビットストリームの上記復号器への供給を開
    始することを特徴とする請求項８〜請求項１０の何れか
    に記載の端末装置。
12. 【請求項１２】前記復号器が、第１、第２、第３のフレ
    ームメモリを有し、常時は、参照画像用と現画像用に割
    当てられた２つのフレームメモリを交互に切り替えるこ
    とによって、前記受信ビットストリームをフレーム単位
    で復号化し、前記制御装置からの指令に応答して、参照
    画像用のフレームメモリを仮想的フレーム内符号化画像
    用に切り替え、それまで仮想的フレーム内符号化画像用
    となっていたフレームメモリを現画像用に切り替えるこ
    とによって、仮想的フレーム内符号化画像を保存するこ
    とを特徴とする請求項８〜請求項１１に何れかに記載の
    端末装置。
13. 【請求項１３】画像を符号化するための符号器を有し、
    前記制御装置が、前記選択された復号化画像を上記符号
    器で再符号化することによって、前記仮想的フレーム内
    符号化画像を符号化データの形で前記蓄積装置に保存す
    ることを特徴とする請求項８〜請求項１１に何れかに記
    載の端末装置。
14. 【請求項１４】動画符号化データ列からなるビットスト
    リームを受信し、動画像として表示する端末装置におい
    て、 上記受信ビットストリームを復号化するための復号器
    と、 上記受信ビットストリームの一部を蓄積するための蓄積
    装置と、 上記受信ビットストリーム中の任意のフレーム位置から
    始まる部分的ビットストリームを上記蓄積装置に録画デ
    ータとして書き込むための制御装置と、 上記制御装置から更新指示される迄、上記複号器で復号
    化された上記部分的ビットストリームの直前フレームの
    復号化画像を保持するための手段とからなることを特徴
    とする端末装置。