JP2002171526A - データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 - Google Patents

データ処理装置、データ処理システム、データ処理方法、及び記憶媒体

Info

Publication number
JP2002171526A
JP2002171526A JP2000365837A JP2000365837A JP2002171526A JP 2002171526 A JP2002171526 A JP 2002171526A JP 2000365837 A JP2000365837 A JP 2000365837A JP 2000365837 A JP2000365837 A JP 2000365837A JP 2002171526 A JP2002171526 A JP 2002171526A
Authority
JP
Japan
Prior art keywords
data processing
data
time information
audio
object data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000365837A
Other languages
English (en)
Other versions
JP2002171526A5 (ja
Inventor
Toshiyuki Nakagawa
利之 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000365837A priority Critical patent/JP2002171526A/ja
Priority to US09/995,913 priority patent/US20020080399A1/en
Publication of JP2002171526A publication Critical patent/JP2002171526A/ja
Publication of JP2002171526A5 publication Critical patent/JP2002171526A5/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Abstract

(57)【要約】 【課題】 フィールドの内挿等の特殊なアルゴリズムが
実装されていない動画像デコーダであっても、簡単な構
成で、音声の速度変換に同期(リップシンク)して映像
を同時に可変速にすることが可能なデータ処理装置を提
供する。 【解決手段】 速度変換部116は、外部(ユーザ)か
らの速度変換要求に基づき動画像及び音声の同期管理の
ための第2の時間情報を取得し、その第2の時間情報
を、符号化ビットストリームから分離したオブジェクト
データに含まれる第1の時間情報へ新たに設定し、音声
のオブジェクトデータの復号手段107に対して、上記
外部からの速度変換要求により示される再生速度倍率を
通知する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、MPEG
−4の符号化ビットストリームから動画像や音声のオブ
ジェクトデータを分離して復号化し、当該復号化後の各
データを合成して出力する装置或いはシステムに用いら
れる、データ処理装置、データ処理システム、データ処
理方法、及びそれを実施するための処理ステップをコン
ピュータが読出可能に格納した記憶媒体に関するもので
ある。
【0002】
【従来の技術】今日において、例えば、「ISO/IE
C 14496 part1(MPEG4 Syste
ms)」では、動画像や音声等の複数のオブジェクトを
含むマルチメディアデータの符号化ビットストリーム
(以下、単に「ビットストリーム」とも言う)につい
て、データの多重化及び同期に関する手法が標準化され
つつある。「MPEG4 Systems」では、理想
端末モデルを、“システムデコーダモデル”と呼び、そ
の動作を規定している。
【0003】また、「MPEG4 Systems」に
準拠したビットストリーム(以下、「MPEG4データ
ストリーム」とも言う)においては、これまでの一般的
なマルチメディアストリームとは異なり、いくつものビ
デオシーンやビデオオブジェクトを、単一のストリーム
上で独立して送受信する機能を有する。したがって、単
一のストリーム上から、いくつものビデオシーンやビデ
オオブジェクトを復元可能となる。これは、音声につい
ても同様であり、いくつものオーディオオブジェクト
を、単一のストリーム上から復元可能である。
【0004】さらに、MPEG4データストリームに
は、従来のビデオオブジェクト及びオーディオオブジェ
クトの他に、オブジェクトの空間や時間的配置を定義す
るための情報として、VRML(Virtual Re
ality ModelingLangage)を自然
動画像や音声が扱えるように拡張したBIFS(Bin
ary Format for Scenes)が含ま
れている。このBIFSは、MPEG−4でのシーン
(ビデオオブジェクト及びオーディオオブジェクトから
構成される任意のシーン)を2値で記述された情報であ
る。
【0005】したがって、シーンの再生(オブジェクト
の合成)に必要な個々のオブジェクトは、それぞれ個別
に最適な符号化が施されて送信されることになるので、
その受信側(再生側)では、個々のオブジェクトの符号
化データをそれぞれ復号し、上記のBIFSの内容に基
づいて、個々のオブジェクトが有する時間軸を、自側の
時間軸に合わせて同期させ、個々のオブジェクトを合成
してシーンを再生することになる。
【0006】
【発明が解決しようとする課題】ところで、上述したよ
うな複数のオブジェクトデータを含むデータストリーム
を受信して再生する場合、可変速再生が要求される。例
えば、ユーザが短時間に動画を見るために早送再生を行
う際に必要となる、通常の再生速度より高速で再生する
機能(高速再生機能)や、ユーザが動画を注意深く見る
際に必要となる、通常の再生速度より低速で再生する機
能(低速再生機能)が要求される。
【0007】このため、音声のみの速度変換を行う手法
が幾つか提案されており、また、音声の速度変換に同期
(リップシンク)させて動画(映像)の速度を可変する
ための手法として、速度変換アルゴリズムをベースにし
た音声デコーダ、及び動きベクトルに応じて内挿を行う
変換アルゴリズムをベースにした動画像デコーダを用
い、再生速度が変換された音声に同期して映像フィール
ドを内挿する手法が提案されている。
【0008】しかしながら、音声の速度変換に同期させ
て映像の速度を可変するための手法として、従来より提
案されている上記の手法では、動画像デコーダに対し
て、動きベクトルに応じて内挿を行う変換アルゴリズム
を実装しないと、音声の速度変換に同期させて映像の速
度を可変することができなかった。すなわち、動画像デ
コーダに対して、動きベクトルに応じて内挿を行う変換
アルゴリズムを実装することが必須であり、このような
特殊なアルゴリズムが実装されていない動画像デコーダ
では、音声の速度変換に同期させて映像の速度を可変す
ることができなかった。
【0009】そこで、本発明は、上記の欠点を除去する
ために成されたもので、フィールドの内挿等の特殊なア
ルゴリズムが実装されていない動画像デコーダであって
も、簡単な構成で、音声の速度変換に同期(リップシン
ク)して映像を同時に可変速にすることが可能な、デー
タ処理装置、データ処理システム、データ処理方法、及
びそれを実施するための処理ステップをコンピュータが
読出可能に格納した記憶媒体を提供することを目的とす
る。
【0010】
【課題を解決するための手段】斯かる目的下において、
第1の発明は、少なくとも動画像及び音声のオブジェク
トデータを含む符号化ビットストリームから分離した当
該オブジェクトデータを、当該オブジェクトデータに含
まれる上記動画像及び音声の同期管理のための第1の時
間情報に基づき復号して再生するデータ処理装置であっ
て、外部からの速度変換要求に基づいて、上記動画像及
び音声の同期管理のための第2の時間情報を取得する時
間情報取得手段と、上記時間情報取得手段で得られた第
2の時間情報を上記第1の時間情報として設定する設定
手段と、上記音声のオブジェクトデータの復号手段に対
して、上記外部からの速度変換要求により示される再生
速度倍率を通知する通知手段とを備えることを特徴とす
る。
【0011】第2の発明は、上記第1の発明において、
上記符号化ビットストリームは、MPEG−4に準拠し
たビットストリームを含むことを特徴とする。
【0012】第3の発明は、上記第1の発明において、
上記音声のオブジェクトデータは、再生速度変換機能を
有する符号化方式によって高能率圧縮符号化が施された
データを含むことを特徴とする。
【0013】第4の発明は、上記第1の発明において、
復号対象データ用のバッファに対して入力された上記オ
ブジェクトデータのアクセスユニットから、上記第1の
時間情報を抽出する抽出手段を備えることを特徴とす
る。
【0014】第5の発明は、上記第1の発明において、
上記音声のオブジェクトデータの復号手段は、再生速度
変換機能を有することを特徴とする。
【0015】第6の発明は、上記第1の発明において、
上記時間情報は、DTS(Decoding Time
Stamp)及びCTS(Composition T
ime Stamp)を含むことを特徴とする。
【0016】第7の発明は、複数の機器が互いに通信可
能に接続されてなるデータ処理システムであって、上記
複数の機器のうち少なくとも1つの機器は、請求項1〜
6の何れかに記載のデータ処理装置の機能を有すること
を特徴とする。
【0017】第8の発明は、符号化された1つ又は複数
の動画像及び音声のオブジェクトデータを含むビットス
トリームを、当該オブジェクトデータ単位で分離して復
号化し、当該復号化後の1つ又は複数のオブジェクトデ
ータを合成して出力するためのデータ処理方法であっ
て、上記オブジェクトデータから、上記動画像及び音声
の同期管理のための第1の時間情報の領域を特定して抽
出する抽出ステップと、ユーザからの速度変換要求に基
づいて、上記動画像及び音声の同期管理のための第2の
時間情報を演算し、その結果を、上記第1の時間情報と
して設定する演算/設定ステップと、上記音声のオブジ
ェクトデータを復号する音声デコーダに対して、上記ユ
ーザからの速度変換要求に従って再生速度倍率を通知す
る通知ステップとを含むことを特徴とする。
【0018】第9の発明は、上記第8の発明において、
上記ビットストリームは、MPEG−4のビットストリ
ームを含むことを特徴とする。
【0019】第10の発明は、上記第8の発明におい
て、上記音声のオブジェクトデータは、再生速度変換機
能を有する符号化方式によって高能率圧縮符号化が施さ
れたデータを含むことを特徴とする。
【0020】第11の発明は、上記第8の発明におい
て、上記抽出ステップは、上記オブジェクトデータの復
号化バッファへ入力されたアクセスユニットから、上記
第1の時間情報を抽出するステップを含むことを特徴と
する。
【0021】第12の発明は、上記第8の発明におい
て、上記音声デコーダは、再生速度変換機能を有するこ
とを特徴とする。
【0022】第13の発明は、上記第8の発明におい
て、上記時間情報は、DTS(Decoding Ti
me Stamp)及びCTS(Compositio
n Time Stamp)を含むことを特徴とする。
【0023】第14の発明は、請求項1〜6の何れかに
記載のデータ処理装置の機能、又は請求項7記載のデー
タ処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体へ記録
したことを特徴とする。
【0024】第15の発明は、請求項8〜13の何れか
に記載のデータ処理方法の処理ステップをコンピュータ
に実行させるためのプログラムをコンピュータ読出可能
な記憶媒体へ記録したことを特徴とする。
【0025】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
【0026】本発明は、例えば、図1に示すようなデー
タ処理装置100に適用される。本実施の形態のデータ
処理装置100は、MPEG−4で符号化された動画像
及び音声等のオブジェクトデータを含むビットストリー
ム(MPEG−4データストリーム)から、当該オブジ
ェクトデータを分離して復号化し、当該復号化後のオブ
ジェクトデータを合成して出力する再生機能(MPEG
−4再生機能)を有し、特に、再生速度を変換した際に
も、動画像及び音声の同期を取って再生するように構成
されている。
【0027】<データ処理装置100の全体構成及び一
連の動作>データ処理装置100は、上記図1に示すよ
うに、ネットワーク等の伝送路102からMPEG−4
データストリームを受信して各種オブジェクトのデータ
等を分離するデマルチプレクサ102と、デマルチプレ
クサ102で得られた音声のオブジェクトデータを復号
する音声復号化バッファ103及び音声デコーダ107
と、デマルチプレクサ102で得られた動画像のオブジ
ェクトデータを復号する動画像復号化バッファ104及
び動画像デコーダ108と、デマルチプレクサ102で
得られたオブジェクト記述データを復号するオブジェク
ト記述復号化バッファ105及びオブジェクト記述デコ
ーダ109と、デマルチプレクサ102で得られたシー
ン記述データを復号するシーン記述復号化バッファ10
6及びシーン記述デコーダ110と、コンポジションメ
モリ111を介して取得した音声デコーダ107の出
力、コンポジションメモリ112を介して取得した動画
像デーコーダ108の出力、オブジェクト記述デコーダ
109の出力、及びコンポジションメモリ113を介し
て取得したシーン記述デコーダ110の出力からシーン
を再構成するコンポジタ114とを含み、コンポジタ1
14の出力が、ディスプレイやスピーカ等の出力機器1
15へ供給されるように構成されている。特に、データ
処理装置100は、MPEG−4データストリームから
得られるオブジェクトデータ(AU)から同期管理のた
めの第1の時間情報(DTS(Decoding Ti
me Stamp),CTS(Composition
Time Stamp))の領域を特定して抽出し、第
2の時間情報(DTS,CTS)をユーザからの速度変
換要求に従って算出し、その結果(第2の時間情報)
を、オブジェクトデータ(AU)の第1の時間情報(D
TS,CTS)として設定し、音声オブジェクトデータ
を復号する音声デコーダ107に対して、ユーザの速度
変換要求に従って再生速度倍率を通知するように構成さ
れている。
【0028】上述のようなデータ処理装置100におい
て、まず、伝送路101は、各種ネットワーク等に代表
される伝送路であり、本実施の形態ではその一例とし
て、MPEG−4データストリーム(MPEG−4ビッ
トストリーム)が配信されるネットワークとしている。
このため、以下では、「ネットワーク101」とも言
う。尚、本実施の形態での伝送路101は、放送ネット
ワークや通信ネットワーク等の通信路のみを指すのでは
なく、例えば、DVD−RAM等の蓄積媒体(記録媒
体)自体をも含むものとする。
【0029】データ処理装置100は、ネットワーク1
01から配信されたMPEG−4ビットストリーム(伝
送路101を記録媒体とした場合には当該記録媒体から
読み込んだMPEG−4ビットストリーム)を受信する
と、これをデマルチプレクサ102へ入力する。
【0030】デマルチプレクサ102は、入力されたM
PEG−4ビットストリームから、音声オブジェクトデ
ータ、動画像オブジェクトデータ、オブジェクト記述デ
ータ、及びシーン記述データ等を分離し、それぞれのデ
ータを復号化バッファ103〜106の中の該当する復
号化バッファに対して入力する。
【0031】ここで、復号化バッファ103〜106へ
の入力データの単位は、アクセスユニット(Acces
s Unit、以下、単に「AU」と言う)と呼ばれる
復号及び合成のための時間管理、或は同期のための処理
単位である。例えば、自然画像のMPEG−4ビットス
トリームでは、1つのVOP(Video Objec
t Plane)の符号化データが、1つのAUに相当
する。
【0032】また、音声オブジェクトデータは、低ビッ
トレートの音声用の符号化方式としてのパラメトリック
符号化(HVXC:Harmonic Vector E
xcitation Coding)等のような、再生
速度変換機能を有する符号化方式によって、高能率(圧
縮)符号化が施されたデータである。動画像オブジェク
トデータは、例えば、周知のMPEG−2或はH−26
3方式によって高能率符号化されたデータである。オブ
ジェクト記述データは、各メディアオブジェクトの制御
情報(符号化方式や、シーン記述との関連、或はパケッ
トの構成等の情報)を含んでおり、メディアオブジェク
トの各ビットストリームは、オブジェクト記述データに
含まれる符号化方法の情報に基づいた復号化アルゴリズ
ム(MPEG−4ビジュアル、MPEG−4オーディ
オ、IPMP、MPEG−7等)によって復号される。
【0033】上述のようなAUが入力された復号化バッ
ファ103〜106はそれぞれ、当該AUを、デコーダ
107〜110の中の該当するデコーダに対して出力す
る。
【0034】デコーダ107〜110は、入力AUを復
号して出力する。すなわち、音声デコーダ107は、入
力AUを復号した結果を、コンポジションメモリ111
に対して、コンポジションユニット(Composit
ionUnit、以下、単に「CU」と言う)として出
力する。また、動画像デコーダ108は、入力AUを復
号した結果を、コンポジションメモリ112に対して、
CUとして出力する。また、シーン記述デコーダ110
は、入力AUを復号した結果を、コンポジションメモリ
113に対して、CUとして出力する。
【0035】尚、本実施の形態においては、MPEG−
4ビットストリームの中に、音声オブジェクトデータ、
動画像オブジェクトデータ、及びオブジェクト記述デー
タのそれぞれ複数の互いに異なる種類のオブジェクトが
存在したとしても、復号可能な構成としているため、各
オブジェクトデータに対して、復号化バッファ及びデコ
ーダを一対一に設けるようにしている。
【0036】コンポジタ114は、コンポジションメモ
リ111の出力(音声オブジェクト)と、コンポジショ
ンメモリ112の出力(動画像オブジェクト)とを、オ
ブジェクト記述デコーダ109の出力(オブジェクト記
述データ)及びコンポジションメモリの出力(シーン記
述データ)に基づき合成することで、シーンを再生(再
構成)する。このようにして再生されたシーンのデータ
(最終的なマルチメディアデータ列)は、ディスプレイ
やスピーカ等の出力機器115に対して入力され、出力
機器115において、動画像及び音声から構成されるシ
ーンが再生されることになる。
【0037】<データ処理装置100の特徴とする構成
及び動作>まず、上述したAUがパケット化される際、
そのパケットヘッダ部に対して、同期管理のための時間
情報(DTS、CTS等)が付加される。DTS(De
coding Time Stamp)は、AUが復号化
バッファに到着していなければならない時刻情報であ
り、CTS(Composition Time Sta
mp)は、CUがコンポジションメモリに存在しなけれ
ばならない時刻情報である。したがって、AUは、パケ
ット毎に付加されたパケットヘッダ部に付加されたDT
Sで示される時刻で復号され、即座にCUに変換され
て、CTSで示される時刻以降の時刻で有効になる。
【0038】図2は、時間情報(DTS,CTS)と、
復号化バッファ及びコンポジションメモリとの関係を具
体的に示したものである。先ず、復号化バッファに対し
て入力された任意のAUnは、そのパケットヘッダ部に
付加された時刻DTS(AUn)までに復号されてCUn
に変換され、コンポジションメモリに対して出力され
る。次に、CUnは、上記パケットヘッダ部に付加され
た時刻CTS(CUn)で有効となり、コンポジタ11
4において合成及び再生が可能な状態となる。続いて、
復号化バッファに対して入力された次のAUn+1に関し
ても、時刻DTS(AUn+1)までに復号されてCUn+1
に変換され、コンポジションメモリに対して出力され
る。そして、CUn+1は、時刻CTS(CUn+1)で有効
となり、コンポジタ114において合成及び再生が可能
な状態となる。
【0039】そこで、本実施の形態の最も特徴とする構
成は、速度変換部116にある。この速度変換部116
は、ユーザからの指示に応じて再生速度を変換する操作
部である。本実施の形態のデータ処理装置100は、ユ
ーザから再生速度変更命令を受信すると、速度変換部1
16が当該命令を受け取る。
【0040】図3は、データ処理装置100MPEG−
4ビットストリームを受信した場合の、速度変換部11
6の動作をフローチャートによって示したものである。
【0041】先ず、速度変換部116は、ユーザが再生
速度変換を要求しているか否かを判別する(ステップS
300)。この判別の結果、再生速度変換の要求がなさ
れていない場合には本処理終了とし、再生速度変換の要
求がなされていた場合に、次のステップS301からの
処理を実行する。
【0042】ステップS300の判別の結果、ユーザが
再生速度変換を要求している場合、速度変換部116
は、復号化バッファ103〜106のそれぞれに入力さ
れた各AUのパケットヘッダ部に付加されたDTS及び
CTS(第1の時間情報)を抽出する(ステップS30
1)。
【0043】次に、速度変換部116は、ステップS3
01で抽出したDTS及びCTS(第1の時間情報)を
変更するために、ユーザから再生速度変換の要求がなさ
れた時刻tとユーザが指示した再生速度変換倍率iとに
基づいて、DTS及びCTS(第2の時間情報)を演算
する(ステップS302)。
【0044】次に、速度変換部116は、ステップS3
02で取得したDTS及びCTS(第2の時間情報)
を、ステップS301で抽出したDTS及びCTS(第
1の時間情報)として新たに設定する(ステップS30
3)。
【0045】図4は、ステップS303での処理を具体
的に示したものである。先ず、復号化バッファへ入力さ
れた任意のAUnから、パケットヘッダ部に付加された
時刻DTS(AUn)及びCTS(CUn)(第1の時間
情報)を抽出する。次に、ユーザから再生速度変換の要
求(再生速度倍率i及び再生速度の変更の要求)がなさ
れた時刻tを用いて、 DTS´(AUn)=t+{DTS(AUn)−t}/i ={(i −1)t+DTS(AUn)}/i CTS´(CUn)=t+{CTS(CUn)−t}/i ={(i −1)t+CTS(CUn)}/i なる演算を行ない、これにより求めたDTS´(AU
n)及びCTS´(CUn)(第2の時間情報)を、新
たにAUnのDTS及びCTSとして設定する。
【0046】したがって、AUnは、デコーダにおい
て、時刻DTS´(AUn)までに復号されてCUnに変
換され、コンポジションメモリに対して出力される。C
Unは、時刻CTS´(CUn)で有効となり、コンポジ
タ114において合成及び再生が可能な状態となる。
【0047】上記の“時刻t”は、データ処理装置10
0へ入力されたMPEG−4ビットストリームの動画像
オブジェクトデータ及び音声オブジェクトデータの再生
を開始した時刻から、ユーザが速度を変更するよう要求
した時刻までの経過時間である。また、“時間t”は、
例えば、コンピュータ(不図示)内部の時計、或はデー
タ処理装置100内部の時計から読み取った時刻、或は
その時刻から算定された実利用時間を適用可能である。
【0048】上記図4では、その一例として、再生速度
倍率iが“1”以上の値であることを想定しているの
で、DTS(AUn)よりもDTS´(AUn)の方が小
さい値となり、また、CTS(CUn)よりもCTS´
(CUn)が小さい値となる。すなわち、任意のCUnに
関して、有効な状態になる時間が早まるため、通常に再
生した場合に比べ高速に再生されることになる。
【0049】一方、再生速度倍率iとして、“1”以下
の値を用いた場合、DTS(AUn)よりもDTS´
(AUn)の方が大きい値となり、また、CTS(CU
n)よりもCTS´(CUn)の方が大きい値となるの
で、CUnが有効な状態になる時間が遅くなり、通常に
再生した場合に比べゆっくりと再生されることになる。
【0050】上述のようなステップS303の処理後、
速度変換部116は、音声デコーダ107に対して再生
速度倍率iを通知する(ステップS304)。その後、
速度変換部116は、復号化バッファへ入力された次の
AUに対する処理を実行するために、再びステップS3
00へと戻る。
【0051】したがって、音声デコーダ107は、速度
変換部116から再生速度倍率iを受け取ると、その再
生速度倍率iに従って再生速度を変換するように、音声
復号化バッファ103内のAUを復号化する。
【0052】上述したような本実施の形態での再生速度
変換機能は、符号化されたデータ(MPEG−4ビット
ストリーム)が完全にパラメータ化されているため、デ
コード時にパラメータの値や設定を任意に変えたとして
も、デコードが可能であるという、パラメトリック符号
化の特徴を生かした機能であり、符号化されたパラメー
タ(時間情報)の更新周期を変えることによって、再生
速度変換を実現している。
【0053】したがって、本実施の形態のデータ処理装
置100の再生機能(MPEG−4再生機能)及びその
制御方法は、符号化された1つ又は複数の動画像オブジ
ェクトデータ及び音声オブジェクトデータを含むビット
ストリーム(MPEG−4ビットストリーム)から、そ
れぞれのオブジェクトデータを分離して再生するに際
に、フィールドの内挿等の特殊なアルゴリズムが実装さ
れていない従来の動画像デコーダを用いたとしても、音
声の速度変換に同期(リップシンク)して動画像を同時
に可変速に再生することができる。
【0054】尚、本実施の形態において、DTSやCT
Sといった時間情報(タイムスタンプ)は、パケットヘ
ッダのオプション情報であり、このような情報が不要な
場合もある。例えば、他に同期情報が存在する場合、D
TSやCTSの代わりに、上述した他の同期情報を用い
て、本実施の形態での機能を実施することができること
は言うまでもない。
【0055】また、本発明の目的は、本実施の形態のホ
スト及び端末の機能を実現するソフトウェアのプログラ
ムコードを記憶した記憶媒体を、システム或いは装置に
供給し、そのシステム或いは装置のコンピュータ(又は
CPUやMPU)が記憶媒体に格納されたプログラムコ
ードを読みだして実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が本実施の形態の機能を実
現することとなり、そのプログラムコードを記憶した記
憶媒体は本発明を構成することとなる。プログラムコー
ドを供給するための記憶媒体としては、ROM、フロッ
ピーディスク、ハードディスク、光ディスク、光磁気デ
ィスク、CD−ROM、CD−R、磁気テープ、不揮発
性のメモリカード等を用いることができる。また、コン
ピュータが読みだしたプログラムコードを実行すること
により、本実施の形態の機能が実現されるだけでなく、
そのプログラムコードの指示に基づき、コンピュータ上
で稼動しているOS等が実際の処理の一部又は全部を行
い、その処理によって本実施の形態の機能が実現される
場合も含まれることは言うまでもない。さらに、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づき、その機能拡張ボ
ードや機能拡張ユニットに備わるCPUなどが実際の処
理の一部又は全部を行い、その処理によって本実施の形
態の機能が実現される場合も含まれることは言うまでも
ない。
【0056】例えば、上記図1のデータ処理装置100
は、図5に示すようなコンピュータ機能500を有す
る。このコンピュータ500のCPU501により、上
述した本実施の形態での動作が実施される。
【0057】コンピュータ機能500は、上記図5に示
すように、CPU501と、ROM502と、RAM5
03と、キーボード(KB)509のキーボードコント
ローラ(KBC)505と、表示部としてのCRTディ
スプレイ(CRT)510のCRTコントローラ(CR
TC)506と、ハードディスク(HD)511及びフ
ロッピー(登録商標)ディスク(FD)512のディス
クコントローラ(DKC)507と、ネットワークイン
ターフェースカード(NIC)508とが、システムバ
ス504を介して互いに通信可能に接続された構成とし
ている。そして、システムバス504が、上記図1に示
した伝送路(ネットワーク等)101と接続される。
【0058】CPU501は、ROM502或いはHD
511に記憶されたソフトウェア、或いはFD512よ
り供給されるソフトウェアを実行することで、システム
バス504に接続された各構成部を総括的に制御する。
すなわち、CPU501は、上記図3に示したような処
理シーケンスに従った処理プログラムを、ROM50
2、或いはHD511、或いはFD512から読み出し
て実行することで、上述した本実施の形態での動作を実
現するための制御を行う。
【0059】RAM503は、CPU501の主メモリ
或いはワークエリア等として機能する。KBC505
は、KB509や図示していないポインティングデバイ
ス等からの指示入力を制御する。CRTC506は、C
RT510の表示を制御する。DKC507は、ブート
プログラム、種々のアプリケーション、編集ファイル、
ユーザファイル、ネットワーク管理プログラム、及び本
実施の形態における上記処理プログラム等を記憶するH
D511及びFD512とのアクセスを制御する。NI
C508は、伝送路101上の装置或はシステム等と双
方向にデータをやりとりする。
【0060】
【発明の効果】以上説明したように本発明では、動画像
及び音声のオブジェクトデータを復号して再生する際に
使用する第1の時間情報(同期管理のための情報)とし
て、外部(ユーザ等)からの速度変換要求に基づき取得
した第2の時間情報を新たに設定し、音声のオブジェク
トデータの復号手段(音声デコーダ)に対して、外部
(ユーザ等)からの速度変換要求により示される再生速
度倍率を通知するように構成したので、フィールドの内
挿等の特殊なアルゴリズムが実装されていない従来の動
画像用の復号手段(デコーダ)を用いたとしても、音声
の速度変換に同期(リップシンク)して、動画像を同時
に可変速で再生することができるので、柔軟で拡張性の
あるデータ処理装置或はシステムを容易に実現できる。
【図面の簡単な説明】
【図1】本発明を適用したデータ処理装置の構成を示す
ブロック図である。
【図2】上記データ処理装置での同期モデル及びバッフ
ァ管理を説明するための図である。
【図3】上記データ処理装置の速度変換部の動作を説明
するためのフローチャートである。
【図4】上記速度変換部により速度変換再生を行った場
合の、上記同期モデル及びバッファ管理を説明するため
の図である。
【図5】上記データ処理装置が有するコンピュータ機能
の構成を示すブロック図である。
【符号の説明】
100 データ処理装置 101 伝送路 102 デマルチプレクサ(分離手段) 103 音声復号化バッファ 104 動画像復号化バッファ 105 オブジェクト記述復号化バッファ 106 シーン記述復号化バッファ 107 音声デコーダ 108 動画像デコーダ 109 オブジェクト記述デコーダ 110 シーン記述デコーダ 111〜113 コンポジションメモリ 114 コンポジタ(シーン合成部) 115 出力機器 116 速度変換部

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも動画像及び音声のオブジェク
    トデータを含む符号化ビットストリームから分離した当
    該オブジェクトデータを、当該オブジェクトデータに含
    まれる上記動画像及び音声の同期管理のための第1の時
    間情報に基づき復号して再生するデータ処理装置であっ
    て、 外部からの速度変換要求に基づいて、上記動画像及び音
    声の同期管理のための第2の時間情報を取得する時間情
    報取得手段と、 上記時間情報取得手段で得られた第2の時間情報を上記
    第1の時間情報として設定する設定手段と、 上記音声のオブジェクトデータの復号手段に対して、上
    記外部からの速度変換要求により示される再生速度倍率
    を通知する通知手段とを備えることを特徴とするデータ
    処理装置。
  2. 【請求項2】 上記符号化ビットストリームは、MPE
    G−4に準拠したビットストリームを含むことを特徴と
    する請求項1記載のデータ処理装置。
  3. 【請求項3】 上記音声のオブジェクトデータは、再生
    速度変換機能を有する符号化方式によって高能率圧縮符
    号化が施されたデータを含むことを特徴とする請求項1
    記載のデータ処理装置。
  4. 【請求項4】 復号対象データ用のバッファに対して入
    力された上記オブジェクトデータのアクセスユニットか
    ら、上記第1の時間情報を抽出する抽出手段を備えるこ
    とを特徴とする請求項1記載のデータ処理装置。
  5. 【請求項5】 上記音声のオブジェクトデータの復号手
    段は、再生速度変換機能を有することを特徴とする請求
    項1記載のデータ処理装置。
  6. 【請求項6】 上記時間情報は、DTS(Decodi
    ng Time Stamp)及びCTS(Compos
    ition Time Stamp)を含むことを特徴と
    する請求項1記載のデータ処理装置。
  7. 【請求項7】 複数の機器が互いに通信可能に接続され
    てなるデータ処理システムであって、 上記複数の機器のうち少なくとも1つの機器は、請求項
    1〜6の何れかに記載のデータ処理装置の機能を有する
    ことを特徴とするデータ処理システム。
  8. 【請求項8】 符号化された1つ又は複数の動画像及び
    音声のオブジェクトデータを含むビットストリームを、
    当該オブジェクトデータ単位で分離して復号化し、当該
    復号化後の1つ又は複数のオブジェクトデータを合成し
    て出力するためのデータ処理方法であって、 上記オブジェクトデータから、上記動画像及び音声の同
    期管理のための第1の時間情報の領域を特定して抽出す
    る抽出ステップと、 ユーザからの速度変換要求に基づいて、上記動画像及び
    音声の同期管理のための第2の時間情報を演算し、その
    結果を、上記第1の時間情報として設定する演算/設定
    ステップと、 上記音声のオブジェクトデータを復号する音声デコーダ
    に対して、上記ユーザからの速度変換要求に従って再生
    速度倍率を通知する通知ステップとを含むことを特徴と
    するデータ処理方法。
  9. 【請求項9】 上記ビットストリームは、MPEG−4
    のビットストリームを含むことを特徴とする請求項8記
    載のデータ処理方法。
  10. 【請求項10】 上記音声のオブジェクトデータは、再
    生速度変換機能を有する符号化方式によって高能率圧縮
    符号化が施されたデータを含むことを特徴とする請求項
    8記載のデータ処理方法。
  11. 【請求項11】 上記抽出ステップは、上記オブジェク
    トデータの復号化バッファへ入力されたアクセスユニッ
    トから、上記第1の時間情報を抽出するステップを含む
    ことを特徴とする請求項8記載のデータ処理方法。
  12. 【請求項12】 上記音声デコーダは、再生速度変換機
    能を有することを特徴とする請求項8記載のデータ処理
    方法。
  13. 【請求項13】 上記時間情報は、DTS(Decod
    ing Time Stamp)及びCTS(Compo
    sition Time Stamp)を含むことを特徴
    とする請求項8記載のデータ処理方法。
  14. 【請求項14】 請求項1〜6の何れかに記載のデータ
    処理装置の機能、又は請求項7記載のデータ処理システ
    ムの機能をコンピュータに実現させるためのプログラム
    を記録したコンピュータ読出可能な記憶媒体。
  15. 【請求項15】 請求項8〜13の何れかに記載のデー
    タ処理方法の処理ステップをコンピュータに実行させる
    ためのプログラムを記録したコンピュータ読取可能な記
    憶媒体。
JP2000365837A 2000-11-30 2000-11-30 データ処理装置、データ処理システム、データ処理方法、及び記憶媒体 Pending JP2002171526A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000365837A JP2002171526A (ja) 2000-11-30 2000-11-30 データ処理装置、データ処理システム、データ処理方法、及び記憶媒体
US09/995,913 US20020080399A1 (en) 2000-11-30 2001-11-28 Data processing apparatus, data processing method, data processing program, and computer-readable memory storing codes of data processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000365837A JP2002171526A (ja) 2000-11-30 2000-11-30 データ処理装置、データ処理システム、データ処理方法、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2002171526A true JP2002171526A (ja) 2002-06-14
JP2002171526A5 JP2002171526A5 (ja) 2008-01-24

Family

ID=18836542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000365837A Pending JP2002171526A (ja) 2000-11-30 2000-11-30 データ処理装置、データ処理システム、データ処理方法、及び記憶媒体

Country Status (2)

Country Link
US (1) US20020080399A1 (ja)
JP (1) JP2002171526A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005531245A (ja) * 2002-06-27 2005-10-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パーソナルビデオレコーディングの応用におけるmpegデコーダでの音声画像同期を達成する安定した方法
JP2008258665A (ja) * 2007-03-30 2008-10-23 Toshiba Corp ストリーム再生装置
JP4819126B2 (ja) * 2005-10-14 2011-11-24 サムスン エレクトロニクス カンパニー リミテッド 携帯放送システムにおける多重ストリーム受信装置及び方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2447827C (en) * 2002-04-19 2007-03-13 Matsushita Electric Industrial Co., Ltd. Reproduction speed conversion apparatus
WO2006072853A1 (en) * 2005-01-04 2006-07-13 Koninklijke Philips Electronics N.V. Method of and device for synchronizing multiple input streams
JP5897792B2 (ja) * 2010-12-10 2016-03-30 ソニー株式会社 画像処理装置、画像再生装置、および画像再生システム
US10547713B2 (en) 2012-11-20 2020-01-28 Nvidia Corporation Method and system of transmitting state based input over a network
US20140195594A1 (en) * 2013-01-04 2014-07-10 Nvidia Corporation Method and system for distributed processing, rendering, and displaying of content
US10630773B2 (en) 2015-11-12 2020-04-21 Nvidia Corporation System and method for network coupled cloud gaming
US11027199B2 (en) 2015-11-12 2021-06-08 Nvidia Corporation System and method for network coupled gaming

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848239A (en) * 1996-09-30 1998-12-08 Victory Company Of Japan, Ltd. Variable-speed communication and reproduction system
JP3407287B2 (ja) * 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
US6539054B1 (en) * 1998-09-18 2003-03-25 Matsushita Electric Industrial Co., Ltd. Image output apparatus, image reproduction method, object composition apparatus, object composition method, and data storage medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005531245A (ja) * 2002-06-27 2005-10-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ パーソナルビデオレコーディングの応用におけるmpegデコーダでの音声画像同期を達成する安定した方法
JP4819126B2 (ja) * 2005-10-14 2011-11-24 サムスン エレクトロニクス カンパニー リミテッド 携帯放送システムにおける多重ストリーム受信装置及び方法
JP2008258665A (ja) * 2007-03-30 2008-10-23 Toshiba Corp ストリーム再生装置
JP4589355B2 (ja) * 2007-03-30 2010-12-01 株式会社東芝 ストリーム再生装置

Also Published As

Publication number Publication date
US20020080399A1 (en) 2002-06-27

Similar Documents

Publication Publication Date Title
JP3407287B2 (ja) 符号化復号システム
JP2970558B2 (ja) オーディオ/ビデオ/コンピュータグラフィクス同期再生合成方式及び方法
US7453522B2 (en) Video data processing apparatus
US20020150123A1 (en) System and method for network delivery of low bit rate multimedia content
JP3523218B2 (ja) メディアデータプロセッサ
JP5409762B2 (ja) 画像復号化装置および画像復号化方法
US9020042B2 (en) Audio/video speedup system and method in a server-client streaming architecture
JP2007202026A (ja) 符号化装置、復号化装置、符号化方法、復号化方法、符号化方法のプログラム、復号化方法のプログラム、符号化方法のプログラムを記録した記録媒体及び復号化方法のプログラムを記録した記録媒体
JP2006217653A (ja) 多重化装置及び方法、並びに合成装置および方法
JP3828053B2 (ja) 受信されたマルチメディアデータを保存するバッファの容量を可変できるマルチメディアデータ復元装置及び方法
JP2002171526A (ja) データ処理装置、データ処理システム、データ処理方法、及び記憶媒体
JP2003153254A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
JP2004173118A (ja) 音声画像多重化データ生成装置と再生装置および動画像復号化装置
JP2002351438A (ja) 映像監視システム
JP2004221900A (ja) 画像情報復号装置及び画像情報復号方法
US20190387271A1 (en) Image processing apparatus, image processing method, and program
JP2000083233A (ja) 認証装置及び認証方法及び認証システム並びに記憶媒体
EP1519588A2 (en) Program, data processing method, and data processing system
US20120082435A1 (en) Moving image display device
JP2000152235A (ja) データ処理装置及びその方法、及びデータ処理システム
JP2005176068A (ja) 動画像配信システム及びその方法
KR20220148027A (ko) Hmd 기반의 pc 게임 확장 시스템
JP2005176094A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体
CN113490047A (zh) 一种Android音视频播放方法
JP2004040807A (ja) データフロー再生方法及び装置と、それに関連するシステム及び信号

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091020