JP2004248104A - Information processor and information processing method - Google Patents
Information processor and information processing method Download PDFInfo
- Publication number
- JP2004248104A JP2004248104A JP2003037371A JP2003037371A JP2004248104A JP 2004248104 A JP2004248104 A JP 2004248104A JP 2003037371 A JP2003037371 A JP 2003037371A JP 2003037371 A JP2003037371 A JP 2003037371A JP 2004248104 A JP2004248104 A JP 2004248104A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- header information
- information
- audio data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、MPEG方式で符号化されたビデオデータ、及びオーディオデータを記録媒体に記録する情報処理装置及び情報処理方法に関する。
【0002】
【従来の技術】
MPEG(Moving Picture Expert Group)方式、例えば、MPEG2方式などの動画像符号化方式によって圧縮符号化されたビデオデータ、及びオーディオデータを磁気記録媒体に記録させる記録装置が考案されている(例えば、特許文献1参照。)。
【0003】
【特許文献1】
特開2001−309305号公報
【0004】
【発明が解決しようとする課題】
ところで、MPEG方式で圧縮符号化されたビデオデータ、及び、オーディオデータをデコードして再生する場合、口の動きと、音声のタイミングとを合わせるリップシンクを行う必要がある。
【0005】
MPEG方式では、ビデオデータと、オーディオデータとの同期をとるために、ビデオPES(Packetized Elementary Stream)パケット、及びオーディオPESパケット、それぞれのPESヘッダの中に再生時刻情報であるPTS(Presentation Time Stamp)や、デコードのタイミングを指定するDTS(Decoding Time Stamp)といった制御情報を記述している。そして、デコード時、再生時には、これらの制御情報を抽出し、抽出した制御情報に基づいて、ビデオデータと、オーディオデータとの同期をとることで、リップシンクずれが生じないようにしている。
【0006】
ビデオデータには、通常1/30秒又は、1/25秒といった一定の長さ(時間)のビデオフレームという画の区切りがある。
【0007】
これに対して、オーディオデータは、連続的であるためサンプル点以外の区切りを持っていないが、MPEG方式でオーディオデータを圧縮符号化する際の計算範囲を決めるために固有の長さのオーディオフレームが形成される。
【0008】
このビデオフレームと、オーディオフレームとのフレーム長(時間軸長)は、等しくなることは殆どない。
【0009】
したがって、磁気記録媒体に、あらかじめ記録されている、ビデオデータ、及びオーディオデータの任意の箇所から、圧縮符号化された新たなビデオデータ、及びオーディオデータを“つなぎ録り”した場合、オーディオデータが時間的に不連続に記録されてしまうことになる。
【0010】
このように、“つなぎ録り”をすると、デコードのタイミングや、出力のタイミングがDTS、PTSで制御可能な範囲を超えて磁気記録媒体に記録されてしまい実用に耐えられない程のリップシンクずれが生じてしまうといった問題がある。
【0011】
さらに、時間的に不連続となって磁気記録媒体にオーディオデータが記録されることで、再生時におけるデコード処理が正常に実行されない可能性があるといった問題もある。特に、上述のようにしてビデオデータ、及びオーディオデータが“つなぎ録り”された磁気記録媒体を、例えば、外部装置によって再生させる場合、上記外部装置は、上記磁気記録媒体に時間的に不連続にオーディオデータが記録されていることを知ることができないため、正常なデコード処理を期待できないといった問題がある。
【0012】
そこで、本発明は上述したような問題を解決するために案出されたものであり、ビデオデータ、及びオーディオデータを圧縮符号化して“つなぎ録り”を実行した場合でも、リップシンクずれが最小となって再生されるように、ビデオデータ、及びオーディオデータを記録媒体に記録すると共に、外部装置において、正常にデコード処理されるようにビデオデータ、及びオーディオデータを記録媒体に記録する情報処理装置及び情報処理方法を提供することを目的とする。
【0013】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る情報処理装置は、ビデオデータ、及びオーディオデータをMPEG方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置であって、ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第1のヘッダ情報をそれぞれ検出し、さらに、上記検出された第1のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第2のヘッダ情報をそれぞれ検出するヘッダ情報検出手段と、上記ヘッダ情報検出手段によって検出された第2のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出手段と、上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出手段によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成手段と、上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成手段と、上記記録データストリーム生成手段によって生成された記録データストリームのヘッダ情報に含まれるPTS(Presentation Time Stamp)、及びDTS(Decoding Time Stamp)を、上記第2のヘッダ情報に含まれるPTS、及びDTSにそれぞれ連続となるよう更新するヘッダ情報更新手段と、上記ヘッダ情報更新手段によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出手段によって検出された上記第1のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御手段とを備えることを特徴とする。
【0014】
また、上述の目的を達成するために、本発明に係る情報処理方法は、ビデオデータ、及びオーディオデータをMPEG方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置の情報処理方法であって、ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第1のヘッダ情報をそれぞれ検出し、さらに、上記検出された第1のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第2のヘッダ情報をそれぞれ検出するヘッダ情報検出工程と、上記ヘッダ情報検出工程によって検出された第2のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出工程と、上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出工程によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成工程と、上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成工程と、上記記録データストリーム生成工程によって生成された記録データストリームのヘッダ情報に含まれるPTS(Presentation Time Stamp)、及びDTS(Decoding Time Stamp)を、上記第2のヘッダ情報に含まれるPTS、及びDTSにそれぞれ連続となるよう更新するヘッダ情報更新工程と、上記ヘッダ情報更新工程によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出工程によって検出された上記第1のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御工程とを備えることを特徴とする。
【0015】
【発明の実施の形態】
以下、本発明に係る情報処理装置及び情報処理方法の実施の形態を図面を参照にして詳細に説明する。
【0016】
まず、図1を用いて本発明の実施の形態として示す情報処理装置の構成について説明をする。
【0017】
情報処理装置1は、外部入力部11と、MPEGエンコーダ12と、ヘッダ情報抽出部13と、ストリーム記録処理部14と、MPEGエンコーダ制御部15と、PTS/DTS更新処理部16と、擬似データ生成部17と、ECC処理部18と、記録回路19と、再生回路20と、ストリーム再生処理部21と、外部出力部22と、MPEGデコーダ23と、制御部24とを備えている。
【0018】
情報処理装置1は、当該情報処理装置1に着脱可能なテープ状磁気記録媒体50にMPEG方式で圧縮符号化されたビデオデータ、及びオーディオデータを記録し、記録したビデオデータ、及びオーディオデータを再生可能な装置である。
【0019】
また、情報処理装置1は、あらかじめビデオデータ、及びオーディオデータが記録されているテープ状磁気記録媒体50の任意の箇所に、新たなビデオデータ、及びオーディオデータを上書きする“つなぎ録り”を自在にすることができる。
【0020】
外部入力部11は、外部からTS(Transport Stream)に多重化されて送信されるMPEG圧縮符号化されたビデオデータ及びオーディオデータを、ビデオPESパケット、オーディオPESパケットに再編し、ストリーム記録処理部14に供給する。
【0021】
MPEGエンコーダ12は、デジタルビデオデータ及びデジタルオーディオデータを、MPEG方式にて圧縮符号化(エンコード)してビデオES(Elementary Stream)、オーディオESを生成する。また、MPEGエンコーダ12は、エンコードしたビデオES、オーディオESをビデオPESパケット、オーディオPESパケットに分割し、ストリーム記録処理部14に供給する。
【0022】
MPEGエンコーダ12は、検出されるVBV(Video Buffering Verifier)バッファのデータ占有量に基づいて、ピクチャの発生符号量を調節しながらエンコード処理をする。
【0023】
VBVバッファは、デコーダの前段に仮想的に設けられるバッファであり、当該VBVバッファの占有量を参照することでエンコードする際の符号化量を調節する際の指針となる。
【0024】
例えば、デコード処理においては、デコードされるピクチャが、一旦、一定時間VBVバッファに蓄えられ、デコード時刻がくると1ピクチャ分のデータがVBVバッファから読み出されて、デコード処理がなされる、というモデルが想定される。
【0025】
このとき、ピクチャの符号化量が膨大であると、VBVバッファがアンダーフローしてしまい表示する際に遅延が生じてしまうことになる。また、ピクチャの発生符号化量が少ないとVBVバッファがオーバーフローしてしまい、VBVバッファが破綻してしまう。
【0026】
このように、VBVバッファのアンダーフローや、オーバーフローといった破綻を生じさせないために、MPEGエンコーダ12でエンコードするピクチャの発生符号量を、例えば、量子化パラメータを操作するなどして、各ピクチャ毎に目標符号量となるよう調整する。
【0027】
量子化パラメータの操作でも十分でない場合は、デコードするデータストリーム上の時間的に前にあるピクチャをコピーした符号量の少ないコピーピクチャ(Copy Picture)や、特に意味をなさないデータであるスタッフィングバイトなどを挿入することで復号タイミングや、データ量の調整を行う。VBVバッファがオーバーフローするような場合には、スタッフィングバイトを挿入し、アンダーフローするような場合には、コピーピクチャを挿入する。
【0028】
ヘッダ情報抽出部13は、再生回路20、ECC処理部18、ストリーム再生処理部21を介して、テープ状磁気記録媒体50から再生されたビデオデータ、オーディオデータのPTS、DTS、フレーム長情報を含んだヘッダ情報を抽出する。PTS、及びDTSは、ビデオデータ、オーディオデータのアクセスユニット単位、つまり1フレーム単位に付与されるヘッダ情報である。PTSは、テープ状磁気記録媒体50に記録されたビデオデータ、オーディオデータをそれぞれ再生出力する時刻情報であり、DTSは、ビデオデータ、オーディオデータをそれぞれデコードする時刻情報である。
【0029】
テープ状磁気記録媒体50の任意の位置で、“つなぎ録り”をする指示が出されると、ヘッダ情報抽出部13は、制御部24の制御によって上記指定された任意の位置に最も近くに記録されているヘッダ情報を読み出す。このヘッダ情報の位置が、“つなぎ録り”を開始するつなぎ点となる。
【0030】
また、ヘッダ情報抽出部13は、制御部24の制御によって、つなぎ点の直前にあるビデオデータ(以下、最終ビデオデータとも呼ぶ。)と、オーディオデータ(以下、最終オーディオデータとも呼ぶ。)のヘッダ情報をそれぞれ抽出する。ヘッダ情報抽出部13で抽出されたヘッダ情報は、ストリーム記録処理部14に送出される。
【0031】
ストリーム記録処理部14は、外部入力部11、又はMPEGエンコーダ12から供給されるビデオPESパケット、オーディオPESパケットを多重化して、テープ状磁気記録媒体50に記録するデータストリームを生成する。
【0032】
また、ストリーム記録処理部14は、ヘッダ情報抽出部13から送出されたヘッダ情報を用いて、はみ出し時間を算出する。
【0033】
ここで、はみ出し時間について説明をする。はみ出し時間とは、あらかじめテープ状磁気記録媒体50に記録されているビデオデータと、上記ビデオデータに対応して記録されたオーディオデータとの表示時間のずれ量を示したものである。
【0034】
具体的には、図2(a)に示すテープ状磁気記録媒体50に記録されたビデオデータに新たなビデオデータを“つなぎ録り”する際のつなぎ点Xと、上記ビデオデータに対応してテープ状磁気記録媒体50に記録された、図2(b)に示すオーディオデータに新たなオーディオデータを“つなぎ録り”する際のつなぎ点Yとのずれ量のことをはみ出し時間という。
【0035】
上述したようにMPEG方式で圧縮符合化されたビデオデータのフレーム長と、オーディオデータのフレーム長は、それぞれ異なっているため、オーディオデータのPTSが、ビデオデータのPTSに対して遅れて、テープ状磁気記録媒体50に記録されていることが極めて多くなっている。
【0036】
つまり、上述した図2(a),(b)に示したように、テープ状磁気記録媒体50に記録されたオーディオデータは、ビデオデータに対してリップシンクずれを生じており、ビデオデータの再生が終了しても、当該オーディオデータの再生が終了しない状態となっている。
【0037】
ストリーム記録処理部14は、図2(a),(b)を用いて説明したはみ出し時間を、ヘッダ情報抽出部13で抽出された最終ビデオデータ、及び最終オーディオデータのヘッダ情報を用いて算出する。
【0038】
最終ビデオデータのヘッダ情報に含まれるPTSをTve、フレーム長をVFとし、最終オーディオデータのヘッダ情報に含まれるPTSをTae、フレーム長をAFとすると、はみ出し時間Teは、(1)式に示すようにして算出することができる。
【0039】
Te=(Tae+AF)―(Tve+VF) ・ ・ ・ (1)
【0040】
この(1)式における、Tae+AFによって算出される値は、最終オーディオデータの再生が終了する時刻情報、つまり、オーディオデータのつなぎ点Yにおける時刻情報である。また、Tve+VFによって算出される値は、最終ビデオデータの再生が終了する時刻情報、つまり、ビデオデータのつなぎ点Xにおける時刻情報である。
【0041】
ストリーム記録処理部14で算出されたはみ出し時間Teの値は、MPEGエンコーダ制御部15に送出される。
【0042】
上述した(1)式のようにして算出されるはみ出し時間Teは、後述する擬似データ生成部17で、ビデオデータに対して擬似データが生成された場合は、生成された擬似データのフレーム長を考慮して算出される。
【0043】
つまり、擬似データのフレーム長をGFとすると、はみ出し時間Teは、(2)式に示すようにして算出される。
【0044】
Te=(Tae+AF)―(Tve+VF+GF) ・ ・ ・ (2)
【0045】
MPEGエンコーダ制御部15は、MPEGエンコーダ12におけるビデオデータ、及びオーディオデータのエンコード開始を指示するエンコード開始コマンドを生成し、MPEGエンコーダ12に出力する。MPEGエンコーダ制御部15は、ビデオデータ、オーディオデータそれぞれに対して、エンコード開始コマンドを生成する。
【0046】
まず、MPEGエンコーダ制御部15は、制御部24から送出される“つなぎ録り”開始命令に応じてビデオデータに対するエンコード開始コマンドを生成し、ビデオエンコーダ12aに送出する。
【0047】
続いて、MPEGエンコーダ制御部15は、ビデオデータに対するエンコード開始コマンドを送出してから、ストリーム記録処理部14で生成されたはみ出し時間Te後に、オーディオデータに対するエンコード開始コマンドを生成し、オーディオエンコーダ12bに送出する。
【0048】
このように、オーディオエンコーダ12bによるエンコードの開始時刻は、以下の理由によって、はみ出し時間Te分だけ遅延させる。
【0049】
例えば、図3(a),(b)示すようなビデオデータ、及びオーディオデータをテープ状磁気記録媒体50に新たに記録させることを考える。
【0050】
図3(a)に示すビデオデータのうち、先頭フレームのビデオデータ(以下、先頭ビデオデータとも呼ぶ。)のPTSをTvsとし、図3(b)に示すオーディオデータのうち、先頭フレームのオーディオデータ(以下、先頭オーディオデータとも呼ぶ。)のPTSをTasとする。
【0051】
図3(b)に示すオーディオデータは、図3(a)に示すビデオデータに対して、遅延時間Tsだけ遅延している。この遅延時間Tsは、先頭ビデオデータのPTSであるTvsと、先頭オーディオデータのPTSであるTasを用いて、(3)式のように表すことができる。
【0052】
Ts=Tas―Tvs ・ ・ ・ (3)
【0053】
この遅延時間Tsが、上述したはみ出し時間Teと、Te>Tsという関係であったり、Te<Tsという関係であったりすると、新たに記録するオーディオデータは、テープ状磁気記録媒体50にあらかじめ記録されているオーディオデータに対して、時間的に不連続に記録されてしまうことになる。このように、オーディオデータが、テープ状磁気記録媒体50に、時間的に不連続となって記録されると、正常なデコード処理ができないといった原因となる。
【0054】
遅延時間Tsと、はみ出し時間Teとが、同じ時間となれば、つまりTs=Teという関係が満たされれば、新たにテープ状磁気記録媒体50に記録するオーディオデータが、時間的に連続となって記録されることになる。
【0055】
そこで、MPEGエンコーダ制御部15は、“つなぎ録り”するオーディオデータが、はみ出し時間Teだけビデオデータのエンコード処理より遅延するように、エンコード開始コマンドをはみ出し時間Teだけ遅延させて、オーディオエンコーダ12bに送出する。
【0056】
PTS/DTS更新処理部16は、ストリーム記録処理部14で生成されるデータストリームのビデオPESパケット、オーディオPESパケットのそれぞれのPTS、及びDTSを、テープ磁気記録媒体50に記録されている“つなぎ録り”する下地データのPTS、DTSに対応して時間的に連続となるように更新する。
【0057】
擬似データ生成部17は、上述したVBVバッファの破綻を防止する際に、つなぎ点以降のビデオデータに挿入する、コピーピクチャや、スタッフィングバイトといった擬似データを生成する。上述したようなVBVバッファの破綻は、発生符号量が極端に変化する場合に生ずるため“つなぎ録り”のつなぎ点では、コピーピクチャや、スタッフィングバイトが挿入されることが多い。
【0058】
ECC処理部18は、ストリーム記録処理部14から送出されるデータストリームに誤り訂正符号化処理、インタリーブ処理を実行し、記録回路19に送出する。また、ECC処理部18は、再生回路20から送出されるデータストリームにデインタリーブ処理、誤り訂正復号処理を実行し、ストリーム再生処理部21に送出する。
【0059】
具体的には、ECC処理部18は、図示しないECCBankメモリを有しており、テープ状磁気記録媒体50へ記録するデータストリーム、又は再生するデータストリームを一旦バッファリングして上記処理を実行する。
【0060】
記録回路19は、ECC処理部18から送出されるデータストリームをテープ状磁気記録媒体50に記録させる記録処理をする。例えば、記録回路19は、上記データストリームをシリアルデータに変換した上で増幅し、図示しない回転ドラムによって回転させられたテープ状磁気記録媒体50に、図示しない磁気ヘッドを介して記録する。
【0061】
再生回路20は、テープ状磁気記録媒体50に記録されたデータストリームを再生する再生処理をする。再生回路20で再生されたデータストリームは、ECC処理部18に送出される。
【0062】
ストリーム再生処理部21は、ECC処理部18から供給されたデータストリームをデマルチプレクスして、ビデオPESパケット、及びオーディオPESパケットに分離する。
【0063】
PTS抽出部22は、ストリーム再生処理部21で、デマルチプレクスされたビデオPESパケット、及びオーディオPESパケットからPTSを抽出しストリーム記録部14に送出する。
【0064】
外部出力部22は、ストリーム再生処理部21から供給されるビデオPESパケット、オーディオPESパケットを分割してTSパケットを生成し、TSパケットを多重化してTSを生成する。
【0065】
MPEGデコーダ23は、ストリーム再生処理部21から供給されるビデオPESパケット、オーディオPESパケットからビデオES、オーディオESをそれぞれ生成し、このMPEGデータからデジタルビデオデータ、デジタルオーディオデータにそれぞれ伸長復号処理をする。
【0066】
制御部24は、当該情報処理装置1の各部を統括的に制御する。制御部24は、例えば、上述した“つなぎ録り”を実行する際に各部の動作を制御して、テープ状磁気記録媒体50に、MPEG方式で圧縮符号化したビデオデータ、及びオーディオデータを記録させる。
【0067】
続いて、図4に示すフローチャートを用いて、本発明の実施の形態として示す情報処理装置1において、新たなビデオデータ及び、オーディオデータをテープ状磁気記録媒体50へ記録させる“つなぎ録り”時の動作について説明をする。
【0068】
まず、ステップS1において、ユーザによって、テープ状磁気記録媒体50の任意の位置で“つなぎ録り”をする指示が出されると、制御部24は、再生回路20、ECC処理部18、ストリーム再生処理部21を制御して、テープ状磁気記録媒体50の上記任意の位置近傍を再生させるよう制御する。
【0069】
ステップS2において、制御部24は、ヘッダ情報抽出部13を制御して、上記指定された任意の位置に最も近くに記録されているヘッダ情報を読み出し、“つなぎ録り”を開始するつなぎ点を決定する。
【0070】
ステップS3において、制御部24は、ヘッダ情報抽出部13を制御して、つなぎ点の直前のビデオデータ、及びオーディオデータである、最終ビデオデータ、及び最終オーディオデータのヘッダ情報を抽出し、ストリーム記録処理部14に送出する。
【0071】
ステップS4において、ストリーム記録処理部14は、抽出したヘッダ情報の中から、ビデオデータのPTS及びフレーム長情報、オーディオデータのPTS及びフレーム長情報を用いて、上述した(1)式から、はみ出し時間Teを生成し、MPEGエンコーダ制御部15に送出する。
【0072】
ストリーム記録処理部は、擬似データ生成部17で、ビデオデータに対する擬似データが生成された場合には、擬似データのフレーム長も考慮した(2)式から、はみ出し時間Teを生成し、MPEGエンコーダ制御部15に送出する。
【0073】
ステップS5において、制御部24は、“つなぎ録り”を開始させる命令である、つなぎ記録開始コマンドを生成し、MPEGエンコーダ制御部15に送出する。
【0074】
ステップS6において、MPEGエンコーダ制御部15は、制御部24から送出された、つなぎ記録開始コマンドに応じて、“つなぎ録り”するビデオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成し、ビデオエンコーダ12aに送出する。
【0075】
ステップS7において、ビデオエンコーダ12aは、新たにテープ状磁気記録媒体50に記録するビデオデータをMPEG方式で圧縮符号化してストリーム記録処理部14に送出する。
【0076】
ステップS8において、MPEGエンコーダ制御部15は、ビデオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成してから、はみ出し時間Teが経過したかどうかを判断する。はみ出し時間Te経過した場合は、工程をステップS9に進め、そうでない場合は、はみ出し時間Teとなるまで待機する。
【0077】
ステップS9において、MPEGエンコーダ制御部15は、ビデオエンコーダ12aにエンコード開始コマンドを送出してから、はみ出し時間Teだけ経過したことに応じて、“つなぎ録り”するオーディオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成し、オーディオエンコーダ12bに送出する。このとき、MPEGエンコーダ制御部15は、オーディオエンコーダ12bにおいて、コマンドを受け取ってから処理が開始されるまでの遅延時間分を考慮してエンコード開始コマンドを送出する。
【0078】
ステップS10において、オーディオエンコーダ12bは、新たにテープ状磁気記録媒体50に記録するオーディオデータをMPEG方式で圧縮符号化してストリーム記録処理部14に送出する。
【0079】
ステップS11において、ストリーム記録処理部14は、ビデオエンコーダ12a、及びオーディオエンコーダ12bで圧縮符号化されたビデオデータ、及びオーディオデータをテープ状磁気記録媒体50に記録させるデータストリームに多重化する。
【0080】
ステップS12において、PTS/DTS更新処理部16は、ストリーム記録処理部14で多重化されたデータストリームのビデオデータ、オーディオデータ、それぞれのフレーム毎に付与されているヘッダ情報のうち、PTS、及びDTSを、“つなぎ録り”するテープ状磁気記録媒体50に記録されている下地のビデオデータ、及び、オーディオデータのPTS、及びDTSと連続的になるように更新する。
【0081】
ステップS13において、制御部24は、ストリーム記録処理部14で生成されたデータストリームをECC処理部18に送出し、さらに、記録回路19を介して、テープ状磁気記録媒体50に記録させる。
【0082】
このようにして、オーディオエンコーダ12bでのエンコード処理の開始時刻を、ビデオエンコーダ12aでのエンコード開始時刻より、ストリーム記録処理部14によって(1)式、又は(2)式を用いて生成されるはみ出し時間Te分だけ遅延させることで、テープ状磁気記録媒体50に記録するオーディオデータのPTSを時間的に連続して記録させることができる。
【0083】
このように、情報処理装置1は、“つなぎ録り”を実行する際に、テープ状磁気記録媒体50にあらかじめ記録されているビデオデータ、及びオーディオデータの最終ビデオデータ、及び最終オーディオデータのヘッダ情報から、はみだし時間Teを算出し、算出したはみ出し時間Te分だけオーディオデータのエンコード開始時刻を遅らせることで、時間的に連続してオーディオデータをテープ状磁気記録媒体50に記録させることができる。
【0084】
これにより、再生時のリップシンクずれを最小限に抑制することができると共に、テープ状磁気記録媒体50に“つなぎ録り”されたビデオデータ、及びオーディオデータを、外部装置などで再生した場合でも、正常なデコード処理を期待することができる。
【0085】
【発明の効果】
以上の説明からも明らかなように、本発明は、記録媒体への“つなぎ録り”時において、新たなビデオデータ、及びオーディオデータを記録させるつなぎ点、直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報からはみ出し時間情報を算出し、オーディオデータの圧縮符号化処理をビデオデータの圧縮符号化処理に対してはみ出し時間分遅延させ、上記新たなビデオデータ、及びオーディオデータを記録媒体に記録させる。
【0086】
したがって、“つなぎ録り”されたビデオデータ、及びオーディオデータは、PTS間隔が連続して記録媒体に記録されているため、再生時において、外部装置のMPEGデコーダを使用した場合でも正常にデコード処理させることが可能となる。
【0087】
また、“つなぎ録り”をしても新たなリップシンクずれが発生することを防止できるため、“つなぎ録り”が複数回繰り返された場合でも、リップシンクずれが累積されることを防止することを可能とする。
【図面の簡単な説明】
【図1】本発明の実施の形態として示す情報処理装置の構成について説明するための図である。
【図2】はみ出し時間について説明するための図である。
【図3】本発明の実施の形態として示す情報処理装置において、テープ状磁気記録媒体に新たに記録するオーディオデータと、ビデオデータの一例を示した図である。
【図4】同情報処理装置において、テープ状磁気記録媒体に“つなぎ録り”する際の動作について説明するためのフローチャートである。
【符号の説明】
1 情報処理装置、11 外部入力部、12 MPEGエンコーダ、12a ビデオエンコーダ、12b オーディオエンコーダ、13 ヘッダ情報抽出部、14 ストリーム記録処理部、15 MPEGエンコーダ制御部、16 PTS/DTS更新処理部、17 擬似データ生成部、18、ECC処理部、19 記録回路、21 ストリーム再生処理部、50 テープ状磁気記録媒体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information processing apparatus and an information processing method for recording video data and audio data encoded by the MPEG method on a recording medium.
[0002]
[Prior art]
A recording device for recording video data and audio data compressed and encoded by a moving picture encoding method such as an MPEG (Moving Picture Expert Group) method, for example, an MPEG2 method, on a magnetic recording medium has been devised (for example, Patent Reference 1).
[0003]
[Patent Document 1]
JP 2001-309305 A
[0004]
[Problems to be solved by the invention]
By the way, when decoding and reproducing video data and audio data that have been compression-encoded by the MPEG method, it is necessary to perform lip sync that matches the movement of the mouth with the audio timing.
[0005]
In the MPEG system, in order to synchronize video data and audio data, a video PES (Packetized Elementary Stream) packet and an audio PES packet, and a PTS (Presentation Time Stamp) as playback time information in each PES header. And control information such as DTS (Decoding Time Stamp) for specifying a decoding timing. Then, at the time of decoding and reproduction, the control information is extracted, and video data and audio data are synchronized based on the extracted control information so that a lip-sync shift does not occur.
[0006]
The video data usually has a video frame of a fixed length (time) such as 1/30 seconds or 1/25 seconds.
[0007]
On the other hand, the audio data is continuous and has no delimiter other than the sample points, but has an audio frame of a specific length to determine the calculation range when compressing and encoding the audio data by the MPEG method. Is formed.
[0008]
The frame length (time axis length) of the video frame and the audio frame hardly becomes equal.
[0009]
Therefore, when new video data and audio data that have been compression-encoded are “joined and recorded” from arbitrary portions of video data and audio data that have been recorded in advance on the magnetic recording medium, the audio data is It will be recorded discontinuously in time.
[0010]
As described above, when the “join recording” is performed, the decoding timing and the output timing are recorded on the magnetic recording medium beyond the range that can be controlled by the DTS and the PTS, and the lip-sync deviation becomes unusable. There is a problem that occurs.
[0011]
Furthermore, since audio data is recorded on a magnetic recording medium in a discontinuous manner with time, there is a problem that decoding processing during reproduction may not be performed normally. In particular, when the magnetic recording medium on which the video data and the audio data are “joined-recorded” as described above is played back by, for example, an external device, the external device causes the magnetic recording medium to be discontinuous in time. However, there is a problem that it is not possible to know that audio data is recorded in the audio data, so that normal decoding processing cannot be expected.
[0012]
Therefore, the present invention has been devised in order to solve the above-described problem. Even when video data and audio data are compression-encoded and “join recording” is performed, the lip sync deviation is minimized. An information processing apparatus for recording video data and audio data on a recording medium so that the video data and audio data are recorded on a recording medium so that the video data and audio data are normally decoded by an external device. And an information processing method.
[0013]
[Means for Solving the Problems]
In order to achieve the above object, an information processing apparatus according to the present invention comprises: a compression encoding unit for compressing and encoding video data and audio data according to an MPEG system; And a recording means for recording the video data on a recording medium, wherein video data and audio data are newly recorded from an arbitrary position designated on the recording medium in which video data is newly recorded, and When splicing and recording audio data, the video data and the first header information, which are header information of the audio data, recorded near the specified position are respectively detected. Second header which is header information of video data and audio data recorded immediately before the header information of Header information detecting means for respectively detecting the video information, video data reproduction end time information using the second header information detected by the header information detection means as header information, and audio data reproduction end time information. Further, a protruding time information calculating means for calculating protruding time information which is a difference between the reproduction end time information of the video data and the reproduction end time information of the audio data, and a video data to be newly recorded on the recording medium. A video data compression encoding start instruction for starting compression encoding is generated and output to the compression encoding unit, and the video data compression encoding start instruction is output to the compression encoding unit, and thus the protruding time is determined. After the elapse of the protruding time calculated by the information calculation means, the audio to be newly recorded on the recording medium Compression encoding instruction generating means for generating an audio data compression encoding start instruction for starting compression encoding of data and outputting the generated instruction to the compression encoding means; video data compressed and encoded by the compression encoding means; Recording data stream generating means for generating a recording data stream including audio data and PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp) included in header information of the recording data stream generated by the recording data stream generating means. ) Is updated to be continuous with the PTS and DTS included in the second header information, and the recording data stream in which the header information is updated by the header information updating means is header And a controlling means for controlling said recording means so as to be recorded from the position of the detected said first header information by broadcast detecting means.
[0014]
Further, in order to achieve the above object, an information processing method according to the present invention comprises: a compression encoding unit for compressing and encoding video data and audio data according to an MPEG method; An information processing method for an information processing apparatus comprising: a recording unit that records audio data on a recording medium, wherein video data and audio data are recorded in advance from an arbitrary position specified on the recording medium. When newly connecting and recording video data and audio data, the video data recorded near the specified position and the first header information that is header information of audio data are respectively detected, Header information of video data and audio data recorded immediately before the detected first header information. Header information detecting step for detecting the second header information, video data playback end time information using the second header information detected in the header information detection step as header information, and audio data playback end Time information, and furthermore, an overflow time information calculating step of calculating overflow time information that is a difference between the video data playback end time information and the audio data playback end time information; A video data compression encoding start instruction for starting the compression encoding of the video data to be recorded is output to the compression encoding means, and the video data compression encoding start instruction is output to the compression encoding means. Then, after the protruding time calculated by the protruding time information calculating step has elapsed, the recording medium is newly written. A compression encoding instruction generating step of generating an audio data compression encoding start instruction for starting compression encoding of audio data to be recorded and outputting the instruction to the compression encoding means; and a video encoded by the compression encoding means. A recording data stream generating step of generating a recording data stream including data and audio data; PTS (Presentation Time Stamp) and DTS (Decoding) included in header information of the recording data stream generated by the recording data stream generating step. Time stamp) is updated to be continuous with the PTS and DTS included in the second header information, respectively, and the recording data stream in which the header information is updated by the header information updating step is updated. Over arm, characterized in that a control step for controlling said recording means so as to be recorded from the position of the header information detection process in the first header information detected by.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of an information processing apparatus and an information processing method according to the present invention will be described in detail with reference to the drawings.
[0016]
First, a configuration of an information processing apparatus shown as an embodiment of the present invention will be described with reference to FIG.
[0017]
The
[0018]
The
[0019]
Further, the
[0020]
The
[0021]
The
[0022]
The
[0023]
The VBV buffer is a buffer virtually provided in the preceding stage of the decoder, and serves as a guide when adjusting the encoding amount at the time of encoding by referring to the occupation amount of the VBV buffer.
[0024]
For example, in a decoding process, a picture to be decoded is temporarily stored in a VBV buffer for a certain period of time, and when a decoding time comes, data for one picture is read from the VBV buffer and a decoding process is performed. Is assumed.
[0025]
At this time, if the amount of coding of the picture is enormous, the VBV buffer underflows and a delay occurs when displaying the picture. In addition, if the amount of generated coding of a picture is small, the VBV buffer overflows and the VBV buffer breaks down.
[0026]
As described above, in order to prevent a failure such as underflow or overflow of the VBV buffer from occurring, the generated code amount of a picture to be encoded by the
[0027]
If the operation of the quantization parameter is not sufficient, a copy picture (Copy Picture) having a small code amount obtained by copying a picture that is temporally preceding in the data stream to be decoded, or a stuffing byte which is particularly meaningless data is used. To adjust the decoding timing and the amount of data. If the VBV buffer overflows, a stuffing byte is inserted. If the VBV buffer underflows, a copy picture is inserted.
[0028]
The header information extraction unit 13 includes video data and audio data PTS, DTS, and frame length information reproduced from the tape-shaped
[0029]
When an instruction to perform “join recording” is issued at an arbitrary position on the tape-shaped
[0030]
Further, the header information extraction unit 13 controls the header of the video data (hereinafter also referred to as final video data) immediately before the connection point and the audio data (hereinafter also referred to as final audio data) under the control of the
[0031]
The stream
[0032]
Further, the stream
[0033]
Here, the protruding time will be described. The protruding time indicates a shift amount of a display time between video data recorded in advance on the tape-shaped
[0034]
Specifically, a connection point X when new video data is "joined-recorded" to video data recorded on the tape-shaped
[0035]
As described above, since the frame length of video data and the frame length of audio data compressed and encoded by the MPEG system are different from each other, the PTS of the audio data is delayed from the PTS of the video data, and the It is extremely often recorded on the
[0036]
That is, as shown in FIGS. 2A and 2B, the audio data recorded on the tape-shaped
[0037]
The stream
[0038]
If the PTS included in the header information of the final video data is Tve, the frame length is VF, the PTS included in the header information of the final audio data is Tae, and the frame length is AF, the protruding time Te is expressed by the equation (1). It can be calculated as follows.
[0039]
Te = (Tae + AF)-(Tve + VF) (1)
[0040]
The value calculated by Tae + AF in the expression (1) is time information at which the reproduction of the final audio data ends, that is, time information at a connection point Y of the audio data. The value calculated by Tve + VF is the time information at which the reproduction of the final video data ends, that is, the time information at the connection point X of the video data.
[0041]
The value of the overflow time Te calculated by the stream
[0042]
When the pseudo data generation unit 17 described later generates pseudo data for video data, the overrun time Te calculated as in the above equation (1) is determined by the frame length of the generated pseudo data. It is calculated taking into account.
[0043]
That is, assuming that the frame length of the pseudo data is GF, the overflow time Te is calculated as shown in Expression (2).
[0044]
Te = (Tae + AF)-(Tve + VF + GF) (2)
[0045]
The MPEG
[0046]
First, the MPEG
[0047]
Subsequently, the MPEG
[0048]
As described above, the start time of the encoding by the audio encoder 12b is delayed by the protruding time Te for the following reason.
[0049]
For example, suppose that video data and audio data as shown in FIGS. 3A and 3B are newly recorded on the tape-shaped
[0050]
In the video data shown in FIG. 3A, the PTS of the video data of the head frame (hereinafter, also referred to as head video data) is Tvs, and the audio data of the head frame in the audio data shown in FIG. The PTS of (hereinafter, also referred to as head audio data) is Tas.
[0051]
The audio data shown in FIG. 3B is delayed from the video data shown in FIG. 3A by a delay time Ts. The delay time Ts can be expressed by Expression (3) using Tvs, which is the PTS of the head video data, and Tas, which is the PTS of the head audio data.
[0052]
Ts = Tas-Tvs (3)
[0053]
If the delay time Ts has a relationship of Te> Ts or a relationship of Te <Ts with the protruding time Te, the audio data to be newly recorded is recorded in advance on the tape-shaped
[0054]
If the delay time Ts and the protruding time Te are the same time, that is, if the relationship of Ts = Te is satisfied, the audio data newly recorded on the tape-shaped
[0055]
Then, the MPEG
[0056]
The PTS / DTS
[0057]
The pseudo data generation unit 17 generates pseudo data, such as a copy picture and a stuffing byte, to be inserted into video data after the connection point when preventing the above-described failure of the VBV buffer. Since the failure of the VBV buffer as described above occurs when the generated code amount changes extremely, a copy picture or a stuffing byte is often inserted at a connection point of “connection recording”.
[0058]
The
[0059]
Specifically, the
[0060]
The recording circuit 19 performs a recording process of recording the data stream transmitted from the
[0061]
The reproducing circuit 20 performs a reproducing process for reproducing the data stream recorded on the tape-shaped
[0062]
The stream
[0063]
The
[0064]
The
[0065]
The
[0066]
The
[0067]
Subsequently, using the flowchart shown in FIG. 4, in the
[0068]
First, in step S1, when the user issues an instruction to perform “join recording” at an arbitrary position on the tape-shaped
[0069]
In step S2, the
[0070]
In step S3, the
[0071]
In step S4, the stream
[0072]
When the pseudo data generation unit 17 generates pseudo data for video data, the stream recording processing unit generates an overflow time Te from Expression (2) that also takes into consideration the frame length of the pseudo data, and controls the MPEG encoder control. To the
[0073]
In step S5, the
[0074]
In step S6, the MPEG
[0075]
In step S7, the video encoder 12a compresses and encodes video data to be newly recorded on the tape-shaped
[0076]
In step S8, the MPEG
[0077]
In step S9, the MPEG
[0078]
In step S10, the audio encoder 12b compresses and encodes the audio data to be newly recorded on the tape-shaped
[0079]
In step S11, the stream
[0080]
In step S12, the PTS / DTS
[0081]
In step S13, the
[0082]
In this way, the start time of the encoding process in the audio encoder 12b is extended from the encoding start time in the video encoder 12a by the stream
[0083]
As described above, the
[0084]
This makes it possible to minimize the lip-sync deviation at the time of reproduction, and even when the video data and the audio data “spliced and recorded” on the tape-shaped
[0085]
【The invention's effect】
As is clear from the above description, according to the present invention, at the time of “join recording” on a recording medium, a joining point for recording new video data and audio data, video data recorded immediately before, and The protruding time information is calculated from the header information of the audio data, the compression encoding process of the audio data is delayed by the protruding time with respect to the compression encoding process of the video data, and the new video data and audio data are recorded on a recording medium. Record.
[0086]
Therefore, the video data and the audio data recorded in "join recording" are recorded on the recording medium with the PTS interval continuously, so that even when the MPEG decoder of the external device is used at the time of reproduction, the decoding process is normally performed. It is possible to do.
[0087]
In addition, even if the “link recording” is performed, a new lip-sync deviation can be prevented from being generated. Therefore, even when the “link recording” is repeated a plurality of times, the lip-sync deviation is prevented from being accumulated. To make things possible.
[Brief description of the drawings]
FIG. 1 is a diagram for describing a configuration of an information processing apparatus shown as an embodiment of the present invention.
FIG. 2 is a diagram for explaining an overflow time.
FIG. 3 is a diagram showing an example of audio data newly recorded on a tape-shaped magnetic recording medium and video data in the information processing apparatus shown as an embodiment of the present invention.
FIG. 4 is a flowchart for explaining an operation at the time of “join recording” on a tape-shaped magnetic recording medium in the information processing apparatus.
[Explanation of symbols]
Claims (6)
ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第1のヘッダ情報をそれぞれ検出し、さらに、上記検出された第1のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第2のヘッダ情報をそれぞれ検出するヘッダ情報検出手段と、
上記ヘッダ情報検出手段によって検出された第2のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出手段と、
上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、
上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出手段によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成手段と、
上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成手段と、
上記記録データストリーム生成手段によって生成された記録データストリームのヘッダ情報に含まれるPTS(Presentation Time Stamp)、及びDTS(Decoding Time Stamp)を、上記第2のヘッダ情報に含まれるPTS、及びDTSにそれぞれ連続となるよう更新するヘッダ情報更新手段と、
上記ヘッダ情報更新手段によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出手段によって検出された上記第1のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御手段とを備えること
を特徴とする情報処理装置。An information processing apparatus comprising: compression encoding means for compressing and encoding video data and audio data in an MPEG system; and recording means for recording the compression-encoded video data and audio data on a recording medium. ,
When newly connecting video data and audio data from an arbitrary position specified on the recording medium in which video data and audio data are recorded in advance, recording near the arbitrary position specified above First header information, which is header information of the detected video data and audio data, respectively, and further, header information of the video data and audio data recorded immediately before the detected first header information. Header information detecting means for respectively detecting second header information,
It calculates video data playback end time information and audio data playback end time information using the second header information detected by the header information detection means as header information, and further comprises the video data playback end time information. And a protruding time information calculating means for calculating protruding time information that is a difference between the reproduction end time information of the audio data and
Generating a video data compression encoding start command for starting compression encoding of video data to be newly recorded on the recording medium and outputting the instruction to the compression encoding means;
After the video data compression / encoding start command is output to the compression / encoding means, the compression code of audio data to be newly recorded on the recording medium after a lapse of the overflow time calculated by the overflow time information calculation means. Compression encoding instruction generating means for generating an audio data compression encoding start instruction for starting the encoding and outputting the instruction to the compression encoding means,
Recording data stream generating means for generating a recording data stream including video data and audio data compressed and encoded by the compression encoding means,
The PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp) included in the header information of the recording data stream generated by the recording data stream generating means are respectively added to the PTS and DTS included in the second header information. Header information updating means for updating to be continuous,
Control means for controlling the recording means such that the recording data stream in which the header information is updated by the header information updating means is recorded from the position of the first header information detected by the header information detecting means; An information processing apparatus comprising:
また、はみ出し時間情報算出手段は、上記ヘッダ情報検出手段で検出されたヘッダ情報に含まれるオーディオデータのPTSと、オーディオデータのフレーム長情報とを加算してオーディオデータの再生終了時刻情報を算出すること
を特徴とする請求項1記載の情報処理装置。The protruding time information calculating means adds the PTS of the video data included in the second header information detected by the header information detecting means and the frame length information of the video data to obtain the reproduction end time information of the video data. Calculate,
The protruding time information calculating means calculates the audio data reproduction end time information by adding the PTS of the audio data included in the header information detected by the header information detecting means and the frame length information of the audio data. The information processing apparatus according to claim 1, wherein:
上記はみ出し時間情報算出手段は、上記ヘッダ情報検出手段で検出された第2のヘッダ情報に含まれるビデオデータのPTSと、ビデオデータのフレーム長情報とを加算し、さらに、上記擬似ビデオデータ生成手段で生成される擬似ビデオデータのフレーム長情報を加算することでビデオデータの再生終了時刻情報を算出すること
を特徴する請求項2記載の情報処理装置。Pseudo video data generating means for generating pseudo video data generated in accordance with the generated code amount of the video data to be seamlessly recorded and inserted at a position to be seamlessly recorded,
The protruding time information calculating means adds the PTS of the video data included in the second header information detected by the header information detecting means and the frame length information of the video data, and further comprises the pseudo video data generating means. 3. The information processing apparatus according to claim 2, wherein the reproduction end time information of the video data is calculated by adding the frame length information of the pseudo video data generated in the step (c).
ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第1のヘッダ情報をそれぞれ検出し、さらに、上記検出された第1のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第2のヘッダ情報をそれぞれ検出するヘッダ情報検出工程と、
上記ヘッダ情報検出工程によって検出された第2のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出工程と、
上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、
上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出工程によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成工程と、
上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成工程と、
上記記録データストリーム生成工程によって生成された記録データストリームのヘッダ情報に含まれるPTS(Presentation Time Stamp)、及びDTS(Decoding Time Stamp)を、上記第2のヘッダ情報に含まれるPTS、及びDTSにそれぞれ連続となるよう更新するヘッダ情報更新工程と、
上記ヘッダ情報更新工程によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出工程によって検出された上記第1のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御工程とを備えること
を特徴とする情報処理方法。Information processing of an information processing apparatus comprising: compression encoding means for compressing and encoding video data and audio data according to the MPEG system; and recording means for recording the compressed and encoded video data and audio data on a recording medium. The method,
When newly connecting video data and audio data from an arbitrary position specified on the recording medium in which video data and audio data are recorded in advance, recording near the arbitrary position specified above First header information, which is header information of the detected video data and audio data, respectively, and further, header information of the video data and audio data recorded immediately before the detected first header information. A header information detecting step of detecting each of the second header information,
Calculate video data playback end time information and audio data playback end time information using the second header information detected in the header information detection step as header information, and further calculate the video data playback end time information. And a protruding time information calculating step of calculating protruding time information that is a difference between the reproduction end time information of the audio data and
Generating a video data compression encoding start command for starting compression encoding of video data to be newly recorded on the recording medium and outputting the instruction to the compression encoding means;
After the video data compression / encoding start command is output to the compression / encoding means, after the protruding time calculated by the protruding time information calculating step, the compression code of the audio data to be newly recorded on the recording medium is passed. A compression encoding instruction generating step of generating an audio data compression encoding start instruction for starting the encoding and outputting the instruction to the compression encoding means;
A recording data stream generating step of generating a recording data stream including video data and audio data compressed and encoded by the compression encoding means,
The PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp) included in the header information of the recording data stream generated in the recording data stream generation step are respectively added to the PTS and DTS included in the second header information. A header information updating step of updating to be continuous,
A control step of controlling the recording means so that the recording data stream in which the header information is updated by the header information updating step is recorded from the position of the first header information detected by the header information detecting step. An information processing method comprising:
また、はみ出し時間情報算出工程は、上記ヘッダ情報検出工程で検出されたヘッダ情報に含まれるオーディオデータのPTSと、オーディオデータのフレーム長情報とを加算してオーディオデータの再生終了時刻情報を算出すること
を特徴とする請求項4記載の情報処理方法。The protruding time information calculating step includes adding the PTS of the video data included in the second header information detected in the header information detecting step and the frame length information of the video data to obtain the reproduction end time information of the video data. Calculate,
Also, the protruding time information calculating step calculates the reproduction end time information of the audio data by adding the PTS of the audio data included in the header information detected in the header information detecting step and the frame length information of the audio data. 5. The information processing method according to claim 4, wherein:
上記はみ出し時間情報算出工程は、上記ヘッダ情報検出工程で検出された第2のヘッダ情報に含まれるビデオデータのPTSと、ビデオデータのフレーム長情報とを加算し、さらに、上記擬似ビデオデータ生成工程で生成される擬似ビデオデータのフレーム長情報を加算することでビデオデータの再生終了時刻情報を算出すること
を特徴する請求項5記載の情報処理方法。A pseudo video data generating step of generating pseudo video data that is generated in accordance with the generated code amount of the video data to be seamlessly recorded and inserted at a position to be seamlessly recorded,
The protruding time information calculating step adds the PTS of the video data included in the second header information detected in the header information detecting step and the frame length information of the video data, and further includes the pseudo video data generating step. 6. The information processing method according to claim 5, wherein the reproduction end time information of the video data is calculated by adding the frame length information of the pseudo video data generated in the step (c).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003037371A JP2004248104A (en) | 2003-02-14 | 2003-02-14 | Information processor and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003037371A JP2004248104A (en) | 2003-02-14 | 2003-02-14 | Information processor and information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004248104A true JP2004248104A (en) | 2004-09-02 |
Family
ID=33022208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003037371A Pending JP2004248104A (en) | 2003-02-14 | 2003-02-14 | Information processor and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004248104A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013150237A (en) * | 2012-01-23 | 2013-08-01 | Renesas Electronics Corp | Information processing device, information processing method,and semiconductor device |
JP2014121049A (en) * | 2012-12-19 | 2014-06-30 | Canon Inc | Recorder, recording method and program |
JP2014121047A (en) * | 2012-12-19 | 2014-06-30 | Canon Inc | Recorder, recording method and program |
-
2003
- 2003-02-14 JP JP2003037371A patent/JP2004248104A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013150237A (en) * | 2012-01-23 | 2013-08-01 | Renesas Electronics Corp | Information processing device, information processing method,and semiconductor device |
JP2014121049A (en) * | 2012-12-19 | 2014-06-30 | Canon Inc | Recorder, recording method and program |
JP2014121047A (en) * | 2012-12-19 | 2014-06-30 | Canon Inc | Recorder, recording method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100984638B1 (en) | Robust method for achieving audio/video synchronization in mpeg decoders in personal video recording applications | |
US7221850B2 (en) | Information processing apparatus and method, and recording medium | |
JP4536653B2 (en) | Data processing apparatus and method | |
JP4983923B2 (en) | Decoder device and decoding method | |
JP2001513606A (en) | Processing coded video | |
KR980010748A (en) | Multiplexed data generating device, encoded data reproducing device, clock converting device, encoded data recording medium, encoded data transmission medium, multiplexed data generating method, encoded data reproducing method and clock converting method | |
EP0985319B1 (en) | Video and audio signal processing | |
KR101014664B1 (en) | Reproduction method for guaranteeing seamless reproduction of a plurality of data streams and reproducing apparatus therefor | |
JP2004139730A (en) | Method for generating additional information for securing continuous reproduction of data rows, recording medium for storing this information, and recording, editing and/or reproducing device | |
JP2008079050A (en) | Reproduction method, reproduction program and reproduction apparatus | |
US20090147842A1 (en) | Video processing | |
JP2006190213A (en) | Device for reproducing media | |
WO2003067881A1 (en) | Information processing apparatus and method | |
JP4534168B2 (en) | Information processing apparatus and method, recording medium, and program | |
JP4096915B2 (en) | Digital information reproducing apparatus and method | |
JP2004336488A (en) | Apparatus and method for information processing program, and recording medium | |
JP2000078531A (en) | Method and system for editing audio data | |
JP2004248104A (en) | Information processor and information processing method | |
JP3944845B2 (en) | Information processing apparatus and method, recording medium, and program | |
JP4304996B2 (en) | Information processing apparatus and information processing method | |
JP4288804B2 (en) | Data decoding apparatus and data decoding method | |
WO2009090728A1 (en) | Media reproducer | |
JP2004165856A (en) | Information processing apparatus and method, recording medium, and program | |
JP2004200798A (en) | Mpeg transport stream generating apparatus and mpeg stream recording- reproducing apparatus | |
JP2004007541A (en) | Data multiplexing method and multiplexed data decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080805 |