JP2004248104A - Information processor and information processing method - Google Patents

Information processor and information processing method Download PDF

Info

Publication number
JP2004248104A
JP2004248104A JP2003037371A JP2003037371A JP2004248104A JP 2004248104 A JP2004248104 A JP 2004248104A JP 2003037371 A JP2003037371 A JP 2003037371A JP 2003037371 A JP2003037371 A JP 2003037371A JP 2004248104 A JP2004248104 A JP 2004248104A
Authority
JP
Japan
Prior art keywords
video data
header information
information
audio data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003037371A
Other languages
Japanese (ja)
Inventor
Keita Nakamatsu
慶太 仲松
Takuji Himeno
卓治 姫野
Fumiyoshi Abe
文善 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003037371A priority Critical patent/JP2004248104A/en
Publication of JP2004248104A publication Critical patent/JP2004248104A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To minimize lip-synchronization deviation that occurs by "connection recording". <P>SOLUTION: Overflowed time information Te being the difference between time information at a connection point X of video data recorded beforehand in a recording medium and time information at a connection point Y of audio data is calculated, compressively encoding timing of audio data to be newly recorded on the recording medium 50 is shifted with respect to compressively encoding timing of the video data for the overflowed time information Te, and the video data and audio data subjected to compressive encoding are recorded on the recording medium 50. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、MPEG方式で符号化されたビデオデータ、及びオーディオデータを記録媒体に記録する情報処理装置及び情報処理方法に関する。
【0002】
【従来の技術】
MPEG(Moving Picture Expert Group)方式、例えば、MPEG2方式などの動画像符号化方式によって圧縮符号化されたビデオデータ、及びオーディオデータを磁気記録媒体に記録させる記録装置が考案されている(例えば、特許文献1参照。)。
【0003】
【特許文献1】
特開2001−309305号公報
【0004】
【発明が解決しようとする課題】
ところで、MPEG方式で圧縮符号化されたビデオデータ、及び、オーディオデータをデコードして再生する場合、口の動きと、音声のタイミングとを合わせるリップシンクを行う必要がある。
【0005】
MPEG方式では、ビデオデータと、オーディオデータとの同期をとるために、ビデオPES(Packetized Elementary Stream)パケット、及びオーディオPESパケット、それぞれのPESヘッダの中に再生時刻情報であるPTS(Presentation Time Stamp)や、デコードのタイミングを指定するDTS(Decoding Time Stamp)といった制御情報を記述している。そして、デコード時、再生時には、これらの制御情報を抽出し、抽出した制御情報に基づいて、ビデオデータと、オーディオデータとの同期をとることで、リップシンクずれが生じないようにしている。
【0006】
ビデオデータには、通常1/30秒又は、1/25秒といった一定の長さ(時間)のビデオフレームという画の区切りがある。
【0007】
これに対して、オーディオデータは、連続的であるためサンプル点以外の区切りを持っていないが、MPEG方式でオーディオデータを圧縮符号化する際の計算範囲を決めるために固有の長さのオーディオフレームが形成される。
【0008】
このビデオフレームと、オーディオフレームとのフレーム長(時間軸長)は、等しくなることは殆どない。
【0009】
したがって、磁気記録媒体に、あらかじめ記録されている、ビデオデータ、及びオーディオデータの任意の箇所から、圧縮符号化された新たなビデオデータ、及びオーディオデータを“つなぎ録り”した場合、オーディオデータが時間的に不連続に記録されてしまうことになる。
【0010】
このように、“つなぎ録り”をすると、デコードのタイミングや、出力のタイミングがDTS、PTSで制御可能な範囲を超えて磁気記録媒体に記録されてしまい実用に耐えられない程のリップシンクずれが生じてしまうといった問題がある。
【0011】
さらに、時間的に不連続となって磁気記録媒体にオーディオデータが記録されることで、再生時におけるデコード処理が正常に実行されない可能性があるといった問題もある。特に、上述のようにしてビデオデータ、及びオーディオデータが“つなぎ録り”された磁気記録媒体を、例えば、外部装置によって再生させる場合、上記外部装置は、上記磁気記録媒体に時間的に不連続にオーディオデータが記録されていることを知ることができないため、正常なデコード処理を期待できないといった問題がある。
【0012】
そこで、本発明は上述したような問題を解決するために案出されたものであり、ビデオデータ、及びオーディオデータを圧縮符号化して“つなぎ録り”を実行した場合でも、リップシンクずれが最小となって再生されるように、ビデオデータ、及びオーディオデータを記録媒体に記録すると共に、外部装置において、正常にデコード処理されるようにビデオデータ、及びオーディオデータを記録媒体に記録する情報処理装置及び情報処理方法を提供することを目的とする。
【0013】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る情報処理装置は、ビデオデータ、及びオーディオデータをMPEG方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置であって、ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第1のヘッダ情報をそれぞれ検出し、さらに、上記検出された第1のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第2のヘッダ情報をそれぞれ検出するヘッダ情報検出手段と、上記ヘッダ情報検出手段によって検出された第2のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出手段と、上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出手段によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成手段と、上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成手段と、上記記録データストリーム生成手段によって生成された記録データストリームのヘッダ情報に含まれるPTS(Presentation Time Stamp)、及びDTS(Decoding Time Stamp)を、上記第2のヘッダ情報に含まれるPTS、及びDTSにそれぞれ連続となるよう更新するヘッダ情報更新手段と、上記ヘッダ情報更新手段によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出手段によって検出された上記第1のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御手段とを備えることを特徴とする。
【0014】
また、上述の目的を達成するために、本発明に係る情報処理方法は、ビデオデータ、及びオーディオデータをMPEG方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置の情報処理方法であって、ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第1のヘッダ情報をそれぞれ検出し、さらに、上記検出された第1のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第2のヘッダ情報をそれぞれ検出するヘッダ情報検出工程と、上記ヘッダ情報検出工程によって検出された第2のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出工程と、上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出工程によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成工程と、上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成工程と、上記記録データストリーム生成工程によって生成された記録データストリームのヘッダ情報に含まれるPTS(Presentation Time Stamp)、及びDTS(Decoding Time Stamp)を、上記第2のヘッダ情報に含まれるPTS、及びDTSにそれぞれ連続となるよう更新するヘッダ情報更新工程と、上記ヘッダ情報更新工程によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出工程によって検出された上記第1のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御工程とを備えることを特徴とする。
【0015】
【発明の実施の形態】
以下、本発明に係る情報処理装置及び情報処理方法の実施の形態を図面を参照にして詳細に説明する。
【0016】
まず、図1を用いて本発明の実施の形態として示す情報処理装置の構成について説明をする。
【0017】
情報処理装置1は、外部入力部11と、MPEGエンコーダ12と、ヘッダ情報抽出部13と、ストリーム記録処理部14と、MPEGエンコーダ制御部15と、PTS/DTS更新処理部16と、擬似データ生成部17と、ECC処理部18と、記録回路19と、再生回路20と、ストリーム再生処理部21と、外部出力部22と、MPEGデコーダ23と、制御部24とを備えている。
【0018】
情報処理装置1は、当該情報処理装置1に着脱可能なテープ状磁気記録媒体50にMPEG方式で圧縮符号化されたビデオデータ、及びオーディオデータを記録し、記録したビデオデータ、及びオーディオデータを再生可能な装置である。
【0019】
また、情報処理装置1は、あらかじめビデオデータ、及びオーディオデータが記録されているテープ状磁気記録媒体50の任意の箇所に、新たなビデオデータ、及びオーディオデータを上書きする“つなぎ録り”を自在にすることができる。
【0020】
外部入力部11は、外部からTS(Transport Stream)に多重化されて送信されるMPEG圧縮符号化されたビデオデータ及びオーディオデータを、ビデオPESパケット、オーディオPESパケットに再編し、ストリーム記録処理部14に供給する。
【0021】
MPEGエンコーダ12は、デジタルビデオデータ及びデジタルオーディオデータを、MPEG方式にて圧縮符号化(エンコード)してビデオES(Elementary Stream)、オーディオESを生成する。また、MPEGエンコーダ12は、エンコードしたビデオES、オーディオESをビデオPESパケット、オーディオPESパケットに分割し、ストリーム記録処理部14に供給する。
【0022】
MPEGエンコーダ12は、検出されるVBV(Video Buffering Verifier)バッファのデータ占有量に基づいて、ピクチャの発生符号量を調節しながらエンコード処理をする。
【0023】
VBVバッファは、デコーダの前段に仮想的に設けられるバッファであり、当該VBVバッファの占有量を参照することでエンコードする際の符号化量を調節する際の指針となる。
【0024】
例えば、デコード処理においては、デコードされるピクチャが、一旦、一定時間VBVバッファに蓄えられ、デコード時刻がくると1ピクチャ分のデータがVBVバッファから読み出されて、デコード処理がなされる、というモデルが想定される。
【0025】
このとき、ピクチャの符号化量が膨大であると、VBVバッファがアンダーフローしてしまい表示する際に遅延が生じてしまうことになる。また、ピクチャの発生符号化量が少ないとVBVバッファがオーバーフローしてしまい、VBVバッファが破綻してしまう。
【0026】
このように、VBVバッファのアンダーフローや、オーバーフローといった破綻を生じさせないために、MPEGエンコーダ12でエンコードするピクチャの発生符号量を、例えば、量子化パラメータを操作するなどして、各ピクチャ毎に目標符号量となるよう調整する。
【0027】
量子化パラメータの操作でも十分でない場合は、デコードするデータストリーム上の時間的に前にあるピクチャをコピーした符号量の少ないコピーピクチャ(Copy Picture)や、特に意味をなさないデータであるスタッフィングバイトなどを挿入することで復号タイミングや、データ量の調整を行う。VBVバッファがオーバーフローするような場合には、スタッフィングバイトを挿入し、アンダーフローするような場合には、コピーピクチャを挿入する。
【0028】
ヘッダ情報抽出部13は、再生回路20、ECC処理部18、ストリーム再生処理部21を介して、テープ状磁気記録媒体50から再生されたビデオデータ、オーディオデータのPTS、DTS、フレーム長情報を含んだヘッダ情報を抽出する。PTS、及びDTSは、ビデオデータ、オーディオデータのアクセスユニット単位、つまり1フレーム単位に付与されるヘッダ情報である。PTSは、テープ状磁気記録媒体50に記録されたビデオデータ、オーディオデータをそれぞれ再生出力する時刻情報であり、DTSは、ビデオデータ、オーディオデータをそれぞれデコードする時刻情報である。
【0029】
テープ状磁気記録媒体50の任意の位置で、“つなぎ録り”をする指示が出されると、ヘッダ情報抽出部13は、制御部24の制御によって上記指定された任意の位置に最も近くに記録されているヘッダ情報を読み出す。このヘッダ情報の位置が、“つなぎ録り”を開始するつなぎ点となる。
【0030】
また、ヘッダ情報抽出部13は、制御部24の制御によって、つなぎ点の直前にあるビデオデータ(以下、最終ビデオデータとも呼ぶ。)と、オーディオデータ(以下、最終オーディオデータとも呼ぶ。)のヘッダ情報をそれぞれ抽出する。ヘッダ情報抽出部13で抽出されたヘッダ情報は、ストリーム記録処理部14に送出される。
【0031】
ストリーム記録処理部14は、外部入力部11、又はMPEGエンコーダ12から供給されるビデオPESパケット、オーディオPESパケットを多重化して、テープ状磁気記録媒体50に記録するデータストリームを生成する。
【0032】
また、ストリーム記録処理部14は、ヘッダ情報抽出部13から送出されたヘッダ情報を用いて、はみ出し時間を算出する。
【0033】
ここで、はみ出し時間について説明をする。はみ出し時間とは、あらかじめテープ状磁気記録媒体50に記録されているビデオデータと、上記ビデオデータに対応して記録されたオーディオデータとの表示時間のずれ量を示したものである。
【0034】
具体的には、図2(a)に示すテープ状磁気記録媒体50に記録されたビデオデータに新たなビデオデータを“つなぎ録り”する際のつなぎ点Xと、上記ビデオデータに対応してテープ状磁気記録媒体50に記録された、図2(b)に示すオーディオデータに新たなオーディオデータを“つなぎ録り”する際のつなぎ点Yとのずれ量のことをはみ出し時間という。
【0035】
上述したようにMPEG方式で圧縮符合化されたビデオデータのフレーム長と、オーディオデータのフレーム長は、それぞれ異なっているため、オーディオデータのPTSが、ビデオデータのPTSに対して遅れて、テープ状磁気記録媒体50に記録されていることが極めて多くなっている。
【0036】
つまり、上述した図2(a),(b)に示したように、テープ状磁気記録媒体50に記録されたオーディオデータは、ビデオデータに対してリップシンクずれを生じており、ビデオデータの再生が終了しても、当該オーディオデータの再生が終了しない状態となっている。
【0037】
ストリーム記録処理部14は、図2(a),(b)を用いて説明したはみ出し時間を、ヘッダ情報抽出部13で抽出された最終ビデオデータ、及び最終オーディオデータのヘッダ情報を用いて算出する。
【0038】
最終ビデオデータのヘッダ情報に含まれるPTSをTve、フレーム長をVFとし、最終オーディオデータのヘッダ情報に含まれるPTSをTae、フレーム長をAFとすると、はみ出し時間Teは、(1)式に示すようにして算出することができる。
【0039】
Te=(Tae+AF)―(Tve+VF) ・ ・ ・ (1)
【0040】
この(1)式における、Tae+AFによって算出される値は、最終オーディオデータの再生が終了する時刻情報、つまり、オーディオデータのつなぎ点Yにおける時刻情報である。また、Tve+VFによって算出される値は、最終ビデオデータの再生が終了する時刻情報、つまり、ビデオデータのつなぎ点Xにおける時刻情報である。
【0041】
ストリーム記録処理部14で算出されたはみ出し時間Teの値は、MPEGエンコーダ制御部15に送出される。
【0042】
上述した(1)式のようにして算出されるはみ出し時間Teは、後述する擬似データ生成部17で、ビデオデータに対して擬似データが生成された場合は、生成された擬似データのフレーム長を考慮して算出される。
【0043】
つまり、擬似データのフレーム長をGFとすると、はみ出し時間Teは、(2)式に示すようにして算出される。
【0044】
Te=(Tae+AF)―(Tve+VF+GF) ・ ・ ・ (2)
【0045】
MPEGエンコーダ制御部15は、MPEGエンコーダ12におけるビデオデータ、及びオーディオデータのエンコード開始を指示するエンコード開始コマンドを生成し、MPEGエンコーダ12に出力する。MPEGエンコーダ制御部15は、ビデオデータ、オーディオデータそれぞれに対して、エンコード開始コマンドを生成する。
【0046】
まず、MPEGエンコーダ制御部15は、制御部24から送出される“つなぎ録り”開始命令に応じてビデオデータに対するエンコード開始コマンドを生成し、ビデオエンコーダ12aに送出する。
【0047】
続いて、MPEGエンコーダ制御部15は、ビデオデータに対するエンコード開始コマンドを送出してから、ストリーム記録処理部14で生成されたはみ出し時間Te後に、オーディオデータに対するエンコード開始コマンドを生成し、オーディオエンコーダ12bに送出する。
【0048】
このように、オーディオエンコーダ12bによるエンコードの開始時刻は、以下の理由によって、はみ出し時間Te分だけ遅延させる。
【0049】
例えば、図3(a),(b)示すようなビデオデータ、及びオーディオデータをテープ状磁気記録媒体50に新たに記録させることを考える。
【0050】
図3(a)に示すビデオデータのうち、先頭フレームのビデオデータ(以下、先頭ビデオデータとも呼ぶ。)のPTSをTvsとし、図3(b)に示すオーディオデータのうち、先頭フレームのオーディオデータ(以下、先頭オーディオデータとも呼ぶ。)のPTSをTasとする。
【0051】
図3(b)に示すオーディオデータは、図3(a)に示すビデオデータに対して、遅延時間Tsだけ遅延している。この遅延時間Tsは、先頭ビデオデータのPTSであるTvsと、先頭オーディオデータのPTSであるTasを用いて、(3)式のように表すことができる。
【0052】
Ts=Tas―Tvs ・ ・ ・ (3)
【0053】
この遅延時間Tsが、上述したはみ出し時間Teと、Te>Tsという関係であったり、Te<Tsという関係であったりすると、新たに記録するオーディオデータは、テープ状磁気記録媒体50にあらかじめ記録されているオーディオデータに対して、時間的に不連続に記録されてしまうことになる。このように、オーディオデータが、テープ状磁気記録媒体50に、時間的に不連続となって記録されると、正常なデコード処理ができないといった原因となる。
【0054】
遅延時間Tsと、はみ出し時間Teとが、同じ時間となれば、つまりTs=Teという関係が満たされれば、新たにテープ状磁気記録媒体50に記録するオーディオデータが、時間的に連続となって記録されることになる。
【0055】
そこで、MPEGエンコーダ制御部15は、“つなぎ録り”するオーディオデータが、はみ出し時間Teだけビデオデータのエンコード処理より遅延するように、エンコード開始コマンドをはみ出し時間Teだけ遅延させて、オーディオエンコーダ12bに送出する。
【0056】
PTS/DTS更新処理部16は、ストリーム記録処理部14で生成されるデータストリームのビデオPESパケット、オーディオPESパケットのそれぞれのPTS、及びDTSを、テープ磁気記録媒体50に記録されている“つなぎ録り”する下地データのPTS、DTSに対応して時間的に連続となるように更新する。
【0057】
擬似データ生成部17は、上述したVBVバッファの破綻を防止する際に、つなぎ点以降のビデオデータに挿入する、コピーピクチャや、スタッフィングバイトといった擬似データを生成する。上述したようなVBVバッファの破綻は、発生符号量が極端に変化する場合に生ずるため“つなぎ録り”のつなぎ点では、コピーピクチャや、スタッフィングバイトが挿入されることが多い。
【0058】
ECC処理部18は、ストリーム記録処理部14から送出されるデータストリームに誤り訂正符号化処理、インタリーブ処理を実行し、記録回路19に送出する。また、ECC処理部18は、再生回路20から送出されるデータストリームにデインタリーブ処理、誤り訂正復号処理を実行し、ストリーム再生処理部21に送出する。
【0059】
具体的には、ECC処理部18は、図示しないECCBankメモリを有しており、テープ状磁気記録媒体50へ記録するデータストリーム、又は再生するデータストリームを一旦バッファリングして上記処理を実行する。
【0060】
記録回路19は、ECC処理部18から送出されるデータストリームをテープ状磁気記録媒体50に記録させる記録処理をする。例えば、記録回路19は、上記データストリームをシリアルデータに変換した上で増幅し、図示しない回転ドラムによって回転させられたテープ状磁気記録媒体50に、図示しない磁気ヘッドを介して記録する。
【0061】
再生回路20は、テープ状磁気記録媒体50に記録されたデータストリームを再生する再生処理をする。再生回路20で再生されたデータストリームは、ECC処理部18に送出される。
【0062】
ストリーム再生処理部21は、ECC処理部18から供給されたデータストリームをデマルチプレクスして、ビデオPESパケット、及びオーディオPESパケットに分離する。
【0063】
PTS抽出部22は、ストリーム再生処理部21で、デマルチプレクスされたビデオPESパケット、及びオーディオPESパケットからPTSを抽出しストリーム記録部14に送出する。
【0064】
外部出力部22は、ストリーム再生処理部21から供給されるビデオPESパケット、オーディオPESパケットを分割してTSパケットを生成し、TSパケットを多重化してTSを生成する。
【0065】
MPEGデコーダ23は、ストリーム再生処理部21から供給されるビデオPESパケット、オーディオPESパケットからビデオES、オーディオESをそれぞれ生成し、このMPEGデータからデジタルビデオデータ、デジタルオーディオデータにそれぞれ伸長復号処理をする。
【0066】
制御部24は、当該情報処理装置1の各部を統括的に制御する。制御部24は、例えば、上述した“つなぎ録り”を実行する際に各部の動作を制御して、テープ状磁気記録媒体50に、MPEG方式で圧縮符号化したビデオデータ、及びオーディオデータを記録させる。
【0067】
続いて、図4に示すフローチャートを用いて、本発明の実施の形態として示す情報処理装置1において、新たなビデオデータ及び、オーディオデータをテープ状磁気記録媒体50へ記録させる“つなぎ録り”時の動作について説明をする。
【0068】
まず、ステップS1において、ユーザによって、テープ状磁気記録媒体50の任意の位置で“つなぎ録り”をする指示が出されると、制御部24は、再生回路20、ECC処理部18、ストリーム再生処理部21を制御して、テープ状磁気記録媒体50の上記任意の位置近傍を再生させるよう制御する。
【0069】
ステップS2において、制御部24は、ヘッダ情報抽出部13を制御して、上記指定された任意の位置に最も近くに記録されているヘッダ情報を読み出し、“つなぎ録り”を開始するつなぎ点を決定する。
【0070】
ステップS3において、制御部24は、ヘッダ情報抽出部13を制御して、つなぎ点の直前のビデオデータ、及びオーディオデータである、最終ビデオデータ、及び最終オーディオデータのヘッダ情報を抽出し、ストリーム記録処理部14に送出する。
【0071】
ステップS4において、ストリーム記録処理部14は、抽出したヘッダ情報の中から、ビデオデータのPTS及びフレーム長情報、オーディオデータのPTS及びフレーム長情報を用いて、上述した(1)式から、はみ出し時間Teを生成し、MPEGエンコーダ制御部15に送出する。
【0072】
ストリーム記録処理部は、擬似データ生成部17で、ビデオデータに対する擬似データが生成された場合には、擬似データのフレーム長も考慮した(2)式から、はみ出し時間Teを生成し、MPEGエンコーダ制御部15に送出する。
【0073】
ステップS5において、制御部24は、“つなぎ録り”を開始させる命令である、つなぎ記録開始コマンドを生成し、MPEGエンコーダ制御部15に送出する。
【0074】
ステップS6において、MPEGエンコーダ制御部15は、制御部24から送出された、つなぎ記録開始コマンドに応じて、“つなぎ録り”するビデオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成し、ビデオエンコーダ12aに送出する。
【0075】
ステップS7において、ビデオエンコーダ12aは、新たにテープ状磁気記録媒体50に記録するビデオデータをMPEG方式で圧縮符号化してストリーム記録処理部14に送出する。
【0076】
ステップS8において、MPEGエンコーダ制御部15は、ビデオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成してから、はみ出し時間Teが経過したかどうかを判断する。はみ出し時間Te経過した場合は、工程をステップS9に進め、そうでない場合は、はみ出し時間Teとなるまで待機する。
【0077】
ステップS9において、MPEGエンコーダ制御部15は、ビデオエンコーダ12aにエンコード開始コマンドを送出してから、はみ出し時間Teだけ経過したことに応じて、“つなぎ録り”するオーディオデータのエンコード処理を開始させる命令であるエンコード開始コマンドを生成し、オーディオエンコーダ12bに送出する。このとき、MPEGエンコーダ制御部15は、オーディオエンコーダ12bにおいて、コマンドを受け取ってから処理が開始されるまでの遅延時間分を考慮してエンコード開始コマンドを送出する。
【0078】
ステップS10において、オーディオエンコーダ12bは、新たにテープ状磁気記録媒体50に記録するオーディオデータをMPEG方式で圧縮符号化してストリーム記録処理部14に送出する。
【0079】
ステップS11において、ストリーム記録処理部14は、ビデオエンコーダ12a、及びオーディオエンコーダ12bで圧縮符号化されたビデオデータ、及びオーディオデータをテープ状磁気記録媒体50に記録させるデータストリームに多重化する。
【0080】
ステップS12において、PTS/DTS更新処理部16は、ストリーム記録処理部14で多重化されたデータストリームのビデオデータ、オーディオデータ、それぞれのフレーム毎に付与されているヘッダ情報のうち、PTS、及びDTSを、“つなぎ録り”するテープ状磁気記録媒体50に記録されている下地のビデオデータ、及び、オーディオデータのPTS、及びDTSと連続的になるように更新する。
【0081】
ステップS13において、制御部24は、ストリーム記録処理部14で生成されたデータストリームをECC処理部18に送出し、さらに、記録回路19を介して、テープ状磁気記録媒体50に記録させる。
【0082】
このようにして、オーディオエンコーダ12bでのエンコード処理の開始時刻を、ビデオエンコーダ12aでのエンコード開始時刻より、ストリーム記録処理部14によって(1)式、又は(2)式を用いて生成されるはみ出し時間Te分だけ遅延させることで、テープ状磁気記録媒体50に記録するオーディオデータのPTSを時間的に連続して記録させることができる。
【0083】
このように、情報処理装置1は、“つなぎ録り”を実行する際に、テープ状磁気記録媒体50にあらかじめ記録されているビデオデータ、及びオーディオデータの最終ビデオデータ、及び最終オーディオデータのヘッダ情報から、はみだし時間Teを算出し、算出したはみ出し時間Te分だけオーディオデータのエンコード開始時刻を遅らせることで、時間的に連続してオーディオデータをテープ状磁気記録媒体50に記録させることができる。
【0084】
これにより、再生時のリップシンクずれを最小限に抑制することができると共に、テープ状磁気記録媒体50に“つなぎ録り”されたビデオデータ、及びオーディオデータを、外部装置などで再生した場合でも、正常なデコード処理を期待することができる。
【0085】
【発明の効果】
以上の説明からも明らかなように、本発明は、記録媒体への“つなぎ録り”時において、新たなビデオデータ、及びオーディオデータを記録させるつなぎ点、直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報からはみ出し時間情報を算出し、オーディオデータの圧縮符号化処理をビデオデータの圧縮符号化処理に対してはみ出し時間分遅延させ、上記新たなビデオデータ、及びオーディオデータを記録媒体に記録させる。
【0086】
したがって、“つなぎ録り”されたビデオデータ、及びオーディオデータは、PTS間隔が連続して記録媒体に記録されているため、再生時において、外部装置のMPEGデコーダを使用した場合でも正常にデコード処理させることが可能となる。
【0087】
また、“つなぎ録り”をしても新たなリップシンクずれが発生することを防止できるため、“つなぎ録り”が複数回繰り返された場合でも、リップシンクずれが累積されることを防止することを可能とする。
【図面の簡単な説明】
【図1】本発明の実施の形態として示す情報処理装置の構成について説明するための図である。
【図2】はみ出し時間について説明するための図である。
【図3】本発明の実施の形態として示す情報処理装置において、テープ状磁気記録媒体に新たに記録するオーディオデータと、ビデオデータの一例を示した図である。
【図4】同情報処理装置において、テープ状磁気記録媒体に“つなぎ録り”する際の動作について説明するためのフローチャートである。
【符号の説明】
1 情報処理装置、11 外部入力部、12 MPEGエンコーダ、12a ビデオエンコーダ、12b オーディオエンコーダ、13 ヘッダ情報抽出部、14 ストリーム記録処理部、15 MPEGエンコーダ制御部、16 PTS/DTS更新処理部、17 擬似データ生成部、18、ECC処理部、19 記録回路、21 ストリーム再生処理部、50 テープ状磁気記録媒体
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information processing apparatus and an information processing method for recording video data and audio data encoded by the MPEG method on a recording medium.
[0002]
[Prior art]
A recording device for recording video data and audio data compressed and encoded by a moving picture encoding method such as an MPEG (Moving Picture Expert Group) method, for example, an MPEG2 method, on a magnetic recording medium has been devised (for example, Patent Reference 1).
[0003]
[Patent Document 1]
JP 2001-309305 A
[0004]
[Problems to be solved by the invention]
By the way, when decoding and reproducing video data and audio data that have been compression-encoded by the MPEG method, it is necessary to perform lip sync that matches the movement of the mouth with the audio timing.
[0005]
In the MPEG system, in order to synchronize video data and audio data, a video PES (Packetized Elementary Stream) packet and an audio PES packet, and a PTS (Presentation Time Stamp) as playback time information in each PES header. And control information such as DTS (Decoding Time Stamp) for specifying a decoding timing. Then, at the time of decoding and reproduction, the control information is extracted, and video data and audio data are synchronized based on the extracted control information so that a lip-sync shift does not occur.
[0006]
The video data usually has a video frame of a fixed length (time) such as 1/30 seconds or 1/25 seconds.
[0007]
On the other hand, the audio data is continuous and has no delimiter other than the sample points, but has an audio frame of a specific length to determine the calculation range when compressing and encoding the audio data by the MPEG method. Is formed.
[0008]
The frame length (time axis length) of the video frame and the audio frame hardly becomes equal.
[0009]
Therefore, when new video data and audio data that have been compression-encoded are “joined and recorded” from arbitrary portions of video data and audio data that have been recorded in advance on the magnetic recording medium, the audio data is It will be recorded discontinuously in time.
[0010]
As described above, when the “join recording” is performed, the decoding timing and the output timing are recorded on the magnetic recording medium beyond the range that can be controlled by the DTS and the PTS, and the lip-sync deviation becomes unusable. There is a problem that occurs.
[0011]
Furthermore, since audio data is recorded on a magnetic recording medium in a discontinuous manner with time, there is a problem that decoding processing during reproduction may not be performed normally. In particular, when the magnetic recording medium on which the video data and the audio data are “joined-recorded” as described above is played back by, for example, an external device, the external device causes the magnetic recording medium to be discontinuous in time. However, there is a problem that it is not possible to know that audio data is recorded in the audio data, so that normal decoding processing cannot be expected.
[0012]
Therefore, the present invention has been devised in order to solve the above-described problem. Even when video data and audio data are compression-encoded and “join recording” is performed, the lip sync deviation is minimized. An information processing apparatus for recording video data and audio data on a recording medium so that the video data and audio data are recorded on a recording medium so that the video data and audio data are normally decoded by an external device. And an information processing method.
[0013]
[Means for Solving the Problems]
In order to achieve the above object, an information processing apparatus according to the present invention comprises: a compression encoding unit for compressing and encoding video data and audio data according to an MPEG system; And a recording means for recording the video data on a recording medium, wherein video data and audio data are newly recorded from an arbitrary position designated on the recording medium in which video data is newly recorded, and When splicing and recording audio data, the video data and the first header information, which are header information of the audio data, recorded near the specified position are respectively detected. Second header which is header information of video data and audio data recorded immediately before the header information of Header information detecting means for respectively detecting the video information, video data reproduction end time information using the second header information detected by the header information detection means as header information, and audio data reproduction end time information. Further, a protruding time information calculating means for calculating protruding time information which is a difference between the reproduction end time information of the video data and the reproduction end time information of the audio data, and a video data to be newly recorded on the recording medium. A video data compression encoding start instruction for starting compression encoding is generated and output to the compression encoding unit, and the video data compression encoding start instruction is output to the compression encoding unit, and thus the protruding time is determined. After the elapse of the protruding time calculated by the information calculation means, the audio to be newly recorded on the recording medium Compression encoding instruction generating means for generating an audio data compression encoding start instruction for starting compression encoding of data and outputting the generated instruction to the compression encoding means; video data compressed and encoded by the compression encoding means; Recording data stream generating means for generating a recording data stream including audio data and PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp) included in header information of the recording data stream generated by the recording data stream generating means. ) Is updated to be continuous with the PTS and DTS included in the second header information, and the recording data stream in which the header information is updated by the header information updating means is header And a controlling means for controlling said recording means so as to be recorded from the position of the detected said first header information by broadcast detecting means.
[0014]
Further, in order to achieve the above object, an information processing method according to the present invention comprises: a compression encoding unit for compressing and encoding video data and audio data according to an MPEG method; An information processing method for an information processing apparatus comprising: a recording unit that records audio data on a recording medium, wherein video data and audio data are recorded in advance from an arbitrary position specified on the recording medium. When newly connecting and recording video data and audio data, the video data recorded near the specified position and the first header information that is header information of audio data are respectively detected, Header information of video data and audio data recorded immediately before the detected first header information. Header information detecting step for detecting the second header information, video data playback end time information using the second header information detected in the header information detection step as header information, and audio data playback end Time information, and furthermore, an overflow time information calculating step of calculating overflow time information that is a difference between the video data playback end time information and the audio data playback end time information; A video data compression encoding start instruction for starting the compression encoding of the video data to be recorded is output to the compression encoding means, and the video data compression encoding start instruction is output to the compression encoding means. Then, after the protruding time calculated by the protruding time information calculating step has elapsed, the recording medium is newly written. A compression encoding instruction generating step of generating an audio data compression encoding start instruction for starting compression encoding of audio data to be recorded and outputting the instruction to the compression encoding means; and a video encoded by the compression encoding means. A recording data stream generating step of generating a recording data stream including data and audio data; PTS (Presentation Time Stamp) and DTS (Decoding) included in header information of the recording data stream generated by the recording data stream generating step. Time stamp) is updated to be continuous with the PTS and DTS included in the second header information, respectively, and the recording data stream in which the header information is updated by the header information updating step is updated. Over arm, characterized in that a control step for controlling said recording means so as to be recorded from the position of the header information detection process in the first header information detected by.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of an information processing apparatus and an information processing method according to the present invention will be described in detail with reference to the drawings.
[0016]
First, a configuration of an information processing apparatus shown as an embodiment of the present invention will be described with reference to FIG.
[0017]
The information processing apparatus 1 includes an external input unit 11, an MPEG encoder 12, a header information extraction unit 13, a stream recording processing unit 14, an MPEG encoder control unit 15, a PTS / DTS update processing unit 16, a pseudo data generation It includes a unit 17, an ECC processing unit 18, a recording circuit 19, a reproduction circuit 20, a stream reproduction processing unit 21, an external output unit 22, an MPEG decoder 23, and a control unit 24.
[0018]
The information processing device 1 records video data and audio data that are compression-encoded by the MPEG method on a tape-shaped magnetic recording medium 50 that is detachable from the information processing device 1, and reproduces the recorded video data and audio data. It is a possible device.
[0019]
Further, the information processing apparatus 1 can freely perform “join recording” in which new video data and audio data are overwritten on an arbitrary portion of the tape-shaped magnetic recording medium 50 on which video data and audio data are recorded in advance. Can be
[0020]
The external input unit 11 reconstructs MPEG compression-encoded video data and audio data, which are multiplexed into a TS (Transport Stream) and transmitted from the outside, into a video PES packet and an audio PES packet. To supply.
[0021]
The MPEG encoder 12 compression-encodes (encodes) digital video data and digital audio data according to the MPEG system to generate a video ES (Elementary Stream) and an audio ES. The MPEG encoder 12 divides the encoded video ES and audio ES into video PES packets and audio PES packets, and supplies the video PES packets and audio PES packets to the stream recording processing unit 14.
[0022]
The MPEG encoder 12 performs the encoding process while adjusting the generated code amount of the picture based on the detected data occupation amount of a VBV (Video Buffering Verifier) buffer.
[0023]
The VBV buffer is a buffer virtually provided in the preceding stage of the decoder, and serves as a guide when adjusting the encoding amount at the time of encoding by referring to the occupation amount of the VBV buffer.
[0024]
For example, in a decoding process, a picture to be decoded is temporarily stored in a VBV buffer for a certain period of time, and when a decoding time comes, data for one picture is read from the VBV buffer and a decoding process is performed. Is assumed.
[0025]
At this time, if the amount of coding of the picture is enormous, the VBV buffer underflows and a delay occurs when displaying the picture. In addition, if the amount of generated coding of a picture is small, the VBV buffer overflows and the VBV buffer breaks down.
[0026]
As described above, in order to prevent a failure such as underflow or overflow of the VBV buffer from occurring, the generated code amount of a picture to be encoded by the MPEG encoder 12 is set to a target value for each picture by operating a quantization parameter, for example. Adjust so that it becomes the code amount.
[0027]
If the operation of the quantization parameter is not sufficient, a copy picture (Copy Picture) having a small code amount obtained by copying a picture that is temporally preceding in the data stream to be decoded, or a stuffing byte which is particularly meaningless data is used. To adjust the decoding timing and the amount of data. If the VBV buffer overflows, a stuffing byte is inserted. If the VBV buffer underflows, a copy picture is inserted.
[0028]
The header information extraction unit 13 includes video data and audio data PTS, DTS, and frame length information reproduced from the tape-shaped magnetic recording medium 50 via the reproduction circuit 20, the ECC processing unit 18, and the stream reproduction processing unit 21. Extract header information. The PTS and the DTS are header information provided for each access unit of video data and audio data, that is, for each frame. PTS is time information for reproducing and outputting video data and audio data recorded on the tape-shaped magnetic recording medium 50, respectively, and DTS is time information for decoding video data and audio data, respectively.
[0029]
When an instruction to perform “join recording” is issued at an arbitrary position on the tape-shaped magnetic recording medium 50, the header information extraction unit 13 records the nearest position to the above-specified arbitrary position under the control of the control unit 24. The header information is read out. The position of the header information is a connection point at which “connection recording” starts.
[0030]
Further, the header information extraction unit 13 controls the header of the video data (hereinafter also referred to as final video data) immediately before the connection point and the audio data (hereinafter also referred to as final audio data) under the control of the control unit 24. Extract each piece of information. The header information extracted by the header information extraction unit 13 is sent to the stream recording processing unit 14.
[0031]
The stream recording processing unit 14 multiplexes video PES packets and audio PES packets supplied from the external input unit 11 or the MPEG encoder 12 to generate a data stream to be recorded on the tape-shaped magnetic recording medium 50.
[0032]
Further, the stream recording processing unit 14 calculates the overflow time using the header information sent from the header information extracting unit 13.
[0033]
Here, the protruding time will be described. The protruding time indicates a shift amount of a display time between video data recorded in advance on the tape-shaped magnetic recording medium 50 and audio data recorded corresponding to the video data.
[0034]
Specifically, a connection point X when new video data is "joined-recorded" to video data recorded on the tape-shaped magnetic recording medium 50 shown in FIG. The amount of deviation from the connecting point Y when new audio data is “joined-recorded” to the audio data shown in FIG. 2B and recorded on the tape-shaped magnetic recording medium 50 is referred to as “protruding time”.
[0035]
As described above, since the frame length of video data and the frame length of audio data compressed and encoded by the MPEG system are different from each other, the PTS of the audio data is delayed from the PTS of the video data, and the It is extremely often recorded on the magnetic recording medium 50.
[0036]
That is, as shown in FIGS. 2A and 2B, the audio data recorded on the tape-shaped magnetic recording medium 50 has a lip-sync shift with respect to the video data, and the video data is reproduced. Is completed, the reproduction of the audio data does not end.
[0037]
The stream recording processing unit 14 calculates the protruding time described with reference to FIGS. 2A and 2B using the header information of the final video data and the final audio data extracted by the header information extracting unit 13. .
[0038]
If the PTS included in the header information of the final video data is Tve, the frame length is VF, the PTS included in the header information of the final audio data is Tae, and the frame length is AF, the protruding time Te is expressed by the equation (1). It can be calculated as follows.
[0039]
Te = (Tae + AF)-(Tve + VF) (1)
[0040]
The value calculated by Tae + AF in the expression (1) is time information at which the reproduction of the final audio data ends, that is, time information at a connection point Y of the audio data. The value calculated by Tve + VF is the time information at which the reproduction of the final video data ends, that is, the time information at the connection point X of the video data.
[0041]
The value of the overflow time Te calculated by the stream recording processing unit 14 is sent to the MPEG encoder control unit 15.
[0042]
When the pseudo data generation unit 17 described later generates pseudo data for video data, the overrun time Te calculated as in the above equation (1) is determined by the frame length of the generated pseudo data. It is calculated taking into account.
[0043]
That is, assuming that the frame length of the pseudo data is GF, the overflow time Te is calculated as shown in Expression (2).
[0044]
Te = (Tae + AF)-(Tve + VF + GF) (2)
[0045]
The MPEG encoder control unit 15 generates an encoding start command for instructing the MPEG encoder 12 to start encoding video data and audio data, and outputs the command to the MPEG encoder 12. The MPEG encoder control unit 15 generates an encoding start command for each of the video data and the audio data.
[0046]
First, the MPEG encoder control unit 15 generates an encoding start command for video data in response to the “join recording” start instruction sent from the control unit 24, and sends it to the video encoder 12a.
[0047]
Subsequently, the MPEG encoder control unit 15 sends an encoding start command for the video data, and after an overflow time Te generated by the stream recording processing unit 14, generates an encoding start command for the audio data, and sends the encoding start command to the audio encoder 12b. Send out.
[0048]
As described above, the start time of the encoding by the audio encoder 12b is delayed by the protruding time Te for the following reason.
[0049]
For example, suppose that video data and audio data as shown in FIGS. 3A and 3B are newly recorded on the tape-shaped magnetic recording medium 50.
[0050]
In the video data shown in FIG. 3A, the PTS of the video data of the head frame (hereinafter, also referred to as head video data) is Tvs, and the audio data of the head frame in the audio data shown in FIG. The PTS of (hereinafter, also referred to as head audio data) is Tas.
[0051]
The audio data shown in FIG. 3B is delayed from the video data shown in FIG. 3A by a delay time Ts. The delay time Ts can be expressed by Expression (3) using Tvs, which is the PTS of the head video data, and Tas, which is the PTS of the head audio data.
[0052]
Ts = Tas-Tvs (3)
[0053]
If the delay time Ts has a relationship of Te> Ts or a relationship of Te <Ts with the protruding time Te, the audio data to be newly recorded is recorded in advance on the tape-shaped magnetic recording medium 50. The recorded audio data is recorded discontinuously in time. As described above, if the audio data is recorded on the tape-shaped magnetic recording medium 50 so as to be discontinuous in time, a normal decoding process cannot be performed.
[0054]
If the delay time Ts and the protruding time Te are the same time, that is, if the relationship of Ts = Te is satisfied, the audio data newly recorded on the tape-shaped magnetic recording medium 50 becomes temporally continuous. Will be recorded.
[0055]
Then, the MPEG encoder control unit 15 delays the encode start command by the overrun time Te so that the audio data to be “joined-recorded” is delayed from the video data encoding process by overrun time Te, and sends the audio start command to the audio encoder 12b. Send out.
[0056]
The PTS / DTS update processing unit 16 stores the PTS and DTS of the video PES packet and the audio PES packet of the data stream generated by the stream recording processing unit 14 in the “linkage recording” recorded on the tape magnetic recording medium 50. The base data is updated so as to be temporally continuous according to the PTS and DTS of the underlying data.
[0057]
The pseudo data generation unit 17 generates pseudo data, such as a copy picture and a stuffing byte, to be inserted into video data after the connection point when preventing the above-described failure of the VBV buffer. Since the failure of the VBV buffer as described above occurs when the generated code amount changes extremely, a copy picture or a stuffing byte is often inserted at a connection point of “connection recording”.
[0058]
The ECC processing unit 18 performs an error correction coding process and an interleave process on the data stream transmitted from the stream recording processing unit 14, and transmits the data stream to the recording circuit 19. Further, the ECC processing unit 18 performs a deinterleave process and an error correction decoding process on the data stream transmitted from the reproduction circuit 20, and transmits the data stream to the stream reproduction processing unit 21.
[0059]
Specifically, the ECC processing unit 18 has an ECC Bank memory (not shown), and temporarily buffers a data stream to be recorded on the tape-shaped magnetic recording medium 50 or a data stream to be reproduced, and executes the above-described processing.
[0060]
The recording circuit 19 performs a recording process of recording the data stream transmitted from the ECC processing unit 18 on the tape-shaped magnetic recording medium 50. For example, the recording circuit 19 converts the data stream into serial data, amplifies the data stream, and records the amplified data on a tape-shaped magnetic recording medium 50 rotated by a rotating drum (not shown) via a magnetic head (not shown).
[0061]
The reproducing circuit 20 performs a reproducing process for reproducing the data stream recorded on the tape-shaped magnetic recording medium 50. The data stream reproduced by the reproduction circuit 20 is sent to the ECC processing unit 18.
[0062]
The stream reproduction processing unit 21 demultiplexes the data stream supplied from the ECC processing unit 18 and separates the data stream into video PES packets and audio PES packets.
[0063]
The PTS extraction unit 22 extracts the PTS from the demultiplexed video PES packet and audio PES packet in the stream reproduction processing unit 21 and sends the PTS to the stream recording unit 14.
[0064]
The external output unit 22 divides a video PES packet and an audio PES packet supplied from the stream reproduction processing unit 21 to generate a TS packet, and multiplexes the TS packet to generate a TS.
[0065]
The MPEG decoder 23 generates a video ES and an audio ES from the video PES packet and the audio PES packet supplied from the stream reproduction processing unit 21, respectively, and performs decompression decoding processing on the MPEG data into digital video data and digital audio data. .
[0066]
The control unit 24 controls each unit of the information processing apparatus 1 in an integrated manner. The control unit 24 controls the operation of each unit, for example, when performing the above-described “join recording”, and records video data and audio data that have been compression-encoded by the MPEG method on the tape-shaped magnetic recording medium 50. Let it.
[0067]
Subsequently, using the flowchart shown in FIG. 4, in the information processing apparatus 1 according to the embodiment of the present invention, when "joint recording" for recording new video data and audio data on the tape-shaped magnetic recording medium 50, Will be described.
[0068]
First, in step S1, when the user issues an instruction to perform “join recording” at an arbitrary position on the tape-shaped magnetic recording medium 50, the control unit 24 starts the reproduction circuit 20, the ECC processing unit 18, the stream reproduction process. The section 21 is controlled so as to reproduce the vicinity of the arbitrary position on the tape-shaped magnetic recording medium 50.
[0069]
In step S2, the control unit 24 controls the header information extraction unit 13 to read out the header information recorded closest to the specified position, and set a connection point at which "connection recording" starts. decide.
[0070]
In step S3, the control unit 24 controls the header information extracting unit 13 to extract the header information of the final video data and the final audio data, which are the video data and the audio data immediately before the connection point, and perform stream recording. It is sent to the processing unit 14.
[0071]
In step S4, the stream recording processing unit 14 uses the PTS and frame length information of the video data and the PTS and frame length information of the audio data from the extracted header information to calculate the protruding time from the expression (1) described above. Te is generated and sent to the MPEG encoder control unit 15.
[0072]
When the pseudo data generation unit 17 generates pseudo data for video data, the stream recording processing unit generates an overflow time Te from Expression (2) that also takes into consideration the frame length of the pseudo data, and controls the MPEG encoder control. To the unit 15.
[0073]
In step S5, the control unit 24 generates a connection recording start command, which is an instruction to start “connection recording”, and sends it to the MPEG encoder control unit 15.
[0074]
In step S6, the MPEG encoder control unit 15 generates an encode start command which is an instruction to start encoding processing of video data to be “joined-recorded” in response to the joint recording start command sent from the control unit 24. , To the video encoder 12a.
[0075]
In step S7, the video encoder 12a compresses and encodes video data to be newly recorded on the tape-shaped magnetic recording medium 50 by the MPEG method, and sends the encoded data to the stream recording processing unit 14.
[0076]
In step S8, the MPEG encoder control unit 15 determines whether or not the overflow time Te has elapsed since the generation of the encoding start command which is a command to start the encoding processing of the video data. If the overrun time Te has elapsed, the process proceeds to step S9; otherwise, the process waits until the overrun time Te is reached.
[0077]
In step S9, the MPEG encoder control unit 15 sends an encoding start command to the video encoder 12a, and starts an encoding process of audio data to be “joined-recorded” in response to a lapse of the protruding time Te. Is generated and transmitted to the audio encoder 12b. At this time, the MPEG encoder control unit 15 sends out the encoding start command in the audio encoder 12b in consideration of the delay time from the reception of the command to the start of the processing.
[0078]
In step S10, the audio encoder 12b compresses and encodes the audio data to be newly recorded on the tape-shaped magnetic recording medium 50 by the MPEG method, and sends it to the stream recording processing unit 14.
[0079]
In step S11, the stream recording processing unit 14 multiplexes the video data and the audio data compressed and encoded by the video encoder 12a and the audio encoder 12b into a data stream to be recorded on the tape-shaped magnetic recording medium 50.
[0080]
In step S12, the PTS / DTS update processing unit 16 performs the PTS and DTS of the video data and the audio data of the data stream multiplexed by the stream recording processing unit 14, and the header information added to each frame. Is updated so as to be continuous with the underlying video data and audio data PTS and DTS recorded on the tape-shaped magnetic recording medium 50 to be “join-recorded”.
[0081]
In step S13, the control unit 24 sends the data stream generated by the stream recording processing unit 14 to the ECC processing unit 18 and records the data stream on the tape-shaped magnetic recording medium 50 via the recording circuit 19.
[0082]
In this way, the start time of the encoding process in the audio encoder 12b is extended from the encoding start time in the video encoder 12a by the stream recording processing unit 14 using the expression (1) or (2). By delaying by the time Te, the PTS of the audio data to be recorded on the tape-shaped magnetic recording medium 50 can be recorded temporally continuously.
[0083]
As described above, the information processing apparatus 1 performs the “joint recording”, the final video data of the video data and the audio data previously recorded on the tape-shaped magnetic recording medium 50, and the header of the final audio data. By calculating the protruding time Te from the information and delaying the encoding start time of the audio data by the calculated protruding time Te, the audio data can be recorded on the tape-shaped magnetic recording medium 50 continuously in time.
[0084]
This makes it possible to minimize the lip-sync deviation at the time of reproduction, and even when the video data and the audio data “spliced and recorded” on the tape-shaped magnetic recording medium 50 are reproduced by an external device or the like. , Normal decoding processing can be expected.
[0085]
【The invention's effect】
As is clear from the above description, according to the present invention, at the time of “join recording” on a recording medium, a joining point for recording new video data and audio data, video data recorded immediately before, and The protruding time information is calculated from the header information of the audio data, the compression encoding process of the audio data is delayed by the protruding time with respect to the compression encoding process of the video data, and the new video data and audio data are recorded on a recording medium. Record.
[0086]
Therefore, the video data and the audio data recorded in "join recording" are recorded on the recording medium with the PTS interval continuously, so that even when the MPEG decoder of the external device is used at the time of reproduction, the decoding process is normally performed. It is possible to do.
[0087]
In addition, even if the “link recording” is performed, a new lip-sync deviation can be prevented from being generated. Therefore, even when the “link recording” is repeated a plurality of times, the lip-sync deviation is prevented from being accumulated. To make things possible.
[Brief description of the drawings]
FIG. 1 is a diagram for describing a configuration of an information processing apparatus shown as an embodiment of the present invention.
FIG. 2 is a diagram for explaining an overflow time.
FIG. 3 is a diagram showing an example of audio data newly recorded on a tape-shaped magnetic recording medium and video data in the information processing apparatus shown as an embodiment of the present invention.
FIG. 4 is a flowchart for explaining an operation at the time of “join recording” on a tape-shaped magnetic recording medium in the information processing apparatus.
[Explanation of symbols]
Reference Signs List 1 information processing device, 11 external input unit, 12 MPEG encoder, 12a video encoder, 12b audio encoder, 13 header information extraction unit, 14 stream recording processing unit, 15 MPEG encoder control unit, 16 PTS / DTS update processing unit, 17 pseudo Data generation unit, 18, ECC processing unit, 19 recording circuit, 21 stream reproduction processing unit, 50 tape-shaped magnetic recording medium

Claims (6)

ビデオデータ、及びオーディオデータをMPEG方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置であって、
ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第1のヘッダ情報をそれぞれ検出し、さらに、上記検出された第1のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第2のヘッダ情報をそれぞれ検出するヘッダ情報検出手段と、
上記ヘッダ情報検出手段によって検出された第2のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出手段と、
上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、
上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出手段によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成手段と、
上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成手段と、
上記記録データストリーム生成手段によって生成された記録データストリームのヘッダ情報に含まれるPTS(Presentation Time Stamp)、及びDTS(Decoding Time Stamp)を、上記第2のヘッダ情報に含まれるPTS、及びDTSにそれぞれ連続となるよう更新するヘッダ情報更新手段と、
上記ヘッダ情報更新手段によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出手段によって検出された上記第1のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御手段とを備えること
を特徴とする情報処理装置。
An information processing apparatus comprising: compression encoding means for compressing and encoding video data and audio data in an MPEG system; and recording means for recording the compression-encoded video data and audio data on a recording medium. ,
When newly connecting video data and audio data from an arbitrary position specified on the recording medium in which video data and audio data are recorded in advance, recording near the arbitrary position specified above First header information, which is header information of the detected video data and audio data, respectively, and further, header information of the video data and audio data recorded immediately before the detected first header information. Header information detecting means for respectively detecting second header information,
It calculates video data playback end time information and audio data playback end time information using the second header information detected by the header information detection means as header information, and further comprises the video data playback end time information. And a protruding time information calculating means for calculating protruding time information that is a difference between the reproduction end time information of the audio data and
Generating a video data compression encoding start command for starting compression encoding of video data to be newly recorded on the recording medium and outputting the instruction to the compression encoding means;
After the video data compression / encoding start command is output to the compression / encoding means, the compression code of audio data to be newly recorded on the recording medium after a lapse of the overflow time calculated by the overflow time information calculation means. Compression encoding instruction generating means for generating an audio data compression encoding start instruction for starting the encoding and outputting the instruction to the compression encoding means,
Recording data stream generating means for generating a recording data stream including video data and audio data compressed and encoded by the compression encoding means,
The PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp) included in the header information of the recording data stream generated by the recording data stream generating means are respectively added to the PTS and DTS included in the second header information. Header information updating means for updating to be continuous,
Control means for controlling the recording means such that the recording data stream in which the header information is updated by the header information updating means is recorded from the position of the first header information detected by the header information detecting means; An information processing apparatus comprising:
上記はみ出し時間情報算出手段は、上記ヘッダ情報検出手段で検出された第2のヘッダ情報に含まれるビデオデータのPTSと、ビデオデータのフレーム長情報とを加算してビデオデータの再生終了時刻情報を算出し、
また、はみ出し時間情報算出手段は、上記ヘッダ情報検出手段で検出されたヘッダ情報に含まれるオーディオデータのPTSと、オーディオデータのフレーム長情報とを加算してオーディオデータの再生終了時刻情報を算出すること
を特徴とする請求項1記載の情報処理装置。
The protruding time information calculating means adds the PTS of the video data included in the second header information detected by the header information detecting means and the frame length information of the video data to obtain the reproduction end time information of the video data. Calculate,
The protruding time information calculating means calculates the audio data reproduction end time information by adding the PTS of the audio data included in the header information detected by the header information detecting means and the frame length information of the audio data. The information processing apparatus according to claim 1, wherein:
上記つなぎ録りするビデオデータの発生符号量に応じて生成され、つなぎ録りする位置に挿入される擬似ビデオデータを生成する擬似ビデオデータ生成手段を備え、
上記はみ出し時間情報算出手段は、上記ヘッダ情報検出手段で検出された第2のヘッダ情報に含まれるビデオデータのPTSと、ビデオデータのフレーム長情報とを加算し、さらに、上記擬似ビデオデータ生成手段で生成される擬似ビデオデータのフレーム長情報を加算することでビデオデータの再生終了時刻情報を算出すること
を特徴する請求項2記載の情報処理装置。
Pseudo video data generating means for generating pseudo video data generated in accordance with the generated code amount of the video data to be seamlessly recorded and inserted at a position to be seamlessly recorded,
The protruding time information calculating means adds the PTS of the video data included in the second header information detected by the header information detecting means and the frame length information of the video data, and further comprises the pseudo video data generating means. 3. The information processing apparatus according to claim 2, wherein the reproduction end time information of the video data is calculated by adding the frame length information of the pseudo video data generated in the step (c).
ビデオデータ、及びオーディオデータをMPEG方式で圧縮符号化する圧縮符号化手段と、上記圧縮符号化されたビデオデータ、及びオーディオデータを記録媒体に記録させる記録手段とを備えた情報処理装置の情報処理方法であって、
ビデオデータ、及びオーディオデータがあらかじめ記録されている上記記録媒体上で指定された任意の位置から、新たにビデオデータ、及びオーディオデータをつなぎ録りする際、上記指定された任意の位置近傍に記録されたビデオデータ、及びオーディオデータのヘッダ情報である第1のヘッダ情報をそれぞれ検出し、さらに、上記検出された第1のヘッダ情報の直前に記録されているビデオデータ、及びオーディオデータのヘッダ情報である第2のヘッダ情報をそれぞれ検出するヘッダ情報検出工程と、
上記ヘッダ情報検出工程によって検出された第2のヘッダ情報をヘッダ情報とするビデオデータの再生終了時刻情報と、オーディオデータの再生終了時刻情報とを算出し、さらに、上記ビデオデータの再生終了時刻情報と、上記オーディオデータの再生終了時刻情報との差分であるはみ出し時間情報を算出するはみ出し時間情報算出工程と、
上記記録媒体に新たに記録するビデオデータの圧縮符号化を開始させるビデオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力し、
上記ビデオデータ圧縮符号化開始命令が、上記圧縮符号化手段に出力されてから、上記はみ出し時間情報算出工程によって算出された上記はみ出し時間経過後に、上記記録媒体に新たに記録するオーディオデータの圧縮符号化を開始させるオーディオデータ圧縮符号化開始命令を生成して上記圧縮符号化手段に出力する圧縮符号化命令生成工程と、
上記圧縮符号化手段によって圧縮符号化されたビデオデータ、及びオーディオデータを含む記録データストリームを生成する記録データストリーム生成工程と、
上記記録データストリーム生成工程によって生成された記録データストリームのヘッダ情報に含まれるPTS(Presentation Time Stamp)、及びDTS(Decoding Time Stamp)を、上記第2のヘッダ情報に含まれるPTS、及びDTSにそれぞれ連続となるよう更新するヘッダ情報更新工程と、
上記ヘッダ情報更新工程によって、上記ヘッダ情報が更新された記録データストリームが、上記ヘッダ情報検出工程によって検出された上記第1のヘッダ情報の位置から記録されるよう上記記録手段を制御する制御工程とを備えること
を特徴とする情報処理方法。
Information processing of an information processing apparatus comprising: compression encoding means for compressing and encoding video data and audio data according to the MPEG system; and recording means for recording the compressed and encoded video data and audio data on a recording medium. The method,
When newly connecting video data and audio data from an arbitrary position specified on the recording medium in which video data and audio data are recorded in advance, recording near the arbitrary position specified above First header information, which is header information of the detected video data and audio data, respectively, and further, header information of the video data and audio data recorded immediately before the detected first header information. A header information detecting step of detecting each of the second header information,
Calculate video data playback end time information and audio data playback end time information using the second header information detected in the header information detection step as header information, and further calculate the video data playback end time information. And a protruding time information calculating step of calculating protruding time information that is a difference between the reproduction end time information of the audio data and
Generating a video data compression encoding start command for starting compression encoding of video data to be newly recorded on the recording medium and outputting the instruction to the compression encoding means;
After the video data compression / encoding start command is output to the compression / encoding means, after the protruding time calculated by the protruding time information calculating step, the compression code of the audio data to be newly recorded on the recording medium is passed. A compression encoding instruction generating step of generating an audio data compression encoding start instruction for starting the encoding and outputting the instruction to the compression encoding means;
A recording data stream generating step of generating a recording data stream including video data and audio data compressed and encoded by the compression encoding means,
The PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp) included in the header information of the recording data stream generated in the recording data stream generation step are respectively added to the PTS and DTS included in the second header information. A header information updating step of updating to be continuous,
A control step of controlling the recording means so that the recording data stream in which the header information is updated by the header information updating step is recorded from the position of the first header information detected by the header information detecting step. An information processing method comprising:
上記はみ出し時間情報算出工程は、上記ヘッダ情報検出工程で検出された第2のヘッダ情報に含まれるビデオデータのPTSと、ビデオデータのフレーム長情報とを加算してビデオデータの再生終了時刻情報を算出し、
また、はみ出し時間情報算出工程は、上記ヘッダ情報検出工程で検出されたヘッダ情報に含まれるオーディオデータのPTSと、オーディオデータのフレーム長情報とを加算してオーディオデータの再生終了時刻情報を算出すること
を特徴とする請求項4記載の情報処理方法。
The protruding time information calculating step includes adding the PTS of the video data included in the second header information detected in the header information detecting step and the frame length information of the video data to obtain the reproduction end time information of the video data. Calculate,
Also, the protruding time information calculating step calculates the reproduction end time information of the audio data by adding the PTS of the audio data included in the header information detected in the header information detecting step and the frame length information of the audio data. 5. The information processing method according to claim 4, wherein:
上記つなぎ録りするビデオデータの発生符号量に応じて生成され、つなぎ録りする位置に挿入される擬似ビデオデータを生成する擬似ビデオデータ生成工程を備え、
上記はみ出し時間情報算出工程は、上記ヘッダ情報検出工程で検出された第2のヘッダ情報に含まれるビデオデータのPTSと、ビデオデータのフレーム長情報とを加算し、さらに、上記擬似ビデオデータ生成工程で生成される擬似ビデオデータのフレーム長情報を加算することでビデオデータの再生終了時刻情報を算出すること
を特徴する請求項5記載の情報処理方法。
A pseudo video data generating step of generating pseudo video data that is generated in accordance with the generated code amount of the video data to be seamlessly recorded and inserted at a position to be seamlessly recorded,
The protruding time information calculating step adds the PTS of the video data included in the second header information detected in the header information detecting step and the frame length information of the video data, and further includes the pseudo video data generating step. 6. The information processing method according to claim 5, wherein the reproduction end time information of the video data is calculated by adding the frame length information of the pseudo video data generated in the step (c).
JP2003037371A 2003-02-14 2003-02-14 Information processor and information processing method Pending JP2004248104A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003037371A JP2004248104A (en) 2003-02-14 2003-02-14 Information processor and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003037371A JP2004248104A (en) 2003-02-14 2003-02-14 Information processor and information processing method

Publications (1)

Publication Number Publication Date
JP2004248104A true JP2004248104A (en) 2004-09-02

Family

ID=33022208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003037371A Pending JP2004248104A (en) 2003-02-14 2003-02-14 Information processor and information processing method

Country Status (1)

Country Link
JP (1) JP2004248104A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150237A (en) * 2012-01-23 2013-08-01 Renesas Electronics Corp Information processing device, information processing method,and semiconductor device
JP2014121049A (en) * 2012-12-19 2014-06-30 Canon Inc Recorder, recording method and program
JP2014121047A (en) * 2012-12-19 2014-06-30 Canon Inc Recorder, recording method and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150237A (en) * 2012-01-23 2013-08-01 Renesas Electronics Corp Information processing device, information processing method,and semiconductor device
JP2014121049A (en) * 2012-12-19 2014-06-30 Canon Inc Recorder, recording method and program
JP2014121047A (en) * 2012-12-19 2014-06-30 Canon Inc Recorder, recording method and program

Similar Documents

Publication Publication Date Title
KR100984638B1 (en) Robust method for achieving audio/video synchronization in mpeg decoders in personal video recording applications
US7221850B2 (en) Information processing apparatus and method, and recording medium
JP4536653B2 (en) Data processing apparatus and method
JP4983923B2 (en) Decoder device and decoding method
JP2001513606A (en) Processing coded video
KR980010748A (en) Multiplexed data generating device, encoded data reproducing device, clock converting device, encoded data recording medium, encoded data transmission medium, multiplexed data generating method, encoded data reproducing method and clock converting method
EP0985319B1 (en) Video and audio signal processing
KR101014664B1 (en) Reproduction method for guaranteeing seamless reproduction of a plurality of data streams and reproducing apparatus therefor
JP2004139730A (en) Method for generating additional information for securing continuous reproduction of data rows, recording medium for storing this information, and recording, editing and/or reproducing device
JP2008079050A (en) Reproduction method, reproduction program and reproduction apparatus
US20090147842A1 (en) Video processing
JP2006190213A (en) Device for reproducing media
WO2003067881A1 (en) Information processing apparatus and method
JP4534168B2 (en) Information processing apparatus and method, recording medium, and program
JP4096915B2 (en) Digital information reproducing apparatus and method
JP2004336488A (en) Apparatus and method for information processing program, and recording medium
JP2000078531A (en) Method and system for editing audio data
JP2004248104A (en) Information processor and information processing method
JP3944845B2 (en) Information processing apparatus and method, recording medium, and program
JP4304996B2 (en) Information processing apparatus and information processing method
JP4288804B2 (en) Data decoding apparatus and data decoding method
WO2009090728A1 (en) Media reproducer
JP2004165856A (en) Information processing apparatus and method, recording medium, and program
JP2004200798A (en) Mpeg transport stream generating apparatus and mpeg stream recording- reproducing apparatus
JP2004007541A (en) Data multiplexing method and multiplexed data decoding method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080805