JP2004356751A - Information processing apparatus, information processing method, and recording medium - Google Patents

Information processing apparatus, information processing method, and recording medium Download PDF

Info

Publication number
JP2004356751A
JP2004356751A JP2003149609A JP2003149609A JP2004356751A JP 2004356751 A JP2004356751 A JP 2004356751A JP 2003149609 A JP2003149609 A JP 2003149609A JP 2003149609 A JP2003149609 A JP 2003149609A JP 2004356751 A JP2004356751 A JP 2004356751A
Authority
JP
Japan
Prior art keywords
data
information
rau
packet
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003149609A
Other languages
Japanese (ja)
Inventor
Daizo Nagahara
大三 長原
Tetsuya Yamamoto
哲也 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003149609A priority Critical patent/JP2004356751A/en
Publication of JP2004356751A publication Critical patent/JP2004356751A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information processing method and an information processing apparatus for managing various kinds of data in a unified way and to provide a recording medium for recording data capable of being managed in a unified way. <P>SOLUTION: The information processing apparatus is characterized in that the processing apparatus receives a plurality of kinds of data including a reproduction order, divides the received data into data of a prescribed size, and records data to be reproduced simultaneously among divided data in the lump to a RAU 1. An index 2 denoting the reproduction order and an offset 3 denoting a recording position of each of the data stored in the RAU 1 are also recorded in the RAU 1. Further, the number of the offsets 3 is more than the number of the kinds of recorded data by one and data of a kind including no offset 3 are stored to a recording position denoted by the excess offset 3. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理装置、情報処理方法、記録媒体に関し、特に、連続した関係を持つデータを管理しやすいデータ構造に変換する情報処理装置及び情報処理方法、上記データ構造のデータのうち所望のデータを検索して読み出す情報処理装置、及び上記データ構造のデータを記録した記録媒体に関する。
【0002】
【従来の技術】
ディジタル形式での伝送あるいはパッケージとして配布される映像音声コンテンツが増加するにつれ、それらディジタル映像音声コンテンツを記録再生するAV機器が広まりつつある。記録媒体としては磁気ディスク、光ディスク、あるいは磁気テープなどがある。特に、ランダムアクセス性を持つ記録媒体に対しては、単に映像音声コンテンツをそのまま記録再生するだけでなく、そのランダムアクセス性を活用した特殊再生が実装される場合が多い。DVDプレーヤ、DVDレコーダ、ハードディスクレコーダはそのシステムの代表例である。
【0003】
ランダムアクセス性を利用した特殊再生を実現するにあたり、単なる映像音声コンテンツをパーソナルコンピュータで扱われるファイルのように記録するだけでなく、そのディジタル映像音声データを解析し、特殊再生の実現に必要とされる単位でそれを管理する仕組みが必要である。
【0004】
映像音声データは、連続的に再生されるデータである。従来、映像音声データの再生時間に着目し、映像音声データを再生時間単位でまとめてパケット化し、映像音声データのランダムアクセス性を利用した特殊再生を実現する情報処理方法が存在する。
【0005】
【発明が解決しようとする課題】
しかしながら、従来の情報処理方法は、映像音声データのみを管理の対象としており、字幕情報や文字情報などの映像音声データ以外のデータを管理することが困難である。
【0006】
また、従来の情報処理方法では、再生時間をアクセスの単位としているためテキストデータのように時間を単位とすることができないデータを管理することが困難である。
【0007】
さらに、従来の情報処理方法では、パケット化したデータに新規なデータを追加する機能がついておらず、データの将来のフィールド追加要請に対応することができないという問題がある。
【0008】
本発明は、上記課題に鑑みてなされたものであり、様々な種類のデータを統一的に管理する情報処理方法及び情報処理装置、及び統一的に管理することが可能なデータを記録した記録媒体を提供することを目的とする。
【0009】
【課題を解決するための手段】
上述した目的を達成するために、本発明にかかる情報処理装置は、互いに異なりそれぞれ再生順序を指定する再生情報を含んだ一連のデータを複数入力する入力手段と、記互いに異なるデータの各々を所定のサイズのデータに分割するデータ分割手段と、再生情報を基に分割されたのデータうち同時に再生するデータを一纏めとし該再生情報を検索情報としてパケット化するパケット化手段と、パケット生成手段において生成されたパケットの検索情報と当該パケットの記録領域とを関連付けて記録する記録領域記録手段とを備える。
【0010】
また、本発明にかかる情報処理装置は、同時に再生される異なるデータと当該データの再生順序を指定した再生情報とを含むパケットを入力するパケット入力手段と、パケット入力手段によって入力したパケットの再生情報を検索情報として所望のパケットを検索するデータ検索手段とを備える。
【0011】
さらに、本発明にかかる情報処理方法は、互いに異なりそれぞれの再生順序を指定する再生情報を含んだ一連のデータを複数入力する入力工程と、互いに異なるデータの各々を所定のサイズのデータに分割するデータ分割工程と、再生情報を基に分割されたデータのうち同時に再生するデータを一まとめとし該再生情報を検索情報としてパケット化するパケット化工程とを有する。
【0012】
さらに、本発明にかかる記録媒体は、同時に再生される異なるデータと当該データの再生順序を指定した再生情報とを含むパケットと、パケットのうちの幾つかをグループ化し、各グループで最も再生順序が早いパケットの再生情報と、当該パケットの記録領域とを関連付けたテーブルとを記録する。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明を適用した情報記録装置、情報再生装置について説明する。本発明を適用した情報記録装置、情報再生装置は、同一のファイルシステムに従ってデータを管理する装置である。このファイルシステムは、データをRAUというパケットに格納する。RAUは、映像、音声、テキストなどあらゆる種類のデータを格納するパケットである。このファイルシステムでは、異なる種類のデータであっても再生順序が同じデータを一つのRAUに格納する。RAU1は、図1に示すように再生順序を示すインデックス値を記録するフィールド2が存在する。
【0014】
また、RAU1には、データの格納位置を示すオフセットフィールド3が存在する。オフセットフィールド3は、RAUに格納されるデータの種類の数+1の設けられる。例えば、AVデータをRAUに格納する場合、RAUのオフセットフィールド3は、映像データのオフセットフィールドと音声データのオフセットフィールドと、映像データと音声データ以外のデータである拡張データのオフセットフィールドが設けられる。RAU1では、オフセットフィールド3にデータの格納位置が随時定義できるので可変長のデータを格納することができる。また、オフセットフィールドは、固定フィールドであり、データが存在しない場合には、記録位置の代わりにデータの不在を示すデータを格納する。
【0015】
このファイルシステムは、コンテンツをRAU(Random Access Unit)と呼ばれるパケットに分散して記録する。コンテンツを構成するRAUのリストはRAUテーブル5に記録されている。
【0016】
RAUテーブル5は、図2に示すように、コンテンツを構成しているRAUの記録開始位置、RAUのサイズ、RAUに記録されたデータの時間情報などが記録されている。
【0017】
コンテンツテーブル6は、コンテンツの属性情報を格納する。コンテンツの属性情報には、図3に示すように、コンテンツの名称、コンテンツの記録日時がある。また、コンテンツテーブルは、RAUテーブルの記録位置情報を記録している。情報再生装置は、コンテンツテーブルとRAUテーブルを参照して、所望のRAUにアクセスすることができる。
【0018】
RAUは、データを格納するパケットである。RAUは、データのほかに、データのサーチ制御情報であるインデックス値を格納する。インデックス値は、RAUのアクセス順序を示す情報である。インデックス値は、情報記録装置や情報再生装置のサーチ機能、CODECのフォーマット、エンコーダ及びデコーダの性質によって異なる。
【0019】
以下、図面を参照して、RAU1の具体的な構成について説明する。RAU100は、図4に示すように16バイトのRAUヘッダ110と可変長のRAUペイロード120とから構成される。RAUペイロード120には、映像データや音声データなどのデータが格納される。
【0020】
RAUヘッダ110は、12バイトのRAUインデックス130と4バイトのRAUペイロードのサイズ情報140から構成される。RAUインデックス130は、8バイトのインデックス131と4バイトのインターバル132とから構成される。インデックス131にはオブジェクトの順序情報であるインデックス値が格納され、インターバル132には当該RAUのインデックス値と次のRAUのインデックス値との差分値、すなわち区間長が格納される。
【0021】
インデックス値は、情報記録装置や情報再生装置のサーチ機能、CODECのフォーマット、エンコーダ及びデコーダの性質によって異なる。インデックス値の典型的な例を挙げる。1つめは、MPEG(Moving Picture Expert Group)に代表されるAVデータオブジェクトの例である。この例では、インデックス値として映像データの再生開始時刻を、例えば90[kHz]のチック値で格納する。ここでいう再生開始時刻とは、コンテンツの先頭からの経過時刻のことである。このインデックス値を参照することによりタイムサーチ機能を実現することができる。また、映像データが存在せず、音声データが存在するときには音声データの再生開始時刻をインデックス値として格納する。
【0022】
2つめは、MP3(MPEG1 Audio Layer−3)アルバムの1アルバムを1オブジェクトと見なした場合の例である。この例では、インデックス値に曲の順番を格納する。このインデックス値を参照することにより、アルバム内の任意の曲を選択することができる。また、その他にオブジェクトがJPEGなどの静止画である場合は静止画の画像番号、単なるデータ(プレーンデータ)である場合はデータ区切り番号といったオブジェクトのタイプに応じたサーチ制御情報をインデックス値として格納する。また、時系列でないデータのみをRAUに格納するとき、インデックス値及びインターバルの運用は拡張データのデータ内容に依存する。
【0023】
RAUペイロード120には、データが格納される。RAUペイロード120は、図5に示すように、12バイトのRAUデータオフセット150と、可変長のRAUデータフィールド160とから構成される。RAUデータフィールド160は、映像データフィールド170と、音声データフィールド170と、拡張データフィールド180とがこの順で配置されている。拡張データは、例えば、字幕データなどの映像データや音声データ以外のデータである。拡張データフィールド180を設けたことにより、映像データや音声データ以外の拡張データをRAUに挿入できる。また、RAUデータフィールド160に存在しないデータについては取り除いて考える。つまり、音声データのみ存在するオブジェクトでは、ビデオデータフィールド170及び拡張データフィールド190が存在しない。存在するデータの種別は、RAUデータオフセット150に記述される。
【0024】
なお、このファイルシステムでは、映像データフィールド160、音声データフィールド170、拡張データフィールド180に格納されるデータの内部データ構造については定義しない。内部データ構造は、このファイルシステムを適用するシステム、すなわちCODEC、エンコーダ及びデコーダに応じて個別に定義するものとする。
【0025】
RAUデータオフセット150は、4バイトの映像データオフセット151、4バイトの音声データオフセット152、4バイトの拡張データオフセット153から構成される。オフセットとは、映像データ、音声データ、拡張データの記録位置を示す。
【0026】
また、RAUデータオフセット150は、データの不在を示す。例えば、音楽データオフセット152の値を“FFFF FFFFh”のとして音楽データの不在を示し、その他の値であるときは音楽データの存在を示す。なお、このRAU100に映像データオフセット151と、音楽データオフセット152とを割り当てているのは、このファイルシステムを適用する装置がAVデータオブジェクトを記録再生するシステムを想定しているためである。RAUデータオフセット150の種類や個数は、システムが取り扱うオブジェクトの種類に応じて適宜変更してよい。
【0027】
また、RAUデータオフセット150のデータ構造を利用して、追加データを挿入することが可能である。追加データの挿入処理について説明する。図6において、上段は拡張データ追加前におけるRAUペイロード120のデータ構造、下段は拡張データ追加後におけるRAUペイロード120のデータ構造を示している。追加データを挿入する場合、RAUデータオフセット150と映像データフィールド170との間に追加データオフセット154を挿入し、拡張データフィールド190の後段に追加データフィールド191を挿入する。
【0028】
追加データの検出は、以下のように行う。RAUデータオフセット150は、12バイトの固定値であるため、RAUビデオデータのオフセット値は固定している。そのため、拡張データ追加前における映像データフィールドのオフセット値は拡張データオフセット153の(記録位置+1)に固定されている。追加データオフセットを映像データフィールド170の手前に配置すると、映像データフィールドのオフセット値は固定値と異なる値になる。そこで、映像データのオフセット値を基に追加データを検出することができる。
【0029】
この追加データ挿入方法では、挿入前のデータ構造を保持したまま追加データを挿入できることができる。この追加データ挿入方法で追加データを挿入すれば、機能追加前のシステムで記録されたデータを機能追加後のシステムでも再生できる。すなわち、追加データが存在すると新システムで記録されたオブジェクトであると識別でき、追加データが存在しないと旧システムで記録されたオブジェクトであると識別できる。これは、バックワードコンパチブルな機能拡張が可能であることを意味する。一方、ある制約条件のもとで、機能追加後のシステムで記録されたオブジェクトを機能追加前のシステムでも再生できるように設計することができる。ある制約条件とは、「追加された機能がなくても何らかの再生ができるように機能を追加した」ということを意味している。これが実現できればアップワードコンパチブルな機能拡張という。
【0030】
映像データフィールド170は、図7に示すように、映像スキュー171と映像データ格納フィールド172から構成されている。また、音声データフィールド180は、音声スキュー181と音声データ格納スキューから構成されている。映像スキュー171及び音声スキュー181は、映像データと音声データの再生開始時刻を同期させるデータである。映像スキュー171及び音声スキュー181の値は、インデックスと同一の次元を持ち、インデックス値からのオフセットとして定義される。すなわち、(インデックス値)+(スキュー値)が映像データや音声データの本来のインデックス値となる。インデックス値は、例えば、2の補数で表現される。
【0031】
スキュー値は、オブジェクトがAVデータである場合に特に意味をもつ。RAUの定義に従えば、RAUはサーチ単位である。AVデータオブジェクトにおけるサーチ単位は、映像データを中心として復号単位の整数倍である。サーチは再生時刻を指定することによって実現される。すなわち、インデックス値は、例えば、90[kHz]のチック値である。ここで問題となるのは、映像データと音声データが共に含まれている場合、RAUに含まれる映像データの再生期間と音声データ再生期間の境界は一般に一致しないことである。
【0032】
図8は、映像データの復号単位の再生期間と、音声データの復号単位の再生期間との関係を示している。図8において、図面上段のブロックが映像データの復号単位の再生期間を示し、図面下段のブロックが音声データの復号単位の再生期間を示している。この図では、例えば、映像復号単位#0の再生終了時刻は、音声復号単位#2の途中部分であるため、映像復号単位と音声復号単位との境界不一致が生じる。これは、映像復号単位と音声復号単位をどのように組み合わせてもRAUに含まれる映像データ及び音声データの再生期間を一致させることができないことを示唆している。この問題は、RAUを音声データの復号単位を中心としてRAUを構成しても生じる問題である。スキュー値は、映像データと音声データの再生開始時刻のずれを調整し、正確なタイムスタンプを演繹させる。なお、音声データと映像データの再生時刻にずれが生じない場合には、スキューフィールド171,181が存在しなくなるため、映像データ格納フィールド172は映像データフィールド170と等しくなり、音声データ格納フィールド182は音声データフィールド180と等しくなる。
【0033】
次いで、情報記録装置10及び情報再生装置20について説明する。図9は、情報記録装置10の構成を示す図である。情報記録装置10は、入力されたデータをRAU1に格納し記録媒体に記録する装置である。情報記録装置10に入力されるデータは、映像、音声、画像、テキストなど様々な種類のものがある。これらのデータには、データを再生する順序を示す順序情報が含まれている。例えば、映像や音声データではデータの再生時間が順序情報であり、静止画データではデータを生成した日時などが順序データである。このデータは、まず、多重分離部11に入力される。多重分離部11は、複数種類のデータが多重化されているデータを入力した場合、データを種類ごとに分離する。
【0034】
分割部12は、多重化分離部11において分離されたデータのうち同時に再生するデータを所定のサイズに分割する。例えば、映像データと音声データとが同時に再生されるデータでは、映像データの再生時間と、音声データの再生時間とが同じになるようにデータのサイズを分割する。また、映像データや音声データの他に字幕データなどを同時に再生する場合には、字幕データの再生時間が同じになるように分割する。
【0035】
記録制御部13は、分割部12によって分割された同時に再生するデータを一纏めとして記録媒体15に記録させる。このように一纏めにされたデータがRAU1である。記録制御部13は、RAU1を生成する際、オフセット、サイズ情報、インデックス値もデータと共に記録する。インデックス値は、上述したようにデータの再生順序を示す値である。また、記録制御部13は、RAUとRAUの記録位置を対応づけたRAUテーブル5を作成する。さらに、記録制御部13は、作成したRAUテーブル5の記録位置をコンテンツテーブル6に追加する。
【0036】
図10は、情報記録装置10の処理を示す図である。例えば、情報記録装置10にMPEGビデオデータが入力されると、多重分離部11は、映像データと音声データを分離する。映像データは、MPEGの復号化単位であるGOPが連続的に連なったデータである。主制御部は分割部に対して分割単位を指定し、分割部はこの指定に従いデータを分割する。この例では、5つ、3つ、3つの順にGOPを分割する。GOPの数は、システムの状態やデータ内容によって変化する。分割部12は、映像データを分割すると、映像データと音声データとが同じ再生時間となるように、音声データを分割する。分割部12は、分割した映像データ、音声データ、及び再生時間を記録制御部13に出力する。なお、映像データと音声データ以外のデータが存在する場合にはそのデータも出力する。
【0037】
そして、記録制御部13は、映像データ、音声データ、再生時間をRAU1に格納して記録媒体15に記録する。記録制御部13は、RAU1を生成する際、インデックスフィールドに再生時間を格納し、映像データオフセット、音声データオフセットに各データのサイズから算出したオフセット値を格納する。記録制御部13は、各RAU1の記録位置とインデックス値を記録したRAUテーブル5を作成し、記録媒体14に記録させる。
【0038】
主制御部14は、多重分離部11、分割部12、記録制御部13などの各ブロックの制御を行う。主制御部14は、入力データのフォーマットなどを多重分離部12に出力する。多重分離部12は、主制御部14から指定されたフォーマットを処理するマイクロコードを読み出し、入力データの多重分離を行う。なお、入力データが多重化されていない場合には、主制御部14は、多重分離部11の動作をOFFにする制御信号を出力する。
【0039】
主制御部14は、分割部12のデータ分割サイズを指定する。データを分割するサイズは、再生装置のサーチ機能、CODECのフォーマット、データ内容などによって変化する。
【0040】
次いで、図11を参照して情報再生装置20の構成について説明する。情報再生装置20は、記録媒体15に記録されたRAUを読み出し、元のデータのフォーマットに再構成する。
【0041】
RAU読出部21は、記録媒体に記録されたRAUを読み出す。RAU読出部21は、主制御部23からコンテンツ及びインデックス値を入力し、入力した値に対応するRAU1を読み出す。RAU読出部21は、図12に示すように、コンテンツテーブル6を基に指定されたコンテンツのRAUテーブル5を読み出す。そして、インデックス値からRAU1の記録位置を検索し、RAU1を読み出す。
【0042】
多重化部22は、オフセット値を基に読み出したRAUをデータの種類ごとに分割し、主制御部23から入力したデータのフォーマットで多重化する。
【0043】
次いで、他の構造をしたRAUを4つ説明する。ここで、RAUを説明順に第2のRAU、第3のRAU、第4のRAU、第5のRAUと名前を付けて説明する。
【0044】
第2のRAU200は、映像データのオフセットを含まないRAUである。第2のRAU200は、図13に示すように16バイトのRAUヘッダ210と、可変長のRAUペイロード220から構成され、RAUヘッダ210は12バイトのRAUインデックス230と、4バイトのRAUペイロード長240から構成される。RAUインデックス230は、8バイトのインデックス231と4バイトのインターバル232とから構成される。以上の構成は上述したRAU100と同一である。
【0045】
RAUペイロード260の先頭には、図14に示すように13バイトのRAUデータ属性250が配置され、RAUデータ属性250の後段にRAUデータフィールド260が配置されている。RAUデータ属性250は、1バイトのフラグフィールド251と、4バイトの音声データオフセット252、4バイトのオーディオスキュー253、4バイトの拡張データオフセット254から構成される。RAUデータ属性250には、映像データのオフセットが含まれない。これは、映像データフィールドの位置は、RAUヘッダ210の直後と決まっているので、映像データオフセットを特別に設けなくても映像データフィールドの位置が把握できるためである。なお、このRAU200は映像データのオフセットを含まないため追加データを挿入することは不可能である。
【0046】
フラグフィールド251は、ビットのオン/オフで存在するデータの種別を示している。図15は、フラグフィールド251の中身を示す図である。フラグフィールドは8ビットで構成され、先頭の3ビットはそれぞれ拡張データの有無と、音声データの有無と、映像データの有無とを示している。また、その他のビットは、予備用ビットとして確保されている。フラグフィールド251は、データの占有領域が少なくて済むという利点がある。
【0047】
第3のRAU300は、データ種別ごとのデータサイズとオフセットとを記録することにより、種別ごとのデータ抽出を可能にしている。例えば、映像データを抽出するときには、映像データオフセットに従って映像データフィールドの先頭へ移動し、映像データサイズ分のデータを抽出する。同様に、音声データや拡張データもRAUから抽出することができる。
【0048】
図16〜図17を参照して第3のRAU300の構造について説明する。RAU300は、図16に示すように12バイトのRAUヘッダ310と可変長のRAUペイロード320とから構成される。RAUヘッダ310は、8バイトのインデックス330と4バイトのインターバル340とから構成される。
【0049】
RAUペイロード320は、図17に示すように12バイトのRAUデータオフセット350と、可変長の映像データフィールド360と、可変長の音声データフィールド370と、可変長の拡張データフィールド380から構成される。RAUオフセット350は、映像データオフセット351と、音声データオフセット352と、拡張データオフセット353とから構成される。RAUオフセット350には、データ種別ごとのオフセット値が格納される。以上の構成は、RAU100と同一である。第3のRAU300は、データフィールド360,370,380の構成が異なる。
【0050】
映像データフィールド360は、図18に示すように4バイトの映像データ長361と、4バイトの映像データスキュー362と、映像データ長361に指定されバイト数の映像データが格納される映像データ格納フィールド363とから構成される。映像データスキュー362は、映像データの再生時刻を算出するためのスキュー値が格納されている。映像データの再生時刻は、インデックス330に記録された再生時刻情報と、スキュー値の和となる。スキュー値は、例えば、90[kHz]のチック値で記述される。
【0051】
音声データフィールド370は、図19に示すように4バイトの音声データ長371、4バイトの音声データスキュー372、音声データ長371に指定されたバイト数の音声データ格納フィールド373から構成される。拡張データフィールド380は、図20に示すように拡張データ長381、拡張データスキュー382、拡張データ格納フィールド383から構成される。データ長371,381やスキュー372,382に格納されるデータは、映像データ長361や映像スキュー361に格納されたデータと同様の意味を持つため、その説明を省略する。また、拡張データスキュー382及び拡張データ格納フィールド383の運用については特に記載しておらず、適用システム上で自由に定義可能である。
【0052】
また、第3のRAUでは、オフセットとデータ種別ごとのサイズ情報を記録しているので、データフィールドの並びが限定されない。例えば、図21に示すように、映像データフィールド360、音声データフィールド370、拡張データフィールド380という順にデータフィールドを並べてもよいし、音声データフィールド370、映像データフィールド360、拡張データフィールド380という順にデータフィールドを並べてもよい。
【0053】
次いで、第4のRAUについて説明する。図22〜図26は第4のRAUの構成を示す。第4のRAU400は、図22に示すように48バイトのRAUヘッダ410と可変長のRAUペイロード420とから構成される。RAUヘッダ410は、8バイトのRAUインデックス430、4バイトのインターバル440、12バイトのRAUオフセット450、4バイトのスキュー460、12バイトのデータ長とから構成される。RAUインデックス430とインターバル440には、既に説明したインデックス値とインターバルが格納される。
【0054】
RAUオフセット450は、図23に示すように映像データオフセット451、音声データオフセット452、拡張データオフセット453とから構成される。RAUオフセット450には、既に説明したオフセット値が格納される。
【0055】
スキュー460は、図24に示すように映像スキュー461、音声スキュー462、拡張データスキュー463とから構成される。スキュー460には、既に説明したスキュー値が格納される。
【0056】
データ長470は、図25に示すように映像データ長471、音声データ長472、拡張データ長473とから構成される。データ長470には、データ種別ごとのデータ長が格納される。
【0057】
RAUペイロード420は、図26に示すように映像データ格納フィールド421、音声データ格納フィールド422、拡張データ格納フィールド423とから構成される。映像データ格納フィールド421には映像データ長471で指定されたバイト数の映像データが格納され、音声データ格納フィールド422には音声データ長472で指定されたバイト数の音声データが格納される。RAUペイロード420を構成するデータ格納フィールドは省略可能である。
【0058】
第4のRAUは、第3のRAUと同様にデータ種別ごとのデータサイズとオフセットとを格納するため、データ種別ごとのデータ抽出が可能である。また、同様の理由により、第4のRAUは、データフィールドの並びが限定されない。例えば、図21に示したように、映像データフィールド、音声データフィールド、拡張データフィールドという順にデータフィールドを並べてもよいし、音声データフィールド、映像データフィールド、拡張データフィールドという順にデータフィールドを並べてもよい。
【0059】
次いで、第5のRAUについて説明する。第5のRAU500は、図27に示すように可変長の映像データフィールド510、可変長の音声データフィールド520、可変長の拡張データフィールド530とから構成される。これら映像データフィールド510、音声データフィールド520、拡張データフィールド530は、各データ種別のデータを記録する必要がない場合には省略することができる。
【0060】
映像データフィールド510は、図28に示すように1バイトの映像データコード511、4バイトの映像データ長512、8バイトの映像インデックス513、4バイトの映像インターバル514、可変長の映像データ格納フィールド515とから構成される。
【0061】
映像データコード511は、これ以降に続くフィールドが映像データフィールドであることを表す識別子である。音声データフィールド520の先頭や拡張データフィールド530の先頭にも同様の音声データコード521及び拡張データコード531が存在する。この識別子を利用してフィールドのデータ種別を識別する。この識別子が存在するために映像データフィールド510、音声データフィールド520、拡張データフィールド530の各フィールドを省略することができる。さらにフィールドの格納順序も特に規定されなくなるため、システムに適用しやすい順序でフィールドを配置することができる。
【0062】
映像インデックス513には、映像データのサーチ制御情報が格納される。サーチ制御情報は、所望の映像をサーチするときのキーとなるデータである。映像データのインデックス値は、例えば、映像データの再生時刻である。再生時間は、90[kHz]のチック値などで表現される。また、映像インターバル514には、映像データの再生時間が格納される。
【0063】
音声データフィールド520は、図29に示すように1バイトの音声データコード521、4バイトの音声データ長522、8バイトの音声インデックス523、4バイトの音声インターバル524、音声データ長522に指定されたバイト数の音声データ格納フィールド525とから構成される。音声データフィールド520の構成は、映像データフィールド520と略同じである。説明は省略する。
【0064】
また、拡張データフィールド530は、図30に示すように1バイトの拡張データコード531、4バイトの拡張データ長532、8バイトの拡張データインデックス533、4バイトの拡張データインターバル534、拡張データ長532に指定されたバイト数の拡張データ格納フィールド535とから構成される。拡張データフィールド530は、拡張データインデックス533及び拡張データインターバル534の意味が音声データフィールド510と異なる。拡張データインデックス533及び拡張データインターバル544は、フィールドに格納するデータが特に規定されておらず、適用システム上で自由に定義可能である。
【0065】
RAU500の各データフィールドには、それぞれ映像データコード511、音声データコード521及び拡張データコード531が先頭に付加されている。この識別子によりフィールドが映像データフィールド510か音声データフィールド520か拡張データフィールドかを識別することができる。また、識別子に続いてデータ長が格納されているため、データ長を基にフィールドの終了位置を認識することができる。フィールドの終了位置が認識できれば、現在読み込んだフィールドの次のフィールドを読み込むことができ、次のフィールドの処理が可能となる。識別子によってデータ種別を識別し、データ長によってデータ格納フィールドのサイズが認識できるため、データの格納順序を特に規定しなくても希望のデータをRAUから抽出することができる。第5のRAU500は、第3のRAU300や第4のRAU400と同様に図21に示すようにデータ格納フィールドの配置を変更することができる。また、同様の理由により、データ格納フィールドを省略することも可能である。
【0066】
以上説明したように、このファイルシステムの最小の構成要素となるRAUは、RAUのサーチ制御情報であるインデックスを含んでいる。サーチ制御情報は、再生時間や曲順など様々であり、RAUに格納するオブジェクトの種類によって変化する。例えば、映像音声データがオブジェクトであれば映像音声データの再生時間がサーチ制御情報となり、音楽アルバムがオブジェクトであれば音楽アルバムの曲順がサーチ制御情報となる。このファイルシステムでは、サーチ情報の種類を特に限定しないため、様々な種類のデータを統一的に管理することができる。
【0067】
また、このファイルシステムでは、RAUの記録位置を示すRAUテーブルを備えている。RAUテーブルは、RAUに記述されたサーチ制御情報とRAUの記録位置とを関連付けて記録している。RAUテーブルを生成する際、連続する複数のRAUをグループ化し、グループ化の先頭のRAUのサーチ制御情報をRAUテーブルに記録する。こうすることにより、RAUテーブルのサイズを低減する。
【0068】
さらに、このファイルシステムでは、映像や音楽を格納するフィールドのほかに映像や音楽以外のデータを格納するための拡張フィールドを設けている。そのため、映像や音楽に付随する文字情報や字幕情報などをRAUに格納し、統一的に管理することができる。
【0069】
また、このファイルシステムでは、映像や音楽を格納するフィールドを直接備えているわけではなく、これらのフィールドのオフセットを示すフィールドを備えている。そのため、映像、音楽、その他の情報を格納するフィールドを省略することができる。
【0070】
また、このファイルシステムでは、ヘッダを構成するフィールドが全て固定長であるため、映像データ格納フィールドのオフセットを基にヘッダと映像データ格納フィールドとの間に追加データが挿入されたか否かを判別することができる。これにより、追加データを挿入することができる。
【0071】
なお、本発明は、本実施の形態に限定されるものではなく、本発明の変形、改良は本発明に含まれるものとする。例えば、上記実施の形態では、フィールドのデータ長を詳述したが、上記データ長の値は制限されるものではない。但し、データ長を明確化したフィールドは、固定長であることが望ましい。
【0072】
また、RAUを構成するフィールドの順序も本実施の形態に記載された順序に制限されるものではない。但し、固定長のフィールドはRAUの先頭、可変長のフィールドはデータの後端に設けることが望ましい。
【0073】
【発明の効果】
本発明によれば、再生順序が同一である複数のデータを一つのパケットに格納し、複数のデータを統一的に扱う。さらに、本発明によれば、上記パケットの記録領域と再生情報とを関連付けて記録したことにより、複数のデータを含んだパケットにランダムにアクセスすることができる。
【0074】
本発明によれば、ストリーミングデータの再生時間情報、楽曲のアルバムデータの曲順情報、静止画データの撮影順序情報などさまざまなデータの再生順序情報を単に再生情報としてパケットに格納し、統一的に管理することができる。
【0075】
本発明によれば、特に、映像データと音声データを個別のフィールドに格納するため、AVデータが管理し易い構造になっている。また、本発明によれば、さらに映像データと音声データとを格納するフィールドを設け、格納できるデータの拡張性を設けている。
【図面の簡単な説明】
【図1】RAUの基本構成を示す図である。
【図2】RAUテーブルの構成を示す図である。
【図3】コンテンツテーブルの構成を示す図である。
【図4】第1のRAUの構造を示す図である。
【図5】第1のRAUの構造を示す図である。
【図6】追加データ挿入前後のRAUの構成を示す図である。
【図7】映像データフィールド及び音声データフィールドの内部構成を示す図である。
【図8】映像復号単位と音声復号単位の再生時間の不一致及び映像データと音声データの分割方法を示す図である。
【図9】情報記録装置の構成を示す図である。
【図10】情報記録装置の処理の一例を示す図である。
【図11】情報再生装置の構成を示す図である。
【図12】情報再生装置の処理の一例を示す図である。
【図13】第2のRAUの構成を示す図である。
【図14】第2のRAUの構成を示す図である。
【図15】フラグフィールドの構成を示す図である。
【図16】第3のRAUの構成を示す図である。
【図17】RAUデータオフセットの構成を示す図である。
【図18】映像データフィールドの構成を示す図である。
【図19】音声データフィールドの構成を示す図である。
【図20】拡張データフィールドの構成を示す図である。
【図21】データフィールドの順序のバリエーションを示す図である。
【図22】第4のRAUの構成を示す図である。
【図23】RAUオフセットの構成を示す図である。
【図24】スキューの構成を示す図である。
【図25】データ長の構成を示す図である。
【図26】RAUペイロードの構成を示す図である。
【図27】第5のRAUの構成を示す図である。
【図28】映像データフィールドの構成を示す図である。
【図29】音声データフィールドの構成を示す図である。
【図30】拡張データフィールドの構成を示す図である。
【符号の説明】
1 RAU、2 インデックス、3 オフセット、4 データ、5 RAUテーブル、6 コンテンツテーブル、10 情報記録装置、11 多重分離部、12分割部、13 記録制御部、14 主制御部、15 記録媒体、20 情報再生装置、21 RAU読出部、22 多重化部、23 主制御部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information processing apparatus, an information processing method, and a recording medium, and in particular, to an information processing apparatus and an information processing method for converting data having a continuous relationship into a manageable data structure, The present invention relates to an information processing apparatus that searches for and reads data, and a recording medium that records data having the above data structure.
[0002]
[Prior art]
As the number of video / audio contents transmitted in a digital format or distributed as a package increases, AV devices for recording and reproducing the digital video / audio contents are becoming widespread. Examples of the recording medium include a magnetic disk, an optical disk, and a magnetic tape. In particular, for a recording medium having random accessibility, not only the video / audio content is simply recorded and reproduced as it is, but also special reproduction utilizing the random accessibility is often implemented. DVD players, DVD recorders, and hard disk recorders are typical examples of such systems.
[0003]
In order to realize special playback using random accessibility, it is necessary to not only record video and audio content just like a file handled by a personal computer, but also analyze the digital video and audio data and realize special playback. There is a need for a mechanism to manage it in different units.
[0004]
The video and audio data is data that is continuously reproduced. 2. Description of the Related Art Conventionally, there is an information processing method that focuses on the reproduction time of video and audio data, collectively packetizes the video and audio data in units of the reproduction time, and implements special reproduction using random access of the video and audio data.
[0005]
[Problems to be solved by the invention]
However, the conventional information processing method manages only video and audio data, and it is difficult to manage data other than video and audio data such as subtitle information and text information.
[0006]
In addition, in the conventional information processing method, it is difficult to manage data that cannot be set in units of time, such as text data, because the reproduction time is set in units of access.
[0007]
Further, the conventional information processing method does not have a function of adding new data to the packetized data, and thus cannot cope with a request for a future field addition of data.
[0008]
The present invention has been made in view of the above problems, and has an information processing method and an information processing apparatus for integrally managing various types of data, and a recording medium on which data that can be uniformly managed is recorded. The purpose is to provide.
[0009]
[Means for Solving the Problems]
In order to achieve the above-described object, an information processing apparatus according to the present invention includes: an input unit configured to input a plurality of series of data including reproduction information different from each other and designating a reproduction order; A data dividing unit for dividing the data divided based on the reproduction information, a packetizing unit for collecting data to be reproduced at the same time and packetizing the reproduction information as search information, Recording area recording means for recording the retrieved packet search information and the recording area of the packet in association with each other.
[0010]
Further, the information processing apparatus according to the present invention comprises: a packet input means for inputting a packet including different data to be simultaneously reproduced and reproduction information designating a reproduction order of the data; And a data search unit for searching for a desired packet using the search information as search information.
[0011]
Further, in the information processing method according to the present invention, an input step of inputting a plurality of series of data including reproduction information different from each other and designating respective reproduction orders, and dividing each of the different data into data of a predetermined size. The method includes a data dividing step and a packetizing step of combining data to be reproduced simultaneously among the data divided based on the reproduction information into a unit and packetizing the reproduction information as search information.
[0012]
Further, the recording medium according to the present invention groups packets including different data to be reproduced simultaneously and reproduction information designating the reproduction order of the data, and groups some of the packets. The reproduction information of the early packet and a table in which the recording area of the packet is associated are recorded.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an information recording apparatus and an information reproducing apparatus to which the present invention is applied will be described with reference to the drawings. An information recording device and an information reproducing device to which the present invention is applied are devices that manage data according to the same file system. This file system stores data in a packet called RAU. The RAU is a packet that stores all types of data such as video, audio, and text. In this file system, data of the same reproduction order is stored in one RAU even if the data is of different types. The RAU 1 has a field 2 for recording an index value indicating a reproduction order as shown in FIG.
[0014]
The RAU 1 has an offset field 3 indicating a data storage position. The offset field 3 is provided with the number of data types stored in the RAU + 1. For example, when AV data is stored in the RAU, the RAU offset field 3 includes an offset field for video data, an offset field for audio data, and an offset field for extension data that is data other than video data and audio data. In the RAU1, a data storage position can be defined at any time in the offset field 3, so that variable-length data can be stored. Further, the offset field is a fixed field, and when no data exists, data indicating absence of data is stored instead of the recording position.
[0015]
This file system distributes and records contents in packets called RAUs (Random Access Units). A list of RAUs constituting the content is recorded in the RAU table 5.
[0016]
As shown in FIG. 2, the RAU table 5 records the recording start position of the RAU constituting the content, the size of the RAU, time information of the data recorded in the RAU, and the like.
[0017]
The content table 6 stores content attribute information. As shown in FIG. 3, the attribute information of the content includes the name of the content and the recording date and time of the content. The content table records the recording position information of the RAU table. The information reproducing device can access a desired RAU with reference to the content table and the RAU table.
[0018]
RAU is a packet that stores data. The RAU stores, in addition to the data, an index value that is search control information of the data. The index value is information indicating the RAU access order. The index value differs depending on the search function of the information recording device and the information reproducing device, the format of the CODEC, and the characteristics of the encoder and the decoder.
[0019]
Hereinafter, a specific configuration of the RAU1 will be described with reference to the drawings. The RAU 100 includes a 16-byte RAU header 110 and a variable-length RAU payload 120 as shown in FIG. The RAU payload 120 stores data such as video data and audio data.
[0020]
The RAU header 110 is composed of a 12-byte RAU index 130 and 4-byte RAU payload size information 140. The RAU index 130 includes an index 131 of 8 bytes and an interval 132 of 4 bytes. The index 131 stores an index value that is object order information, and the interval 132 stores a difference value between the RAU index value and the next RAU index value, that is, a section length.
[0021]
The index value differs depending on the search function of the information recording device and the information reproducing device, the format of the CODEC, and the characteristics of the encoder and the decoder. Here are some typical examples of index values. The first example is an example of an AV data object represented by MPEG (Moving Picture Expert Group). In this example, the reproduction start time of the video data is stored as an index value, for example, as a tick value of 90 [kHz]. Here, the reproduction start time is an elapsed time from the beginning of the content. The time search function can be realized by referring to this index value. When no video data exists and audio data exists, the reproduction start time of the audio data is stored as an index value.
[0022]
The second example is a case where one album of an MP3 (MPEG1 Audio Layer-3) album is regarded as one object. In this example, the order of the music is stored in the index value. By referring to this index value, any song in the album can be selected. In addition, if the object is a still image such as JPEG, search control information corresponding to the type of the object, such as the image number of the still image, and if the object is simple data (plane data), is stored as an index value. . When only non-time-series data is stored in the RAU, the operation of the index value and the interval depends on the data content of the extension data.
[0023]
The RAU payload 120 stores data. The RAU payload 120 is composed of a 12-byte RAU data offset 150 and a variable-length RAU data field 160 as shown in FIG. In the RAU data field 160, a video data field 170, an audio data field 170, and an extension data field 180 are arranged in this order. The extension data is, for example, data other than video data and audio data such as subtitle data. By providing the extension data field 180, extension data other than video data and audio data can be inserted into the RAU. Also, data that does not exist in the RAU data field 160 will be removed and considered. That is, in an object in which only audio data exists, the video data field 170 and the extension data field 190 do not exist. The type of existing data is described in the RAU data offset 150.
[0024]
In this file system, the internal data structure of the data stored in the video data field 160, the audio data field 170, and the extension data field 180 is not defined. The internal data structure is individually defined according to the system to which the file system is applied, that is, the CODEC, the encoder, and the decoder.
[0025]
The RAU data offset 150 includes a 4-byte video data offset 151, a 4-byte audio data offset 152, and a 4-byte extension data offset 153. The offset indicates a recording position of video data, audio data, and extension data.
[0026]
The RAU data offset 150 indicates the absence of data. For example, the value of the music data offset 152 is “FFFF FFFFh” to indicate the absence of music data, and any other value indicates the presence of music data. The reason why the video data offset 151 and the music data offset 152 are assigned to the RAU 100 is that a system to which this file system is applied records and reproduces an AV data object is assumed. The type and number of the RAU data offset 150 may be changed as appropriate according to the type of object handled by the system.
[0027]
Further, it is possible to insert additional data using the data structure of the RAU data offset 150. The process of inserting additional data will be described. In FIG. 6, the upper part shows the data structure of the RAU payload 120 before the extension data is added, and the lower part shows the data structure of the RAU payload 120 after the extension data is added. When inserting additional data, an additional data offset 154 is inserted between the RAU data offset 150 and the video data field 170, and an additional data field 191 is inserted after the extension data field 190.
[0028]
Detection of additional data is performed as follows. Since the RAU data offset 150 is a fixed value of 12 bytes, the offset value of the RAU video data is fixed. Therefore, the offset value of the video data field before the extension data is added is fixed to (recording position + 1) of the extension data offset 153. When the additional data offset is arranged before the video data field 170, the offset value of the video data field becomes a value different from the fixed value. Therefore, additional data can be detected based on the offset value of the video data.
[0029]
According to this additional data insertion method, it is possible to insert additional data while maintaining the data structure before insertion. If the additional data is inserted by this additional data insertion method, data recorded in the system before the addition of the function can be reproduced in the system after the addition of the function. That is, if additional data exists, it can be identified as an object recorded in the new system, and if no additional data exists, it can be identified as an object recorded in the old system. This means that backward compatible function expansion is possible. On the other hand, it is possible to design such that an object recorded in the system after the addition of the function can be reproduced in the system before the addition of the function under a certain constraint condition. A certain constraint means that "a function has been added so that some playback can be performed without the added function." If this can be achieved, it is called an upward compatible function expansion.
[0030]
The video data field 170 includes a video skew 171 and a video data storage field 172, as shown in FIG. The audio data field 180 includes an audio skew 181 and an audio data storage skew. The video skew 171 and the audio skew 181 are data for synchronizing the reproduction start times of the video data and the audio data. The values of the video skew 171 and the audio skew 181 have the same dimensions as the index, and are defined as offsets from the index value. That is, (index value) + (skew value) is the original index value of video data and audio data. The index value is represented, for example, by two's complement.
[0031]
The skew value is particularly significant when the object is AV data. According to the definition of RAU, RAU is a search unit. The search unit in the AV data object is an integral multiple of the decoding unit centering on the video data. The search is realized by designating the reproduction time. That is, the index value is, for example, a tick value of 90 [kHz]. The problem here is that when video data and audio data are both included, the boundary between the reproduction period of the video data included in the RAU and the audio data reproduction period generally does not match.
[0032]
FIG. 8 shows a relationship between a reproduction period of a decoding unit of video data and a reproduction period of a decoding unit of audio data. In FIG. 8, the upper block in the drawing shows the reproduction period of the decoding unit of video data, and the lower block in the drawing shows the reproduction period of the decoding unit of audio data. In this figure, for example, since the reproduction end time of the video decoding unit # 0 is in the middle of the audio decoding unit # 2, a boundary mismatch between the video decoding unit and the audio decoding unit occurs. This suggests that the reproduction periods of the video data and the audio data included in the RAU cannot be matched no matter how the video decoding unit and the audio decoding unit are combined. This problem is a problem that arises even if the RAU is configured with the audio data decoding unit as the center. The skew value adjusts a difference between the reproduction start times of the video data and the audio data, and deduces an accurate time stamp. If there is no difference between the reproduction times of the audio data and the video data, the skew fields 171 and 181 do not exist, so that the video data storage field 172 becomes equal to the video data field 170 and the audio data storage field 182 becomes It is equal to the audio data field 180.
[0033]
Next, the information recording device 10 and the information reproducing device 20 will be described. FIG. 9 is a diagram illustrating a configuration of the information recording device 10. The information recording device 10 is a device that stores input data in the RAU 1 and records the data on a recording medium. There are various types of data input to the information recording device 10, such as video, audio, image, and text. These data include order information indicating the order in which the data is reproduced. For example, in video and audio data, the data reproduction time is sequence information, and in still image data, the date and time when the data was generated is sequence data. This data is first input to the demultiplexing unit 11. When inputting data in which a plurality of types of data are multiplexed, the demultiplexing unit 11 separates the data for each type.
[0034]
The division unit 12 divides data to be reproduced simultaneously among the data separated by the demultiplexing unit 11 into a predetermined size. For example, for data in which video data and audio data are reproduced simultaneously, the data size is divided such that the reproduction time of the video data and the reproduction time of the audio data are the same. When simultaneously reproducing subtitle data in addition to video data and audio data, division is performed so that the reproduction time of the subtitle data is the same.
[0035]
The recording control unit 13 causes the data to be reproduced simultaneously divided by the dividing unit 12 to be collectively recorded on the recording medium 15. The data grouped in this way is RAU1. When generating the RAU1, the recording control unit 13 also records the offset, the size information, and the index value together with the data. The index value is a value indicating the data reproduction order as described above. Further, the recording control unit 13 creates the RAU table 5 in which the RAUs are associated with the recording positions of the RAUs. Further, the recording control unit 13 adds the recording position of the created RAU table 5 to the content table 6.
[0036]
FIG. 10 is a diagram illustrating the processing of the information recording device 10. For example, when MPEG video data is input to the information recording device 10, the demultiplexer 11 separates video data and audio data. The video data is data in which GOPs, which are MPEG decoding units, are continuously connected. The main control unit designates a division unit for the division unit, and the division unit divides the data according to the designation. In this example, the GOP is divided in order of five, three, and three. The number of GOPs varies depending on the state of the system and data contents. When dividing the video data, the dividing unit 12 divides the audio data so that the video data and the audio data have the same reproduction time. The division unit 12 outputs the divided video data, audio data, and reproduction time to the recording control unit 13. If data other than video data and audio data exists, the data is also output.
[0037]
Then, the recording control unit 13 stores the video data, the audio data, and the reproduction time in the RAU 1 and records them on the recording medium 15. When generating the RAU1, the recording control unit 13 stores the reproduction time in the index field, and stores the offset value calculated from the size of each data in the video data offset and the audio data offset. The recording control unit 13 creates the RAU table 5 in which the recording position and the index value of each RAU 1 are recorded, and causes the recording medium 14 to record the RAU table 5.
[0038]
The main control unit 14 controls each block such as the demultiplexing unit 11, the division unit 12, and the recording control unit 13. The main control unit 14 outputs the format of the input data and the like to the demultiplexing unit 12. The demultiplexing unit 12 reads out a microcode for processing the format specified by the main control unit 14, and demultiplexes the input data. When the input data is not multiplexed, the main control unit 14 outputs a control signal for turning off the operation of the demultiplexing unit 11.
[0039]
The main control unit 14 specifies a data division size of the division unit 12. The size at which the data is divided varies depending on the search function of the playback device, the format of the CODEC, the data content, and the like.
[0040]
Next, the configuration of the information reproducing apparatus 20 will be described with reference to FIG. The information reproducing device 20 reads the RAU recorded on the recording medium 15 and reconstructs the RAU into the original data format.
[0041]
The RAU reading unit 21 reads the RAU recorded on the recording medium. The RAU reading unit 21 receives the content and the index value from the main control unit 23, and reads out the RAU1 corresponding to the input value. The RAU reading unit 21 reads the RAU table 5 of the designated content based on the content table 6, as shown in FIG. Then, the recording position of RAU1 is searched from the index value, and RAU1 is read.
[0042]
The multiplexing unit 22 divides the RAU read based on the offset value for each type of data, and multiplexes the data in the format of the data input from the main control unit 23.
[0043]
Next, four RAUs having other structures will be described. Here, the RAUs will be described with names of a second RAU, a third RAU, a fourth RAU, and a fifth RAU in the order of description.
[0044]
The second RAU 200 is an RAU that does not include the offset of the video data. As shown in FIG. 13, the second RAU 200 is composed of a 16-byte RAU header 210 and a variable-length RAU payload 220. The RAU header 210 is composed of a 12-byte RAU index 230 and a 4-byte RAU payload length 240. Be composed. The RAU index 230 includes an 8-byte index 231 and a 4-byte interval 232. The above configuration is the same as RAU 100 described above.
[0045]
As shown in FIG. 14, a 13-byte RAU data attribute 250 is arranged at the beginning of the RAU payload 260, and an RAU data field 260 is arranged after the RAU data attribute 250. The RAU data attribute 250 includes a 1-byte flag field 251, a 4-byte audio data offset 252, a 4-byte audio skew 253, and a 4-byte extended data offset 254. The RAU data attribute 250 does not include the offset of the video data. This is because the position of the video data field is determined immediately after the RAU header 210, so that the position of the video data field can be grasped without specially providing a video data offset. Since the RAU 200 does not include the offset of the video data, it is impossible to insert additional data.
[0046]
The flag field 251 indicates the type of data that exists when bits are turned on / off. FIG. 15 is a diagram showing the contents of the flag field 251. The flag field is composed of 8 bits, and the first 3 bits indicate presence / absence of extension data, presence / absence of audio data, and presence / absence of video data, respectively. The other bits are reserved as spare bits. The flag field 251 has an advantage that an occupied area of data is small.
[0047]
The third RAU 300 records data size and offset for each data type, thereby enabling data extraction for each type. For example, when extracting video data, the video data is moved to the beginning of the video data field according to the video data offset, and data corresponding to the video data size is extracted. Similarly, audio data and extension data can be extracted from the RAU.
[0048]
The structure of the third RAU 300 will be described with reference to FIGS. The RAU 300 includes a 12-byte RAU header 310 and a variable-length RAU payload 320 as shown in FIG. The RAU header 310 includes an 8-byte index 330 and a 4-byte interval 340.
[0049]
As shown in FIG. 17, the RAU payload 320 includes a 12-byte RAU data offset 350, a variable-length video data field 360, a variable-length audio data field 370, and a variable-length extension data field 380. The RAU offset 350 includes a video data offset 351, an audio data offset 352, and an extension data offset 353. The RAU offset 350 stores an offset value for each data type. The above configuration is the same as that of the RAU 100. The third RAU 300 differs in the configuration of the data fields 360, 370, 380.
[0050]
As shown in FIG. 18, the video data field 360 includes a video data length 361 of 4 bytes, a video data skew 362 of 4 bytes, and a video data storage field storing video data of the number of bytes specified by the video data length 361. 363. The video data skew 362 stores a skew value for calculating a playback time of video data. The playback time of the video data is the sum of the playback time information recorded in the index 330 and the skew value. The skew value is described by, for example, a tick value of 90 [kHz].
[0051]
As shown in FIG. 19, the audio data field 370 includes an audio data length 371 of 4 bytes, an audio data skew 372 of 4 bytes, and an audio data storage field 373 of the number of bytes specified by the audio data length 371. The extension data field 380 includes an extension data length 381, an extension data skew 382, and an extension data storage field 383 as shown in FIG. The data stored in the data lengths 371 and 381 and the skews 372 and 382 have the same meaning as the data stored in the video data length 361 and the video skew 361, and a description thereof will be omitted. Further, the operation of the extended data skew 382 and the extended data storage field 383 are not particularly described, and can be freely defined on the application system.
[0052]
In the third RAU, since the offset and the size information for each data type are recorded, the arrangement of the data fields is not limited. For example, as shown in FIG. 21, the data fields may be arranged in the order of the video data field 360, the audio data field 370, and the extension data field 380, or the data fields may be arranged in the order of the audio data field 370, the video data field 360, and the extension data field 380. Fields may be arranged.
[0053]
Next, the fourth RAU will be described. 22 to 26 show the configuration of the fourth RAU. The fourth RAU 400 includes a 48-byte RAU header 410 and a variable-length RAU payload 420 as shown in FIG. The RAU header 410 includes an RAU index 430 of 8 bytes, an interval 440 of 4 bytes, a RAU offset 450 of 12 bytes, a skew 460 of 4 bytes, and a data length of 12 bytes. The RAU index 430 and the interval 440 store the index values and the intervals described above.
[0054]
The RAU offset 450 includes a video data offset 451, an audio data offset 452, and an extension data offset 453, as shown in FIG. The RAU offset 450 stores the already described offset value.
[0055]
The skew 460 includes a video skew 461, an audio skew 462, and an extended data skew 463 as shown in FIG. The skew 460 stores the skew value already described.
[0056]
The data length 470 includes a video data length 471, an audio data length 472, and an extended data length 473 as shown in FIG. The data length 470 stores the data length for each data type.
[0057]
As shown in FIG. 26, the RAU payload 420 includes a video data storage field 421, an audio data storage field 422, and an extension data storage field 423. The video data storage field 421 stores video data of the number of bytes specified by the video data length 471, and the audio data storage field 422 stores audio data of the number of bytes specified by the audio data length 472. The data storage field constituting the RAU payload 420 can be omitted.
[0058]
The fourth RAU stores a data size and an offset for each data type, as in the third RAU, so that data extraction for each data type is possible. For the same reason, the arrangement of the data fields in the fourth RAU is not limited. For example, as shown in FIG. 21, the data fields may be arranged in the order of the video data field, the audio data field, and the extension data field, or the data fields may be arranged in the order of the audio data field, the video data field, and the extension data field. .
[0059]
Next, the fifth RAU will be described. The fifth RAU 500 includes a variable-length video data field 510, a variable-length audio data field 520, and a variable-length extension data field 530, as shown in FIG. These video data field 510, audio data field 520, and extension data field 530 can be omitted when it is not necessary to record data of each data type.
[0060]
As shown in FIG. 28, the video data field 510 includes a 1-byte video data code 511, a 4-byte video data length 512, an 8-byte video index 513, a 4-byte video interval 514, and a variable-length video data storage field 515. It is composed of
[0061]
The video data code 511 is an identifier indicating that a field that follows is a video data field. A similar audio data code 521 and extended data code 531 exist at the head of the audio data field 520 and the head of the extension data field 530. The data type of the field is identified using this identifier. Since this identifier exists, each field of the video data field 510, the audio data field 520, and the extension data field 530 can be omitted. Further, since the storage order of the fields is not particularly specified, the fields can be arranged in an order that is easy to apply to the system.
[0062]
The video index 513 stores search control information of video data. The search control information is data that is a key when searching for a desired video. The index value of the video data is, for example, the playback time of the video data. The reproduction time is expressed by a tick value of 90 [kHz] or the like. In the video interval 514, a reproduction time of video data is stored.
[0063]
The audio data field 520 is designated by an audio data code 521 of 1 byte, an audio data length 522 of 4 bytes, an audio index 523 of 8 bytes, an audio interval 524 of 4 bytes, and an audio data length 522 as shown in FIG. And an audio data storage field 525 of the number of bytes. The configuration of the audio data field 520 is substantially the same as the video data field 520. Description is omitted.
[0064]
As shown in FIG. 30, the extended data field 530 includes a 1-byte extended data code 531, a 4-byte extended data length 532, an 8-byte extended data index 533, a 4-byte extended data interval 534, and an extended data length 532. And the extended data storage field 535 of the number of bytes designated in the. The extension data field 530 differs from the audio data field 510 in the meaning of the extension data index 533 and the extension data interval 534. Regarding the extended data index 533 and the extended data interval 544, data to be stored in the field is not particularly defined, and can be freely defined on the application system.
[0065]
A video data code 511, an audio data code 521, and an extension data code 531 are added to the head of each data field of the RAU 500, respectively. With this identifier, it is possible to identify whether the field is a video data field 510, an audio data field 520, or an extension data field. Since the data length is stored after the identifier, the end position of the field can be recognized based on the data length. If the end position of the field can be recognized, the field next to the currently read field can be read, and the processing of the next field can be performed. Since the data type is identified by the identifier and the size of the data storage field can be recognized by the data length, desired data can be extracted from the RAU without particularly specifying the data storage order. The fifth RAU 500 can change the arrangement of the data storage fields as shown in FIG. 21 similarly to the third RAU 300 or the fourth RAU 400. For the same reason, the data storage field can be omitted.
[0066]
As described above, the RAU that is the smallest component of the file system includes an index that is RAU search control information. The search control information is various, such as a reproduction time and a music order, and changes depending on the type of the object stored in the RAU. For example, if the video / audio data is an object, the reproduction time of the video / audio data is the search control information, and if the music album is an object, the order of the music albums is the search control information. In this file system, since the type of search information is not particularly limited, various types of data can be uniformly managed.
[0067]
Further, this file system includes an RAU table indicating the recording position of the RAU. The RAU table records search control information described in the RAU in association with the recording position of the RAU. When generating the RAU table, a plurality of continuous RAUs are grouped, and search control information of the RAU at the head of the grouping is recorded in the RAU table. By doing so, the size of the RAU table is reduced.
[0068]
Further, in this file system, an extension field for storing data other than video and music is provided in addition to a field for storing video and music. Therefore, character information, subtitle information, and the like accompanying video and music can be stored in the RAU and managed uniformly.
[0069]
In addition, this file system does not directly include fields for storing video and music, but includes fields indicating offsets of these fields. Therefore, fields for storing video, music, and other information can be omitted.
[0070]
Further, in this file system, since all fields constituting the header have a fixed length, it is determined whether or not additional data has been inserted between the header and the video data storage field based on the offset of the video data storage field. be able to. Thereby, additional data can be inserted.
[0071]
Note that the present invention is not limited to the present embodiment, and modifications and improvements of the present invention are included in the present invention. For example, in the above embodiment, the data length of the field has been described in detail, but the value of the data length is not limited. However, it is desirable that the field whose data length is clarified has a fixed length.
[0072]
Further, the order of the fields constituting the RAU is not limited to the order described in the present embodiment. However, it is desirable that the fixed-length field be provided at the head of the RAU and the variable-length field be provided at the rear end of the data.
[0073]
【The invention's effect】
According to the present invention, a plurality of data having the same reproduction order are stored in one packet, and the plurality of data are handled in a unified manner. Further, according to the present invention, the recording area of the packet and the reproduction information are recorded in association with each other, so that a packet including a plurality of data can be randomly accessed.
[0074]
According to the present invention, the playback order information of various data such as the playback time information of streaming data, the song order information of song album data, and the shooting order information of still image data are simply stored in a packet as playback information, and are unified. Can be managed.
[0075]
According to the present invention, in particular, since the video data and the audio data are stored in the individual fields, the structure is such that the AV data can be easily managed. According to the present invention, a field for storing video data and audio data is further provided to provide expandability of data that can be stored.
[Brief description of the drawings]
FIG. 1 is a diagram showing a basic configuration of an RAU.
FIG. 2 is a diagram illustrating a configuration of an RAU table.
FIG. 3 is a diagram showing a configuration of a content table.
FIG. 4 is a diagram showing a structure of a first RAU.
FIG. 5 is a diagram showing a structure of a first RAU.
FIG. 6 is a diagram illustrating a configuration of an RAU before and after insertion of additional data.
FIG. 7 is a diagram showing an internal configuration of a video data field and an audio data field.
FIG. 8 is a diagram illustrating a mismatch between reproduction times of a video decoding unit and an audio decoding unit and a method of dividing video data and audio data.
FIG. 9 is a diagram showing a configuration of an information recording device.
FIG. 10 is a diagram illustrating an example of processing of the information recording apparatus.
FIG. 11 is a diagram illustrating a configuration of an information reproducing apparatus.
FIG. 12 is a diagram illustrating an example of processing of the information reproducing apparatus.
FIG. 13 is a diagram illustrating a configuration of a second RAU.
FIG. 14 is a diagram illustrating a configuration of a second RAU.
FIG. 15 is a diagram showing a configuration of a flag field.
FIG. 16 is a diagram showing a configuration of a third RAU.
FIG. 17 is a diagram showing a configuration of an RAU data offset.
FIG. 18 is a diagram showing a configuration of a video data field.
FIG. 19 is a diagram showing a configuration of an audio data field.
FIG. 20 is a diagram showing a configuration of an extension data field.
FIG. 21 is a diagram showing variations of the order of data fields.
FIG. 22 is a diagram illustrating a configuration of a fourth RAU.
FIG. 23 is a diagram illustrating a configuration of an RAU offset.
FIG. 24 is a diagram showing a configuration of a skew.
FIG. 25 is a diagram showing a configuration of a data length.
FIG. 26 is a diagram showing a configuration of an RAU payload.
FIG. 27 is a diagram showing a configuration of a fifth RAU.
FIG. 28 is a diagram showing a configuration of a video data field.
FIG. 29 is a diagram showing a configuration of an audio data field.
FIG. 30 is a diagram showing a configuration of an extension data field.
[Explanation of symbols]
1 RAU, 2 indexes, 3 offsets, 4 data, 5 RAU tables, 6 content tables, 10 information recording devices, 11 demultiplexing units, 12 division units, 13 recording control units, 14 main control units, 15 recording media, 20 information Playback device, 21 RAU reading unit, 22 multiplexing unit, 23 main control unit

Claims (13)

互いに異なりそれぞれ再生順序を指定する再生情報を含んだ一連のデータを複数入力する入力手段と、
上記互いに異なるデータの各々を所定のサイズのデータに分割するデータ分割手段と、
上記再生情報を基に分割されたのデータうち同時に再生するデータを一纏めとし該再生情報を検索情報としてパケット化するパケット生成手段と
上記パケット生成手段において生成されたパケットの検索情報と当該パケットの記録領域とを関連付けて記録する記録手段と
を備えることを特徴とする情報処理装置。
Input means for inputting a plurality of series of data including reproduction information different from each other and specifying a reproduction order,
Data dividing means for dividing each of the different data into data of a predetermined size,
Packet generating means for collecting data to be simultaneously reproduced among the data divided on the basis of the reproduction information, and packetizing the reproduction information as search information; search information of a packet generated by the packet generation means; and recording of the packet An information processing apparatus, comprising: a recording unit that records in association with an area.
上記入力手段にて入力される複数のデータのうちの一つはストリーミングデータであって、上記再生情報はストリーミングデータの再生時間情報であることを特徴とする請求項1記載の情報処理装置。2. The information processing apparatus according to claim 1, wherein one of the plurality of data input by the input unit is streaming data, and the reproduction information is reproduction time information of the streaming data. 上記入力手段にて入力される複数のデータのうちの一つは楽曲データであって、上記再生順序情報は音楽アルバムの曲順情報であることを特徴とする請求項1記載の情報処理装置。2. The information processing apparatus according to claim 1, wherein one of the plurality of data input by the input unit is music data, and the reproduction order information is music order information of a music album. 上記入力手段にて入力される複数のデータのうちの一つは静止画像データであって、上記再生順序情報は静止画の撮影順序情報であることを特徴とする請求項1記載の情報処理装置。2. The information processing apparatus according to claim 1, wherein one of the plurality of data input by the input unit is still image data, and the reproduction order information is shooting order information of a still image. . 上記入力手段において入力したデータは、MPEG形式に準拠して符号化されており、
上記データ分割手段は、
符号化音声データ又は符号化映像データの復号化単位の整数倍をデータ分割の単位とすることを特徴とする請求項1記載の情報処理装置。
The data input by the input means is encoded according to the MPEG format,
The data dividing means includes:
2. The information processing apparatus according to claim 1, wherein an integral multiple of a decoding unit of the encoded audio data or the encoded video data is set as a unit of the data division.
上記パケット生成手段は、検索情報を有するヘッダ領域と、異なるデータ種別のデータをそれぞれ格納するデータ格納フィールドを有するデータ領域と有するパケットを生成することを特徴とする請求項1記載の情報処理装置。2. The information processing apparatus according to claim 1, wherein said packet generating means generates a packet having a header area having search information and a data area having a data storage field for storing data of different data types. 上記データ領域は、
映像データを格納する映像データ格納フィールドと、音声データを格納する音声データ格納フィールドと、映像データと音声データ以外のデータを格納するフィールドを有することを特徴とする請求項記6載の情報処理装置。
The data area is
7. The information processing apparatus according to claim 6, further comprising a video data storage field for storing video data, an audio data storage field for storing audio data, and a field for storing data other than video data and audio data. .
同時に再生される異なるデータと当該データの再生順序を指定する再生情報とを含むパケットを入力するパケット入力手段と、
上記パケット入力手段によって入力したパケットの再生情報を検索情報として所望のパケットを検索するデータ検索手段と
を備えることを特徴とする情報処理装置。
Packet input means for inputting a packet including different data to be reproduced at the same time and reproduction information for specifying a reproduction order of the data;
An information processing apparatus comprising: a data search unit configured to search for a desired packet by using reproduction information of a packet input by the packet input unit as search information.
上記パケットの再生情報と、上記パケットの記録領域とを関連付けて記録した記録領域記録テーブルを参照し、上記記録領域記録テーブルに記録された記録領域を基に複数のパケットを読み出すパケット読み出し手段を備えることを特徴とする請求項8記載の情報処理装置。A packet reading unit that reads a plurality of packets based on the recording area recorded in the recording area recording table with reference to a recording area recording table in which the reproduction information of the packet is recorded in association with the recording area of the packet; 9. The information processing apparatus according to claim 8, wherein: 互いに異なりそれぞれの再生順序を指定する再生情報を含んだ一連のデータを複数入力する入力工程と、
上記互いに異なるデータの各々を所定のサイズのデータに分割するデータ分割工程と、
上記再生情報を基に分割されたデータのうち同時に再生するデータを一まとめとし該再生情報を検索情報としてパケット化するパケット化工程と
を有することを特徴とする情報処理方法。
An input step of inputting a plurality of series of data including reproduction information different from each other and specifying respective reproduction orders,
A data dividing step of dividing each of the different data into data of a predetermined size;
A packetizing step of combining data to be simultaneously reproduced among the data divided on the basis of the reproduction information, and packetizing the reproduction information as search information.
上記パケット生成工程において生成されたパケットをグループ化するグループ化工程と、
各グループで最も再生順序が早いパケットの検索情報と当該パケットの記録領域とを関連付けて記録させる記録領域記録工程と
を有することを特徴とする請求項10記載の情報処理方法。
A grouping step of grouping the packets generated in the packet generation step;
11. The information processing method according to claim 10, further comprising a recording area recording step of recording search information of a packet having the earliest reproduction order in each group and a recording area of the packet in association with each other.
同時に再生される異なるデータと当該データの再生順序を指定した再生情報とを含むパケットと、
上記パケットのうちの幾つかをグループ化し、各グループで最も再生順序が早いパケットの再生情報と、当該パケットの記録領域とを関連付けたテーブルと
を記録する記録媒体。
A packet including different data to be reproduced simultaneously and reproduction information specifying a reproduction order of the data;
A recording medium for grouping some of the packets and recording reproduction information of a packet having the earliest reproduction order in each group and a table in which a recording area of the packet is associated.
上記パケットは、
映像データを格納する映像データ格納フィールド、音声データを格納する音声データ格納フィールド、映像データと音声データ以外のデータを格納する拡張データ格納フィールドを備えることを特徴とする請求項12記載の記録媒体。
The above packet is
13. The recording medium according to claim 12, comprising a video data storage field for storing video data, an audio data storage field for storing audio data, and an extension data storage field for storing data other than video data and audio data.
JP2003149609A 2003-05-27 2003-05-27 Information processing apparatus, information processing method, and recording medium Withdrawn JP2004356751A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003149609A JP2004356751A (en) 2003-05-27 2003-05-27 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003149609A JP2004356751A (en) 2003-05-27 2003-05-27 Information processing apparatus, information processing method, and recording medium

Publications (1)

Publication Number Publication Date
JP2004356751A true JP2004356751A (en) 2004-12-16

Family

ID=34045664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003149609A Withdrawn JP2004356751A (en) 2003-05-27 2003-05-27 Information processing apparatus, information processing method, and recording medium

Country Status (1)

Country Link
JP (1) JP2004356751A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008166900A (en) * 2006-12-27 2008-07-17 Mitsubishi Electric Corp Recorder/reproducer and recording/reproducing method
JP2009223924A (en) * 2008-03-13 2009-10-01 Mitsubishi Electric Corp Apparatus and method for recording and reproducing
WO2016009747A1 (en) * 2014-07-18 2016-01-21 ソニー株式会社 Information processing device, information processing method, and program
WO2021177246A1 (en) * 2020-03-02 2021-09-10 富士フイルム株式会社 Information processing device, information processing method, and information processing program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008166900A (en) * 2006-12-27 2008-07-17 Mitsubishi Electric Corp Recorder/reproducer and recording/reproducing method
JP4607090B2 (en) * 2006-12-27 2011-01-05 三菱電機株式会社 Recording / reproducing apparatus and recording / reproducing method
JP2009223924A (en) * 2008-03-13 2009-10-01 Mitsubishi Electric Corp Apparatus and method for recording and reproducing
JP4624437B2 (en) * 2008-03-13 2011-02-02 三菱電機株式会社 Recording / reproducing apparatus and recording / reproducing method
WO2016009747A1 (en) * 2014-07-18 2016-01-21 ソニー株式会社 Information processing device, information processing method, and program
US10168955B2 (en) 2014-07-18 2019-01-01 Sony Corporation Information processing device and information processing method for controlled execution of storing and reading operations
WO2021177246A1 (en) * 2020-03-02 2021-09-10 富士フイルム株式会社 Information processing device, information processing method, and information processing program
JPWO2021177246A1 (en) * 2020-03-02 2021-09-10

Similar Documents

Publication Publication Date Title
JP5190051B2 (en) Method and apparatus for simplifying metadata access
US8320733B2 (en) Method of preparing DVD-video formatted data, method for reconstructing DVD-video data and DVD-video data structure
KR100607969B1 (en) Method and apparatus for playing multimedia play list and storing media therefor
WO2005104127A1 (en) Method and sreams in distributed storage systems
CN1922681A (en) Information storage medium having recorded thereon text subtitle data synchronized with AV data, and reproducing method and apparatus therefor
JP2004007648A (en) Device and method for recording video voice data, and device and method for reproducing video voice data
JP2010239654A (en) Data decoding device for providing browsable slide show, decoding method thereof, and information storage medium therefor
AU763849B2 (en) Signal processing on information files so as to obtain characteristic point information sequences
US20070250323A1 (en) Apparatus and Method for Encoding and Decoding Plurality of Digital Data Sets
US20100211556A1 (en) Information processing apparatus, information processing method, and program
WO2001010119A1 (en) Method of determining access position on recording medium and method of managing recording medium
CN101073119A (en) Information storage medium including meta data for multi-angle title, and apparatus and method for reproducing the same
JP5164183B2 (en) Data recording method, data set extraction method, data file, data structure, and medium for storing the data
JP6064917B2 (en) Information processing apparatus, information recording medium, information processing method, and program
JP2004356751A (en) Information processing apparatus, information processing method, and recording medium
JP4730680B2 (en) Content package generation apparatus and content package generation method
JP2004128938A (en) Av data recording/reproducing device and method
TWI261820B (en) Recording medium having data structure for managing reproduction of multiple graphics streams recorded thereon and recording and reproducing methods and apparatuses
US7835614B2 (en) Data recording method, data recording apparatus, and data recording medium
US20080124051A1 (en) Method and system for fast format transformation
JP4124204B2 (en) Content playback device
JP2001076473A (en) Recording and reproducing device
WO2004111855A1 (en) Recording medium, data reproducing device, data recording device, and data reproducing method
CN1748254B (en) Method and device for recording and reproducing data structure of recording medium
JP2005117454A (en) Video recorder mounted with multiple recording media, and camera recorder

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060801