JP2006262501A - Recording medium - Google Patents

Recording medium Download PDF

Info

Publication number
JP2006262501A
JP2006262501A JP2006107953A JP2006107953A JP2006262501A JP 2006262501 A JP2006262501 A JP 2006262501A JP 2006107953 A JP2006107953 A JP 2006107953A JP 2006107953 A JP2006107953 A JP 2006107953A JP 2006262501 A JP2006262501 A JP 2006262501A
Authority
JP
Japan
Prior art keywords
reproduction
information
image
still image
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006107953A
Other languages
Japanese (ja)
Other versions
JP4800824B2 (en
Inventor
Motoki Kato
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006107953A priority Critical patent/JP4800824B2/en
Publication of JP2006262501A publication Critical patent/JP2006262501A/en
Application granted granted Critical
Publication of JP4800824B2 publication Critical patent/JP4800824B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily realize a slide show using a file of the form similar to a moving picture, by using still pictures and the attached information thereof. <P>SOLUTION: An information processing apparatus, as a recording apparatus, generates a Clip Information file of a Group of Picture files of a Clip, made up by a plurality of still pictures, and a Play List, indicating the replay path of a slide show, and records the information on a DVD, along with the Group of Picture files. The Play List has identification information of the still pictures comprising the slide show, replay start time and replay time, the Clip Information file has an ID, a data size and the numbers of vertical and horizontal pixels and the like, corresponding to a file name of the still pictures in the Group of Picture files, and the information processing apparatus, as a reproducing apparatus, reads out and reproduces the information. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、静止画像を連続して再生するいわゆるスライドショーに用いる静止画像とその付属情報からなるデータが記録された記録媒体、及びそのようなデータの記録再生を行う情報処理装置、情報処理方法及びプログラムに関する。   The present invention relates to a recording medium on which data consisting of still images used in a so-called slide show for continuously reproducing still images and their associated information is recorded, an information processing apparatus that performs recording and reproduction of such data, an information processing method, and Regarding the program.

DVDビデオのフォーマットは、静止画像の連続再生(いわゆるスライドショー)を実現している。各静止画像信号はMPEG2(Moving Picture Experts Group 2)ビデオのフレーム内符号化画像(I-picture)に符号化されて、MPEG2プログラムストリームに多重化される。また、I-pictureとオーディオ、サブピクチャをMPEG2プログラムストリームに多重化することで、スライドショーにオーディオやサブピクチャを同期して再生することができる。このようなスライドショーは、プレゼンテーションタイムスタンプPTS(Presentation Time Stamp)に基づいて、所定のタイミングに再生される。   The DVD video format realizes continuous playback of still images (so-called slide show). Each still image signal is encoded into an intra-frame encoded image (I-picture) of MPEG2 (Moving Picture Experts Group 2) video and multiplexed into an MPEG2 program stream. Also, by multiplexing the I-picture, audio, and subpicture into the MPEG2 program stream, the audio and subpicture can be reproduced in synchronization with the slide show. Such a slide show is reproduced at a predetermined timing based on a presentation time stamp PTS (Presentation Time Stamp).

DVDビデオのプログラムストリームは、VOBU(Video Object Unit)を単位とする構造を有する。このような従来のDVDのデータの構造については、例えば下記特許文献1等に記載されている。図36は、従来のDVDビデオのプログラムストリームの構造を示す模式図である。図36に示すように、DVDビデオのプログラムストリームは、VOBS(Video Object Set)単位で管理され、これが例えば映画1作品等の単位となる。このVOBSは、複数のVideo Object(VOB)から構成されている。このVOBは、各データがディスク上に1群として記録されている単位である。このVOBは、複数のCellで構成され、これが例えば映画における1シーンや1カット等の単位となる。更に、このCellが複数のVOBU(Video Object Unit)により構成さる。このVOBUは、動画像で0.4〜1.2秒の単位であり、このVOBU中にMPEG2フォーマットにおける1以上のGOP(Group of Picture)が含まれている。   The DVD video program stream has a structure in units of VOBU (Video Object Unit). Such a conventional DVD data structure is described, for example, in Patent Document 1 below. FIG. 36 is a schematic diagram showing the structure of a conventional DVD video program stream. As shown in FIG. 36, a DVD video program stream is managed in units of VOBS (Video Object Set), and this is a unit of, for example, one movie. This VOBS is composed of a plurality of Video Objects (VOB). This VOB is a unit in which each data is recorded as a group on the disc. This VOB is composed of a plurality of cells, and this is a unit such as one scene or one cut in a movie, for example. Furthermore, this Cell is composed of a plurality of VOBUs (Video Object Units). This VOBU is a unit of 0.4 to 1.2 seconds for a moving image, and this VOBU includes one or more GOPs (Group of Picture) in the MPEG2 format.

VOBUは、このVOBUの管理情報を有するパックであるNavigation pack(N_PCK)を有し、このNavigation packが各VOBUの先頭に配置される。Navigation packは、VOBU_SRI(VOBU Search Information)とSP_SYNCAを有する。VOBU_SRIは、当該VOBU_SRIを含むVOBUの再生時刻の前後N秒(Nは整数)に再生されるVOBUの先頭アドレスを有する。また、SP_SYNCAは、当該SP_SYNCAを含むVOBUのビデオと同期して再生されるサブピクチャのアドレス情報を有する。映画等を再生する場合に、予めこのNavigation packを読み込み、Navigation packが示す管理情報に基づき再生を行うことができる。   The VOBU has a navigation pack (N_PCK) which is a pack having management information of this VOBU, and this navigation pack is arranged at the head of each VOBU. The navigation pack has VOBU_SRI (VOBU Search Information) and SP_SYNCA. VOBU_SRI has a head address of VOBU to be played back N seconds (N is an integer) before and after the playback time of the VOBU including the VOBU_SRI. Further, SP_SYNCA has address information of a sub-picture that is reproduced in synchronization with the VOBU video including the SP_SYNCA. When playing back a movie or the like, the navigation pack can be read in advance and played back based on the management information indicated by the navigation pack.

また、VOBUは、このNV_PCKの他に、主映像を有するパックであるビデオパック(V_PCK)と、音声データを有するパックであるオーディオパック(A_PCK)と、副映像データを有するパックであるサブピクチャパック(SP_PCK)とを有している。このV_PCK、A_PCK、SP_PCKは、それぞれMPEG2等の所定のフォーマットで圧縮されて記録媒体上に記録されている。このVOBUには、例えば図36に示すビデオパックを含む(1つのI-pictureとSequence_end_codeのデータを含む)VOBU1や、ビデオパックを含まないVOBU2等がある。   In addition to this NV_PCK, the VOBU has a video pack (V_PCK) that is a pack having main video, an audio pack (A_PCK) that is a pack having audio data, and a sub-picture pack that is a pack having sub-video data. (SP_PCK). These V_PCK, A_PCK, and SP_PCK are each compressed and recorded on a recording medium in a predetermined format such as MPEG2. This VOBU includes, for example, a VOBU1 including a video pack shown in FIG. 36 (including one I-picture and Sequence_end_code data), a VOBU2 not including a video pack, and the like.

ここで、スライドショーに使われるVOBUは、ビデオパック(MPEG2ビデオを含むVideo pack)を含まなくてもよい。ビデオパックを含まないVOBU、例えば、図36においてはVOBU2では、その前のVOBU1からのビデオのスチルを続ける。また、I-pictureがスチルされる時間長を、ナビコマンドによってコントロールすることができる。   Here, the VOBU used for the slide show may not include a video pack (Video pack including MPEG2 video). In a VOBU that does not include a video pack, for example, VOBU2 in FIG. 36, the video still from the previous VOBU1 is continued. The length of time that the I-picture is still can be controlled by a navigation command.

また、DVDオーディオのプログラムストリームも、図36に示す構造と基本的に同じ構造を有している。そして、DVDオーディオのフォーマットは、オーディオ再生とスライドショーの進行が非同期なモード(Browsable slide show)を実現している。Browsable slide showでは、ユーザが、リモコン等で次の静止画像への進行をプレーヤへ指示して、それぞれの静止画像のスチル再生時間が変化しても、オーディオ再生は途切れないで連続に再生される。このように、DVDオーディオには、ビデオとオーディオの再生が非同期なモードがある。   Also, the DVD audio program stream has basically the same structure as that shown in FIG. The DVD audio format realizes a mode (Browsable slide show) in which audio playback and slide show progress are asynchronous. In Browsable slide show, even if the user instructs the player to proceed to the next still image using a remote controller or the like and the still playback time of each still image changes, audio playback is played continuously without interruption. . Thus, DVD audio has a mode in which video and audio playback are asynchronous.

ところで、図36とは異なるフォーマットのデータが、本願発明者等が先に出願した下記特許文献2に記載されている。下記特許文献2に記載の情報処理装置において記録されるデータのアプリケーションフォーマットは、AVストリームの管理のためにPlay ListとClipとからなる2つのレイヤを有する。Play ListレイヤにおけるPlay Listは、ユーザのみに参照されるものであり、ユーザがPlay Listを参照してビデオ等のデータを再生、編集する際に使用することができる。一方、Clipレイヤは、Play Listにより指定されたAVストリームをプレーヤが再生する際に使用するものである。ここでは、1つのAVストリームとそのAVストリームの付属情報であるペアを1つのオブジェクトとし、それをClipと呼ばれる単位で管理する。AVストリームファイルは、Clip AVストリームファイルと呼ばれ、その付属情報は、Clip Information fileと呼ばれ、別々に記録媒体に記録される。このようにストリームデータと、その付属情報とを別々に記録して管理することでデータの管理を容易に行えるようにしている。   Incidentally, data in a format different from that shown in FIG. 36 is described in the following Patent Document 2 filed earlier by the present inventors. The application format of data recorded in the information processing apparatus described in Patent Document 2 below has two layers consisting of a Play List and a Clip for AV stream management. The Play List in the Play List layer is referenced only by the user, and can be used when the user reproduces and edits data such as video by referring to the Play List. On the other hand, the Clip layer is used when the player reproduces the AV stream specified by the Play List. Here, one AV stream and a pair which is ancillary information of the AV stream are set as one object, which is managed in a unit called Clip. The AV stream file is called a Clip AV stream file, and the attached information is called a Clip Information file, and is separately recorded on a recording medium. As described above, the stream data and the associated information are separately recorded and managed so that the data can be easily managed.

特開平10−271444号公報JP-A-10-271444 特開2002−158972号公報JP 2002-158972 A

しかしながら、上述の図36に示すようなデータ形式では、静止画像のアドレス情報がMPEGプログラムストリームに埋めこまれてしまうため、読み出すのに時間がかかる。すなわち、静止画像の読み出しアドレスを決定する時に、ディスクからストリームデータを読み出して、そのデータをプレーヤのホストCPUが解析し、その上で、静止画像のアクセス点のアドレスを決定するため、静止画像の読出処理に時間がかかってしまう。一方、上記特許文献2に記載のオーディオ・ビデオデータと同様なフォーマットを使用してスライドショーが実現できれば、データの管理が容易で且つ、同様の記録再生装置を使用すること等ができて便利である。   However, in the data format as shown in FIG. 36 described above, it takes time to read out the address information of the still image embedded in the MPEG program stream. That is, when determining the read address of the still image, the stream data is read from the disk, the data is analyzed by the host CPU of the player, and then the address of the still image access point is determined. The reading process takes time. On the other hand, if a slide show can be realized using the same format as the audio / video data described in Patent Document 2, it is easy to manage the data and use the same recording / reproducing apparatus. .

本発明は、このような従来の実情に鑑みて提案されたものであり、オーディオ・ビデオデータと同様なフォーマットの静止画像及びその付属情報を用いて、スライドショーを容易に実現するためのデータが記録された記録媒体、並びにこのようなデータを記録及び/又は再生処理する情報処理装置、情報処理方法及びプログラムを提供することを目的とする。   The present invention has been proposed in view of such a conventional situation, and data for easily realizing a slide show is recorded by using still images in the same format as audio / video data and their attached information. It is an object of the present invention to provide an information processing apparatus, an information processing method, and a program for recording and / or reproducing such data.

上述した目的を達成するために、本発明に係る情報処理装置は、1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成手段と、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成手段と、上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録手段とを有し、上記再生情報作成手段は、上記画像属性情報を使用して上記画像再生指定情報を作成することを特徴とする。   In order to achieve the above-described object, the information processing apparatus according to the present invention includes attribute information creating means for creating image attribute information for managing each still image of a still image group including one or more still images, and the still image. Recording information generating means for generating image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the group, the still image group, and the image attribute information and image reproduction designation information corresponding thereto And the reproduction information creating means creates the image reproduction designation information using the image attribute information.

本発明においては、静止画像群とは別に、画像属性情報及び画像再生指定情報が記録媒体に記録されるため、記録媒体から静止画像を読出し再生する際には、画像属性情報及び画像再生指定情報を先に読出し静止画像群の各静止画像を所定の順序に生成することができるので、従来の動画像の記録と同様のフォーマットを使用して静止画像の連続再生(いわゆるスライドショー)を実現することができる。   In the present invention, since the image attribute information and the image reproduction designation information are recorded on the recording medium separately from the still image group, when reading and reproducing the still image from the recording medium, the image attribute information and the image reproduction designation information are recorded. Since the still images of the still image group can be generated in a predetermined order, continuous playback of still images (so-called slide show) is realized using a format similar to that of conventional moving image recording. Can do.

本発明に係る情報処理装置は、1以上の静止画像からなる静止画像群と、これに対応する画像属性情報及び画像再生指定情報とが記録された記録媒体から、上記静止画像群の少なくとも一部の静止画像を再生する再生手段と、上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生手段を制御する制御手段とを備え、上記画像属性情報は、上記静止画像群の各静止画像を管理する情報を有し、上記画像再生指定情報は、上記画像属性情報を使用して作成された、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す情報を有することを特徴とする。   The information processing apparatus according to the present invention includes at least a part of the still image group from a recording medium in which a still image group including one or more still images and image attribute information and image reproduction designation information corresponding to the still image group are recorded. Reproduction means for reproducing the still image, and control means for referring to the image attribute information and controlling the reproduction means in accordance with the image reproduction designation information, wherein the image attribute information includes each still image of the still image group. The image reproduction designation information includes information indicating a reproduction path that is created using the image attribute information and designates reproduction of at least a part of the still image group. And

本発明に係る情報処理装置は、1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成手段と、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成手段と、上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録手段と、上記記録媒体から静止画像を読み出し再生する再生手段と、上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生手段を制御する制御手段とを備え、上記再生情報作成手段は、上記画像属性情報を使用して上記画像再生指定情報を作成することを特徴とする。   An information processing apparatus according to the present invention specifies attribute information creating means for creating image attribute information for managing each still image of a still image group composed of one or more still images, and designates reproduction of at least a part of the still image group Reproduction information creating means for creating image reproduction designation information indicating a reproduction path to be performed, recording means for recording the still image group, the image attribute information and the image reproduction designation information corresponding to the still image group, and the recording Reproduction means for reading and reproducing a still image from a medium, and control means for controlling the reproduction means in accordance with the image reproduction designation information with reference to the image attribute information, wherein the reproduction information creation means includes the image attribute information. The image reproduction designation information is created by using the information.

本発明に係る記録媒体は、1以上の静止画像からなる静止画像群と、該静止画像群の各静止画像を管理する画像属性情報と、該画像属性情報を使用して作成された、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報とが記録されたことを特徴とする。   The recording medium according to the present invention includes a still image group composed of one or more still images, image attribute information for managing each still image of the still image group, and the still image created using the image attribute information. Image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the image group is recorded.

本発明に係る情報処理装置は、1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成手段と、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成手段と、上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録手段と、上記記録媒体から静止画像を読み出し再生する再生手段と、上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生手段を制御する制御手段とを備え、上記再生情報作成手段は、上記画像属性情報を使用して上記画像再生指定情報を作成するので、静止画像群とは別に、画像属性情報及び画像再生指定情報が記録媒体に記録されるため、記録媒体から静止画像を読出し再生する際には、画像属性情報及び画像再生指定情報を先に読出し静止画像群の各静止画像を所定の順序に生成することができ、静止画像の連続再生(いわゆるスライドショー)を容易に実現することができる。   An information processing apparatus according to the present invention specifies attribute information creating means for creating image attribute information for managing each still image of a still image group composed of one or more still images, and designates reproduction of at least a part of the still image group Reproduction information creating means for creating image reproduction designation information indicating a reproduction path to be performed, recording means for recording the still image group, the image attribute information and the image reproduction designation information corresponding to the still image group, and the recording Reproduction means for reading and reproducing a still image from a medium, and control means for controlling the reproduction means in accordance with the image reproduction designation information with reference to the image attribute information, wherein the reproduction information creation means includes the image attribute information. Since the image reproduction designation information is created by using the image attribute information and the image reproduction designation information separately from the still image group, the still image is recorded from the recording medium. Can be read and reproduced, the image attribute information and the image reproduction designation information can be read first, and the still images of the still image group can be generated in a predetermined order, so that continuous reproduction of still images (so-called slide show) can be easily performed. Can be realized.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、DVDに動画の記録再生を行ためのフォーマットを利用しつつ、静止画像を連続再生するスライドショーを実現するデータを記録する情報処理装置、及びそのようなデータを再生する情報処理装置に適用したものである。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is an information processing apparatus for recording data for realizing a slide show for continuously reproducing still images while using a format for recording and reproducing moving images on a DVD, and such data. The present invention is applied to an information processing apparatus to be reproduced.

(1)第1の実施の形態
(1−1)データ構造
ここでは、先ず、本発明の第1の実施の形態における情報処理装置にて記録又は再生されるデータの構造について説明する。図1は、本発明の記録再生システムで用いる記録媒体上の静止画像アプリケーションフォーマットの構造を簡単化して示す図である。このフォーマットは、上述した特許文献2に記載のアプリケーションフォーマットと同様な構成を有し、AVストリームの管理のためにPlay ListとClipの2つのレイヤをもつ。
(1) First Embodiment (1-1) Data Structure Here, first, the structure of data recorded or reproduced by the information processing apparatus according to the first embodiment of the present invention will be described. FIG. 1 is a diagram showing a simplified structure of a still image application format on a recording medium used in the recording / reproducing system of the present invention. This format has the same configuration as the application format described in Patent Document 2 described above, and has two layers, Play List and Clip, for AV stream management.

本第1の実施の形態においては、1枚以上の静止画像からなる静止画像群である静止画像グループ(Group of picture files)とその静止画像グループの付属情報とのペアを1つのオブジェクトと考え、このオブジェクトをClipと呼ばれる単位で管理する。この静止画像グループの付属情報(画像属性情報)をClip Informationと呼ぶ。   In the first embodiment, a pair of a still image group (Group of picture files) that is a group of still images composed of one or more still images and the attached information of the still image group is considered as one object, This object is managed in a unit called Clip. The attached information (image attribute information) of this still image group is called Clip Information.

また、Clipの中の静止画像を使ったスライドショーの再生区間の集まりをPlay Listと呼ぶ。Play Listは、静止画像の再生順序等を指定する再生パス(再生経路)を示す再生指定情報である。1つの再生区間は、Play Itemと呼ばる。従ってPlay Listは、Play Itemの集まりにより構成される。   A collection of playback sections of a slide show using still images in a clip is called a play list. The Play List is reproduction designation information indicating a reproduction path (reproduction path) for designating the reproduction order of still images. One playback section is called a Play Item. Therefore, the Play List is composed of a collection of Play Items.

Play Listには、2つのタイプがある。1つは、Real Play Listであり、もう1つは、Virtual Play Listである。Real Play Listは、それが参照しているClipの静止画像グループの部分を共有しているとみなされる。すなわち、Real Play Listは、それが参照しているClipの静止画像グループの部分に相当するデータ容量をディスクの中で占める。新しい静止画像が記録される場合、それはReal Play Listに自動的に追加される。Real Play Listの再生範囲の一部分が消去された場合、それが参照しているClipの静止画像グループの部分もまたデータが消去される。一方、Virtual Play Listは、Clipのデータを共有していないとみなされる。Virtual Play Listが変更または消去されたとしても、Clipは何も変化しない。なお、以下の説明においては、Real Play ListとVirtual Play Listを総称して単に、Play Listと呼んでいる。   There are two types of Play List. One is a Real Play List, and the other is a Virtual Play List. The Real Play List is considered to share the part of the still image group of the Clip that it refers to. That is, the Real Play List occupies the data capacity corresponding to the portion of the still image group of the Clip referenced by the Real Play List on the disc. When a new still image is recorded, it is automatically added to the Real Play List. When a part of the playback range of the Real Play List is erased, the data of the still image group part of the Clip to which it refers is also erased. On the other hand, the Virtual Play List is regarded as not sharing Clip data. Even if the Virtual Play List is changed or deleted, the Clip does not change anything. In the following description, the Real Play List and Virtual Play List are collectively referred to simply as “Play List”.

図2は、Group of picture filesとそのClip Informationの例を示す図である。本実施の形態においては、上述したように、1枚以上の静止画像ファイルを1つのGroup of picture filesとして管理する。そして、このGroup of picture filesに対応するClip Information fileを設ける。Clip Informationは、Group of picture filesに含まれる各静止画像ファイル毎に、静止画像ファイルを参照する時の静止画像識別情報であるID(file_id)、file_idに対応するファイル名(file_name)、そのファイルのバイトサイズ(file_size)、各静止画像の水平方向画素数(horizontal_size)及び静止画像の垂直方向画素数(vertical_size)を示す情報を有するものである。   FIG. 2 is a diagram illustrating an example of Group of picture files and Clip Information thereof. In the present embodiment, as described above, one or more still image files are managed as one group of picture files. Then, a Clip Information file corresponding to this Group of picture files is provided. Clip Information includes, for each still image file included in Group of picture files, an ID (file_id) that is still image identification information when referring to the still image file, a file name (file_name) corresponding to file_id, It has information indicating the byte size (file_size), the number of horizontal pixels of each still image (horizontal_size), and the number of vertical pixels of the still image (vertical_size).

なお、図2においては、静止画像のデータ形式は、JPEG、PNGとしているが、その他、MPEG2 I-picture、GIF、及びJPEG2000等、静止画像のデータ形式であればなんでもよいことはいうまでもない。   In FIG. 2, the still image data format is JPEG or PNG, but it goes without saying that any other still image data format may be used, such as MPEG2 I-picture, GIF, and JPEG2000. .

本実施の形態においては、2種類のスライドショーについて説明する。第1のスライドショーは、各静止画像の再生開始時刻が予め決められているスライドショー(以下、タイムベーススライドショー又はタイムベースモードともいう。)であり、第2のスライドショーは、各静止画像の再生開始時刻が決められておらず、再生順序が決められているスライドショー(以下、Browsable slide showともいう。)である。   In this embodiment, two types of slide shows will be described. The first slide show is a slide show in which the playback start time of each still image is determined in advance (hereinafter also referred to as a time base slide show or time base mode), and the second slide show is the playback start time of each still image. Is a slide show in which the playback order is determined (hereinafter also referred to as “Browsable slide show”).

タイムベーススライドショーは、ユーザがスライドの再生を次に進めるということを再生装置(プレーヤ)に指示しない場合、それぞれのスライドの再生は自動的に進み、時間軸上で予め決められた時刻に所定のスライドが再生される。従って、各スライドの再生時間(スライドのスチルの持続時間)が有限となっている。タイムベーススライドショーにおいては、静止画像と同時にオーディオを再生する場合、オーディオの再生を静止画像の再生に同期させることができる。   In a time-based slide show, when the user does not instruct the playback device (player) to proceed with slide playback, playback of each slide automatically proceeds at a predetermined time on the time axis. The slide is played. Therefore, the playback time of each slide (the duration of the slide still) is finite. In the time-based slide show, when audio is played back simultaneously with a still image, audio playback can be synchronized with playback of the still image.

一方、ブラウザブルスライドショーは、再生順序が決められており、各スライドの再生時間が有限又は無限となっている。このように、スライド再生時間が無限であるものが含まれている場合、ユーザが再生装置に、スライドの再生を次に進めるという指示をしない限り、次のスライドの再生には進まない。従って、それぞれのスライドの再生は時間軸上で予め決められた時刻に再生されない。ブラウザブルスライドショーにおいては、静止画像と同時にオーディオを再生する場合、オーディオは静止画像の再生に同期しない。   On the other hand, the playback order of the browsable slide show is determined, and the playback time of each slide is finite or infinite. As described above, when the slide playback time is infinite, it does not proceed to the playback of the next slide unless the user instructs the playback device to proceed with the slide playback. Therefore, each slide is not reproduced at a predetermined time on the time axis. In the browsable slide show, when audio is reproduced simultaneously with a still image, the audio is not synchronized with the reproduction of the still image.

(1−2)再生開始時刻が指定されたスライドショー
各静止画像の再生開始時刻が予め決められている第1のスライドショーについて図3乃至図5を参照して説明する。
(1-2) Slideshow with designated playback start time A first slideshow in which the playback start time of each still image is determined in advance will be described with reference to FIGS.

(1−2−1)スライドショー:静止画像のみ
図3は、各静止画像の再生開始時刻が予め決められているスライドショーを説明する図であって、図3(a)は、各静止画像の再生開始時刻が予め決められているスライドショーにおけるPlay Listの一例を示す図、図3(b)は、静止画像と再生時間との関係を示す模式図である。各静止画像の再生開始時刻が予め決められているスライドショーでは、それぞれの静止画像がPlay Itemの時間軸上の所定のタイミングで再生される。
(1-2-1) Slideshow: Still Image Only FIG. 3 is a diagram for explaining a slideshow in which the playback start time of each still image is determined in advance, and FIG. 3A shows the playback of each still image. FIG. 3B is a diagram illustrating an example of a Play List in a slide show in which a start time is determined in advance, and FIG. 3B is a schematic diagram illustrating a relationship between a still image and a reproduction time. In a slide show in which the reproduction start time of each still image is determined in advance, each still image is reproduced at a predetermined timing on the time axis of the Play Item.

Play Listは、複数のPlay Itemから構成されてなる。図3に示すように、各Play Itemは、スライドショーの再生区間を示すIN_time及びOUT_timeのデータを有している。このIN_time及びOUT_timeにより、各スライドショーの再生開始及び終了時刻を指定する。また、各Play Itemは、スライドショーを構成する各静止画像毎のデータ(以下、Sceneともいう。)を有する。このSceneは、Clipの中のGroup of picture filesを参照するときの静止画像の識別情報であるID(file_id)を含む。また、これらのSceneは、Play Itemの中での再生開始時刻(start_time_stamp)を含む。また、これらの各Sceneの再生時間、即ち各静止画像のスチル再生時間である表示時間(duration)を有する。   The Play List is composed of a plurality of Play Items. As shown in FIG. 3, each Play Item has IN_time and OUT_time data indicating the playback section of the slide show. The playback start and end times of each slide show are designated by the IN_time and OUT_time. Each Play Item has data for each still image constituting the slide show (hereinafter also referred to as “Scene”). This Scene includes an ID (file_id) which is identification information of a still image when referring to Group of picture files in the Clip. Also, these scenes include a playback start time (start_time_stamp) in the PlayItem. Each scene has a display time (duration) that is a playback time of each scene, that is, a still playback time of each still image.

ここで、各Sceneの再生時間は、Play Itemの中で重なってもよく、1つのSceneは、複数のfile_idを持つことができる。例えば、図3(b)に示す場合、Scene[2]が、Scene[1]及びScene[3]と重なっている。この場合、Scene[2]の画像がScene[1]、及びScene[3]の両方の画像上に重ねて表示される。ここで、図3(b)における画像中の数字は、file_idを示す。なお、各画像の重なり位置の情報、即ち図3(b)においては、例えばScene[2]の画像のScene[1]の画像上での表示位置の情報は、Play Listに記述することができるが、Play Listとは別のファイルに記述されていてもよいし、または、Scene[2]が参照するGroup of picture filesの中に記述されていてもよい。   Here, the playback time of each scene may overlap in the play item, and one scene can have a plurality of file_ids. For example, in the case shown in FIG. 3B, Scene [2] overlaps Scene [1] and Scene [3]. In this case, the image of Scene [2] is displayed superimposed on both the images of Scene [1] and Scene [3]. Here, the numbers in the image in FIG. 3B indicate file_id. In addition, in FIG. 3B, for example, the information on the display position of the image of Scene [2] on the image of Scene [1] can be described in the Play List in FIG. 3B. However, it may be described in a file different from the Play List, or may be described in a Group of picture files referenced by Scene [2].

図4は、図3(a)に示すPlay ListとClipとの関係を示す図である。Play Listは、Clipの中の静止画像(この例ではファイルID)を参照する。Clip Informationは、Play Listによって参照される静止画像(ファイルID)とその実態(この例ではファイル名)との関係を示す。即ち、Clip Informationを参照して、Play Listに記述された静止画像識別情報であるID(file_id)のファイル名File_nameを特定する。そして、このファイル名の静止画像ファイルを、Group of Picture filesから読み出す。   FIG. 4 is a diagram showing the relationship between the Play List and Clip shown in FIG. The Play List refers to a still image (file ID in this example) in the Clip. Clip Information indicates the relationship between a still image (file ID) referenced by the Play List and its actual state (file name in this example). That is, referring to Clip Information, the file name File_name of the ID (file_id) that is still image identification information described in the Play List is specified. Then, the still image file with this file name is read from the Group of Picture files.

(1−2−2)スライドショー:静止画像+オーディオ
次に、このような各静止画像の再生開始時刻が予め決められているスライドショーにオーディオを同期再生する場合について説明する。図5は、静止画像のスライドショーにオーディオを同期して再生する時のPlay Listの構成例を示す図である。各静止画像の再生開始時刻が予め決められているスライドショーにオーディオを同期する場合、Play Listにおいて、静止画像の再生パスを示すPlay Item(MainPath)とは別に、オーディオの再生パスを示すオーディオ再生指定情報としてのSub Play Item(SubPath)を設ける。
(1-2-2) Slideshow: Still Image + Audio Next, a case where audio is synchronously reproduced in a slideshow in which the reproduction start time of each still image is determined in advance will be described. FIG. 5 is a diagram illustrating a configuration example of a Play List when audio is reproduced in synchronization with a still image slide show. When synchronizing the audio to a slide show that has a predetermined playback start time for each still image, in the Play List, an audio playback designation that indicates the audio playback path is separate from the Play Item (MainPath) that indicates the still image playback path. Sub Play Item (SubPath) is provided as information.

このSub Play Itemは、Play Item(Play List)の時間軸上での再生開始時刻(sync_start_PTS_of_Play Item)を含む。また、このSub Play Itemは、Sub Play Itemが参照するClip上での再生開始時刻(Sub Play Item_IN_time)を含む。また、このSub Play Itemは、Sub Play Itemが参照するClip上での再生終了時刻(Sub Play Item_OUT_time)を含む。   This Sub Play Item includes a playback start time (sync_start_PTS_of_Play Item) on the time axis of the Play Item (Play List). Further, this Sub Play Item includes a playback start time (Sub Play Item_IN_time) on the Clip referred to by the Sub Play Item. Further, this Sub Play Item includes a playback end time (Sub Play Item_OUT_time) on the Clip referred to by the Sub Play Item.

Sub Play ItemがClipの中へのアクセスポイントをプレゼンテーションタイムスタンプ(PTS)で指し示している時、Clip Information fileは、AVストリームファイルの中でストリームのデコードを開始すべきアドレス情報を見つけるために役立つ。Sub Play Itemが参照するClipのAVストリームファイルはオーディオストリームである。   When the Sub Play Item indicates an access point into the Clip by a presentation time stamp (PTS), the Clip Information file is useful for finding address information at which to start decoding the stream in the AV stream file. The clip AV stream file referred to by the Sub Play Item is an audio stream.

即ち、Clip Information fileは、オーディオストリームにおける開始時刻と、開始時刻及び終了時刻に対応するソースパケット(アクセス最小単位)のアドレスを示す情報とが記述されたテーブル(オーディオ用のEP_map)を有する。このテーブルを参照して、指定されたプレゼンテーションタイムPTSに対応するアドレスを取得し、このアドレスで示されるオーディオデータを読み出し再生することができる。このように、Sub Play Itemは、静止画像の再生パスを示すPlay Itemの時間軸上での再生開始時刻を有するため、静止画像のスライドショーにオーディオを同期して再生することができる。   That is, the Clip Information file includes a table (audio EP_map) in which information indicating the start time in the audio stream and the address of the source packet (minimum access unit) corresponding to the start time and end time is described. With reference to this table, an address corresponding to the designated presentation time PTS can be acquired, and the audio data indicated by this address can be read and reproduced. As described above, the Sub Play Item has a playback start time on the time axis of the Play Item indicating the playback path of the still image, so that the audio can be played back in synchronization with the slide show of the still image.

(1−3)再生順序のみが指定されたスライドショー
次に、静止画像の再生順序のみを指定する第2のスライドショー(Browsable slide show)について、図6乃至図8を参照して説明する。
(1-3) Slideshow in which only playback order is specified Next, a second slideshow (Browsable slide show) in which only the playback order of still images is specified will be described with reference to FIGS.

(1−3−1)スライドショー:静止画像のみ
図6(a)は、Browsable slide showを示すPlay Listの一例を示す図、図6(b)は、静止画像と再生時間との関係を示す模式図である。この場合、図6(a)に示すように、Browsable slide showのPlay ItemのSceneは、図3乃至図5の場合と異なり、静止画像の再生開始時刻を指定しない。各静止画像のPlay Itemの中での再生開始時刻(start_time_stamp)の情報の代わりに、各静止画像がPlay Item上で再生される順番のみを指定する情報を有している。更に、図3乃至図5に示す例とは異なり、Play Itemは、IN_time及びOUT_timeを持たない。また、スライドショーを構成する各静止画像の再生時間(表示時間)が決められていない。この例の場合、ユーザが各Sceneの再生時間をプレーヤへ指示することができる。
(1-3-1) Slide show: Still image only FIG. 6A is a diagram showing an example of a Play List showing a Browsable slide show, and FIG. 6B is a schematic diagram showing the relationship between the still image and the playback time. FIG. In this case, as shown in FIG. 6A, the Play Item Scene of the Browsable slide show does not specify the playback start time of the still image unlike the cases of FIGS. Instead of the information of the reproduction start time (start_time_stamp) in the PlayItem of each still image, the image has information specifying only the order in which each still image is reproduced on the PlayItem. Further, unlike the examples shown in FIGS. 3 to 5, the Play Item does not have IN_time and OUT_time. Also, the playback time (display time) of each still image constituting the slide show is not determined. In this example, the user can instruct the player of the playback time of each scene.

また、このPlay Listの各Sceneは、上述の図3のような予め決められた再生時間(duration)ではなく、各静止画像のPlay Item中での再生順番に対応したデフォールト再生時間を示す情報を有する。ユーザが特に何も指定しない時のみ、プレーヤはデフォールト再生時間のスチル再生を行う。このように、デフォールト再生時間を有することにより、ユーザは、リモコン等で次の静止画像への進行をプレーヤへ指示し、各静止画像のスチル再生時間を自由にコントロールすることができる。   In addition, each Scene of this Play List includes information indicating the default playback time corresponding to the playback order in the Play Item of each still image, instead of the predetermined playback time (duration) as shown in FIG. Have. Only when the user does not specify anything, the player performs still playback for the default playback time. Thus, by having the default playback time, the user can instruct the player to proceed to the next still image with a remote controller or the like, and can freely control the still playback time of each still image.

即ち、Play Itemの各Sceneは、Play Itemの中でのSceneの再生の順序を指定する情報(playing_order)と、Clipの中のGroup of Picture filesを参照する時の静止画像の識別情報であるID(file_id)と、各Sceneのデフォールト再生時間(default_duration)とを有している。なお、このデフォールト再生時間は、各静止画像毎に異なる値としても、同じ値としてもよい。   That is, each scene of the Play Item includes information (playing_order) that specifies the playback order of the Scene in the Play Item, and ID that is identification information of a still image when referring to the Group of Picture files in the Clip (File_id) and the default playback time (default_duration) of each Scene. Note that the default playback time may be different for each still image or the same value.

また、Browsable slide showにおいても、上述の再生時刻を予め指定するスライドショーの場合と同じく、1つのSceneに複数の静止画像を重ねて表示することもできる。この場合は、1つのSceneに複数のfile_idが記述される。例えば図6(a)の場合、図6(b)に示すように、Scene[1]にfile_id=1とfile_id=2とが記述されている場合、file_id=2の画像がfile_id=1の画像上に表示される。ここで、図6(b)における画像中の数字は、file_idを示す。なお、file_id=2の画像のfile_id=1の画像上での表示位置の情報は、Play Listに記述することができるが、Play Listとは別のファイルに記述されていてもよいし、または、file_id=2が参照する画像ファイルの中に記述されていてもよい。   Also in the Browsable slide show, a plurality of still images can be displayed in a single scene in the same manner as in the case of the slide show in which the playback time is specified in advance. In this case, a plurality of file_ids are described in one scene. For example, in the case of FIG. 6A, as shown in FIG. 6B, when file_id = 1 and file_id = 2 are described in Scene [1], an image with file_id = 2 is an image with file_id = 1 Displayed above. Here, the numbers in the image in FIG. 6B indicate file_id. The information on the display position of the file_id = 2 image on the file_id = 1 image can be described in the Play List, but may be described in a file different from the Play List, or file_id = 2 may be described in the image file to be referenced.

図7は、図6(a)に示すPlay Listと、Clipの関係の例を示す図である。Play Listは、Clipの中の静止画像を参照して、Clip Informationは、Play Listによって参照される静止画像とその実態の関係を示す。即ち、本実施の形態においては、Play Listが示すClipの中の静止画像を識別するためのファイルIDから、Clip Informationを参照し、このファイルIDに対応するファイル名を取得し、このファイル名の静止画像をGroup of Picture filesから読み出し再生する。   FIG. 7 is a diagram showing an example of the relationship between the Play List shown in FIG. The Play List refers to a still image in the Clip, and the Clip Information indicates the relationship between the still image referred to by the Play List and its actual state. That is, in this embodiment, the Clip Information is referred to from the file ID for identifying the still image in the Clip indicated by the Play List, the file name corresponding to this file ID is obtained, and the file name Read and play still images from Group of Picture files.

(1−3−2)スライドショー:静止画像+オーディオ
次に、このようなBrowsable slide showに対してオーディオを非同期に再生する場合について説明する。図8は、オーディオを非同期に再生するBrowsable slide showのPlay Listと、Clip Information fileと、オーディオストリームとの関係を示す図である。Play Listは、静止画像の再生パスを示すPlay Itemと、オーディオの再生パスを示すPlay Itemとからなるが、オーディオを非同期に再生する場合、図5に示す場合と異なり、Play Listは、Play Itemがオーディオの再生パスを示し、Sub Play Itemが静止画像の再生パスを示す。
(1-3-2) Slideshow: Still Image + Audio Next, a case where audio is reproduced asynchronously with respect to such a Browsable slide show will be described. FIG. 8 is a diagram illustrating a relationship among a Play List of a Browsable slide show for reproducing audio asynchronously, a Clip Information file, and an audio stream. The Play List is made up of a Play Item indicating a still image playback path and a Play Item indicating an audio playback path. Unlike the case shown in FIG. Indicates an audio playback path, and Sub Play Item indicates a still image playback path.

このBrowsable slide showでは、ユーザが、リモコン等で次の静止画像への進行をプレーヤへ指示して、各静止画像のスチル再生時間が変化しても、オーディオ再生は、スライドショーの進行とは非同期であるため、途切れないで連続に再生される。   In this Browsable slide show, even if the user instructs the player to proceed to the next still image with a remote controller or the like and the still playback time of each still image changes, audio playback is asynchronous with the progress of the slide show. Therefore, it is played continuously without interruption.

ここで、スライドショーの再生経路を示すSub Play Itemの構成は、上述の図6で説明したスライドショーの再生経路を示すPlay Itemと同じである。即ち、Play Itemの中でのSceneの再生順番(playing_order)と、Clipの中のGroup of Picture filesのファイルを参照する際に必要なID(file_id)と、Sceneのデフォールト再生時間(defoult_duration)とから構成されている。   Here, the configuration of the Sub Play Item indicating the playback path of the slide show is the same as the Play Item indicating the playback path of the slide show described with reference to FIG. That is, from the playback order of the scene in the play item (playing_order), the ID (file_id) required when referring to the group of picture files in the clip, and the default playback time of the scene (defoult_duration) It is configured.

また、図8に示すBrowsable slide showのオーディオの再生経路を示すPlay Itemは、Play Itemが参照するClip上での再生開始時刻(IN_time)と、Play Itemが参照するClip上での再生終了時刻(OUT_time)とが記述されている。   In addition, the Play Item indicating the audio playback path of the Browsable slide show shown in FIG. 8 includes the playback start time (IN_time) on the Clip referred to by the Play Item and the playback end time (In_time) referred to by the Play Item ( OUT_time) is described.

オーディオの再生経路を示すPlay Itemが、Clipのオーディオストリーム中へのアクセスポイントをタイムスタンプで指示している時、Clip Information fileは、ClipのAVストリームファイルの中でオーディオストリームのデコードを開始すべきアドレス情報を見つけるために役立つ。   When the Play Item indicating the audio playback path indicates the access point into the audio stream of the clip with a time stamp, the clip information file should start decoding the audio stream in the clip AV stream file Useful for finding address information.

即ち、Play Itemが参照するClip Information fileは、オーディオストリームにおいて、各再生区間の開始時刻とそのアドレスとの対応関係が記述されたテーブル(オーディオ用EP_map)を有する。これにより、再生装置は指定されたタイムスタンプをアドレスに変換して目的の再生区間のオーディオストリームを読出し再生することができる。   That is, the Clip Information file referenced by the Play Item has a table (audio EP_map) in which the correspondence between the start time of each playback section and its address is described in the audio stream. As a result, the playback device can convert the designated time stamp into an address and read and play the audio stream in the target playback section.

ここでは、オーディオの再生経路を示すPlay Itemにおいて、再生開始時刻と終了時刻とが決められているため、例えばオーディオの再生終了時刻にスライドショーが終了するようにしてもよいし、また、終了時刻まで再生されたオーディオを再び再生するようにして、オーディオを複数回繰り返して再生するようにしてもよい。   Here, since the playback start time and end time are determined in the Play Item indicating the audio playback path, for example, the slide show may end at the audio playback end time, or until the end time. The reproduced audio may be reproduced again, and the audio may be reproduced repeatedly a plurality of times.

(1−4)情報処理装置(記録装置)の構成
次に、上述したように、各静止画像の再生開始時刻が予め決められているスライドショー又は静止画像の再生順序のみが予め決められているスライドショーを実現するためのデータを記録する本実施の形態における情報処理装置について説明する。
(1-4) Configuration of Information Processing Device (Recording Device) Next, as described above, a slide show in which the playback start time of each still image is determined in advance or a slide show in which only the playback order of still images is determined in advance. An information processing apparatus according to the present embodiment for recording data for realizing the above will be described.

図9は、本実施の形態における情報処理装置を示すブロック図である。図9に示すように、情報処理装置1は、端子13を介して静止画像が入力され、これを符号化する静止画像エンコーダ14と、端子10を介してオーディオが入力され、これを符号化するオーディオエンコーダ11と、端子15を介してスライドショーの再生内容に関する情報が入力されると共に、静止画像エンコーダ14及びオーディオエンコーダ11から夫々画像属性情報及びオーディオ属性情報が供給され、上述したPlay List及びClip Informationを生成するコントローラ16と、コントローラ16からPlay List及びClip Informationが供給されこれを例えばDVD等の記録媒体(メディア)に記録すると共に、静止画像及びオーディオデータを所定の形式にて、記録媒体に記録する記録部17とから構成される。   FIG. 9 is a block diagram illustrating the information processing apparatus according to the present embodiment. As illustrated in FIG. 9, the information processing apparatus 1 receives a still image input via a terminal 13 and encodes a still image encoder 14 that encodes the still image encoder 14 and audio via a terminal 10. Information about the playback content of the slide show is input via the audio encoder 11 and the terminal 15, and image attribute information and audio attribute information are supplied from the still image encoder 14 and the audio encoder 11, respectively. And a controller 16 for generating a playlist, and a Play List and Clip Information are supplied from the controller 16 and recorded on a recording medium such as a DVD, and still images and audio data are recorded on the recording medium in a predetermined format. And a recording unit 17 that performs recording.

コントローラ16は、スライドショーの再生内容に関する情報として、上述の図3に示したように、各静止画像の再生開始時刻が予め決められている場合、各静止画像の再生開始時刻及びその再生時間(表示時間)の情報を受取る。また、図5に示したように、そのようなスライドショーにオーディオを同期して再生する場合、各静止画像の再生開始時刻及びその再生時間に加え、オーディオの再生時間の情報として静止画像の再生パスを示すPlay Item上での再生開始時刻と、オーディオストリーム中での再生区間を示す情報とを受取る。また、上述の図6に示したように、各静止画像の再生開始時刻が決められていなく、その再生順序のみが決められているスライドショーの場合、各静止画像の再生順番及びそのデフォールト再生時間の情報を受取り、また、図8に示したように、そのようなスライドショーとは、非同期のオーディオを再生するの場合、各静止画像の再生順番及びそのデフォールト再生時間に加え、オーディオストリーム中の再生区間を示す情報を受取る。また、コントローラ16は、静止画像エンコーダ14から、画像属性情報として、各静止画像のデータサイズ、垂直及び水平画素数等のデータが供給され、Group of Picture filesに含まれる各静止画像に対応する、図2に示すClip Informatioinを作成する。   When the playback start time of each still image is determined in advance as information related to the playback content of the slide show as shown in FIG. 3, the controller 16 displays the playback start time and playback time (display of each still image). Time) information. Also, as shown in FIG. 5, when audio is played back in synchronization with such a slide show, the still image playback path is used as the playback time information of the audio in addition to the playback start time and playback time of each still image. The playback start time on the Play Item indicating and the information indicating the playback section in the audio stream are received. In addition, as shown in FIG. 6 above, in the case of a slide show in which the playback start time of each still image is not determined but only the playback order is determined, the playback order of each still image and its default playback time As shown in FIG. 8, in the case of playing back asynchronous audio, as shown in FIG. 8, in addition to the playback order of each still image and its default playback time, the playback section in the audio stream The information indicating is received. Further, the controller 16 is supplied with data such as the data size of each still image, the number of vertical and horizontal pixels as image attribute information from the still image encoder 14, and corresponds to each still image included in the Group of Picture files. The Clip Informatioin shown in FIG. 2 is created.

そして、コントローラ16は、供給された情報から、このClip Informatioinに記述されたID(file_id)を使用して、上述した静止画像及びオーディオの再生パスを示すPlay Listを作成する。また、オーディオデータのPlay Item上の再生時刻と、オーディオストリームのアクセス最小単位(アクセスポイント)のアドレスとの対応関係を示すテーブル(オーディオ用のEP_map)を有するオーディオデータ用のClip Information(オーディオ属性情報)を作成する。   Then, the controller 16 uses the ID (file_id) described in the Clip Informatioin from the supplied information to create a Play List indicating the above-described still image and audio playback path. Also, Clip Information for audio data (audio attribute information) having a table (EP_map for audio) indicating the correspondence between the reproduction time of the audio data on the Play Item and the address of the minimum access unit (access point) of the audio stream ).

記録部17は、これらのClip Information及びPlay Itemを記録媒体に記録すると共に、これらの情報に従ってデータを記録する。図10は、記録するデータのファイルとディレクトリの構成の例を示す図である。図10に示すように、ルート100は、BDAV110及びPICTURE120のディレクトリを有し、BDAV110は、PLAY LIST111、CLIPINF112及びSTREAM113というディレクトリを有している。PLAY LIST111は、複数のPlay Listファイル111a〜111cを有している。また、CLIPINF112は、オーディオストリームのClip Informationファイル112aと、Group of picture filesのClip Informationファイル112bとを有している。また、STREAM113は、オーディオストリーム(Auxiliary audio stream)ファイル113aを有している。更に、PICTURE120は、例えば静止画像ファイル121〜125のグループからなるGroup of picture files120aを複数有している。   The recording unit 17 records the Clip Information and Play Item on a recording medium, and records data according to the information. FIG. 10 is a diagram showing an example of the structure of files and directories of data to be recorded. As shown in FIG. 10, the root 100 has directories for BDAV 110 and PICTURE 120, and the BDAV 110 has directories for PLAY LIST 111, CLIPINF 112, and STREAM 113. The PLAY LIST 111 has a plurality of Play List files 111a to 111c. The CLIPINF 112 includes a clip information file 112a of an audio stream and a clip information file 112b of a group of picture files. The STREAM 113 has an audio stream file 113a. Further, the PICTURE 120 has a plurality of Group of picture files 120a composed of groups of still image files 121 to 125, for example.

図11は、Clip Informationとそれに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置の例を示す。本実施の形態においては、図3及び図6に示すように、Clip Informationの中に出現する画像ファイル名(画像識別情報ID(file_id))の順番に、再生装置(プレーヤ)が静止画像ファイルを読み出し、再生する。よって、プレーヤが静止画像ファイルを読み出す順番に、記録媒体(ディスク)上に静止画像データを並べると、プレーヤのデータのシークにかかる時間を最小にすることができるため、読み出す静止画像ファイルの順番どおりに記録媒体上に静止画像データを書き込むようにすることができる。   FIG. 11 shows an example of data arrangement on a recording medium (disc) of Clip Information and related still image files. In this embodiment, as shown in FIGS. 3 and 6, the playback device (player) stores still image files in the order of image file names (image identification information ID (file_id)) that appear in Clip Information. Read and play. Therefore, if the still image data is arranged on the recording medium (disc) in the order in which the player reads the still image file, the time required for seeking the player data can be minimized. Still image data can be written on the recording medium.

次に、本実施の形態における情報処理装置の記録動作について説明する。図12は、本実施の形態における情報処理装置の記録動作のうち、Play Listの作成方法を示すフローチャートである。先ず、静止画像エンコーダ14は、端子13を介して供給される静止画像をエンコードして画像データを生成し、記録部17へ供給すると共に、その画像属性情報をコントローラ16へ供給する。また、オーディオエンコーダ11は、端子10を介して供給されるオーディオデータをエンコードしてオーディオストリームを生成し、記録部17へ供給すると共に、そのストリーム属性情報をコントローラ16へ供給する。   Next, the recording operation of the information processing apparatus in the present embodiment will be described. FIG. 12 is a flowchart showing a Play List creation method in the recording operation of the information processing apparatus according to the present embodiment. First, the still image encoder 14 encodes a still image supplied via the terminal 13 to generate image data, supplies the image data to the recording unit 17, and supplies the image attribute information to the controller 16. The audio encoder 11 encodes audio data supplied via the terminal 10 to generate an audio stream, supplies the audio stream to the recording unit 17, and supplies the stream attribute information to the controller 16.

そして、図12に示すように、コントローラ16は、スライドショーの再生内容を取得する(ステップS1)。即ち、上述したように、スライドショーとオーディオとがAV同期する場合には、各静止画像の再生開始時刻及びその再生時間、並びに、これに同期して再生するオーディオの再生時間の情報を端子15を介して受取る。また、スライドショーとオーディオとがAV非同期の場合には、各静止画像の再生順番及びそのデフォールト再生時間、並びにオーディオの再生時間の情報を端子15を介して受取る。   And as shown in FIG. 12, the controller 16 acquires the reproduction | regeneration content of a slide show (step S1). That is, as described above, when the slide show and the audio are AV-synchronized, information on the playback start time and the playback time of each still image and the playback time of the audio to be played back in synchronization therewith is input to the terminal 15. Receive through. When the slide show and the audio are asynchronous with AV, information about the playback order of each still image, its default playback time, and the playback time of the audio is received via the terminal 15.

次いで、コントローラ16は、静止画像エンコーダ14から画像属性情報を受取り(ステップS2)、オーディオエンコーダ11からオーディオ用のEP_map等のオーディオストリーム属性情報を受取る(ステップS3)。そして、コントローラ16は、この画像属性情報に従って、上述のGroup of picture filesに関する付属情報としてClip Informationを作成する(ステップS4)。即ち、スライドショーで再生する画像の順番に、それぞれの静止画像の属性データを登録する。更に、Clip Informationの画像ファイルのfile_idを参照して、供給された外部からの情報に基づきスライドショーの再生区間(再生パス)を示すPlay Listを作成すると共に、オーディオの再生パスを示すPlay Listを作成する(ステップS5)。更に、コントローラ16はPlay ListとClip Informationとを記録部17に記録するよう指示する。   Next, the controller 16 receives image attribute information from the still image encoder 14 (step S2), and receives audio stream attribute information such as audio EP_map from the audio encoder 11 (step S3). Then, the controller 16 creates Clip Information as attached information regarding the above-mentioned Group of picture files according to the image attribute information (step S4). That is, the attribute data of each still image is registered in the order of images to be reproduced in the slide show. Furthermore, referring to the file_id of the Clip Information image file, a Play List indicating the slide show playback section (play path) is created based on the supplied external information, and a Play List indicating the audio playback path is created. (Step S5). Further, the controller 16 instructs the recording unit 17 to record the Play List and Clip Information.

記録部17は、コントローラ16にて作成されたPlay List及びClip Informationを記録媒体に記録すると共に、静止画像エンコーダ14及びオーディオエンコーダにて生成された夫々画像データ及びオーディオデータを記録媒体に記録する。このとき、記録部17は、Clip InformationのPlay Item中に出現する画像ファイル順に画像データが並ぶように、画像データを記録する。   The recording unit 17 records the Play List and Clip Information created by the controller 16 on a recording medium, and records the image data and audio data generated by the still image encoder 14 and the audio encoder, respectively, on the recording medium. At this time, the recording unit 17 records the image data so that the image data is arranged in the order of the image files appearing in the Play Item of Clip Information.

このように構成された記録装置としての情報処理装置においては、1以上の静止画像ファイルをまとめて1つのファイルとしたGroup of picture filesとして管理し、このファイルに含まれる各静止画像を管理する例えば識別情報(file_id)等の情報をClip Informationとして管理し、スライドショーにおける各静止画像の再生を指定するPlay Itemを使用する。したがって、上記特許文献2等に記載されている動画用の記録装置と互換を保ちつつスライドショーを実現するデータを記録することができる。即ち、動画像におけるAVストリームファイルの代わりに、静止画像グループのファイル(Group of picture files)を用意する。このGroup of picture files内のファイルを参照するためのClip Information fileを用意し、Play Listによりその再生を指定することにより、動画像のデータのフォーマットにおけるClip(Information file)、Play List等との共通化を図ることができる。   In the information processing apparatus as the recording apparatus configured as described above, one or more still image files are managed as a group of picture files as one file, and each still image included in the file is managed. Information such as identification information (file_id) is managed as Clip Information, and a Play Item that specifies reproduction of each still image in a slide show is used. Therefore, it is possible to record data that realizes a slide show while maintaining compatibility with the moving image recording apparatus described in Patent Document 2 and the like. That is, a still image group file (Group of picture files) is prepared instead of an AV stream file in a moving image. A Clip Information file for referencing files in this Group of picture files is prepared, and playback is specified by the Play List, so that it is common with Clip (Information file), Play List, etc. in the format of moving image data Can be achieved.

(1−5)情報処理装置(再生装置)の構成
図13は上述の記録装置により記録されたデータを再生する情報処理装置を示すブロック図である。図13に示すように、情報処理装置20は、記録媒体からデータを読み出す読出部21と、読出部21により読み出されたPlay List及びClipInformationが供給されるコントローラ22と、読出部21により読み出された静止画像データ及びオーディオデータが供給される夫々静止画像デコーダ23及びオーディオデコーダ26と、デコードされた静止画像を一時的に保持するフレームバッファ24と、静止画像の再生を制御するプロセッサ25とから構成される。
(1-5) Configuration of Information Processing Device (Playback Device) FIG. 13 is a block diagram showing an information processing device that plays back data recorded by the recording device described above. As illustrated in FIG. 13, the information processing apparatus 20 includes a reading unit 21 that reads data from a recording medium, a controller 22 that is supplied with the Play List and ClipInformation read by the reading unit 21, and a reading unit 21 that reads the data. Still image decoder 23 and audio decoder 26 to which the still image data and audio data thus supplied are supplied, a frame buffer 24 that temporarily stores the decoded still image, and a processor 25 that controls reproduction of the still image, respectively. Composed.

コントローラ22は、Play Listを参照して再生する静止画像データのID(file_id)を取得し、静止画像デコーダ23に、取得した静止画像データのIDが示す静止画像素データを読み出させ、復号させる。ここで、静止画像の再生開始時刻が予め決められていないスライドショーを再生する場合は、コントローラ22には、ユーザーインターフェース27を介してユーザからの指示が供給され、このユーザからの指示のタイミングにより、静止画像データのIDを取得して読み出し動作を行わせることができる。また、ユーザからの指示がない場合は、Play Listに記述されている静止画像の再生時間(duration)又はデフォールトの再生時間(default_duration)を経過した場合に、静止画像データのIDを取得し読み出し動作を行う。   The controller 22 acquires an ID (file_id) of still image data to be reproduced with reference to the Play List, and causes the still image decoder 23 to read and decode the still image elementary data indicated by the acquired still image data ID. . Here, in the case of playing a slide show in which the playback start time of the still image is not determined in advance, the controller 22 is supplied with an instruction from the user via the user interface 27, and according to the timing of the instruction from the user, The ID of the still image data can be acquired and the reading operation can be performed. If there is no instruction from the user, the still image data ID is acquired and read out when the playback time (duration) of the still image described in the Play List or the default playback time (default_duration) has elapsed. I do.

また、コントローラ22は、Play Listを参照して再生するオーディオデータの再生時間を取得し、オーディオストリームのClip Informationを参照し、当該再生時間に対応するオーディオストリームのアドレスを取得し、読出部21に対して該当するオーディオデータを読み出すよう指示する。   Further, the controller 22 refers to the Play List, acquires the playback time of the audio data to be played back, refers to the Clip Information of the audio stream, acquires the address of the audio stream corresponding to the playback time, and sends it to the reading unit 21. It instructs the corresponding audio data to be read out.

以下、この情報処理装置の再生動作について詳細に説明する。図14は、本実施の形態の情報処理装置における再生動作を示すフローチャートである。図14に示すように、先ず、読出部21により、Play ListとClip Informationを読み出し、コントローラ22に供給する。コントローラ22はPlay Listの静止画像の再生パスを示すPlay Itemの静止画像を識別するfile_idを取得する(ステップS11)。そして、コントローラ22は、Group of picture filesのClip Informationを参照して、上記の静止画像のfile_idが示す静止画像ファイルを特定し、その静止画像ファイルを読出部21により、Group of picture filesから読み出す(ステップS12)。   Hereinafter, the reproduction operation of the information processing apparatus will be described in detail. FIG. 14 is a flowchart showing the reproduction operation in the information processing apparatus of this embodiment. As shown in FIG. 14, first, the read unit 21 reads the Play List and Clip Information and supplies them to the controller 22. The controller 22 acquires file_id for identifying the still image of the Play Item indicating the playback path of the still image of the Play List (step S11). Then, the controller 22 refers to the Clip Information of the Group of picture files, specifies the still image file indicated by the file_id of the still image, and reads the still image file from the Group of picture files by the reading unit 21 ( Step S12).

また、コントローラ22は、Play Listのオーディオの再生パスを示すPlay Itemに従って、オーディオの再生時間を取得する(ステップS13)。そして、Auxiliary audio streamのClip Informationを参照して、オーディオストリームファイルの中でストリームのデコードを開始すべきアドレス情報を取得して、その情報に基づいて読出部21により、オーディオストリームファイルからオーディオデータを読み出す(ステップS14)ように制御する。   Further, the controller 22 acquires the audio playback time according to the Play Item indicating the audio playback path of the Play List (step S13). Then, by referring to the Clip Information of the auxiliary audio stream, the address information at which the decoding of the stream is to be started is acquired in the audio stream file, and the audio data is obtained from the audio stream file by the reading unit 21 based on the information. Control is performed so as to read (step S14).

そして、静止画像デコーダ23は、ステップS12で読み出された静止画像データをデコード(ステップS15)し、デコードした画像をフレームバッファ24へ入力する。また、オーディオデコーダ26は、ステップS14にて読み出されたオーディオデータをデコードし(ステップS16)、デコードしたオーディオを出力する。コントローラ22は、プロセッサ25に所定の指示を出し、フレームバッファ24は、その指示に従って、ストアしている画像を所定のタイミングにて再生する(ステップS17)。   Then, the still image decoder 23 decodes the still image data read in step S12 (step S15), and inputs the decoded image to the frame buffer 24. The audio decoder 26 decodes the audio data read in step S14 (step S16) and outputs the decoded audio. The controller 22 issues a predetermined instruction to the processor 25, and the frame buffer 24 reproduces the stored image at a predetermined timing in accordance with the instruction (step S17).

ここで、ステップS11において、コントローラ22は、次のタイミングt1又はt2にて静止画像のfile_idを取得する。即ち、静止画像の再生時間が、Play Listの静止画像の再生パスを示すPlay Itemの該当するSceneに記述されている再生時間を経過したタイミングt1、又はユーザーインターフェース27から静止画像を切り替える指示を受け取ったタイミングt2である。ここで、Play Itemの最後の静止画像を再生終了したとき、コントローラ22はPlay Listの再生を終了する。   Here, in step S11, the controller 22 acquires the file_id of the still image at the next timing t1 or t2. That is, a still image playback time is received at timing t1 when the playback time described in the corresponding Scene of the Play Item indicating the playback path of the still image in the Play List has elapsed, or an instruction to switch the still image is received from the user interface 27. The timing t2. Here, when the reproduction of the last still image of the Play Item is completed, the controller 22 ends the reproduction of the Play List.

即ち、コントローラ22は、上述の図3乃至図5に示す各静止画像の再生開始時刻が予め決められている場合は、上記タイミングt1、即ちPlay ItemのSceneに記述されたduratonが経過したタイミングでfile_idを読み出し、これに対応する静止画像の読み出しを読出部21に指示することができる。また、上述の図6乃至図8に示す各静止画像の再生開始時刻をユーザ等に指示させる場合は、上記タイミングt2、即ち、ユーザから等の静止画像の切り替え指示のタイミングにて次のfile_idを読み出し、これに対応する静止画像の読み出しを指示することができる。ここで、静止画像の切り替え指示が供給されない場合は、予め決められているデフォールトの再生時間(default_dulation)を経過した時点を次のfile_idの読出しのタイミングとする。   That is, when the playback start time of each still image shown in FIG. 3 to FIG. 5 is determined in advance, the controller 22 performs the timing t1, that is, the timing when the duraton described in the scene of the Play Item has elapsed. It is possible to read file_id and instruct the reading unit 21 to read a still image corresponding to the file_id. Further, when the user or the like is instructed to start the reproduction start time of each still image shown in FIGS. 6 to 8, the next file_id is set at the timing t2, that is, the timing of the still image switching instruction from the user. It is possible to instruct reading and reading of a corresponding still image. Here, when a still image switching instruction is not supplied, a time point when a predetermined default reproduction time (default_dulation) has elapsed is set as a read timing of the next file_id.

このように構成された再生装置としての情報処理装置においては、静止画像の連続再生であるスライドショーを実現するデータのフォーマットとして、静止画像及びオーディオデータの管理のためにPlay ListとClipとからなる2つのレイヤを設け、Clipにおける静止画像群及びオーディオストリームと、これらの付属情報であるClip Information fileとが別々のファイルで管理されているため、上述の特許文献2等に記載された動画像の記録再生に適用されるデータのフォーマットと共通化を図ることができる。即ち、Clipに1以上の静止画像からなるGroup of picture filesと、これを管理するClip Information fileとを設け、Play ListのPlay Itemにてスライドショーの再生区間を指定して、静止画像の連続再生であるスライドショーを実現するようにしたので、動画像を扱う情報処理装置と互換を保ちつつ静止画像を連続再生することができる。   In the information processing apparatus as the playback apparatus configured as described above, as a data format for realizing a slide show that is a continuous playback of still images, a Play List and a Clip are used to manage still images and audio data. Since two layers are provided and the still image group and audio stream in the Clip and the Clip Information file as the attached information thereof are managed as separate files, the moving image recording described in the above-mentioned Patent Document 2 and the like is provided. The data format used for reproduction can be shared. In other words, a group of picture files consisting of one or more still images and a clip information file for managing the clips are provided in the clip, and the playback section of the slide show is specified by the Play Item of the Play List, and the still images can be continuously played back. Since a certain slide show is realized, it is possible to continuously reproduce still images while maintaining compatibility with an information processing apparatus that handles moving images.

また、Play ListのPlay Itemに記述される再生パスの順序で静止画像を記録することにより、読出しにかかるシーク時間を短くすることができる。   In addition, by recording still images in the order of playback paths described in the Play Item of the Play List, it is possible to shorten the seek time required for reading.

(1−6)の変形例
また、上述の実施の形態においては、Group of picture filesに含まれる1以上の静止画像に別々の画像ファイル名を付し、Group of picture filesを別々の画像ファイルの集合として管理する場合について説明したが、これを1つの画像ファイルとして管理してもよい。次に、Group of picture filesに含まれる1以上の静止画像を1つの画像ファイルとして管理する第1の実施の形態における変形例について説明する。
In the above-described embodiment, different image file names are assigned to one or more still images included in Group of picture files, and Group of picture files are stored in different image files. Although the case of managing as a set has been described, this may be managed as one image file. Next, a modification of the first embodiment that manages one or more still images included in Group of picture files as one image file will be described.

本変形例においては、Group of picture filesにおいて、1以上の静止画像を含む画像ファイルのグループ(以下、静止画像グループファイルという。)に分け、この静止画像グループの例えば再生順序の先頭から順番にID番号を割り振り、そのID番号をClip Informationが参照するものである。   In the present modification, the group of picture files is divided into groups of image files including one or more still images (hereinafter referred to as still image group files), and IDs are sequentially assigned from the beginning of the playback order of the still image groups, for example. A number is assigned, and Clip Information refers to the ID number.

Group of picture filesに含まれる1以上の静止画像を1つの画像ファイルとして管理する本変形例においは、例えば、同時にプレゼンテーションされる静止画像をグループ化して管理することができる。具体的には上述した図7に示すスライドショーの場合、同時に再生されるfile_id=1及びfile_id=2の2つの静止画像を1つのグループとしてグループ化し、また、file_id=3の静止画像を1つのグループとし、また、同時に再生されるfile_id=4とfile_id=5の静止画像を1つのグループとしてグループ化する。   In this modified example in which one or more still images included in Group of picture files are managed as one image file, for example, still images that are presented at the same time can be managed as a group. Specifically, in the case of the slide show shown in FIG. 7 described above, two still images with file_id = 1 and file_id = 2 that are played back simultaneously are grouped as one group, and still images with file_id = 3 are grouped into one group. In addition, the still images of file_id = 4 and file_id = 5 that are reproduced simultaneously are grouped as one group.

この場合、上述した図6に示すPlay Listとは異なる構造を有する。図15は、本変形例におけるPlay ListとClipとの関係の例を示す図である。図15に示すように、Play Listは、静止画像の再生パスを示すPlay Itemから構成されてなる点は図6と同様であるが、Play Itemは、図6に示すSceneの代わりに、Pageを有している。ここで、図6に示すSceneは、Play Itemの中での各Sceneの再生順序を指定する情報、Clipの中のGroup of picture filesを参照する際の静止画像の識別情報ID(file_id)、及びデフォールトの再生時間を有しているが、本変形例におけるPageは、上記Sceneの静止画像の識別情報ID(file_id)の代わりに、各静止画像グループの識別情報であるID(group_id)が記述されている点が異なる。その他の点においては、このPageはSceneと同等の機能を有する。即ち、Pageは、Play Itemの中での各Pageの再生の順序を指定する情報(playing_order)と、Clipの中のGroup of Picture filesを参照する際の静止画像グループの識別情報であるID(group_id)と、各Groupのデフォールト再生時間(default_duration)とを有している。   In this case, it has a different structure from the above-described Play List shown in FIG. FIG. 15 is a diagram illustrating an example of a relationship between a Play List and a Clip in the present modification. As shown in FIG. 15, the Play List is similar to FIG. 6 in that the Play List is composed of Play Items indicating still image playback paths, but the Play Item is a Page instead of the Scene shown in FIG. 6. Have. Here, the Scene shown in FIG. 6 includes information specifying the playback order of each Scene in the Play Item, identification information ID (file_id) of the still image when referring to the Group of picture files in the Clip, and Although it has a default playback time, the page in this modification example describes the ID (group_id), which is the identification information of each still image group, instead of the identification information ID (file_id) of the still image of the scene. Is different. In other respects, this page has the same function as Scene. That is, the page is information (playing_order) that specifies the playback order of each page in the play item, and ID (group_id) that is identification information of a still image group when referring to the group of picture files in the clip. ) And the default playback time (default_duration) of each Group.

本変形例においても、Play Listは、Clipの中の静止画像を参照し、そして、Clip Informationは、Play Listによって参照される静止画像とその実態との関係を示す。即ち、Play Listは、Clipの中の静止画像を識別するための静止画像グループ識別情報ID(group_id)を参照する。そして、Clip Informationは、この静止画像グループ識別情報ID(group_id)に対応するグループ化された静止画像の記録媒体上でのアドレス情報を示す。再生装置は、このアドレス情報を取得し、静止画像を読み出し再生する。   Also in this modified example, the Play List refers to still images in the Clip, and Clip Information indicates the relationship between the still images referenced by the Play List and their actual state. That is, the Play List refers to a still image group identification information ID (group_id) for identifying a still image in the Clip. Clip Information indicates address information on the recording medium of the grouped still images corresponding to the still image group identification information ID (group_id). The playback device acquires this address information, reads out and plays back a still image.

図16は、図15に示す本変形例におけるClip Informationとそれに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置の例を示す。Clip Informationは、上述したように、各々の静止画像グループ識別情報ID(group_id)に対応するグループ化された静止画像の記録媒体上でのアドレス情報(ads1、ads2、ads3)を有する。そして、記録媒体上には、Play Itemの再生順序に従って、即ちPage[1]、[2]、[3]に記述された静止画像グループ識別情報ID(group_id=1、2、3)の順番に、静止画像グループデータが記録されている。   FIG. 16 shows an example of data arrangement on the recording medium (disk) of Clip Information and related still image files in this modification shown in FIG. As described above, Clip Information includes address information (ads1, ads2, ads3) on the recording medium of the grouped still images corresponding to each still image group identification information ID (group_id). On the recording medium, in accordance with the playback order of Play Items, that is, in the order of still image group identification information IDs (group_id = 1, 2, 3) described in Page [1], [2], [3]. Still image group data is recorded.

再生装置(プレーヤ)は、Clip Informationの中に出現する静止画像グループ識別情報ID(group_id)の順番に、静止画像データを読み出して再生する。このような静止画像ファイルの構造にすることにより、Group of picture filesを別々の画像ファイルの集合とする場合に比べて、ファイルを管理するためのファイルシステムデータの量を低減することができる。   The playback device (player) reads and plays still image data in the order of still image group identification information ID (group_id) appearing in Clip Information. By adopting such a still image file structure, it is possible to reduce the amount of file system data for managing files, compared to a case where Group of picture files is a set of separate image files.

(2)第2の実施の形態
次に、本発明の第2の実施の形態について説明する。上述の第2の実施の形態においては、Group of picture filesの各静止画像、又は各々の静止画像グループの画像データがそのまま記録媒体に記録されるものとして説明したが、本実施の形態においては、この画像データがトランスポートストリーム(TS)の形式で記録されるものである。静止画像をトランスポートストリームに多重化する際は、上述の図9における記録部17にて多重化するものとする。
(2) Second Embodiment Next, a second embodiment of the present invention will be described. In the above-described second embodiment, each still image of Group of picture files or each still image group image data has been described as being recorded on a recording medium as it is, but in this embodiment, This image data is recorded in the transport stream (TS) format. When multiplexing a still image into a transport stream, it is assumed that the recording unit 17 in FIG. 9 described above multiplexes the still image.

(2−1)スライドショー:静止画像のみ
図17は、本実施の形態におけるClip Informationとそれに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置を示す。ここでも、同時再生される1以上の静止画像を静止画像グループとして管理する場合であって、再生順序を指定し、各静止画像の再生時間(スライドのスチルの持続時間)が有限であるデフォールトの再生時間としたスライドショーについて説明する。
(2-1) Slideshow: Still Image Only FIG. 17 shows data arrangement on the recording medium (disc) of Clip Information and related still image files in the present embodiment. Again, this is a case where one or more still images that are played back simultaneously are managed as a still image group, in which a playback order is specified, and the playback time of each still image (slide still duration) is finite. A slide show with a playback time will be described.

本実施の形態においては、各々の静止画像グループの画像データがトランスポートストリームに多重化されているため、Clip Informationは、グループ化された静止画像の識別情報ID(group_id)と、それに対応するグループ化された静止画像が多重化されているトランスポートストリーム中における開始アドレス、即ち先頭のソースパケット番号(SPN_start)とを示すテーブルであるEP_mapを有する。なお、ソースパケット番号とは、トランスポートストリームファイルの中におけるソースパケットの順番に1ずつインクリメントされて付される番号であり、トランスポートストリームファイルの先頭のソースパケット番号がゼロとされるものである。   In the present embodiment, since the image data of each still image group is multiplexed in the transport stream, Clip Information includes the identification information ID (group_id) of the grouped still images and the corresponding group. EP_map which is a table indicating the start address in the transport stream in which the converted still image is multiplexed, that is, the head source packet number (SPN_start). The source packet number is a number that is incremented by 1 in the order of the source packets in the transport stream file, and the leading source packet number of the transport stream file is set to zero. .

記録装置は、上述の第1の実施の形態と同様に、再生順序(読出し順序)に従って静止画像グループの画像データをトランスポートストリームに多重化して記録し、再生装置(プレーヤ)は、このClip Informationの中に出現する静止画像グループ識別情報ID(group_id)の順番に、静止画像データを読み出して再生する。このような静止画像ファイルの構造にすることにより、このトランスポートストリームの構造は、上記特許文献2で説明されているAVストリームファイルと同様とすることができ、同様の記録再生装置を使用すること等ができて便利である。   As in the first embodiment, the recording device multiplexes and records the image data of the still image group in the transport stream in accordance with the reproduction order (reading order), and the reproduction device (player) Still image data is read out and played back in the order of still image group identification information ID (group_id) appearing therein. By adopting such a still image file structure, the structure of this transport stream can be made the same as that of the AV stream file described in Patent Document 2 above, and the same recording / reproducing apparatus should be used. Etc. are convenient.

また、図16に示す変形例及び図17に示す本実施の形態に示すように、再生順序に従ってデータが記録されたデータ配置にすることにより、図11の場合と同様の効果を奏する。即ち、プレーヤが静止画像ファイルを読み出す順番に、記録媒体(ディスク)上に静止画像データを並べ、読み出す静止画像ファイルの順番どおりに記録媒体上に静止画像データを書き込むようにすることで、プレーヤのデータのシークにかかる時間を最小にすることができる。   Further, as shown in the modification example shown in FIG. 16 and the present embodiment shown in FIG. 17, the same effect as in the case of FIG. That is, by arranging the still image data on the recording medium (disc) in the order in which the player reads out the still image file and writing the still image data on the recording medium in the order of the still image file to be read out, Data seek time can be minimized.

(2−2)スライドショー:静止画像+オーディオ
次に、このようなスライドショーに対してオーディオを非同期に再生する場合について説明する。図18は、本実施の形態におけるオーディオを非同期に再生する場合のPlay Listを示す図である。Play Listは、静止画像の再生パスを示すPlay Itemと、オーディオの再生パスを示すPlay Itemとからなる。ここで、静止画像の再生パスをPlay Itemとし、オーディオの再生パスをSub Play Itemとしている点が図8に示す場合とは異なる。従って、本実施の形態においては、Sub Play Itemに、再生開始時刻In_timeと再生終了時刻Out_timeを持たせ、オーディオストリームの中の再生開始と再生終了のタイムスタンプを参照する。また、Play Itemは、上述したようにスライドショーを構成する各静止画像のデータであるPageを有している。
(2-2) Slideshow: Still Image + Audio Next, a case where audio is reproduced asynchronously with respect to such a slideshow will be described. FIG. 18 is a diagram showing a Play List when audio is reproduced asynchronously in the present embodiment. The Play List includes a Play Item indicating a still image playback path and a Play Item indicating an audio playback path. Here, the point that the playback path of the still image is Play Item and the playback path of the audio is Sub Play Item is different from the case shown in FIG. Therefore, in the present embodiment, the Sub Play Item has the playback start time In_time and the playback end time Out_time, and refers to the playback start and playback end time stamps in the audio stream. Also, the Play Item has a Page that is data of each still image constituting the slide show as described above.

再生装置は、Clip informationを参照して、Sub Play Itemの再生開始時刻In_timeと再生終了時刻Out_timeに対応するところのオーディオストリームのデータの記録媒体上でのアドレス情報を取得する。そして、再生装置は、このアドレス情報を用いてオーディオを読み出し再生する。このようなオーディオの再生の仕組みは、図8に示す第1の実施の形態と同様である。   The playback device refers to the Clip information and acquires address information on the recording medium of the audio stream data corresponding to the playback start time In_time and the playback end time Out_time of the Sub Play Item. Then, the playback device reads out and plays back the audio using this address information. Such an audio playback mechanism is the same as that of the first embodiment shown in FIG.

また、Sub Play Item及びPlay Itemには、再生パス等の情報に加えて、再生制御情報を付加することができる。ここで、本実施の形態におけるSub Play Itemは、再生制御情報として、Sub Play Itemの再生がPlay Itemの再生と非同期であることを示す第1の情報(Sub Play Item_type)が付加されている。更に、このSub Play Itemの再生制御情報として、オーディオストリームの再生開始時刻IN_timeと再生終了時刻Out_timeとで示される再生区間を繰り返し再生するか、又は1回だけ再生するかを示すフラグ(第2の情報)(is_repeat_Sub Play Itemフラグ)が付加されている。再生装置は、この第1の情報Sub Play Item_typeにより、Sub Play Itemの再生がPlay Itemの再生と非同期と判断する。また、is_repeat_Sub Play Itemフラグが例えば0のとき、1回のみの再生とし、フラグが1のとき、上記再生区間を繰り返し再生する。   Also, playback control information can be added to the Sub Play Item and Play Item in addition to information such as the playback path. Here, the first information (Sub Play Item_type) indicating that the playback of the Sub Play Item is asynchronous with the playback of the Play Item is added to the Sub Play Item in the present embodiment as the playback control information. Further, as the playback control information of the Sub Play Item, a flag (second second) indicating whether the playback section indicated by the playback start time IN_time and the playback end time Out_time of the audio stream is to be repeatedly played or only played once. Information) (is_repeat_Sub Play Item flag) is added. Based on the first information Sub Play Item_type, the playback device determines that playback of the Sub Play Item is asynchronous with playback of the Play Item. For example, when the is_repeat_Sub Play Item flag is 0, playback is performed only once. When the flag is 1, the playback section is repeatedly played back.

なお、ここでは、この2つの再生制御情報は、静的なデータ形式でSub Play Itemに付随するデータとして説明したが、その他、プレイバックコントロール(いわゆるPBC)のコマンド形式でSub Play Itemに付随させてもよい。具体的には、例えば、is_repeat_Sub Play Itemフラグの代わりに、Repeat-Sub Play Itemというコマンドを使用してSub Play Itemに付随させてもよい。   Here, the two playback control information has been described as data attached to the Sub Play Item in a static data format, but in addition, it is attached to the Sub Play Item in the command format of playback control (so-called PBC). May be. Specifically, for example, instead of the is_repeat_Sub Play Item flag, a command called Repeat-Sub Play Item may be used to accompany the Sub Play Item.

(3)第3の実施の形態
次に、本発明の第3の実施の形態について説明する。本実施の形態は、上述の第1の実施の形態において説明した図3に示す各静止画像の再生時刻が予め決められているスライドショーや、静止画像の再生順序のみを指定する図6又は図15に示すスライドショーにおいて、Scene又はPageとして記述されている1つの再生パスを示す画像再生指定情報を、1つのPlay Itemとし、各Scene又はPageに対応する数のPlay Itemを持たせるものである。このように、各Play Itemにより再生パス(1つの再生区間)を示すことにより、AVストリームの再生区間(時間軸上のイン点(IN)とアウト点(OUT)の対で表されるPlay Item)をグループ化したものをPlay Listとして有している上記特許文献2に記載の情報処理装置におけるPlay Itemと同様の構成とすることができ、更に互換性を高めることができる。
(3) Third Embodiment Next, a third embodiment of the present invention will be described. In the present embodiment, a slide show in which the playback time of each still image shown in FIG. 3 described in the first embodiment is determined in advance, or only the playback order of still images is specified. In the slide show shown in FIG. 4, image reproduction designation information indicating one reproduction path described as a Scene or Page is set as one Play Item, and the number of Play Items corresponding to each Scene or Page is provided. In this way, by indicating the playback path (one playback section) by each Play Item, the playback section of the AV stream (Play Item represented by a pair of IN point (IN) and OUT point (OUT) on the time axis) ) Are grouped as a Play List and have the same configuration as the Play Item in the information processing apparatus described in Patent Document 2, and compatibility can be further improved.

(3−1)スライドショー:静止画像のみ
図19(a)及び(b)は、再生順序を指定し、それぞれのスライドの再生時間(スライドのスチルの持続時間)が有限であるスライドショーであって、例えば、図6に示すScene、又は図18に示すPageの代わりに、Play Itemを使用した場合の夫々Play List及び静止画像と再生時間との関係を示す図である。図19に示すように、本実施の形態においては、各Play Itemは、再生開始時刻IN_timeと再生終了時刻OUT_timeを使って、各静止画像又は同時に再生される静止画像グループの再生区間を示す。即ち、図6又は図18に示すPlay Itemにおいては、各Scene又はPageにて各Scene又はPageの長さを示すデフォールトの再生時間(表示時間)default_dulationを指定するものであるが、本実施の形態においては、図19(a)に示すように、Play Item1が、例えば図18のPage[1]に相当し、そのIN_timeとOUT_timeを夫々t1及びt2に設定する。従って、このt1からt2で示される再生区間は、デフォールト再生時間(delfault_duration)のd1に等しい。また、Play Item2のIN_time及びOUT_timeを夫々t2及びt3に設定する。このt2からt3の再生区間は、デフォールト再生時間(delfault_duration)のd2に等しい。また、Play Item3のIN_time及びOUT_timeを夫々t3及びt4に設定する。このt3からt4の再生区間は、デフォールト再生時間(delfault_duration)のd3に等しい。
(3-1) Slide show: Still image only FIGS. 19A and 19B are slide shows in which the playback order is designated and the playback time of each slide (the duration of the slide still) is finite. For example, instead of the Scene shown in FIG. 6 or the Page shown in FIG. 18, the Play List and the relationship between the still image and the playback time when Play Items are used are shown. As shown in FIG. 19, in the present embodiment, each Play Item indicates a playback section of each still image or a still image group that is played back simultaneously using a playback start time IN_time and a playback end time OUT_time. That is, in the Play Item shown in FIG. 6 or FIG. 18, the default playback time (display time) default_dulation indicating the length of each Scene or Page is specified in each Scene or Page. In FIG. 19A, Play Item 1 corresponds to, for example, Page [1] in FIG. 18, and its IN_time and OUT_time are set to t1 and t2, respectively. Therefore, the playback section indicated by t1 to t2 is equal to d1 of the default playback time (delfault_duration). Also, IN_time and OUT_time of Play Item 2 are set to t2 and t3, respectively. The playback section from t2 to t3 is equal to d2 of the default playback time (delfault_duration). Also, IN_time and OUT_time of Play Item 3 are set to t3 and t4, respectively. The playback section from t3 to t4 is equal to d3 of the default playback time (delfault_duration).

各Play ItemのIN_time及びOUT_timeは、AVストリームの中の再生範囲を示しており、AVストリームの中のIN_timeのPTSからOUT_timeのPTSの値までの静止画データが再生される。図19に示すタイプのスライドショーの場合、あるPlay ItemのIN_timeのPTSからOUT_timeのPTSの値までの静止画像データが再生されると、プレーヤは、自動的に次のPlay Itemの再生に移る。   IN_time and OUT_time of each Play Item indicate a playback range in the AV stream, and still image data from the IN_time PTS to the OUT_time PTS value in the AV stream is played back. In the case of a slide show of the type shown in FIG. 19, when still image data from an IN_time PTS to an OUT_time PTS value of a certain Play Item is reproduced, the player automatically proceeds to reproduction of the next Play Item.

また、図19に示すPlay Itemでは、静止画像のデフォールト再生時間が有限である場合である。しかし、例えばPlay Listの作成者が、このデフォールト再生時間を無限に設定したい場合、Play Itemの情報に、再生終了時刻OUT_timeの再生画像を表示しつづけることを示す情報を追加することにより、デフォールト再生時間を無限に設定することも可能である。上述したようにPlay Itemには、上記特許文献2に記載の情報処理装置と同様、新たに情報(再生制御情報)を追加することができる。例えば、図20に示すように、Play Itemに、OUT_Timeの画像を表示し続けるか否かを示す再生制御情報としてフラグis_Play Item_Stillを付属させることができ、このフラグis_Play Item_Still=1に設定されている場合(default_durationが無限の場合)、再生装置は、Play Itemの再生終了時刻OUT_timeのPTSの画像を再生したところで、その画像を表示し続ける。この場合、ユーザがスライドの再生を次に進めるということをプレーヤへ指示しない限り、次のスライドの再生に進まない。そして、ユーザが、次の静止画像へ再生を進めることを再生装置に命令すると、再生装置は次のPlay Itemの再生を開始する。   In the Play Item shown in FIG. 19, the default playback time of a still image is finite. However, for example, if the creator of the Play List wants to set the default playback time to infinity, the default playback time is added by adding information indicating that the playback image at the playback end time OUT_time is continuously displayed to the Play Item information. It is also possible to set the time indefinitely. As described above, information (reproduction control information) can be newly added to the Play Item, as in the information processing apparatus described in Patent Document 2. For example, as shown in FIG. 20, a flag “is_Play Item_Still” can be attached to the Play Item as playback control information indicating whether or not to continue to display the OUT_Time image, and this flag is_Play Item_Still = 1 is set. In this case (when default_duration is infinite), the playback device continues to display the image when the PTS image at the playback end time OUT_time of the Play Item is played back. In this case, unless the user instructs the player to proceed with the next slide reproduction, the next slide reproduction does not proceed. When the user instructs the playback device to proceed with playback to the next still image, the playback device starts playback of the next Play Item.

このように、Play Itemにフラグis_Play Item_Stillを付属させれば、1つのPlay Listの中に、静止画像のデフォールト再生時間が有限のPlay Itemと無限のPlay Itemを混在させることができる。図20に示す例では、Play Item1及びPlay Item3の再生時間を無限にし、Play Item2の再生時間を有限にした場合を示す。また、全てのPlay Itemにおける再生時間を無限としてもよい。   As described above, when the flag is_Play Item_Still is attached to the Play Item, a Play Item having a default playback time of a still image and an Infinite Play Item can be mixed in one Play List. In the example shown in FIG. 20, the playback time of Play Item 1 and Play Item 3 is made infinite, and the playback time of Play Item 2 is made finite. Also, the playback time for all Play Items may be infinite.

なお、ここでは、OUT_timeの再生画像を表示し続けることを示す再生制御情報は、静的なフラグというデータ形式でPlay Itemに付随するデータとして説明したが、その他、プレイバックコントロール(いわゆるPBC)のコマンド形式でPlay Itemに付随させてもよい。具体的には、例えば、Still-Play Itemというコマンドを使用してPlay Itemに付随させることができる。   Note that here, the playback control information indicating that the playback image of OUT_time continues to be displayed has been described as data attached to the PlayItem in a data format called a static flag, but in addition, playback control (so-called PBC) It may be attached to the Play Item in command format. Specifically, for example, it can be attached to a Play Item using a command called Still-Play Item.

図19及び図20のPlay Itemが参照する1以上の静止画像からなる静止画像ファイルは、図17に示したようなトランスポートストリームの形式で記録媒体に記録されている。そして、Play Itemの再生開始時刻IN_timeと再生終了時刻OUT_timeが示すところのトランスポートストリームのデータアドレスは、Clip InformationのEP_mapを参照することにより得ることができる。図21及び図22は、Play Listと、そのClip Information fileと、記録媒体上に記録されるデータを模式的に示す図である。   A still image file composed of one or more still images referred to by PlayItems in FIGS. 19 and 20 is recorded on a recording medium in the transport stream format as shown in FIG. The data address of the transport stream indicated by the playback start time IN_time and the playback end time OUT_time of the Play Item can be obtained by referring to the EP_map of Clip Information. 21 and 22 are diagrams schematically showing a Play List, its Clip Information file, and data recorded on a recording medium.

図21は、図19に示すPlay Itemの再生時間が有限の場合を示す。図17と同様に、トランスポートストリーム形式の静止画像ファイルにおいて、ABCD0001.JPGとABCD0001.PNGとが多重化されているトランスポートストリームは、プレゼンテーションタイムスタンプPTSがt1からt2までの範囲であり、また、ABCD0002.JPGが多重化されているトランスポートストリームはPTSがt2からt3までの範囲であり、また、ABCD0003.JPGとABCD0003.PNGとが多重化されているトランスポートストリームはPTSがt3からt4までの範囲である。これら、PTSがt1〜t4の間には、静止画像とそれにオーバーレイされるグラフィックスや字幕等がトランスポートストリームに多重化されている。   FIG. 21 shows a case where the playback time of the Play Item shown in FIG. 19 is finite. Similarly to FIG. 17, in the transport stream still image file, the transport stream in which ABCD0001.JPG and ABCD0001.PNG are multiplexed has a presentation time stamp PTS in the range from t1 to t2, and The transport stream in which ABCD0002.JPG is multiplexed has a PTS in the range from t2 to t3, and the transport stream in which ABCD0003.JPG and ABCD0003.PNG are multiplexed has a PTS in the range from t3 to t4. Range. When these PTSs are between t1 and t4, still images and graphics or subtitles overlaid thereon are multiplexed in the transport stream.

この静止画像ファイルのトランスポートストリームに関連して記録媒体に記録されているClip Information fileのEP_mapは、トランスポートストリームのプレゼンテーションタイプスタンプPTSの値とそれが示すところのトランスポートストリーム中におけるソースパケット番号との対応関係を示すテーブルである。即ち、本実施の形態におけるEP_mapは、Play Item1、Play Item2及びPlay Item3のそれぞれのIN_timeであるt1、t2及びt3が示すところの各ソースパケット番号の値を有する。ここで、上述の第2の実施の形態における図17に示すEP_mapは、複数の静止画像グループ識別情報Group_idと、それが開始されるソースパケット番号SPN_startとの対応関係を示すテーブルであるのに対し、図21に示す本実施の形態におけるEP_mapは、上記特許文献2に記載のEP_mapと同様の構成、即ち、静止画像のタイムスタンプPTS_startと、それが開始される先頭のソースパケット番号SPN_startとの対応関係を示すテーブルとなっている。   The EP_map of the Clip Information file recorded on the recording medium in relation to the transport stream of this still image file is the value of the presentation type stamp PTS of the transport stream and the source packet number in the transport stream indicated by it It is a table which shows the corresponding relationship. That is, the EP_map in the present embodiment has values of source packet numbers indicated by t1, t2, and t3 that are IN_time of Play Item 1, Play Item 2, and Play Item 3, respectively. Here, the EP_map shown in FIG. 17 in the second embodiment described above is a table indicating the correspondence between a plurality of still image group identification information Group_id and the source packet number SPN_start from which it is started. The EP_map in the present embodiment shown in FIG. 21 has the same configuration as the EP_map described in Patent Document 2, that is, the correspondence between the still image time stamp PTS_start and the first source packet number SPN_start at which it starts. It is a table showing the relationship.

再生装置(プレーヤ)は、このEP_mapを用いて、Play Itemが参照している静止画像データ、即ち、ソースパケット番号SPN_startで示されるデータを読み出し、再生する。このような静止画像ファイルの構造にすることにより、このトランスポートストリームの構造は、上記特許文献2で説明されているAVストリームファイルと同様の構造であるので、同様の記録再生装置を使用すること等ができて便利である。   Using this EP_map, the playback device (player) reads out and plays back still image data referred to by the Play Item, that is, data indicated by the source packet number SPN_start. By adopting such a still image file structure, the structure of this transport stream is the same as that of the AV stream file described in Patent Document 2, so that the same recording / reproducing apparatus should be used. Etc. are convenient.

この図21に示すPlay Listでは、静止画像のデフォールトの再生時間は有限に設定されており、そのデフォールトの再生時間は、Play Itemの再生開始時刻IN_timeと再生終了時刻OUT_timeとで示される時間区間である。一方、図22に示すPlay Listでは、静止画像のデフォールトの再生時間に無限が設定されているPlay Itemを含み、デフォールト再生時間が無限であることは、Play Itemに付加されたis_Play Item_Stillフラグにより示される。   In the PlayList shown in FIG. 21, the default playback time of a still image is set to be finite, and the default playback time is a time section indicated by Play Item playback start time IN_time and playback end time OUT_time. is there. On the other hand, the Play List shown in FIG. 22 includes a Play Item in which the default playback time of a still image is set to infinite, and that the default playback time is infinite is indicated by the is_Play Item_Still flag added to the Play Item. It is.

ユーザは、有限に設定されたデフォールト再生時間を終わるのを待たずに、又はデフォールト再生時間が無限に設定されている場合はその途中で次の静止画像へ再生を進めることを再生装置に命令することができる。例えば、再生装置がPlay Item1を再生している途中に、ユーザが次の静止画像へ再生を進めることを再生装置に命令すると、再生装置はPlay Item2の再生を開始する。このときの再生開始時刻がIN_Time=t2となり、再生装置は、EP_mapのt2に対応するソースパケット番号spn2で示されるソースパケットから読出し再生する。   The user instructs the playback apparatus not to wait for the end of the finite set default playback time, or to advance playback to the next still image in the middle of the default playback time if it is set to infinity. be able to. For example, when the user instructs the playback device to advance playback to the next still image while the playback device is playing Play Item 1, the playback device starts playback of Play Item 2. The playback start time at this time is IN_Time = t2, and the playback apparatus reads out and plays back from the source packet indicated by the source packet number spn2 corresponding to t2 of EP_map.

また、Play Itemの静止画像のデフォールトの再生時間を示すために、Play Itemの付属情報(再生制御情報)として、OUT_timeの画像の再生をスチルさせることを示す情報、及びスチルの持続時間を示す情報を使用することもできる。   Also, in order to indicate the default playback time of a Play Item still image, as information attached to the Play Item (playback control information), information indicating that the playback of the OUT_time image is still performed, and information indicating the still duration of the still image Can also be used.

例えば、OUT_timeの画像の再生をスチルさせることを示す情報として、上述のis_Play Item_Stillフラグを使用し、is_Play Item_Stillフラグに加えて、スチルの持続時間を示す情報Still_durationを追加する。具体的には、is_Play Item_Stillフラグが1であるとき、OUT_timeの画像の再生をスチルさせることを示し、そのスチルの持続時間をStill_durationが示すものとすることができる。また、スチルの持続時間Still_durationが所定の値に設定されている場合に、スチルの持続時間が無限であることを示すことにすればよい。例えば、スチル持続時間Still_durationを8ビットの値としたとき、0xFFの場合に、スチルの持続時間が無限であることを示し、それ以外の値であるとき、Still_durationの値は、有限のスチルの持続時間を示すものとする。このスチル持続時間Still_durationの値の単位としては例えば秒(s)を設定することができる。   For example, as the information indicating that the playback of the OUT_time image is to be still, the above-described is_Play Item_Still flag is used, and in addition to the is_Play Item_Still flag, information Still_duration indicating the duration of the still is added. Specifically, when the is_Play Item_Still flag is 1, it indicates that the playback of the OUT_time image is to be still, and the still duration can be indicated by Still_duration. Further, when the still duration Still_duration is set to a predetermined value, it may be indicated that the still duration is infinite. For example, if the still duration Still_duration is an 8-bit value, 0xFF indicates that the still duration is infinite. If it is any other value, the Still_duration value is a finite still duration. Show time. As a unit of the value of this still duration Still_duration, for example, second (s) can be set.

また、任意のPlay Itemへのランダムアクセスを考慮するに、それぞれのPlay Itemが参照するトランスポートストリーム部分が、トランスポートストリームファイルの中でソースパケットのレベルで多重化されていないほうが便利である。なぜなら、そのPlay Itemの再生に必要なデータの読み出し量を最小にできるからである。そのためには、図23に示すように、各Play Itemが参照するトランスポートストリーム部分毎に、トランスポートストリームの基本となる同期信号(システムタイムクロック(SystemTimeClock))STCを独立させておくことが好ましい。これにより、各Play Itemが参照するトランスポートストリーム部分をトランスポートストリームファイルの中で独立させた状態で、トランスポートストリームを多重化することができる。   In consideration of random access to an arbitrary Play Item, it is convenient that the transport stream portion referred to by each Play Item is not multiplexed at the source packet level in the transport stream file. This is because it is possible to minimize the amount of data read necessary for reproducing the PlayItem. For this purpose, as shown in FIG. 23, it is preferable that the synchronization signal (system time clock (SystemTimeClock)) STC that is the basis of the transport stream is made independent for each transport stream portion referred to by each Play Item. . As a result, the transport stream can be multiplexed while the transport stream portion referred to by each Play Item is made independent in the transport stream file.

図23に示すClip Information fileは、上記特許文献2と同様のSequenceInfoを有する。SequenceInfoは、Clip Information fileの付属情報であり、トランスポートストリームファイルの中で連続なシステムタイムクロックSTCが開始するところのソースパケット番号(SPN_STC_start)とそのシステムタイムクロックSTCのインデックス番号(stc_id)との対応関係を示すテーブルである。1つの連続なシステムタイムクロックSTCを有するソースパケット列をSTC-sequenceと呼ぶ。   The Clip Information file shown in FIG. 23 has SequenceInfo similar to that in Patent Document 2. SequenceInfo is ancillary information of the Clip Information file, and includes the source packet number (SPN_STC_start) where the continuous system time clock STC starts in the transport stream file and the index number (stc_id) of the system time clock STC. It is a table which shows a correspondence. A source packet sequence having one continuous system time clock STC is called an STC-sequence.

この場合は、図23に示すように、Play Itemは、再生開始時刻IN_time及び再生終了時刻OUT_timeに加えて、これらタイムスタンプが参照するところのSTCへの参照値(ref_to_stc_id)を有する。再生装置(プレーヤ)は、EP_mapとSequenceInfoとを使用して、Play Itemが参照している静止画像データを読み出し、再生する。   In this case, as shown in FIG. 23, in addition to the reproduction start time IN_time and the reproduction end time OUT_time, the Play Item has a reference value (ref_to_stc_id) to the STC referred to by these time stamps. The playback device (player) uses EP_map and SequenceInfo to read and play back still image data referenced by the Play Item.

(3−2)スライドショー:静止画像+オーディオ
次に、このように、各再生区間がPlatListにより示されるスライドショーと共にオーディオを再生する場合について説明する。
(3-2) Slideshow: Still Image + Audio Next, a case where audio is played together with a slideshow in which each playback section is indicated by PlatList will be described.

(3−2−1)静止画像とオーディオが同期して再生する場合
先ず、図21のような静止画像のPlay Listに対してオーディオを同期させて再生する場合について説明する。上述した図5に示す第1の実施の形態においては、スライドショーにおける各静止画像の再生開始時刻及び再生時間が決められており、この静止画像の再生に同期して再生させるオーディオの再生パスを示すオーディオ再生指定情報にSub Play Itemを使用している。このように、オーディオの再生パスとしてSub Play Itemを使用することもできるが、静止画像をトランスポートストリームに多重化する場合は、静止画像に同期して再生するオーディオもまた、トランスポートストリームに多重化する方が読み出すストリームが1本になるので、再生処理が容易である。
(3-2-1) When Still Image and Audio Play in Synchronism First, a case will be described in which audio is played in synchronization with a Play List of still images as shown in FIG. In the first embodiment shown in FIG. 5 described above, the playback start time and playback time of each still image in the slide show are determined, and an audio playback path to be played back in synchronization with the playback of this still image is shown. Sub Play Item is used for audio playback specification information. In this way, the Sub Play Item can be used as an audio playback path. However, when a still image is multiplexed into a transport stream, the audio played back in synchronization with the still image is also multiplexed into the transport stream. Since the number of streams to be read becomes one, the reproduction process is easy.

図24は、静止画像に同期して再生するオーディオもまた、トランスポートストリームに多重化し、静止画像の再生に同期させてオーディオを再生するスライドショーのPlay Listを示す図である。図21に示す例においては、1以上の静止画像がトランスポートストリームに多重化されていたが、本実施の形態においては、スライドショーに同期して再生されるオーディオストリームが、静止画像と共にトランスポートストリームに多重化されている。再生装置(プレーヤ)は、Clip InformationのEP_mapを用いて、Play Itemが参照している静止画像データ及びオーディオを読み出し、プレゼンテーションタイムスランプPTSに基づいて、静止画像にオーディオを同期させて再生出力する。   FIG. 24 is a diagram illustrating a slide list Play List in which audio reproduced in synchronization with a still image is also multiplexed into a transport stream and audio is reproduced in synchronization with reproduction of the still image. In the example shown in FIG. 21, one or more still images are multiplexed in a transport stream. However, in this embodiment, an audio stream that is played back in synchronization with a slide show is a transport stream together with a still image. Are multiplexed. The playback device (player) reads the still image data and audio referenced by the Play Item using the EP_map of Clip Information, and plays back and outputs the audio synchronized with the still image based on the presentation time slump PTS.

ここで、図21、図22、図23又は図24のEP_mapが、トランスポートストリームファイル(静止画ファイル)の中で指し示すソースパケットについて、2通りの方法を説明する。   Here, two methods will be described for the source packet indicated by EP_map in FIG. 21, FIG. 22, FIG. 23, or FIG. 24 in the transport stream file (still image file).

図25に示すEP_mapにおいては、静止画像の再生開始時刻のPTS(=t2)に対応する静止画像のデータを含む最初のビデオパケット(「V」)がソースパケット番号spn2により、指し示される。この場合、静止画像にオーバーレイされる(同期して再生される)グラフィクス(「G」)や字幕(「S」)等の副画像情報は、EP_mapによって指し示されるビデオパケットよりも位置的に後ろに多重化される。   In the EP_map shown in FIG. 25, the first video packet (“V”) including still image data corresponding to the PTS (= t2) of the reproduction start time of the still image is indicated by the source packet number spn2. In this case, sub-image information such as graphics (“G”) and subtitles (“S”) overlaid on a still image (synchronized playback) is positioned behind the video packet indicated by EP_map. Is multiplexed.

また、図26に示すように、TSファイルでは、静止画像の再生開始時刻のPTS(=t2)に対応する静止画像のデータを含む最初のビデオパケット(「V」)の前に、MPEG2トランスポートストリームのシステム情報であるPAT(Program Association Table:番組表)とPMT(Program Map Table:番組対応表)とが多重化されており、例えばそのPATを含むパケットを、EP_mapのソースパケット番号spn2によって指し示してもよい。   Also, as shown in FIG. 26, in the TS file, MPEG2 transport is performed before the first video packet (“V”) including still image data corresponding to the PTS (= t2) of the still image reproduction start time. Stream system information PAT (Program Association Table) and PMT (Program Map Table) are multiplexed. For example, the packet containing the PAT is indicated by the source packet number spn2 of EP_map. May be.

(3−2−2)静止画像の再生がオーディオの再生と非同期である場合
次に、このような静止画像のPlay Listに対してオーディオを非同期に再生する場合について説明する。図27は、オーディオを非同期に再生するBrowsable slide showのPlay Listを示す図である。Play Listは、静止画像の再生パスを示す複数のPlay Itemと、オーディオの再生パスを示すSub Play Itemとからなる。図18に示す第2の実施の形態と同様に、Sub Play Itemの再生開始時刻IN_time及び再生終了時刻OUT_timeは、オーディオストリームの中の夫々再生開始及び終了のタイムスタンプにより示される。
(3-2-2) When Still Image Playback Is Asynchronous with Audio Playback Next, a case where audio is played back asynchronously with respect to such a still image Play List will be described. FIG. 27 is a diagram illustrating a Play List of a Browsable slide show that plays audio asynchronously. The Play List includes a plurality of Play Items indicating still image playback paths and Sub Play Items indicating audio playback paths. Similarly to the second embodiment shown in FIG. 18, the playback start time IN_time and the playback end time OUT_time of the Sub Play Item are indicated by playback start and end time stamps in the audio stream, respectively.

再生装置は、Clip Informationを参照して、Sub Play ItemのIN_time及びOUT_timeに対応するところのオーディオストリームの記録媒体上でのデータアドレス情報を取得する。そして、再生装置は、このアドレス情報を用いてオーディオを読み出し再生する。このようなオーディオの再生の仕組みは、上述の図8に示す第1の実施の形態と同様である。Play Listの作成者は、図18に示す第2の実施の形態と同様にして、Play Itemに対して再生制御情報を付加することができる。即ち、再生制御情報として、オーディオストリームの再生開始時刻IN_timeと再生終了時刻Out_timeとで示される再生区間を繰り返し再生するか、又は1回だけ再生するかを示すフラグ(is_repeat_Sub Play Itemフラグ)とSub Play Itemの再生がPlay Itemの再生と非同期であることを示す情報(Sub Play Item_type)とを付加する。なお、上述したように、この再生制御情報をプレイバックコントロール(いわゆるPBC)のコマンド形式でSub Play Itemに付随させてもよい。   The playback device refers to Clip Information, and acquires data address information on the recording medium of the audio stream corresponding to IN_time and OUT_time of Sub Play Item. Then, the playback device reads out and plays back the audio using this address information. Such an audio reproduction mechanism is the same as that of the first embodiment shown in FIG. The creator of the Play List can add playback control information to the Play Item in the same manner as in the second embodiment shown in FIG. That is, as playback control information, a flag (is_repeat_Sub Play Item flag) indicating whether the playback section indicated by the playback start time IN_time and the playback end time Out_time of the audio stream is to be repeatedly played or only played once, and Sub Play Information (Sub Play Item_type) indicating that playback of an item is asynchronous with playback of a play item is added. As described above, this playback control information may be attached to the Sub Play Item in the command format of playback control (so-called PBC).

この場合、再生装置は、以下の3通りの方法でSub Play Itemの再生を行うことができる。即ち、第1の方法は、Play Itemが参照する静止画像ファイルと、Sub Play Itemが参照するオーディオストリームファイルとの2つのファイルのデータを記録媒体から読み出すときに、それぞれのファイルを時分割に交互に読み出す方法である。この場合、再生装置は、2つのファイルのデータを記録媒体から交互に読み出しながら、静止画像とオーディオとを再生する。   In this case, the playback device can play back the Sub Play Item by the following three methods. That is, in the first method, when data of two files, that is, a still image file referred to by the Play Item and an audio stream file referred to by the Sub Play Item are read from the recording medium, the respective files are alternately arranged in time division. It is a method of reading out. In this case, the playback device plays back still images and audio while alternately reading the data of the two files from the recording medium.

第2の方法は、はじめに、Sub Play Itemが参照するオーディオストリームファイルの全てのデータを読み出し、それを再生装置の中のバッファメモリーに蓄える。次に、Play Itemが参照する静止画像データを記録媒体から読み出す。再生装置は、静止画像データを記録媒体から読み出し、オーディオデータをバッファメモリーから読み出しながら、静止画像とオーディオとを再生する。   In the second method, first, all data of an audio stream file referred to by the Sub Play Item is read and stored in a buffer memory in the playback device. Next, the still image data referred to by the Play Item is read from the recording medium. The playback device plays back still images and audio while reading still image data from the recording medium and reading audio data from the buffer memory.

第3の方法は、はじめに、Play Itemが参照する静止画像ファイルの全てのデータを読み出し、それを再生装置の中のバッファメモリーに蓄える。次に、Sub Play Itemが参照するオーディオストリームを記録媒体から読み出す。再生装置は、オーディオストリームを記録媒体から読み出し、静止画像をバッファメモリーから読み出しながら、静止画とオーディオを再生する。   In the third method, first, all data of the still image file referred to by the Play Item is read and stored in a buffer memory in the playback device. Next, the audio stream referred to by the Sub Play Item is read from the recording medium. The reproduction device reproduces the still image and the audio while reading the audio stream from the recording medium and reading the still image from the buffer memory.

ここで、上記第2の方法は、Sub Play Itemが参照するオーディオストリームファイルのバイトサイズが小さい場合に有効であり、また、上記第3の方法は、Sub Play Itemが参照する静止画像ファイルのバイトサイズが小さい場合に有効である。   Here, the second method is effective when the byte size of the audio stream file referred to by the Sub Play Item is small, and the third method is the byte of the still image file referenced by the Sub Play Item. Effective when the size is small.

例えば、実用的な例として、数メガバイト(Mbyte)程度の大きさならば、再生に先立って、全てファイルデータをバッファメモリーに読み出すことができる。ブラウザブルスライドショーのアプリケーションとして、オーディオ再生はBGM(Back Ground Music)であり、Sub Play Itemの再生を繰り返し行う場合、例えば、ビットレート256kbpsのオーディオストリームの約65秒間のデータサイズは、約2メガバイト(Mbyte)であるため、上記第2の方法は有効である。   For example, as a practical example, if the size is about several megabytes (Mbyte), all file data can be read into the buffer memory prior to reproduction. As an application of the browsable slide show, audio playback is BGM (Back Ground Music), and when the playback of the Sub Play Item is repeated, for example, the data size of an audio stream with a bit rate of 256 kbps is about 2 megabytes ( Therefore, the second method is effective.

次に、上記の第1の方法で読み出す場合のプレーヤモデルについて説明する。図28は、上記第1の方法で読み出し再生する再生装置を示すブロック図である。この方法においては、Play Itemが参照するメイントランスポートストリーム(静止画像ファイル)(以下、メインTSという。)と、Sub Play Itemが参照するオーディオトランスポートストリーム(以下、オーディオTSという。)との2つのファイルのデータをドライブ(記録媒体)から読み出すときに、それぞれのファイルを時分割に交互に読み出す。なお、本実施の形態におけるトランスポートストリーム(DVR MPEG2-TS)の構成については後述する。   Next, a player model when reading by the first method will be described. FIG. 28 is a block diagram showing a playback apparatus that reads and plays back data by the first method. In this method, there are two main transport streams (still image files) (hereinafter referred to as main TS) referred to by Play Item and audio transport streams (hereinafter referred to as audio TS) referred to by Sub Play Item. When data of one file is read from the drive (recording medium), each file is alternately read in a time division manner. The configuration of the transport stream (DVR MPEG2-TS) in the present embodiment will be described later.

再生装置は、2つのファイル(メインTS及びオーディオTS)データを記録媒体31から交互に読み出しながら、静止画像とオーディオとを再生する。読出部31にて読み出された各ファイルデータは、復調・ECC復号部32により、復調され、復調された多重化ストリームに誤り訂正が施される。そして、メインTSファイルのソースパケットデータは、メインTSをバッファリングするメインTS用リードバッファ(Read Buffer)33にバッファリングされ、また、オーディオTSファイルのソースパケットデータは、オーディオTSをバッファリングするオーディオTS用リードバッファ34にバッファリングされる。   The playback device plays back still images and audio while reading data of two files (main TS and audio TS) alternately from the recording medium 31. Each file data read by the reading unit 31 is demodulated by the demodulation / ECC decoding unit 32, and error correction is performed on the demodulated multiplexed stream. The source packet data of the main TS file is buffered in a main TS read buffer 33 that buffers the main TS, and the source packet data of the audio TS file is audio that buffers the audio TS. Buffered in the TS read buffer 34.

メインTS用リードバッファ33から読み出されたストリームデータは、後述するメイン用プレーヤ(BDAV MPEG2 TS Player Model_1)35に供給される。メイン用プレーヤ35は、メインTS用リードバッファ33から伝送レートRMAXで読み出したストリームデータを所定のタイミング(伝送レートRTS_m)で、後段のメイン用PID(パケットID)フィルタ37へ出力する。また、オーディオTS用リードバッファ34から読み出されたストリームデータは、後述するオーディオ用プレーヤ(BDAV MPEG2 TS Player Model_2)36に供給される。オーディオ用プレーヤ36は、オーディオTS用リードバッファ34から伝送レートRAで読み出したストリームデータを所定のタイミング(伝送レートRTS_a)で、後段のオーディオ用PIDフィルタ39へ出力する。   The stream data read from the main TS read buffer 33 is supplied to a main player (BDAV MPEG2 TS Player Model_1) 35 described later. The main player 35 outputs the stream data read from the main TS read buffer 33 at the transmission rate RMAX to the subsequent main PID (packet ID) filter 37 at a predetermined timing (transmission rate RTS_m). The stream data read from the audio TS read buffer 34 is supplied to an audio player (BDAV MPEG2 TS Player Model_2) 36 described later. The audio player 36 outputs the stream data read from the audio TS read buffer 34 at the transmission rate RA to the subsequent audio PID filter 39 at a predetermined timing (transmission rate RTS_a).

メイン用PIDフィルタ37は、入力されたメインTSをPID(パケットID)に応じて、後段の各エレメンタリーストリームのデコーダへ振り分けて出力する。即ち、静止画像(ビデオ)、副画像情報(グラフィックス及びサブタイトル(字幕)等)、並びにメインTSのPSI(Program Specific Information:プログラム仕様情報)及びSI(Service Information)等のシステム情報が、夫々トランスポートバッファTB1、TB2及びTBsys1に振り分けられる。なお、SIは、TSの付加情報を記述するテーブルであって、MPEG2規格外のものを示す。SIもまた、トランスポートパケットにパケット化さる。SIには、SIT(Selection Information Table)等がある。静止画像のトランスポートパケットは、トランスポートバッファTB1から一定レートRx1で多重バッファMBに伝送され、更に一定レートRbx1でエレメンタリーストリームEBに伝送され、デコーダD1にてデコードされ出力される。また、副画像情報のトランスポートパケットは、トランスポートストリームバッファTB2から、一定レートRx2でバッファB2に伝送され、デコーダD2にてデコードされ出力される。また、システム情報のトランスポートパケットは、トランスポートバッファTBsys1から一定レートRxsysでバッファBsys1に伝送され、デコーダDsys1にてデコードされ出力される。   The main PID filter 37 distributes the input main TS to the decoders of the subsequent elementary streams according to the PID (packet ID) and outputs the result. That is, system information such as still images (video), sub-image information (graphics and subtitles (caption), etc.), and PSI (Program Specific Information) and SI (Service Information) of the main TS are respectively transcoded. It is distributed to the port buffers TB1, TB2 and TBsys1. SI is a table describing additional information of TS, and indicates a non-MPEG2 standard. SI is also packetized into transport packets. SI includes SIT (Selection Information Table). The still image transport packet is transmitted from the transport buffer TB1 to the multiplex buffer MB at a constant rate Rx1, further transmitted to the elementary stream EB at a constant rate Rbx1, and decoded and output by the decoder D1. Further, the transport packet of the sub-image information is transmitted from the transport stream buffer TB2 to the buffer B2 at a constant rate Rx2, and decoded and output by the decoder D2. The transport packet of system information is transmitted from the transport buffer TBsys1 to the buffer Bsys1 at a constant rate Rxsys, and is decoded and output by the decoder Dsys1.

同様に、オーディオ用PIDフィルタ38は、入力されたオーディオトランスポートストリームをPID(パケットID)に応じて、後段の各エレメンタリーストリームのデコーダへ振り分けて出力する。即ち、オーディオのトランスポートパケットは、トランスポートバッファTB4から一定レートRx4でメインバッファB4に伝送され、デコーダD4にてデコードされ出力される。また、オーディオTSのシステム情報のトランスポートパケットは、トランスポートバッファTBsys2から一定レートRxsysでバッファBsys2に伝送され、更に一定レートRsysでデコーダDsys2に伝送されデコードされて出力される。   Similarly, the audio PID filter 38 distributes and outputs the input audio transport stream to the decoders of the subsequent elementary streams according to the PID (packet ID). That is, the audio transport packet is transmitted from the transport buffer TB4 to the main buffer B4 at a constant rate Rx4, and is decoded and output by the decoder D4. The transport packet of the system information of the audio TS is transmitted from the transport buffer TBsys2 to the buffer Bsys2 at a constant rate Rxsys, further transmitted to the decoder Dsys2 at a constant rate Rsys, and decoded and output.

また、オーディオ用PIDフィルタ38とトランスポートストリームバッファTB4、TBsysとの間には、オーディオスイッチ(Audio SW)39が設けられている。このオーディオスイッチ39は、例えば図24等に示すようなタイムベースドモード(Time Based mode)のスライドショウを再生する場合と、例えば図22又は図23等に示すブラウザブルモード(Browsable mode)のスライドショウを再生する場合とで切替え制御される。即ち、オーディオスイッチ39は、メインTS用リードバッファ33からのデータが供給されるメイン用PIDフィルタ37と接続されたタイムベースモードスイッチSWTと、オーディオ用リードバッファ34からのデータが供給されるオーディオ用PIDフィルタ38と接続されたブラウザブルモードスイッチSWBとを有し、これを切替えて、オーディオストリームをトランスポートバッファTB4に供給するようになされている。例えば、ブラウザブルスライドショーの場合、オーディオスイッチ39は、ブラウザブルモードスイッチSWBの側にあり、従って、その場合、オーディオストリームは、オーディオTS用リードバッファ34からオーディオ用PIDフィルタ38を介してオーディオデコーダD4へ供給される。また、例えば図24に示すタイムベースドスライドショーの場合であって、オーディオストリームがメインTSに多重化されている場合、オーディオスイッチ39は、タイムベースモードスイッチSWTの側にあり、メインTSに多重化されたオーディオストリームは、メインTS用リードバッファ33からメイン用PIDフィルタ37を介してトランスポートバッファTB4又はTBsys2へ供給される。   An audio switch (Audio SW) 39 is provided between the audio PID filter 38 and the transport stream buffers TB4 and TBsys. The audio switch 39 reproduces a slide show in a time-based mode (Time Based mode) as shown in FIG. 24, for example, and a slide show in a browseable mode (Browsable mode) as shown in FIG. 22 or FIG. Is controlled to switch between playback and playback. That is, the audio switch 39 is connected to the main PID filter 37 to which data from the main TS read buffer 33 is supplied, and for audio to which data from the audio read buffer 34 is supplied. A browsable mode switch SWB connected to the PID filter 38 is provided, which is switched to supply an audio stream to the transport buffer TB4. For example, in the case of a browsable slide show, the audio switch 39 is on the side of the browsable mode switch SWB. Therefore, in this case, the audio stream is sent from the audio TS read buffer 34 through the audio PID filter 38 to the audio decoder D4. Supplied to. For example, in the case of the time-based slide show shown in FIG. 24, when the audio stream is multiplexed on the main TS, the audio switch 39 is on the time base mode switch SWT side and multiplexed on the main TS. The audio stream is supplied from the main TS read buffer 33 via the main PID filter 37 to the transport buffer TB4 or TBsys2.

次に、エレメンタリーストリームのデコーダについて説明する。TBn、MB、EB、TBsys、Bsys、Rxn、Rbxn、Rxsys、Dn、及びDsysの表記方法は、ISO/IEC13818-1 (MPEG2 Systems規格)のT-STD(System Target Decoder)に定義されているものと同じである。即ち、次の通りである。
TBn(n=1〜5):エレメンタリーストリームnのトランスポートバッファ
MB:ビデオストリームの多重バッファ
EB:ビデオストリームのエレメンタリーストリームバッファ
TBsys:復号中のプログラムのシステム情報のための入力バッファ
Bsys:復号中のプログラムのシステム情報のためのシステムターゲットデコーダ内のメインバッファ
Rxn:データがTBnから取り除かれる伝送レート
Rbxn:PESパケットペイロードがMBnから取り除かれる伝送レート(ビデオストリームについてのみ存在)
Rxsys:データがTBsysから取り除かれる伝送レート
Dn:エレメンタリーストリームnのデコーダ
Dsys:復号中のプログラムのシステム情報に関するデコーダ
次に、図28に示したプレーヤモデルに含まれるメイン用プレーヤ(BDAV MPEG2 TS Player_1)35及びオーディオ用プレーヤ(BDAV MPEG2 TS Player_2)36について説明する。図29(a)及び(b)は、夫々メイン用プレーヤ35及びオーディオ用プレーヤ36を示すブロック図である。
Next, an elementary stream decoder will be described. TBn, MB, EB, TBsys, Bsys, Rxn, Rbxn, Rxsys, Dn, and Dsys are defined in ISO / IEC13818-1 (MPEG2 Systems standard) T-STD (System Target Decoder). Is the same. That is, it is as follows.
TBn (n = 1 to 5): transport buffer of elementary stream n
MB: Multiple video stream buffers
EB: Video stream elementary stream buffer
TBsys: Input buffer for system information of the program being decrypted
Bsys: Main buffer in the system target decoder for system information of the program being decoded
Rxn: Transmission rate at which data is removed from TBn
Rbxn: Transmission rate at which the PES packet payload is removed from MBn (present only for video streams)
Rxsys: Transmission rate at which data is removed from TBsys
Dn: Decoder for elementary stream n
Dsys: Decoder for system information of program being decoded Next, the main player (BDAV MPEG2 TS Player_1) 35 and the audio player (BDAV MPEG2 TS Player_2) 36 included in the player model shown in FIG. 28 will be described. FIGS. 29A and 29B are block diagrams showing the main player 35 and the audio player 36, respectively.

図29(a)に示すように、メイン用プレーヤ35では、前段のメインTS用リードバッファ33から読み出されたソースパケットデータがソースデパッケタイザ部41へビットレートRMAXで入力される。RMAXは、メインTSファイルのソースパケットストリームのビットレートである。   As shown in FIG. 29A, in the main player 35, the source packet data read from the main TS read buffer 33 is input to the source depacketizer unit 41 at the bit rate RMAX. RMAX is the bit rate of the source packet stream of the main TS file.

アライバルタイムクロックカウンタ(Arrival time clock counter)42は、パルス発振器(27MHz X-tal)43から出力される27MHzの周波数のパルスをカウントするバイナリカウンタである。そして、アライバルタイムクロックカウンタは、時刻t(i)におけるカウント値Arrival_time_clock(i)を出力する。   An arrival time clock counter 42 is a binary counter that counts pulses with a frequency of 27 MHz output from a pulse oscillator (27 MHz X-tal) 43. Then, the arrival time clock counter outputs a count value Arrival_time_clock (i) at time t (i).

メインTS及びオーディオTSは、トランスポートパケットとそのアライバルタイムスタンプとを有するソースパケットを単位とするデータ列からなり、1つのソースパケットは、1つのトランスポートパケットとそれのarrival_time_stamp(ATS)を持つ。arrival_time_stampは、メインTS又はオーディオTSの中で、対応するトランスポートパケットがデコーダに到着する時刻を示すタイムスタンプである。各ストリームを構成する各ソースパケットのarrival_time_stampに基づいて作られる時間軸をアライバルタイムベースといい、そのクロックをATC(Arrival Time Clock)と呼ぶ。   The main TS and the audio TS are composed of a data sequence in units of source packets each having a transport packet and its arrival time stamp, and one source packet has one transport packet and its arrival_time_stamp (ATS). arrival_time_stamp is a time stamp indicating the time at which the corresponding transport packet arrives at the decoder in the main TS or audio TS. A time axis created based on arrival_time_stamp of each source packet constituting each stream is called an arrival time base, and its clock is called ATC (Arrival Time Clock).

そして、このようなメインTSから読み出された現在のソースパケットのarrival_time_stampが、アライバルタイムクロックカウンタ42のカウント値arrival_time_clock(i)のLSB(least Significant Bit:最下位ビット)30ビットの値と等しい時、そのソースパケットのトランスポートパケットがソースデパッケタイザ部41から出力される。RTS_mは、メインTSのビットレートである。   When the arrival_time_stamp of the current source packet read from the main TS is equal to the 30-bit LSB (least significant bit) of the count value arrival_time_clock (i) of the arrival time clock counter 42 The transport packet of the source packet is output from the source depacketizer unit 41. RTS_m is the bit rate of the main TS.

また、図29(b)に示すように、オーディオ用プレーヤ36では、前段のオーディオTS用リードバッファ34から読み出されたソースパケットデータがソースデパッケタイザ44へビットレートRAで入力される。ビットレートRAは、オーディオTSファイルのソースパケットストリームのビットレートである。   As shown in FIG. 29B, in the audio player 36, the source packet data read from the preceding audio TS read buffer 34 is input to the source depacketizer 44 at the bit rate RA. The bit rate RA is the bit rate of the source packet stream of the audio TS file.

アライバルタイムクロックカウンタ45及びパルス発振器46は、メイン用プレーヤ35と同様の働きをする。また、ソースデパッケタイザ部44は、メイン用プレーヤ35と同様の働きをする。即ち、現在のソースパケットのarrival_time_stampが、アライバルタイムクロックカウンタ45のカウント値arrival_time_clock(i)のLSB30ビットの値と等しい時、そのソースパケットのトランスポートパケットがソースデパッケタイザ部44から出力される。RTS_Aは、オーディオTSのビットレートである。   The arrival time clock counter 45 and the pulse oscillator 46 operate in the same manner as the main player 35. The source depacketizer 44 functions in the same manner as the main player 35. That is, when the arrival_time_stamp of the current source packet is equal to the LSB 30 bit value of the count value arrival_time_clock (i) of the arrival time clock counter 45, the transport packet of the source packet is output from the source depacketizer unit 44. RTS_A is the bit rate of the audio TS.

図30は、ブラウザブルモードのスライドショーのバッファモデルの概念を示す図である。ブラウザブルモードでは、Play Itemが参照する静止画像のファイルであるメインTSファイルと、Sub Play Itemが参照するオーディオTSファイルを時分割に交互にドライブからレートRUDで読み出す時に、メインTSのソースパケットストリームのビットレートRMAXとオーディオTSのソースパケットストリームのビットレートRAとが保障される必要がある。そのために、例えば図9に示す静止画像エンコーダ14及びオーディオエンコーダ11において、夫々メインTS及びオーディオTSをエンコードして記録するときに、それぞれのビットレートの上限値を制限しなければならない。   FIG. 30 is a diagram illustrating the concept of a buffer model for a slideshow in the browsable mode. In the browseable mode, when the main TS file, which is a still image file referred to by the Play Item, and the audio TS file referred to by the Sub Play Item are alternately read in a time-division manner from the drive at the rate RUD, the source packet stream of the main TS And the bit rate RA of the source packet stream of the audio TS need to be guaranteed. Therefore, for example, in the still image encoder 14 and the audio encoder 11 shown in FIG. 9, when the main TS and the audio TS are encoded and recorded, the upper limit value of each bit rate must be limited.

図31(a)及び(b)は、夫々図28に示すブラウザブルモードのスライドショー時のエレメンタリーストリームバッファEB(ビデオコードバッファ)のビット占有量及びオーディオコードバッファB4のビット占有量の例を示すグラフである。図31(a)及び(b)において、縦軸は、夫々ビデオコードバッファ及びオーディオコードバッファのバッファ占有率を示し、横軸は、夫々メインTS及びオーディオTSのシステムタイムクロックSTCを示す。   FIGS. 31A and 31B show examples of the bit occupancy of the elementary stream buffer EB (video code buffer) and the bit occupancy of the audio code buffer B4 at the time of the slide show in the browserable mode shown in FIG. It is a graph. 31A and 31B, the vertical axis indicates the buffer occupancy ratio of the video code buffer and the audio code buffer, respectively, and the horizontal axis indicates the system time clock STC of the main TS and the audio TS, respectively.

図31(a)に示すように、スタートアップディレイ(start up delay)は、最初のビデオパケットが入力される時間tVから、I−ピクチャがエレメンタリーストリームバッファEBにバッファリングされるまでの時間(DTS:Decoding Time Stamp)を示す。ブラウザブルモードにおいて、ユーザが次のスライドにスキップした際に、上記最初のビデオパケットの入力が開始される。図31(a)及び(b)において、傾きkEBは、ビデオバッファEBへの入力レートを示し、傾きkB4は、オーディオバッファB4の入力レートを示す。なお、図31(a)において、傾きkEBがゼロでビデオコード占有率が一定値となっている時間は、グラフィックス及び字幕等の副画像情報等が読出されている時間を示す。   As shown in FIG. 31A, the start-up delay is a time (DTS) from the time tV when the first video packet is input until the I-picture is buffered in the elementary stream buffer EB. : Decoding Time Stamp). In the browserable mode, when the user skips to the next slide, the input of the first video packet is started. 31A and 31B, the slope kEB indicates the input rate to the video buffer EB, and the slope kB4 indicates the input rate of the audio buffer B4. In FIG. 31A, the time when the slope kEB is zero and the video code occupancy is a constant value indicates the time during which sub-image information such as graphics and subtitles is read.

メインTSのソースパケットストリームをビットレートRMAXで読み出すことを保障できれば、後段の図28に示すビデオデコーダD1において、静止画像を所定のデコードタイミングに間に合うようにデコードすることができる。また、オーディオTSのソースパケットストリームをビットレートRAで読み出すことを保障できれば、後段の図28に示すオーディオデコーダD4において、オーディオデータを所定のデコードタイミングに間に合うようにデコードすることができる。   If it can be ensured that the source packet stream of the main TS is read out at the bit rate RMAX, the video decoder D1 shown in FIG. 28 shown later can decode the still image in time for a predetermined decoding timing. If it can be ensured that the source packet stream of the audio TS is read at the bit rate RA, the audio data can be decoded in time for a predetermined decoding timing in the audio decoder D4 shown in FIG.

図32は、ブラウザブルモードのスライドショーでのメインTSとオーディオTSの同時読み出し方法のモデルを示す模式図である。   FIG. 32 is a schematic diagram showing a model of a method for simultaneously reading the main TS and the audio TS in the slide show in the browserable mode.

メインTSとオーディオTSのそれぞれは、ディスク上に連続に配置されているとする。このとき、メインTSとオーディオTSとを次のようにして交互に読み出す。
(1)メインTSから所定のデータ量Xを読み出す。
(2)オーディオTSの所定のデータ位置へジャンプする。
(3)オーディオTSから所定のデータ量Yを読み出す。
(4)メインTSの所定のデータ位置へジャンプする。そして、メインTSから所定のデータ量Xを読み出す。
Each of the main TS and the audio TS is assumed to be continuously arranged on the disc. At this time, the main TS and the audio TS are alternately read as follows.
(1) A predetermined data amount X is read from the main TS.
(2) Jump to a predetermined data position of the audio TS.
(3) A predetermined data amount Y is read from the audio TS.
(4) Jump to a predetermined data position of the main TS. Then, a predetermined data amount X is read from the main TS.

上述のメインTSから1回のリードアクションで読み出すデータ量Xは、メインTS用リードバッファ33の必要なサイズである。また、上述のオーディオTSから1回のリードアクションで読み出すデータ量Yは、オーディオTS用リードバッファ34の必要なサイズである。下記式(1)に、メインTS用リードバッファ33及びオーディオTS用リードバッファ34に必要なサイズを計算する式を示す。   The data amount X read from the main TS by one read action is a necessary size of the main TS read buffer 33. Further, the data amount Y read from the audio TS by one read action is a necessary size of the audio TS read buffer 34. The following formula (1) shows a formula for calculating the size required for the main TS read buffer 33 and the audio TS read buffer 34.

Figure 2006262501
Figure 2006262501

例えば、
ドライブからの読み出しレートRUD=54Mbps
ジャンプ時間Tj=0.8秒
メインTSのソースパケットストリームのビットレートRMAX=20Mbps
オーディオTSのソースパケットストリームのビットレートRA=640kbps
とすると、
メインTS用リードバッファ33に必要なサイズx=4.06MBytes
オーディオTS用リードバッファ34に必要なサイズy=0.176MBytes
となる。
For example,
Read rate from drive RUD = 54Mbps
Jump time Tj = 0.8 seconds Bit rate RMAX of main TS source packet stream = 20 Mbps
Audio TS source packet stream bit rate RA = 640 kbps
Then,
Size x required for main TS read buffer 33 = 4.06 MBytes
Required size y = 0.176MBytes for read buffer 34 for audio TS
It becomes.

(3−3)静止画像データの他の例
また、上述の図22の説明において、静止画像のデータ形式は、JPEG、PNGとしているが、上述したように、その他、MPEG2 I-picture、GIF、及びJPEG2000等、静止画像のデータ形式であればよいことはいうまでもない。例えば、MPEG2 I-ピクチャ(フレーム内符号化画像)をトランスポートストリームに多重化する場合の例を図33に示す。図33は、静止画像データとしてIピクチャを使用する場合のPlay Listと、Clip Information fileと、記録媒体に記録されるデータ構造とを示す図である。図22に示す場合と比べて、静止画像像のデータ形式がIピクチャ(フレーム内符号化画像)であるところが異なるのみであり、Play List、EP_map、トランスポートストリームの関係は同じである。この場合においても、図27に示す場合と同様にして、静止画像の再生パスを示すPlay Listに対してオーディオの再生パスを示すSub Play Itemを付加してもよい。
(3-3) Other Examples of Still Image Data In the description of FIG. 22 described above, the data format of still images is JPEG and PNG. However, as described above, MPEG2 I-picture, GIF, Needless to say, the data format may be a still image data format such as JPEG2000. For example, FIG. 33 shows an example in which an MPEG2 I-picture (intra-frame encoded image) is multiplexed into a transport stream. FIG. 33 is a diagram illustrating a Play List, a Clip Information file, and a data structure recorded on a recording medium when an I picture is used as still image data. Compared to the case shown in FIG. 22, the only difference is that the data format of the still image is an I picture (intra-frame encoded image), and the relationship between the Play List, EP_map, and transport stream is the same. Also in this case, a Sub Play Item indicating an audio playback path may be added to a Play List indicating a still image playback path in the same manner as shown in FIG.

また、同様にして、図21の説明において、静止画像のデータ形式は、JPEG、PNGとしているが、その他、MPEG2 I-picture、GIF、及びJPEG2000等、静止画像のデータ形式であればよい。この場合においても、図24に示す場合と同様にして、トランスポートストリームファイル(静止画像ファイル)にオーディオを多重化してもよい。   Similarly, in the description of FIG. 21, the data format of the still image is JPEG or PNG, but any other still image data format such as MPEG2 I-picture, GIF, or JPEG2000 may be used. In this case as well, audio may be multiplexed into a transport stream file (still image file) in the same manner as shown in FIG.

図33のEP_mapが、トランスポートストリームファイル(静止画像ファイル)の中で指し示すソースパケットについて、2通りの方法を説明する。図34に示すトランスポートストリームファイルでは、各Iピクチャがシーケンスヘッダから開始しており、上記特許文献2の説明と同様に、このシーケンスヘッダの第1バイト目を含むパケットが、EP_mapによって指し示される。この場合、静止画像にオーバーレイされる(同期して再生される)グラフィクスや字幕は、EP_mapによって指し示されるビデオパケットよりも位置的に後ろに多重化される。   Two methods will be described for the source packet indicated by EP_map in FIG. 33 in the transport stream file (still image file). In the transport stream file shown in FIG. 34, each I picture starts from a sequence header, and a packet including the first byte of this sequence header is indicated by EP_map, as described in Patent Document 2 above. . In this case, graphics and subtitles that are overlaid on a still image (reproduced in synchronization) are multiplexed behind the video packet indicated by the EP_map.

また、図35に示すトランスポートストリームファイルでは、シーケンスヘッダの第1バイト目を含むパケットの前にMPEG2トランスポートストリームのシステム情報であるPAT及びとPMTが多重化されており、そのPATを含むパケットがEP_mapによって指し示される。   In the transport stream file shown in FIG. 35, PAT and PMT which are system information of the MPEG2 transport stream are multiplexed before the packet including the first byte of the sequence header, and the packet including the PAT is included. Is pointed to by EP_map.

トランスポートストリームファイル(静止画像ファイル)において、Iピクチャと、それにオーバーレイされるグラフィックスや字幕とがトランスポートストリームに多重化される場合、Iピクチャとして示すデータの構造には、次の二つの構造が挙げられる。即ち、第1の構造としては、1枚のIピクチャの直後にシーケンスエンドコードが続く構造である。第2の構造は、静止画像をビデオシーケンスとして符号化する場合であり、Play Itemの再生時間に等しい複数枚のピクチャを符号化する。即ち、Iピクチャとそれに続く複数のPピクチャ(フレーム間順方向予測符号化画像)、Bピクチャ(双方向予測符号化画像)からなる構造である。このPピクチャやBピクチャは、Iピクチャから予測されるピクチャであるが、静止画像をビデオとして符号化するので、PピクチャやBピクチャは予測データを持たず、いわゆるMPEG2のスキップドマクロブロックを用いて符号化される。上記第1の構造及び第2の構造は、共にIピクチャの前にシーケンスヘッダが設けられている。   In a transport stream file (still image file), when an I picture and graphics or subtitles overlaid thereon are multiplexed in a transport stream, the data structure shown as the I picture has the following two structures: Is mentioned. That is, the first structure is a structure in which a sequence end code follows immediately after one I picture. The second structure is a case where a still image is encoded as a video sequence, and a plurality of pictures equal to the playback time of a Play Item are encoded. That is, it is a structure composed of an I picture followed by a plurality of P pictures (inter-frame forward predictive encoded images) and a B picture (bidirectional predictive encoded images). The P picture and the B picture are pictures predicted from the I picture. However, since the still picture is encoded as a video, the P picture and the B picture have no prediction data, and so-called MPEG2 skipped macroblocks are used. Encoded. In both the first structure and the second structure, a sequence header is provided in front of the I picture.

また、本実施の形態におけるスライドショーのためのPlay Itemと上記特許文献2に説明されている動画像再生のためのPlay Itemとを1つのPlay Listの中に混在してもよい。これにより、ユーザは1つのPlay Listの再生において、動画像の再生と静止画像の再生とをシームレスに楽しむことができる。   In addition, the Play Item for the slide show in this embodiment and the Play Item for moving image reproduction described in Patent Document 2 may be mixed in one Play List. Thereby, the user can seamlessly enjoy the reproduction of moving images and the reproduction of still images in the reproduction of one playlist.

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、記録を行う装置と、再生を行う装置とは別々の装置として記録したが、記録再生を行う装置としてもよい。また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。   It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. For example, the recording device and the playback device are recorded as separate devices, but the recording and playback device may be used. In the above-described embodiment, the hardware configuration has been described. However, the present invention is not limited to this, and arbitrary processing may be realized by causing a CPU (Central Processing Unit) to execute a computer program. Is possible. In this case, the computer program can be provided by being recorded on a recording medium, or can be provided by being transmitted via the Internet or another transmission medium.

以上詳細に説明したように本発明に係る情報処理装置の実施の形態によれば、1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成手段と、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成手段と、上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録手段と、上記記録媒体から静止画像を読み出し再生する再生手段と、上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生手段を制御する制御手段とを備え、上記再生情報作成手段は、上記画像属性情報を使用して上記画像再生指定情報を作成するので、静止画像群とは別に、画像属性情報及び画像再生指定情報が記録媒体に記録されるため、記録媒体から静止画像を読出し再生する際には、画像属性情報及び画像再生指定情報を先に読出し静止画像群の各静止画像を所定の順序に生成することができ、静止画像の連続再生(いわゆるスライドショー)を容易に実現することができる。   As described above in detail, according to the embodiment of the information processing apparatus according to the present invention, attribute information creating means for creating image attribute information for managing each still image of a still image group composed of one or more still images; , Reproduction information creating means for creating image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the still image group, the still image group, and the corresponding image attribute information and image reproduction designation information. Are recorded on a recording medium, reproducing means for reading out and reproducing a still image from the recording medium, and control means for controlling the reproducing means according to the image reproduction designation information with reference to the image attribute information. Since the reproduction information creating means creates the image reproduction designation information using the image attribute information, the image attribute information and the image reproduction designation information are recorded separately from the still image group. Since it is recorded on the medium, when reading and reproducing a still image from the recording medium, the image attribute information and the image reproduction designation information can be read first, and each still image of the still image group can be generated in a predetermined order. Continuous reproduction of still images (so-called slide show) can be easily realized.

本発明の第1の実施の形態における情報処理装置で用いる記録媒体上の静止画像アプリケーションフォーマットの構造を簡単化して示す図である。It is a figure which simplifies and shows the structure of the still image application format on the recording medium used with the information processing apparatus in the 1st Embodiment of this invention. Group of picture filesとそのClip Informationの例を示す図である。It is a figure which shows the example of Group of picture files and its Clip Information. (a)は、本発明の第1の実施の形態における各静止画像の再生開始時刻が予め決められたスライドショーにおけるPlay Listの一例を示す図、(b)は、静止画像と再生時間との関係を示す模式図である。(A) is a figure which shows an example of PlayList in the slide show in which the reproduction start time of each still image in the 1st Embodiment of this invention was decided beforehand, (b) is the relationship between a still image and reproduction time. It is a schematic diagram which shows. 図3(a)に示すPlay ListとClipとの関係を示す図である。FIG. 4 is a diagram illustrating a relationship between a Play List and a Clip illustrated in FIG. 本発明の第1の実施の形態における各静止画像の再生開始時刻が予め決められたスライドショーにオーディオを同期して再生する場合のPlay Listの構成例を示す図である。It is a figure which shows the structural example of PlayList in the case of reproducing | regenerating audio | voice synchronizing with the slide show in which the reproduction start time of each still image was predetermined in the 1st Embodiment of this invention. 本発明の第1の実施の形態における(a)は、各静止画像の再生順序のみが決められたスライドショーにおけるPlay Listの一例を示す図、(b)は、静止画像と再生時間との関係を示す模式図である。(A) in the first embodiment of the present invention is a diagram showing an example of a Play List in a slide show in which only the playback order of still images is determined, and (b) shows the relationship between still images and playback time. It is a schematic diagram shown. 図6(a)に示すPlay Listと、Clipの関係の例を示す図である。FIG. 7 is a diagram illustrating an example of a relationship between a Play List illustrated in FIG. 本発明の第1の実施の形態における各静止画像の再生順序のみが決められたスライドショーにオーディオを非同期で再生する場合のPlay Listと、Clip Information fileと、オーディオストリームとの関係を示す図である。It is a figure which shows the relationship between a Play List, Clip Information file, and an audio stream in the case of reproducing | regenerating audio | synchronously to the slide show in which only the reproduction | regeneration order of each still image in the 1st Embodiment of this invention was decided . 本発明の第1の実施の形態における情報処理装置を示すブロック図である。It is a block diagram which shows the information processing apparatus in the 1st Embodiment of this invention. 記録媒体に記録するデータのファイルとディレクトリの構成の例を示す図である。It is a figure which shows the example of a structure of the file and directory of the data recorded on a recording medium. 本発明の第1の実施の形態におけるClip Informationとそれに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置の例を示す図である。It is a figure which shows the example of data arrangement | positioning on the recording medium (disk) of Clip Information in the 1st Embodiment of this invention and the still image file relevant to it. 本発明の第1の実施の形態における情報処理装置の記録動作のうち、Play Listの作成方法を示すフローチャートである。It is a flowchart which shows the preparation method of PlayList among the recording operations of the information processing apparatus in the 1st Embodiment of this invention. 図9の情報処理装置により記録されたデータを再生する情報処理装置を示すブロック図である。FIG. 10 is a block diagram illustrating an information processing apparatus that reproduces data recorded by the information processing apparatus of FIG. 9. 本発明の第1の実施の形態の情報処理装置における再生動作を示すフローチャートである。It is a flowchart which shows the reproduction | regeneration operation | movement in the information processing apparatus of the 1st Embodiment of this invention. 本発明の第1の実施の形態の変形例におけるPlay ListとClipとの関係の例を示す図である。It is a figure which shows the example of the relationship between PlayList and Clip in the modification of the 1st Embodiment of this invention. 図15に示すClip Informationとそれに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置の例を示す図である。FIG. 16 is a diagram showing an example of data arrangement on a recording medium (disc) of Clip Information shown in FIG. 15 and related still image files. 本発明の第2の実施の形態におけるClip Informationとそれに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置を示す図である。It is a figure which shows the data arrangement | positioning on the recording medium (disk) of Clip Information and the related still image file in the 2nd Embodiment of this invention. 本発明の第2の実施の形態におけるBrowsable slide showにオーディオを非同期再生する場合のPlay Listと、Clip Information fileと、オーディオストリームとの関係を示す図であるIt is a figure which shows the relationship between the Play List, Clip Information file, and audio stream when audio is asynchronously reproduced in the Browsable slide show in the second embodiment of the present invention. (a)は、本発明の第3の実施の形態における各静止画像の再生順序のみが決められたスライドショーにおけるPlay Listの一例を示す図、(b)は、静止画像と再生時間との関係を示す模式図である。(A) is a figure which shows an example of PlayList in the slide show in which only the reproduction order of each still image in the 3rd Embodiment of this invention was decided, (b) shows the relationship between a still image and reproduction time. It is a schematic diagram shown. (a)は、本発明の第3の実施の形態における各静止画像の再生順序のみが決められたスライドショーにおけるPlay Listの他の例を示す図、(b)は、静止画像と再生時間との関係を示す模式図である。(A) is a figure which shows the other example of PlayList in the slide show in which only the reproduction | regeneration order of each still image in the 3rd Embodiment of this invention was decided, (b) is a still image and reproduction | regeneration time. It is a schematic diagram which shows a relationship. 図19に示すPlay Listと、そのClip Information fileと、それに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置との関係を示す図である。FIG. 20 is a diagram showing the relationship between the Play List shown in FIG. 19, its Clip Information file, and the data arrangement on the recording medium (disc) of the related still image file. 図20に示すPlay Listと、そのClip Information fileと、それに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置との関係を示す図である。FIG. 21 is a diagram showing the relationship between the Play List shown in FIG. 20, its Clip Information file, and the data arrangement on the recording medium (disc) of the related still image file. 本発明の第3の実施の形態における他の例であって、Play Listと、そのClip Information fileと、それに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置との関係を示す図である。It is another example in the 3rd Embodiment of this invention, Comprising: The figure which shows the relationship between PlayList, its Clip Information file, and the data arrangement on the recording medium (disc) of the related still image file It is. 本発明の第3の実施の形態における、オーディオを静止画像の再生に同期させて再生するスライドショーのPlay Listと、そのClip Information fileと、それに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置との関係を示す図である。In the third embodiment of the present invention, a slide show Play List for reproducing audio in synchronization with still image reproduction, its Clip Information file, and a related still image file on a recording medium (disc) It is a figure which shows the relationship with data arrangement | positioning. トランスポートストリームファイル(静止画ファイル)の中で指し示すソースパケットの例を説明する模式図である。It is a schematic diagram explaining the example of the source packet pointed out in a transport stream file (still image file). トランスポートストリームファイル(静止画ファイル)の中で指し示すソースパケットの他の例を説明する模式図である。It is a schematic diagram explaining the other example of the source packet pointed out in a transport stream file (still image file). 本発明の第3の実施の形態における、オーディオと静止画像の再生が非同期であるスライドショーのPlay Listと、そのClip Information fileと、オーディオストリームとの関係を示す図である。It is a figure in the 3rd Embodiment of this invention which shows the relationship between the play list of the slide show whose audio | voice and still image reproduction | regeneration is asynchronous, its Clip Information file, and an audio stream. Play Itemが参照する静止画像ファイルと、Sub Play Itemが参照するオーディオストリームファイルとの2つのファイルのデータを記録媒体から読み出すときに、それぞれのファイルを時分割に交互に読み出す場合の再生装置を示すブロック図であるThe following shows a playback device for reading out each file alternately in a time-division manner when reading the data of two files, a still image file referenced by the Play Item and an audio stream file referenced by the Sub Play Item, from the recording medium. It is a block diagram (a)及び(b)は、夫々BDAV MPEG2 TS Player Model_1及びBDAV MPEG2 TS Player Model_2を示すブロック図である。(A) And (b) is a block diagram which shows BDAV MPEG2 TS Player Model_1 and BDAV MPEG2 TS Player Model_2, respectively. ブラウザブルスライドショーのバッファモデルを示すブロック図である。It is a block diagram which shows the buffer model of a browsable slide show. (a)及び(b)は、夫々ブラウザブルモードのスライドショー時のEB buffer(ビデオコードバッファ)のビット占有量及びB4 buffer(オーディオコードバッファ)のビット占有量を示すグラフ図である。(A) And (b) is a graph which shows the bit occupation amount of EB buffer (video code buffer) and the bit occupation amount of B4 buffer (audio code buffer) at the time of a slide show of browserable mode, respectively. ブラウザブルスライドショーにおけるメインTS及びオーディオTSの同時読み出し方法を説明する模式図である。It is a schematic diagram explaining the simultaneous reading method of main TS and audio TS in a browsable slide show. 静止画像データとしてIピクチャを使用する場合のPlay Listと、Clip Information fileと、それに関連する静止画像ファイルの記録媒体(ディスク)上でのデータ配置との関係を示す図である。It is a figure which shows the relationship between the data arrangement | positioning on the recording medium (disc) of the Play List, Clip Information file, and related still image file when using I picture as still image data. トランスポートストリームファイル(静止画像(I−ピクチャ)ファイル)の中で指し示すソースパケットの例を説明する模式図である。It is a schematic diagram explaining the example of the source packet pointed out in a transport stream file (still image (I-picture) file). トランスポートストリームファイル(静止画像(I−ピクチャ)ファイル)の中で指し示すソースパケットの他の例を説明する模式図である。It is a schematic diagram explaining the other example of the source packet pointed out in a transport stream file (still image (I-picture) file). 従来のDVDビデオのプログラムストリームの構造を示す模式図である。It is a schematic diagram which shows the structure of the program stream of the conventional DVD video.

符号の説明Explanation of symbols

1 情報処理装置、10,13,15 端子、11 オーディオエンコーダ、14 静止画像エンコーダ、16,22 コントローラ、17 記録部、21 読出部、23 静止画像デコーダ、26 オーディオデコーダ、24 フレームバッファ、25 プロセッサ   DESCRIPTION OF SYMBOLS 1 Information processing apparatus 10, 13, 15 terminal, 11 Audio encoder, 14 Still image encoder, 16, 22 Controller, 17 Recording part, 21 Reading part, 23 Still image decoder, 26 Audio decoder, 24 Frame buffer, 25 Processor

本発明は、符号化された画像情報と前記画像情報に重ねて表示することが可能な副画像情報を含むメイントランスポートストリームが記録された記録媒体に関する。   The present invention relates to a recording medium on which a main transport stream including encoded image information and sub-image information that can be displayed superimposed on the image information is recorded.

本発明は、このような従来の実情に鑑みて提案されたものであり、オーディオ・ビデオデータと同様なフォーマットの静止画像及びその付属情報を用いて、スライドショーを容易に実現するために用いられる記録媒体を提供することを目的とする。   The present invention has been proposed in view of such conventional circumstances, and is a recording used for easily realizing a slide show using still images in the same format as audio / video data and their associated information. The purpose is to provide a medium.

上述した目的を達成するために、本発明に係る記録媒体は、AVストリームとその画像属性情報を含むClipと、そのClipの少なくとも一部の再生を指定する再生パスを示す画像再生指定情報とを有するデータ構造の情報が記録された記録媒体であって、AVストリーム中の1以上の静止画像からなる静止画像群と、該静止画像群の各静止画像を管理する画像属性情報と、該画像属性情報を使用して作成され、各静止画像の再生開始時刻及び再生終了時刻を指定する情報、再生終了時刻における画像をユーザからの命令がない限り表示し続けることを示す第1の情報を有する画像再生指定情報と、静止画像と同時に再生されるオーディオストリームの再生を指定する再生パス又はオーディオストリームの時間軸上での再生開始時刻及び再生終了時刻を指定する再生パスを示すとともに、静止画像の再生とは非同期であることを示す第2の情報、及びオーディオ再生指定情報に含まれる再生パスを繰り返し再生するか否かを示す第3の情報を有するオーディオ再生指定情報とが記録されたことを特徴とする。   In order to achieve the above-described object, a recording medium according to the present invention includes an AV stream, a clip including image attribute information thereof, and image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the clip. A recording medium on which information having a data structure is recorded, a still image group composed of one or more still images in an AV stream, image attribute information for managing each still image of the still image group, and the image attribute An image created using information and having information specifying the playback start time and playback end time of each still image, and first information indicating that an image at the playback end time is to be displayed unless a command is issued from the user Playback specification information and playback start time and playback end time on the playback path or audio stream time axis that specifies playback of an audio stream that is played back simultaneously with a still image The second information indicating that the playback path is asynchronous with the playback of the still image, and the third information indicating whether the playback path included in the audio playback specification information is repeatedly played back. The audio reproduction designation information is recorded.

上述した目的を達成するために、本発明に係る記録媒体は、AVストリームとその画像属性情報を含むClipと、そのClipの少なくとも一部の再生を指定する再生パスを示す画像再生指定情報とを有するデータ構造の情報が記録された記録媒体であって、AVストリーム中の1以上の静止画像からなる静止画像群と、該静止画像群の各静止画像を管理する画像属性情報と、該画像属性情報を使用して作成され、各静止画像の再生開始時刻及び再生終了時刻を指定する情報、再生終了時刻における画像をユーザからの命令がない限り表示し続けるか否かを示す第1の情報を有する画像再生指定情報と、静止画像と同時に再生されるオーディオストリームの再生を指定する再生パス又はオーディオストリームの時間軸上での再生開始時刻及び再生終了時刻を指定する再生パスを示すとともに、静止画像の再生とは非同期であるか否かを示す第2の情報、及びオーディオ再生指定情報に含まれる再生パスを繰り返し再生するか否かを示す第3の情報を有するオーディオ再生指定情報とが記録されたことを特徴とする。 In order to achieve the above-described object, a recording medium according to the present invention includes an AV stream, a clip including image attribute information thereof, and image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the clip. A recording medium on which information having a data structure is recorded, a still image group composed of one or more still images in an AV stream, image attribute information for managing each still image of the still image group, and the image attribute Information that is created using information and specifies the playback start time and playback end time of each still image; and first information that indicates whether or not to continue displaying an image at the playback end time unless a command is received from the user Playback start information and playback end on the time axis of the playback path or audio stream that specifies playback of the audio stream that is played back simultaneously with the still image With indicating the reproduction path specified a time, third showing second information that indicates whether the asynchronous with reproduction of the still image, and whether repeatedly reproducing the reproduction paths included in the audio reproduction specifying information Audio reproduction designation information having the following information is recorded.

Claims (63)

1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成手段と、
上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成手段と、
上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録手段とを有し、
上記再生情報作成手段は、上記画像属性情報を使用して上記画像再生指定情報を作成する
ことを特徴とする情報処理装置。
Attribute information creating means for creating image attribute information for managing each still image of a still image group composed of one or more still images;
Reproduction information creating means for creating image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the still image group;
Recording means for recording the still image group and the image attribute information and image reproduction designation information corresponding to the group of still images on a recording medium;
The information processing apparatus characterized in that the reproduction information creating means creates the image reproduction designation information using the image attribute information.
上記画像属性情報は、上記静止画像群に含まれる各静止画像の識別情報、ファイル名、データサイズ、並びに垂直及び水平方向の画素数を有する
ことを特徴とする請求項1記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the image attribute information includes identification information of each still image included in the still image group, a file name, a data size, and a number of pixels in the vertical and horizontal directions.
上記画像再生指定情報は、各静止画像の再生開始時刻を指定する情報と、各静止画像の表示時間を指定する情報とを有する
ことを特徴とする請求項1記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the image reproduction designation information includes information designating a reproduction start time of each still image and information designating a display time of each still image.
上記画像再生指定情報は、複数の静止画像の同時再生を指定する情報を有する
ことを特徴とする請求項3記載の情報処理装置。
The information processing apparatus according to claim 3, wherein the image reproduction designation information includes information designating simultaneous reproduction of a plurality of still images.
上記再生情報作成手段は、上記静止画像と同時に再生されるオーディオストリームの再生を指定する再生パスを示すオーディオ再生指定情報を作成し、
上記記録手段は、上記オーディオストリームとこれに対応するオーディオ再生指定情報とを上記記録媒体に記録する
ことを特徴とする請求項3記載の情報処理装置。
The reproduction information creating means creates audio reproduction designation information indicating a reproduction path for designating reproduction of an audio stream reproduced simultaneously with the still image,
The information processing apparatus according to claim 3, wherein the recording unit records the audio stream and audio reproduction designation information corresponding to the audio stream on the recording medium.
上記属性情報作成手段は、上記オーディオストリームの再生開始時刻を示すプレゼンテーションタイムスタンプとこれに対応する上記オーディオストリーム中のアドレスとの対応関係を示すオーディオ属性情報を作成し、
上記再生情報作成手段は、上記オーディオ属性情報を使用して上記オーディオ再生指定情報を作成する
ことを特徴とする請求項5記載の情報処理装置。
The attribute information creating means creates audio attribute information indicating a correspondence relationship between a presentation time stamp indicating a reproduction start time of the audio stream and an address in the audio stream corresponding to the presentation time stamp,
The information processing apparatus according to claim 5, wherein the reproduction information creating unit creates the audio reproduction designation information using the audio attribute information.
上記画像再生指定情報は、各静止画像の再生順序を指定する情報を有する
ことを特徴とする請求項1記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the image reproduction designation information includes information for designating a reproduction order of each still image.
上記画像再生指定情報は、各静止画像のデフォールトの表示時間を指定する情報を有する
ことを特徴とする請求項7記載の情報処理装置。
The information processing apparatus according to claim 7, wherein the image reproduction designation information includes information for designating a default display time of each still image.
上記再生情報作成手段は、オーディオストリームの時間軸上での再生開始時刻及び再生終了時刻を指定する再生パスを示すオーディオ再生指定情報を作成し、
上記記録手段は、上記オーディオストリームとこれに対応するオーディオ再生指定情報とを上記記録媒体に記録する
ことを特徴とする請求項7記載の情報処理装置。
The reproduction information creating means creates audio reproduction designation information indicating a reproduction path for designating a reproduction start time and a reproduction end time on the time axis of the audio stream,
The information processing apparatus according to claim 7, wherein the recording unit records the audio stream and audio reproduction designation information corresponding to the audio stream on the recording medium.
上記再生情報作成手段は、外部からの指示により上記画像再生指定情報を作成する
ことを特徴とする請求項1記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the reproduction information creating unit creates the image reproduction designation information according to an instruction from the outside.
上記記録手段は、上記画像再生指定情報に示される再生順序で上記静止画像を記録する
ことを特徴とする請求項1記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the recording unit records the still images in a reproduction order indicated by the image reproduction designation information.
上記画像再生指定情報は、複数の静止画像の同時再生を指定する情報を有し、
上記画像属性情報は、1以上の静止画像からなる静止画像群を上記同時再生される1以上の静止画像からなるグループ毎に管理する情報を有する
ことを特徴とする請求項1記載の情報処理装置。
The image reproduction designation information has information for designating simultaneous reproduction of a plurality of still images,
The information processing apparatus according to claim 1, wherein the image attribute information includes information for managing a group of still images composed of one or more still images for each group composed of the one or more still images reproduced simultaneously. .
上記静止画像群をトランスポートストリームに多重化する多重化手段を有する
ことを特徴とする請求項1記載の情報処理装置。
The information processing apparatus according to claim 1, further comprising multiplexing means for multiplexing the still image group into a transport stream.
上記トランスポートストリームが所定のビットレートになるように制限して符号化する符号化手段を有する
ことを特徴とする請求項13記載の情報処理装置。
The information processing apparatus according to claim 13, further comprising: an encoding unit that encodes the transport stream so that the transport stream is limited to a predetermined bit rate.
上記画像属性情報は、上記同時に再生される1以上の静止画像からなる静止画像グループを識別する静止画像グループ識別情報と、各静止画像グループのデータが開始される上記トランスポートストリーム中のアドレスとの対応関係を示すテーブルを有する
ことを特徴とする請求項13記載の情報処理装置。
The image attribute information includes a still image group identification information for identifying a still image group composed of one or more still images that are reproduced simultaneously, and an address in the transport stream at which data of each still image group is started. The information processing apparatus according to claim 13, further comprising a table indicating a correspondence relationship.
上記再生情報作成手段は、上記静止画像と同時に再生されるオーディオストリームの再生を指定する再生パス又はオーディオストリームの時間軸上での再生開始時刻及び再生終了時刻を指定する再生パスを示すオーディオ再生指定情報を作成し、
上記記録手段は、上記オーディオストリームとこれに対応するオーディオ再生指定情報とを上記記録媒体に記録し、
上記オーディオ再生指定情報は、オーディオ再生制御情報を有し、
上記オーディオ再生制御情報は、上記静止画像の再生とは非同期であることを示す第1の情報又はオーディオ再生指定情報に含まれる再生パスを繰り返し再生するか否かを示す第2の情報を有する
ことを特徴とする請求項1記載の情報処理装置。
The reproduction information creating means is an audio reproduction designation indicating a reproduction path for designating reproduction of an audio stream reproduced simultaneously with the still image or a reproduction path for designating reproduction start time and reproduction end time on the time axis of the audio stream. Create information,
The recording means records the audio stream and audio reproduction designation information corresponding to the audio stream on the recording medium,
The audio playback designation information includes audio playback control information,
The audio reproduction control information includes first information indicating that the reproduction is not asynchronous with reproduction of the still image or second information indicating whether or not the reproduction path included in the audio reproduction designation information is repeatedly reproduced. The information processing apparatus according to claim 1.
上記画像再生指定情報は、各静止画像の再生開始時刻及び再生終了時刻を指定する情報を有する
ことを特徴とする請求項7記載の情報処理装置。
The information processing apparatus according to claim 7, wherein the image reproduction designation information includes information for designating a reproduction start time and a reproduction end time of each still image.
上記静止画像のデフォールトの表示時間は、有限又は無限に設定される
ことを特徴とする請求項8記載の情報処理装置。
The information processing apparatus according to claim 8, wherein a default display time of the still image is set to be finite or infinite.
上記画像属性情報は、上記各静止画像の再生開始時刻を示すプレゼンテーションタイムスタンプと、ストリームデータ中のアドレスとの対応関係を示すテーブルを有する
ことを特徴とする請求項13記載の情報処理装置。
The information processing apparatus according to claim 13, wherein the image attribute information includes a table indicating a correspondence relationship between a presentation time stamp indicating a reproduction start time of each still image and an address in the stream data.
上記多重化手段は、上記各静止画像に同期再生される副画像情報を上記トランスポートストリームに多重化するものであって、上記トランスポートストリームにおいて同期再生する静止画像の先頭パケットより後ろに上記副画像情報を多重化する
ことを特徴とする請求項19記載の情報処理装置。
The multiplexing means multiplexes the sub-image information that is synchronously reproduced with each still image into the transport stream, and the sub-picture information is reproduced after the first packet of the still image that is synchronously reproduced in the transport stream. The information processing apparatus according to claim 19, wherein the image information is multiplexed.
上記画像属性情報は、上記プレゼンテーションタイムスタンプに対応するシステムタイムクロックに関する情報を有する
ことを特徴とする請求項19記載の情報処理装置。
The information processing apparatus according to claim 19, wherein the image attribute information includes information related to a system time clock corresponding to the presentation time stamp.
上記画像再生指定情報は、画像再生制御情報を有し、
画像再生制御情報は、上記再生終了時刻における画像を表示し続けるか否かを示す第1の情報、又は該第1の情報及び該第1の情報により表示し続けるとされた場合の表示時間を指定する第2の情報を有する
ことを特徴とする請求項17記載の情報処理装置。
The image reproduction designation information includes image reproduction control information,
The image reproduction control information is the first information indicating whether or not to continue displaying the image at the reproduction end time, or the display time when the first information and the first information are displayed continuously. The information processing apparatus according to claim 17, comprising second information to be specified.
上記多重化手段は、上記静止画像の再生に同期して再生されるオーディオストリームを上記トランスポートストリームに多重化する
ことを特徴とする請求項13記載の情報処理装置。
The information processing apparatus according to claim 13, wherein the multiplexing means multiplexes an audio stream reproduced in synchronization with reproduction of the still image on the transport stream.
上記静止画像群と上記画像属性情報とを1つのオブジェクトとし、これをClip単位で管理することを特徴とする請求項1記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the still image group and the image attribute information are set as one object and managed in units of Clip. 1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成工程と、
上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成工程と、
上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録工程とを有し、
上記再生情報作成工程では、上記画像属性情報を使用して上記画像再生指定情報が作成される
ことを特徴とする情報処理方法。
An attribute information creating step for creating image attribute information for managing each still image of a still image group composed of one or more still images;
A reproduction information creating step for creating image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the still image group;
A recording step of recording the still image group and the image attribute information and image reproduction designation information corresponding to the group on a recording medium;
In the reproduction information creation step, the image reproduction designation information is created using the image attribute information.
上記画像属性情報は、上記静止画像群に含まれる各静止画像の識別情報、ファイル名、データサイズ、並びに垂直及び水平方向の画素数を有する
ことを特徴とする請求項25記載の情報処理方法。
The information processing method according to claim 25, wherein the image attribute information includes identification information of each still image included in the still image group, a file name, a data size, and a number of pixels in the vertical and horizontal directions.
上記画像再生指定情報は、各静止画像の再生開始時刻を指定する情報と、各静止画像の表示時間を指定する情報とを有する
ことを特徴とする請求項25記載の情報処理方法。
The information processing method according to claim 25, wherein the image reproduction designation information includes information for designating a reproduction start time of each still image and information for designating a display time of each still image.
上記再生情報作成工程では、上記静止画像の再生に同期して再生されるオーディオストリームの再生を指定する再生パスを示すオーディオ再生指定情報が作成され、
上記記録工程では、上記オーディオストリームとこれに対応するオーディオ再生指定情報とが上記記録媒体に記録される
ことを特徴とする請求項27記載の情報処理方法。
In the reproduction information creation step, audio reproduction designation information indicating a reproduction path for designating reproduction of an audio stream reproduced in synchronization with reproduction of the still image is created,
28. The information processing method according to claim 27, wherein, in the recording step, the audio stream and audio reproduction designation information corresponding to the audio stream are recorded on the recording medium.
上記画像再生指定情報は、各静止画像の再生順序を指定する情報を有する
ことを特徴とする請求項25記載の情報処理方法。
The information processing method according to claim 25, wherein the image reproduction designation information includes information for designating a reproduction order of each still image.
上記再生情報作成工程では、オーディオストリームの時間軸上での再生開始時刻及び再生終了時刻を指定する再生パスを示すオーディオ再生指定情報が作成され、
上記記録工程では、上記オーディオストリームとこれに対応するオーディオ再生指定情報とが上記記録媒体に記録される
ことを特徴とする請求項29記載の情報処理方法。
In the reproduction information creation step, audio reproduction designation information indicating a reproduction path for designating the reproduction start time and reproduction end time on the time axis of the audio stream is created,
30. The information processing method according to claim 29, wherein, in the recording step, the audio stream and audio reproduction designation information corresponding to the audio stream are recorded on the recording medium.
上記記録工程では、上記画像再生指定情報に示される再生順序で上記静止画像が記録される
ことを特徴とする請求項25記載の情報処理方法。
26. The information processing method according to claim 25, wherein, in the recording step, the still images are recorded in a reproduction order indicated by the image reproduction designation information.
所定の動作をコンピュータに実行させるためのプログラムであって、
1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成工程と、
上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成工程と、
上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録工程とを有し、
上記再生情報作成工程では、上記画像属性情報を使用して上記画像再生指定情報が作成される
ことを特徴とするプログラム。
A program for causing a computer to execute a predetermined operation,
An attribute information creating step for creating image attribute information for managing each still image of a still image group composed of one or more still images;
A reproduction information creating step for creating image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the still image group;
A recording step of recording the still image group and the image attribute information and image reproduction designation information corresponding to the group on a recording medium;
In the reproduction information creation step, the image reproduction designation information is created using the image attribute information.
1以上の静止画像からなる静止画像群と、これに対応する画像属性情報及び画像再生指定情報とが記録された記録媒体から、上記静止画像群の少なくとも一部の静止画像を再生する再生手段と、
上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生手段を制御する制御手段とを備え、
上記画像属性情報は、上記静止画像群の各静止画像を管理する情報を有し、
上記画像再生指定情報は、上記画像属性情報を使用して作成され、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す情報を有する
ことを特徴とする情報処理装置。
Reproducing means for reproducing at least a part of still images of the still image group from a recording medium in which a still image group composed of one or more still images and image attribute information and image reproduction designation information corresponding to the group are recorded. ,
Control means for referring to the image attribute information and controlling the reproduction means according to the image reproduction designation information,
The image attribute information includes information for managing each still image of the still image group,
The information processing apparatus, wherein the image reproduction designation information is created using the image attribute information and includes information indicating a reproduction path for designating reproduction of at least a part of the still image group.
上記画像属性情報は、上記静止画像群に含まれる各静止画像の識別情報、ファイル名、データサイズ、並びに垂直及び水平方向の画素数を有する
ことを特徴とする請求項33記載の情報処理装置。
34. The information processing apparatus according to claim 33, wherein the image attribute information includes identification information of each still image included in the still image group, a file name, a data size, and a number of pixels in the vertical and horizontal directions.
上記画像再生指定情報は、各静止画像の再生開始時刻を指定する情報と、各静止画像の表示時間を指定する情報とを有する
ことを特徴とする請求項33記載の情報処理装置。
34. The information processing apparatus according to claim 33, wherein the image reproduction designation information includes information designating a reproduction start time of each still image and information designating a display time of each still image.
上記記録媒体には、オーディオストリームと、上記静止画像と同時に再生される該オーディオストリームの再生を指定する再生パスを示すオーディオ再生指定情報とが記録され、
上記再生手段は、上記静止画像と共に該オーディオストリームを再生し、
上記制御手段は、上記画像再生指定情報及びオーディオ再生指定情報に従って夫々上記静止画像群及び上記オーディオストリームの再生を制御する
ことを特徴とする請求項35記載の情報処理装置。
In the recording medium, an audio stream and audio reproduction designation information indicating a reproduction path for designating reproduction of the audio stream reproduced simultaneously with the still image are recorded,
The reproduction means reproduces the audio stream together with the still image,
36. The information processing apparatus according to claim 35, wherein the control unit controls reproduction of the still image group and the audio stream according to the image reproduction designation information and audio reproduction designation information, respectively.
上記記録媒体には、オーディオ属性情報と、これを使用して作成された上記オーディオ再生指定情報とが記録され、
上記オーディオ属性情報は、上記オーディオの再生開始時刻を示すプレゼンテーションタイムスタンプと、これに対応する上記オーディオストリーム中のアドレスとの対応関係を示すテーブルを有する
ことを特徴とする請求項36記載の情報処理装置。
In the recording medium, audio attribute information and the audio reproduction designation information created using the audio attribute information are recorded,
The information processing according to claim 36, wherein the audio attribute information includes a table indicating a correspondence relationship between a presentation time stamp indicating a playback start time of the audio and an address in the audio stream corresponding to the presentation time stamp. apparatus.
上記画像再生指定情報は、各静止画像の再生順序を指定する情報を有する
ことを特徴とする請求項33記載の情報処理装置。
The information processing apparatus according to claim 33, wherein the image reproduction designation information includes information for designating a reproduction order of each still image.
上記画像再生指定情報は、各静止画像の再生開始時刻及び再生終了時刻を指定する情報とを有する
ことを特徴とする請求項38記載の情報処理装置。
The information processing apparatus according to claim 38, wherein the image reproduction designation information includes information designating a reproduction start time and a reproduction end time of each still image.
上記画像再生指定情報は、画像再生制御情報を有し、
上記画像再生制御情報は、上記再生終了時刻における画像を表示し続けるか否かを示す第1の情報、又は該第1の情報及び該第1の情報により表示し続けるとされた場合の表示時間を指定する第2の情報を有する
ことを特徴とする請求項39記載の情報処理装置。
The image reproduction designation information includes image reproduction control information,
The image reproduction control information is the first information indicating whether or not to continue displaying the image at the reproduction end time, or the display time when the first information and the first information are continuously displayed. 40. The information processing apparatus according to claim 39, wherein the information processing apparatus has second information for designating.
上記画像再生指定情報は、各静止画像のデフォールトの表示時間を指定する情報を有する
ことを特徴とする請求項38記載の情報処理装置。
The information processing apparatus according to claim 38, wherein the image reproduction designation information includes information for designating a default display time of each still image.
上記記録媒体には、オーディオストリームと、該オーディオストリームの時間軸上での再生開始及び終了時刻を指定する再生パスを示すオーディオ再生指定情報とが記録され、
上記再生手段は、上記静止画像と共に上記オーディオストリームを再生し、
上記制御手段は、上記画像再生指定情報及びオーディオ再生指定情報に従って夫々上記静止画像群及び上記オーディオストリームの再生を制御する
ことを特徴とする請求項38記載の情報処理装置。
In the recording medium, an audio stream and audio reproduction designation information indicating a reproduction path for designating reproduction start and end times on the time axis of the audio stream are recorded,
The reproduction means reproduces the audio stream together with the still image,
39. The information processing apparatus according to claim 38, wherein the control means controls reproduction of the still image group and the audio stream according to the image reproduction designation information and audio reproduction designation information, respectively.
上記オーディオ再生指定情報は、オーディオ再生制御情報を有し、
上記オーディオ再生制御情報は、上記静止画像の再生とは非同期であることを示す第1の情報及び/又はオーディオ再生指定情報に含まれる再生パスを繰り返し再生するか否かを示す第2の情報を有する
ことを特徴とする請求項42記載の情報処理装置。
The audio playback designation information includes audio playback control information,
The audio reproduction control information includes first information indicating that it is asynchronous with reproduction of the still image and / or second information indicating whether or not to reproduce the reproduction path included in the audio reproduction designation information. The information processing apparatus according to claim 42, further comprising:
上記制御手段は、ユーザからの指示により各静止画像の表示時間を決定する
ことを特徴とする請求項38記載の情報処理装置。
The information processing apparatus according to claim 38, wherein the control means determines a display time of each still image according to an instruction from a user.
上記記録媒体には、上記静止画像群はトランスポートストリームに多重化されて記録される
ことを特徴とする請求項33記載の情報処理装置。
The information processing apparatus according to claim 33, wherein the still image group is recorded on the recording medium in a multiplexed manner with a transport stream.
上記トランスポートストリームには、上記静止画像の再生に同期して再生されるオーディオストリームが多重化されている
ことを特徴とする請求項33記載の情報処理装置。
The information processing apparatus according to claim 33, wherein an audio stream that is reproduced in synchronization with reproduction of the still image is multiplexed in the transport stream.
上記記録媒体には、上記静止画像群を有するメイントランスポートストリームと、オーディオデータを有するオーディオトランスポートストリームとが記録され、
上記再生手段は、上記メイントランスポートストリームとオーディオトランスポートストリームとを時分割に交互に読み出す
ことを特徴とする請求項33記載の情報処理装置。
On the recording medium, a main transport stream having the still image group and an audio transport stream having audio data are recorded,
34. The information processing apparatus according to claim 33, wherein the reproduction means reads the main transport stream and the audio transport stream alternately in a time division manner.
上記静止画像群と上記画像属性情報とを1つのオブジェクトとし、これをClip単位で管理することを特徴とする請求項33記載の情報処理装置。   34. The information processing apparatus according to claim 33, wherein the still image group and the image attribute information are set as one object and managed in units of Clip. 1以上の静止画像からなる静止画像群と、これに対応する画像属性情報及び画像再生指定情報とが記録された記録媒体から、上記静止画像群の少なくとも一部の静止画像を再生する再生工程と、
上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生を制御する制御工程とを有し、
上記画像属性情報は、上記静止画像群の各静止画像を管理する情報を有し、
上記画像再生指定情報は、上記画像属性情報を使用して作成され、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す情報を有する
ことを特徴とする情報処理方法。
A reproduction step of reproducing at least a part of the still images of the still image group from a recording medium in which still image groups composed of one or more still images and image attribute information and image reproduction designation information corresponding thereto are recorded; ,
A control step of referring to the image attribute information and controlling the reproduction according to the image reproduction designation information,
The image attribute information includes information for managing each still image of the still image group,
The information processing method, wherein the image reproduction designation information includes information indicating a reproduction path that is created using the image attribute information and designates reproduction of at least a part of the still image group.
上記画像属性情報は、上記静止画像群に含まれる各静止画像の識別情報、ファイル名、データサイズ、並びに垂直及び水平方向の画素数を有する
ことを特徴とする請求項49記載の情報処理方法。
The information processing method according to claim 49, wherein the image attribute information includes identification information of each still image included in the still image group, a file name, a data size, and a number of pixels in the vertical and horizontal directions.
上記画像再生指定情報は、各静止画像の再生開始時刻を指定する情報と、各静止画像の表示時間を指定する情報とを有する
ことを特徴とする請求項49記載の情報処理方法。
The information processing method according to claim 49, wherein the image reproduction designation information includes information for designating a reproduction start time of each still image and information for designating a display time of each still image.
上記記録媒体には、オーディオストリームと、上記静止画像と同時に再生される該オーディオストリームの再生を指定する再生パスを示すオーディオ再生指定情報とが記録され、
上記再生工程では、上記静止画像と共に該オーディオストリームが再生され、
上記制御工程では、上記画像再生指定情報及びオーディオ再生指定情報に従って夫々上記静止画像群及び上記オーディオストリームの再生が制御される
ことを特徴とする請求項51記載の情報処理方法。
In the recording medium, an audio stream and audio reproduction designation information indicating a reproduction path for designating reproduction of the audio stream reproduced simultaneously with the still image are recorded,
In the reproduction step, the audio stream is reproduced together with the still image,
52. The information processing method according to claim 51, wherein in the control step, reproduction of the still image group and the audio stream is controlled according to the image reproduction designation information and audio reproduction designation information, respectively.
上記記録媒体には、オーディオ属性情報と、これを使用して作成された上記オーディオ再生指定情報とが記録され、
上記オーディオ属性情報は、上記オーディオの再生開始時刻を示すプレゼンテーションタイムスタンプと、これに対応する上記オーディオストリーム中のアドレスとの対応関係を示すテーブルを有する
ことを特徴とする請求項52記載の情報処理方法。
In the recording medium, audio attribute information and the audio reproduction designation information created using the audio attribute information are recorded,
53. The information processing according to claim 52, wherein the audio attribute information includes a table indicating a correspondence relationship between a presentation time stamp indicating a playback start time of the audio and an address in the audio stream corresponding to the presentation time stamp. Method.
上記画像再生指定情報は、各静止画像の再生順序を指定する情報を有する
ことを特徴とする請求項52記載の情報処理方法。
The information processing method according to claim 52, wherein the image reproduction designation information includes information for designating a reproduction order of each still image.
上記記録媒体には、オーディオストリームと、該オーディオストリームの時間軸上での再生開始及び終了時刻を指定する再生パスを示すオーディオ再生指定情報とが記録され、
上記再生工程では、上記静止画像と共に上記オーディオストリームが再生され、
上記制御工程では、上記画像再生指定情報及びオーディオ再生指定情報に従って夫々上記静止画像群及び上記オーディオストリームの再生が制御される
ことを特徴とする請求項54記載の情報処理方法。
In the recording medium, an audio stream and audio reproduction designation information indicating a reproduction path for designating reproduction start and end times on the time axis of the audio stream are recorded,
In the reproduction step, the audio stream is reproduced together with the still image,
55. The information processing method according to claim 54, wherein in the control step, reproduction of the still image group and the audio stream is controlled according to the image reproduction designation information and audio reproduction designation information, respectively.
所定の動作をコンピュータに実行させるためのプログラムであって、
1以上の静止画像からなる静止画像群と、これに対応する画像属性情報及び画像再生指定情報とが記録された記録媒体から、上記静止画像群の少なくとも一部の静止画像を再生する再生工程と、
上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生を制御する制御工程とを有し、
上記画像属性情報は、上記静止画像群の各静止画像を管理する情報を有し、
上記画像再生指定情報は、上記画像属性情報を使用して作成され、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す情報を有する
ことを特徴とするプログラム。
A program for causing a computer to execute a predetermined operation,
A reproduction step of reproducing at least a part of the still images of the still image group from a recording medium in which still image groups composed of one or more still images and image attribute information and image reproduction designation information corresponding thereto are recorded; ,
A control step of referring to the image attribute information and controlling the reproduction according to the image reproduction designation information,
The image attribute information includes information for managing each still image of the still image group,
The image reproduction designation information is created using the image attribute information, and has information indicating a reproduction path for designating reproduction of at least a part of the still image group.
1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成手段と、
上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成手段と、
上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録手段と、
上記記録媒体から静止画像を読み出し再生する再生手段と、
上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生手段を制御する制御手段とを備え、
上記再生情報作成手段は、上記画像属性情報を使用して上記画像再生指定情報を作成する
ことを特徴とする情報処理装置。
Attribute information creating means for creating image attribute information for managing each still image of a still image group composed of one or more still images;
Reproduction information creating means for creating image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the still image group;
Recording means for recording the still image group and the image attribute information and image reproduction designation information corresponding to the still image group on a recording medium;
Reproducing means for reading out and reproducing still images from the recording medium;
Control means for referring to the image attribute information and controlling the reproduction means according to the image reproduction designation information,
The information processing apparatus characterized in that the reproduction information creating means creates the image reproduction designation information using the image attribute information.
上記画像属性情報は、上記静止画像群に含まれる各静止画像の識別情報、ファイル名、データサイズ、並びに垂直及び水平方向の画素数を有する
ことを特徴とする請求項57記載の情報処理装置。
58. The information processing apparatus according to claim 57, wherein the image attribute information includes identification information of each still image included in the still image group, a file name, a data size, and a number of pixels in the vertical and horizontal directions.
上記画像再生指定情報は、各静止画像の再生開始時刻を指定する情報と、各静止画像の表示時間を指定する情報とを有する
ことを特徴とする請求項57記載の情報処理装置。
58. The information processing apparatus according to claim 57, wherein the image reproduction designation information includes information designating a reproduction start time of each still image and information designating a display time of each still image.
上記画像再生指定情報は、各静止画像の再生順序を指定する情報を有する
ことを特徴とする請求項57記載の情報処理装置。
58. The information processing apparatus according to claim 57, wherein the image reproduction designation information includes information for designating a reproduction order of each still image.
1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成工程と、
上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成工程と、
上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録媒体に記録する記録工程と、
上記記録媒体から静止画像を読み出し再生する再生工程と、
上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生を制御する制御工程とを備え、
上記再生情報作成工程では、上記画像属性情報を使用して上記画像再生指定情報が作成される
ことを特徴とする情報処理方法。
An attribute information creating step for creating image attribute information for managing each still image of a still image group composed of one or more still images;
A reproduction information creating step for creating image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the still image group;
A recording step of recording the still image group and the image attribute information and image reproduction designation information corresponding to the still image group on a recording medium;
A reproduction step of reading and reproducing a still image from the recording medium;
A control step of referring to the image attribute information and controlling the reproduction according to the image reproduction designation information,
In the reproduction information creation step, the image reproduction designation information is created using the image attribute information.
所定の動作をコンピュータに実行させるためのプログラムであって、
1以上の静止画像からなる静止画像群の各静止画像を管理する画像属性情報を作成する属性情報作成工程と、
上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報を作成する再生情報作成工程と、
上記静止画像群と、これに対応する上記画像属性情報及び画像再生指定情報とを記録する記録工程と、
上記記録媒体から静止画像を読み出し再生する再生工程と、
上記画像属性情報を参照し、上記画像再生指定情報に従って上記再生を制御する制御工程とを備え、
上記再生情報作成工程では、上記画像属性情報を使用して上記画像再生指定情報が作成される
ことを特徴とするプログラム。
A program for causing a computer to execute a predetermined operation,
An attribute information creating step for creating image attribute information for managing each still image of a still image group composed of one or more still images;
A reproduction information creating step for creating image reproduction designation information indicating a reproduction path for designating reproduction of at least a part of the still image group;
A recording step of recording the still image group and the image attribute information and image reproduction designation information corresponding thereto;
A reproduction step of reading and reproducing a still image from the recording medium;
A control step of referring to the image attribute information and controlling the reproduction according to the image reproduction designation information,
In the reproduction information creation step, the image reproduction designation information is created using the image attribute information.
1以上の静止画像からなる静止画像群と、該静止画像群の各静止画像を管理する画像属性情報と、該画像属性情報を使用して作成された、上記静止画像群の少なくとも一部の再生を指定する再生パスを示す画像再生指定情報とが記録されたことを特徴とする記録媒体。   Still image group composed of one or more still images, image attribute information for managing each still image of the still image group, and reproduction of at least a part of the still image group created using the image attribute information A recording medium in which image reproduction designation information indicating a reproduction path for designating the image is recorded.
JP2006107953A 2002-12-18 2006-04-10 recoding media Expired - Fee Related JP4800824B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006107953A JP4800824B2 (en) 2002-12-18 2006-04-10 recoding media

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2002367235 2002-12-18
JP2002367235 2002-12-18
JP2003067025 2003-03-12
JP2003067025 2003-03-12
JP2006107953A JP4800824B2 (en) 2002-12-18 2006-04-10 recoding media

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003132193A Division JP3815458B2 (en) 2002-12-18 2003-05-09 Information processing apparatus, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2006262501A true JP2006262501A (en) 2006-09-28
JP4800824B2 JP4800824B2 (en) 2011-10-26

Family

ID=37101131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006107953A Expired - Fee Related JP4800824B2 (en) 2002-12-18 2006-04-10 recoding media

Country Status (1)

Country Link
JP (1) JP4800824B2 (en)

Also Published As

Publication number Publication date
JP4800824B2 (en) 2011-10-26

Similar Documents

Publication Publication Date Title
JP3815458B2 (en) Information processing apparatus, information processing method, and program
RU2330332C2 (en) Writing medium with data structure for control over playing back of recorded static images and methods and devices for writing and playing back
US7680182B2 (en) Image encoding device, and image decoding device
JP4589120B2 (en) Information storage medium on which stop video is recorded, reproducing apparatus and method thereof
US7684675B2 (en) Recording medium having data structure for managing reproduction of still pictures recorded thereon and recording and reproducing methods and apparatuses
EP1602107A1 (en) Methods and apparatuses for reproducing and recording still picture and audio data and recording medium having data structure for managing reproduction of still picture and audio data
CN100448285C (en) Information processing device, information processing method and program, and recording medium
RU2340956C2 (en) Record medium with data structure applied for control of duration of stored still image reproduction and record and reproduction methods and devices
JP3906795B2 (en) Information processing apparatus, information processing method, and program
JP4800824B2 (en) recoding media
JP4813905B2 (en) Playback apparatus and method, recording medium, data structure, and recording apparatus and method
US20060008253A1 (en) Data structure, recording medium, information reproducing apparatus, and information reproducing method
JP4808761B2 (en) Apparatus for reproducing moving image data for each angle corresponding to one moving image from an information recording medium
KR100987767B1 (en) Information storage medium storing still picture, reproducing apparatus and method therefor
JP2007128641A (en) Information processing device, information processing method and program, recording medium, and data structure

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110804

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4800824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees