JP4342977B2 - Recording / reproducing apparatus, control method for recording / reproducing apparatus, control program for recording / reproducing apparatus, and recording medium storing control program for recording / reproducing apparatus - Google Patents
Recording / reproducing apparatus, control method for recording / reproducing apparatus, control program for recording / reproducing apparatus, and recording medium storing control program for recording / reproducing apparatus Download PDFInfo
- Publication number
- JP4342977B2 JP4342977B2 JP2004043590A JP2004043590A JP4342977B2 JP 4342977 B2 JP4342977 B2 JP 4342977B2 JP 2004043590 A JP2004043590 A JP 2004043590A JP 2004043590 A JP2004043590 A JP 2004043590A JP 4342977 B2 JP4342977 B2 JP 4342977B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- stream data
- recording
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
本発明は、動画音声符号化方式であるMPEG(Moving Picture Experts Group)システムを用いた記録再生装置に関するものであり、特には記録された映像データをGOP(Group Of Picture)ごとに読取り、該GOPそれぞれを構成する各フレームをプルダウン方式で2以上のフィールドに変換し、任意のGOPを選択して連続再生する記録再生装置の映像データ再生装置に関する。 The present invention relates to a recording / reproducing apparatus using an MPEG (Moving Picture Experts Group) system, which is a moving picture / audio coding system, and in particular, reads recorded video data for each GOP (Group Of Picture). The present invention relates to a video data reproducing apparatus of a recording / reproducing apparatus which converts each frame constituting each into two or more fields by a pull-down method, selects an arbitrary GOP, and continuously reproduces it.
近年、光ディスク等のランダムアクセスが可能な記録媒体に動画像データを記録することで、そのランダムアクセス性を利用して、実際にデータを書き換えることなく、任意の位置での編集を行う、いわゆる非破壊編集が可能になった。 In recent years, moving image data is recorded on a random-accessible recording medium such as an optical disk, and editing is performed at an arbitrary position without actually rewriting data by utilizing the random accessibility. Destructive editing is now possible.
このようなランダムアクセス可能な記録媒体である光ディスク等に記録する動画音声符号化方式の標準フォーマットとしては、MPEG−2が採用されている。しかし、MPEG−2では、フレーム単位で独立に符号化するのではなく、フレーム間予測を用いて圧縮を行っているため、フレーム単位での編集は一般に容易ではない。したがって、複数フレームで構成されたランダムアクセス可能なGOP単位で編集を行うことになる。 MPEG-2 is adopted as a standard format of a moving image / audio encoding method for recording on an optical disk or the like which is a recording medium that can be randomly accessed. However, in MPEG-2, since encoding is performed using inter-frame prediction rather than encoding independently in units of frames, editing in units of frames is generally not easy. Accordingly, editing is performed in units of randomly accessible GOPs composed of a plurality of frames.
なお、フレームとは、映像を構成する単位であって、1枚の映像が1フレームとなる。また、GOPとは、ランダムアクセスを可能とするために、画面内だけで閉じた情報による符号化画面(フレーム内符号化フレーム(intra-coded picture:I−ピクチャ))を定期的に挿入し、このフレーム内符号化画面が少なくとも1枚入った画面群構造をもつものである。つまり、GOPは、複数のフレームから構成され、上記したI−ピクチャ以外に、フレーム間符号化フレーム(predictive-coded picture:P−ピクチャ)、フレーム内挿符号化フレーム(bidirectionally predictive-coded picture:B−ピクチャ)が含まれていてもよい。 Note that a frame is a unit constituting a video, and one video is one frame. In addition, in order to enable random access, the GOP periodically inserts an encoded screen (intra-coded picture (I-picture)) based on information closed only within the screen, This intra-frame encoded screen has a screen group structure containing at least one frame. That is, the GOP is composed of a plurality of frames. In addition to the above-described I-picture, the GOP includes an inter-frame encoded frame (predictive-coded picture: P-picture) and a frame-interpolated encoded frame (bidirectionally predictive-coded picture: B). -Picture) may be included.
ところで、映画などのコンテンツではフレームレートが24Hzで撮影されたものが多い。一方、撮影されたコンテンツは、例えば、テレビなどのようなインターレースディスプレイ(インターレースによって表示される表示装置)において、フレームレートが30Hz(フィールドレート60Hz)で表示される。 By the way, many contents such as movies are taken at a frame rate of 24 Hz. On the other hand, the captured content is displayed at a frame rate of 30 Hz (field rate 60 Hz) on an interlaced display (display device displayed by interlace) such as a television.
このため、MPEG−2では、フレームレートが24Hzである、映画などの動画像の符号化データをフィールドレート60Hzで表示するインターレースディスプレイにおいて表示させる場合、定期的に第1フィールドを繰り返し表示する例えば、2:3プルダウンという方式でフレームレートの変換を行っている。そして、変換されたフレームのフィールドでは、トップフィールド(偶数フィールド)とボトムフィールド(奇数フィールド)とが繰り返され、2フィールド期間表示されるフレームと3フィールド期間表示されるフレームとが交互に表示される。 Therefore, in MPEG-2, when displaying encoded data of a moving image such as a movie having a frame rate of 24 Hz on an interlaced display that displays at a field rate of 60 Hz, the first field is periodically displayed repeatedly. Frame rate conversion is performed by a method called 2: 3 pull-down. Then, in the field of the converted frame, the top field (even field) and the bottom field (odd field) are repeated, and the frame displayed in the 2-field period and the frame displayed in the 3-field period are alternately displayed. .
なお、フィールドとは、フレームを偶数ラインまたは奇数ラインに分けた何れかであって、トップフィールドとは、480ラインの表示画面を0〜479で数えた場合に、先頭行(トップライン)である0ラインを含むフィールド(偶数フィールド)のことである。一方、ボトムフィールドとは、最終行(ボトムライン)である479ラインを含むフィールド(奇数フィールド)である。 The field is either divided into even lines or odd lines, and the top field is the first line (top line) when the display screen of 480 lines is counted from 0 to 479. This is a field (even field) including 0 lines. On the other hand, the bottom field is a field (odd field) including 479 lines as the last line (bottom line).
ここで、図15を参照して、上記したフレームレート24Hzの動画符号化データを2:3プルダウン方式に変換した例を示す。図15は、記録データおよび表示画像のフレーム表示と、表示画像のプルダウン表示と、TFF(top_field_first)フラグ、およびRFF(repeat_first_field)フラグとの対応関係を示す図である。 Here, with reference to FIG. 15, an example in which the above-described moving image encoded data with a frame rate of 24 Hz is converted into the 2: 3 pull-down method is shown. FIG. 15 is a diagram illustrating a correspondence relationship between the frame display of the recording data and the display image, the pull-down display of the display image, the TFF (top_field_first) flag, and the RFF (repeat_first_field) flag.
なお、図15において、フレームIは、I−ピクチャを、フレームBはBピクチャを、フレームPはPピクチャをそれぞれ示しており、各フレーム記号の添え字の数字は0から順に表示順番を示している。つまり、24Hzの動画符号化データ(記録データ)をそのまま、24Hzで表示すると表示画像は、フレームB0、B1、I2…の順番となる。そして、各フレームに対して2:3プルダウン変換を行うと、B0がt・bに、B1がt・b・tにI2がb・tになる。なお、このtは、トップフィールドを示し、bはボトムフィールドを示す。 In FIG. 15, frame I indicates an I-picture, frame B indicates a B picture, and frame P indicates a P picture. Subscript numbers of frame symbols indicate a display order in order from 0. Yes. That is, when 24 Hz moving image encoded data (recording data) is displayed as it is at 24 Hz, the display image is in the order of frames B 0 , B 1 , I 2 . When 2: 3 pull-down conversion is performed on each frame, B 0 becomes t · b, B 1 becomes t · b · t, and I 2 becomes b · t. Here, t indicates a top field, and b indicates a bottom field.
また、TFFフラグとは、フィールド構造においてフィールドオーダを設定するために使うフラグである。TFFフラグが1の場合は、フィールド構造においてトップフィールドが先であることを示す。したがって、TFFフラグが1であるフレームの場合、フィールド構造はトップフィールド、ボトムフィールドの順番(t・b)になる。例えば、図15において、フレームB0は、TFFフラグが0であり、フィールドは、t・bの順番になる。 The TFF flag is a flag used for setting a field order in the field structure. When the TFF flag is 1, it indicates that the top field is first in the field structure. Therefore, in the case of a frame whose TFF flag is 1, the field structure is the order of the top field and the bottom field (t · b). For example, in FIG. 15, frame B 0 has a TFF flag of 0, and the fields are in the order of t · b.
また、RFFフラグとは、フレームレート24Hzの動画像をフィールドレート60Hzで再生(表示)するため、例えば2:3プルダウン方式または3:2プルダウン方式に変換する際に用いられるコードである。図15においてこのコードが1の場合は、先に表示された最初のフィールドを繰り返して表示させること示す。 Further, the RFF flag is a code used for converting, for example, a 2: 3 pull-down method or a 3: 2 pull-down method in order to reproduce (display) a moving image having a frame rate of 24 Hz at a field rate of 60 Hz. In FIG. 15, when this code is 1, it indicates that the first field displayed earlier is repeatedly displayed.
より具体的には、例えば、図15に示す表示画像のB0フレームは、TFFフラグが1であるため、上記したようにB0のプルダウン表示はt・bという順番になる。またRFFフラグは0であるため、先に表示された最初のフィールドすなわちtを繰り返す必要がない。このため、B0のフレームのプルダウン表示は、t・bというフィールド構造となる。 More specifically, for example, the B 0 frame of the display image shown in FIG. 15 has a TFF flag of 1, so the pull-down display of B 0 is in the order of t · b as described above. Further, since the RFF flag is 0, it is not necessary to repeat the first field displayed earlier, that is, t. Therefore, the pull-down view of the frame of the B 0 is a field structure that t · b.
一方、B1フレームは、TFFフラグが1であるため、プルダウン表示はt・bの順番になる。また、RFFフラグも1として表示されているため、先に表示された最初のフィールド、すなわちtを繰り返す。したがって、B1フレームのプルダウン表示はt・b・tというフィールド構造となる。 Meanwhile, B 1 frame, because TFF flag is 1, the pull-down display will be the order of t · b. Further, since the RFF flag is also displayed as 1, the first field displayed earlier, that is, t is repeated. Therefore, a pull-down display of B 1 frame is field structure that t · b · t.
なお、上記TFFフラグおよびRFFフラグは、各フレームのMPEG2のピクチャ符号化機能拡張部(picture_coding_extension)に含まれるフラグである。 The TFF flag and the RFF flag are flags included in the MPEG2 picture encoding function extension (picture_coding_extension) of each frame.
このようにRFFフラグが1を表示するか0を表示するかによって、2フィールド期間表示されるフレームと3フィールド期間表示されるフレームとが交互に表示される。つまり、2:3プルダウン方式によって、2フレームを5フィールド分表示し、毎秒24フレームのコンテンツを毎秒60フィールドに変換する。 As described above, the frame displayed in the 2-field period and the frame displayed in the 3-field period are alternately displayed depending on whether the RFF flag displays 1 or 0. That is, 2 frames are displayed for 5 fields by the 2: 3 pull-down method, and the content of 24 frames per second is converted to 60 fields per second.
しかし、このようなフレームレートに対する変換を行うことによって、フレームの第1フィールドが必ずしもトップフィールド、もしくはボトムフィールドであるという保証ができなくなる。このため、例えば、図16に示すように、GOP1とGOP2とGOP3とから構成される動画像の符号化データから、GOP1とGOP3とから構成される符号化データを編集する場合、フィールドの位相がずれることがある。 However, by performing such conversion for the frame rate, it cannot be guaranteed that the first field of the frame is necessarily the top field or the bottom field. Therefore, for example, as shown in FIG. 16, when editing the encoded data composed of GOP1 and GOP3 from the encoded data of the moving image composed of GOP1, GOP2 and GOP3, the phase of the field is It may shift.
なお、図16は、各GOPごとのフレーム構造および、そのフレームのフィールド構造が示されており、GOP1、GOP2、およびGOP3から構成される符号化データがGOP1とGOP3とから構成されるように編集される場合の一例を示す図である。 FIG. 16 shows the frame structure for each GOP and the field structure of the frame. The encoded data composed of GOP1, GOP2, and GOP3 is edited so that it is composed of GOP1 and GOP3. FIG.
例えば2:3プルダウン方式によって、2フレームを5フィールド分表示するように変換することで、GOP1とGOP3との接続部分、すなわちフレームP8の最後尾のフィールドと、フレームB0の最前列のフィールドとは、ともにb(ボトムフィールド)となる。つまり、GOP1とGOP3とのトップフィールドおよびボトムフィールドの循環によって形成されるフィールドの周期的な変化、すなわちフィールドの位相の状態がずれた状態となっている。 For example 2: The 3 pull-down system, to convert the two frames so as to display 5 field of the connection portion between the GOP1 and GOP3, that is, the last field of the frame P 8, the front row of the field of the frame B 0 Are both b (bottom field). That is, a periodic change of the field formed by circulation of the top field and the bottom field between GOP1 and GOP3, that is, the state of the phase of the field is shifted.
したがって、GOP単位で動画の符号化データの編集を行う場合であっても、図16に示すように、GOP1とGOP3との接続部分においてフィールドの位相がずれる場合があり、GOP1とGOP3とを連続して再生することが困難になる。 Accordingly, even when editing the encoded data of the moving image in units of GOP, the phase of the field may be shifted at the connection portion between GOP1 and GOP3 as shown in FIG. 16, and GOP1 and GOP3 are continuously connected. And it becomes difficult to play.
そこで、上記した動画の符号化データの編集時に生じる問題を回避するために、予め、動画データの符号化時に、各GOPを構成するフレームの最後尾のフィールドが、常にボトムフィールドとなるような編集可能点の挿入法が提案されている(例えば、特許文献1参照)。
しかしながら、上記特許文献1の方法では、予め動画像データの符号化時にフィールドの位相の調整をしなくてはならないため、再生時において、符号化時にフィールド位相の調整が行われた編集可能点でしか編集できないという問題が生じる。すなわち、動画データの符号化時に調整が行われていないところは編集を行うことができない。
However, in the method of
また、特許文献1の方法では、編集の自由度を挙げるために、編集単位であるGOPの長さを短くしたり、シーン切替点などでGOPを切替えたりすると、再生対象である動画像データにおいてフィールドの位相の調整が必要な箇所が増える。このため、再生対象である動画像データを再生する場合、当該再生にかかる時間が、記録された実時間と異なってくるという問題も生じる。
Further, in the method of
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、映像データの再生時においてフレームレートが変更される場合であっても、予め記録時に映像データの編集位置を設定する必要がなく、再生時に自由に映像データを編集可能とする映像データ再生装置、映像データ再生装置の制御方法、映像データ再生装置の制御プログラム、および映像データ再生装置の制御プログラムが格納された記録媒体を提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to set an editing position of video data in advance at the time of recording even when the frame rate is changed at the time of reproducing the video data. Video data reproducing apparatus that can edit video data freely during reproduction, video data reproducing apparatus control method, video data reproducing apparatus control program, and recording medium storing video data reproducing apparatus control program Is to provide.
本発明に係る記録再生装置は、上記した課題を解決するために、入力された動画像を情報圧縮して生成したデータである第1ストリームデータと、他の動画像から生成したストリームデータである第2ストリームデータとを組み合わせて連続的に再生する記録再生装置であって、上記第1ストリームデータおよび上記第2ストリームデータをそれぞれ生成し、記録媒体に記録する際に、上記第1ストリームデータおよび上記第2ストリームデータの先頭で表示されるフレームのフィールドがトップフィールドであるか、ボトムフィールドであるかを識別するフィールド位相情報を含む管理情報を生成する管理情報生成手段と、上記管理情報生成手段によって生成された上記管理情報に基づき、上記第1ストリームデータと上記第2ストリームデータとを連続再生するために必要な情報であるプレイリスト情報を生成するプレイリスト情報生成手段と、上記第1ストリームデータにおいて最後尾のフレームの最後に表示されるフィールドがトップフィールドか、またはボトムフィールドであるか確認し、上記管理情報に含まれる上記フィールド位相情報を参照して、上記第1ストリームデータと上記第2ストリームデータとの隣接するフレーム同士のフィールドの位相が同じか否か判定する位相判定手段と、上記プレイリスト情報生成手段によって生成した上記プレイリスト情報を、上記第1ストリームデータおよび上記第2ストリームデータそれぞれと対応付けて記録媒体に記録する記録手段と、を備え、上記プレイリスト情報生成手段は、上記位相判定手段による判定結果を上記プレイリスト情報に含めて作成することを特徴とする。 In order to solve the above-described problem, the recording / reproducing apparatus according to the present invention includes first stream data that is data generated by compressing information of an input moving image, and stream data generated from another moving image. A recording / reproducing apparatus for continuously reproducing in combination with the second stream data, wherein the first stream data and the second stream data are respectively generated and recorded on a recording medium. Management information generating means for generating management information including field phase information for identifying whether the field of the frame displayed at the head of the second stream data is a top field or a bottom field; and the management information generating means The first stream data and the second stream based on the management information generated by Playlist information generating means for generating playlist information, which is information necessary for continuous playback of data, and the field displayed at the end of the last frame in the first stream data is a top field, or Check whether the field is a bottom field, and refer to the field phase information included in the management information to determine whether the field phases of adjacent frames of the first stream data and the second stream data are the same. And a recording unit that records the playlist information generated by the playlist information generation unit in a recording medium in association with each of the first stream data and the second stream data. The playlist information generating means outputs the determination result by the phase determining means to the above Characterized in that it created included in the playlist information.
また、本発明に係る記録再生装置は、上記構成において、上記記録媒体に記録された上記プレイリスト情報に含まれる、連続して再生される上記第1ストリームデータと第2ストリームデータとに関する情報を確認するとともに、該プレイリスト情報に対応付けられた上記第1ストリームデータと上記第2ストリームデータとの隣接するフレームのフィールドの位相が同じか否か確認するプレイリスト確認手段と、上記プレイリスト確認手段により確認された上記プレイリスト情報に応じて、該プレイリスト情報に対応付けられた上記第1ストリームデータと上記第2ストリームデータとを上記記録媒体から読み出す読み出し手段と、上記プレイリスト確認手段によって、上記第1ストリームデータと上記第2ストリームデータとの隣接するフレーム同士のフィールドの位相のずれが確認された場合、このフィールドの位相の調整を行う位相規則変更部と、を備える構成であってもよい。 Further, the recording / reproducing apparatus according to the present invention, in the above configuration, includes information regarding the first stream data and the second stream data that are continuously reproduced and included in the playlist information recorded on the recording medium. Playlist confirmation means for confirming whether or not the phase of the field of adjacent frames of the first stream data and the second stream data associated with the playlist information is the same, and the playlist confirmation According to the playlist information confirmed by the means, the reading means for reading out the first stream data and the second stream data associated with the playlist information from the recording medium, and the playlist confirmation means The first stream data and the second stream data are adjacent to each other If the field of phase shift between the frames is confirmed, a phase rule changing unit for performing phase adjustment of the field, may be configured to include a.
また、本発明に係る記録再生装置は、上記構成において、上記管理情報生成手段は、上記第1ストリームデータおよび上記第2ストリームデータそれぞれにおいて、複数フレームで構成されたランダムアクセス可能な単位であるGOPごとに上記フィールド位相情報を作成する構成であってもよい。 In the recording / reproducing apparatus according to the present invention, in the above configuration, the management information generating unit is a GOP that is a randomly accessible unit configured by a plurality of frames in each of the first stream data and the second stream data. The field phase information may be created every time.
また、本発明に係る記録再生装置は、上記構成において、上記管理情報生成手段は、上記第1ストリームデータおよび上記第2ストリームデータそれぞれにおいて、上記GOPごとにプルダウン方式によるフィールド表示の表示形式に関する情報をさらに上記管理情報に含めて記録する構成であってもよい。Further, in the recording / reproducing apparatus according to the present invention, in the above configuration, the management information generating means is information relating to a display format of a field display by a pull-down method for each GOP in each of the first stream data and the second stream data. May be included in the management information and recorded.
本発明に係る記録再生装置の制御方法は、上記課題を解決するために、入力された動画像を情報圧縮して生成したデータである第1ストリームデータと、他の動画像から生成したストリームデータである第2ストリームデータとを組み合わせて連続的に再生する記録再生装置の制御方法であって、上記第1ストリームデータおよび上記第2ストリームデータをそれぞれ生成し、記録媒体に記録する際に、上記第1ストリームデータおよび上記第2ストリームデータの先頭で表示されるフレームのフィールドがトップフィールドであるか、ボトムフィールドであるかを識別するフィールド位相情報を含む管理情報を生成する管理情報生成ステップと、上記管理情報生成ステップにおいて生成された上記管理情報に基づき、上記第1ストリームデータと上記第2ストリームデータとを連続再生するために必要な情報であるプレイリスト情報を生成するプレイリスト情報生成ステップと、上記第1ストリームデータにおいて最後尾のフレームの最後に表示されるフィールドがトップフィールドか、またはボトムフィールドであるか確認し、上記管理情報に含まれる上記フィールド位相情報を参照して、上記第1ストリームデータと上記第2ストリームデータとの隣接するフレーム同士のフィールドの位相が同じか否か判定する位相判定ステップと、上記プレイリスト情報生成ステップにおいて生成したプレイリスト情報を、上記第1ストリームデータおよび上記第2ストリームデータと対応付けて記録媒体に記録する記録ステップと、を含み、上記プレイリスト情報生成ステップでは、上記位相判定ステップにおける判定結果を上記プレイリスト情報に含めて作成することを特徴とする。 In order to solve the above-described problem, the recording / reproducing apparatus control method according to the present invention provides first stream data that is data generated by compressing information of an input moving image and stream data generated from another moving image. A method for controlling a recording / reproducing apparatus that continuously reproduces the second stream data in combination with the second stream data when the first stream data and the second stream data are respectively generated and recorded on a recording medium. A management information generating step for generating management information including field phase information for identifying whether a field of a frame displayed at the top of the first stream data and the second stream data is a top field or a bottom field; Based on the management information generated in the management information generation step, the first stream data is generated. A playlist information generation step for generating playlist information, which is information necessary for continuously reproducing data and the second stream data, and a field displayed at the end of the last frame in the first stream data. Confirming whether the field is a top field or a bottom field, and referring to the field phase information included in the management information, the phase of the field between adjacent frames of the first stream data and the second stream data is A phase determination step for determining whether or not they are the same, and a recording step for recording the playlist information generated in the playlist information generation step on a recording medium in association with the first stream data and the second stream data. In the playlist information generation step, The determination result in the phase determination step, characterized in that to create included in the playlist information.
本実施形態に係る記録再生装置1は、動画像を撮影し、撮影した動画像データを符号化して圧縮し光ディスク15に記録したり、該光ディスク15に記録されている動画像の符号化データを読み出して再生したりすることが可能な装置である。
The recording / reproducing
すなわち、図2に示すように、上記記録再生装置1は、画像変換装置(映像データ再生装置)2、表示装置3、撮影装置4、および記録・読取装置16を備えている。図2は、本実施の形態に係る記録再生装置1の要部構成の一例を示すブロック図である。
That is, as shown in FIG. 2, the recording / reproducing
撮影装置4は、被写体を撮影するものであり、被写体を撮影した動画像データはAV信号として画像変換装置2に入力される。なお、この被写体の動画像データは、フレームレートが24Hzで撮影されている。
The photographing
画像変換装置2は、撮影装置4から入力されたAV信号に基づき、動画像データの符号化を行い、入力されたAV信号に含まれる冗長な情報を取り除き、情報圧縮したデータ列(符号化データ)であるストリームデータを生成するものである。また、この画像変換装置2は、例えば光ディスク15から読み出されたストリームデータを表示装置3において表示可能なデータに変換するものでもある。この画像変換装置2の詳細な構成については後述する。
The
記録・読取装置16は、画像変換装置2によって情報圧縮されたストリームデータを光ディスク15に記録したり、光ディスク15に記録されているストリームデータを読み出したりするものである。記録・読取装置16は読取ったストリームデータを画像変換装置2に送信する。
The recording /
表示装置3は、画像変換装置2から送信されたデータに基づいて動画像を表示して再生するものである。表示装置3における画像の表示は飛び越し走査(インターレース)によって行われる構成となっている。
The
また、上記記録・読取装置16によってストリームデータが記録されたり、読み出されたりする光ディスク15は、ランダムアクセス可能である読み書き可能な記録媒体である。つまりこの光ディスク15としては、例えば、フレキシブルディスク/ハードディスク等の磁気ディスクやMO(Magneto Optical Disk)/MD(Mini Disc)/DVD(Digital Versatile Disk)/CD−R(CD Recordable)等の光ディスクであってもよい。また、光ディスク15の代わりに、ICカード/光カード等のカードなどの記録媒体であってもよい。
The
(画像変換装置2の構成)
上記画像変換装置2の構成について、図3を参照して説明する。図3は、本実施形態に係る画像変換装置2の要部構成の一例を示すブロック図である。
(Configuration of Image Conversion Device 2)
The configuration of the
図3に示すように画像変換装置2は、システムコントローラ11、ROM(Read Only Memory)(記録媒体)12、RAM(Random Access Memory)13、同期制御部14、再生用ストリームバッファ17、記録用ストリームバッファ26、システムデコーダ18、システムエンコーダ27、スイッチ19、データ解析部20、データ書換部(位相規則変更部)21、ビデオバッファ22、オーディオバッファ24、ビデオバッファ28、オーディオバッファ30、ビデオデコーダ23、オーディオデコーダ25、ビデオエンコーダ29、オーディオエンコーダ31、外部入力部32、およびバス33を備えた構成となっている。
As shown in FIG. 3, the
上記ビデオエンコーダ29は、撮影装置4から入力されたAV(映像)信号を、MPEG2方式によって圧縮符号化するものである。また、オーディオエンコーダ31は、入力されたAV(音声)信号を、例えばMPEG−1 Layer−II方式によって圧縮符号化するものである。
The
ビデオエンコーダ29は、映像の符号化データを、ビデオバッファ28を介してシステムエンコーダ27に送信し、また、オーディオエンコーダ31は、音声の符号化データを、オーディオバッファ30を介してシステムエンコーダ27に送信する。
The
なお、映像の符号化データおよび音声の符号化データがシステムエンコーダに27に送信される際に、上記映像の符号化データはビデオバッファ28で遅延が行われ、上記音声の符号化データは、オーディオバッファ30で遅延が行われ、双方のデータのタイミングが調整されシステムエンコーダ27に送信される。
Note that when the encoded video data and the encoded audio data are transmitted to the
システムエンコーダ27は、ビデオバッファ28、オーディオバッファ30それぞれを介して入力された、映像の符号化データと音声の符号化データとを再生時に同期が取れるように多重化するものである。
The system encoder 27 multiplexes the encoded video data and the encoded audio data, which are input via the
システムエンコーダ27は、多重化した映像および音声の符号化データであるストリームデータを、記録用ストリームバッファ26を介して記録・読取装置16に送る。
The system encoder 27 sends stream data, which is multiplexed video and audio encoded data, to the recording /
記録・読取装置16は、記録用ストリームバッファ26を介して入力されたストリームデータを、光ディスク15に記録したり、また光ディスク15に記録されているストリームデータを読出したりするものである。記録・読取部16は、光ディスク15から読み出したストリームデータを、再生用ストリームバッファ17を介してシステムデコーダ18に送る。なお、記録・読取装置16によるストリームデータの記録および読出しは、当該ストリームデータにおけるGOP(フレーム群)単位で行われる。
The recording /
システムデコーダ18は、ストリームデータを映像の符号化データと音声の符号化データとに多重分離するものである。このシステムデコーダ18は、映像の符号化データをGOP単位でスイッチ19に送信し、一方、音声の符号化データをGOP単位でオーディオバッファ24に送信する。
The
スイッチ19は、プレイリスト認識部47からの映像の符号化データのフレームのフィールドの位相の調整が必要であるか否かの判定に応じて、当該符号化データの送信先を切り換えるものである。スイッチ19は、上記符号化データが、フィールドの位相調整が必要な場合、この符号化データをデータ解析部20に送信する。また、映像の符号化データのフィールド位相の調整が不要な場合は、符号化データを、ビデオバッファ22を介してビデオデコーダ23に送信する。
The
なお、プレイリスト認識部47による符号化データのフィールドの位相調整の要否に関する判定については後述する。
The determination regarding whether or not the
ここで、上記フレームとは、動画像データの映像を構成する単位であって、1枚の映像が1フレームとなる。また、本実施の形態に係る記録再生装置1では、インターレースによって、表示装置3で画像を表示する構成となっているため、フレームを奇数ラインと偶数ラインとに分けている。上記フィールドとは、この奇数ラインか偶数ラインかに分けられたものであって、2フィールドで1フレームとなる。
Here, the frame is a unit constituting a video of moving image data, and one video is one frame. Further, since the recording / reproducing
なお、奇数ラインのフィールドがボトムフィールドであり、偶数ラインのフィールドがトップフィールドである。そして、このボトムフィールドとトップフィールドとは交互に表示されるため、トップフィールド、ボトムフィールドもしくはボトムフィールド、トップフィールドと循環し周期的に変化する、フィールドの位相が形成される。 An odd line field is a bottom field, and an even line field is a top field. Since the bottom field and the top field are displayed alternately, a phase of the field that circulates and periodically changes with the top field, the bottom field or the bottom field, and the top field is formed.
また、フィールドの位相のずれの調整とは、複数のストリームデータを連続再生する場合、異なるストリームデータ同士での接続部分のフィールドの位相のずれを調整することである。このフィールドの位相調整の処理についての詳細は後述する。 Further, the adjustment of the phase shift of the field is to adjust the phase shift of the field of the connection portion between different stream data when a plurality of stream data are continuously reproduced. Details of the phase adjustment processing of this field will be described later.
データ解析部20は、接続部70または接続部71の直前のストリームデータにおいて最後に再生されるGOPのフレームに関するMPEG2のピクチャ符号化機能拡張部(picture_coding_extension)を解析して、RFF(repeat_first_field)のフラグの値を特定するものである。
The
データ書換部21は、データ解析部20によって解析されたピクチャ符号化機能拡張部(picture_coding_extension)内のRFFのフラグが示す値を反転させるものである。なお、後述するが、データ書換部21がRFFのフラグの値を反転させることによってフィールドの位相のずれに対する補間を行うことができる。このデータ書換部21は、映像の符号化データのフィールドの位相の調整を行うと、この映像の符号化データのGOPをビデオバッファ22に出力する。
The
なお、ピクチャ符号化機能拡張部(picture_coding_extension)などの拡張部には、MPEG2を復号化するのに必要な様々な情報が記述されている。 It should be noted that various information necessary for decoding MPEG2 is described in an extension unit such as a picture encoding function extension unit (picture_coding_extension).
ビデオデコーダ23は、ビデオバッファ22を介して入力された映像の符号化データを、復号化し、AV(映像)信号を出力して表示装置3において表示可能とするものである。また、オーディオデコーダ25は、オーディオバッファ24を介して入力された音声の符号化データを複合化し、AV(音声)信号を出力して表示装置3において表示可能とするものである。
The
同期制御部14は、記録再生時に音声の符号化データと映像の符号化データとの同期を取るための制御を行うものである。この同期の制御は例えば、タイムスタンプによる同期制御方式によって実現できる。
The
すなわち、記録再生装置1において、ビデオエンコーダ29およびオーディオエンコーダ31には、基準となる時刻情報(システムタイムクロック:STC)の供給部(不図示)が備えられている。そして、映像およびオーディオの符号化データには、提示される情報単位ごとにSTCの値がタイムスタンプとして付可される。その後、これら符号化データがシステムエンコーダ27による多重化時に、STCの再生のための基準時刻が挿入される。また、システムデコーダ18においても、STCの供給部(付図示)が備えられており、多重ストリームに挿入された基準時刻の情報を再生し、符号化時の時刻と一致させる。各符号化データは、それぞれビデオバッファ22およびオーディオバッファ24において遅延が行われ、タイムスタンプがSTCと一致した時点でビデオデコーダ23およびオーディオデコーダ25で復号化される。
That is, in the recording / reproducing
システムコントローラ11は、ROM12および/またはRAM13を参照して、記録再生装置1における各装置に対する制御を行うものである。システムコントローラ11の構成については後述する。
The
外部入力部32は、画像変換装置2に対するユーザの指示を入力するためのものである。また、外部入力部32によって画像変換装置2を介して、記録・読取装置16に対して、光ディスク15に記録されているストリームデータの読取り指示を行ったりすることもできる。
The
また、バス33は、記録再生装置1における各種データや信号の入出力、またはシステムコントローラ11または、同期制御部14からの各装置に対する命令の受け渡しなど中継するものである。
The bus 33 relays input / output of various data and signals in the recording / reproducing
(システムコントローラ11の構成)
次に、システムコントローラ11の構成について図1を参照して説明する。図1は、システムコントローラ11の要部構成の一例を示すブロック図である。なお、図1において矢印線は、光ディスク15から読取られたストリームデータの流れを示している。
(Configuration of system controller 11)
Next, the configuration of the
システムコントローラ11は、図1に示すように、管理情報取得部40、プレイリスト送信部42、プレイリスト生成部41、位相ずれ判定部(位相判定手段)49、管理情報送信部43、管理情報生成部44、読取ファイル情報取得部45、読取ファイル判定部46、プレイリスト認識部47、ファイル読取指示部48からなる構成である。
As shown in FIG. 1, the
管理情報取得部40は、外部入力部32から入力された指示に応じて、記録・読取装置16に対して、光ディスク15に記録されているストリームデータの管理情報を取得するように指示を与えるものである。管理情報取得部40は、取得した管理情報をRAM13に記録するとともに、プレイリスト生成部41に管理情報を取得したことを示す信号を送信する。
The management
なお、管理情報とは、光ディスク15に記録されるストリームデータのGOP単位ごとに記録される情報であって、ストリームデータファイルの作成日時、ストリームデータの使用コーデック、ストリームデータの全再生時間長、GOP単位の再生時間長、GOP単位での光ディスク15における記録位置、GOP単位でのデータサイズなどからなる情報である。この管理情報には、後述するがGOPの先頭フレームの先頭表示フィールドがトップフィールドであるか、ボトムフィールドであるかを識別するフィールド位相情報も記録されている。
The management information is information recorded for each GOP unit of the stream data recorded on the
また、光ディスク15に記録された管理情報とストリームデータとの構成および関係については後述する。
The configuration and relationship between the management information recorded on the
プレイリスト生成部41は、管理情報取得部40から管理情報を取得したことを示す信号を受信すると、RAM13に記録されている管理情報を参照してプレイリストを作成するものである。プレイリスト生成部41は、さらに位相ずれ判定部49に連続再生するストリームデータ同士において位相のずれが生じるか否かを判定するように指示する(位相ずれ有無判定指示)。
When receiving a signal indicating that management information has been acquired from the management
プレイリスト生成部42は、作成したプレイリストに、位相ずれ判定部49に判定させた位相のずれの有無の情報を加えて、プレイリスト送信部41に渡す。
The
なお、プレイリストとは、連続再生されるストリームデータの各GOPに関して、複数のストリームデータを連続して再生可能とするために必要な情報が記録されている。 In the playlist, information necessary for continuously reproducing a plurality of stream data is recorded for each GOP of stream data to be continuously reproduced.
この複数のストリームデータを連続して再生可能とするために必要な情報とは、例えば、複数のストリームデータを構成する各GOPにおける連続再生時の再生時間、各GOPの記録位置、光ディスク15に記録されている連続再生の対象となっているストリームデータ(オリジナルデータ)との対応関係等である。
The information necessary to enable continuous reproduction of the plurality of stream data includes, for example, the reproduction time at the time of continuous reproduction in each GOP constituting the plurality of stream data, the recording position of each GOP, and recording on the
位相ずれ判定部49は、プレイリスト生成部41から送信された、位相ずれの有無の判定指示に応じて、RAM13に一時記憶されている管理情報に含まれるGOPの先頭フレームの先頭表示フィールドのフィールド位相情報と、接続部の直前のストリームデータのGOPの最後のフィールドのフィールド位相情報とを参照して位相ずれの有無が生じるか否かを判定するものである。位相ずれ判定部49はこの判定結果をプレイリスト生成部41に送信する。
The phase
プレイリスト送信部42は、プレイリスト生成部41から受信したプレイリストを光ディスク15に記録するように記録・読取装置16に指示を与えるものである。
The
管理情報生成部44は、システムエンコーダ27で映像および音声の符号化データが多重化されストリームデータを生成される際に、当該ストリームデータを構成する各GOPごとに、ストリームデータファイルの作成日時、ストリームデータの使用コーデック、ストリームデータの全再生時間長、GOP単位の再生時間長、GOP単位での光ディスク15における記録位置、GOP単位でのデータサイズなどの情報をシステムエンコーダから取得し、管理情報を生成するものである。管理情報生成部44は、生成した管理情報を管理情報送信部43に送信する。なお、管理情報生成部44は、各GOPの先頭のフィールド表示(トップフィールドまたはボトムフィールド)に関するフィールド位相情報も管理情報に記録する。
When the
管理情報送信部43は、管理情報生成部44から受信した管理情報を、当該管理情報のソースであるストリームデータと対応付けて光ディスク15に記録するように記録・読取装置16に対して指示を与えるものである。この指示を受けて、記録・読取装置16が光ディスク15に管理情報をストリームデータと対応づけてファイル形式で記録する。
The management
ファイル読取指示部48は、外部入力部32から入力されたファイルの読取指示に応じて、指示されたファイルを読取るように記録・読取装置16に指示を与えるものである。
The file
読取ファイル情報取得部45は、ファイル読取指示部48からの指示に応じて、光ディスク15から記録・読取装置16が読取ったファイルに関する情報を取得するものである。読取ファイル情報取得部45は取得したファイルに関する情報を読取ファイル判定部46に送信する。
The read file
読取ファイル判定部46は、読取ファイル情報取得部45から受信したファイルに関する情報に基づいて、再生する対象のファイルがストリームデータであるのかプレイリストであるのかを判定するものである。
The read
この判定の結果、再生するファイルがストリームデータである場合は、再生するファイルがストリームデータであるという情報をファイル読取指示部48に送信する。一方、この判定の結果、再生するファイルがプレイリストである場合は、プレイリストの情報をプレイリスト認識部47に送信する。
As a result of this determination, if the file to be reproduced is stream data, information indicating that the file to be reproduced is stream data is transmitted to the file
プレイリスト認識部47は、プレイリストの情報から連続して再生される複数のストリームデータに関する各GOPの情報を確認するものである。プレイリスト認識部47は、さらに、連続して再生するストリームデータ同士の接続部にフィールドの位相のずれが生じるか否かも確認する。そして、フィールドの位相のずれが生じる場合は、スイッチ19に、接続部の直前のGOPの符号化データをデータ解析部20に送信させるように、データの送信経路の切り換えを指示する。さらに、プレイリストの情報に基づいて、連続再生するストリームデータを再生する順に読取るようにファイル読取指示部48に指示を出す。
The
フィールドの位相のずれが生じない場合、プレイリスト認識部47は、スイッチ19に対しては何も指示をださず、ファイル読取指示部48に対してのみ、プレイリストの情報に基づいて、連続再生するストリームデータを再生する順に読取るように指示を出す。
When the phase of the field does not shift, the
ここで、以上のような構成のシステムコントローラ11に関して、各機能ブロックを実現する構成について説明する。
Here, the structure which implement | achieves each functional block is demonstrated regarding the
システムコントローラ11内に各機能ブロックが設けられているが、これらの機能ブロックは、例えばCPU(Central Processing Unit)などの演算手段がROM12やRAM13などの記録媒体に格納されたプログラムコードを実行することによって実現することができる。また、記録再生制御部2の各機能ブロックを実現させるプログラムが格納されるROM12などの不揮発性記憶媒体によって実現可能である。
Each functional block is provided in the
なお、上記では、各機能ブロックが「CPUなどの演算手段がROM12やRAM13などの記録媒体に格納されたプログラムコードを実行することで実現される」場合を例にして説明したが、同様の処理を行うハードウェアで実現してもよい。また、処理の一部を行うハードウェアと、当該ハードウェアの制御や残余の処理を行うプログラムコードを実行する上記演算手段とを組み合わせても実現することもできる。
In the above description, each functional block has been described as an example of the case where “the arithmetic means such as the CPU executes by executing the program code stored in the recording medium such as the
さらに、上記各部材のうち、ハードウェアとして説明した部材であっても、処理の一部を行うハードウェアと、当該ハードウェアの制御や残余の処理を行うプログラムコードを実行する上記演算手段とを組み合わせても実現することもできる。なお、上記演算手段は、単体であってもよいし、装置内部のバスや種々の通信路を介して接続された複数の演算手段が共同してプログラムコードを実行してもよい。 Further, even among the members described above as hardware, the hardware for performing a part of the processing and the arithmetic means for executing the program code for performing the control of the hardware and the remaining processing It can also be realized by combining them. The arithmetic means may be a single unit, or a plurality of arithmetic means connected via a bus inside the apparatus or various communication paths may execute the program code jointly.
上記演算手段によって直接実行可能なプログラムコード自体、または、後述する解凍などの処理によってプログラムコードを生成可能なデータとしてのプログラムは、当該プログラム(プログラムコードまたは上記データ)を記録媒体に格納し、当該記録媒体を配付したり、あるいは、上記プログラムを、有線または無線の通信路を介して伝送するための通信手段で送信したりして配付され、上記演算手段で実行される。 The program code itself that can be directly executed by the computing means, or a program as data that can be generated by a process such as decompression described later, stores the program (program code or the data) in a recording medium, A recording medium is distributed, or the program is distributed by being transmitted by a communication means for transmitting via a wired or wireless communication path, and is executed by the arithmetic means.
なお、通信路を介して伝送する場合、通信路を構成する各伝送媒体が、プログラムを示す信号列を伝搬し合うことによって、当該通信路を介して、上記プログラムが伝送される。また、信号列を伝送する際、送信装置が、プログラムを示す信号列により搬送波を変調することによって、上記信号列を搬送波に重畳してもよい。この場合、搬送波の受信側において搬送波を復調することによって信号列が復元される。 In addition, when transmitting via a communication path, each transmission medium which comprises a communication path propagates the signal sequence which shows a program, and the said program is transmitted via the said communication path. Further, when transmitting the signal sequence, the transmission device may superimpose the signal sequence on the carrier by modulating the carrier with the signal sequence indicating the program. In this case, the signal sequence is restored by demodulating the carrier wave on the receiving side of the carrier wave.
一方、上記信号列を伝送する際、送信側の装置において、デジタルデータ列としての信号列をパケット分割して伝送してもよい。この場合、受信側の装置は、受信したパケット群を連結して、上記信号列を復元する。また、送信側が、信号列を送信する際、時分割/周波数分割/符号分割などの方法で、信号列を他の信号列と多重化して伝送してもよい。この場合、受信側の装置は、多重化された信号列から、個々の信号列を抽出して復元する。いずれの場合であっても、通信路を介してプログラムを伝送できれば、同様の効果が得られる。 On the other hand, when transmitting the signal sequence, the signal sequence as a digital data sequence may be divided into packets and transmitted in the transmission side apparatus. In this case, the receiving device concatenates the received packet groups to restore the signal sequence. Further, when transmitting a signal sequence, the transmission side may multiplex and transmit the signal sequence with another signal sequence by a method such as time division / frequency division / code division. In this case, the receiving apparatus extracts and restores individual signal sequences from the multiplexed signal sequence. In any case, the same effect can be obtained if the program can be transmitted via the communication path.
ここで、プログラムを配付する際の記録媒体は、取外し可能である方が好ましいが、プログラムを配付した後の記録媒体は、取外し可能か否かを問わない。また、上記記録媒体は、プログラムが記憶されていれば、書換え(書き込み)可能か否か、揮発性か否か、記録方法および形状を問わない。記録媒体の一例として、磁気テープやカセットテープなどのテープ、あるいは、フロッピー(登録商標)ディスクやハードディスクなどの磁気ディスク、または、CD−ROMや光磁気ディスク(MO)、ミニディスク(MD)やデジタルバーサタイルディスク(DVD)などのディスクが挙げられる。 Here, it is preferable that the recording medium for distributing the program is removable, but it does not matter whether the recording medium after distributing the program is removable. In addition, the recording medium may be rewritten (writeable), volatile, or the recording method and shape as long as a program is stored. Examples of recording media include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks and hard disks, CD-ROMs, magneto-optical disks (MO), mini-discs (MD) and digital A disk such as a versatile disk (DVD) can be mentioned.
また、記録媒体は、ICカードや光カードのようなカード、あるいは、マスクROMやEPROM、EEPROMまたはフラッシュROMなどのような半導体メモリであってもよい。あるいは、CPUなどの演算手段内に形成されたメモリであってもよい。 The recording medium may be a card such as an IC card or an optical card, or a semiconductor memory such as a mask ROM, EPROM, EEPROM, or flash ROM. Or the memory formed in calculating means, such as CPU, may be sufficient.
なお、上記プログラムコードは、上記各処理の全手順を上記演算手段へ指示するコードであってもよいし、所定の手順で呼び出すことで、上記各処理の一部または全部を実行可能な基本プログラム(例えば、オペレーティングシステムやライブラリなど)が既に存在していれば、当該基本プログラムの呼び出しを上記演算手段へ指示するコードやポインタなどで、上記全手順の一部または全部を置き換えてもよい。 The program code may be a code for instructing the arithmetic means of all the procedures of the processes, or a basic program capable of executing a part or all of the processes by calling according to a predetermined procedure. If (for example, an operating system or a library) already exists, a part or all of the entire procedure may be replaced with a code or a pointer that instructs the arithmetic means to call the basic program.
また、上記記録媒体にプログラムを格納する際の形式は、例えば、実メモリに配置した状態のように、演算手段がアクセスして実行可能な格納形式であってもよいし、実メモリに配置する前で、演算手段が常時アクセス可能なローカルな記録媒体(例えば、実メモリやハードディスクなど)にインストールした後の格納形式、あるいは、ネットワークや搬送可能な記録媒体などから上記ローカルな記録媒体にインストールする前の格納形式などであってもよい。 The format for storing the program in the recording medium may be a storage format that can be accessed and executed by the arithmetic means, for example, as in a state where the program is stored in the real memory, or is stored in the real memory. Installed in the local recording medium from the storage format after being installed in a local recording medium (for example, real memory or hard disk) that is always accessible by the computing means, or from a network or a transportable recording medium The previous storage format may be used.
また、プログラムは、コンパイル後のオブジェクトコードに限るものではなく、ソースコードや、インタプリトまたはコンパイルの途中で生成される中間コードとして格納されていてもよい。いずれの場合であっても、圧縮された情報の解凍、符号化された情報の復号、インタプリト、コンパイル、リンク、または、実メモリへの配置などの処理、あるいは、各処理の組み合わせによって、上記演算手段が実行可能な形式に変換可能であれば、プログラムを記録媒体に格納する際の形式に拘わらず、同様の効果を得ることができる。 Further, the program is not limited to the compiled object code, but may be stored as source code or intermediate code generated during interpretation or compilation. In any case, the above calculation is performed by a process such as decompression of compressed information, decoding of encoded information, interpretation, compilation, linking, allocation to real memory, or a combination of processes. If the means can be converted into an executable format, the same effect can be obtained regardless of the format in which the program is stored in the recording medium.
(光ディスク15に記録されるデータ)
本実施の形態に係る記録再生装置1では、記録・読取装置16によって、ストリームデータとともに管理情報が光ディスク15にファイル形式で記録されるように構成されている。
(Data recorded on the optical disk 15)
In the recording / reproducing
まず、管理情報について説明する。 First, management information will be described.
管理情報とは、上記したように、ストリームデータファイルの作成日時、ストリームデータの使用コーデック、ストリームデータの全再生時間長、GOP単位の再生時間長、GOP単位での光ディスク15における記録位置、GOP単位でのデータサイズなどからなる情報である。この管理情報にはさらに、図6に示すように、GOPの先頭フレームの先頭表示フィールドがトップフィールドであるか、ボトムフィールドであるかを識別するフィールド位相情報を記録するように構成されている。なお、図6は、ストリームデータの各GOPと、当該GOPにおける先頭フレームの表示フィールドの位相情報との対応関係を示す図である。
As described above, the management information includes the creation date and time of the stream data file, the codec used for the stream data, the total playback time length of the stream data, the playback time length in GOP units, the recording position on the
例えば、先頭表示フィールドがトップフィールドの場合はフィールド位相情報(TOP/BOT)に「1」を記録し、ボトムフィールドの場合は「0」を記録することでこの情報の管理は実現できる。 For example, this information can be managed by recording “1” in the field phase information (TOP / BOT) when the top display field is the top field and recording “0” when the top field is the bottom field.
なお、トップフィールドとは、例えば、480ラインの画面を0〜479で数えた場合に、先頭行(トップライン)である0ラインを含むフィールドのことである。 Note that the top field is a field including, for example, 0 line which is the top line (top line) when a screen of 480 lines is counted from 0 to 479.
また、ボトムフィールドとは、最終行(ボトムライン)である479ラインを含むフィールドである。 The bottom field is a field including 479 lines that are the last line (bottom line).
ここで、光ディスク15に記録された管理情報のファイルとストリームデータのファイルについて図4(a)〜図4(b)、および図5(a)〜図5(c)を参照して説明する。図4は、管理情報とストリームデータとの記録形態の一例を示す図であって、図4(a)は、管理情報とストリーミングデータが同一ファイルとして記録される一例を示す図である。また、図4(b)は、管理情報とストリームデータとが別ファイルで記録される一例を示す図である。
Here, the management information file and the stream data file recorded on the
また、図5は、本実施の形態の係るストリーミングデータのデータ構造の一例を示す図である。図5(a)は、本実施の形態に係るストリーミングデータのGOP単位でのデータ構造の一例を示す図である。また、図5(b)は、各GOPにおけるデータ構造の一例を示す図である。図5(c)は、各パックにおけるデータ構造の一例を示す図である。 FIG. 5 is a diagram illustrating an example of a data structure of streaming data according to the present embodiment. FIG. 5A is a diagram illustrating an example of a data structure in GOP units of streaming data according to the present embodiment. FIG. 5B is a diagram illustrating an example of a data structure in each GOP. FIG. 5C shows an example of the data structure in each pack.
上記管理情報は、図4(a)に示すように、ヘッダとしてAVデータに付加されて1ファイルとして記録されていてもよく、また、図4(b)に示すように、管理情報がストリームデータと参照できる関係に対応付けられている別々のファイルで、管理情報とストリーミングデータとが光ディスク15に記録されていてもよい。
The management information may be added to the AV data as a header and recorded as one file as shown in FIG. 4A, and the management information is stream data as shown in FIG. 4B. Management information and streaming data may be recorded on the
なお、本実施の形態に係る画像変換装置2では、管理情報とストリーミングデータとは、図4(b)に示すように、別々のファイルで光ディスク15に記録されるように設定されている。
In the
次にストリームデータの内部のデータ構造について図5(a)〜図5(c)を参照して説明する。 Next, the internal data structure of the stream data will be described with reference to FIGS. 5 (a) to 5 (c).
図5(a)に示すように、本実施の形態においてストリームデータは、複数のGOP(Group Of Picture)から構成されている。なお、GOPとは、ランダムアクセスを可能とするために、画面内だけで閉じた情報による符号化画面(フレーム内符号化フレーム(intra-coded picture:I−ピクチャ))を定期的に挿入し、このフレーム内符号化画面が少なくとも1枚入った画面群構造をもつものである。 As shown in FIG. 5A, in the present embodiment, stream data is composed of a plurality of GOPs (Group Of Pictures). In addition, in order to enable random access, the GOP periodically inserts a coded screen (intra-coded picture (I-picture)) based on information closed only within the screen, This intra-frame encoded screen has a screen group structure containing at least one frame.
つまり、GOPは、複数のフレームから構成され、上記したI−ピクチャ以外に、フレーム間符号化フレーム(predictive-coded picture:P−ピクチャ)、フレーム内挿符号化フレーム(bidirectionally predictive-coded picture:B−ピクチャ)が含まれていてもよい。 That is, the GOP is composed of a plurality of frames. In addition to the above-described I-picture, the GOP includes an inter-frame encoded frame (predictive-coded picture: P-picture) and a frame-interpolated encoded frame (bidirectionally predictive-coded picture: B). -Picture) may be included.
そして、上記各GOPは、図5(b)に示すように、複数のビデオパックとオーディオパックから構成される。さらに各パックは、図5(c)に示すように、パックヘッダ、パケッタイズドエレメンタリーストリーム(PES)パケットヘッダに続きエレメンタリーストリーム(ES)データが格納されている構造である。 Each GOP is composed of a plurality of video packs and audio packs as shown in FIG. Further, each pack has a structure in which elementary stream (ES) data is stored following a pack header and a packetized elementary stream (PES) packet header, as shown in FIG.
なお、MPEG−2のリピートファーストフィールド(Repeat First Field:RFF)フラグやトップフィールドファースト(Top field first:TFF)フラグなどは、ESデータ内の各ピクチャデータの先頭に必ず存在するピクチャヘッダ(Picture Header)に続くピクチャ符号化機能拡張部(Picture Coding Extension)内に含まれる。 Note that the MPEG-2 repeat first field (RFF) flag, top field first (TFF) flag, and the like are always present at the beginning of each picture data in the ES data (Picture Header). ) Following a picture coding function extension (Picture Coding Extension).
(プレイリスト作成処理)
次に、光ディスク15に記録されている複数のストリームデータを連続して表示装置3に再生するためのプレイリストの作成処理について図7〜図10を参照して説明する。図7は、複数のストリームデータA,B,Cから作成されるストリームデータDと、各ストリームデータA,B,Cとの対応関係を示す図である。
(Playlist creation process)
Next, playlist creation processing for continuously reproducing a plurality of stream data recorded on the
また、図8は、各ストリームデータA,B,Cの管理情報それぞれからプレイリストが作成される一例を示す図である。図9は、接続部70・71におけるフィールド位相のずれの有無を示す情報(フィールド位相ずれ情報)を作成する処理を示すフローチャートである。
FIG. 8 is a diagram showing an example in which a playlist is created from the management information of each stream data A, B, and C. FIG. 9 is a flowchart showing a process of creating information (field phase shift information) indicating the presence / absence of a field phase shift in the
図10は、接続部70・71と、この接続部70・71のストリームデータDにおける再生時間と、接続部70・71の直前の再生区間A・Bの最後に再生されるGOPの記録位置との対応関係を示すテーブルの一例を示す図である。
FIG. 10 shows the
ここで、図7に示すように、ストリームデータA、ストリームデータB、ストリームデータCを連続して再生させるためのプレイリストを作成する場合を例にあげて説明する。すなわち、光ディスク15には、予めストリームデータA、ストリームデータB、およびストリームデータCが記録されている。そして、各ストリームデータA〜Cそれぞれからその一部を部分的に抜き出して生成されるストリームデータDを連続的に再生させるためのプレイリストを作成するものとする。なお、ストリームデータDは、ストリームデータAの抜き出された区間(再生区間A)、ストリームデータBの抜き出された区間(再生区間B)、ストリームデータCの抜き出された区間(再生区間C)の順に、表示装置3において表示(再生)されるデータである。
Here, as shown in FIG. 7, a case where a playlist for continuously reproducing stream data A, stream data B, and stream data C is created will be described as an example. That is, stream data A, stream data B, and stream data C are recorded on the
なお、各再生区間A〜Cは、ユーザによって外部入力部32を介して指示されることによって決定された区間である。ユーザによるこの区間の決定は、本実施の形態に係る記録再生装置1において、例えば、予めストリームデータA〜Cのそれぞれの映像が表示装置3で表示され、ユーザはその表示結果に基づいて再生区間A〜Cを決定する構成であってもよい。あるいは、予め再生区間A〜Cを特定する再生時間が分かっている場合は、その再生時間を外部入力部32によって入力することで再生区間A〜Cが決定される構成であってもよい。また、予め再生区間A〜Cが記録再生装置1において設定されており、自動的に再生区間A〜Cが決められている構成であってもよい。ただし、ストリームデータA〜Cの部分的な抜きだしは、記録・読取装置16がストリームデータに対してランダムアクセス可能なGOP単位で行われる。
Note that each of the playback sections A to C is a section determined by an instruction from the user via the
また、プレイリストは、図8に示すように、ストリームデータAに対応付けられている管理情報ファイルA、ストリームデータBに対応付けられている管理情報ファイルB、およびストリームデータCに対応付けられている管理情報ファイルCそれぞれを参照することで作成される。なお、プレイリストの作成では、実際のストリームデータA〜Cが書き換えられたり、物理的に移動させられたりすることはない。 Further, as shown in FIG. 8, the playlist is associated with the management information file A associated with the stream data A, the management information file B associated with the stream data B, and the stream data C. It is created by referring to each management information file C. Note that in the creation of the playlist, the actual stream data A to C are not rewritten or physically moved.
すなわち、プレイリストは、ストリームデータDの再生に必要なそれぞれの区間(再生区間A〜C)のGOP単位の再生時間長や記録位置、データサイズなどの管理情報がそれぞれストリームデータA、ストリームデータB、およびストリームデータCに対応する管理情報A〜Cからコピーされることで作成される。 That is, in the playlist, management information such as a reproduction time length, a recording position, and a data size in GOP units of each section (reproduction sections A to C) necessary for reproduction of the stream data D is stream data A and stream data B, respectively. , And management information A to C corresponding to the stream data C.
また、図7に示すようにストリームデータAから抜き出された区間(再生区間A)とストリームBから抜き出された区間(再生区間B)との間には接続部70が、またストリームBから抜き出された区間(再生区間B)とストリームCから抜き出された区間(再生区間C)との間には接続部71が生じる。
In addition, as shown in FIG. 7, a
これら接続部70および接続部71において、再生区間A〜Cそれぞれを例えば2:3プルダウン変換を行いフィールド表示すると、フィールドの位相のずれが生じる場合がある。そこで、上記接続部70において再生区間Aと再生区間Bとの間におけるフィールドの位相のずれの有無について、あるいは接続部71において再生区間Bと再生区間Cとの間におけるフィールドの位相のずれの有無についての情報もプレイリストに記録される。
In the
すなわち、図10に示すように接続部70および接続部71と、その接続部70および接続部71のストリームデータDにおける再生時間(time)と、接続部70および接続部71の直前の再生区間Aおよび再生区間Bそれぞれの最後に再生されるGOPの記録位置との対応関係を示すテーブル情報(接続状態テーブル)がプレイリストに記録される。
That is, as shown in FIG. 10, the
なお、この接続状態テーブルにおいて、接続部でフィールドの位相ずれが生じる場合は、フィールド位相ずれの有無の項目を「0」から「1」に書き換えることで識別される。 In this connection state table, when a phase shift of the field occurs at the connection portion, it is identified by rewriting the item of presence / absence of the field phase shift from “0” to “1”.
また、接続部70および接続部71における、フィールドの位相のずれの有無を示す情報は、ストリームデータA〜Cの管理情報に付されている図6に示すフィールド位相情報を利用して作成される。なお、この接続部70および接続部71においてフィールドの位相のずれの有無に関する情報の作成処理については後述する。
Also, information indicating the presence / absence of a field phase shift in the
ここで、記録録画装置1におけるプレイリストの作成処理についてより具体的に説明する。
Here, the playlist creation processing in the recording /
まず、外部入力部32によってユーザがプレイリストの作成指示をシステムコントローラ11に送信する。すなわち、外部入力部32は、ストリームデータA〜Cそれぞれからの再生区間A〜Cの指定とともに、プレイリストの作成指示をシステムコントローラ11の管理情報取得部40に送信する。
First, the user transmits a playlist creation instruction to the
管理情報取得部40は、外部入力部32から再生区間A〜Cの指定およびプレイリスト作成指示を受信すると、まず、記録・読取装置16に対してストリームデータA〜Cに対応する管理情報A〜Cから、それぞれ再生区間A〜Cの部分の管理情報A´〜C´それぞれを読取るように指示を出す。なお、この管理情報取得部40からの管理情報A´〜C´の読取指示では、再生区間A〜Cが再生される順番に読取るように指示が出される構成であってもよいし、管理情報A´〜C´を適当な順で読取ってから再生される順番にプレイリスト作成時に管理されるように、システムコントローラ11において設定されている構成であってもよい。また、後述するが、管理情報取得部40は、記録・読取装置16に対して、管理情報A´〜C´の読取り指示を行う際に、ストリームデータA〜Cにおいて再生区間A〜Cの最後に再生されるGOPの次に再生されるべきGOPに関する管理情報も読取るように指示を出す。
When the management
記録・読取装置16は、管理情報取得部40からの指示に応じて、管理情報Aから再生区間Aに対応する管理情報A´を、管理情報Bから再生区間Bに対応する管理情報B´を、管理情報Cから再生区間Cに対応する管理情報C´をそれぞれ光ディスク15から読取る。そして、記録・読取装置16は、読取った管理情報A´〜C´それぞれを管理情報取得部40に渡す。
In response to an instruction from the management
管理情報取得部40は、記録・読取装置16によって読取られた管理情報A´〜C´をRAM13に一時記憶するとともに、プレイリスト生成部41にプレイリストの生成指示をする。
The management
プレイリスト生成部41は、管理情報取得部40からの指示に応じて、RAM13に記録されている管理情報A´〜C´を、ストリームデータDを再生するためのプレイリストとして編集する。その一方で、プレイリスト生成部41は、位相ずれ判定部49に接続部70および接続部71においてフレームの位相のずれが生じるか否かの判定を行うように指示する。
The
この指示に応じて、位相ずれ判定部49は、接続部70および接続部71において位相のずれが生じるか否かの判定処理を行う。この判定処理に関する詳細は後述する。
In response to this instruction, the phase
位相ずれ判定部49は、接続部70および接続部71における、フィールドの位相のずれが生じるか否かについての判定結果をプレイリスト生成部41に渡す。
The phase
プレイリスト生成部41は、管理情報A´〜C´を編集して作成したプレイリストに、位相ずれ判定部49から受信した判定結果を記録してプレイリスト送信部42に送信する。なお、このフィールドの位相のずれが生じるか否かについての判定結果は、図10に示すように接続部70および接続部71と、その接続部70および接続部71のストリームデータDにおける再生時間(time)と、接続部70および接続部71の直前の再生区間Aおよび再生区間Bそれぞれの最後に再生されるGOPの記録位置との対応関係を示すテーブル情報としてプレイリストに記録される。
The
プレイリスト送信部42は、プレイリスト生成部41から作成されたプレイリストを受信すると、このプレイリストを記録・読取装置16に送信するとともに、再生区間A〜Cと対応付けて当該プレイリストを光ディスク15に記録するように指示を出す。
When the
記録・読取装置16は、プレイリスト送信部42からの指示に応じて、このプレイリストを光ディスク15にファイル形式で記録する。
The recording /
以上のようにしてプレイリストは、再生区間A〜Cに対応する管理情報A´〜C´を用いて作成され光ディスク15に記録される。
As described above, the playlist is created using the management information A ′ to C ′ corresponding to the playback sections A to C and recorded on the
ところで、上記したようにこのプレイリストには、接続部70・71における位相のずれの有無に示す情報が含まれている。ここで接続部70における位相のずれの有無を示す情報の作成を例に挙げ、図9を参照して説明する。図9は、接続部70におけるフィールド位相のずれの有無を示す情報(フィールド位相ずれ情報)を作成する処理を示すフローチャートである。
By the way, as described above, this playlist includes information indicating whether or not there is a phase shift in the
まず、プレイリスト作成時において、前ストリームデータ(再生区間A)の接続部70の管理情報、すなわち、接続部70の直前に再生されるストリームデータ(再生区間A)の最後に再生するGOPの管理情報を読み込む(ステップS1、以下S1のように称する)。より詳細には、管理情報取得部40が、記録・読取装置16に対して、再生区間Aの最後に再生するGOPに関する管理情報を含む管理情報A´を読取るように指示を出す。
First, when creating a playlist, management information of the
また、再生区間Aの最後に再生するGOPに関する管理情報を含む管理情報A´の読取り指示を行う一方、管理情報取得部40は、ストリームデータAにおいて再生区間Aの最後に再生するGOPの次に再生されるべきGOP(位相判定基準GOP)に関する管理情報も読取るように記録・読取装置16に指示を出す。
In addition, the management
そして、この指示を受けて記録・読取装置16は、光ディスク15から管理情報A´とともに位相判定基準GOPに関する管理情報を読取り、管理情報取得部40に渡す。そして、管理情報取得部40は、記録・読取装置16から受信した管理情報A´とともに位相判定基準GOPの管理情報をRAM13に一時記憶する。
Upon receiving this instruction, the recording /
なお、この接続部70の位相判定基準GOPに関する管理情報は、管理情報A´から再生区間Aの再生時間を割り出すことによって特定され、管理情報Aから取得できる。すなわち、位相判定GOPは、ストリームデータAにおいて再生区間Aの再生時間の次に再生時間がくるGOPである。
Note that the management information regarding the phase determination reference GOP of the
次に、位相ずれ判定部49が、接続部70の直前に再生される再生区間Aの最後のフィールドの位相を調べる(S2)。
Next, the phase
つまり、位相ずれ判定部49は、上記したようにプレイリスト生成部41からの接続部70における位相のずれの有無の判定指示に応じて、RAM13に一時記憶されている管理情報A´および位相判定GOPの管理情報に基づいて、再生区間Aにおいて最後に再生されるGOPの最後に表示されるフィールドがトップフィールドであるのかボトムフィールドであるのかを判定する。
That is, the phase
すなわち、位相ずれ判定部49は、接続部70における位相判定基準GOPを参照し、このGOPの最初のフィールド表示を確認した結果、トップフィールドである場合は、再生区間Aにおいて最後に再生されるGOPの最後のフィールド表示はボトムフィールドであり、逆にボトムフィールドである場合は、再生区間Aにおいて最後に再生されるGOPの最後のフィールド表示はトップフィールドであると確認できる。
That is, the phase
次に、位相ずれ判定部49は、RAM13に記憶されている管理情報B´から接続部70において次に再生されるストリームデータ(再生区間B)の最初に再生されるGOPの管理情報を読み込む(S3)。
Next, the phase
そして位相ずれ判定部49は、読取った管理情報に基づいて接続部70に続いて再生されるストリームデータ(再生区間B)の最初に表示されるフィールド位相を調べる(S4)。すなわち、上記最初に表示されるフィールドを調べることで再生区間Bのフィールド位相が分かる。
Then, the phase
つまり、位相ずれ判定部41は、RAM13に一時記憶されている再生区間Bの管理情報B´に記録されているフィールド位相情報に基づき、再生区間Bの最初に再生されるGOPの最初に表示されるフィールドがトップフィールドか、あるいはボトムフィールドかを調べる。
That is, the phase
このようにして、接続部70の前に再生されるGOP(再生区間Aの最後に再生されるGOP)の最後に表示されるフィールドと、接続部70の次に続いて再生されるGOP(再生区間Bの最初に再生されるGOP)の最初に表示されるフィールドとがトップフィールドであるのかまたはボトムフィールドであるのかについての情報が得られる。 In this way, the field displayed at the end of the GOP reproduced before the connection unit 70 (GOP reproduced at the end of the reproduction section A) and the GOP reproduced after the connection unit 70 (reproduction) Information about whether the first displayed field of the GOP that is reproduced first in the section B is the top field or the bottom field is obtained.
次に、位相ずれ判定部49は、それぞれの接続部70において位相のずれが生じるか否かを判定する(S5)。
Next, the phase
すなわち、接続部70それぞれについて得られた、接続部70の直前に再生されるGOPの最後に表示されるフィールドと、接続部70の直後に再生されるGOPの最初に表示されるフィールドとを比較する。そしてこの比較の結果、両者がともにトップフィールドである場合、またはボトムフィールドである場合は、接続部70においてフィールドの位相のずれが生じると判定する(S5において「Yes」)。
That is, the field displayed at the end of the GOP reproduced immediately before the
また、この比較の結果、一方がトップフィールドであり他方がボトムフィールドである場合は、位相ずれ判定部49は、接続部70においてフィールドの位相のずれが生じないと判定する(S5において「No」)。そして、位相ずれ判定部49はこの位相ずれに関する判定結果をプレイリスト生成部41に送信する。
As a result of this comparison, when one is the top field and the other is the bottom field, the phase
ステップS5において「No」の場合は、プレイリスト生成部41は管理情報A´〜C´から作成したプレイリストに、図10に示す接続状態テーブルのフィールド位相のずれの有無の項目を「0」のままで記録した情報を加える。
In the case of “No” in step S5, the
一方、ステップS5において「Yes」の場合は、プレイリスト生成部41は、フィールド位相のずれが生じることを示す識別情報として、図10に示す接続状態テーブルのフィールド位相のずれの有無の項目を「0」からフラグ「1」に書き換えて記録し、管理情報A´〜C´から作成したプレイリストに付加する(S6)。
On the other hand, in the case of “Yes” in step S5, the
すなわち、図10に示すようにプレイリスト生成部40は、この識別情報と、接続部70・71の再生時間と、接続部70・71それぞれの前に再生される再生区間の最後に表示されるGOPの記録位置の情報とを、接続部70・71それぞれに対応付けてプレイリスト内に記録する。そして、プレイリスト生成部40は、プレイリストの作成が完了する(終了)。
That is, as shown in FIG. 10, the
なお、接続部71に関しても上記したフィールド位相ずれ情報を作成する処理と同様にしてフィールドの位相のずれの有無を確認できるため説明は省略する。
Since the
(プレイリストを用いたストリームデータの再生処理)
次に、図11、を参照して上記したプレイリストを用いて、ストリームデータDを再生する処理について説明する。図11は、ストリームデータDの再生処理の一例を示すフローチャートである。
(Stream data playback processing using playlists)
Next, processing for reproducing the stream data D using the above-described playlist will be described with reference to FIG. FIG. 11 is a flowchart illustrating an example of the reproduction process of the stream data D.
まず、ユーザによって外部入力部32からストリームデータの再生が指示されると、システムコントローラ11は、ROM12およびまたはRAM13を参照して、記録・読取装置16に再生対象となるストリームデータのファイル(再生対象ファイル)の読取りを指示する。
First, when reproduction of stream data is instructed by the user from the
すなわち、システムコントローラ11のファイル読取指示部48が、外部入力部32からのユーザの指示に応じて、まず再生対象ファイルに関する情報を記録・読取装置16に光ディスク15から読取るように指示を出す。
That is, the file
この再生対象ファイルに関する情報とは、再生対象ファイルがストリームデータのファイルであるのか、あるいは複数のストリームデータを連続再生するために作成されたプレイリストのファイルであるのかを識別する情報である。 The information related to the reproduction target file is information for identifying whether the reproduction target file is a stream data file or a playlist file created to continuously reproduce a plurality of stream data.
なお、この情報は、再生対象ファイルがストリームデータのファイルである場合には、ストリームデータに対応する管理情報ファイルに記述されている。したがって、記録・読取装置16は、再生対象ファイルがストリームデータである場合は、ストリームデータに対応する管理情報ファイルを読取り、プレイリストの場合はプレイリストのファイルを読取ることとなる。
This information is described in the management information file corresponding to the stream data when the reproduction target file is a stream data file. Therefore, the recording /
このファイル読取指示部48からの指示に応じて、記録・読取装置16は、光ディスク15から再生対象ファイルに関する情報を読取る。記録・読取装置16は、読取った再生対象ファイルに関する情報を読取りファイル情報取得部45に送信する。そして、読取ファイル情報取得部45は、再生対象ファイルに関する情報を取得すると、取得したこの情報を読取ファイル判定部46に送信する。
In response to an instruction from the file
読取ファイル判定部46は、読取ファイル情報取得部45から受信した再生対象ファイルに関する情報に基づいて、再生対象ファイルがストリームデータであるのか、プレイリストであるのかを判定する(S7)。読取ファイル判定部46が、再生対象ファイルがストリームデータであると判定した場合(S7において「No」)、この判定結果をファイル読取指示部48に送信する。
The read
ファイル読取指示部48は、読取ファイル判定部46の判定結果に応じて、記録・読取装置16に光ディスク15から再生対象ファイルであるストリームデータを読取るように指示を出す。ファイル読取指示部48からの指示に応じて、記録・読取装置16は、光ディスク15からストリームデータを読取り、読取ったストリームデータを、再生用ストリームバッファ17を介してシステムデコーダ18に送信する。
The file
そして、システムデコーダ18は、受信したストリームデータを映像の符号化データと音声の符号化データとに多重分離してデコード処理を行う(S11)。システムデコーダ18は、映像の符号化データをスイッチ19に送信し、一方、音声の符号化データをオーディオバッファ24に送信する。スイッチ19は、再生対象ファイルがストリームデータであるため、そのまま映像の符号化データをビデオバッファ22に送信する。
Then, the
ビデオバッファ22は、スイッチ19から送信された映像の符号化データをバッファリングしてビデオデコーダ23に送信する。またオーディオバッファ24はシステムデコーダ18から送信された音声の符号化データをバッファリングして、オーディオデコーダ25に送信する。そして、ビデオデコーダ23は、ビデオバッファ22を介して入力された映像の符号化データを復号化し、AV(映像)信号として表示装置3に出力する。また、オーディオデコーダ25は、オーディオバッファ24を介して入力された音声の符号化データを復号化し、AV(音声)信号として表示装置3に出力する(終了)。
The
一方、読取ファイル判定部46が、再生対象ファイルがプレイリストであると判定した場合(S7において「Yes」)、読取ファイル判定部46は、読取ったプレイリストとともに、判定結果をプレイリスト認識部47に送信する。
On the other hand, when the read
プレイリスト認識部47は、読取ファイル判定部46からプレイリストを受信すると、ストリームデータの接続部70・71においてフィールド位相の調整か必要であるか否かを判定する(S8)。すなわち、上記したように、プレイリストには接続部70・71の位置に関連づけたフィールドの位相にずれが生じるか否かの識別情報が含まれている。したがって、この情報をプレイリスト認識部47が読取ることで、連続再生される再生区間Aと再生区間Bとの接続部70または再生区間Bと再生区間Cとの接続部71において、フィールドの位相にずれが生じるか否かを確認し、フィールド位相の調整の要否判定を行うことができる。
When receiving the playlist from the read
プレイリスト認識部47は、ストリームデータの接続部70・71においてフィールドの位相の調整が必要ないと判定した場合(S8において「No」)、このプレイリストを参照して、連続再生するストリームデータ、すなわち再生区間A〜Cの各データに関するGOPごとの情報をファイル読取指示部48に送信する。そして、ファイル読取指示部48は、プレイリスト認識部47から送信されたプレイリストの情報に基づいて、再生区間A〜Cのデータをそれぞれ再生される順に読み出すように記録・読取装置16に指示を出す。
When the
記録・読取装置16は、ファイル読取指示部48からの指示に応じて、光ディスク15から再生区間A、再生区間B、再生区間Cそれぞれのストリームデータを順にGOP単位で読取り、再生用ストリームバッファ17を介してシステムデコーダ18に送信する。
In response to an instruction from the file
システムデコーダ18は、これら再生区間A〜Cのデータを多重分離し、音声の符号化データはオーディオバッファ24に送信し、映像の符号化データはスイッチ19に送信する。スイッチ19はプレイリスト認識部47からデータ解析部20に対してデータを送信するように切り換え指示が与えられていないため、受信したデータをビデオバッファ22に送信する。
The
プレイリスト認識部47が、ストリームデータの接続部70または接続部71においてフィールドの位相の調整が必要であると判定した場合(S8において「Yes」)、スイッチ19に対して、再生区間Aまたは再生区間Bの最後のGOPの符号化データが解析部20に送信されるように送信先の切り換え指示を出す。また一方で、プレイリスト認識部47は、プレイリストを参照して、再生区間A〜Cの各データに関するGOPごとの情報をファイル読取指示部48に送信する。そして、ファイル読取指示部48は、上記再生区間A〜Cの各データに関するGOPごとの情報に基づいて、記録・読取装置16に対して再生区間A〜Cのデータの読取り指示を行う。
When the
すなわち、ファイル読取指示部48からの指示に応じて、記録・読取装置16が、光ディスク15からGOPごとに、再生される順で再生区間A〜Cを読取る。そして、システムデコーダ18が、読取られた再生区間A〜CのGOPごとのデータを多重分離し、映像の符号化データをスイッチ19に送信する。
That is, in response to an instruction from the file
スイッチ19は、再生区間Aまたは再生区間Bにおいて最後に再生されるGOP部分の符号化データがシステムデコーダ18から入力されると、プレイリスト認識部47の指示に応じて、データ解析部20にこの映像の符号化データを送信する。
When the encoded data of the GOP portion reproduced last in the reproduction section A or the reproduction section B is input from the
なお、プレイリスト認識部47からスイッチ19への指示のタイミングは、プレイリスト認識部47がプレイリストに含まれているGOPごとの管理情報に基づいて、決定される。
Note that the timing of the instruction from the
より具体的には、プレイリスト認識部47は、プレイリストが含んでいる再生区間Aまたは再生区間Bにおいて最後に再生されるGOPの再生時間から、スイッチ19に対する送信先の切り換え指示のタイミングを決めることができる。
More specifically, the
データ解析部20は、スイッチ19を介して符号化データを受信すると、当該データ内の最後に表示されるピクチャのヘッダ部分を解析する(S9)。
When the
すなわち、データ解析部20は、上記ヘッダ部分にあるMPEG2のピクチャ符号化機能拡張部(picture_coding_extension)を解析することによって、当該ピクチャ符号化機能拡張部(picture_coding_extension)内にあるRFFのフラグの値に関する情報を特定する。そして、データ書換部21は、データ解析部20によって特定されたRFFのフラグの値を反転するように書き換える(S10)。このように、データ書換部21によってRFFフラグを書き換えることで、接続部70または接続部71において生じているフィールドの位相のずれを調整することができる。
That is, the
例えば、図12に示すような、再生区間Aの最後に再生されるGOPと、再生区間Bの最初に再生されるGOPとの間で、2:3プルダウン表示した場合のフィールドに位相のずれが生じているとする。すなわち、再生区間Aの最後に再生されるGOPの最後のフレームP8に対応するフィールド表示がt(トップフィールド)・b(ボトムフィールド)になっている。また、再生区間Bの最初に再生されるGOPの最初のフィールドB0がb(ボトムフィールド)・t(トップフィールド)になっている。従って、接続部70において、フィールドがb(ボトムフィールド)−b(ボトムフィールド)となり、フィールドの位相がずれることになる。
For example, as shown in FIG. 12, there is a phase shift in the field when the 2: 3 pull-down display is performed between the GOP reproduced at the end of the reproduction section A and the GOP reproduced at the beginning of the reproduction section B. Suppose it has occurred. That is, the field display corresponding to the last frame P 8 of the GOP to be reproduced last in the reproduction section A is set to t (top field) · b (bottom field). Further, the first field B 0 of the GOP reproduced at the beginning of the reproduction section B is b (bottom field) · t (top field). Therefore, in the
ここで、再生区間Aの最後に再生されるGOPの最後のフィールド部分の構造を規定しているRFFのフラグの値を反転すると、フレームP8に対応するフィールド表示がt(トップフィールド)・b(ボトムフィールド)からt(トップフィールド)・b(ボトムフィールド)・t(トップフィールド)に変換される。 Here, Invert the last value of the flag of the RFF defining the structure of the last field portion of the GOP to be reproduced playback section A, field display corresponding to the frame P 8 is t (top field) · b (Bottom field) is converted to t (top field) · b (bottom field) · t (top field).
この変換の結果、接続部70におけるフィールド表示が、t(トップフィールド)−b(ボトムフィールド)となり、フィールドの位相のずれが補間される。したがって、データ書換部21によってRFFのフラグの値を反転させるだけで、接続部70のフィールドの位相が調整できることとなる。また、接続部71に関しても同様に再生区間Bの最後に再生されるGOPの最後のフィールド部分の構造を規定しているRFFのフラグの値を反転することで、接続部71において生じている位相のずれが調整される。
As a result of this conversion, the field display at the
なお、上記データ書換部21が上記RFFフラグの値を反転させることによって、接続部70または接続部71の直前のGOPの最後に表示されるフレームのフィールド表示がイレギュラーとなる。つまり、2フレーム5フィールドで表示されていたストリームデータ(再生区間Aまたは再生区間B)が、接続部70または接続部71の直前においては、2フレーム4フィールドまたは2フレーム6フィールドとなってしまう場合がある。
The
しかし、接続部70または接続部71において、再生区間Aから再生区間Bの動画に、または再生区間Bから再生区間Cの動画に切り換わるため、このイレギュラーなフィールド表示によって動画を視聴する者が違和感を覚えることはない。
However, since the
つまり、本実施の形態に係る画像変換装置2では、再生区間A、再生区間B、再生区間Cと連続再生する場合、フィールドの調整が行われるのは接続部70または接続部71の直前のフレームだけである。すなわち、再生区間Aの最後に再生されるGOPの最後尾のフレームまたは再生区間Bの最後に再生されるGOPの最後尾のフレームだけが、フィールド表示期間の調整が行われ、それ以外のフレームは再生時に変更されることはない。このため、再生区間A、再生区間B、および再生区間Cの連続再生時に、動画の動きに違和感が生じるなどの影響はない。
That is, in the
データ書換部21はRFFのフラグの値を反転させRFFコードを書き換えると、RFFフラグの値が書き換えられた映像の符号化データを、ビデオバッファ22を介してビデオデコーダ23に送信する(S11)。これ以降の処理は上記にて説明したため省略する。
When the
このように、本実施の形態に係る記録再生装置1の画像変換装置2は、撮影装置4によって撮影された動画像データのストリームデータを光ディスク15に記録する際に、当該ストリームデータに関する管理情報ファイルを作成する構成である。そして、この管理情報ファイルには、ストリームデータファイルの作成日時、ストリームデータの使用コーデック、ストリームデータの全再生時間長、GOP単位の再生時間長、GOP単位での光ディスク15における記録位置、GOP単位でのデータサイズなどの情報とともに、2:3プルダウン変換によってフィールド表示される場合のフィールドの位相の状態に関する情報が含まれている。
As described above, when the
また、上記画像変換装置2は、複数のストリームデータを連続再生する場合、それぞれのストリームデータの管理情報ファイルに基づきプレイリストを作成することができる構成である。このプレイリストは、複数のストリームデータを連続再生するために必要な情報のみならず、異なるストリームデータ同士の接続部においてフィールドの位相のずれが生じるか否かに関する情報が含まれている。
Further, the
そして、上記画像変換装置2は、プレイリスト認識部47がプレイリストに基づいて、接続部70または接続部71におけるフィールドの位相の調整を行う必要があるか否かを判定できる構成である。さらに、フィールドの位相の調整が必要な場合は、データ解析部20で特定されたRFFコードの値をデータ書換部21が反転させるだけで、フィールドの位相のずれを補間することができる構成である。
The
したがって、本実施の形態に係る画像変換装置2は、撮影された動画データの符号化時に、予め編集可能点を設ける必要が無く、ストリームデータの再生時に必要な部分のデータ(接続部70または接続部71の直前に再生されるストリームデータのGOP)の解析および書換えを行うだけでフィールドの位相の調整を行うことができる。
Therefore, the
すなわち、必要な部分のデータの解析だけで、再生時に自由に動画像データを編集可能とし、連続した再生を実現することができる。また、上記画像変換装置2は、ビデオデコーダ23に映像の符号化データを送る前に、複数の異なるストリームデータの連続再生において生じるフィールドの位相のずれを補間することができる。このため、特別に、ビデオデコーダ23にフィールドの位相のずれを補間する機能を備える必要がなく、映像の符号化データを復号化できるものであれば、どのようなビデオデコーダ23であっても安定した再生が得られる。
In other words, the moving image data can be freely edited during reproduction by simply analyzing the data of the necessary portion, and continuous reproduction can be realized. In addition, the
なお、本実施の形態に係る画像変換装置2では、プレイリスト作成処理時において、図10に示す接続状態テーブルをプレイリストに記録する構成であった。そして、この接続状態テーブルは、接続部70および接続部71と、ストリームデータDにおける、この接続部70および接続部71の再生時間(time)と、接続部70および接続部71の直前の再生区間Aおよび再生区間Bそれぞれの最後に再生されるGOPの記録位置との対応関係を示すテーブル情報であった。しかしこの接続状態テーブルに記録される項目はこれに限定されるものではなく、接続部70および接続部71の直前の再生区間Aおよび再生区間Bそれぞれの最後に再生されるGOPの記録位置の代わりに、接続部70および接続部71の直前の再生区間Aおよび再生区間Bそれぞれの最後に再生されるGOPの最後に表示されるフレームの記録位置であってもよい。
Note that the
この場合は、プレイリストを用いたストリームデータの再生処理において、プレイリスト認識部47は、容易に接続部70および接続部71における位相のずれの有無を確認することができ、更にデータ解析部20がスムーズに接続部70または接続部71の直前のGOPの最後のフレームに対するRFFコードの特定を行うことが可能になる。
In this case, in the stream data reproduction process using the playlist, the
また、本実施の形態に係る画像変換装置2では、管理情報において図6に示すように、ストリームデータのGOPごとに、このGOPの先頭フレームの先頭表示フィールドがトップフィールドであるか、ボトムフィールドであるかを識別するフィールド位相情報を記録するように構成されている。そして、位相ずれ判定部49が接続部70および接続部71においてフィールドの位相のずれが生じるか否かを判定する際に、このフィールド位相情報と、接続部70および接続部71の直前のストリームデータ、すなわち再生区間Aおよび再生区間Bにおいて最後に再生されるGOPの最後尾のフレームの最後に表示されるフィールドの状態とを比較して判定する構成である。そして、この再生区間Aおよび再生区間Bにおいて最後に再生されるGOPの最後尾のフレームの最後に表示されるフィールドの状態の確認は、ストリームデータAにおいて再生区間Aの次に表示されるべきGOP(位相判定基準GOP)のフィールド位相情報を確認することで実現される構成であった。
Further, in the
しかし、再生区間Aおよび再生区間Bにおいて最後に表示されるGOPの最後尾のフレームの最後に表示されるフィールドの位相の確認方法はこれに限定されるものではない。 However, the method for confirming the phase of the field displayed at the end of the last frame of the GOP displayed last in playback section A and playback section B is not limited to this.
すなわち、管理情報においてGOPの先頭フレームのフィールド位相情報に加えて、プルダウン方式によるフィールド表示の表示形式に関する情報も記録する構成であってもよい。 That is, in the management information, in addition to the field phase information of the first frame of the GOP, information regarding the display format of the field display by the pull-down method may be recorded.
つまり、プルダウン方式には、毎秒24フレームの映像を毎秒60フィールドの映像に変換するための2:3プルダウンの他に、3:2プルダウン、2:3:3:2プルダウン、3:2:2:3プルダウン方式が用いられてもよい。つまり、毎秒24フレームの映像を毎秒60フィールドの映像に変換するためにこれらのプルダウン方式のいずれかが採用されている。 In other words, in the pull-down method, in addition to 2: 3 pull-down for converting a video of 24 frames per second into a video of 60 fields per second, 3: 2 pull-down, 2: 3: 3: 2 pull-down, 3: 2: 2 : 3 pull-down method may be used. That is, one of these pull-down methods is employed to convert a video of 24 frames per second into a video of 60 fields per second.
そこで、各GOPにおける先頭のフレームを基準として、これらのプルダウン方式をGOPごとに記録しておくことで、各GOPにおける最後尾のフレームの最後に表示されるフィールドがトップフィールドであるか、またはボトムフィールドであるかを特定することができる。 Therefore, by recording these pull-down methods for each GOP on the basis of the first frame in each GOP, the field displayed at the end of the last frame in each GOP is the top field or the bottom field. Whether it is a field can be specified.
また、プルダウン方式によるフィールド表示の表示形式としては、例えば、各GOPの先頭フレームからのフィールド表示期間が2,3,2,3,2,3…と続く場合は「0」を、3,2,3,2,3,2…と続く場合は「1」を、2,3,3,2,2,3,3,2…と続く場合は「2」を、3,2,2,3,3,2,2,3…と続く場合は「3」を記録することで実現できる。 As a display format of the field display by the pull-down method, for example, when the field display period from the first frame of each GOP continues as 2, 3, 2, 3, 2, 3. , 3, 2, 3, 2..., “1”, and 2, 3, 3, 2, 2, 3, 3, 2. , 3, 2, 2, 3... Can be realized by recording “3”.
そして、管理情報には、図13に示すように、GOPとフィールド位相情報とこの表示形式との対応関係を示すテーブルを記録する。 In the management information, as shown in FIG. 13, a table indicating the correspondence between GOP, field phase information, and this display format is recorded.
ここで、図13に示すようなテーブルが管理情報に記録されている場合、接続部70において位相のずれが生じるか否かについての情報の作成処理に関して図14を参照して説明する。図14は接続部70におけるフィールド位相のずれの有無を示す情報(フィールド位相ずれ情報)を作成する処理を示すフローチャートである。
Here, in the case where a table as shown in FIG. 13 is recorded in the management information, information creation processing regarding whether or not a phase shift occurs in the
このフィールド位相ずれ情報の作成は、上記したフィールド位相ずれ情報の作成と同様に、プレイリスト作成処理時に行われる。 The creation of the field phase shift information is performed during the playlist creation process, similar to the creation of the field phase shift information.
まず、接続部70の直前に再生されるストリームデータ(再生区間A)の最後に再生するGOPに関する管理情報をRAM13に読み込む(S12)。
First, management information relating to the GOP to be reproduced at the end of the stream data (reproduction section A) reproduced immediately before the
すなわち、管理情報取得部40は、再生区間Aに対応する管理情報A´の読取り指示を記録・読取装置16に対して行い、得られた管理情報A´をRAM13に一時記憶する。
That is, the management
次に、位相ずれ判定部49が、接続部70の直前にある再生区間Aにおいて最後に表示されるフレーム、すなわち、再生区間Aの最後尾のGOPにおいて最後に表示されるフレームが、当該GOPの先頭のフレームから何フレーム目か(フレーム番号)を算出する(S13)。
Next, the phase
そして、位相ずれ判定部49は、管理情報A´と上記算出したフレーム番号とを参照して、再生区間Aの最後のフィールドの位相を調べる(S14)。すなわち、位相ずれ判定部49は、再生区間Aの最後尾のGOPの先頭フレームの最初に表示されるフィールドと、プルダウン方式によるフィールドの表示形式と、上記算出した最後に表示されるフレームの番号とに基づいて、接続部70の直前に再生される再生区間Aの最後のフィールドがトップフィールドであるのかボトムフィールドであるのかを調べる。
Then, the phase
例えば、管理情報A´において再生区間Aの最後尾のGOPにおいて、最初に表示されるフレームのフィールドの位相状態が「1」(トップフィールド)であり、このGOPのフィールド表示形式が「2」(2,3,3,2・・・)であるとする。そして、算出した最後に表示されるフレームのフレーム番号が3であったとする。この場合、再生区間最後のフィールドは、ボトムフィールドとなる。 For example, in the management information A ′, in the last GOP of the playback section A, the phase state of the field of the frame displayed first is “1” (top field), and the field display format of this GOP is “2” ( 2, 3, 3, 2... Assume that the calculated frame number of the last displayed frame is 3. In this case, the last field in the playback section is a bottom field.
次に、位相ずれ判定部49は、RAM13に記憶されている管理情報B´から接続部70において次に再生されるストリームデータ(再生区間B)の最初に再生されるGOPの管理情報を読み込む(S15)。この管理情報の特定は、管理情報B´を参照して再生区間Bにおける再生時間から特定することができる。
Next, the phase
そして位相ずれ判定部49は、接続部70において次に続いて再生されるストリームデータ(再生区間B)の最初に再生されるGOPの最初に表示されるフィールド位相を調べる(S16)。
Then, the phase
すなわち、位相ずれ判定部49は、RAM13に一時記憶されている再生区間Bの管理情報B´に基づき、再生区間Bの最初に再生されるGOPの最初に表示されるフィールドがトップフィールドであるのか、あるいはボトムフィールドであるのかを調べる。
That is, based on the management information B ′ of the playback section B temporarily stored in the
このようにして、接続部70の前に再生されるGOP(再生区間Aの最後に再生されるGOP)において最後に表示されるフィールドのフィールド表示と、接続部70の次に続いて再生されるGOP(再生区間Bの最初に再生されるGOP)において最初に表示されるフィールドのフィールド表示とが得られる。
In this way, the field display of the last field displayed in the GOP played before the connection unit 70 (the GOP played at the end of the playback section A) and the playback after the
次に、位相ずれ判定部49は、それぞれの接続部70・71において位相のずれが生じるか否かを判定する(S17)。
Next, the phase
すなわち、位相ずれ判定部49が、接続部70・71それぞれについて得られた、接続部の前に再生されるGOPの最後のフィールド表示と接続部の次に再生されるGOPの先頭のフィールド表示とを比較する。そして、この比較の結果、両者がともにトップフィールドである場合、またはボトムフィールドである場合は、フィールドの位相のずれが生じると判定する(S17において「Yes」)。また、この比較の結果、一方がトップフィールドであり他方がボトムフィールドである場合は、位相ずれ判定部49は、フィールドの位相のずれが生じないと判定する(S17において「No」)。
That is, the phase
そして、位相ずれ判定部49はこの位相ずれに関する判定結果をプレイリスト生成部41に送信する。
Then, the phase
ステップS17において「No」の場合は、プレイリスト生成部41は管理情報A´〜C´から作成したプレイリストに、図10に示す接続状態テーブルのフィールド位相のずれの有無の項目を「0」のままで記録した情報を加える。
In the case of “No” in step S17, the
一方、ステップS17において「Yes」の場合は、プレイリスト生成部40は、フィールド位相のずれが生じることを示す識別情報として、図10に示す接続状態テーブルのフィールド位相のずれの有無の項目を「0」からフラグ「1」に書き換えて記録し、管理情報A´〜C´から作成したプレイリストに付加する(S18)。
On the other hand, in the case of “Yes” in step S17, the
すなわち、図10に示すようにプレイリスト生成部40は、この識別情報と、接続部70の再生時間と、接続部70の前に再生される再生区間の最後に表示されるGOPの記録位置の情報とを、接続部70それぞれに対応付けてプレイリスト内に記録する。そして、プレイリスト生成部40は、プレイリストの作成が完了する(終了)。
That is, as shown in FIG. 10, the
なお、接続部71に関しても上記したフィールド位相ずれ情報を作成する処理と同様にしてフィールドの位相のずれの有無を確認できるため説明は省略する。
Since the
このように、予め管理情報A〜Cにプルダウン方式によるフィールドの表示形式をGOPごとにさらに記録しておくことで、本実施の形態に係る画像変換装置2では、位相ずれ判定部49が、接続部70・71の直前に再生されるフィールドの位相を調べるために、位相判定基準GOPを解析する必要がなくなる。すなわち、位相ずれ判定部49は、ストリームデータA・Bにおける再生区間A・B以外のデータに関する管理情報を参照する必要がなく、再生区間A・Bに関する管理情報A´・B´のみで接続部70・71における位相ずれの判定を行うことが可能となる。
As described above, by further recording the display format of the field in the pull-down method in the management information A to C in advance for each GOP, in the
このため、位相ずれ判定部49は、ストリームデータA〜Cに対してより簡単な解析処理で接続部70・71における位相のずれの有無を判定することができる。また、ストリームデータAまたはストリームデータBにおいて、再生区間Aまたは再生区間Bに続くストリームデータが存在しない場合、例えば、再生区間Aまたは再生区間Bの終端がストリームデータAまたはストリームデータBの終端である場合であっても、位相ずれ判定部49は接続部70または接続部71におけるフィールド位相のずれの有無を判定することができる。
Therefore, the phase
すなわち、本実施の形態に係る画像変換装置2は、接続部70または接続部71の直前のフレームの最後に表示されるフィールドのフィールド表示を特定するために、ストリームデータAまたはストリームデータBにおいて再生区間Aまたは再生区間Bの「次に再生されるGOP(位相判定基準GOP)」を読みだす必要がない。
That is, the
このため、再生区間Aの次に再生されるGOP(位相判定基準GOP)がストリームデータAにおいて存在しない場合、あるいは再生区間Bの次に再生されるべきGOP(位相判定基準GOP)がストリームデータBにおいて存在しない場合であっても、接続部70の直前に表示されるフィールドの表示を特定することができる。
For this reason, when the GOP (phase determination reference GOP) reproduced next to the reproduction section A does not exist in the stream data A, or the GOP (phase determination reference GOP) to be reproduced next to the reproduction section B is the stream data B. Even if it does not exist, the display of the field displayed immediately before the
ところで、複数のストリームデータを連続して再生させる場合、前ストリームの終端は必ずしもGOPの終端でなければならないわけではなく、GOPの途中にあるいずれかのPピクチャの後ろで切って、次のGOPの先頭につなげることにより、MPEGのフレーム間予測の影響がなく、再エンコードすることなしに編集することもできる。これによりさらに複数のストリームデータの編集についての自由度を上げることができる。 By the way, when a plurality of stream data are continuously played back, the end of the previous stream does not necessarily have to be the end of the GOP, but it is cut after any P picture in the middle of the GOP and the next GOP By connecting to the head of the frame, there is no influence of MPEG inter-frame prediction, and editing can be performed without re-encoding. As a result, the degree of freedom for editing a plurality of stream data can be increased.
このような編集を行う場合であっても、上記画像編集装置2は、予め管理情報A〜Cにプルダウン方式によるフィールドの表示形式をGOPごとにさらに記録しておくことで、GOP内の任意のフレーム番号におけるフィールド状態を確認することができるため、接続部70または接続部71におけるフィールド位相のずれの有無を判定することができる。
Even when such editing is performed, the
本実施の形態に係る記録再生装置1の画像変換装置2は、フレームレートが24Hzで記録された動画像データをフィールドレート60Hzによってインターレースで表示装置3において表示する構成であるがこれに限定されるものではない。すなわち、本実施の形態に係る画像変換装置2は、記録された動画像データのフレームレートを変換してフィールドレートで表示される場合であれば、フィールドの位相のずれを補間し調整できる。
The
また、上記画像変換装置2は、フレームレートが24Hzの動画像データとフィールドレートが60Hzの動画像データとを連続再生する場合であっても、フィールドの位相のずれが生じる場合は位相のずれを補間して調整することができる。
In addition, the
また、本実施の形態に係る記録再生装置1の画像変換装置2は、撮影装置4によって撮影された動画像データをMPEG2方式によって符号化しているが、特にMPEG2方式に限定されるものではない。すなわち、撮影された動画像データのフレームレートを変換して、表示装置3で適切なフィールドレートで表示可能とし、フレームをフィールド表示に変換させるコードを符号化時に記録することができる符号化方式であれば、いかなる動画像に対する符号化方式であってもよい。
Further, the
また、本実施の形態に係る記録再生装置1では、ストリームデータA、ストリームデータB、およびストリームデータCそれぞれから抜き出した再生区間A、再生区間B、および再生区間Cを連続再生する構成であったが、連続再生するストリームデータまたはストリームデータの数はこれに限定されるものではない。すなわち、上記記録再生装置1は、同一のストリームデータから複数の部分を再生対象として抜き出して連続再生することもできる。
Further, the recording / reproducing
以上のように本発明に係る映像データ再生装置は、以下の構成を有するものとも言える。 As described above, it can be said that the video data reproducing apparatus according to the present invention has the following configuration.
本発明に係る映像データ再生装置は、再生時に、記録された映像データの各フレームを時系列に複数集めてフレーム群を形成し、各フレーム群のそれぞれのフレームを、該フレームからフィールドに変換するための位相規則に基づいて2以上のフィールドに変換し、任意のフレーム群を選択して連続再生する映像データ再生装置であって、上記フレームからフィールドに変換する前に、任意のフレーム群同士の隣接するフレームのフィールドの位相が同じか否かを判定する位相判定手段と、上記位相判定手段によって、上記フィールドの位相が異なると判定された場合、前段のフレーム群のフィールドの位相が、後段のフレーム群のフィールドの位相と同じになるように、上記位相規則を変更する位相規則変更部とを備えている。 The video data playback apparatus according to the present invention collects a plurality of frames of recorded video data in time series to form a frame group during playback, and converts each frame of each frame group from the frame to a field. A video data reproducing apparatus for converting to two or more fields based on a phase rule for selecting, selecting and replaying an arbitrary frame group, and before converting the frame into a field, When the phase determination unit that determines whether or not the phase of the field of the adjacent frame is the same, and the phase determination unit determine that the phase of the field is different, the phase of the field of the preceding frame group is A phase rule changing unit for changing the phase rule so as to be the same as the phase of the field of the frame group.
なお、上記フレーム群とは、例えば、記録された映像データにおいて、ランダムアクセス可能とする映像データ単位であるGOPなどである。 The frame group is, for example, a GOP that is a video data unit that can be randomly accessed in recorded video data.
またフレームとは、映像データにおける各映像を構成する単位であって、当該映像データにおける1枚の映像が1フレームである。上記フィールドとは、例えば毎秒24コマ(フレームレート24Hz)で記録された映画等の映像データを毎秒30コマ(フィールドレート60Hz)に変換して表示する場合、このフレームを偶数ラインまたは奇数ラインに分けたいずれかであって、480ラインの表示画面を0〜479で数えた場合に、先頭行である0ラインを含むトップフィールドと、最終行である479ラインを含むフィールドであるボトムフィールドとの2つに分割され表示される。 A frame is a unit constituting each video in the video data, and one video in the video data is one frame. For example, when converting video data such as a movie recorded at 24 frames per second (
そして、1フレームあたりの各フィールドは、2つに分割されたフィールド、すなわちトップフィールドとボトムフィールドとが周期的に繰り替えされて表示されており、フィールドの位相とは、このトップフィールドとボトムフィールドとの循環によって形成される、フィールドの周期的な変化である。したがって、フィールドの位相が異なるとは、これらフィールドによる周期性が異なることである。 Each field per frame is displayed by periodically repeating a field divided into two, that is, a top field and a bottom field, and the phase of the field is the top field and the bottom field. It is a periodic change of the field formed by the circulation of. Therefore, the fact that the phase of the field is different means that the periodicity of these fields is different.
また、上記位相規則とは、例えば、MPEG−2のRFFコードによって実現され得る。 The phase rule can be realized by, for example, an MPEG-2 RFF code.
上記映像データ再生装置は、位相判定手段を備えているため、映像データの任意の上記フレーム群同士の各フレームをフィールドに変換して連続再生する際、隣接するフレーム群同士の各フレームのフィールドの位相が同じであるか否かを確認できる。 Since the video data reproducing apparatus includes phase determining means, when each frame of any of the above frame groups of video data is converted into a field and continuously reproduced, the field of each frame between adjacent frame groups is It can be confirmed whether or not the phases are the same.
また、上記映像データ再生装置は、位相規則変更部を備えているため、複数のフレーム群を連続再生する際、隣接するフレーム群において、前段のフレーム群のフィールドの位相が、後段のフレーム群のフィールドの位相と異なる場合、上記位相規則を変更することによって双方のフィールドの位相が同じになるようにすることができる。 In addition, since the video data reproducing device includes the phase rule changing unit, when continuously reproducing a plurality of frame groups, the phase of the field of the preceding frame group in the adjacent frame group is the same as that of the subsequent frame group. If they are different from the phase of the field, the phase of both fields can be made the same by changing the phase rule.
すなわち、本発明に係る映像データ再生装置は、任意に取り出した映像データを連続再生する際に、連続した任意のフレーム群をフィールドに変換することによって生じる、当該フレーム群同士のフィールドの位相のずれが、同じ位相となるように補完することができる。 That is, the video data playback apparatus according to the present invention, when continuously playing back video data that has been arbitrarily fetched, causes a phase shift between fields of the frames that are generated by converting any continuous frames into a field. Can be supplemented to have the same phase.
したがって、本発明に係る映像データ再生装置は、映像データの再生時においてフレームレートが変更される場合であっても、予め記録時に映像データの編集位置を設定する必要がなく、再生時に自由に映像データを編集可能とする。 Therefore, the video data playback apparatus according to the present invention does not need to set the editing position of the video data at the time of recording in advance even when the frame rate is changed at the time of playback of the video data. Make the data editable.
また、本発明に係る映像再生装置は、上記構成において、上記フィールドの位相は、極性の異なる2種類のフィールドの組み合わせによって決定されており、上記位相規則変更部は、上記フィールドの位相が異なると判定された場合、前段のフレーム群の最後尾のフレームの最後に表示されるフィールド極性が、当該フィールド極性と隣接する後段のフレーム群の先頭のフレームの最初に表示されるフィールド極性と異なるように、上記位相規則を変更する構成であってもよい。 Further, in the video reproduction device according to the present invention, in the above configuration, the phase of the field is determined by a combination of two types of fields having different polarities, and the phase rule changing unit has the phase of the field different from each other. If determined, the field polarity displayed at the end of the last frame of the preceding frame group is different from the field polarity displayed at the beginning of the first frame of the succeeding frame group adjacent to the field polarity. The phase rule may be changed.
なお、極性の異なる2種類のフィールドの組み合わせとは、フィールドによって表示される位置が、例えば映像データに基づく映像を複数のラインで表示する際の偶数ラインの表示であるフィールドと奇数ラインの表示であるフィールド、すなわちトップフィールドとボトムフィールドとの組み合わせである。 Note that the combination of two types of fields having different polarities means that the position displayed by a field is, for example, a field that is an even line display when displaying an image based on video data with a plurality of lines and an odd line display. It is a combination of a certain field, that is, a top field and a bottom field.
また、本発明に係る映像再生装置は、上記位相規則変更部が、フィールドの位相が異なると判定された場合、前段のフレーム群の最後尾のフレームの最後のフィールド極性が、当該フィールド極性と隣接する後段のフレーム群の先頭のフレームの最初のフィールド極性と異なるように変更することができる。 In the video reproduction device according to the present invention, when the phase rule changing unit determines that the phase of the field is different, the last field polarity of the last frame of the preceding frame group is adjacent to the field polarity. The first field polarity of the first frame of the subsequent frame group can be changed to be different.
したがって、連続して再生される複数のフレーム群において、当該フレーム群が互いに隣接しているフィールドの極性が同じ極性となり、フィールドの極性の周期的な変化が損なわれる場合であっても、前段のフレーム群の最後尾のフレームの最後のフィールド極性を変更することができるため、フィールドの極性の周期的な変化を修正することができる。 Therefore, in a plurality of frames that are continuously reproduced, even if the polarities of the fields adjacent to each other are the same, and the periodic change in the field polarity is impaired, Since the last field polarity of the last frame of the group of frames can be changed, periodic changes in the field polarity can be corrected.
このため、本発明に係る映像再生装置は、任意のフレーム群の各フレームをフィールドに変更して連続再生する場合、フィールドの極性の周期的な変化を維持して、当該任意のフレーム群を連続再生することができる。 For this reason, in the video playback device according to the present invention, when each frame of an arbitrary frame group is changed to a field and continuously played, the periodic change of the polarity of the field is maintained and the arbitrary frame group is continuously played. Can be played.
したがって、本発明に係る映像データ再生装置は、映像データの再生時においてフレームレートが変更される場合であっても、予め記録時に映像データの編集位置を設定する必要がなく、再生時に自由に映像データを編集可能とする。 Therefore, the video data playback apparatus according to the present invention does not need to set the editing position of the video data at the time of recording in advance even when the frame rate is changed at the time of playback of the video data. Make the data editable.
また、本発明に係る映像再生装置は、上記構成において、各フレーム群の、フレーム長さと、フィールドの極性パターンと、先頭フレームの最初に表示されるフィールド極性とに基づいて、該フレーム群の最後尾のフレームの最後に表示されるフィールド極性を判断するフィールド極性判断手段が設けられていることを特徴とする。 The video playback apparatus according to the present invention, in the configuration described above, is based on the frame length, the field polarity pattern, and the field polarity displayed at the beginning of the first frame in each frame group. Field polarity determining means for determining the field polarity displayed at the end of the tail frame is provided.
上記フレーム長さとは、各フレーム群を構成するフレームの数で表現されるものであり、フィールドの極性パターンとは、フレーム群において各フレームをフィールドに変換した場合、フィールドの極性の周期的な変化パターンである。 The frame length is expressed by the number of frames constituting each frame group, and the field polarity pattern is a periodic change in the field polarity when each frame is converted into a field in the frame group. It is a pattern.
上記フィールド極性判断手段は、フレーム群のフレームの長さと、フィールドの極性パターンと最初に表示されるフィールドのフィールド極性とに基づいて、該フレーム群の最後尾のフレームの最後に表示されるフィールドのフィールド極性を判断することができる。このため、記録されている映像データのフレーム群の構成から、連続再生されるフレーム群同士において隣接するフィールドのフィールド極性を判断することができる。The field polarity judging means determines the field displayed at the end of the last frame of the frame group based on the frame length of the frame group, the field polarity pattern and the field polarity of the field displayed first. Field polarity can be determined. For this reason, it is possible to determine the field polarity of the adjacent fields in the continuously reproduced frame groups from the configuration of the frame groups of the recorded video data.
したがって、本発明に係る映像再生装置は、映像データの再生時においてフレームレートが変更される場合であっても、予め記録時に映像データの編集位置を設定する必要がなく、再生時に自由に映像データを編集可能とする。 Therefore, the video playback apparatus according to the present invention does not need to set the editing position of the video data at the time of recording in advance even when the frame rate is changed at the time of playback of the video data. Can be edited.
本発明に係る映像データ再生装置の制御方法は、上記課題を解決するために、再生時に、記録された映像データの各フレームを時系列に複数集めてフレーム群を形成し、各フレーム群のそれぞれのフレームを、該フレームからフィールドに変換するための位相規則に基づいて2以上のフィールドに変換し、任意のフレーム群を選択して連続再生する映像データ再生装置の制御方法であって、上記フレームからフィールドに変換する前に、任意のフレーム群同士の隣接するフレームのフィールドの位相が同じか否かを判定する位相判定ステップと、上記フィールドの位相が異なると判定された場合、前段のフレーム群のフィールドの位相が、後段のフレーム群のフィールドの位相と同じになるように、上記位相規則を変更する位相規則変更ステップとを含んでいることを特徴とする。 In order to solve the above problems, the video data playback apparatus control method according to the present invention forms a frame group by collecting a plurality of frames of recorded video data in time series at the time of playback. Is a method for controlling a video data reproducing apparatus for converting an arbitrary frame group into two or more fields based on a phase rule for converting the frame into a field, selecting an arbitrary frame group, and continuously reproducing the selected frame group. If it is determined that the phase of the field of adjacent frames in any frame group is the same before the conversion from field to field, and the phase of the field is different, the previous frame group The phase rule change step for changing the above phase rule so that the phase of the next field is the same as the phase of the field of the subsequent frame group. Characterized in that and a flop.
また、本発明に係る映像データ再生装置の制御プログラムは、上記課題を解決するために上記映像データ再生装置が備える上記各手段をコンピュータに実現させるための映像データ再生装置の制御プログラムである。 A video data playback apparatus control program according to the present invention is a video data playback apparatus control program for causing a computer to implement the above-described units included in the video data playback apparatus in order to solve the above problems.
また、本発明に係る記録媒体は、上記映像データ再生装置の制御プログラムが記録されたコンピュータの読み取り可能な記録媒体である。 A recording medium according to the present invention is a computer-readable recording medium on which a control program for the video data reproducing apparatus is recorded.
すなわち、上記映像再生装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記映像再生装置をコンピュータにて実現させる制御プログラム、及びその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 That is, the video playback device may be realized by a computer. In this case, a control program for causing the video playback device to be realized by the computer by operating the computer as each of the means, and the control program are recorded. Such computer-readable recording media also fall within the scope of the present invention.
本実施の形態に係る記録再生装置1の画像変換装置2は、光ディスク15に記録されたストリームデータの管理情報に基づき、プレイリストを作成し、このプレイリストの情報に基づき複数のストリームデータをフィールドの位相がずれることなく連続再生できる構成である。このため、動画データの符号化時に、複数の映像データを連続再生するための特別な処理が施されていないストリームデータであっても自由な区間でストリームデータを取り出して、複数のストリームデータからなる別のストリームデータを編集することができる。
The
2 画像変換装置(映像データ再生装置)
11 システムコントローラ
12 ROM(記録媒体)
13 RAM
19 スイッチ
20 データ解析部
21 データ書換部(位相規則変更部)
41 プレイリスト生成部
47 プレイリスト認識部
49 位相ずれ判定部(位相判定手段)
70 接続部
71 接続部
2 Image conversion device (video data playback device)
11
13 RAM
19
41
70
Claims (7)
上記第1ストリームデータおよび上記第2ストリームデータをそれぞれ生成し、記録媒体に記録する際に、上記第1ストリームデータおよび上記第2ストリームデータの先頭で表示されるフレームのフィールドがトップフィールドであるか、ボトムフィールドであるかを識別するフィールド位相情報を含む管理情報を生成する管理情報生成手段と、
上記管理情報生成手段によって生成された上記管理情報に基づき、上記第1ストリームデータと上記第2ストリームデータとを連続再生するために必要な情報であるプレイリスト情報を生成するプレイリスト情報生成手段と、
上記第1ストリームデータにおいて最後尾のフレームの最後に表示されるフィールドがトップフィールドか、またはボトムフィールドであるか確認し、上記管理情報に含まれる上記フィールド位相情報を参照して、上記第1ストリームデータと上記第2ストリームデータとの隣接するフレーム同士のフィールドの位相が同じか否か判定する位相判定手段と、
上記プレイリスト情報生成手段によって生成した上記プレイリスト情報を、上記第1ストリームデータおよび上記第2ストリームデータそれぞれと対応付けて記録媒体に記録する記録手段と、を備え、
上記プレイリスト情報生成手段は、上記位相判定手段による判定結果を上記プレイリスト情報に含めて作成することを特徴とする記録再生装置。 A recording / reproducing apparatus that continuously reproduces a combination of first stream data that is data generated by compressing an input moving image and second stream data that is stream data generated from another moving image. And
Whether the field of the frame displayed at the head of the first stream data and the second stream data is a top field when the first stream data and the second stream data are generated and recorded on a recording medium, respectively. Management information generating means for generating management information including field phase information for identifying whether the field is a bottom field;
Playlist information generating means for generating playlist information, which is information necessary for continuously reproducing the first stream data and the second stream data, based on the management information generated by the management information generating means; ,
Check whether the field displayed at the end of the last frame in the first stream data is a top field or a bottom field, and refer to the field phase information included in the management information to determine the first stream. Phase determining means for determining whether or not the fields of adjacent frames of the data and the second stream data have the same phase;
Recording means for recording the playlist information generated by the playlist information generating means in a recording medium in association with each of the first stream data and the second stream data,
The recording / reproducing apparatus characterized in that the playlist information generating means creates the playlist information by including the determination result by the phase determining means.
上記プレイリスト確認手段により確認された上記プレイリスト情報に応じて、該プレイリスト情報に対応付けられた上記第1ストリームデータと上記第2ストリームデータとを上記記録媒体から読み出す読み出し手段と、
上記プレイリスト確認手段によって、上記第1ストリームデータと上記第2ストリームデータとの隣接するフレーム同士のフィールドの位相のずれが確認された場合、このフィールドの位相の調整を行う位相規則変更部と、を備えることを特徴とする請求項1に記載の記録再生装置。 Based on the determination result by the phase determination unit included in the playlist information recorded on the recording medium, the adjacent first frame data and second stream data associated with the playlist information Playlist confirmation means for confirming whether the phase of the field is the same, and
Reading means for reading out the first stream data and the second stream data associated with the playlist information from the recording medium according to the playlist information confirmed by the playlist confirmation means;
A phase rule changing unit that adjusts the phase of the field when the playlist confirmation unit confirms the phase shift of the field between adjacent frames of the first stream data and the second stream data; The recording / reproducing apparatus according to claim 1, comprising:
上記第1ストリームデータおよび上記第2ストリームデータをそれぞれ生成し、記録媒体に記録する際に、上記第1ストリームデータおよび上記第2ストリームデータの先頭で表示されるフレームのフィールドがトップフィールドであるか、ボトムフィールドであるかを識別するフィールド位相情報を含む管理情報を生成する管理情報生成ステップと、
上記管理情報生成ステップにおいて生成された上記管理情報に基づき、上記第1ストリームデータと上記第2ストリームデータとを連続再生するために必要な情報であるプレイリスト情報を生成するプレイリスト情報生成ステップと、
上記第1ストリームデータにおいて最後尾のフレームの最後に表示されるフィールドがトップフィールドか、またはボトムフィールドであるか確認し、上記管理情報に含まれる上記フィールド位相情報を参照して、上記第1ストリームデータと上記第2ストリームデータとの隣接するフレーム同士のフィールドの位相が同じか否か判定する位相判定ステップと、
上記プレイリスト情報生成ステップにおいて生成したプレイリスト情報を、上記第1ストリームデータおよび上記第2ストリームデータと対応付けて記録媒体に記録する記録ステップと、を含み、
上記プレイリスト情報生成ステップでは、上記位相判定ステップにおける判定結果を上記プレイリスト情報に含めて作成することを特徴とする記録再生装置の制御方法。 Control of recording / reproducing apparatus for continuously reproducing first stream data which is data generated by compressing input moving image and second stream data which is stream data generated from other moving images A method,
Whether the field of the frame displayed at the head of the first stream data and the second stream data is a top field when the first stream data and the second stream data are generated and recorded on a recording medium, respectively. A management information generating step for generating management information including field phase information for identifying whether the field is a bottom field;
A playlist information generation step for generating playlist information, which is information necessary for continuously reproducing the first stream data and the second stream data, based on the management information generated in the management information generation step; ,
Check whether the field displayed at the end of the last frame in the first stream data is a top field or a bottom field, and refer to the field phase information included in the management information to determine the first stream. A phase determination step for determining whether or not the fields of adjacent frames of the data and the second stream data have the same phase;
Recording the playlist information generated in the playlist information generating step in a recording medium in association with the first stream data and the second stream data,
In the playlist information generation step, the determination result in the phase determination step is created by including the determination result in the playlist information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004043590A JP4342977B2 (en) | 2004-02-19 | 2004-02-19 | Recording / reproducing apparatus, control method for recording / reproducing apparatus, control program for recording / reproducing apparatus, and recording medium storing control program for recording / reproducing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004043590A JP4342977B2 (en) | 2004-02-19 | 2004-02-19 | Recording / reproducing apparatus, control method for recording / reproducing apparatus, control program for recording / reproducing apparatus, and recording medium storing control program for recording / reproducing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005236693A JP2005236693A (en) | 2005-09-02 |
JP4342977B2 true JP4342977B2 (en) | 2009-10-14 |
Family
ID=35019189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004043590A Expired - Fee Related JP4342977B2 (en) | 2004-02-19 | 2004-02-19 | Recording / reproducing apparatus, control method for recording / reproducing apparatus, control program for recording / reproducing apparatus, and recording medium storing control program for recording / reproducing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4342977B2 (en) |
-
2004
- 2004-02-19 JP JP2004043590A patent/JP4342977B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005236693A (en) | 2005-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7058129B2 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
JP4538908B2 (en) | Data conversion apparatus and method | |
JP3846771B2 (en) | Decoder and playback device | |
JP3094999B2 (en) | Audio / video synchronous playback device | |
US8676038B2 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
CN101150740B (en) | Playback method and playback apparatus | |
JP2005094145A (en) | Image recorder and image reproducer | |
US8244094B2 (en) | Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal | |
KR100975175B1 (en) | Information processing device and method, program, and recording medium | |
KR100975170B1 (en) | Image data reproducing device and method | |
JP4821511B2 (en) | VIDEO PROCESSING METHOD, VIDEO PROCESSING PROGRAM, VIDEO PROCESSING DEVICE, AND REPRODUCTION METHOD, REPRODUCTION PROGRAM, AND REPRODUCTION DEVICE | |
KR100577327B1 (en) | Av data recording/reproducing apparatus and method and recording medium on which data is recorded by the av data recording/reproducing apparatus or method | |
JP4342977B2 (en) | Recording / reproducing apparatus, control method for recording / reproducing apparatus, control program for recording / reproducing apparatus, and recording medium storing control program for recording / reproducing apparatus | |
JP3918332B2 (en) | Multiplexer, multiplexing method, and recording medium | |
JPWO2004034616A1 (en) | Broadcast data transmission / reception system and broadcast data transmission / reception method | |
JP2000244863A (en) | Recording device and reproducing device | |
JP4725675B2 (en) | Recording / reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method, and computer program | |
JP2006319645A (en) | Picture reproducer, method, program, and storage medium | |
JP4390666B2 (en) | Method and apparatus for decoding and reproducing compressed video data and compressed audio data | |
JP3823426B2 (en) | Information signal processing apparatus and method | |
JP2001268513A (en) | Moving image reproducing device and moving image recording/reproducing system | |
JP4497019B2 (en) | Video processing device | |
JP2000316158A (en) | Encoding device and its method | |
WO2002104017A1 (en) | Image recordimg device and method | |
JP2005159525A (en) | Digital reproducing apparatus or reproducing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080916 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081117 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20081117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090708 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |