JP2006005956A - Moving image reproducing device - Google Patents
Moving image reproducing device Download PDFInfo
- Publication number
- JP2006005956A JP2006005956A JP2005213723A JP2005213723A JP2006005956A JP 2006005956 A JP2006005956 A JP 2006005956A JP 2005213723 A JP2005213723 A JP 2005213723A JP 2005213723 A JP2005213723 A JP 2005213723A JP 2006005956 A JP2006005956 A JP 2006005956A
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- video
- recorded
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Description
本発明は、符号化されたビデオデータと、符号化されたオーディオデータが多重化された、多重化データが記録される書き換え可能なディスク媒体、または、前記多重化データが記憶される半導体メモリを用いた動画像記録方法に関し、特に高速再生および高速逆転再生を可能にする動画像再生装置に関わるものである。 The present invention provides a rewritable disk medium on which multiplexed data is recorded, in which encoded video data and encoded audio data are multiplexed, or a semiconductor memory in which the multiplexed data is stored. The present invention relates to a moving image recording method used, and particularly relates to a moving image reproducing apparatus that enables high-speed reproduction and high-speed reverse reproduction.
ビデオデータは、データレートが非常に高いため、データを加工することなく磁気ディスク、光ディスク、光磁気ディスク等のディスク媒体または半導体メモリに記録するのは困難である。
そのため、ビデオデータやオーディオデータを高能率に符号化することにより、視覚的、聴覚的に劣化することなくデータレートをディスク媒体に記録可能なレートまで下げる方法が用いられている。
高能率符号化方式の例として、MPEG(Moving Picture Experts Group:エムペグ)方式がある。
図14は、MPEG方式により動画像を圧縮する例を示したものである。
同図において、複数の平行四辺形は、動画を構成するフレームを表している。図14(a)の動画像をMPEGで圧縮する過程を同図(b)、(c)に示す。MPEGでは、12枚のビデオフレームや15枚のビデオフレームといった数枚のフレームをまとめてGOP(Group Of Pictures)と呼ぶ。図14(b)において、GOP140中のビデオフレームは、Iフレーム、Pフレーム、Bフレームに分類される。
Iフレームは、フレーム内符号化されたことを示し、Pフレームは、Iフレームから前方向の予測符号化、または、Pフレームから前方向の予測符号化されたことを示す。Bフレームは、IフレームとPフレームの間、もしくはPフレーム間にあり、IフレームやPフレームの両方向から予測符号化されたものである。例として、Pフレーム141、Bフレーム142における予測の方向を矢印で示す。
MPEGでは、図14(b)のフレーム順序を同図(c)のように入れ換えて、ビデオ符号化データを作成する。PフレームやBフレームは、Iフレーム、もしくはIフレームから予測符号化されたビデオフレームから予測符号化するため、GOP内の全てのビデオフレームを復号するには、まずIフレームから復号する必要がある。すなわち、ランダムアクセスなどで、録画した動画像の途中から再生する場合には、Iフレームから復号しなければならない。
しかし、MPEGにより圧縮されたビデオデータの符号量は、短時間では時間に比例しないため、各フレームのビデオ符号化データ量も一定にならず、各フレームの符号化データの記録位置は一意的に定まらない。MPEGで圧縮されたビデオ符号化データを高速再生する方法の1つに、通常再生で表示されるビデオフレームの中からいくつかのフレームを抜きだし、それらのフレームのみ表示する手法がある。ディスクおよび半導体メモリは、その特徴である高速なランダムアクセスを行うことにより、不連続な領域に記録されているデータを連続したデータのように再生することができる。
しかし、MPEGで圧縮されたビデオ符号化データは、フレーム毎の符号量が一定ではなく、フレームの開始位置がわからないため、高速再生に用いるフレームデータのみを次々に読み込むことは困難である。高能率に符号化された符号化データを用いて高速再生を実現する従来技術に、特許文献1に開示された方法がある。図18は、上記公報に記載された従来技術を用いた、ビデオ、オーディオ多重化データの構造を示したものである。
ビデオ符号化データ、オーディオ符号化データは、多重化されるときにエントリパケット200が付加される。エントリパケットは、Iフレームを構成するデータの始まり(エントリポイント)を示すものであり、Iフレームのデータの前に置かれる。エントリパケットのフォーマットを図19に示す。
エントリパケットの先頭には、パケットスタートコード、ID、サイズが配置される。これは、エントリパケットをMPEGの規格で定義されるプライベートストリーム2パケットに対応させるためのものである。その次には、****ID、****Packet_Typeが配置され、これは、特定人独自の分類を示す。その次には、Current_#_Data_Streams、Current_#_Video_Streams、Current_#_Audio_Streamsが配置され、このエントリパケットの直後から、次のエントリパケットの直前までに多重化されているデータパケット、ビデオパケット、オーディオパケットの数をそれぞれ示している。更にその次には、entry_packet−3、entry_packet−2、entry_packet−1、entry_packet+1、entry_packet+2、entry_packet+3が配置され、それぞれ3つ手前、2つ手前、1つ手前、1つ先、2つ先、3つ先のエントリパケットの位置と、それらのエントリパケットとの相対距離をディスクのセクタ数で表したものが管理される。
上記従来例の符号化装置を図20に示し、参照しながら動作を説明する。
ビデオエンコーダ17により符号化されたビデオデータは、ビデオエントリポイント検出回路212によりエントリポイントが検出される。制御装置219は、ビデオエントリポイント検出回路212から信号を受けとり、エントリパケット発生回路218、スイッチング回路215、ヘッダ付加回路216を制御して、エントリパケットをエントリポイントの直前に挿入しDSM213(DataStrage Media)に記録する。
このとき、エントリパケット内のentry_packet−3、entry_packet−2、entry_packet−1を作成するために、エントリポイント記憶装置211に過去のエントリパケット位置を記憶しておく。しかしながら、未来のエントリポイントの位置を示すentry_packet+1、entry_packet+2、entry_packet+3は、知ることができないため、これらの情報は、多重化データを記録した後に追記される。
次に、上記従来例の復号化装置を図21に示し、参照しながら高速サーチ時の動作を説明する。
通常再生時にDSM213から読み出されたエントリパケット情報は、エントリポイント記憶装置211に随時記憶される。高速サーチが命令されると、制御装置222はDSM213から現在の読み出し位置情報を受けとり、エントリポイント記憶装置211からその位置の近傍のエントリパケットを抽出する。制御装置222は、DSM213に命令を送り、読み出し位置をエントリポイント記憶装置211から抽出したエントリパケットに高速移動させてデータを読み出す。ヘッダ分離回路220およびスイッチング回路221は、読み出されたデータを分離し、エントリパケット位置を制御装置222を通じてエントリポイント記憶装置211へ送信し、ビデオ符号化データをビデオデコーダ22に送信する。
ビデオデコーダ22は、ビデオ符号化データを受け取りIフレームを再生する。Iフレームの再生後、制御装置222は、エントリポイント記憶装置211に記憶されているエントリパケット位置を参照して次のエントリパケットのデータを読み出す動作を繰り返す。このとき、次のエントリパケットの位置を前後6つのエントリポイント情報から選択することにより、サーチの向きを変えたり、サーチ速度を可変にすることができる。
Therefore, a method is used in which video data and audio data are encoded with high efficiency to reduce the data rate to a rate that can be recorded on a disk medium without visual or auditory degradation.
As an example of the high-efficiency encoding method, there is an MPEG (Moving Picture Experts Group) method.
FIG. 14 shows an example in which a moving image is compressed by the MPEG method.
In the figure, a plurality of parallelograms represent frames constituting a moving image. The process of compressing the moving picture of FIG. 14A by MPEG is shown in FIGS. In MPEG, several frames such as 12 video frames and 15 video frames are collectively called GOP (Group Of Pictures). In FIG. 14B, video frames in the GOP 140 are classified into I frames, P frames, and B frames.
The I frame indicates that intra-frame encoding has been performed, and the P frame indicates that forward prediction encoding from the I frame or forward encoding from P frame has been performed. The B frame is between the I frame and the P frame, or between the P frames, and is predictively encoded from both directions of the I frame and the P frame. As an example, the prediction directions in the
In MPEG, the frame order shown in FIG. 14B is changed as shown in FIG. Since P frames and B frames are predictively encoded from I frames or video frames that have been predictively encoded from I frames, in order to decode all video frames in a GOP, it is necessary to first decode from I frames. . That is, when playing back a recorded moving image in the middle of random access or the like, it must be decoded from the I frame.
However, since the code amount of video data compressed by MPEG is not proportional to time in a short time, the video encoded data amount of each frame is not constant, and the recording position of the encoded data of each frame is unique. Not determined. As one of the methods for high-speed reproduction of video encoded data compressed by MPEG, there is a method of extracting several frames from video frames displayed in normal reproduction and displaying only those frames. The disk and the semiconductor memory can reproduce the data recorded in the discontinuous area like continuous data by performing high-speed random access, which is a feature of the disk and the semiconductor memory.
However, in the video encoded data compressed by MPEG, the code amount for each frame is not constant, and the start position of the frame is not known. Therefore, it is difficult to read only frame data used for high-speed reproduction one after another. As a conventional technique for realizing high-speed reproduction using encoded data encoded with high efficiency, there is a method disclosed in
The video encoded data and audio encoded data are added with an
A packet start code, ID, and size are arranged at the head of the entry packet. This is to make the entry packet correspond to the
The above conventional coding apparatus is shown in FIG. 20, and the operation will be described with reference to FIG.
The video data encoded by the
At this time, in order to create entry_packet-3, entry_packet-2, and entry_packet-1 in the entry packet, the past entry packet position is stored in the entry
Next, the conventional decoding apparatus is shown in FIG. 21, and the operation during high-speed search will be described with reference to FIG.
The entry packet information read from the DSM 213 during normal playback is stored in the entry
The
このように、従来技術におけるエントリパケットは、前後のエントリパケットの位置を管理しているため、動画像をリアルタイムに記録媒体へ記録するときに次の(未来の)エントリパケットの位置が特定できないためエントリパケットを含んだ多重化データを作成することができない。
また、データ符号化装置は、エントリパケット位置を符号化装置内のメモリに蓄えて、多重化データを記録した後に、エントリパケット位置を記録媒体に追記する。
しかし、エントリパケットは、全てのIフレームを構成するビデオ符号化データの前に置かれるので、多重化データの中に多数のエントリパケットが存在することになり、多重化データの記録後にエントリパケット内の情報を追記するのに時間がかかる。
更に、従来技術では、エントリパケットに続くデータを記録媒体から読み出した後に、そのデータのヘッダ情報を解析することにより、Iフレームを構成するデータの終りを判断し、読みだし位置を次のエントリパケットに移動する。そのため、実際にはIフレームを構成するデータを記録媒体から読み終えていても、エラー訂正の処理やIフレームのデータの終りを判定するための時間がかかり、その結果、Iフレーム1枚の処理時間が長くなり高速サーチの速度が遅くなる。
更に、記録媒体から読み出したデータの一部に訂正不能のエラーが生じた場合、Iフレームを構成するデータの終了を検出することができず、読み出し位置を次のエントリパケットに移動しなくなるため、ディスクの制御が不安定になる。などの問題があった。
本発明は、かかる従来の動画像記録方法及び再生方法が有していた問題点を解決することを目的とし、これを解決した動画像記録方法及び再生方法を提供するものである。
As described above, since the entry packet in the prior art manages the positions of the preceding and following entry packets, the position of the next (future) entry packet cannot be specified when a moving image is recorded on the recording medium in real time. Multiplexed data including entry packets cannot be created.
Further, the data encoding apparatus stores the entry packet position in a memory in the encoding apparatus, records the multiplexed data, and then appends the entry packet position to the recording medium.
However, since the entry packet is placed before the video encoded data constituting all the I frames, a large number of entry packets exist in the multiplexed data. It takes time to add the information.
Further, in the prior art, after the data following the entry packet is read from the recording medium, the header information of the data is analyzed to determine the end of the data constituting the I frame, and the read position is set to the next entry packet. Move to. For this reason, even if the data constituting the I frame is actually read from the recording medium, it takes time to perform error correction processing and determine the end of the data of the I frame. Longer time and faster search speed.
Furthermore, when an uncorrectable error occurs in a part of the data read from the recording medium, the end of the data constituting the I frame cannot be detected, and the read position is not moved to the next entry packet. Disk control becomes unstable. There were problems such as.
An object of the present invention is to solve the problems of the conventional moving image recording method and reproducing method, and to provide a moving image recording method and reproducing method which solves the problems.
本発明は、課題を解決するために以下のような手段を講じた。
即ち、本発明にかかる動画像再生装置は、複数の固定長サイズのブロックで構成される少なくともビデオ符号化データとオーディオ符号化データを含む多重化データ及び管理ファイルが記録されているディスク状の記録媒体を再生する装置であって、ビデオ符号化データはビデオフレーム群を符号化したものであり、複数のビデオフレームを1単位とした場合に、該1単位もしくは複数単位に対応するビデオ符号化データの開始位置を該多重化データの先頭データが記録されるブロックから該1単位の先頭データが記録される第1のブロックまでの第1の相対ブロック数とし、また、フレーム内符号化されたビデオフレームの終了位置を、該第1のブロックから該フレーム内符号化されたビデオフレームの最後のデータが記録される第2のブロックまでの第2の相対ブロック数とし、該第1の相対ブロック数及び該第2の相対ブロック数が前記多重化データとは別に管理ファイルとして記録媒体に記録されていることを特徴とするものである。
また、本発明にかかる動画像再生装置は、複数の固定長サイズのブロックで構成される少なくともビデオ符号化データとオーディオ符号化データを含む多重化データ及び管理ファイルが記録されているディスク状の記録媒体を再生する装置であって、ビデオ符号化データはビデオフレーム群を符号化したものであり、複数のビデオフレームを1単位とし、1単位もしくは複数単位毎にヘッダが付加される場合に、該1単位の開始位置を、該多重化データの先頭データが記録されるブロックから該ヘッダの先頭データが記録されるブロックまでの第3の相対ブロック数とし、また、フレーム内符号化されたビデオフレームの終了位置を、該第3のブロックから該フレーム内符号化されたビデオフレームの最後のデータが記録される第4のブロックまでの第4の相対ブロック数とし、該第3の相対ブロック数及び該第4の相対ブロック数が前記多重化データとは別に管理ファイルとして記録媒体に記録されていることを特徴とするものである。
The present invention has taken the following measures in order to solve the problems.
That is, the moving picture reproducing apparatus according to the present invention is a disc-shaped recording in which multiplexed data including at least video encoded data and audio encoded data, and a management file are recorded, which are composed of a plurality of fixed-length blocks. An apparatus for reproducing a medium, wherein the video encoded data is obtained by encoding a video frame group, and when a plurality of video frames are defined as one unit, the video encoded data corresponding to the one unit or the plurality of units is provided. Is the first relative number of blocks from the block where the head data of the multiplexed data is recorded to the first block where the head data of one unit is recorded, and the intra-coded video The end position of the frame is set to the second block in which the last data of the intra-coded video frame is recorded from the first block. The second relative number of blocks until the first data block is recorded, and the first relative block number and the second relative block number are recorded on a recording medium as a management file separately from the multiplexed data. Is.
Also, the moving picture reproducing apparatus according to the present invention is a disc-shaped recording in which multiplexed data including at least video encoded data and audio encoded data composed of a plurality of fixed-length blocks and a management file are recorded. An apparatus for reproducing a medium, wherein video encoded data is obtained by encoding a video frame group, and when a plurality of video frames are defined as one unit and a header is added to each unit or a plurality of units, The start position of one unit is the third relative number of blocks from the block where the head data of the multiplexed data is recorded to the block where the head data of the header is recorded, and the video frame which is intra-coded The end position of the fourth block in which the last data of the intra-coded video frame is recorded from the third block. Up to a fourth relative block number, and the third relative block number and the fourth relative block number are recorded on a recording medium as a management file separately from the multiplexed data. is there.
以上説明したように、本発明では、圧縮されたビデオデータ、オーディオデータを多重化して記録媒体に記録するとき、パケット開始位置、GOP開始位置、Iフレーム終了位置、Pフレーム終了位置をまとめて管理ファイルとして多重化データと別に扱うことにより、位置情報の記録時間が大幅に短縮される。
更に、管理ファイルのデータと多重化データの管理を個別に行えるようになるのでデータ管理が簡便になり、また、管理ファイルのデータの記録フォーマットを変更する等の将来的な各種変更などへも柔軟に対応できるようになる。
また、本発明では、前記管理ファイルを参照してディスクから多重化データを読み出すことにより、高速再生において1枚のフレームの再生に必要な時間が短くなるため、再生速度の向上、または、再生速度を従来と同じにして、より多くのフレームを表示するなめらかな再生が行える。
更に、記録媒体からデータを読み出すためのディスクの制御は、読み出した多重化データに依存しないため、制御が簡単になり、また、読み出しエラーが発生してもディスクの制御が不安定になることがない等データエラーに対する耐性が強くなる。
As described above, in the present invention, when the compressed video data and audio data are multiplexed and recorded on the recording medium, the packet start position, GOP start position, I frame end position, and P frame end position are managed together. By handling the data separately from the multiplexed data, the recording time of the position information is greatly shortened.
In addition, management file data and multiplexed data can be managed separately, simplifying data management, and flexible to future changes such as changing the recording format of management file data. It becomes possible to cope with.
In the present invention, since the time required for reproducing one frame in high-speed reproduction is shortened by referring to the management file and reading multiplexed data from the disk, the reproduction speed is improved or the reproduction speed is increased. Is the same as the conventional one, and smooth playback can be performed to display more frames.
Furthermore, since the control of the disk for reading data from the recording medium does not depend on the read multiplexed data, the control becomes simple, and even if a read error occurs, the control of the disk may become unstable. The tolerance to data errors is increased.
まず、動画像記録方法の実施の形態のブロック図を図1に示す。
同図は、動画像記録装置を構成するブロック図の一例を示したものであり、ディスク10、ピックアップ11、ECC12、ドライブ制御部13、管理ファイル記憶部14、ビデオオーディオ多重化部15、オーディオエンコーダ16、ビデオエンコーダ17、検出部a18、コントローラ19から構成される。
ビデオエンコーダ17により符号化された、ビデオ符号化データとオーディオエンコーダ16により符号化されたオーディオ符号化データは、ビデオオーディオ多重化部15により多重化される。多重化されたデータは、検出部a18を通過し、ECC12によりエラー訂正のための処理が行われてディスク10に記録される。
コントローラ19は、ドライブ制御部にデータ書き込み位置を指示する。ビデオオーディオ多重化部15と検出部a18は、管理ファイルの作成に必要な情報をコントローラ19に送り、コントローラ19は、管理ファイル記憶部14に管理ファイルを形成する。管理ファイルのフォーマットを図4に示す。
管理ファイルは、ディスク全体情報40とそれに続く複数のパケット情報41で構成される。パケット情報41は、このパケット情報のサイズ、パケット開始位置、GOP開始位置、Iフレーム終了位置、Pフレーム終了位置で構成される。パケット開始位置は、パケットの先頭データが記録されるセクタのアドレスまたは、多重化データの先頭データが記録されるセクタから見た相対セクタ数とする。
また、GOP開始位置は、GOP分のデータの先頭アドレスが記録されるセクタのアドレスとする。また、Iフレームの終了位置は、Iフレームの最後のデータが記録されるセクタのアドレス、または、Iフレームの次のフレームの直前のデータが記録されるセムタのアドレスとする。また、Pフレームの終了位置は、Pフレームの最後のデータが記録されるセクタのアドレスとする。また、上記GOP開始位置、Iフレームの終了位置、Pフレームの終了位置を多重化データの先頭が記録されるセクタまたは、パケットの先頭データが記録されるセクタから見た相対セクタ数としても構わない。
これらの位置は、例えば、図7に示すように位置の種類を示すID領域とセクタアドレスまたは、相対セクタ数を表す領域で管理される。
図4に示すように、図1のビデオオーディオ多重化部15で多重化されたデータは、複数のパケットで構成される。パケットの先頭には、パケット管理情報が配置され、その次に数GOP分のデータが配置される。ビデオとオーディオの多重化は、例えば、GOP毎にオーディオ符号化データ42が先に配置され、その次にビデオ符号化データが配置される。
パケット管理情報は、パケット内のオーディオデータとビデオデータを分離するための情報、ビデオとオーディオの再生同期のための情報から構成される。これは、例えば、図10に示すような、システム時刻基準参照値SCR(System Clock Reference)、この後の最初のビデオフレームが表示される時刻VPTS(Video Presentation TimeStamp)、この後の最初のオーディオフレームが表示される時刻APTS(Audio Presentation Time Stamp)、パケット管理情報に続くオーディオ符号化データのサイズ、ビデオ符号化データのサイズを示したAV分離情報から構成される。
パケットとディスクのクラスタとの関係を図3に示す。パケットは、整数クラスタで構成される。しかしながら、ビデオの符号量は一定ではないので、パケットの最後に空き領域を作成してパケット全体の長さを調整する。ディスク全体情報には、図6に示すようなディスクの空きセクタ情報、残り記録時間情報と複数の動画情報が配置される。動画情報には、ユーザーが記録した1つの動画像を単位として、タイトル、作成日時、記録時間、パケット連結情報が配置される。パケット連結情報には、複数のGOP分のデータで構成されるパケットの再生順番が示され、ユーザーは編集を行いパケットの再生順番を変更したり、パケットを削除することができる。
次に、動画像記録装置の実施の形態の動作を図1を参照しながら説明する。
ビデオオーディオ多重化部15は、複数のGOPを区切りとしてビデオ符号化データとオーディオ符号化データを多重化する。これは、例えば、GOP毎にオーディオ符号化データ、ビデオ符号化データの順番で配置する。区切られたデータの先頭にパケット管理情報を付加し、データの終りに空き領域を付加して整数クラスタサイズのパケットを作成し、検出部a18に多重化データを送信する。また、ビデオオーディオ多重化部15は、パケットの作成をコントローラ19に知らせる。
検出部a18は、ビデオオーディオ多重化部15から送られる多重化データから、GOP開始位置、Iフレーム終了位置、Pフレーム終了位置を検出してコントローラ19に知らせる。これは、例えば、図8のフローチャートに従う。
同図において、ステップS60ではPTCおよびPSCの初期値を設定する。PTC、PSCは、それぞれIまたはPのピクチャタイプコード、IフレームまたはPフレームの次のフレームのピクチャスタートコードを検出したときに1となる変数である。ここで、ピクチャスタートコードはピクチャ(フレーム)の開始コード、ピクチャタイプは符号化方式(I、P、B)を表したものであり、これらはMPEGで規格化されている。
ステップS61、S62では、シーケンスヘッダコードを検出したときに、そこをGOPの開始として図1のコントローラ19に知らせる。シーケンスヘッダコードは、画像サイズ、画像レートなど同じ属性を持つフレーム情報の開始コードであり、これもMPEGで規格化されている。
ステップS63、S64、S65では、ピクチャスタートコードを検出しPTC=1のときに、ピクチャスタートコードの直前のデータをIフレームまたはPフレームの終りとして図1のコントローラ19に知らせ、PSC=1とする。ステップS66、S67、S68では、ピクチャタイプコードを検出し、そのピクチャタイプコードがIまたはPのときに、PTC=1とし検出したピクチャタイプをPIC_TYPEに格納する。上記の処理は、ステップS69でビデオシーケンスの終了が検出されるまで繰り返される。
以上の処理により、GOPの開始位置、Iフレームの終了位置、Pフレームの終了位置を検出する。
コントローラ19は、ビデオオーディオ多重化部15および検出部a18から送られる信号と、検出したGOPの開始位置、Iフレームの終了位置、Pフレームの終了位置をディスクに記録する位置から管理ファイル記憶部14に管理ファイルを作成する。作成した管理ファイルは、動画像記録終了後、もしくはディスクを取り出す時にディスク10に記録される。既に動画像が記録されたディスクを扱う場合は、動画像記録開始の直前、もしくはディスクを動画像記録装置に挿入したときにディスク10から管理ファイルが読み出され、管理ファイル記憶部14に転送される。これまでの実施の形態では、管理ファイルのパケット情報に全てのIフレームの終了位置と全てのPフレームの終了位置を配置していた。
しかし、実施形態はこれに限定するものではなく、管理するフレーム終了位置を減らすことにより管理ファイルのデータ量を節約しても構わない。これは、例えば、図5に示すようなPフレームの終了位置を管理しないフォーマットが考えられる。
また、図8のフローチャートでは、IフレームまたはPフレームの終わりをIフレームまたはPフレームの直前のデータとしているが、IフレームまたはPフレームの終わりをIフレームまたはPフレームのデータの最後としても構わない。
また、パケットを構成するオーディオ符号化データとビデオ符号化データの多重化方法は、図4に示したGOP毎にオーディオ符号化データ、ビデオ符号化データの順番に配置する方法に限定せず、図11(a)に示すGOP毎にビデオ符号化データ、オーディオ符号化データの順番に配置する方法や、同図(b)のビデオフレーム毎にオーディオ符号化データを配置する方法でも構わない。
また、多重化データはビデオとオーディオに限定するものではなく、例えば、図12に示す字幕情報などを含むサブピクチャ領域100や図13に示すアフレコ用の領域110を付加しても構わない。
本実施の形態では、GOPの先頭にシーケンスヘッダを配置する。これは、シーケンスヘッダをビデオ符号化データの先頭にのみ配置すると、編集等により多重化データの途中から再生したときにシーケンスヘッダを読み込めず、正常な再生が行われないからである。そこで、本実施の形態では、シーケンスヘッダを多重化データの各GOPデータの先頭に配置し、途中のGOPから再生することを可能にする。
次に、動画像再生方法の高速再生時における処理を説明する。
本発明の高速再生におけるディスクの読み込み動作を図15に示す。高速再生は、GOP150を構成するビデオシーケンスの一部をディスクから読み込みIフレーム152、Pフレーム153、Pフレーム154を順番に再生し、再生装置の図示しないピックアップをシークして数個先のGOP151の符号化データの一部を読み込み、Iフレーム、Pフレーム、Pフレームを順番に再生することを繰り返すことにより行われる。
このとき、読み込まれる符号化データは、IBBPBBPとなりIフレームの先頭から読み込みを開始し、2枚目のPフレームを構成するデータの終りで読み込みを終了する。(図15では、2枚目のPフレームで読み込みを終了する例を示しているが、Pフレームの表示枚数を2枚に限定するものではない。また、Iフレームのみ表示することも考えられる。)読み込まれたBフレームは、Iフレーム、Pフレームと比べて復号化が困難なため、再生を行わない。
再生するビデオフレームは、Iフレーム、Pフレームのみであるが、Bフレームの符号量はIフレーム、Pフレームに比べて小さいので、Iフレーム、Pフレームのみの符号化データのみを読みだすよりもフレームを連続して読みだして不用なBフレームの符号化データを再生せずに捨てる方が効率良い。
動画像再生方法の実施の形態を図2に示す。
同図は、動画像再生装置を構成するブロック図の一例を示したものであり、ディスク10、ピックアップ11、ECC12、管理ファイル記憶部14、ビデオオーディオ分離部20、オーディオデコーダ21、ビデオデコーダ22、検出部b23、コントローラ24、ドライブ制御部25から構成される。
ディスク10からピックアップ11により読み出された多重化データは、ECC12を通過してエラー訂正処理が行われ、ビデオオーディオ分離部20に入力される。ビデオオーディオ分離部20は、多重化データのヘッダ情報にもとづいて多重化データをビデオ符号化データとオーディオ符号化データに分離する。分離されたビデオ符号化データは検出部b23を通過してビデオデコーダ22により再生され、分離されたオーディオ符号化データはオーディオデコーダ21により再生される。
高速再生が命令されたとき、コントローラ24はドライブ制御部25から現在読み出しているデータのディスク位置情報を受け取る。そして、指示された再生速度からGOP毎に再生するビデオフレームの枚数を決定する。これは、例えば、低速サーチの場合は全てのIフレームとPフレームを再生して、高速サーチの場合はIフレームのみ再生をする。
次に、コントローラ24は、GOP毎の再生フレーム数から、管理ファイル記憶部14に格納された管理ファイルを参照することにより読み出し開始位置および読み出し終了位置を設定する。その次に、コントローラ24は、ドライブ制御部25に指定したディスク位置のデータの読み出しを命令し、高速再生に必要な多重化データをディスク10から読み出す。多重化データの読み出しが終ると、次に再生するGOPの開始位置へピックアップ11をジャンプさせる。このジャンプするGOPの数もまた、高速再生の速度により決定される。これは、例えば、低速サーチの場合は1つ先のGOP、高速サーチの場合は数10先のGOPとなる。以上の処理を繰り返すことにより、高速再生が行われる。
高速再生のときのコントローラ24の動作を説明する。
コントローラ24は、図9のフローチャートに従って処理を行う。同図において、ステップS70では、高速再生の速度、方向によって、ジャンプの大きさ、GOP毎の表示フレーム数、正逆方向の初期値を設定する。
また、現在再生している、または再生停止状態で注目しているGOPに対応する管理ファイルのパケット情報のGOP開始位置のアドレスをadrに、現在再生している、または再生停止状態で注目しているパケットに対応する管理ファイルのパケット情報のパケット開始位置のアドレスをpacket_adr、パケット情報ファイルのサイズをlengthに設定する。
サイズおよびアドレスの単位は図7のIDを示すビット数と位置を示すビット数を足し合わせたものとする。また、パケット情報内のパケット情報サイズのビット数も上記の単位に等しいとする。
図4の例で説明すると、adrの値がGOP開始位置43を示しているとき、adr+1はIフレーム終了位置44、adr+2はPフレーム終了位置45を示す。
ステップS72、S73、S74では、設定した「GOP毎の表示フレーム数P」が実際に表示可能か確認する。
ステップS75では、表示可能なフレーム数に応じて高速再生に必要な多重化データをディスクから読み込み、再生を行う。ディスクからのデータの読み込みは、管理ファイルのアドレスadrに格納されているGOP先頭位置、アドレスadr+iに格納されているフレーム終了位置をドライブ制御部25に転送し行われる。
ステップS75において、逆転方向の再生が指定されている場合はディスクから読み込み復号化したIフレーム、複数のPフレームを逆の順番に再生する。また、再生するフレームの画像をそれぞれ数フレーム連続して表示することにより、再度ステップS75を実行するまでに、画像の表示が終了して表示が途切れることが生じないようにする。
ステップS79、S80、S82、S83では、早送り、巻き戻しにより表示位置が動画の範囲外にならないかを確認し、範囲を越えてしまう場合は高速再生の動作を終了する。
ステップS79、S80で順方向の範囲外であるかどうかを判定し、次にステップS82、S83で逆方向の範囲外であるかどうかを判定する。
ステップS88で、ジャンプ先のGOPが存在するかを判定し、存在する場合はステップS89においてadrをジャンプ先のGOPに更新してステップS72に戻る。
図2に示すように、ディスクから読み込まれた多重化データは、ビデオオーディオ分離部20によりビデオ符号化データとオーディオ符号化データに分離される。このとき、ディスクから読み出されるデータには、再生を行うIフレーム、Pフレームの間に再生を行わないBフレームの符号化データが含まれている。検出部b23は、ピクチャスタートコードとピクチャタイプを検出することにより、Iフレーム、Pフレームの符号化データのみをビデオデコーダ22に送る。以上のようにして、管理ファイルを用いた高速再生が実現される。
次に、別の実施の形態を述べる。
本発明に用いる記録媒体は、ディスクに限定するものでなく、例えば半導体メモリに記録しても構わない。半導体メモリを用いた動画像記録装置のブロック図の一例を図16に示し、半導体メモリを用いた動画像再生装置のブロック図の一例を図17に示す。図16では、コントローラ19から半導体メモリ160の読み出し、書き込みアドレス、図17ではコントローラ24から半導体メモリ160の読み出しアドレスが命令される。その他の構成および動作は、先の実施例に従う。
First, a block diagram of an embodiment of a moving image recording method is shown in FIG.
FIG. 1 shows an example of a block diagram constituting a moving image recording apparatus, and includes a
The video encoded data encoded by the
The controller 19 instructs the data writing position to the drive control unit. The video
The management file is composed of whole disk information 40 followed by a plurality of
Further, the GOP start position is set to the address of the sector where the start address of the GOP data is recorded. The end position of the I frame is the address of the sector where the last data of the I frame is recorded, or the address of the semter where the data immediately before the next frame of the I frame is recorded. The end position of the P frame is the address of the sector where the last data of the P frame is recorded. The GOP start position, I frame end position, and P frame end position may be the relative number of sectors as viewed from the sector where the head of the multiplexed data is recorded or the sector where the head data of the packet is recorded. .
These positions are managed by, for example, an ID area indicating the type of position and a sector address or an area indicating the relative number of sectors as shown in FIG.
As shown in FIG. 4, the data multiplexed by the video /
The packet management information is composed of information for separating audio data and video data in the packet and information for synchronizing reproduction of video and audio. For example, as shown in FIG. 10, a system time reference value SCR (System Clock Reference), a time VPTS (Video Presentation TimeStamp) at which the first video frame is displayed, and a first audio frame thereafter Is displayed, the time APTS (Audio Presentation Time Stamp), the size of the audio encoded data following the packet management information, and the AV separation information indicating the size of the video encoded data.
The relationship between packets and disk clusters is shown in FIG. A packet is composed of integer clusters. However, since the video code amount is not constant, an empty area is created at the end of the packet to adjust the length of the entire packet. In the entire disk information, free sector information of the disk, remaining recording time information, and a plurality of moving image information as shown in FIG. 6 are arranged. In the moving image information, a title, creation date / time, recording time, and packet connection information are arranged in units of one moving image recorded by the user. The packet connection information indicates the reproduction order of packets composed of data for a plurality of GOPs, and the user can edit and change the reproduction order of the packets or delete the packets.
Next, the operation of the embodiment of the moving image recording apparatus will be described with reference to FIG.
The video
The detection unit a18 detects the GOP start position, the I frame end position, and the P frame end position from the multiplexed data sent from the video
In the figure, in step S60, initial values of PTC and PSC are set. PTC and PSC are variables that become 1 when an I or P picture type code and a picture start code of a frame subsequent to an I frame or P frame are detected. Here, the picture start code represents the start code of the picture (frame), and the picture type represents the encoding method (I, P, B), and these are standardized by MPEG.
In steps S61 and S62, when a sequence header code is detected, this is notified to the controller 19 in FIG. 1 as the start of a GOP. The sequence header code is a start code of frame information having the same attributes such as image size and image rate, and is also standardized by MPEG.
In steps S63, S64, and S65, when the picture start code is detected and PTC = 1, the data immediately before the picture start code is notified to the controller 19 in FIG. 1 as the end of the I frame or P frame, and PSC = 1. . In steps S66, S67, and S68, the picture type code is detected, and when the picture type code is I or P, the detected picture type is stored in PIC_TYPE with PTC = 1. The above process is repeated until the end of the video sequence is detected in step S69.
Through the above processing, the GOP start position, I frame end position, and P frame end position are detected.
The controller 19 stores the signals sent from the video /
However, the embodiment is not limited to this, and the data amount of the management file may be saved by reducing the frame end position to be managed. For example, a format that does not manage the end position of the P frame as shown in FIG. 5 is conceivable.
In the flowchart of FIG. 8, the end of the I frame or P frame is the data immediately before the I frame or P frame, but the end of the I frame or P frame may be the end of the data of the I frame or P frame. .
Also, the method of multiplexing the audio encoded data and the video encoded data constituting the packet is not limited to the method of arranging the audio encoded data and the video encoded data in order for each GOP shown in FIG. A method of arranging video encoded data and audio encoded data for each GOP shown in FIG. 11 (a) or a method of arranging audio encoded data for each video frame of FIG.
The multiplexed data is not limited to video and audio. For example, a
In the present embodiment, a sequence header is arranged at the head of the GOP. This is because if the sequence header is arranged only at the beginning of the video encoded data, the sequence header cannot be read when the multiplexed data is reproduced from the middle by editing or the like, and normal reproduction is not performed. Therefore, in the present embodiment, the sequence header is arranged at the head of each GOP data of the multiplexed data and can be reproduced from the GOP in the middle.
Next, processing during high-speed playback in the moving image playback method will be described.
FIG. 15 shows a disk reading operation in the high speed reproduction of the present invention. In high-speed playback, a part of the video sequence that constitutes the
At this time, the encoded data to be read becomes IBBPBBP, and reading starts from the head of the I frame, and reading ends at the end of the data constituting the second P frame. (FIG. 15 shows an example in which reading is completed at the second P frame, but the number of P frames displayed is not limited to two. It is also possible to display only I frames. ) The read B frame is not reproduced because it is difficult to decode compared to the I frame and the P frame.
The video frames to be reproduced are only I frames and P frames, but since the code amount of B frames is smaller than that of I frames and P frames, the frame is more than the case of reading only the encoded data of only I frames and P frames. It is more efficient to continuously read out and discard the unnecessary B frame encoded data without reproducing it.
An embodiment of the moving image reproduction method is shown in FIG.
FIG. 1 shows an example of a block diagram constituting a moving image playback apparatus, and includes a
The multiplexed data read from the
When the high speed reproduction is instructed, the controller 24 receives the disk position information of the data currently being read from the drive control unit 25. Then, the number of video frames to be reproduced for each GOP is determined from the instructed reproduction speed. For example, all I frames and P frames are reproduced in the case of the low-speed search, and only I frames are reproduced in the case of the high-speed search.
Next, the controller 24 sets the read start position and the read end position by referring to the management file stored in the management file storage unit 14 from the number of playback frames for each GOP. Next, the controller 24 instructs the drive control unit 25 to read the data at the designated disk position, and reads multiplexed data necessary for high-speed playback from the
The operation of the controller 24 during high speed reproduction will be described.
The controller 24 performs processing according to the flowchart of FIG. In step S70, the jump size, the number of display frames for each GOP, and the initial values in the forward and reverse directions are set according to the speed and direction of high-speed playback.
Further, the address of the GOP start position of the packet information of the management file corresponding to the GOP currently being reproduced or being noticed in the reproduction stopped state is set to adr, and attention is paid in the currently reproduced or reproduction stopped state. Packet_adr is set as the address of the packet start position of the packet information of the management file corresponding to the received packet, and the size of the packet information file is set as length.
The unit of size and address is the sum of the number of bits indicating ID and the number of bits indicating position in FIG. Further, the number of bits of the packet information size in the packet information is also assumed to be equal to the above unit.
Referring to the example of FIG. 4, when the value of adr indicates the
In steps S72, S73, and S74, it is confirmed whether the set “display frame number P for each GOP” is actually displayable.
In step S75, multiplexed data required for high-speed playback is read from the disc according to the number of displayable frames, and playback is performed. Reading of data from the disk is performed by transferring the GOP head position stored at the address adr of the management file and the frame end position stored at the address adr + i to the drive control unit 25.
If playback in the reverse direction is designated in step S75, the I frame and the plurality of P frames read from the disc and decoded are played in the reverse order. Further, by displaying the images of the frames to be reproduced several frames in succession, the display of the images is not terminated and the display is not interrupted until step S75 is executed again.
In steps S79, S80, S82, and S83, it is confirmed whether or not the display position is out of the moving image range by fast-forwarding and rewinding. If the display position exceeds the range, the high-speed playback operation is terminated.
In steps S79 and S80, it is determined whether or not the range is out of the forward direction. Next, in steps S82 and S83, it is determined whether or not the range is out of the reverse direction.
In step S88, it is determined whether there is a jump destination GOP. If there is, the adr is updated to the jump destination GOP in step S89, and the flow returns to step S72.
As shown in FIG. 2, the multiplexed data read from the disc is separated into video encoded data and audio encoded data by the video /
Next, another embodiment will be described.
The recording medium used in the present invention is not limited to a disk, and may be recorded in, for example, a semiconductor memory. An example of a block diagram of a moving picture recording apparatus using a semiconductor memory is shown in FIG. 16, and an example of a block diagram of a moving picture reproducing apparatus using a semiconductor memory is shown in FIG. In FIG. 16, the controller 19 commands the read and write addresses of the
10 ディスク
11 ピックアップ
12 ECC
13、25 ドライブ制御部
14 管理ファイル記憶部
15 ビデオオーディオ多重化部
16 オーディオエンコーダ
17 ビデオエンコーダ
18 検出部a
19、24 コントローラ
20 ビデオオーディオ分離部
21 オーディオデコーダ
22 ビデオデコーダ
23 検出部b
40 ディスク全体情報
41 パケット情報
42 オーディオ符号化データ
43 GOP開始位置
44 I終了位置
45 P終了位置
100 サブピクチャ領域
110 アフレコ領域
140、150、151 GOP
141、153、154 Pフレーム
142 Bフレーム
152 Iフレーム
160 半導体メモリ
200 エントリパケット
211 エントリポイント記憶装置
212 ビデオエントリポイント検出回路
213 DSM
214 コードバッファ
215、221 スイッチング回路
216 ヘッダ付加回路
217 多重化システムクロック発生装置
218 エントリパケット発生回路
219、222 制御装置
220 ヘッダ分離回路
10 Disc 11
13, 25 Drive control unit 14 Management
19, 24
40
141, 153, 154 P frame 142 B frame 152 I frame 160
214
Claims (2)
ビデオ符号化データはビデオフレーム群を符号化したものであり、複数のビデオフレームを1単位とした場合に、該1単位もしくは複数単位に対応するビデオ符号化データの開始位置を該多重化データの先頭データが記録されるブロックから該1単位の先頭データが記録される第1のブロックまでの第1の相対ブロック数とし、
また、フレーム内符号化されたビデオフレームの終了位置を、該第1のブロックから該フレーム内符号化されたビデオフレームの最後のデータが記録される第2のブロックまでの第2の相対ブロック数とし、
該第1の相対ブロック数及び該第2の相対ブロック数が前記多重化データとは別に管理ファイルとして記録媒体に記録されていることを特徴とする動画像再生装置。 An apparatus for playing back a disk-shaped recording medium on which multiplexed data including at least video encoded data and audio encoded data and a management file, each of which is composed of a plurality of fixed-length blocks, is recorded.
The encoded video data is obtained by encoding a group of video frames. When a plurality of video frames are set as one unit, the start position of the encoded video data corresponding to the one unit or the plurality of units is set to the multiplexed data. The first relative number of blocks from the block in which the head data is recorded to the first block in which the one unit of head data is recorded,
In addition, the end position of the intra-coded video frame is defined as the second relative block number from the first block to the second block in which the last data of the intra-coded video frame is recorded. age,
A moving image reproducing apparatus, wherein the first relative block number and the second relative block number are recorded on a recording medium as a management file separately from the multiplexed data.
ビデオ符号化データはビデオフレーム群を符号化したものであり、複数のビデオフレームを1単位とし、1単位もしくは複数単位毎にヘッダが付加される場合に、
該1単位の開始位置を、該多重化データの先頭データが記録されるブロックから該ヘッダの先頭データが記録されるブロックまでの第3の相対ブロック数とし、
また、フレーム内符号化されたビデオフレームの終了位置を、該第3のブロックから該フレーム内符号化されたビデオフレームの最後のデータが記録される第4のブロックまでの第4の相対ブロック数とし、
該第3の相対ブロック数及び該第4の相対ブロック数が前記多重化データとは別に管理ファイルとして記録媒体に記録されていることを特徴とする動画像再生装置。
An apparatus for playing back a disk-shaped recording medium on which multiplexed data including at least video encoded data and audio encoded data and a management file, each of which is composed of a plurality of fixed-length blocks, is recorded.
The video encoded data is obtained by encoding a video frame group, and when a plurality of video frames are set as one unit and a header is added to each unit or a plurality of units,
The start position of one unit is the third relative block number from the block where the head data of the multiplexed data is recorded to the block where the head data of the header is recorded,
In addition, the end position of the intra-frame encoded video frame is defined as the fourth relative block number from the third block to the fourth block in which the last data of the intra-frame encoded video frame is recorded. age,
The moving picture reproducing apparatus, wherein the third relative block number and the fourth relative block number are recorded on a recording medium as a management file separately from the multiplexed data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005213723A JP4227605B2 (en) | 2005-07-25 | 2005-07-25 | Video playback device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005213723A JP4227605B2 (en) | 2005-07-25 | 2005-07-25 | Video playback device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002347064A Division JP3718499B2 (en) | 2002-11-29 | 2002-11-29 | Moving image recording method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008200389A Division JP4373481B2 (en) | 2008-08-04 | 2008-08-04 | Video playback device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006005956A true JP2006005956A (en) | 2006-01-05 |
JP4227605B2 JP4227605B2 (en) | 2009-02-18 |
Family
ID=35773887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005213723A Expired - Lifetime JP4227605B2 (en) | 2005-07-25 | 2005-07-25 | Video playback device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4227605B2 (en) |
-
2005
- 2005-07-25 JP JP2005213723A patent/JP4227605B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP4227605B2 (en) | 2009-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2018054A1 (en) | Information processing device, information processing method, and computer program | |
JP2006303652A (en) | Information recording and reproducing system, apparatus, and method | |
US6714721B2 (en) | Changing a playback speed for video presentation recorded in a non-progressive frame structure format | |
KR19980081054A (en) | Coding apparatus and method, decoding apparatus and method, editing method | |
JPH10210402A (en) | Digital signal edit device and method | |
US6707984B2 (en) | Changing a playback speed for video presentation recorded in a modified film format | |
JP3510784B2 (en) | Video recording and playback methods | |
JP3156597B2 (en) | Image information decoding and reproducing apparatus and image information decoding and reproducing method | |
JP3784387B2 (en) | Data decryption method | |
JPWO2004080071A1 (en) | Data processing device | |
US7215871B2 (en) | Changing a playback speed for video presentation recorded in a field structure format | |
JP3718499B2 (en) | Moving image recording method | |
JP3253530B2 (en) | Video recording device | |
JP4348920B2 (en) | Information processing apparatus and method, program, and recording medium | |
JP4227605B2 (en) | Video playback device | |
JP2006287578A (en) | Video processing system, video processor, video processing method and computer program | |
JP4373481B2 (en) | Video playback device | |
JP4377079B2 (en) | Signal processing method and signal processing apparatus | |
JP4312783B2 (en) | AV data reproducing method, AV data reproducing apparatus, program, and recording medium | |
JP3589241B2 (en) | Data encoding device and method, data decoding device and method | |
JP3582530B2 (en) | Recording apparatus and method, reproduction apparatus and method | |
JPH08289250A (en) | Optical disk reproducing device | |
JP2005167489A (en) | Recorder and recording method, reproducer and reproducing method, and recorder/reproducer and recording/reproducing method | |
JP2004140679A (en) | Recording medium and its reproducer and recorder | |
JP2004127381A (en) | Information reproducing device, information reproducing method, information reproduction program, and information recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050726 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050802 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20071205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081128 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
SG99 | Written request for registration of restore |
Free format text: JAPANESE INTERMEDIATE CODE: R316G99 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |