JP2008193203A - Digital video information data generation apparatus, digital video information recording apparatus, digital video information reproducing apparatus, and digital video information data generation method - Google Patents
Digital video information data generation apparatus, digital video information recording apparatus, digital video information reproducing apparatus, and digital video information data generation method Download PDFInfo
- Publication number
- JP2008193203A JP2008193203A JP2007022923A JP2007022923A JP2008193203A JP 2008193203 A JP2008193203 A JP 2008193203A JP 2007022923 A JP2007022923 A JP 2007022923A JP 2007022923 A JP2007022923 A JP 2007022923A JP 2008193203 A JP2008193203 A JP 2008193203A
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- video
- data
- packet
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
Description
この発明は、デジタル放送の映像情報を映像情報記録媒体に記録し再生する映像情報装置に係わり、早送り・早戻し再生時字幕表示が可能な映像情報装置のトランスポートストリームの生成、及びその記録再生に関するものである。 The present invention relates to a video information apparatus that records and reproduces video information of a digital broadcast on a video information recording medium. Generation of a transport stream of a video information apparatus capable of displaying subtitles during fast forward / reverse playback, and recording / reproduction thereof It is about.
デジタル放送をMPEG方式に準拠したフォーマットで光ディスクに書き込まれた符号化されたビデオデータ(映像データ)を再生する際に、早送り・早戻し再生時において、字幕表示を行う方法として、ビデオデータの通常再生開始時点から予め設定した時間だけ遡った時点から再生する方式が提案されている(例えば、特許文献1等)
衛星デジタル放送、地上デジタルテレビジョン放送の普及が高まるにつれて、これらのデジタル放送信号が記録できる記録装置も徐々に普及が進んでいる。これまでのアナログ放送と違って、これらのデジタル放送は、トランスポート・ストリーム(以降TSと省略)に、ビデオデータ、オーディオデータ、字幕・文字スーパーデータ、電子番組表のデジタル・データ等が重畳されて送出されている。このTSを記録する記録装置としては、D−VHS、DVDレコーダー、Blu-ray Disc(以降BDと省略)レコーダーがあるが、それぞれの記録装置で記録フォーマットが異なっている。例えば、D−VHSとBDレコーダーは、デジタル放送のTSをそのまま記録、またはTSの一部を選択して記録する方式を採用しており、DVDは、High Definition(以降HDと省略)のTSを一度復号処理し、その後、再びStandard Definition(以降SDと省略)のプログラム・ストリーム(以降PSと省略)に符号化を行ってから記録を行う。上記の記録装置で、字幕表示が重畳されていないデジタル放送を記録する場合には問題はないが、字幕表示が重畳されている場合、様々な問題点が生じている。 As satellite digital broadcasting and terrestrial digital television broadcasting become more popular, recording devices capable of recording these digital broadcast signals are gradually becoming more popular. Unlike conventional analog broadcasts, these digital broadcasts superimpose video data, audio data, caption / text super data, digital data of electronic program guides, etc. on the transport stream (hereinafter abbreviated as TS). Has been sent out. As a recording apparatus for recording the TS, there are a D-VHS, a DVD recorder, and a Blu-ray Disc (hereinafter abbreviated as BD) recorder, but the recording formats are different for each recording apparatus. For example, D-VHS and BD recorders adopt a method of recording a digital broadcasting TS as it is, or selecting and recording a part of the TS, and DVDs use a high definition TS (hereinafter abbreviated as HD). Once the decoding process is performed, the program stream (hereinafter abbreviated as “PS”) of Standard Definition (hereinafter abbreviated as “SD”) is encoded again and then recorded. There is no problem when the above-described recording apparatus records a digital broadcast on which caption display is not superimposed. However, when caption display is superimposed, various problems occur.
D−VHSやBDレコーダーの場合、放送されたTSをそのまま、またはその一部を選択したパーシャルTSを記録するので、再生時には放送された時と同じTSがそのまま出力される。そのため、放送を受信している時と同様に、字幕付きの放送に対して、字幕のON/OFFを行うことができる。しかし、放送と同じTSを記録することによる弊害も生じる。一般にMPEGで符号化したビデオデータの早送り、早戻し再生は、GOPの先頭にあるIピクチャーのデータだけを読み出して復号することで実現している。字幕データが重畳されている位置は決まっていないため、早送り、早戻し再生中には、字幕を表示するためのデータをディスクから読み出すことができない。そのため、字幕を見ながら早送り早戻し再生から通常再生に戻すタイミングをはかることができなくなってしまう。また、字幕表示用のデータがTSのどの部分に重畳されているか特定できないため、ディスク機器の特徴である、所望のシーンの再生(ランダムアクセスと称される)によりTS上の任意の位置からの再生を行った場合、次の字幕表示用のデータが読み出せるまで字幕が表示できなくなるといった問題点もある。 In the case of a D-VHS or BD recorder, since the broadcast TS is recorded as it is or a partial TS selected as a part thereof is recorded, the same TS as when it was broadcast is output as it is during playback. Therefore, it is possible to turn on / off captions for broadcasts with captions, as in the case of receiving broadcasts. However, there is an adverse effect caused by recording the same TS as the broadcast. In general, fast-forward and fast-rewind playback of MPEG-encoded video data is realized by reading and decoding only the I picture data at the head of the GOP. Since the position where the caption data is superimposed is not determined, the data for displaying the caption cannot be read from the disc during fast forward and fast reverse reproduction. For this reason, it is impossible to measure the timing for returning from fast-forward / fast-reverse playback to normal playback while watching the subtitles. In addition, since it is not possible to specify in which part of the TS the caption display data is superimposed, reproduction from a desired position on the TS by the reproduction of a desired scene (called random access), which is a characteristic of the disk device, When playback is performed, there is a problem in that subtitles cannot be displayed until the next subtitle display data can be read.
例えば、DVDレコーダに記録する場合、ビデオデータは解像度をHDからSDに変換し、オーディオデータはMPEG2 Audio AAC(Advanced audio coding)方式(以降AACと省略)からドルビーAC−3(Audio Code number 3)方式(以降AC−3と省略)やリニアPCM(linear pulse code modulation:以降LPCMと省略)に変換し、更にPSに変換する必要がある。 For example, when recording on a DVD recorder, video data is converted from HD to SD, and audio data is converted from MPEG2 Audio AAC (Advanced Audio Coding) (hereinafter abbreviated as AAC) to Dolby AC-3 (Audio Code number 3). It is necessary to convert to a system (hereinafter abbreviated as AC-3) or linear PCM (linear pulse code modulation: hereinafter abbreviated as LPCM), and further to PS.
デジタル放送信号のMPEG2で符号化されたビデオデータと字幕データはデジタルビデオ信号(以下、ビデオ信号)に復調され一旦メモリー上に展開された後、字幕が合成され、字幕が重畳されたビデオ信号が生成される。字幕が重畳されたビデオ信号はHD解像度なので、SD解像度にリサイズされた後、再びMPEG2で符号化される。 Video data and caption data encoded in MPEG2 of a digital broadcast signal are demodulated into a digital video signal (hereinafter referred to as a video signal) and once expanded on a memory, then the caption is synthesized, and the video signal on which the caption is superimposed is generated. Generated. Since the video signal on which subtitles are superimposed is HD resolution, it is resized to SD resolution and then encoded again with MPEG2.
このSD解像度にリサイズされた字幕が重畳されたビデオデータは、ビデオPSにパケッタイズされ、更に、オーディオPSと共にTSに変換された後、DVD−RまたはDVD−RWに記録される。このような記録を行った場合、常に字幕が表示されたままとなってしまい、字幕の必要のないユーザーにとって、字幕の消去ができないという不都合があった。 Video data on which subtitles resized to the SD resolution are superimposed is packetized into a video PS, and further converted into a TS together with the audio PS, and then recorded on a DVD-R or DVD-RW. When such recording is performed, subtitles are always displayed, and there is a disadvantage that subtitles cannot be erased for users who do not need subtitles.
本発明は、上記のような問題を解決するためになされたもので、デジタル放送を記録した場合において、常に字幕の表示のON/OFFが制御でき、早送り・早戻し再生中においても字幕を表示することができ、また、ランダムアクセス再生時においても、すぐに字幕の表示が開始可能な映像情報生成装置、及びそれを用いた映像情報記録・再生装置を提供することを目的とする。 The present invention has been made to solve the above-described problems. When a digital broadcast is recorded, ON / OFF of subtitle display can always be controlled, and subtitles are displayed even during fast forward / rewind playback. It is another object of the present invention to provide a video information generation apparatus capable of immediately starting subtitle display even during random access playback, and a video information recording / playback apparatus using the same.
本発明によるデジタル映像情報データ生成装置は、デジタル放送のトランスポートストリームの字幕データ、ビデオデータ、オーディオデータを分離する放送データ分離手段と、前記デジタル放送のビデオデータを復号するビデオ復号手段と、前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化するビデオ符号化手段と、前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加するビデオパケット化手段と、前記デジタル放送の字幕データを挿入するタイムスタンプを検出する字幕制御手段と、前記デジタル放送の字幕データを復号する字幕復号手段と、前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化手段と、前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化手段と、前記字幕パケットとビデオパケットとを重畳して前記記録媒体フォーマットのトランスポートストリーム生成するトランスポートストリーム手段とを備え、
前記、トランスポートストリーム手段において、前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Iピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳することを特徴とする。
A digital video information data generating device according to the present invention includes broadcast data separation means for separating caption data, video data, and audio data of a transport stream of digital broadcast, video decoding means for decoding the video data of digital broadcast, Video encoding means for encoding the decoded video data into video data in a recording medium format, video packetizing means for packetizing the encoded video data and adding a video time stamp, and subtitles for the digital broadcast Caption control means for detecting a time stamp for inserting data, caption decoding means for decoding the caption data of the digital broadcast, and caption encoding means for encoding the decoded caption data into caption data in a recording medium format; Packetize the encoded subtitle data And includes a subtitle packetizing means for adding a new subtitle timestamp, and a transport stream unit for generating a transport stream of subtitle and video packets and the recording medium formatted by superimposing,
In the transport stream means, the subtitle packet is superimposed between video packets constituting an I picture existing between a subtitle display start time and an end time based on the video time stamp and the subtitle time stamp. It is characterized by doing.
本発明によれば、デジタル放送に重畳された字幕データの表示を開始する時刻と終了する時刻との間のタイムスタンプが付加されたIピクチャーを構成するTSパケットの最初のTSパケットと最後のTSパケットとの間に、記録媒体のフォーマットに符号化された字幕データを重畳して記録するので、字幕が表示された早送り再生・早戻し再生が可能となり、またランダムアクセスで任意の位置から再生をした場合においても、短時間で字幕を表示することが可能となる。 According to the present invention, the first TS packet and the last TS of the TS packet constituting the I picture to which the time stamp between the start time and the end time of the display of the caption data superimposed on the digital broadcast is added. Since the subtitle data encoded in the format of the recording medium is superimposed and recorded between the packets, fast-forward playback and fast-rewind playback with the subtitles displayed are possible, and playback from any position is possible with random access. Even in this case, subtitles can be displayed in a short time.
デジタル放送のビデオデータを記録する方法として、放送されたビデオデータをそのまま記録する方法と、一旦圧縮されたビデオデータを復号し、ビットレートやエンコード方式を変えて再び符号化する方式とがあり、また、オーディオデータ(音声データ)についても同様に、放送されたオーディオデータをそのまま記録する方法と、一旦圧縮されたオーディオデータを復号し、符号化ビットレートや符号化方式を変えて再び符号化する方式とがある。 As a method for recording video data of digital broadcasting, there are a method of recording the broadcast video data as it is, and a method of decoding the compressed video data once, changing the bit rate and encoding method, and encoding again. Similarly, for audio data (audio data), a method for recording broadcast audio data as it is, a method for decoding compressed audio data, and encoding again by changing an encoding bit rate and an encoding method. There is a method.
以下の説明においては、放送されるTSのビデオデータはMPEG2で符号化されており、再び符号化する際の符号化方式はMPEG4として、放送されるTSの音声データはAACで符号化されており、再び符号化する際には、AC−3で符号化され、光ディスクに記録されるとして説明する。
なお、映像情報記録媒体として光ディスクを用いた光ディスク記録再生装置を例に説明するが、映像情報記録媒体がハードディスクや半導体メモリー等の記録媒体であってもよい。
In the following description, the video data of the broadcast TS is encoded with MPEG2, the encoding method when encoding again is MPEG4, and the audio data of the broadcast TS is encoded with AAC. In the case of encoding again, the description will be made assuming that it is encoded with AC-3 and recorded on the optical disc.
Although an optical disc recording / reproducing apparatus using an optical disc as a video information recording medium will be described as an example, the video information recording medium may be a recording medium such as a hard disk or a semiconductor memory.
実施の形態1.
図1は、本発明の実施の形態1によるトランスポートストリーム変換装置の構成例を示すブロック図である。一般にデジタル放送におけるTSは、ビデオパケット、オーディオパケット、字幕・文字スーパーパケット、PSI(Program and System Information)パケット、電子番組ガイド(以下EPGと省略)等のデータパケットにより構成されている。入力されたTSのPSIパケットを、TS解析部1で解析を行う。PSIパケットに含まれる、PAT(Program Association Table)、PMT(Program Map Table)の情報を元に、選択すべきPID(Packet ID)をPIDフィルター2で読み取り、PIDフィルター2の設定を行う。PIDフィルター2では、設定されたPIDの情報に基づき、ビデオデータ、オーディデータ、字幕・文字スーパーデータを抽出し、PESパケット化し、PESビデオパケット1はビデオ処理部3へ、PESオーディオパケット1はオーディオ処理部4へ、PES字幕・文字スーパーパケット1は字幕処理部5へ送出される。
FIG. 1 is a block diagram showing a configuration example of a transport stream conversion apparatus according to
図2は図1に示すビデオ処理部3の構成を示すブロック図である。PIDフィルター2から出力されるPESビデオパケット1のビデオデータは、ビデオデコーダー7でYCbCr等のビデオフォーマット信号に復号される。復号されたビデオ信号は、ビデオエンコーダー8でMPEG4−AVCのビデオフォーマットデータに符号化され、更にビデオPESパケッタイザー9でPESパケット化され、PESビデオパケット2として出力される。
FIG. 2 is a block diagram showing the configuration of the
図3は図1に示すオーディオ処理部4の構成を示すブロック図である。PIDフィルター2から出力されるPESオーディオパケット1のオーディオデータは、オーディオデコーダー10で、リニアPCMのデジタル信号に復号され、オーディオエンコーダー11でAC−3に符号化される。更に符号化されたオーディオデータは、オーディオPESパケッタイザー12でPESパケット化され、PESオーディオパケット2として出力される。
FIG. 3 is a block diagram showing the configuration of the
図4は図1に示す字幕処理部の構成を示すブロック図である。字幕制御部13は、PIDフィルター2から出力されるPES字幕・文字スーパーパケット1から、字幕データを抽出する。ここで字幕とは、映像に同期して表示される情報であり、例えば映画の字幕情報がこれに相当する。文字スーパーとは、映像とは非同期に表示される情報であり、例えば、ニュース速報がこれに相当する。一般にデジタル放送を記録する時には、字幕だけを記録し、文字スーパーは記録を行わない。よって字幕制御部13では、字幕データとそのタイムスタンプが抽出され、字幕デコーダー14でYCbCr、RGB等のビデオ信号のフォーマットに復号され、字幕エンコーダー15で、記録媒体で定義された字幕データファーマットに変換される。次に、記録媒体のフォーマットで符号化されたデータは、字幕の表示時間情報が付加された後PESパケット化され、PES字幕パケット2に変換される。以下、その方法について詳細に説明を行う。
FIG. 4 is a block diagram showing the configuration of the caption processing unit shown in FIG. The
ビデオエンコーダー8で再符号化されたビデオデータのタイムスタンプ(Presentation Time Stamp:以下PTSと略す)は、放送された時のPTSとは異なり、新しいシステムクロックに基づいた新たなビデオPTSが付加される。字幕表示はビデオ信号の再生に同期して表示されるため、再符号化された字幕データに付加されるPTSも、このビデオデータのシステムクロックに基づいて付加される。例えば、同一のフレームに対する、再符号化される前のビデオのPTS(v_before)と再符号化された後のPTS(v_after)との関係が、
PTS(v_after) = PTS(v_before) + ΔT ・・・・・・ (1)
次式である場合、再符号化される前の字幕のPTS(st_before)と、再符号化された後の字幕のPTS(st_after)との関係は、
PTS(st_after) = PTS(st_before) + ΔT ・・・・・ (2)
で示される。即ち、オーディオPESパケッタイザー12および字幕のPESパケッタイザー16では、上記のようにビデオエンコーダー8で生成されたシステムクロックを新しいシステムクロックとして、PESパケットを生成する。
A time stamp (Presentation Time Stamp: hereinafter abbreviated as PTS) of video data re-encoded by the video encoder 8 is different from the PTS at the time of broadcasting, and a new video PTS based on a new system clock is added. . Since the caption display is displayed in synchronization with the reproduction of the video signal, the PTS added to the re-encoded caption data is also added based on the system clock of the video data. For example, for the same frame, the relationship between the PTS (v_before) of the video before being re-encoded and the PTS (v_after) after being re-encoded is
PTS (v_after) = PTS (v_before) + ΔT (1)
In the case of the following equation, the relationship between the subtitle PTS (st_before) before re-encoding and the sub-title PTS (st_after) after re-encoding is
PTS (st_after) = PTS (st_before) + ΔT (2)
Indicated by That is, the
字幕PESパケッタイザー16では、字幕制御部13から抽出されたPESデータと、ビデオ処理部3から送られるシステムクロック情報とから、新たな字幕PTSを生成し、PESパケットに付加する。ここで付加されるPTSは、デジタル放送の字幕データと同様に、字幕表示を開始するタイミングとして利用される。
The
次に字幕データを格納するPESパケットの生成方法について詳細に説明する。字幕を表示する期間は、デジタル放送と同様に字幕データに付随する字幕制御情報の中に記述される。以降、字幕データの表示開始時刻を“st_start_time”、表示終了時刻を“st_end_time”として説明を行う。字幕データの表示期間情報は、字幕制御部13で字幕データ中の字幕制御情報から抽出される。字幕の表示時間は、一般に数秒から10秒程度に設定されることが多い。
Next, a method for generating a PES packet for storing caption data will be described in detail. The period for displaying subtitles is described in the subtitle control information attached to the subtitle data as in the case of digital broadcasting. Hereinafter, description will be made assuming that the display start time of subtitle data is “st_start_time” and the display end time is “st_end_time”. The display period information of the caption data is extracted from the caption control information in the caption data by the
図5は、IピクチャーのPTSと字幕のPESデータとの時間関係を示す図であり、字幕の表示時間とその間に表示されるIピクチャの時間関係を示している。図5中の、PTS(v_I_1)、PTS(v_I_2)、PTS(v_I_3)、PTS(v_I_4)は、4枚のIピクチャーのそれぞれのPTSを示す。
以下、字幕データの表示期間、即ち“st_start_time”と“st_end_time”の間隔が2秒であり、ビデオのGOPの長さを0.5秒、字幕が表示される間に表示されるビデオデータのIピクチャーが4枚の場合について説明する。
FIG. 5 is a diagram illustrating a temporal relationship between the PTS of the I picture and the PES data of the caption, and illustrates the temporal relationship between the caption display time and the I picture displayed therebetween. In FIG. 5, PTS (v_I_1), PTS (v_I_2), PTS (v_I_3), and PTS (v_I_4) indicate the PTSs of the four I pictures.
Hereinafter, the display period of caption data, that is, the interval between “st_start_time” and “st_end_time” is 2 seconds, the video GOP length is 0.5 seconds, and the video data I displayed while the caption is displayed A case where there are four pictures will be described.
字幕エンコーダー15は、表示終了時刻が“st_end_time”となる字幕データを生成し、字幕PESパケッタイザー16では、その字幕データに対してPTSが“st_start_time”となるPES字幕パケットPES(st_start_time)17を生成する。次に表示開始時間が“PTS(v_I_1)”で、表示終了時刻が“st_end_time”となるPESビデオパケットPES(v_I_1)18を作成する。ここで、この二つのPESパケットを復号して表示される字幕は全く同一であり、字幕制御情報を除いたデータは全く同一である。以下同様にして、表示開始時間が、それぞれPTS(v_I_2)、PTS(v_I_3)、PTS(v_I_4)で、表示終了時刻が “st_end_time”となるPESパケット、PES(v_I_2)19、PES(v_I_3)20、PES(v_I_4)21を順次作成する。以上のようにして、“st_start_time”のPTSが付加されたデジタル放送の字幕データに対して、記録媒体のフォーマットに変換された字幕PESパケットを生成する。
The
次に上記で生成された字幕のPESパケットを、マルチプレックスする方法について詳細に説明をする。図1において、マルチプレクサ6では、符号化されたビデオデータ、オーディオデータ、字幕データを再び1本のTSにマルチプレックスされるが、再生時に映像や音声が途切れることがない様に、ビデオ処理部3、オーディオ処理部4、字幕処理部5でそれぞれPESパケット化されたPESビデオパケット2、PESオーディオパケット2PES字幕パケット2の並び替え、記録媒体のフォーマットの新たなPSIパケットの付加が行われる。
Next, a method for multiplexing the subtitled PES packet generated above will be described in detail. In FIG. 1, the
図6は、字幕データが重畳されたGOP先頭のTSパケットの状態を示す図であり、マルチプレクサ6で、PTS(v_I_1)が付加されたPES(v_I_1)18が重畳されたTSファイルのGOPの構造を示している。図中の四角はそれぞれTSパケットを示し、網掛けされた四角はビデオおよび字幕以外のTSパケットを示す。V(I_1)からV(I_9)はGOPのIピクチャーを構成するTSパケットで、ST(1)からST(4)はPES(v_I_1)18を構成するTSパケットである。マルチプレクサ6では、次の二つの条件を満たすようにデータの重畳を行うことで図6のTSは作られる。
(1)GOPのIピクチャーの先頭を構成するTSパケットの後ろに、Iピクチャーと同じPTSが付加された字幕データのPESパケットを構成する先頭のTSパケットを配置する。
(2)GOPのIピクチャー構成する最後のTSパケットよりも前に、Iピクチャーと同じPTSが付加された字幕データのPESパケットを構成する最後のTSパケットを配置する。
即ち、図6の場合では、V(I_1)のTSパケットの後ろにST(1)のパケットが配置され、V(I_9)の前に、ST(4)が配置されるよう、マルチプレクサ6は字幕データを重畳する。上記の条件でデータを重畳するのは、IピクチャーのPTSと同じPTSが付加された字幕データだけであり、図5においては、PES(v_I_1)18、PES(v_I_2)19、PES(v_I_3)20、PES(v_I_4)21が対象であり、PES(st_start_time)17は対象外となる。
FIG. 6 is a diagram illustrating the state of the TS packet at the head of the GOP on which the caption data is superimposed. The structure of the GOP of the TS file on which the PES (v_I_1) 18 to which the PTS (v_I_1) is added by the
(1) The first TS packet constituting the PES packet of caption data to which the same PTS as that of the I picture is added is placed after the TS packet constituting the head of the I picture of the GOP.
(2) The last TS packet constituting the PES packet of caption data to which the same PTS as that of the I picture is added is arranged before the last TS packet constituting the I picture of the GOP.
That is, in the case of FIG. 6, the
本説明では、IピクチャーのPTSと、重畳する字幕データのPTS(PES(v_I_1)など)を同じ時刻としているが、必ずしも全く同時刻とする必要は無く、IピクチャーのPTSの近傍の時刻に設定してもかまわない。 In this description, the PTS of the I picture and the PTS (PES (v_I_1), etc.) of the caption data to be superimposed are set to the same time, but it is not always necessary to set the same time, and is set to a time near the PTS of the I picture. It doesn't matter.
以上のように、デジタル放送のTSデータに含まれるビデオデータ、オーディオデータ、字幕データが記録再生装置のTSデータに変換され、記録媒体へと記録されるが、この時、デジタル放送のTSのデータだけでなく、記録再生装置に特有のランダムアクセス再生や早送り、早戻し再生等を行う際に必要な情報が記録媒体に記録される As described above, video data, audio data, and caption data included in digital broadcasting TS data are converted to TS data of the recording / playback apparatus and recorded on the recording medium. At this time, the data of the digital broadcasting TS is recorded. In addition, information necessary for random access playback, fast forward, fast reverse playback, etc. specific to the recording / playback apparatus is recorded on the recording medium.
MPEG2などの方式で符号化されたデータの復号は、必ずGOPの先頭のIピクチャーから行う必要がある。そのため、ランダムアクセスや早送り再生等を行うためには、光ディスクに記録されたTSデータのどの位置に、Iピクチャーが存在するかを知るためのアクセス情報が必要となる。図7はランダムアクセスをするために必要なアクセス情報ファイルのデータ構造を示す図であり、TSファイルのどの位置にIピクチャーが存在するかを示すアクセス情報ファイルの構造を示す。 Decoding of data encoded by a method such as MPEG2 must be performed from the first I picture of the GOP. Therefore, in order to perform random access, fast-forward playback, etc., access information is required to know at which position in the TS data recorded on the optical disc the I picture exists. FIG. 7 is a diagram showing the data structure of an access information file necessary for random access, and shows the structure of an access information file indicating where in the TS file an I picture exists.
“num_of_GOP”はTSファイル中に存在するGOPの総数を表す。次の行のforループは“num_of_GOP”の数だけ繰り返される。“PTS_I(k)”はk番目のGOPの先頭のIピクチャーのPTSの時間を意味し、“SPN_I(k)”は、TSファイルの先頭からIピクチャーの先頭のTSパケットまでのパケット数を意味し、“I_size(k)”は、GOP先頭のTSパケットから、Iピクチャーを構成する最後のTSパケットまでのパケット数を意味する。これらのデータをTSファイルと一緒に光ディスク記録再生装置のTS(以下DVDTSと省略)に変換し、光ディスクに記録を行う。 “Num_of_GOP” represents the total number of GOPs present in the TS file. The for loop in the next line is repeated as many times as “num_of_GOP”. “PTS_I (k)” means the PTS time of the first I picture of the kth GOP, and “SPN_I (k)” means the number of packets from the beginning of the TS file to the first TS packet of the I picture. “I_size (k)” means the number of packets from the first TS packet of the GOP to the last TS packet constituting the I picture. These data are converted together with the TS file into a TS (hereinafter abbreviated as DVDTS) of the optical disc recording / reproducing apparatus, and recorded on the optical disc.
次に、光ディスクに記録されたTSファイルの任意の位置から再生を行う方法について説明をする。なお、説明では光ディスク記録再生装置により光ディスク上のデータを読み出すことを前提として説明するが、FLASH等の半導体メモリー、その他の光学ドライブを使ってもよい。 Next, a method for reproducing from an arbitrary position of the TS file recorded on the optical disc will be described. In the description, it is assumed that data on the optical disk is read out by the optical disk recording / reproducing apparatus. However, a semiconductor memory such as FLASH or other optical drives may be used.
図8は、光ディスクに記録されたTSデータを再生する再生装置の構成を示す図である。ユーザーから、任意の位置からの再生指示が出されると、CPU23はドライブ22から図7のアクセス情報ファイルを読み出し、ユーザーに指定された再生時間に最も近く、且つ指定された時間よりも前に存在する、“PTS_I(k)”を探し出す。次にドライブ22に対して、再生するTSファイルの先頭から数えて“SPN_I(k)”番目のパケットから、データを読み出すように指示を出す。読み出されたDVDTSのPESパケットのデータは、PIDフィルター24で分離され、ビデオデコーダー26、オーディオデコーダー27、字幕デコーダー28に送られるが、データ分離の詳細な動作は図1の説明と同様のため省略する。ビデオデコーダー26で複合されたビデオ信号と字幕デコーダー28で復号された字幕データは、ビデオミキサー29で重畳されて、外部に接続された表示装置30へと出力される。
FIG. 8 is a diagram showing the configuration of a playback apparatus that plays back TS data recorded on an optical disk. When a playback instruction is issued from an arbitrary position from the user, the
図9は、再生指定位置と重畳された字幕データのPTSとの関係を示す図であり、ユーザーが再生を指定した時刻と、字幕データの表示時刻との関係を示した図である。図9に示すような時間関係に有る場合、CPU23が探してくる“PTS_I(k)”はPTS(v_I_1)となる。GOP先頭のIピクチャーからでないとビデオデータは復号ができないため、ビデオデコーダー26では、ユーザーが指定した時刻のピクチャーまでは復号された映像は出力せずに、指定された時間以降のピクチャーから映像の出力を行う。この時、PES(v_I_1)18がPTS(v_I_1)のPTSが付加されたGOPに、図6のように重畳されているため、ユーザーの指定した時間から字幕を表示することが可能となる。
FIG. 9 is a diagram showing the relationship between the reproduction designation position and the PTS of the superimposed caption data, and is a diagram showing the relationship between the time when the user designates reproduction and the display time of the caption data. When there is a time relationship as shown in FIG. 9, “PTS_I (k)” searched by the
一方、本実施の形態のように、“st_start_time”から“st_end_time”の間の、時刻に含まれる各Iピクチャーに同一表示データを持った字幕データを重畳し、さらにIピクチャーを構成する先頭のTSパケット以降に字幕のTSパケットを重畳することで、ランダムアクセス直後から、字幕を表示することが可能となる。 On the other hand, as in the present embodiment, subtitle data having the same display data is superimposed on each I picture included in the time between “st_start_time” and “st_end_time”, and further, the first TS constituting the I picture By superimposing the subtitle TS packet after the packet, the subtitle can be displayed immediately after random access.
一方、デジタル放送に重畳された字幕データのように、PES(st_start_time)17だけがTSファイルに重畳されていると、TSファイルの先頭から再生していれば表示される字幕が、ランダムアクセスの時は表示することができなくなる。そのため、ユーザーは次の字幕の表示が始まるまで、再生表示されている映像の内容を把握することができないことがある。 On the other hand, if only PES (st_start_time) 17 is superimposed on the TS file, such as subtitle data superimposed on the digital broadcast, the subtitles that are displayed when playing from the beginning of the TS file are random access. Can no longer be displayed. For this reason, the user may not be able to grasp the content of the video being reproduced and displayed until the display of the next subtitle starts.
次に早送り再生・早戻し再生の再生方法について説明をする。一般に、早送り、早戻し再生では、Iピクチャーだけを復号して表示する方法が一般的である。ユーザーから早送りの指令が出されると、CPU23はアクセス情報ファイルから、現在再生をしている時間よりも後の“PTS_I(k)”を探し出し、再生中のTSファイルの先頭から“SPN_I(k)”番目のTSパケットから“I_size(k)”個のTSパケットを読み出す指令を、ドライブ22へと出す。以降の動作はランダムアクセス再生の時と同様のため説明は省略する。
Next, playback methods for fast forward playback and fast reverse playback will be described. In general, in fast forward and fast reverse playback, a method of decoding and displaying only an I picture is common. When a fast-forward command is issued from the user, the
“PTS_I(k)”のIピクチャーの表示が行われると、CPU23はドライブ22に、再生中のTSファイルの先頭から“SPN_I(k+1)”番目のTSパケットから“I_size(k+1)”個のTSパケットを読み出す指令が出される。以降同様にして、Iピクチャーのデータだけが次々と読み出され、復号され表示される。但し、Iピクチャーを読み出す間隔は、ユーザーの指定した倍速数、ドライブのアクセス速度によって変わるため、必ずしもすべてのIピクチャーを再生するわけではない。以上のようにして早送り再生が行われる。
When the I picture of “PTS_I (k)” is displayed, the
このようにして、Iピクチャーのデータだけを選択して読み出し再生することで、早送り・早戻し再生を行う。また早戻しの動作は、読み出すIピクチャーのPTSが過去の方向に再生されることを除いて、全く動作が同じでるため説明は省略する。デジタル放送に重畳された字幕データのように、PES(st_start_time)17だけがTSファイルに重畳されていると、偶然に読み出されたIピクチャーのTSパケットの中にPES(st_start_time)17が存在する場合を除いて、字幕を表示することができない。一方、本実施の形態のように、“st_start_time”から“st_end_time”の間の、時刻に含まれる各Iピクチャーに同一表示データを持った字幕データを重畳し、さらにIピクチャーを構成する先頭のTSパケットから最終のTSパケットの間に字幕のTSパケットを重畳することで、早送り再生時においても、常に字幕を表示することが可能となる。 In this way, fast-forward / fast-rewind playback is performed by selecting and reading out only I-picture data. The fast-rewinding operation is the same except that the PTS of the I picture to be read is reproduced in the past direction, and a description thereof will be omitted. If only the PES (st_start_time) 17 is superimposed on the TS file like the caption data superimposed on the digital broadcast, the PES (st_start_time) 17 exists in the TS packet of the I picture read by chance. Except for cases, subtitles cannot be displayed. On the other hand, as in the present embodiment, subtitle data having the same display data is superimposed on each I picture included in the time between “st_start_time” and “st_end_time”, and further, the first TS constituting the I picture By superimposing the subtitle TS packet between the packet and the final TS packet, the subtitle can always be displayed even during fast-forward playback.
以上、説明したように、デジタル放送の字幕データを、字幕が表示されている間に存在するIピクチャーに対して、Iピクチャーを構成する先頭のTSパケットと最終TSパケットとの間に重畳することで、ランダムアクセス再生には再生直後から字幕を表示することが可能となり、早送り・早戻し再生を行った場合においても、常に字幕を表示させることが可能となる。 As described above, the caption data of digital broadcasting is superimposed on the I picture existing while the caption is displayed, between the first TS packet and the last TS packet constituting the I picture. Thus, for random access playback, subtitles can be displayed immediately after playback, and subtitles can always be displayed even when fast forward / rewind playback is performed.
1 TS解析部、2 PIDフィルター、3 ビデオ処理部、6 マルチプレクサ、13 字幕制御部、 14 字幕デコーダー、 15 字幕エンコーダー、 16 字幕PESパケッタイザー、 22 DVDドライブ、 23 CPU、 26 ビデオデコーダー、 27 オーディオデコーダー、 28 字幕デコーダー、 29 ビデオミキサー、 30 表示装置 1 TS analysis unit, 2 PID filter, 3 video processing unit, 6 multiplexer, 13 subtitle control unit, 14 subtitle decoder, 15 subtitle encoder, 16 subtitle PES packetizer, 22 DVD drive, 23 CPU, 26 video decoder, 27 audio decoder , 28 subtitle decoder, 29 video mixer, 30 display device
Claims (4)
前記デジタル放送のビデオデータを復号する第1のビデオ復号手段と、
前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化する第1のビデオ符号化手段と、
前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加する第1のビデオパケット化手段と、
前記デジタル放送の字幕データを挿入するタイムスタンプを検出する字幕制御手段と、
前記デジタル放送の字幕データを復号する第1の字幕復号手段と、
前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化手段と、
前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化手段と、
前記字幕パケットとビデオパケットとを重畳して前記記録媒体フォーマットのトランスポートストリーム生成するトランスポートストリーム生成手段とを備え、
前記、トランスポートストリーム生成手段において、前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Iピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳することを特徴とするデジタル映像情報データ生成装置。 First data separation means for separating caption data, video data, and audio data of a transport stream of digital broadcasting;
First video decoding means for decoding video data of the digital broadcast;
First video encoding means for encoding the decoded video data into video data in a recording medium format;
First video packetizing means for packetizing the encoded video data and adding a video time stamp;
Subtitle control means for detecting a time stamp for inserting the subtitle data of the digital broadcast;
First subtitle decoding means for decoding the digital broadcast subtitle data;
Subtitle encoding means for encoding the decoded subtitle data into subtitle data in a recording medium format;
Subtitle packetizing means for packetizing the encoded subtitle data and adding a new subtitle time stamp;
Transport stream generating means for generating a transport stream of the recording medium format by superimposing the caption packet and the video packet;
In the transport stream generating means, based on the video time stamp and the subtitle time stamp, the subtitle packet is present between video packets constituting an I picture that exist between a subtitle display start time and an end time. A digital video information data generation device characterized by superimposing.
前記記録媒体フォーマットのビデオパケットからビデオ信号を復号する第2のビデオ復号手段と、
前記記録媒体フォーマットの字幕パケットから字幕信号を復号する第2の字幕復号手段とを備えたことを特徴とするデジタル映像情報再生装置。 The subtitle packet and video of the recording medium format are recorded from the transport stream recorded on the recording medium by superimposing the subtitle packet between the video packets constituting the I picture, which exist between the display start time and the end time of the subtitle. A second data separation means for separating packets;
Second video decoding means for decoding a video signal from a video packet in the recording medium format;
A digital video information reproducing apparatus comprising: second subtitle decoding means for decoding a subtitle signal from a subtitle packet in the recording medium format.
前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化するビデオ符号化ステップと、
前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加するビデオパケット化ステップと、
前記デジタル放送の字幕データを挿入するタイムスタンプを検出するタイムスタンプ検出ステップと、
前記デジタル放送の字幕データを復号する字幕復号ステップと、
前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化ステップと、
前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化ステップと、
前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Iピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳した後、前記字幕パケットとビデオパケットとを重畳してトランスポートストリームを生成する記録媒体フォーマットのトランスポートストリーム生成ステップとを備えたことを特徴とするデジタル映像情報データ生成方法。 A video decoding step of decoding the digital broadcast video data;
A video encoding step of encoding the decoded video data into video data in a recording medium format;
Video packetizing step of packetizing the encoded video data and adding a video time stamp;
A time stamp detecting step of detecting a time stamp for inserting the subtitle data of the digital broadcast;
Subtitle decoding step for decoding the digital broadcast subtitle data;
A subtitle encoding step of encoding the decoded subtitle data into subtitle data in a recording medium format;
Subtitle packetizing step for packetizing the encoded subtitle data and adding a new subtitle time stamp;
Based on the video time stamp and the subtitle time stamp, after the subtitle packet is superimposed between video packets constituting an I picture that exist between the subtitle display start time and end time, the subtitle packet and video A digital video information data generation method comprising: a transport stream generation step of a recording medium format for generating a transport stream by superimposing packets.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007022923A JP4779981B2 (en) | 2007-02-01 | 2007-02-01 | DIGITAL VIDEO INFORMATION DATA GENERATION DEVICE, DIGITAL VIDEO INFORMATION RECORDING DEVICE, DIGITAL VIDEO INFORMATION REPRODUCING DEVICE, AND DIGITAL VIDEO INFORMATION DATA GENERATION METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007022923A JP4779981B2 (en) | 2007-02-01 | 2007-02-01 | DIGITAL VIDEO INFORMATION DATA GENERATION DEVICE, DIGITAL VIDEO INFORMATION RECORDING DEVICE, DIGITAL VIDEO INFORMATION REPRODUCING DEVICE, AND DIGITAL VIDEO INFORMATION DATA GENERATION METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008193203A true JP2008193203A (en) | 2008-08-21 |
JP4779981B2 JP4779981B2 (en) | 2011-09-28 |
Family
ID=39752904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007022923A Expired - Fee Related JP4779981B2 (en) | 2007-02-01 | 2007-02-01 | DIGITAL VIDEO INFORMATION DATA GENERATION DEVICE, DIGITAL VIDEO INFORMATION RECORDING DEVICE, DIGITAL VIDEO INFORMATION REPRODUCING DEVICE, AND DIGITAL VIDEO INFORMATION DATA GENERATION METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4779981B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5351039B2 (en) * | 2007-11-01 | 2013-11-27 | パナソニック株式会社 | Recording medium, reproducing apparatus, recording apparatus, reproducing method, and recording method |
WO2016132977A1 (en) * | 2015-02-20 | 2016-08-25 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
WO2017047540A1 (en) * | 2015-09-16 | 2017-03-23 | ソニー株式会社 | Transmission device, transmission method, reproduction device, and reproduction method |
JP2017139791A (en) * | 2017-03-23 | 2017-08-10 | 株式会社アステム | Video output device, caption server device, video output method, and program |
CN107431835A (en) * | 2015-04-13 | 2017-12-01 | 索尼公司 | Dispensing device, sending method, transcriber and reproducting method |
WO2018021107A1 (en) * | 2016-07-26 | 2018-02-01 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004120098A (en) * | 2002-09-24 | 2004-04-15 | Sony Corp | Information processing apparatus and method, program, and recording medium |
-
2007
- 2007-02-01 JP JP2007022923A patent/JP4779981B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004120098A (en) * | 2002-09-24 | 2004-04-15 | Sony Corp | Information processing apparatus and method, program, and recording medium |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5351039B2 (en) * | 2007-11-01 | 2013-11-27 | パナソニック株式会社 | Recording medium, reproducing apparatus, recording apparatus, reproducing method, and recording method |
US10225589B2 (en) | 2015-02-20 | 2019-03-05 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus, and reception method |
WO2016132977A1 (en) * | 2015-02-20 | 2016-08-25 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
JP7176598B2 (en) | 2015-02-20 | 2022-11-22 | ソニーグループ株式会社 | Sending method |
JP2021184626A (en) * | 2015-02-20 | 2021-12-02 | ソニーグループ株式会社 | Method for transmission |
JPWO2016132977A1 (en) * | 2015-02-20 | 2017-11-30 | ソニー株式会社 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
JP2020174367A (en) * | 2015-02-20 | 2020-10-22 | ソニー株式会社 | Reception device and reception method |
CN107431835A (en) * | 2015-04-13 | 2017-12-01 | 索尼公司 | Dispensing device, sending method, transcriber and reproducting method |
JPWO2016167187A1 (en) * | 2015-04-13 | 2018-02-08 | ソニー株式会社 | Transmission device, transmission method, reproduction device, and reproduction method |
EP3285492A4 (en) * | 2015-04-13 | 2018-08-29 | Sony Corporation | Transmission device, transmission method, reproduction device, and reproduction method |
US10225600B2 (en) | 2015-04-13 | 2019-03-05 | Sony Corporation | Transmission device, transmission method, reproduction device and reproduction method |
US10511802B2 (en) | 2015-09-16 | 2019-12-17 | Sony Corporation | Transmission device, transmission method, reproducing device and reproducing method |
JPWO2017047540A1 (en) * | 2015-09-16 | 2018-07-05 | ソニー株式会社 | Transmission device, transmission method, reproduction device, and reproduction method |
AU2016323754B2 (en) * | 2015-09-16 | 2021-01-14 | Sony Corporation | Transmission device, transmission method, reproduction device, and reproduction method |
WO2017047540A1 (en) * | 2015-09-16 | 2017-03-23 | ソニー株式会社 | Transmission device, transmission method, reproduction device, and reproduction method |
CN109479154A (en) * | 2016-07-26 | 2019-03-15 | 索尼公司 | Sending device, sending method, reception device and method of reseptance |
EP3493548A4 (en) * | 2016-07-26 | 2019-06-05 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
WO2018021107A1 (en) * | 2016-07-26 | 2018-02-01 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
CN109479154B (en) * | 2016-07-26 | 2021-11-05 | 索尼公司 | Transmission device, transmission method, reception device, and reception method |
EP3979654A1 (en) * | 2016-07-26 | 2022-04-06 | Sony Group Corporation | Transmission device, transmission method, reception device, and reception method |
JP2017139791A (en) * | 2017-03-23 | 2017-08-10 | 株式会社アステム | Video output device, caption server device, video output method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4779981B2 (en) | 2011-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI342711B (en) | Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing apparatus | |
JP5676087B2 (en) | Method and system for displaying subtitle information during video trick mode | |
JP4484870B2 (en) | Method and apparatus for creating an enhanced digital video disc | |
US20070154176A1 (en) | Navigating recorded video using captioning, dialogue and sound effects | |
US20140126885A1 (en) | Synchronized stream packing | |
WO2005117432A1 (en) | Program recording device and program recording method | |
JP4779981B2 (en) | DIGITAL VIDEO INFORMATION DATA GENERATION DEVICE, DIGITAL VIDEO INFORMATION RECORDING DEVICE, DIGITAL VIDEO INFORMATION REPRODUCING DEVICE, AND DIGITAL VIDEO INFORMATION DATA GENERATION METHOD | |
JP2005217816A (en) | Video-reproducing unit and recording medium | |
JP2008098960A (en) | Information recording and reproducing apparatus | |
JP2002290895A (en) | Optical disk reproducer | |
US20070122120A1 (en) | Multi-av stream playback method and playback apparatus | |
JP5018976B2 (en) | Data recording method, recording medium, and reproducing apparatus | |
JP2005167426A (en) | Video reproducer and reproducing method | |
JP4293006B2 (en) | Data recording method, recording medium, and reproducing apparatus | |
WO2003065715A1 (en) | Audio/video data recording/reproduction apparatus, system, and method, recording medium recorded by them, audio/video data reproduction apparatus, and data structure | |
JP5240326B2 (en) | Video reproducing apparatus and recording medium | |
JP2002247506A (en) | Recording device for digital audiovisual information | |
JP4770910B2 (en) | Data recording method, recording medium, and reproducing apparatus | |
JP2006079712A (en) | Recording medium, reproducing device, and recording device | |
JP2007259029A (en) | Video signal recording device, recording medium, and video signal reproducing device | |
JP4941567B2 (en) | Video reproducing apparatus and recording medium | |
US8554048B2 (en) | Information processing apparatus, method, and program | |
JP2005005851A (en) | Video signal recording device | |
JP2007128641A (en) | Information processing device, information processing method and program, recording medium, and data structure | |
US20070122115A1 (en) | Multi-av stream playback method and playback apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101012 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110620 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |