JP2005109925A - Digital broadcasting receiver - Google Patents
Digital broadcasting receiver Download PDFInfo
- Publication number
- JP2005109925A JP2005109925A JP2003341257A JP2003341257A JP2005109925A JP 2005109925 A JP2005109925 A JP 2005109925A JP 2003341257 A JP2003341257 A JP 2003341257A JP 2003341257 A JP2003341257 A JP 2003341257A JP 2005109925 A JP2005109925 A JP 2005109925A
- Authority
- JP
- Japan
- Prior art keywords
- caption
- signal
- subtitle
- decoder
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Receiver Circuits (AREA)
Abstract
Description
本発明は、デジタル放送受信装置に関し、特にユーザが設定した任意の文字列情報と字幕データの文字列情報とを比較してユーザの嗜好性に合致した特定シーンを抽出し、当該特定シーン期間中の字幕および音声出力を強調することで、他のシーンと区別するユーザーインターフェースを備えたデジタル放送受信装置に関する。 The present invention relates to a digital broadcast receiving apparatus, and in particular, compares a character string information set by a user with character string information of subtitle data to extract a specific scene that matches the user's preference, and during the specific scene period The present invention relates to a digital broadcast receiving apparatus having a user interface that distinguishes it from other scenes by emphasizing subtitles and audio output.
わが国のデジタル放送では、MPEG2のPES(パッケタイズドエレメンタリーストリーム)同期方式を使った字幕方式が採用されている。字幕放送は聴覚障害者および高齢者を保護する立場から国策として放送枠の拡充が予定されており、デジタル放送受信装置には字幕デコーダが標準的に搭載されている。 In digital broadcasting in Japan, a subtitle method using a PES (packetized elementary stream) synchronization method of MPEG2 is adopted. Subtitle broadcasting is scheduled to be expanded as a national policy from the standpoint of protecting hearing-impaired and elderly people, and subtitle decoders are standardly installed in digital broadcast receivers.
デジタル放送テレビ番組において番組内容の理解を促進するために、字幕放送と音響効果を同時に活用する方法が提案されている(例えば、特許文献1参照。)。これは、字幕データが送出されているときに、音響効果として音声出力に対して話速変換を施すものである。 In order to promote understanding of program contents in a digital broadcast television program, a method of utilizing subtitle broadcasting and sound effects at the same time has been proposed (see, for example, Patent Document 1). In this method, when subtitle data is transmitted, speech speed conversion is performed on the audio output as an acoustic effect.
ところで、上述の特許文献1では、字幕データが送出されている間の音響効果は一定のまま持続されるため、番組をより細分化したシーン毎の音響効果を得ることはできないという問題があった。 By the way, in the above-mentioned patent document 1, since the sound effect is maintained while the subtitle data is transmitted, there is a problem that it is not possible to obtain the sound effect for each scene obtained by further dividing the program. .
これは、ユーザがテレビ番組を視聴するときには、番組内の特定のシーンに注意を傾けたいときがあり、例えば、ユーザが通学や出勤前の朝の番組を視聴していて、居住地域の天気予報や交通情報のシーンに注意している場合などを挙げることができる。
また従来は、ユーザの嗜好性に合致した特定シーンを抽出し字幕および音声出力の両面からユーザに注意を促す手段が存在しなかったため、特定シーンの見逃しや聞き逃しが発生するという問題があった。
This is because when a user views a TV program, he / she wants to pay attention to a specific scene in the program. For example, the user is watching a morning program before going to school or going to work, and the weather forecast for the residential area Or when you are paying attention to traffic information scenes.
Conventionally, there is no means to extract a specific scene that matches the user's preference and alert the user from both sides of subtitles and audio output. .
本発明は、以上の点に鑑みなされたもので、ユーザの嗜好性に合致した特定シーンを抽出し字幕および音声出力の両面からユーザに注意を促して、特定シーンの見逃しや聞き逃しが発生することのないデジタル放送受信装置を提供することを目的とする。 The present invention has been made in view of the above points, and a specific scene that matches the user's preference is extracted and the user is alerted from both sides of the subtitle and the audio output, so that the specific scene is overlooked or missed. It is an object of the present invention to provide a digital broadcast receiving apparatus that does not occur.
本発明は、上記課題を解決するために、以下に記載の手段よりなる。
すなわち、
入来するテレビジョン信号を受信し、前記テレビジョン信号から音響信号を得るための音響デコーダと、
前記得られた音響信号を強調出力させるための音響信号強調手段と、
前記入来するテレビジョン信号から映像信号を得るための映像デコーダと、
前記得られた映像信号に字幕情報を加算するための字幕情報加算手段と、
前記入来するテレビジョン信号から字幕情報を得るための字幕デコーダと、
前記得られた字幕情報を強調表示させるための字幕情報強調手段と、
予めユーザによる入力手段からのキーワードを登録する登録手段と、
を有し、
前記字幕デコーダによりデコードされた前記字幕情報と前記登録手段により予め登録されたキーワードとを比較し、一致したフレーム中においてのみ前記音響信号強調手段及び前記字幕情報強調手段を作動させると共に、前記強調した字幕情報を前記字幕情報加算手段に供給するよう制御する構成にしたことを特徴とするデジタル放送受信装置。
In order to solve the above problems, the present invention comprises the following means.
That is,
An acoustic decoder for receiving an incoming television signal and obtaining an acoustic signal from the television signal;
Acoustic signal emphasizing means for emphasizing and outputting the obtained acoustic signal;
A video decoder for obtaining a video signal from the incoming television signal;
Subtitle information adding means for adding subtitle information to the obtained video signal;
A subtitle decoder for obtaining subtitle information from the incoming television signal;
Subtitle information emphasizing means for highlighting the obtained subtitle information;
Registration means for registering keywords from the input means by the user in advance;
Have
The subtitle information decoded by the subtitle decoder is compared with the keyword registered in advance by the registration unit, and the sound signal enhancement unit and the subtitle information enhancement unit are operated only in the matched frame, and the enhancement is performed. A digital broadcast receiving apparatus characterized in that subtitle information is controlled to be supplied to the subtitle information adding means.
本発明の「デジタル放送受信装置」によれば、ユーザの嗜好性に合致した特定シーンが放送されると、字幕および音声出力を同時に強調してシーンの切り替わりをユーザに通知して嗜好性の高いシーンの見逃しや聞き逃しをに防止するという効果がある。
また、テレビを視聴しているときに画面から目を離していても、音声の強調手段によってシーンの切り替わりを知ることができ、テレビを視聴しているときに音声を聴いていなくても字幕の強調によってシーンの切り替わりを知ることができるという効果がある。
According to the “digital broadcast receiving apparatus” of the present invention, when a specific scene that matches the user's preference is broadcast, the subtitle and the audio output are simultaneously emphasized to notify the user of the scene change and the preference is high. This has the effect of preventing scenes from being overlooked or missed.
In addition, even if you keep your eyes on the screen while watching TV, you can know the scene change by the sound enhancement means, and even if you do not listen to the sound while watching TV, There is an effect that it is possible to know the switching of scenes by emphasis.
以下、本発明に係るデジタル放送受信装置の発明を実施するための最良の形態につき、好ましい実施例により説明する。
図1に、本実施例に適用されるデジタル放送受信装置の概略ブロック図を示す。同図に示すように、チューナ1、多重信号分離器2、制御部3、メモリ4、キー入力バッファ5、音声デコーダ6、映像デコーダ7、メモリ8、字幕デコーダ9、音声効果変換部10、映像フォーマット変換部11、シーン検出部12、映像プレーン出力部13、キーワード比較部14、字幕フォーマット変換部15、音声出力部16、グラフィックプレーン重畳部17、字幕プレーン出力部18、スピーカー19、ディスプレイ20から構成される。
Hereinafter, the best mode for carrying out the invention of the digital broadcast receiving apparatus according to the present invention will be described with reference to preferred embodiments.
FIG. 1 shows a schematic block diagram of a digital broadcast receiving apparatus applied to this embodiment. As shown in the figure, tuner 1, multiple signal separator 2, controller 3, memory 4, key input buffer 5, audio decoder 6, video decoder 7, memory 8, subtitle decoder 9,
次に各ブロックの動作を説明する。デジタル放送受信装置外に設置されたアンテナで受信したRF(Radio Frequency)信号は、チューナ1で選局され、TS(Transport Stream)信号と呼ばれる多重化信号が抽出される。多重化信号は多重信号分離部2によってそれぞれ音声、映像、字幕のPES信号に分離される。分離された音声、映像、字幕のPES信号は、それぞれ音声デコーダ6、映像デコーダ7、字幕デコーダ9に供給され処理される。 Next, the operation of each block will be described. An RF (Radio Frequency) signal received by an antenna installed outside the digital broadcast receiving apparatus is selected by the tuner 1 and a multiplexed signal called a TS (Transport Stream) signal is extracted. The multiplexed signal is separated into audio, video, and caption PES signals by the multiplexed signal separator 2. The separated PES signals for audio, video, and subtitle are supplied to the audio decoder 6, the video decoder 7, and the subtitle decoder 9 for processing.
次に各デコーダの動作について音声デコーダ、映像デコーダ、字幕デコーダの順に説明する。
音声PES信号は、音声デコーダ6によってデコード処理されて、非圧縮の音声デジタル信号となって音響効果変換部10に供給される。音声デジタル信号は音響効果変換部10の中の音響モデルに従って信号処理され、音声出力部16によってD/A変換を施された後スピーカ19にて出力される。
映像PES信号は、映像デコーダ7によって非圧縮の映像デジタル信号にデコードされ、映像フォーマット変換部11に供給される。映像デジタル信号は、映像フォーマット変換部11によって解像度変換処理を施された後に動画プレーン出力部13により動画グラフィックプレーンに出力される。
Next, the operation of each decoder will be described in the order of the audio decoder, video decoder, and caption decoder.
The audio PES signal is decoded by the audio decoder 6 and supplied to the acoustic
The video PES signal is decoded into an uncompressed video digital signal by the video decoder 7 and supplied to the
字幕PES信号は、字幕デコーダ9によって1フレーム毎の字幕データにデコードされる。1フレーム毎の字幕データはメモリ8に蓄えられ、字幕データはメモリ8によって複数フレーム分の字幕データとして集められた上で、シーン検出部12によって1シーン単位の字幕情報として管理するようにする。1シーン単位の字幕情報はキーワード比較部14によってメモリ4に記憶されたキーワードと比較を行う。キーワードは、予めユーザによるメニュー操作によって、キー入力バッファ5から制御部3が管理するメモリ4に記憶されているものとする。1シーン単位で管理された字幕情報は字幕フォーマット変換部15による字幕フォーマット変換を施された後に、字幕プレーン出力部18によって字幕グラフィックプレーン重畳部17に出力される。なお、制御部3はキーワード比較部14の比較結果に従って、字幕フォーマット変換部15の変換処理を制御する。
ここで映像グラフィックプレーンと字幕グラフィックプレーンは、グラフィックプレーン重畳部17によってプレーン重畳された上で、ディスプレイ20に出力される。
The caption PES signal is decoded by the caption decoder 9 into caption data for each frame. The subtitle data for each frame is stored in the memory 8, and the subtitle data is collected as subtitle data for a plurality of frames by the memory 8 and then managed as subtitle information for each scene by the
Here, the video graphic plane and the caption graphic plane are superimposed on the plane by the graphic
次に、図2にフローチャートを示し各ブロックの動作について説明する。
字幕の有無による条件分岐(S21)では、字幕信号が有るか否かの判定を行い、字幕信号が有る場合には(S21Yes)、シーン検出処理に進み、字幕信号が無い場合(S21No)には字幕の強調解除処理(S26)と音声強調の解除処理(S28)を行い終了する。
シーン検出処理では、メモリ8に蓄えられた字幕信号から1シーン単位の字幕データを抽出する(S22)。
シーン強調モードの条件分岐(S23)では、本実施例によるシーン強調モードを実行するかしないかを選択することができるようになっていて、ユーザがシーン強調モードを実行するとした場合(S23Yes)にはキーワード合致による条件分岐(S24)に進み、実行しないとした場合(S23No)には字幕の強調解除処理(S26)と音声強調の解除処理(S28)を行い終了する。
Next, the flowchart of FIG. 2 shows the operation of each block.
In conditional branching based on the presence or absence of subtitles (S21), it is determined whether or not there is a subtitle signal. If there is a subtitle signal (S21 Yes), the process proceeds to the scene detection process, and if there is no subtitle signal (S21 No). Subtitle enhancement cancellation processing (S26) and speech enhancement cancellation processing (S28) are performed, and the processing ends.
In the scene detection process, caption data for each scene is extracted from the caption signal stored in the memory 8 (S22).
In the conditional branch of the scene enhancement mode (S23), it is possible to select whether or not to execute the scene enhancement mode according to the present embodiment, and when the user executes the scene enhancement mode (Yes in S23). Advances to conditional branching by keyword matching (S24), and if not executed (No in S23), subtitle enhancement cancellation processing (S26) and speech enhancement cancellation processing (S28) are performed and the processing ends.
キーワード合致による条件分岐(S24)では、1シーン単位の字幕データとユーザが設定したキーワードとの文字列比較を行い、1シーン単位の字幕データの中にキーワードが見つかれば(S24Yes)字幕強調処理(S25)に進み、キーワードが見つからなければ(S24No)字幕の強調解除処理(S26)と音声強調の解除処理(S28)を行い終了する。
字幕強調処理(S25)では、字幕データの字幕フォーマット変換処理を用いて字幕強調処理を実行する。音声強調処理(S27)は音響モデル変換処理を用いて音声強調処理を施す。このようにして1シーン単位の字幕と音声出力の同時強調処理を行う。
In conditional branching by keyword matching (S24), the character string comparison between the subtitle data for each scene and the keyword set by the user is performed, and if a keyword is found in the subtitle data for each scene (S24 Yes) In S25), if no keyword is found (No in S24), subtitle enhancement cancellation processing (S26) and speech enhancement cancellation processing (S28) are performed, and the processing is terminated.
In the caption enhancement process (S25), the caption enhancement process is executed using the caption format conversion process of the caption data. In the speech enhancement process (S27), the speech enhancement process is performed using the acoustic model conversion process. In this way, simultaneous enhancement processing of subtitles and audio output in units of scenes is performed.
以下に、ユーザが居住地域情報の「神奈川県」というキーワードを設定した場合を例に説明する。
シーンの抽出処理(図2のS22)では字幕データに含まれる画面消去の制御符号(CS制御符号)で区切られる字幕データの部分集合を1つのシーンとして抽出している。字幕データは制御符号と文字データで構成されており、制御符号には、配色指定、文字サイズ指定、書体(フォント)指定などの制御情報が、文字データには、漢字、平仮名、片仮名、英数字などによる文字情報が入っている。
Hereinafter, a case where the user sets the keyword “Kanagawa Prefecture” in the residential area information will be described as an example.
In the scene extraction process (S22 in FIG. 2), a subset of caption data divided by a screen erasure control code (CS control code) included in caption data is extracted as one scene. Subtitle data consists of control code and character data. Control information includes color specification, character size, and typeface (font) specification. Control data includes kanji, hiragana, katakana, and alphanumeric characters. Contains character information.
キーワード合致の条件分岐(図2のS24)ではシーン単位の字幕データの中にキーワード「神奈川県」が含まれるかの比較判定を行う。シーン単位の字幕データの中にキーワード「神奈川県」が含まれる場合には、ユーザの嗜好性が高いシーンであると判定し、字幕および音声信号の強調処理を行う。
図3と図4は字幕文字の強調処理を示したものである。図3は強調処理を施す前の字幕データを示した図であり、図4は強調処理を施した後の字幕データを示した図である。ここでは文字の書体と文字の太さを変更するような字幕フォーマット変換処理を行っている。字幕文の強調処理(図2のS25)は、字幕フォーマットの変換部15にて文字の配色、サイズ、装飾、書体等をフォーマット変換することで行っている。
In the conditional branch for keyword matching (S24 in FIG. 2), it is determined whether or not the keyword “Kanagawa Prefecture” is included in the caption data for each scene. When the keyword “Kanagawa Prefecture” is included in the caption data for each scene, it is determined that the scene has high user preference, and caption and audio signal enhancement processing is performed.
3 and 4 show the caption character enhancement processing. FIG. 3 is a diagram showing the caption data before the enhancement process is performed, and FIG. 4 is a diagram showing the caption data after the enhancement process is performed. Here, subtitle format conversion processing is performed to change the font of the character and the thickness of the character. The caption sentence emphasis process (S25 in FIG. 2) is performed by converting the format of the character color scheme, size, decoration, typeface, and the like in the caption
図5と図6は音声信号の強調処理を図示したものである。図5は音声信号に対して強調処理を施す前のデータを示した図であり、図6は音声信号に対して強調処理を施した後を示した図である。この例では、横軸が周波数軸、縦軸が音声信号の出力レベルを示している。 5 and 6 illustrate audio signal enhancement processing. FIG. 5 is a diagram illustrating data before the enhancement process is performed on the audio signal, and FIG. 6 is a diagram illustrating the data after the enhancement process is performed on the audio signal. In this example, the horizontal axis indicates the frequency axis and the vertical axis indicates the output level of the audio signal.
本実施例では音声信号の線形加工処理を行っているが、非線形の波形加工を行うような音響モデルを用いた構成としてもよい。
また、音声変換部では、スピーカ出力毎に異なる音響モデルを適用しと構成としてもよい。例えば、5.1chステレオのセンタースピーカー出力に対しては、話速変換の音響モデルを適用し、他のスピーカ出力に対してば話速変換以外の音響モデルを適用する構成等である。
In this embodiment, the audio signal is linearly processed, but a configuration using an acoustic model that performs nonlinear waveform processing may be used.
In addition, the audio conversion unit may be configured by applying a different acoustic model for each speaker output. For example, an acoustic model for speech speed conversion is applied to the center speaker output of 5.1ch stereo, and an acoustic model other than the speech speed conversion is applied to other speaker outputs.
1…チューナ
2…多重信号分離器
3…制御部
4,8…メモリ
5…キー入力バッファ
6…音声デコーダ
7…映像デコーダ
9…字幕デコーダ
10…音響効果変換部
11…映像フォーマット変換部
12…シーン検出部
13…映像プレーン出力部
14…キーワード比較部
15…字幕フォーマット変換部
16…音声出力部
17…グラフィックプレーン重畳部
18…字幕プレーン出力部
19…スピーカ
20…ディスプレイ
DESCRIPTION OF SYMBOLS 1 ... Tuner 2 ... Multiplex signal separator 3 ... Control part 4, 8 ... Memory 5 ... Key input buffer 6 ... Audio decoder 7 ... Video decoder 9 ...
Claims (1)
前記得られた音響信号を強調出力させるための音響信号強調手段と、
前記入来するテレビジョン信号から映像信号を得るための映像デコーダと、
前記得られた映像信号に字幕情報を加算するための字幕情報加算手段と、
前記入来するテレビジョン信号から字幕情報を得るための字幕デコーダと、
前記得られた字幕情報を強調表示させるための字幕情報強調手段と、
予めユーザによる入力手段からのキーワードを登録する登録手段と、
を有し、
前記字幕デコーダによりデコードされた前記字幕情報と前記登録手段により予め登録されたキーワードとを比較し、一致したフレーム中においてのみ前記音響信号強調手段及び前記字幕情報強調手段を作動させると共に、前記強調した字幕情報を前記字幕情報加算手段に供給するよう制御する構成にしたことを特徴とするデジタル放送受信装置。
An acoustic decoder for receiving an incoming television signal and obtaining an acoustic signal from the television signal;
Acoustic signal emphasizing means for emphasizing and outputting the obtained acoustic signal;
A video decoder for obtaining a video signal from the incoming television signal;
Subtitle information adding means for adding subtitle information to the obtained video signal;
A subtitle decoder for obtaining subtitle information from the incoming television signal;
Subtitle information emphasizing means for highlighting the obtained subtitle information;
Registration means for registering keywords from the input means by the user in advance;
Have
The subtitle information decoded by the subtitle decoder is compared with the keyword registered in advance by the registration unit, and the sound signal enhancement unit and the subtitle information enhancement unit are operated only in the matched frame, and the enhancement is performed. A digital broadcast receiving apparatus characterized in that subtitle information is controlled to be supplied to the subtitle information adding means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003341257A JP4210996B2 (en) | 2003-09-30 | 2003-09-30 | Digital broadcast receiver |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003341257A JP4210996B2 (en) | 2003-09-30 | 2003-09-30 | Digital broadcast receiver |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005109925A true JP2005109925A (en) | 2005-04-21 |
JP4210996B2 JP4210996B2 (en) | 2009-01-21 |
Family
ID=34535925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003341257A Expired - Fee Related JP4210996B2 (en) | 2003-09-30 | 2003-09-30 | Digital broadcast receiver |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4210996B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008172324A (en) * | 2007-01-09 | 2008-07-24 | Sony Corp | Information processor, processing method and program |
-
2003
- 2003-09-30 JP JP2003341257A patent/JP4210996B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008172324A (en) * | 2007-01-09 | 2008-07-24 | Sony Corp | Information processor, processing method and program |
US8879885B2 (en) | 2007-01-09 | 2014-11-04 | Sony Corporation | Information processing apparatus, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4210996B2 (en) | 2009-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100294677B1 (en) | Apparatus and method for processing caption of digital tv receiver | |
US20020143531A1 (en) | Speech recognition based captioning system | |
JP4384074B2 (en) | Broadcast content processing apparatus and control method thereof | |
JP2010141530A (en) | Apparatus and method for receiving broadcasting | |
JP2004208014A (en) | Subtitle display device and subtitle display program | |
JP2011170282A (en) | Reproduction device and reproduction method | |
JP2008245038A (en) | Broadcast receiver and display method | |
JP4210996B2 (en) | Digital broadcast receiver | |
JP2008245169A (en) | Broadcasting receiving apparatus and broadcasting receiving method | |
JP2004172864A (en) | Controller for display of superimposed-dialogue | |
KR100568775B1 (en) | Method for displaying audio graphic equalizer in digital broadcasting receiver | |
JP4269840B2 (en) | Digital broadcasting-compatible receiving terminal device | |
JP2008053991A (en) | Digital broadcast receiver | |
JP2001309267A (en) | Digital broadcasting receiver | |
KR20040004390A (en) | Method and system for buffering pixel data | |
JP2015159363A (en) | receiver and broadcasting system | |
JP4210997B2 (en) | Digital broadcast receiver | |
JP2009171393A (en) | Broadcast receiver, broadcast receiving method and broadcast receiving program | |
KR20000051765A (en) | Apparatus and method for capturing object in TV program | |
JP2005012293A (en) | Decoding device | |
JP2009246928A (en) | Digital broadcasting receiver | |
JP4414980B2 (en) | Broadcast receiver | |
KR100799537B1 (en) | Multimedia contents conversion apparatus which can convert data to sound and its method | |
KR100487211B1 (en) | Digital television receiver and subtitle display method with subtitle display function | |
JP2006023345A (en) | Automatic television image capture method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081003 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081016 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |