JP3229992B2 - Audio mute method in image coding device - Google Patents

Audio mute method in image coding device

Info

Publication number
JP3229992B2
JP3229992B2 JP27688594A JP27688594A JP3229992B2 JP 3229992 B2 JP3229992 B2 JP 3229992B2 JP 27688594 A JP27688594 A JP 27688594A JP 27688594 A JP27688594 A JP 27688594A JP 3229992 B2 JP3229992 B2 JP 3229992B2
Authority
JP
Japan
Prior art keywords
audio
circuit
signal
mute
error information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27688594A
Other languages
Japanese (ja)
Other versions
JPH08140089A (en
Inventor
俊行 清水
Original Assignee
日本電気エンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気エンジニアリング株式会社 filed Critical 日本電気エンジニアリング株式会社
Priority to JP27688594A priority Critical patent/JP3229992B2/en
Publication of JPH08140089A publication Critical patent/JPH08140089A/en
Application granted granted Critical
Publication of JP3229992B2 publication Critical patent/JP3229992B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Receiver Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、動画信号を高能率符号
化する画像符号化装置に関し、特に、画像信号と多重化
された音声信号を受信部で分離・再生する際に伝送路エ
ラー等によって起こる雑音を消去する音声ミュート方式
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image encoding apparatus for encoding moving picture signals with high efficiency, and more particularly to a transmission line error or the like when a receiving section separates and reproduces an audio signal multiplexed with an image signal. The present invention relates to a sound mute method for eliminating noise caused by the sound.

【0002】[0002]

【従来の技術】従来の画像符号化装置では、画像信号の
処理に費やされる時間に音声信号を合わせる(リップシ
ンク)ため、メモリから構成される遅延回路により音声
信号を遅延させて出力する方法をとっている。このと
き、伝送路にエラーが発生した場合、出力する音声信号
をミュートし、伝送路エラー復旧後にミュートを解除す
ると、伝送路エラー発生期間中に遅延回路のメモリに書
き込まれた誤った音声信号が出力されてしまう。
2. Description of the Related Art In a conventional image encoding apparatus, a method of delaying and outputting an audio signal by a delay circuit including a memory in order to adjust the audio signal to a time consumed for processing the image signal (lip sync) is employed. I am taking. At this time, if an error occurs in the transmission path, the output audio signal is muted, and the mute is released after the transmission path error is recovered, and an erroneous audio signal written to the memory of the delay circuit during the transmission path error occurrence period is output. Will be output.

【0003】これを防ぐために、復旧後ミュート解除を
行うまでの時間を、誤った音声信号が全て出力し終わる
に充分な時間に予め固定的に設定している。
In order to prevent this, the time from the restoration to the release of the mute is fixedly set in advance to a time sufficient to completely output all erroneous audio signals.

【0004】[0004]

【発明が解決しようとする課題】従来の方法では、伝送
路エラーの復旧後ミュートを解除するまでの時間が、誤
った音声信号が全て出力し終わるに充分な時間に予め固
定的に設定されているので、ミュート解除までの時間が
長くなり、正常に映像が映し出されているにも関わらず
音声がしばらくの間無音となる。
In the conventional method, the time until the mute is released after the restoration of the transmission path error is fixedly set in advance to a time sufficient to completely output all the erroneous audio signals. As a result, the time until the mute is released becomes longer, and the sound is muted for a while even though the image is normally displayed.

【0005】[0005]

【課題を解決するための手段】本発明による画像符号化
装置における音声ミュート方式は、入力された動画信号
に高能率符号化を施して得られた画像信号を平滑化する
バッファを備えた高能率符号化回路と、入力された音声
信号に動画信号の高能率符号化処理に費やされる時間に
対して同一遅延を与える音声遅延回路と、伝送路フレー
ムを組み立て、前記画像信号と前記音声信号とを多重化
して送出する多重化回路とを具備する送信部と、伝送路
フレームを確立し、多重化された画像信号および音声信
号を分離するとともに第一の伝送路エラー情報を出力す
る分離回路と、前記画像信号に復号化処理施して動画
信号を得る高能率復号化回路と、前記音声信号と前記第
一の伝送路エラー情報とを入力して画像信号の復号化処
理に費やされる時間に対して、それぞれ同一遅延を与え
て音声信号と第二の伝送路エラー情報とを出力する受信
遅延回路と、前記第一の伝送路エラー情報を得て、エラ
ー発生時に音声信号をミューとする音声ミュート手段
と、前記第二の伝送路エラー情報を得て、エラー復旧後
に前記音声ミュート手段のミュートを解除する音声ミュ
ート解除手段とを具備する受信部とを有することを特徴
とする。
According to the present invention, there is provided an audio mute system in an image encoding apparatus according to the present invention, which comprises a high efficiency buffer having a buffer for smoothing an image signal obtained by performing high efficiency encoding on an input moving image signal. An encoding circuit, an audio delay circuit for giving the same delay to the time spent for the high-efficiency encoding processing of the moving image signal to the input audio signal, and a transmission line frame are assembled, and the image signal and the audio signal are A transmitting unit having a multiplexing circuit for multiplexing and transmitting, a separating circuit for establishing a transmission path frame, separating the multiplexed image signal and audio signal, and outputting first transmission path error information, when spent decoding of image signals by entering the high efficiency decoding circuit for obtaining a video signal by performing decoding processing on the image signal, the audio signal and the said first transmission path error information A reception delay circuit that outputs the audio signal and the second transmission line error information by respectively giving the same delay, obtains the first transmission line error information, and mutes the audio signal when an error occurs It is characterized by having a receiving unit comprising an audio mute means and an audio mute release means for obtaining the second transmission path error information and releasing the mute of the audio mute means after error recovery.

【0006】[0006]

【実施例】次に、本発明の実施例について図面を参照し
て説明する。
Next, embodiments of the present invention will be described with reference to the drawings.

【0007】図1を参照すると、本発明の一実施例の送
信部ににおいて、入力端子1からの動画像データは、高
能率符号化回路3へ入力される。高能率符号化回路3
は、動画像データに対して高能率符号化処理を施した
後、内部のバッファメモリに記憶する。高能率符号化さ
れた画像信号は、伝送路速度で読み出され多重化回路4
へ出力される。
Referring to FIG. 1, in a transmission section according to an embodiment of the present invention, moving image data from an input terminal 1 is input to a high efficiency coding circuit 3. High efficiency coding circuit 3
Performs a high-efficiency encoding process on moving image data, and then stores it in an internal buffer memory. The high-efficiency coded image signal is read out at the transmission line speed, and
Output to

【0008】入力端子2からの音声データは、送信音声
遅延回路5へ入力される。送信音声遅延回路5は、動画
像データの高能率符号化処理に費やされる時間に合わせ
るため、音声データに遅延を与え、多重化回路4へ出力
する。
The audio data from the input terminal 2 is input to a transmission audio delay circuit 5. The transmission audio delay circuit 5 delays the audio data in order to match the time spent in the high-efficiency encoding processing of the moving image data, and outputs it to the multiplexing circuit 4.

【0009】多重化回路4では、伝送路フレーム組み立
てと、高能率符号化回路3の出力の画像信号と送信音声
遅延回路5の出力の音声データとの多重化を行う。多重
化された信号は、出力端子6を介して、伝送路7に送出
される。
The multiplexing circuit 4 assembles the transmission line frame and multiplexes the image signal output from the high efficiency coding circuit 3 and the audio data output from the transmission audio delay circuit 5. The multiplexed signal is transmitted to the transmission path 7 via the output terminal 6.

【0010】受信部においては、伝送路7からの伝送路
データは入力端子8で受信され、分離回路9へ入力され
る。分離回路9は、フレーム同期を確立した後、多重化
された画像信号と音声データとをそれぞれ分離する。画
像信号は高能率復号化回路10へ入力され、音声データ
は受信音声遅延回路12へ入力される。また、分離回路
9は、伝送路の誤り等によって発生する伝送路エラー情
報aを、受信音声遅延回路12およびミュート制御回路
14へ出力する。
In the receiving section, transmission line data from the transmission line 7 is received at an input terminal 8 and input to a separation circuit 9. After establishing the frame synchronization, the separation circuit 9 separates the multiplexed image signal and audio data. The image signal is input to the high-efficiency decoding circuit 10, and the audio data is input to the reception audio delay circuit 12. Further, the separation circuit 9 outputs the transmission line error information a generated due to a transmission line error or the like to the reception voice delay circuit 12 and the mute control circuit 14.

【0011】高能率復号化回路10は、分離回路9から
の画像信号を入力して、高能率復号化回路を行い、画像
データを再生し、出力端子11に送出する。
The high-efficiency decoding circuit 10 receives the image signal from the separation circuit 9, performs a high-efficiency decoding circuit, reproduces the image data, and sends it to the output terminal 11.

【0012】受信音声遅延回路12は、分離回路9から
の音声データと伝送路エラーaとを入力して、画像信号
の高能率復号化処理に費やされる処理時間に合わせるた
め、音声データに遅延を与えるとともに、伝送路エラー
情報aに遅延を与えて伝送路エラー情報bを得る。遅延
された音声データは切替器13へ、伝送路エラー情報b
はミュート制御回路14へ出力される。
The reception audio delay circuit 12 receives the audio data from the separation circuit 9 and the transmission path error a, and delays the audio data in order to match the processing time spent for the high-efficiency decoding of the image signal. At the same time, the transmission path error information a is delayed to give the transmission path error information b. The delayed audio data is sent to the switch 13 for transmission path error information b.
Is output to the mute control circuit 14.

【0013】ミュート制御回路14は、伝送路エラー情
報aおよびbを入力し、伝送路エラーaの立ち下がりエ
ッジでTTL「H」レベルとなり、伝送路エラー情報b
の立ち上がりエッジでTTL「L」レベルとなる切替信
号cを切替器13へ出力する。
The mute control circuit 14 receives the transmission line error information a and b, goes to the TTL “H” level at the falling edge of the transmission line error a, and sets the transmission line error information b.
Is output to the switch 13 at the rising edge of the TTL "L" level.

【0014】切替器13は、通常ミュート制御回路14
から切替信号cのTTL「L」レベルを受け、受信音声
遅延回路12からの音声データに切り替えて出力端子1
6へ送出する。しかしながら、伝送路に誤り等が発生す
ると、伝送路エラー情報aがミュート制御回路14に送
出される。これを受けて、ミュート制御回路14は切替
信号cのレベルをTTL「H」レベルにする。切替器1
3は、TTL「H」レベルを受けて、ミュート信号発生
器15からのミュート信号を出力端子16へ送出され
る。すなわち、音声信号にミュートがかかる。
The switch 13 has a normal mute control circuit 14
Receives the TTL “L” level of the switching signal c, switches to the audio data from the reception audio delay circuit 12 and
Send to 6. However, when an error or the like occurs in the transmission path, the transmission path error information a is sent to the mute control circuit 14. In response, the mute control circuit 14 sets the level of the switching signal c to the TTL “H” level. Switch 1
3 receives the TTL “H” level and sends the mute signal from the mute signal generator 15 to the output terminal 16. That is, the audio signal is muted.

【0015】伝送路誤り等が復旧すると、伝送路エラー
情報bがミュート制御回路14に送出される。これによ
り、ミュート制御回路14は、切替信号cのレベルをT
TL「L」レベルにする。切替器13は、TTL「L」
レベルを受けて、通常状態に切り替える。すなわち、受
信音声遅延回路12からの音声データに切り替えて、音
声のミュートが解除される。
When the transmission line error or the like is recovered, the transmission line error information b is sent to the mute control circuit 14. Thereby, the mute control circuit 14 sets the level of the switching signal c to T
Set to TL “L” level. The switch 13 is a TTL “L”
Upon receiving the level, switch to the normal state. That is, switching to the audio data from the reception audio delay circuit 12 cancels the mute of the audio.

【0016】次に、図2を参照して、ミュート制御回路
14について説明する。伝送路誤りが発生すると、分路
回路9からの伝送路エラー情報aは、TTL「H」レベ
ルからTTL「L」レベルに変化し、ミュート制御回路
14の微分器141に入力される。微分器141は、伝
送路エラー情報aの立ち下がりエッジを微分し、フリッ
プ・フロップ回路143のセット端子に出力される。こ
のとき、フリップ・フロップ回路143の出力は通常の
TTL「L」レベルからTTL「H」レベルに変化し出
力する。
Next, the mute control circuit 14 will be described with reference to FIG. When a transmission line error occurs, the transmission line error information a from the shunt circuit 9 changes from the TTL “H” level to the TTL “L” level, and is input to the differentiator 141 of the mute control circuit 14. The differentiator 141 differentiates the falling edge of the transmission path error information a and outputs the result to the set terminal of the flip-flop circuit 143. At this time, the output of the flip-flop circuit 143 changes from the normal TTL “L” level to the TTL “H” level and outputs.

【0017】伝送路誤りが復旧すると、受信音声遅延回
路12からの伝送路エラー情報bは、TTL「L」レベ
ルからTTL「H」レベルに変化し、ミュート制御回路
14の微分器142に入力される。微分器142は、伝
送路エラー情報bの立ち上がりエッジを微分し、フリッ
プ・フロップ回路143のリセット端子に出力される。
このとき、フリップ・フロップ回路143の出力は、伝
送路誤り発生状態のTTL「H」レベルから通常のTT
L「L」レベルに変化し出力する。
When the transmission path error is recovered, the transmission path error information b from the receiving voice delay circuit 12 changes from the TTL "L" level to the TTL "H" level, and is input to the differentiator 142 of the mute control circuit 14. You. The differentiator 142 differentiates the rising edge of the transmission path error information b and outputs the result to the reset terminal of the flip-flop circuit 143.
At this time, the output of the flip-flop circuit 143 changes from the TTL “H” level in the transmission line error occurrence state to the normal TT
The signal changes to L level and is output.

【0018】図3に、伝送路誤りにより音声に誤りが生
じた場合の伝送路エラー情報aおよびbによって得られ
た切替信号cによる音声ミュートおよびミュート解除方
法のタイミングを示している。
FIG. 3 shows the timing of the audio mute and mute release method based on the switching signal c obtained by the transmission line error information a and b when an error occurs in the audio due to the transmission line error.

【0019】[0019]

【発明の効果】以上説明したように、本発明において
は、音声データのミュート解除を行う際に、伝送路エラ
ー情報を音声の遅延と同じ遅延量を与えて解除信号とし
ているため、伝送路誤りが復旧してからミュート解除す
るまでの時間を比較的短時間に実現できる。このため、
正常に映像が映し出されるとほぼ同時に再生することが
できる。
As described above, according to the present invention, when the mute of the audio data is released, the transmission path error information is set to the release signal by giving the same delay amount as the delay of the audio. Can be realized in a relatively short period of time from the restoration to the release of the mute. For this reason,
When the image is normally displayed, it can be reproduced almost simultaneously.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施例のブロック図である。FIG. 1 is a block diagram of one embodiment of the present invention.

【図2】図1に示した実施例におけるミュート制御回路
の詳細ブロック図である。
FIG. 2 is a detailed block diagram of a mute control circuit in the embodiment shown in FIG.

【図3】図1に示した実施例の動作を説明するタイミン
グ図である。
FIG. 3 is a timing chart for explaining the operation of the embodiment shown in FIG. 1;

【符号の説明】[Explanation of symbols]

1,2 入力端子 3 高能率符号化回路 4 多重化回路 5 送信音声遅延回路 6 出力端子 7 伝送路 8 入力端子 9 分離回路 10 高能率復号化回路 11 出力端子 12 受信音声遅延回路 13 切替器 14 ミュート制御回路 15 ミュート信号発生器 16 出力端子 141,142 微分器 143 フリップ・フロップ回路 1, 2 input terminal 3 high efficiency encoding circuit 4 multiplexing circuit 5 transmission audio delay circuit 6 output terminal 7 transmission line 8 input terminal 9 separation circuit 10 high efficiency decoding circuit 11 output terminal 12 reception audio delay circuit 13 switch 14 Mute control circuit 15 Mute signal generator 16 Output terminal 141, 142 Differentiator 143 Flip-flop circuit

フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/50 - 5/63 H04N 7/00 - 7/088 H04N 7/14 - 7/173 H04N 7/24 - 7/68 H04B 14/00 - 14/08 Continuation of the front page (58) Field surveyed (Int.Cl. 7 , DB name) H04N 5/ 50-5/63 H04N 7/ 00-7/088 H04N 7/ 14-7/173 H04N 7/ 24-7 / 68 H04B 14/00-14/08

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 入力された動画信号に高能率符号化を施
して得られた画像信号を平滑化するバッファを備えた高
能率符号化回路と、入力された音声信号に動画信号の高
能率符号化処理に費やされる時間に対して同一遅延を与
える音声遅延回路と、伝送路フレームを組み立て、前記
画像信号と前記音声信号とを多重化して送出する多重化
回路とを具備する送信部と、 伝送路フレームを確立し、多重化された画像信号および
音声信号を分離するとともに第一の伝送路エラー情報を
出力する分離回路と、前記画像信号に復号化処理施し
て動画信号を得る高能率復号化回路と、前記音声信号と
前記第一の伝送路エラー情報とを入力して画像信号の復
号化処理に費やされる時間に対して、それぞれ同一遅延
を与えて音声信号と第二の伝送路エラー情報とを出力す
る受信遅延回路と、前記第一の伝送路エラー情報を得
て、エラー発生時に音声信号をミューとする音声ミュー
ト手段と、前記第二の伝送路エラー情報を得て、エラー
復旧後に前記音声ミュート手段のミュートを解除する音
声ミュート解除手段とを具備する受信部とを有すること
を特徴とする画像符号化装置における音声ミュート方
式。
1. A high-efficiency coding circuit having a buffer for smoothing an image signal obtained by performing high-efficiency coding on an input moving image signal, and a high-efficiency coding of a moving image signal on an input audio signal. A transmission unit comprising: an audio delay circuit for giving the same delay to the time spent for the multiplexing process; and a multiplexing circuit for assembling a transmission line frame and multiplexing and transmitting the image signal and the audio signal. A separation circuit for establishing a transmission path frame, separating a multiplexed image signal and an audio signal and outputting first transmission path error information, and a high efficiency decoding for performing a decoding process on the image signal to obtain a moving image signal Circuit, and the audio signal and the second transmission path error information are given the same delay for the time spent for decoding the image signal by inputting the audio signal and the first transmission path error information. information And a reception delay circuit that outputs the first transmission line error information, an audio muting unit that mutes an audio signal when an error occurs, and obtains the second transmission line error information, and after error recovery, A sound mute canceling means for canceling the mute of the sound mute means.
【請求項2】 前記音声ミュート手段および音声ミュー
ト解除手段が、前記第一の伝送路エラー情報の立ち下が
りエッジでTTL「H」レベルとなり、前記第二の伝送
路エラー情報の立ち上がりエッジでTTL「L」レベル
となる切替信号出力するミュート制御回路と、 前記切替信号のTTL「L」レベルを受け、前記遅延回
路からの音声データに切り替え、前記切替信号のTTL
「H」レベルを受けて音声ミュート状態に切り替える切
替手段とを有することを特徴とする請求項1記載の画像
符号化装置における音声ミュート方式。
2. The audio mute means and the audio mute release means attain a TTL "H" level at a falling edge of the first transmission path error information, and a TTL "H" level at a rising edge of the second transmission path error information. A mute control circuit for outputting a switching signal having an L level; receiving a TTL “L” level of the switching signal, switching to audio data from the delay circuit;
2. The audio mute system according to claim 1, further comprising: a switching unit configured to switch to an audio mute state in response to the "H" level.
【請求項3】 前記ミュート制御回路が、 前記第一の伝送路エラー情報の立ち下がりエッジを微分
する第一の微分器と、 前記第二の伝送路エラー情報の立ち上がりエッジを微分
する第二の微分器と、 前記第一の微分器の出力でセットし、前記第二の微分器
の出力でリセットして前記切替信号をえるフリップ・フ
ロップ回路とを有することを特徴とする請求項2記載の
画像符号化装置における音声ミュート方式。
3. A mute control circuit comprising: a first differentiator for differentiating a falling edge of the first transmission path error information; and a second differentiator for differentiating a rising edge of the second transmission path error information. 3. The differential circuit according to claim 2, further comprising: a differentiator; and a flip-flop circuit that sets the output signal of the first differentiator and resets the output signal of the second differentiator to obtain the switching signal. An audio mute method in an image encoding device.
JP27688594A 1994-11-11 1994-11-11 Audio mute method in image coding device Expired - Fee Related JP3229992B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27688594A JP3229992B2 (en) 1994-11-11 1994-11-11 Audio mute method in image coding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27688594A JP3229992B2 (en) 1994-11-11 1994-11-11 Audio mute method in image coding device

Publications (2)

Publication Number Publication Date
JPH08140089A JPH08140089A (en) 1996-05-31
JP3229992B2 true JP3229992B2 (en) 2001-11-19

Family

ID=17575759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27688594A Expired - Fee Related JP3229992B2 (en) 1994-11-11 1994-11-11 Audio mute method in image coding device

Country Status (1)

Country Link
JP (1) JP3229992B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3106987B2 (en) * 1997-01-09 2000-11-06 日本電気株式会社 Audio / video synchronous playback device

Also Published As

Publication number Publication date
JPH08140089A (en) 1996-05-31

Similar Documents

Publication Publication Date Title
JP4001091B2 (en) Performance system and music video playback device
US9386192B2 (en) AV timing measurement and correction for digital television
KR950007334A (en) Serial transmission method of multiplexed signal, device and transceiver
JPH10164514A (en) Digital video-reproducing device
JP2538921B2 (en) Music performance information transmission method, transmission device, and reception device
WO2003034725A1 (en) Video/audio reproduction apparatus, video/audio reproduction method, program, and medium
JPH01202994A (en) Data transmission system
JP3229992B2 (en) Audio mute method in image coding device
JP2851045B2 (en) Video digital transmission system and its receiving device
JP2558730B2 (en) Video transmission system
JP3194510B2 (en) Digital video signal multiplex transmission method and apparatus
EP0551751A1 (en) Muse audio decoder and muse transmission system
JPH06319110A (en) Digital signal receiver
JPH1188847A (en) Video/audio synchronizing system
JPH07121161A (en) Method and device for remote recording and reproduction
JP3199046B2 (en) Delay compensation method
JPH0747017Y2 (en) MUSE decoder
JP2848456B2 (en) Color image transmission method
JP3497676B2 (en) AV combine receiver
JPH05167995A (en) Transmission device for digital signal
JPH04100430A (en) Voice cell/picture cell reproduction synchronizing device
JPH08317362A (en) Terminal equipment for video conference system
JPH09297970A (en) Noise reducing device for digitasl signal
JPH01130686A (en) Method and receiver for time information transmission
JP2000067513A (en) Digital signal processor as well as recorder and reproducer

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010731

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees