JP2002027394A - 映像信号処理装置 - Google Patents

映像信号処理装置

Info

Publication number
JP2002027394A
JP2002027394A JP2000202683A JP2000202683A JP2002027394A JP 2002027394 A JP2002027394 A JP 2002027394A JP 2000202683 A JP2000202683 A JP 2000202683A JP 2000202683 A JP2000202683 A JP 2000202683A JP 2002027394 A JP2002027394 A JP 2002027394A
Authority
JP
Japan
Prior art keywords
signal
signal processing
video signal
camera
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000202683A
Other languages
English (en)
Other versions
JP4366839B2 (ja
Inventor
Yuichiro Shimada
雄一郎 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000202683A priority Critical patent/JP4366839B2/ja
Publication of JP2002027394A publication Critical patent/JP2002027394A/ja
Application granted granted Critical
Publication of JP4366839B2 publication Critical patent/JP4366839B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 2台分の画像記録再生手段を同時に動作させ
るための映像信号処理装置を提供すること。 【解決手段】 撮像素子から送られてくるアナログ映像
信号をディジタル化するディジタル化手段と、ディジタ
ル化された映像信号の信号処理を行い輝度信号と色差信
号を別々に出力するカメラ信号処理手段と、上記カメラ
信号処理手段から送られてくる輝度信号と色差信号を第
1記録再生手段に記録するために必要な信号処理を行う
第1ビデオ信号処理手段と、を備えた映像信号処理装置
であって、第2記録再生手段と、上記第2記録再生手段
から再生した映像信号の信号処理を行って輝度信号と色
差信号を別々に出力する第2ビデオ信号処理手段と、上
記カメラ信号処理手段から送られてくる信号と上記第2
ビデオ信号処理手段から送られてくる信号を合成して上
記第1ビデオ信号処理手段に送る合成信号処理手段と、
を備える。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は、映像信号処理装置
に関する。更に詳しく言えば、画像信号記録再生装置を
2台設けたカメラ一体型画像信号記録再生装置に関す
る。
【0002】
【従来の技術】従来のカムコーダ(カメラ一体型レコー
ダ)は、映像信号を記録媒体に記録し、該映像信号を記
録媒体から再生するための信号処理装置(以下、ビデオ
信号処理装置と呼ぶ)を1つしか具備していなかった。
そのため、下記の点でシステム的に不充分であった。 1.ビデオ信号処理装置が1つしかないため、映像信号
の記録、再生の両機能を同時に行うことができなかっ
た。 2.ビデオ信号処理装置が1つしかないため、それに付
随する信号処理回路も1つしかなく、映像信号の記録、
再生の信号処理も同時に行うことができなかった。
【0003】
【発明が解決しようとする課題】本発明は、上記従来の
カメラ一体型レコーダの欠点を克服するためになされた
ものであり、映像信号の記録と再生の両方の機能を同時
に行える映像信号記録再生装置を提供することを課題と
する。また、本発明は、1つの記録媒体から再生した画
像とカメラで撮影した画像を合成して他の記録媒体に記
録するための信号処理回路を提供することを課題とす
る。
【0004】
【課題を解決するための手段】上記の課題を解決するた
めに、本発明は、下記の手段を備えた映像信号処理装置
を提供する。 1.撮像素子から送られてくるアナログ映像信号をディ
ジタル化するディジタル化手段と、ディジタル化された
映像信号の信号処理を行い輝度信号と色差信号を別々に
出力するカメラ信号処理手段と、上記カメラ信号処理手
段から送られてくる輝度信号と色差信号を第1記録再生
手段に記録するために必要な信号処理を行う第1ビデオ
信号処理手段と、を備えた映像信号処理装置であって、
第2記録再生手段と、上記第2記録再生手段から再生し
た映像信号の信号処理を行って輝度信号と色差信号を別
々に出力する第2ビデオ信号処理手段と、上記カメラ信
号処理手段から送られてくる信号と上記第2ビデオ信号
処理手段から送られてくる信号を合成して上記第1ビデ
オ信号処理手段に送る合成信号処理手段と、を備えた映
像信号処理装置を提供する。
【0005】2.上記1に記した映像信号処理装置にお
いて、上記合成信号処理手段に供給する信号は、上記カ
メラ信号処理手段、第2ビデオ信号処理手段の夫々のデ
ィジタル・インターフェース部から出力する信号である
映像信号処理装置を提供する。 3.上記1又は2に記した映像信号処理装置において、
上記カメラ信号処理手段のクロック信号発生器の出力を
上記第2ビデオ信号処理手段のクロック信号に同期させ
るようにした映像信号処理装置も提供する。
【0006】4.上記1〜3の何れか1つに記した映像
信号処理装置において、上記第2ビデオ信号処理手段か
ら供給されるフィールド同期信号によってカメラ信号処
理手段のクロック信号発生器をリセットするリセット回
路を設けて、カメラ信号の同期信号と再生信号の同期信
号のタイミングを合わせるようにした映像信号処理装置
を提供する。 5.上記1〜4の何れか1つの映像信号処理装置におい
て、上記合成信号処理手段が合成精度を高めるために、
輝度信号と2つの色差信号(R−Y,B−Y)のデータ
割合を4:4:4にする変換手段を備えた映像信号処理
装置も提供する。
【0007】
【発明の実施の形態】図1を参照して、本発明の一実施
形態について説明する。同図は、本実施形態におけるカ
メラ一体型映像信号記録再生装置(カムコーダ)のシス
テム構成を示す。図1中、101はカメラで撮影した画
像を表す映像信号を供給する固体撮像素子CCDであ
り、102は上記CCDから送られてくる映像信号をデ
ィジタル信号に変換するディジタル化回路で、CCDか
ら送られてくる信号をその信号レベルに応じた利得で増
幅するAGC(自動利得制御)回路、入力アナログ信号
をサンプリングして保持するS/H(サンプル・ホール
ド回路)、及びサンプリング保持されたアナログ信号を
ディジタル信号に変換するA/Dコンバータ回路が設け
られている。
【0008】ディジタル化回路102から出力されるデ
ィジタル映像信号はカメラ信号処理回路103に送ら
れ、そこで信号処理され、輝度信号とクロマ(色差)信
号に分離され、合成信号処理回路105に送られる。
【0009】他方、第2記録再生装置107から供給さ
れる再生映像信号は、ビデオ信号処理回路104に送ら
れ、そこで信号処理され、輝度信号とクロマ信号に分離
され、合成信号処理回路105に送られる。合成信号処
理回路105は、カメラから送られてきた映像信号(以
下、カメラ信号という)と第2記録再生装置107から
供給される再生映像信号を、クロマキー信号処理及びル
ミキー信号処理等の合成信号処理により合成する。合成
された映像信号は、第1ビデオ信号処理回路106に送
られ、ここで記録に必要な信号処理が行われた後、記録
信号として第1記録再生装置108に送られる。また、
この第1ビデオ信号処理回路106では、液晶等の表示
デバイス用信号処理やラインアウト用の信号処理も行わ
れる。
【0010】ここで、図1に図示された合成信号処理回
路105の構成及び動作について図2を参照して更に詳
しく説明する。なお、合成方法として、クロマキー及び
ルミキーを用いる場合を例にとって説明する。この合成
方法は、図2の右下に図示されたセレクタ211、21
2によって、カメラ信号を出力するか再生信号を出力す
るかを選択するが、これらのセレクタの選択信号である
合成制御信号を生成するためにクロマキー信号処理回路
205及び/又はルミキー信号処理回路206を使う方
法である。
【0011】クロマキー信号処理回路205から送られ
てくる信号により合成制御信号を生成する場合は、この
合成信号処理回路201の入力端子a、bから入力され
るカメラ・クロマ信号及び再生クロマ信号を用いる。ま
ず、再生信号にカメラ信号を合成させる場合、即ち、カ
メラ信号から抜き取りたい部分を抽出し再生信号に合成
させる場合について説明する。この場合は、セレクタ2
02の可動接点をg端子側に接続し、カメラ・クロマ信
号を4:4:4変換回路204を介してクロマキー信号
処理回路205に送り、そこで信号処理してセレクタ2
10の入力kへ送る。この信号はセレクタ210の出力
に合成制御信号としてセレクタ211、212の選択信
号を出力する。
【0012】次に、カメラ信号に再生信号を合成させる
場合、換言すると、再生信号から抜き取りたい部分を抽
出しカメラ信号に合成させる場合について説明する。こ
の場合は、セレクタ202をh端子側に接続し、再生ク
ロマ信号を4:4:4変換回路204を介してクロマキ
ー信号処理回路205に送り、そこで信号処理してセレ
クタ210の入力kへ送る。この信号はセレクタ210
の出力にセレクタ211、212の選択制御を行う合成
制御信号を生成する。
【0013】ここで使われている4:4:4変換回路2
04は、カメラ信号又は再生信号から合成した部分の抽
出精度を高めるための処理を行っている。次に、上記
4:4:4変換回路4の動作を、図3を参照して説明す
る。図1に示すカメラ信号処理回路103と合成信号処
理回路105の間、及びビデオ信号処理回路104と合
成信号処理回路105の間の各輝度信号及びクロマ(色
差)信号はそれぞれ図3の(b)及び(c)に示すよう
な状態にある。この状態では、輝度信号の4バイトの情
報に対してクロマ信号は2バイト分の情報しかもってい
ない。即ち、(輝度信号):(R−Y信号):(B−Y
信号)の比が4:2:2の状態になっている。
【0014】よって、合成制御信号はH(ハイ)からL
(ロー),又はLからHに状態遷移するタイミングが2
サイクル毎にしか行うことができない。即ち、カメラ信
号と再生信号の切換が2サイクル毎にしかすることがで
きない。そこで、クロマ信号を図3の(d)(e)に示
すような状態、即ち、(輝度信号):(R−Y信号):
(B−Y信号)の比が4:4:4の状態にすれば、輝度
信号1バイトに対してR−Y信号及びB−Y信号もそれ
ぞれ1バイトの情報を持つことになり、カメラ信号と再
生信号の切換が1サイクル毎にでき、カメラ信号又は再
生信号から信号を抽出する場合の抽出精度が高まる。
【0015】次に、図2に示すルミキー信号処理回路2
06の出力から上記合成制御信号を生成する場合につい
て説明する。この場合は、入力端子c,dから入力され
るカメラ輝度信号及び再生輝度信号を用いる。クロマ信
号の時と同様に、再生信号にカメラ信号を合成させる場
合、即ち、カメラ信号から抜き取った部分を抽出し、再
生信号に合成させる場合について説明すると、この場合
には、図2のセレクタ203をi側に接続してカメラ輝
度信号をルミキー信号処理回路206に送り、該回路で
信号処理して出力をセレクタ210の入力mに送る。
【0016】次に、カメラ信号に再生信号を合成させる
場合、換言すると、再生信号から抜き取りたい部分を抽
出しカメラ信号に合成させる場合について説明する。こ
の場合には、図2のセレクタ203をj側に接続し、入
力dから送られてくる再生輝度信号をルミキー信号処理
回路206に通過させ該回路で信号処理して、その出力
をセレクタ210の入力mに送る。
【0017】上記のとおり、クロマキー信号処理回路2
05の出力には、カメラ・クロマ信号に基づく制御信号
と再生クロマ信号に基づく制御信号が切換出力され、ル
ミキー信号処理回路206の出力にはカメラ輝度信号に
基づく制御信号と再生輝度信号に基づく制御信号が選択
出力される。また、クロマキー信号処理回路205の出
力はアンド回路209の1入力に印加され、該アンド回
路209の他の入力にはルミキー信号処理回路206の
出力が印加される。そしてアンド回路209の出力に現
れる論理積信号はセレクタ210の入力lに印加され
る。
【0018】従って、セレクタ210の出力には、クロ
マキー信号処理回路205の出力、ルミキー信号処理回
路206の出力、又はそれらの両方の回路の出力の中か
ら選択した合成制御信号が出力され、これがセレクタ2
11、212の制御端子に印加される。
【0019】図2に示す合成信号処理回路201の入力
端子aに入力したカメラ・クロマ信号と入力端子bに入
力した再生クロマ信号は、遅延回路207で、上記クロ
マキー信号処理回路205を通る経路における信号遅延
に相当する遅延時間だけ遅延された後セレクタ211の
入力n,oに送られる。同様にして、入力端子cに入力
したカメラ輝度信号と入力端子dに入力した再生輝度信
号は、遅延回路208で、上記ルミキー信号処理回路2
06を通る経路で生じる遅延に相当する遅延時間だけ遅
延された後セレクタ212の入力p,qに送られる。
【0020】セレクタ211は、上記合成制御信号に従
って切り換え選択を行ってカメラ・クロマ信号又は再生
クロマ信号を出力する。セレクタ212は、上記合成制
御信号に従って切り換え選択を行って、カメラ輝度信号
又は再生輝度信号を出力する。上記の信号処理を施され
た輝度信号及びクロマ信号は、出力端子e、fから出力
し、図1のビデオ信号処理回路106へ出力される。
【0021】上記の説明は映像信号処理についての説明
であるが、それらの基準となる水平同期信号、垂直同期
信号、フィールド判別同期信号及びそれらを司るクロッ
クについて下記に説明する。
【0022】図4は、図1に示す本発明の一実施形態に
かかる映像信号処理装置におけるクロックシステムを示
す。同図において、ビデオ信号処理回路401、カメラ
信号処理回路402、合成信号処理回路403、ビデオ
信号処理回路404は、それぞれ図1のビデオ信号処理
回路104、カメラ信号処理回路103、合成信号処理
回路105、ビデオ信号処理回路106に対応してい
る。
【0023】合成された映像信号の画像が乱れないよう
にするためには、上記回路401〜404を同一のクロ
ックで動作させるように構成する必要がある。そこで、
図4に図示するように、ビデオ信号処理回路(再生側)
401のクロックを、他の回路ブロック402〜404
へ供給する回路構成とする。
【0024】この時、カメラ信号処理回路402及びビ
デオ信号処理回路(記録側)404の中にセレクタA、
Bを持っていれば、使用するクロックをビデオ信号処理
回路401から供給されるクロックにしたり、他のクロ
ック信号源から供給されるクロックにしたりする切り換
えを行うことができる。
【0025】次に、同期信号について説明する。図5
は、図4の回路ブロックにおけるカメラ信号処理回路4
02の部分を詳細に図解したものである。同図に示すよ
うに、カメラ信号処理回路402の水平・垂直同期信号
発生回路500は、クロック信号発生器501を備え、
再生側のビデオ信号処理回路401から送られてくるフ
ィールド同期信号に同期してクロック信号を発生する。
【0026】クロック信号発生器501の出力はゲート
回路502の第1入力に供給される。ゲート回路502
は、後述するデコーダ504から第2入力に送られてく
る開閉信号によりゲートの開閉を行って、ゲートが開か
れている時、上記第1入力に供給されるクロック信号を
水平同期カウンタ503に供給する。水平同期カウンタ
503はゲート回路502を通過して送られてくるクロ
ックパルスを計数し、計数値が所定値に達する毎に出力
パルスを出してデコーダ504に送る。デコーダ504
は水平同期カウンタから出力されるパルス出力に基いて
ゲート開閉信号を作る。デコーダ504の出力は水平同
期信号として509から出力される。
【0027】上記デコーダ504の出力は、ゲート回路
505の第1入力にも印加される。ゲート回路505
は、後述するデコーダ507から第2入力に送られてく
る開閉信号によりゲートの開閉を行って、ゲートが開か
れている時、上記第1入力に供給される水平同期信号を
垂直同期カウンタ506に供給する。垂直同期カウンタ
506はゲート回路505を通過した水平同期信号パル
スを計数し、その計数値が所定値に達する毎に出力パル
スを出してデコーダ507に送る。デコーダ507の出
力は垂直同期信号として510から出力されるととも
に、ゲート回路505の開閉信号として該ゲート回路の
第2入力に印加される。
【0028】図5を参照して上記に説明したように、カ
メラ信号の水平・垂直同期信号はカメラ信号処理回路内
の信号発生器及び、それぞれのカウンタとデコーダによ
り作られる。そこで、再生信号側のフィールド同期信号
で、その信号発生器をリセットすることにより、再生信
号の同期信号とカメラ信号の同期信号のタイミングが合
うようになる。その結果、合成された画像の水平・垂直
位置が合うようにすることができる。
【0029】上記の説明から明らかなとおり、本発明の
映像信号記録再生装置は、カメラ信号及び再生信号のベ
ースバンド・レベルのディジタル信号を使い合成信号処
理を施しているため記録媒体におけるフォーマット依存
がない。従って、一台のカムコーダに搭載する2台の記
録/再生装置の組合せは以下のとおり9種類もあげるこ
とができる。 1.記録側:テープ、 再生側:テープ 2.記録側:テープ、 再生側:半導体メモリ 3.記録側:テープ、 再生側:ディスク 4.記録側:半導体メモリ、再生側:テープ 5.記録側:半導体メモリ、再生側:半導体メモリ 6.記録側:半導体メモリ、再生側:ディスク 7.記録側:ディスク、 再生側:テープ 8.記録側:ディスク、 再生側:半導体メモリ 9.記録側:ディスク、 再生側:ディスク
【0030】
【発明の効果】本発明の映像信号記録再生装置は、カメ
ラ一体型レコーダに適用した場合映像信号の記録と再生
の両方の機能を同時に行えるという効果が得られる。ま
た、本発明の映像信号記録再生装置は、1つの記録媒体
から再生した画像とカメラで撮影した画像を合成して他
の記録媒体に記録するための簡単な構成の信号処理回路
を得ることができる。更にまた、本発明の映像信号記録
再生装置は、カメラ信号及び再生信号のベースバンド・
レベルのディジタル信号を使い合成信号処理を施してい
るため記録媒体におけるフォーマット依存がない。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる映像信号処理装置
のシステム構成図である。
【図2】図1に示す合成信号処理回路の詳細を示す回路
ブロック図である。
【図3】図1に示す4:4:4変換回路における動作説
明図である。
【図4】図1の回路にかかるクロック系のシステム構成
図である。
【図5】図1の回路におけるカメラ信号処理回路の詳細
を示すブロック図である。
【符号の説明】
101・・・ CCD撮像素子、 102・・・ ディジタル化
回路、 103・・・ カメラ信号処理回路、 104・・・
第2ビデオ信号処理回路、 105・・・ 合成信号処理回
路、 106・・・ 第1ビデオ信号処理回路、 107・・
・ 第2記録再生装置、 108・・・ 第1記録再生装置。

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 撮像素子から送られてくるアナログ映像
    信号をディジタル化するディジタル化手段と、 ディジタル化された映像信号の信号処理を行い輝度信号
    と色差信号を別々に出力するカメラ信号処理手段と、 上記カメラ信号処理手段から送られてくる輝度信号と色
    差信号を第1記録再生手段に記録するために必要な信号
    処理を行う第1ビデオ信号処理手段と、を備えた映像信
    号処理装置であって、 第2記録再生手段と、 上記第2記録再生手段から再生した映像信号の信号処理
    を行って輝度信号と色差信号を別々に出力する第2ビデ
    オ信号処理手段と、 上記カメラ信号処理手段から送られてくる信号と上記第
    2ビデオ信号処理手段から送られてくる信号を合成して
    上記第1ビデオ信号処理手段に送る合成信号処理手段
    と、を備えた映像信号処理装置。
  2. 【請求項2】 請求項1に記載の映像信号処理装置にお
    いて、上記合成信号処理手段に供給する信号は、上記カ
    メラ信号処理手段、第2ビデオ信号処理手段の夫々のデ
    ィジタル・インターフェース部から出力する信号である
    映像信号処理装置。
  3. 【請求項3】 請求項1又は2に記載の映像信号処理装
    置において、上記カメラ信号処理手段のクロック信号発
    生器の出力を上記第2ビデオ信号処理手段のクロック信
    号に同期させるようにした映像信号処理装置。
  4. 【請求項4】 請求項1〜3の何れか1つに記した映像
    信号処理装置において、上記第2ビデオ信号処理手段か
    ら供給されるフィールド同期信号によってカメラ信号処
    理手段のクロック信号発生器をリセットするリセット回
    路を設けて、カメラ信号の同期信号と再生信号の同期信
    号のタイミングを合わせるようにした映像信号処理装
    置。
  5. 【請求項5】 請求項1〜4の何れか1つの映像信号処
    理装置において、上記合成信号処理手段が合成精度を高
    めるために、輝度信号と2つの色差信号(R−Y,B−
    Y)のデータ割合を4:4:4にする変換手段を備えた
    映像信号処理装置。
JP2000202683A 2000-07-04 2000-07-04 映像信号処理装置 Expired - Fee Related JP4366839B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000202683A JP4366839B2 (ja) 2000-07-04 2000-07-04 映像信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000202683A JP4366839B2 (ja) 2000-07-04 2000-07-04 映像信号処理装置

Publications (2)

Publication Number Publication Date
JP2002027394A true JP2002027394A (ja) 2002-01-25
JP4366839B2 JP4366839B2 (ja) 2009-11-18

Family

ID=18700176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000202683A Expired - Fee Related JP4366839B2 (ja) 2000-07-04 2000-07-04 映像信号処理装置

Country Status (1)

Country Link
JP (1) JP4366839B2 (ja)

Also Published As

Publication number Publication date
JP4366839B2 (ja) 2009-11-18

Similar Documents

Publication Publication Date Title
US20080024659A1 (en) Video signal processing apparatus and video signal processing method
JP2007104623A (ja) 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法
US6963373B2 (en) Image processing apparatus which reduces noise by adjusting the transition timing
JP4366839B2 (ja) 映像信号処理装置
JP4191911B2 (ja) 映像音声信号切り替え装置
US6785462B1 (en) Recording and reproducing apparatus
JPH10304400A (ja) 信号処理回路
KR20050090800A (ko) 복합촬영장치 및 그것을 이용한 음향기록방법
JP2808612B2 (ja) 映像信号処理装置
JP2861055B2 (ja) 画像信号処理装置
JPH10188473A (ja) 映像記録再生装置
JP3822920B2 (ja) ビデオ信号処理装置
KR100285893B1 (ko) 주사선 변환기능을 이용한 화면분할 표시장치
JPH1127569A (ja) 信号サンプリング装置
JPH0652946B2 (ja) デスクランブル装置
JPH01190176A (ja) 映像信号処理装置
JP4710117B2 (ja) 映像同期装置および映像同期方法
JPH04351173A (ja) 映像表示装置
JPH06233188A (ja) 磁気記録再生装置
JP2000236487A (ja) 画像処理装置
JPS63153973A (ja) 映像出力装置
JPH04346594A (ja) ディジタルコンポーネントビデオ信号の処理装置
JPH0322679A (ja) 電子スチルカメラ
JPH0832872A (ja) 表示装置及びメモリ装置
JPH0270185A (ja) 画像記録再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090817

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees