JP2004297283A - 合成画像生成用撮影システム - Google Patents

合成画像生成用撮影システム Download PDF

Info

Publication number
JP2004297283A
JP2004297283A JP2003084672A JP2003084672A JP2004297283A JP 2004297283 A JP2004297283 A JP 2004297283A JP 2003084672 A JP2003084672 A JP 2003084672A JP 2003084672 A JP2003084672 A JP 2003084672A JP 2004297283 A JP2004297283 A JP 2004297283A
Authority
JP
Japan
Prior art keywords
camera
controller
signal
composite image
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003084672A
Other languages
English (en)
Other versions
JP4140006B2 (ja
Inventor
Shinji Nagashima
信治 永島
Katsuki Takahashi
勝樹 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Fuji Photo Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp, Fuji Photo Optical Co Ltd filed Critical Nippon Hoso Kyokai NHK
Priority to JP2003084672A priority Critical patent/JP4140006B2/ja
Publication of JP2004297283A publication Critical patent/JP2004297283A/ja
Application granted granted Critical
Publication of JP4140006B2 publication Critical patent/JP4140006B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】2つの画像を2台のカメラで撮影しクロマキー合成する場合に各カメラを共通のコントローラにより同時制御することにより、画角の変化などに対して違和感のない映像が得られるようにし、自由度の高いカメラワークを可能にした合成画像生成用撮影システムを提供する。
【解決手段】カメラC、DはそれぞれコントローラA、Bに通信接続される。また、コントローラAは分配器10、信号変換装置16、及びコントローラBを介してカメラDにも通信接続される。コントローラAを操作すると、カメラC、Dのパン、チルト、ズーム、フォーカスなどの動作が一致するように制御される。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
本発明は合成画像生成用撮影システムに係り、特にテレビ番組制作における演出手法を実現するための技術に関する。
【0002】
【従来の技術】
放送局の天気予報の番組で、スタジオカメラで撮影したキャスターの映像の背景にお天気カメラで撮影した映像をクロマキー合成してオンエアすることがある。クロマキー合成の技術は良く知られており、例えば青色等の単一色の背景の前に人物などのオブジェクトを配置して撮影し、その映像の予め設定された単一色の色相情報を持つ部分だけ別の映像をはめ込むという技法である(例えば、特許文献1、2参照)。
【0003】
【特許文献1】
特開平5−244630号公報
【0004】
【特許文献2】
特開平7−154819号公報
【0005】
【発明が解決しようとする課題】
ところで、オブジェクトを撮影するカメラと背景を撮影するカメラのうち一方のカメラの画角、撮影方向、又は、フォーカスだけを変化させると、合成した映像に違和感が生じる。そのため、従来、このような合成画像を生成する場合の撮影では原則としてカメラの画角等の撮影条件を変えないようにするのが一般的である。仮に、画角を変えるのであれば、両方の画角を同時に変える必要があり、また、画角を変化させる速さなども合わせなければならないため、多大な労力と手間とを要する。
【0006】
しかしながら、合成画像の撮影を行う場合に画角等の撮影条件を変えるのが困難という制約があると、通常の撮影のように自由度の高いカメラワークが実現できず、番組制作にあたり画像合成技術の適用範囲が限られてしまうという問題があった。
【0007】
本発明はこのような事情に鑑みてなされたもので、クロマキー合成技術等による合成画像の撮影の際にも通常の撮影と同様に自由度の高いカメラワークを実現することができる合成画像生成用撮影システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
前記目的を達成するために、請求項1に記載の発明は、複数のカメラ部で撮影された画像を合成して1つの合成画像を生成する場合の撮影に適用される合成画像生成用撮影システムであって、前記複数のカメラ部を共通のコントローラから送信される信号に基づいて同一動作となるように制御することを特徴としている。
【0009】
また、請求項2に記載の発明は、請求項1に記載の発明において、前記複数のカメラ部のうち前記共通のコントローラに対応しない種類の非対応カメラ部がある場合に、前記共通のコントローラから出力された信号を前記非対応カメラ部に対応する信号に変換して該信号を前記非対応カメラ部に送信する信号変換手段を備えたことを特徴としている。
【0010】
また、請求項3に記載の発明は、請求項2に記載の発明において、前記非対応カメラ部と前記信号変換手段との間に前記非対応カメラに対応する種類のコントローラが接続され、該コントローラの操作部の操作に基づいて前記非対応カメラ部の制御が可能であると共に、該コントローラには、前記信号変換手段によって変換された前記共通のコントローラからの信号を前記非対応カメラ部に送信する機能が設けられたことを特徴としている。
【0011】
また、請求項4に記載の発明は、請求項2又は請求項3に記載の発明において、前記共通のコントローラにより複数のカメラ部を同一動作させる制御モードと、各カメラ部を各々のコントローラで単独に動作させる制御モードとが切り替えられることを特徴としている。
【0012】
本発明によれば、複数のカメラ部を共通のコントローラでの単一操作により同時制御するようにしたため、それらのカメラ部で撮影された画像を合成して合成画像(合成映像)を生成した場合にも違和感の無い映像が得られる。通常、合成画像を生成する場合には各カメラ部の画角や撮影方向などを固定するが、本システムではその必要がないため通常の撮影の場合と同様に自由度の高いカメラワークが可能となる。
【0013】
【発明の実施の形態】
以下添付図面に従って本発明に係る合成画像生成用撮影システムの好ましい実施の形態について詳説する。
【0014】
図1は、2台のテレビカメラ(カメラC、D)で撮影した画像を合成して合成画像を生成するために本発明に係る合成画像生成用撮影システムを用いて番組撮影を行っている状況を示した図である。同図にはスタジオ内においてキャスターM1とゲストM2が青色の幕Pの前に立ってコメントしている場面をテレビ用のカメラDで撮影している状況と、カメラDで撮影された映像の背景画像としてクロマキー合成する屋外の風景をテレビ用のカメラCで撮影している状況とが示されている。尚、屋外(カメラC)とスタジオ(カメラD)での撮影は同時に行われる。
【0015】
カメラC、Dは、それぞれ雲台U1、U2に支持されており、雲台U1、U2の電動のパン/チルト機構によりパン方向(水平方向)及びチルト方向(垂直方向)に回動するようになっている。
【0016】
また、詳細を後述するように各雲台U1、U2には、それぞれコントローラA、Bが通信接続されており、コントローラA、Bのパネル面には、それぞれカメラC、D(雲台U1、U2のパン/チルト機構)をパン操作、チルト操作するためのジョイスティックや、カメラC、Dをズーム操作、フォーカス操作するためのつまみ等の操作部材が配設されている。
【0017】
更に、本撮影システムでは、カメラC、DをコントローラA、Bの操作により独立に制御する場合だけでなく、カメラC、Dを同期制御(同時制御)する場合のため、コントローラAから雲台U1(及びカメラC)に送信するコマンドと同じ内容のコマンドがコントローラBを介して雲台U2(及びカメラD)に送信できるようになっている。
【0018】
図2(A)、(B)はそれぞれカメラC、Dによって撮影された画像を示しており、これらの画像はクロマキー合成の技法により図3に示す画像のように合成される。即ち、カメラDによって撮影された図2(B)の画像のうち、青色の色相情報をもつ部分(青色の幕Pの画像部分)にカメラCで撮影された図2(A)の画像がはめ込まれ、図3の合成画像が生成される。これによって、図3に示すようにキャスターM1、ゲストM2があたかもカメラAの撮影場所にいるかのような映像が生成される。
【0019】
ところで、カメラC、Dは、コントローラAの操作で同期制御できるようになっており、この同期制御によりカメラC、Dのパン、チルト、ズーム、フォーカス等の動作が連動する。そのため、画角等の撮影条件を変更しても違和感のない合成画像が得られ、自由度の高いカメラワークが実現できるようになっている。例えば、キャスターM1のみを含む画角からゲストM2も含む画角にカメラDをズームバックするという演出を行う際に、背景を撮影しているカメラCの画角もカメラDに完全同期してズームバックするため、背景が撮影されている場所にスタジオのキャスターM1とゲストM2が居るような違和感のない映像が創り出される。
【0020】
また、他の演出の例として、クロマキー合成される背景の「山」についてスタジオのキャスターM1が指をさしてコメントし、それに合わせてカメラCの映像が「山」にズームインするという演出を行う場合に、スタジオのカメラDもカメラCと同時にズームインするためキャスターM1は画面からフレームアウトすることになり違和感のない映像が創り出される。
【0021】
尚、カメラC、Dで撮影した画像から1つの合成画像を生成する方法はクロマキー合成に限らず他の方法であってもよい。
【0022】
図4は、図1に示した撮影状況における本撮影システムの構成を示したブロック図である。図1に示した例において、コントローラA、Bは、スタジオと同一施設内に配備されており、コントローラAのパン、チルト、ズーム、フォーカス等の操作部の操作に応じてコントローラAから出力されるシリアルコマンド等の信号は分配器10、モデム12を介して電話回線に送られる。そして、電話回線を伝送して図1のように屋外の風景を撮影する遠方の場所に設置された雲台U1及びカメラCにモデム14を介して送信される。尚、雲台U1及びカメラCを以下、Cカメラという。
【0023】
一方、コントローラBは、電話回線などの通信回線を使用することなく同一施設内のスタジオに設置された雲台U2にケーブル等で通信接続されおり、コントローラBの操作部の操作に応じてコントローラBから出力されるシリアルコマンド等の信号は、雲台U2及びカメラDに送信される。尚、雲台U2及びカメラDを以下、Dカメラという。
【0024】
また、コントローラAから出力された信号は分配器10によって分配され、同図の信号変換装置16に送信されるようになっている。信号変換装置16は、例えば、コントローラAがCカメラ(雲台U1)に対応した種類であり、Cカメラに適合した信号を送信するものであるのに対して、Dカメラ(雲台U2)に対応しない種類である場合に、コントローラAから出力された信号をDカメラ(雲台U2)に適合する信号に変換する装置である。例えば、コントローラAとCカメラの雲台U1とが同一メーカ製であるのに対して、コントローラAとDカメラの雲台U2が異なるメーカ製の場合には、コントローラAから出力された信号が雲台U2で認識できる仕様で、且つ、コントローラAからの信号を受信したDカメラの動作がCカメラと合致した動作となるように変換される。尚、コントローラAとDカメラの雲台U2が同一のメーカ製の場合であっても整合性がない場合もあり、一方、コントローラAとDカメラの雲台U2が異なるメーカ製の場合であっても整合性がある場合もある。
【0025】
ここで、信号変換装置16による信号変換は、例えば、コントローラAとDカメラ(雲台U2)の通信インターフェース(電気的仕様、機械的仕様、プロトコル)が相違する場合に通信インターフェースを整合させること、コントローラAとDカメラの通信プロトコルが相違する場合に通信プロトコルを整合させること、コントローラAから出力されるパン、チルト、ズーム、フォーカス等の動作やその動作速度等を指示するコマンドデータと、Dカメラがそれと一致する内容の指示を認識する際のコマンドデータとが相違する場合にコマンドデータを整合させることなどを目的とする。特に、パン、チルト、ズーム、フォーカスなどの動作速度を示すコントローラAからのコマンドデータは、そのコマンドデータをそのまま受信したCカメラの動作速度と、信号変換装置16によって変換されたコマンドデータを受信したDカメラの動作速度とが一致するように変換される。
【0026】
このように信号変換装置16によって変換された信号は、コントローラBに送信される。コントローラBは単独モードとスレーブモードを所定のモード切替スイッチによって切り替えられるようになっており、例えば、単独モードの場合には、コントローラBの操作部の操作に基づくシリアルコマンド等の信号のみがDカメラに送信される。一方、スレーブモードの場合には、信号変換装置16を介してコントローラAから送信されてきた信号もDカメラに送信され、CカメラとDカメラがコントローラAからの信号によって同期制御される。
【0027】
このような単独モードとスレーブモードの切替によって、例えば、撮影本番前の準備段階ではコントローラBを単独モードに設定し、Cカメラ、DカメラをそれぞれコントローラA、Bによって個別に操作して適切な撮影条件に設定しておくことができる。そして、撮影本番時には、コントローラBをスレーブモードに設定し、Cカメラ及びDカメラをコントローラAによって同期制御することによってパン、チルト、ズーム、フォーカスなどの動作を同時に同じ動作速度で実行させることができる。これによって、違和感のない合成画像を生成でき、撮影本番中に画角や撮影方向等を変化させることができる。
【0028】
尚、信号変換装置16の処理は、コントローラBに内蔵の処理部で行うことも可能であり、以下のフローチャートの説明ではコントローラBの処理部で信号変換の処理を実行するものとする。
【0029】
図5は、スレーブモード時におけるコントローラBの処理部の特徴的な処理に関する処理手順を示したフローチャートである。コントローラBの処理部は、まず、コントローラAからショットコマンドを受信したか否かを判定する(ステップS10)。尚、ショットコマンドは事前に登録した例えばパン、チルト、ズーム、フォーカスの位置(ショット位置)を所定のスピード(ショットスピード)で再現することを指示するコマンドである。YESと判定した場合には、Cカメラと同じショットスピードでショットをDカメラに実行させる(ステップS12)。尚、ショット位置の登録は、例えば、CカメラとDカメラを撮影本番時と同様の状態で同期制御しながらCカメラ及びDカメラがそれぞれ所望のパン、チルト、ズーム、フォーカスの位置になったときに所定のスイッチで登録指示することにより行っておく。
【0030】
ステップS10においてNOと判定した場合、または、ステップS12の処理が終了した場合、次に、コントローラBのパネル上のショットスイッチが押されたか否かを判定する(ステップS14)。YESと判定した場合には、DカメラにDカメラのショットスピードでショットを実行させる(ステップS16)。
【0031】
ステップS14においてNOと判定した場合、または、ステップS16の処理が終了した場合、次にパン、チルト、ズーム、又は、フォーカスについてのマニュアルコマンドをコントローラAから受信したか否かを判定する(ステップS18)。YESと判定した場合、そのコマンドの動作対象についてCカメラのマニュアルスピードでDカメラを作動させる(ステップS20)。
【0032】
ステップS18においてNOと判定した場合、または、ステップS20の処理が終了した場合、次に、コントローラBのパネル上のパン、チルト、ズーム、又は、フォーカスの操作がされたか否かを判定する(ステップS22)。YESと判定した場合には、そのコマンドの動作対象についてDカメラのマニュアルスピードでDカメラを作動させる(ステップS24)。
【0033】
ステップS22においてNOと判定した場合、または、ステップS24の処理が終了すると、本フローチャートの処理を終了し、他の所要の処理に移行すると共に、スレーブモードに設定されている間、本フローチャートの処理を繰り返し実行する。
【0034】
以上、上記実施の形態では、2台のカメラで撮影した画像を合成するのシステムを示したが、3台以上のカメラで撮影した画像を合成する場合にも同様のシステムを適用できる。すなわち、3台以上のカメラ(雲台)に対してもコントローラAからの信号を信号変換装置等を介して送信できるようにすればよい。
【0035】
また、上記実施の形態ではDカメラとコントローラAとが対応しない種類であるため信号変換装置16(図4参照)を接続したが、Cカメラと共にDカメラがコントローラAの種類に対応する場合には信号変換装置16は接続しなくてもよい。また、DカメラがコントローラAに対応する種類か否かにかかわらずコントローラBはなくてもよい。
【0036】
【発明の効果】
以上説明したように本発明に係る合成画像生成用撮影システムによれば、複数のカメラ部を共通のコントローラでの単一操作により同時制御するようにしたため、それらのカメラ部で撮影された画像を合成して合成画像(合成映像)を生成した場合にも違和感の無い映像が得られる。通常、合成画像を生成する場合には各カメラ部の画角や撮影方向などを固定するが、本システムではその必要がないため通常の撮影の場合と同様に自由度の高いカメラワークが可能となる。
【図面の簡単な説明】
【図1】図1は、2台のテレビカメラで撮影した画像を合成して合成画像を生成するために本発明に係る合成画像生成用撮影システムを用いて番組撮影を行っている状況を示した図である。
【図2】図2(A)、(B)は、合成画像の説明図である。
【図3】図3は、合成画像の説明図である。
【図4】図4は、図1の撮影状況における本発明に係る撮影システムの構成を示したブロック図である。
【図5】図5は、スレーブモード時におけるコントローラBの処理部の処理手順を示したフローチャートである。
【符号の説明】
M1…キャスター、M2…ゲスト、P…青色の幕、A、B…コントローラ、C、D…カメラ、U1、U2…雲台、10…分配器、12、14…モデム、16…信号変換装置

Claims (4)

  1. 複数のカメラ部で撮影された画像を合成して1つの合成画像を生成する場合の撮影に適用される合成画像生成用撮影システムであって、
    前記複数のカメラ部を共通のコントローラから送信される信号に基づいて同一動作となるように制御することを特徴とする合成画像生成用撮影システム。
  2. 前記複数のカメラ部のうち前記共通のコントローラに対応しない種類の非対応カメラ部がある場合に、前記共通のコントローラから出力された信号を前記非対応カメラ部に対応する信号に変換して該信号を前記非対応カメラ部に送信する信号変換手段を備えたことを特徴とする請求項1の合成画像生成用撮影システム。
  3. 前記非対応カメラ部と前記信号変換手段との間に前記非対応カメラに対応する種類のコントローラが接続され、該コントローラの操作部の操作に基づいて前記非対応カメラ部の制御が可能であると共に、該コントローラには、前記信号変換手段によって変換された前記共通のコントローラからの信号を前記非対応カメラ部に送信する機能が設けられたことを特徴とする請求項2の合成画像生成用撮影システム。
  4. 前記共通のコントローラにより複数のカメラ部を同一動作させる制御モードと、各カメラ部を各々のコントローラで単独に動作させる制御モードとが切り替えられることを特徴とする請求項2又は3の合成画像生成用撮影システム。
JP2003084672A 2003-03-26 2003-03-26 合成画像生成用撮影システム Expired - Lifetime JP4140006B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003084672A JP4140006B2 (ja) 2003-03-26 2003-03-26 合成画像生成用撮影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003084672A JP4140006B2 (ja) 2003-03-26 2003-03-26 合成画像生成用撮影システム

Publications (2)

Publication Number Publication Date
JP2004297283A true JP2004297283A (ja) 2004-10-21
JP4140006B2 JP4140006B2 (ja) 2008-08-27

Family

ID=33399789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003084672A Expired - Lifetime JP4140006B2 (ja) 2003-03-26 2003-03-26 合成画像生成用撮影システム

Country Status (1)

Country Link
JP (1) JP4140006B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273308A (ja) * 2009-05-25 2010-12-02 Fuji Television Network Inc 映像処理システム及び映像処理方法
JP2015180023A (ja) * 2014-03-20 2015-10-08 キヤノン株式会社 制御装置及びそれを有する撮影システム
CN113691746A (zh) * 2021-08-25 2021-11-23 先壤影视制作(上海)有限公司 Led背景和绿幕拍摄合成方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273308A (ja) * 2009-05-25 2010-12-02 Fuji Television Network Inc 映像処理システム及び映像処理方法
JP2015180023A (ja) * 2014-03-20 2015-10-08 キヤノン株式会社 制御装置及びそれを有する撮影システム
CN113691746A (zh) * 2021-08-25 2021-11-23 先壤影视制作(上海)有限公司 Led背景和绿幕拍摄合成方法及系统
CN113691746B (zh) * 2021-08-25 2024-02-02 先壤影视制作(上海)有限公司 Led背景和绿幕拍摄合成方法及系统

Also Published As

Publication number Publication date
JP4140006B2 (ja) 2008-08-27

Similar Documents

Publication Publication Date Title
JP4153146B2 (ja) カメラアレイの画像制御方法、及びカメラアレイ
US6151066A (en) Image-sensing control method and apparatus, image sensing system, and storage medium containing program for executing image-sensing control method
WO2018135210A1 (ja) 映像配信システム、ユーザ端末装置および映像配信方法
US11381750B2 (en) Camera apparatus
WO2014192804A1 (ja) デコーダ及び監視システム
JPH1070741A (ja) 多角度撮影用の撮像装置
JP2000057350A (ja) 画像処理装置と方法及び画像送信装置と方法
JPH10150585A (ja) 画像合成装置
JP4670938B2 (ja) 映像信号処理装置及び映像信号処理方法
JP4140006B2 (ja) 合成画像生成用撮影システム
CN116260956B (zh) 一种虚拟现实拍摄方法及系统
JP5134273B2 (ja) ビデオ信号合成装置および出力ビデオ画像ストリームを第1入力ビデオ画像ストリームから第2入力ビデオ画像ストリームに切り換える方法
JP4858526B2 (ja) 映像信号処理装置
JPH10290412A (ja) 撮像、記憶、処理、表示、再生、伝送装置及び記録媒体
JP2003244482A (ja) プロダクションシステム
JPH09238277A (ja) カメラ制御装置
JP3542587B2 (ja) カメラ制御装置
JP4084963B2 (ja) デジタルカメラ
JP2001145096A (ja) 映像表示形態の制御装置及び映像表示形態の制御方法
JPS58182378A (ja) テレビジヨン画面合成装置
JP4565855B2 (ja) 放送番組制作装置
JP6478079B1 (ja) カメラレンズ制御装置
JP7208072B2 (ja) 撮像システム
JPH03129989A (ja) テレビ会議システム
JPH10174091A (ja) カメラ制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080528

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4140006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term