JP2006041611A - カメラ連動システム、カメラ装置およびカメラ連動制御方法 - Google Patents

カメラ連動システム、カメラ装置およびカメラ連動制御方法 Download PDF

Info

Publication number
JP2006041611A
JP2006041611A JP2004214426A JP2004214426A JP2006041611A JP 2006041611 A JP2006041611 A JP 2006041611A JP 2004214426 A JP2004214426 A JP 2004214426A JP 2004214426 A JP2004214426 A JP 2004214426A JP 2006041611 A JP2006041611 A JP 2006041611A
Authority
JP
Japan
Prior art keywords
camera
direction information
master
main
slave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004214426A
Other languages
English (en)
Other versions
JP4516791B2 (ja
Inventor
Haruo Kogane
春夫 小金
Yasuharu Nakamura
靖治 中村
Takeshi Ogata
剛 小方
Hiroshi Maekawa
浩志 前川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004214426A priority Critical patent/JP4516791B2/ja
Priority to CNB2005100847894A priority patent/CN100401748C/zh
Priority to EP05015841A priority patent/EP1619897B1/en
Priority to DE602005000666T priority patent/DE602005000666T2/de
Priority to US11/186,071 priority patent/US20060017812A1/en
Publication of JP2006041611A publication Critical patent/JP2006041611A/ja
Application granted granted Critical
Publication of JP4516791B2 publication Critical patent/JP4516791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 従カメラが迅速に主カメラに追従することのできるカメラ連動システムを提供する。
【解決手段】
パーソナルコンピュータ２０は制御装置であり、複数のカメラ装置１２から選ばれた主カメラの方向を指示する主カメラ方向情報を、主カメラを含む複数のカメラ装置１２へ提供する。複数のカメラ装置１２の各々は、自カメラと他カメラとの相対位置情報を記憶している。他カメラが主カメラであるとき、相対位置情報に基づいて、主カメラ方向情報を従カメラ方向情報に変換する。従カメラ方向情報は、自カメラを従カメラとして主カメラに追従させるための方向である。そして、各カメラ装置１２は、自カメラが主カメラであるときは主カメラ方向情報に応じて、自カメラが主カメラでないときは従カメラ方向情報に応じて、自カメラの回動機構を制御する。
【選択図】 図１

Description

本発明は、複数のカメラが連動して同じ被写体を撮影するカメラ連動システムに関する。
従来、監視カメラ等の分野において、カメラ連動システムが提案されている。カメラ連動システムでは、複数のカメラが離れて設置されている。そして、これら複数カメラが、一つのトリガーで向きを変え、同じ被写体を撮影する。
このような従来のカメラ連動システムでは、複数のカメラにて、連動時の撮影方向がプリセットされている。そして、連動動作が指示されると、複数のカメラがプリセットされた方向を向く。これにより、複数のカメラが同じ被写体を撮影する。
上記の従来システムでは、プリセットされた方向でしか、連動機能が得られない。これに対して、プリセットを行わなくても連動機能が得られるシステムも従来から提案されている。この種のシステムは、主カメラと従カメラとで構成されており、主カメラが回動すると、主カメラの方向が上位の制御装置に伝えられる。制御装置は、主カメラに追従するための従カメラの方向、すなわち、主カメラと同じ被写体を撮影するための従カメラの方向を計算する。そして、制御装置が従カメラに方向を指示し、従カメラが指示に従って回動する。複数の従カメラが設けられている場合は、それら複数の従カメラの方向が順次計算および指示される。
また、特許文献１に記載のカメラ連動システムでは、主カメラが回動すると、主カメラの方向が従カメラに伝えられる。そして、従カメラが、主カメラに追従するための方向を計算し、算出した方向を向くように回動する。
特開２００３−２８４０５０号公報（第３、４ページ、図１）
しかしながら、上述のような従来のカメラ連動システムは、主カメラが動き、それから主カメラが自分の方向を制御装置に伝え、制御装置が従カメラの方向を計算し、従カメラに方向を指示し、従カメラが動くといった一連の処理を行っており、このような一連の処理に時間がかかり、そのため、主カメラと従カメラの動作の時間的ずれが大きいという問題があった。
本発明は、従来の問題を解決するためになされたもので、その目的は、従カメラが迅速に主カメラに追従できるカメラ連動システムを提供することにある。
本発明のカメラ連動システムは、回動可能な複数のカメラ装置と、前記複数のカメラ装置に接続された制御装置とを備え、前記制御装置は、前記複数のカメラ装置から選ばれた主カメラの方向を指示する主カメラ方向情報を、前記主カメラを含む前記複数のカメラ装置へ提供し、前記複数のカメラ装置の各々は、自カメラと他カメラとの相対位置情報を記憶する相対位置情報記憶手段と、前記他カメラが前記主カメラであるとき、前記相対位置情報に基づいて、前記主カメラ方向情報を、前記自カメラを従カメラとして前記主カメラに追従させるための従カメラ方向情報に変換する方向情報変換手段と、前記自カメラが前記主カメラであるときは前記主カメラ方向情報に応じて、前記自カメラが前記主カメラでないときは前記従カメラ方向情報に応じて、前記自カメラの回動機構を制御する回動制御手段と、を備えている。
この構成により、主カメラ方向情報が制御装置から複数のカメラに提供される。各カメラは、主カメラとして機能するときは、主カメラ方向情報に応じて回動する。また、各カメラは、従カメラとして機能するときは、相対位置情報に基づいて主カメラ方向情報を従カメラ方向情報に変換し、従カメラ方向情報に応じて回動する。このように、主カメラ方向情報が複数のカメラに送られて、主カメラおよび従カメラの上記動作が一斉に行われるので、主カメラと従カメラの動作のずれが低減する。
また、本発明のカメラ装置は、少なくとも一の他カメラと共に制御装置に接続され、自カメラおよび前記他カメラを含む複数のカメラから選ばれた主カメラの方向を指示する主カメラ方向情報を受信する通信手段と、自カメラと他カメラとの相対位置情報を記憶する相対位置情報記憶手段と、前記他カメラが前記主カメラであるとき、前記相対位置情報に基づいて、前記主カメラ方向情報を、前記自カメラを従カメラとして前記主カメラに追従させるための従カメラ方向情報に変換する方向情報変換手段と、前記自カメラが前記主カメラであるときは前記主カメラ方向情報に応じて、前記自カメラが前記主カメラでないときは前記従カメラ方向情報に応じて、前記自カメラの回動機構を制御する回動制御手段と、を備えている。この構成により、上述のカメラ連動システムの態様と同様に、主カメラと従カメラの動作のずれを低減できる。
また、本発明のカメラ装置は、前記制御装置から提供される前記主カメラ方向情報に基づいて、前記自カメラが前記主カメラであるか否かを判定する主従判定手段と、前記自カメラが前記主カメラでないときに、複数の前記他カメラから主カメラを特定する主カメラ特定手段と、を備え、前記方向情報変換手段は、前記相対位置情報記憶手段に記憶された複数の前記他カメラの相対位置情報のうちで前記主カメラ特定手段により特定された前記他カメラの相対位置情報に基づいて前記主カメラ方向情報を前記従カメラ方向情報に変換する。この構成により、カメラ装置は、複数の他カメラから特定された主カメラに追従でき、したがって、カメラが多いときでも好適な連動機能が得られる。
また、本発明のカメラ装置では、前記通信手段は、前記自カメラ宛か前記他カメラ宛かの宛先に拘わらず前記主カメラ方向情報を取り込み、前記主従判定手段および前記主カメラ特定手段は、前記主カメラ方向情報のうちの宛先情報に基づいて判定処理および特定処理を行う。この構成により、他カメラ宛の情報を通信で取り込むといった簡単な構成でもって、本発明の好適な連動機能が得られる。
また、本発明の別態様のカメラ連動制御方法は、主カメラおよび前記主カメラに追従する従カメラを含む複数のカメラへと、主カメラの方向を指示する主カメラ方向情報を提供し、前記主カメラでは、前記主カメラ方向情報に応じて回動機構を制御し、前記従カメラでは、前記主カメラと前記従カメラとの相対位置情報に基づいて、前記主カメラ方向情報を、前記従カメラを前記主カメラに追従させるための従カメラ方向情報に変換し、前記従カメラ方向情報に応じて回動機構を制御する。この態様では、主カメラおよび従カメラは任意に変更されてもよく、固定的に決められていてもよい。この構成によっても、上述した本発明の利点が得られる。
また、本発明の別態様のカメラ連動システムは、主カメラおよび前記主カメラに追従する従カメラを含んだ複数のカメラ装置と、前記複数のカメラに接続された制御装置とを備え、前記制御装置は、前記複数のカメラ装置のうちの主カメラの方向を指示する主カメラ方向情報を、前記複数のカメラ装置へ提供し、前記主カメラは、前記主カメラ方向情報に応じて回動機構を制御し、前記従カメラは、前記主カメラと前記従カメラとの相対位置情報に基づいて、前記主カメラ方向情報を、前記従カメラを前記主カメラに追従させるための従カメラ方向情報に変換し、前記従カメラ方向情報に応じて回動機構を制御する。この態様でも、主カメラおよび従カメラは任意に変更されてもよく、固定的に決められていてもよい。また、この構成によっても、上述した本発明の利点が得られる。
上述のように、本発明は、従カメラが迅速に主カメラに追従でき、主カメラと従カメラの動作の時間ずれを低減できるという効果を有するカメラ連動システムを提供することができる。
以下、本発明の実施の形態のカメラ連動システムについて、図面を用いて説明する。
本発明の実施の形態のカメラ連動システムを図１に示す。図１において、カメラ連動システム１０は４つのカメラ装置１２を備えている。カメラ装置１２は、監視カメラ装置であり、天井に下向きに設置されている。４つの監視カメラ装置１２は、図示されないが、互いに離れて設置されている。そして、カメラ装置１２は、回転台を備えており、パン方向およびチルト方向に回動可能である。
４つの監視カメラ１２は４画面ユニット１４に接続されており、４画面ユニット１４にはマスタモニタ１６が接続されている。また、４つの監視カメラ１２は、ＲＳ２３２ＣまたはＲＳ４８５のコンバータ１８を介してパーソナルコンピュータ２０に接続されている。
図１のカメラ連動システム１０では、４つのカメラ装置１２が、映像信号を４画面ユニット１４に送る。４画面ユニット１４は、４つのカメラ装置１２からの画像を、マスタモニタ１６に表示する。図示のように、マスタモニタ１６の画面が４つの領域に分割され、４つのカメラ画像が同時に表示される。
また、パーソナルコンピュータ２０は、カメラ動作を指示する制御データを４つのカメラ装置１２に送る。４つのカメラ装置１２は、パーソナルコンピュータ２０からの制御データに従って動作する。制御データは、各種の動作を指示するコマンド列のかたちで送られる。コマンド列には、カメラの回動のコマンドも含まれる。
回動指示のコマンドに関しては、パーソナルコンピュータ２０にて４つのカメラ装置１２から主カメラが選択される。そして、主カメラ方向情報を表すコマンドが送信される。主カメラ方向情報は、主カメラの撮影方向を示す情報である。主カメラ方向情報は、主カメラの絶対的な方向であってもよい。また、主カメラ方向情報は、どちら向きに何度といった方向変化量（回動角）の情報であってもよい。
主カメラ方向情報のコマンドには、４つのカメラ装置１２から選ばれた主カメラのアドレスが付加される。これにより、コマンドは、主カメラに向けて送られる。主カメラは、主カメラ方向情報を受け取り、主カメラ方向情報に応じて回動する。
さらに、本実施の形態では、残りの３つの従カメラも、主カメラ方向情報のコマンドを受け取る。従カメラは、主カメラ方向情報を従カメラ方向情報に変換する。従カメラ方向情報は、自カメラが従カメラとして主カメラに追従するための方向であり、自カメラが主カメラと同じ被写体を向くための方向である。従カメラ方向も、主カメラ方向と同様に、カメラの絶対的な方向でもよく、また、どちら向きに何度といった方向変化量（回動角）の情報であってもよい。従カメラは、変換された従カメラ方向情報に応じて回動する。
このようにして、本実施の形態では、一のカメラ装置１２が主カメラとして機能し、残りのカメラ装置１２が従カメラとして機能する。本実施の形態では、下記に説明するように、同じカメラ装置１２が、主カメラとしても従カメラとしても機能するように構成されている。
図２は、カメラ装置１２の構成を示すブロック図である。カメラ装置１２は、制御部３０、撮像部３２、回動機構３４、映像出力部３６および通信部３８を備えている。制御部３０は、コンピュータで構成されており、カメラ装置１２の全体を制御している。制御部３０は複数のコンピュータで構成されてもよく、例えば、撮像制御用のコンピュータと回動制御用のコンピュータで構成されてもよい。
撮像部３２は映像信号を生成し、制御部３０へ供給する。制御部３０では、撮像制御部４０が映像信号を処理する。そして、撮像制御部４０は、映像出力部３６を制御して、映像信号を４画面ユニット１４へ送る。
回動機構３４はパン機構およびチルト機構を備えており、パン機構およびチルト機構はパンモータおよびチルトモータを備えている。回動機構３４は、制御部３０に制御されて、カメラ装置１２をパン方向およびチルト方向に回動させる。
通信部３８は、パーソナルコンピュータ２０と通信し、制御データを受け取り、制御部３０に供給する。前述のように、カメラの回動に関しては、主カメラ方向情報のコマンドが制御データとして受け取られる。主カメラ方向情報は、コマンドのアドレスが他カメラであったとしても受け取られる。
制御部３０は、カメラの回動に関しては、主従判定部４２、主カメラ特定部４４、方向情報変換部４６、位置情報テーブル記憶部４８および回動制御部５０を有する。
主従判定部４２は、主カメラ方向情報のコマンドのアドレスを取り出して、自カメラが主カメラであるか否かを判定する。コマンドのアドレスが自カメラであれば、自カメラが主カメラである。
主カメラ特定部４４は、自カメラが主カメラでない場合に、他カメラの中から主カメラを特定する。主カメラを特定するために、コマンドのアドレスが調べられ、アドレスに示されるカメラが主カメラとして特定される。
方向情報変換部４６は、自カメラが主カメラでないときに機能する。方向情報変換部４６は、自カメラと主カメラの相対位置情報に基づき、主カメラ方向情報を従カメラ方向情報に変換する。従カメラ方向情報は、前述したように、自カメラが従カメラとして主カメラに追従するための方向である。自カメラと主カメラの相対位置情報は、位置情報テーブル記憶部４８に記憶されている。
図３は、位置情報テーブルの例を示している。位置情報テーブルは、３つの他カメラの各々と自カメラとの相対位置のテーブルである。ここで、本実施の形態では、全部のカメラの高さが同一であり、水平回転の原点の方角も同じに設定されている。この場合、相対位置情報は、両カメラの距離で表される。
方向情報変換部４６は、位置情報テーブルの３つの相対位置情報から、主カメラ特定部４４により特定された主カメラの相対位置情報を読み出す。そして、方向情報変換部４６は、相対位置情報に基づいて主カメラ方向情報を従カメラ方向情報に変換する。
図２に戻ると、回動制御部５０は、回動機構３４を制御して、カメラを回動させる。回動制御部５０は、自カメラが主カメラのときは、パーソナルコンピュータ２０から受け取った主カメラ方向情報に応じて回動機構３２を回動させる。また、回動制御部５０は、自カメラが従カメラのときは、方向情報変換部操作部４６により変換された従カメラ方向情報に応じて動作する。
図４および図５は、主カメラ方向情報から従カメラ方向情報への変換式の例を示している。図では、計算式を理解しやすいように、上下が逆さまに示されている。また、図４の例では、前述したように、カメラの高さが同一であり、水平回転原点の方角も同一である。このような配置により、２次元空間での投射により主カメラ方向情報を従カメラ方向情報に変換できる。
図４および図５において、主カメラ方向は、主カメラチルト角θｔと主カメラパン角θｐで表される。また、従カメラ方向は、従カメラチルト角γｔと従カメラパン角γｐで表される。また、主カメラフォーカスＤｍは、主カメラから被写体までの距離であり、従カメラフォーカスＤｓは、従カメラから主カメラまでの距離である。さらに、カメラ距離Ｄｃは、主カメラと従カメラの距離である。カメラ距離Ｄｃが相対位置情報に相当する。カメラ距離Ｄｃは例えば５ｍである。
また、図４および図５において、点Ｈは、主カメラおよび従カメラが設置された水平面へ被写体から降ろした垂線と同水平面の交点である。そして、三角形Ａは、主カメラ、被写体および点Ｈを頂点にもち、三角形Ｂは、主カメラ、従カメラおよび点Ｈを頂点にもち、三角形Ｃは、従カメラ、被写体および点Ｈを頂点にもつ。三角形Ｂは、主カメラ、従カメラおよび被写体が作る三角形の水平面への投影である。
図５は、これらの三角形を正面から見た図である。図において、ｙは、被写体から点Ｈまでの距離であり、ｘは、主カメラから点Ｈまでの距離であり、ｚは、従カメラから点Ｈまでの距離である。ｘ、ｙ、ｚは、主カメラチルト角θｔ、主カメラパン角θｐ、主カメラフォーカスＤｍ、カメラ距離Ｄｃを用いて下式で表される。
ｘ ＝ cos ( π÷180×θt ) × Ｄｍ
ｙ ＝ sin ( π÷180×θt ) × Ｄｍ
ｚ ＝ ( x2＋Ｄc2−2×ｘ×Ｄc× cos ( π÷180×θp ) )0.5
そして、従カメラパン角γｐは、ｘ、ｚおよびカメラ距離Ｄｃを使って下式で表される。
「 チルト角が９０度以下で、パン角が１８０度以下の場合 」
γｐ ＝ 180−( ( acos ( (Ｄc2＋ｚ2−ｘ2) ÷ ( 2×Ｄc×ｚ) ) ) ÷ ( π÷180 ) )
「 チルト角が９０度以下で、パン角が１８０度より上の場合 」
γｐ ＝ 180＋( ( acos ( (Ｄc2＋ｚ2−ｘ2) ÷ ( 2×Ｄc×ｚ) ) ) ÷ ( π÷180 ) )
「 チルト角が９０度より上で、パン角が１８０度以下の場合 」
γｐ ＝ ( acos ( (Ｄc2＋ｚ2−ｘ2) ÷ ( 2×Ｄc×ｚ) ) ) ÷ ( π÷180 )
「 チルト角が９０度より上で、パン角が１８０度より上の場合 」
γｐ ＝ 360 − ( ( acos ( (Ｄc2＋ｚ2−ｘ2) ÷ (2×Ｄc×ｚ) ) ) ÷ ( π÷180 ) )
また、従カメラフォーカスＤｓおよび従カメラチルト角γｔは、ｙ、ｚを使って下式で表される。
Ｄｓ ＝ (ｚ2＋y2 − 2×z×y×cos ( π÷180×90 ) ) 0.5
「 チルト角が９０度以下の場合 」
γｔ ＝ ( acos ( (ｚ2＋Ｄs2−ｙ2)÷( 2×ｚ×Ｄs) ) )÷( π÷180 )
「 チルト角が９０度より上の場合 」
γｔ ＝ 180 − ( ( acos ( (ｚ2＋Ｄs2−ｙ2)÷( 2×ｚ×Ｄs) ) )÷( π÷180 ) )
上記の式に従って変換処理を行うことで、主カメラ方向（θｐ、θｔ）が、主カメラと従カメラの相対位置（カメラ距離Ｄｃ）に基づいて、従カメラ方向（γｐ、γｔ）に変換される。また、Ｄｃによって従ＺＯＯＭ倍率を、記憶されたテーブルによって求める。
次に、本実施の形態のカメラ連動システムの動作を説明する。パーソナルコンピュータ２０では、ユーザの入力操作に従って、４つのカメラ装置１２の一つが主カメラとして選択される。さらに、パーソナルコンピュータ２０では、ユーザの入力操作に応じて、主カメラ方向情報が生成される。主カメラ方向情報は、前出のように、主カメラの撮影方向を示す情報である。そして、パーソナルコンピュータ２０は、主カメラ方向情報に対応するコマンドを送出する。コマンドには、選択された主カメラのアドレスが付加される。
主カメラ方向情報のコマンドは、コンバータを介して４つのカメラ装置１２に送られる。各カメラ装置１２は、コマンドを受け取って下記のように動作する。
図６は、コマンドを受け取ったときのカメラ装置１２の動作を示している。カメラ装置１２の制御部３０では、主従判定部４２が、主カメラ方向情報のコマンドのアドレスを取り出して（Ｓ１０）、コマンドが自カメラ宛か否かを判定する（Ｓ１２）。コマンドが自カメラ宛であれば（Ｓ１２がＹＥＳ）、自カメラが主カメラである。その場合、回動制御部５０は、コマンドが示す主カメラ方向情報に従って回動機構３４を制御し、カメラを回動させる（Ｓ２０）。この制御のために適当な座標変換等が行われてよい。そして、回動後のカメラの位置が、通信部３８を介してパーソナルコンピュータ２０に通知される（Ｓ２２）。
一方、コマンドが自カメラ宛でない場合（Ｓ１２がＮＯ）、自カメラは主カメラでない。その場合、主カメラ特定部４４が、３つの他カメラの中から主カメラを特定する（Ｓ１４）。主カメラ特定部４４は、コマンドのアドレスに示される他カメラを、主カメラとして特定する。
主カメラが特定されると、方向情報変換部４６が、位置情報テーブル記憶部４８を参照して、主カメラと自カメラの相対位置情報を読み出す（Ｓ１６）。そして、方向情報変換部４６は、相対位置情報に基づいて主カメラ方向情報を従カメラ方向情報に変換する（Ｓ１８）。従カメラ方向は、前述のように、自カメラが従カメラとして主カメラに追従するためのカメラ方向（撮影方向）である。
主カメラ方向情報が従カメラ方向情報に変換されると、回動制御部５０は、従カメラ方向情報に従って回動機構３４を制御し、カメラを回動させる（Ｓ２０）。そして、回動後のカメラの位置が、通信部３８を介してパーソナルコンピュータ２０に通知される（Ｓ２２）。
それぞれのカメラ装置１２が図６に従って動作すると、カメラ連動システム１０の全体は、下記のように動作する。４つのカメラ装置１２は、自分が主カメラであっても、主カメラでなくても、パーソナルコンピュータ２０から主カメラ方向情報を受け取る。４つのカメラ装置１２のうちの主カメラは、主カメラ方向情報に従って回動する。残りの３つのカメラ装置１２は、主カメラ方向情報を従カメラ方向に変換し、従カメラ方向情報に従って回動する。このようにして、一つのカメラ装置１２が主カメラとして回動し、残りの３つのカメラ装置１２が従カメラとして主カメラに追従する。このとき、全カメラが一斉に主カメラ方向情報を受け取って処理するので、主カメラと従カメラは殆ど同時に動作する。
なお、上述の説明では言及しなかったが、カメラ装置１２は、従カメラとして機能するときに、下記のような移動制限処理を行う。従カメラと主カメラでは撮影可能範囲が異なっており、そのために、主カメラ方向を従カメラ方向に変換したときに従カメラ方向が従カメラの撮影範囲から外れることがある。従カメラ方向が撮影範囲から外れると、従カメラは移動制限処理を行う。この処理では、例えば、従カメラは、主カメラに追従せずに、同じ場所にとどまる。また例えば、従カメラは、撮影範囲の端部まで回動することで、可能な範囲で主カメラに追従してもよい。
また、カメラ側で追尾範囲が制限されてもよい。計算上の誤差が大きいカメラ設置状況では、適当な時間が経過するたびに、校正用のコマンドが送られてもよい。例えば、ホームポジションへの移動を指示するコマンドが主カメラに送られる。従カメラは、このコマンドが送られると、主カメラへの追従を停止し、通常の監視状態に戻るように設定されてよい。
また、カメラ装置１２は、予め設定された時間帯に自動動作を行うように構成されてよい。カメラ装置１２は、操作者の操作指示に従って自動動作を行ってもよい。自動動作中は、各カメラを独立して動かすために、連動動作が制限される必要がある。この点に関し、本実施の形態では、コントローラ（パーソナルコンピュータ）からコマンドが来たときに連動動作が行われるので、上記の自動動作が容易に実現できる。
また、上述の説明では、ＲＳ２３２Ｃ等の通信形態が用いられた。しかし、通信形態は限定されなくてよい。例えば、ＩＰｖ６が適用されてよい。ＩＰｖ６では、マルチキャスト（同報通信）がサポートされている。したがって、主カメラ方向情報を複数のカメラ装置に容易に配信できる。
また、本実施の形態がネットワークカメラに応用される場合には、主カメラ識別番号と主カメラ方向（位置座標）を含んだ動作指示が特定のネットワークポートを使って送信される。この情報は、主カメラと複数の従カメラに同時に送信される。これらのデータの転送では、主カメラと従カメラの送信形式が同じでも、相違してもよい。
さらに、ネットワークカメラの場合、カメラ連動システムは、許可された操作者の操作が、自動動作よりも優先されるように構成されてよい。また、管理者であるシステム設定者が自動動作を優先させることができ、この選択の設定をカメラ側で行うことができる。これにより、エリア毎すなわちカメラ毎に操作を細かく設定でき、広域のネットワークからのアクセスに対しての制限に柔軟性を与えられる。
また、本実施の形態では、各カメラ装置１２は、図６を用いて説明したように、カメラ方向の情報をパーソナルコンピュータ２０に送る。カメラ方向は座標データのかたちで送られてよい。パーソナルコンピュータ２０では、制御用の地理的データマップ（監視場所等の地図（例えば室内の図））にカメラの方向が表示される。カメラの水平方向（パン方向）の向きは、例えば、矢印で表される。画角は扇型で表される。垂直方向（チルト方向）の向き、レンズ倍率、フォーカス距離は、文字で表現される。これらの情報は、移動更新時に所定の時間だけ表示されてもよい。また、これらの情報は、マスタモニタ１６に表示されてもよい。
以上に本発明の実施の形態に係るカメラ連動システム１０について説明した。本実施の形態によれば、主カメラ方向情報が主カメラおよび従カメラに一斉に提供される。主カメラは、主カメラ方向情報に応じて回動する。また、従カメラは、相対位置情報に基づいて主カメラ方向情報を従カメラ方向情報に変換し、従カメラ方向情報に応じて回動する。このように、主カメラ方向情報が主カメラだけでなく従カメラに送られて、主カメラおよび従カメラの上記の動作が一斉に行われるので、主カメラと従カメラの動作のずれが低減し、従カメラが主カメラに迅速に追従する。
また、本実施の形態では、同じカメラ装置１２が、主カメラとしても、従カメラとしても機能するように構成されている。これにより、複数のカメラ装置１２から適当に主カメラが選択されると、残りのカメラ装置１２が主カメラに追従する。操作者は任意のカメラ装置１２を主カメラとして操作することができ、したがって、操作者の利便性を向上できる。
また、本実施の形態のカメラ装置１２は、自カメラが主カメラかどうかを判定し、自カメラが主カメラでないときは、複数の他カメラから主カメラを特定し、特定した主カメラと自カメラの相対位置情報を求め、相対位置情報から従カメラ方向情報を求める。このようにして、カメラが多いときでも好適な連動機能が得られる。
また、本実施の形態のカメラ装置１２は、自カメラ宛か他カメラ宛かの宛先に拘わらず主カメラ方向情報を取り込み、取り込んだ主カメラ情報の宛先に基づいて主カメラに関する判定を行う。宛先が他カメラであれば、宛先に示される他カメラが主カメラである。このようにして、他カメラ宛の情報を通信で取り込むといった簡単な構成でもって、本実施の形態の好適な連動機能が得られる。
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。例えば、カメラ装置の数は上述の実施の形態のように４個に限定されない。
以上のように、本発明にかかるカメラ連動システムは、従カメラが迅速に主カメラに追従できるという効果を有し、監視カメラシステム等として有用である。
本発明の実施の形態におけるカメラ連動システムのブロック図 カメラ装置の構成を示すブロック図 位置情報テーブルの例を示す図 主カメラ方向から従カメラ方向への変換処理を示す図 主カメラ方向から従カメラ方向への変換処理を示す図 本発明の第１の実施の形態におけるカメラ連動システムの動作説明のためのフロー図
符号の説明
１０ カメラ連動システム
１２ カメラ装置
１４ ４画面ユニット
１６ マスタモニタ
１８ コンバータ
２０ パーソナルコンピュータ
３０ 制御部
３２ 撮像部
３４ 回動機構
３６ 映像出力部
３８ 通信部
４０ 撮像制御部
４２ 主従判定部
４４ 主カメラ特定部
４６ 方向情報変換部
４８ 位置情報テーブル記憶部
５０ 回動制御部

Claims (6)

  1. 回動可能な複数のカメラ装置と、前記複数のカメラ装置に接続された制御装置とを備え、
    前記制御装置は、前記複数のカメラ装置から選ばれた主カメラの方向を指示する主カメラ方向情報を、前記主カメラを含む前記複数のカメラ装置へ提供し、
    前記複数のカメラ装置の各々は、
    自カメラと他カメラとの相対位置情報を記憶する相対位置情報記憶手段と、
    前記他カメラが前記主カメラであるとき、前記相対位置情報に基づいて、前記主カメラ方向情報を、前記自カメラを従カメラとして前記主カメラに追従させるための従カメラ方向情報に変換する方向情報変換手段と、
    前記自カメラが前記主カメラであるときは前記主カメラ方向情報に応じて、前記自カメラが前記主カメラでないときは前記従カメラ方向情報に応じて、前記自カメラの回動機構を制御する回動制御手段と、
    を備えたことを特徴とするカメラ連動システム。
  2. 少なくとも一の他カメラと共に制御装置に接続され、自カメラおよび前記他カメラを含む複数のカメラから選ばれた主カメラの方向を指示する主カメラ方向情報を受信する通信手段と、
    自カメラと他カメラとの相対位置情報を記憶する相対位置情報記憶手段と、
    前記他カメラが前記主カメラであるとき、前記相対位置情報に基づいて、前記主カメラ方向情報を、前記自カメラを従カメラとして前記主カメラに追従させるための従カメラ方向情報に変換する方向情報変換手段と、
    前記自カメラが前記主カメラであるときは前記主カメラ方向情報に応じて、前記自カメラが前記主カメラでないときは前記従カメラ方向情報に応じて、前記自カメラの回動機構を制御する回動制御手段と、
    を備えたことを特徴とするカメラ装置。
  3. 前記制御装置から提供される前記主カメラ方向情報に基づいて、前記自カメラが前記主カメラであるか否かを判定する主従判定手段と、
    前記自カメラが前記主カメラでないときに、複数の前記他カメラから主カメラを特定する主カメラ特定手段と、
    を備え、前記方向情報変換手段は、前記相対位置情報記憶手段に記憶された複数の前記他カメラの相対位置情報のうちで前記主カメラ特定手段により特定された前記他カメラの相対位置情報に基づいて前記主カメラ方向情報を前記従カメラ方向情報に変換することを特徴とする請求項２に記載のカメラ装置。
  4. 前記通信手段は、前記自カメラ宛か前記他カメラ宛かの宛先に拘わらず前記主カメラ方向情報を取り込み、前記主従判定手段および前記主カメラ特定手段は、前記主カメラ方向情報のうちの宛先情報に基づいて判定処理および特定処理を行うことを特徴とする請求項３に記載のカメラ装置。
  5. 主カメラおよび前記主カメラに追従する従カメラを含む複数のカメラへと、主カメラの方向を指示する主カメラ方向情報を提供し、
    前記主カメラでは、前記主カメラ方向情報に応じて回動機構を制御し、
    前記従カメラでは、前記主カメラと前記従カメラとの相対位置情報に基づいて、前記主カメラ方向情報を、前記従カメラを前記主カメラに追従させるための従カメラ方向情報に変換し、前記従カメラ方向情報に応じて回動機構を制御することを特徴とするカメラ連動制御方法。
  6. 主カメラおよび前記主カメラに追従する従カメラを含んだ複数のカメラ装置と、前記複数のカメラに接続された制御装置とを備え、
    前記制御装置は、前記複数のカメラ装置のうちの主カメラの方向を指示する主カメラ方向情報を、前記複数のカメラ装置へ提供し、
    前記主カメラは、前記主カメラ方向情報に応じて回動機構を制御し、
    前記従カメラは、前記主カメラと前記従カメラとの相対位置情報に基づいて、前記主カメラ方向情報を、前記従カメラを前記主カメラに追従させるための従カメラ方向情報に変換し、前記従カメラ方向情報に応じて回動機構を制御することを特徴とするカメラ連動システム。
JP2004214426A 2004-07-22 2004-07-22 カメラ連動システム、カメラ装置およびカメラ連動制御方法 Active JP4516791B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004214426A JP4516791B2 (ja) 2004-07-22 2004-07-22 カメラ連動システム、カメラ装置およびカメラ連動制御方法
CNB2005100847894A CN100401748C (zh) 2004-07-22 2005-07-21 摄像机联动系统、摄像机装置及摄像机联动控制方法
EP05015841A EP1619897B1 (en) 2004-07-22 2005-07-21 Camera link system, camera device and camera link control method
DE602005000666T DE602005000666T2 (de) 2004-07-22 2005-07-21 Kameraverbundsystem, Kameravorrichtung und Steuerverfahren für den Kameraverbund
US11/186,071 US20060017812A1 (en) 2004-07-22 2005-07-21 Camera link system, camera device and camera link control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004214426A JP4516791B2 (ja) 2004-07-22 2004-07-22 カメラ連動システム、カメラ装置およびカメラ連動制御方法

Publications (2)

Publication Number Publication Date
JP2006041611A true JP2006041611A (ja) 2006-02-09
JP4516791B2 JP4516791B2 (ja) 2010-08-04

Family

ID=35106862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004214426A Active JP4516791B2 (ja) 2004-07-22 2004-07-22 カメラ連動システム、カメラ装置およびカメラ連動制御方法

Country Status (5)

Country Link
US (1) US20060017812A1 (ja)
EP (1) EP1619897B1 (ja)
JP (1) JP4516791B2 (ja)
CN (1) CN100401748C (ja)
DE (1) DE602005000666T2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008016058A1 (fr) * 2006-08-02 2008-02-07 Panasonic Corporation dispositif et système de commande de caméras
JP2011061583A (ja) * 2009-09-11 2011-03-24 Oki Electric Industry Co Ltd カメラ制御装置
JP2012520650A (ja) * 2009-05-29 2012-09-06 ヨングク エレクトロニクス シーオー．， エルティーディー 知能型監視カメラ装置及びこれを採用した映像監視システム
KR101259559B1 (ko) 2009-12-18 2013-04-30 한국전자통신연구원 멀티 카메라 연동 장치 및 방법
US11627258B2 (en) 2020-02-25 2023-04-11 Canon Kabushiki Kaisha Imaging device, imaging system, control method, program, and storage medium

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006010955B3 (de) * 2006-03-03 2007-10-04 Siemens Ag Verfahren zur visuellen Überwachung eines Raumbereiches
TW200833091A (en) * 2007-01-31 2008-08-01 Etrovision Technology Remote control method for IP (internet protocol) camera
US9071738B2 (en) * 2010-10-08 2015-06-30 Vincent Pace Integrated broadcast and auxiliary camera system
US9497388B2 (en) 2010-12-17 2016-11-15 Pelco, Inc. Zooming factor computation
CN102244735B (zh) * 2011-07-08 2013-06-19 山东神戎电子股份有限公司 船上用可变焦的稳像成像系统
US9344606B2 (en) * 2012-01-24 2016-05-17 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
US9589078B2 (en) * 2012-09-27 2017-03-07 Futurewei Technologies, Inc. Constructing three dimensional model using user equipment
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN103369307A (zh) * 2013-06-30 2013-10-23 安科智慧城市技术（中国）有限公司 一种联动监控的方法、摄像机及系统
CN103533311B (zh) * 2013-10-22 2017-01-11 北京汉邦高科数字技术股份有限公司 一种高清网络摄像机装置
CN109981974B (zh) * 2017-12-27 2021-05-18 深圳市优必选科技有限公司 一种摄像装置联动方法、联动装置和录像设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6313475A (ja) * 1986-07-03 1988-01-20 Yamaguchi Shinema:Kk テレビジヨンカメラの追従制御装置
JPH1195313A (ja) * 1997-09-17 1999-04-09 Fuji Photo Optical Co Ltd リモコン雲台システム
JP2000083246A (ja) * 1998-09-04 2000-03-21 Canon Inc カメラ制御システム、カメラ制御方法、およびその処理を実行するプログラムを記憶した記録媒体
JP2001025003A (ja) * 1999-07-08 2001-01-26 Canon Inc カメラシステム及びカメラ制御方法
JP2001245280A (ja) * 2000-02-29 2001-09-07 Canon Inc カメラ制御システム、装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2003158664A (ja) * 2001-11-21 2003-05-30 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2003348428A (ja) * 2002-05-24 2003-12-05 Sharp Corp 撮影システム、撮影方法、撮影プログラムおよび撮影プログラムを記録したコンピュ−タ読取可能な記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164827A (en) * 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
JP2001036893A (ja) * 1999-07-19 2001-02-09 Matsushita Electric Ind Co Ltd 監視装置
GB2368482B (en) * 2000-10-26 2004-08-25 Hewlett Packard Co Optimal image capture
WO2002065763A2 (en) * 2001-02-12 2002-08-22 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
JP3787498B2 (ja) * 2001-02-13 2006-06-21 キヤノン株式会社 撮像装置及び撮像システム
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US7212228B2 (en) * 2002-01-16 2007-05-01 Advanced Telecommunications Research Institute International Automatic camera calibration method
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6313475A (ja) * 1986-07-03 1988-01-20 Yamaguchi Shinema:Kk テレビジヨンカメラの追従制御装置
JPH1195313A (ja) * 1997-09-17 1999-04-09 Fuji Photo Optical Co Ltd リモコン雲台システム
JP2000083246A (ja) * 1998-09-04 2000-03-21 Canon Inc カメラ制御システム、カメラ制御方法、およびその処理を実行するプログラムを記憶した記録媒体
JP2001025003A (ja) * 1999-07-08 2001-01-26 Canon Inc カメラシステム及びカメラ制御方法
JP2001245280A (ja) * 2000-02-29 2001-09-07 Canon Inc カメラ制御システム、装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2003158664A (ja) * 2001-11-21 2003-05-30 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2003348428A (ja) * 2002-05-24 2003-12-05 Sharp Corp 撮影システム、撮影方法、撮影プログラムおよび撮影プログラムを記録したコンピュ−タ読取可能な記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008016058A1 (fr) * 2006-08-02 2008-02-07 Panasonic Corporation dispositif et système de commande de caméras
JP2008042315A (ja) * 2006-08-02 2008-02-21 Matsushita Electric Ind Co Ltd カメラ制御装置およびカメラ制御システム
JP2012520650A (ja) * 2009-05-29 2012-09-06 ヨングク エレクトロニクス シーオー．， エルティーディー 知能型監視カメラ装置及びこれを採用した映像監視システム
JP2011061583A (ja) * 2009-09-11 2011-03-24 Oki Electric Industry Co Ltd カメラ制御装置
KR101259559B1 (ko) 2009-12-18 2013-04-30 한국전자통신연구원 멀티 카메라 연동 장치 및 방법
US11627258B2 (en) 2020-02-25 2023-04-11 Canon Kabushiki Kaisha Imaging device, imaging system, control method, program, and storage medium

Also Published As

Publication number Publication date
EP1619897B1 (en) 2007-03-07
EP1619897A1 (en) 2006-01-25
DE602005000666T2 (de) 2007-11-22
CN1725810A (zh) 2006-01-25
DE602005000666D1 (de) 2007-04-19
CN100401748C (zh) 2008-07-09
JP4516791B2 (ja) 2010-08-04
US20060017812A1 (en) 2006-01-26

Similar Documents

Publication Publication Date Title
JP4516791B2 (ja) カメラ連動システム、カメラ装置およびカメラ連動制御方法
JP3902222B2 (ja) 監視システム、監視方法及びカメラ端末
JP3886524B2 (ja) カメラ端末および監視システム
KR20110108265A (ko) 제어 장치, 카메라 시스템 및 프로그램
EP0893919B1 (en) Camera control system
JPH118844A (ja) 撮像装置コントローラおよび撮像システム
CN102461153A (zh) 控制装置、相机系统和程序
JP2007208741A (ja) 遠隔指示システム及び遠隔指示方法
JP2006304342A (ja) 検出領域調整装置
JP2008028482A (ja) 遠隔指示システム
JP4243883B2 (ja) リモコン雲台システム
EP2648406B1 (en) Method for switching viewing modes in a camera
KR100585822B1 (ko) 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
JP3431953B2 (ja) カメラ制御装置及び方法
JP2006086671A (ja) 自動追尾機能を有する撮像装置
JP2005136774A (ja) カメラ監視システムおよびプログラム
JP4332580B2 (ja) 制御装置および制御方法、並びに監視システム
KR19980080383A (ko) 촬상 장치용 컨트롤러 및 촬상 시스템
JP2000358240A (ja) 監視カメラ制御装置
JP2005354748A (ja) 撮像手段制御方法および撮像手段制御装置
JP2019140530A (ja) サーバ装置、表示装置、映像表示システム、及び映像表示方法
JPH03217978A (ja) 画像表示装置
JP2001036810A (ja) パンチルト監視カメラシステム
JP2017216536A (ja) カメラ制御システム
JP3638455B2 (ja) 画像表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100517

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4516791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250