JP2008042315A - カメラ制御装置およびカメラ制御システム - Google Patents

カメラ制御装置およびカメラ制御システム Download PDF

Info

Publication number
JP2008042315A
JP2008042315A JP2006210894A JP2006210894A JP2008042315A JP 2008042315 A JP2008042315 A JP 2008042315A JP 2006210894 A JP2006210894 A JP 2006210894A JP 2006210894 A JP2006210894 A JP 2006210894A JP 2008042315 A JP2008042315 A JP 2008042315A
Authority
JP
Japan
Prior art keywords
camera
main
cameras
main camera
direction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006210894A
Other languages
English (en)
Other versions
JP5041757B2 (ja
Inventor
Haruo Kogane
春夫 小金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006210894A priority Critical patent/JP5041757B2/ja
Priority to AT07791697T priority patent/ATE524016T1/de
Priority to EP07791697A priority patent/EP2046019B1/en
Priority to PCT/JP2007/065013 priority patent/WO2008016058A1/ja
Priority to US12/374,004 priority patent/US20090309973A1/en
Priority to CN2007800273651A priority patent/CN101491085B/zh
Publication of JP2008042315A publication Critical patent/JP2008042315A/ja
Application granted granted Critical
Publication of JP5041757B2 publication Critical patent/JP5041757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19667Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】動く被写体を自動追尾する場合に、被写体をモニタ画面から失うことなく自動追尾することができるカメラ制御装置およびカメラ制御システムを提供する。
【解決手段】カメラ制御装置109から全てのカメラ101に同時に主カメラ方向情報を送信し、主カメラ方向情報に含まれるアドレスから主カメラ101mとなったカメラ101は主カメラ方向情報に従ってカメラ方向制御を行い、従カメラ101sとなったカメラ101は主カメラ101mとの相対位置関係に基づいて主カメラ方向情報を従カメラ方向情報に変換して、従カメラ方向情報に従ってカメラ方向制御を行う。これにより、制御遅延が生じることがなく、常に被写体をモニタ画面に捉えることができる。すなわち、被写体をモニタ画面から失うことなく自動追尾することができる。
【選択図】図1

Description

本発明は、複数台のカメラを連動させて、同一の被写体を撮影するカメラ制御装置およびカメラ制御システムに関する。
従来、複数台のカメラを連動させて、同一の被写体を撮影するカメラ制御システムが提案されている(例えば、特許文献1参照)。特許文献1では、従カメラが主カメラからの信号を受け取り、その信号に応じて制御を行う技術が開示されている。
特開2003−284050号公報
しかしながら、従来のカメラ制御システムにおいては、主カメラと従カメラの設定はメニュー画面等で設定する必要があり、被写体を主カメラで追従することができなくなった場合、再度、メニュー画面等で主カメラを設定し直さなければならなく、動く被写体を自動追尾する場合に、その被写体をモニタ画面から失ってしまうという問題があった。
本発明は、係る事情に鑑みてなされたものであり、動く被写体を自動追尾する場合に、被写体をモニタ画面から失うことなく自動追尾することができるカメラ制御装置およびカメラ制御システムを提供することを目的とする。
上記目的は下記構成により達成される。
本発明のカメラ制御装置は、複数のカメラから主カメラを決定する主カメラ決定手段と、前記主カメラ決定手段で決定された主カメラのアドレスを含めた主カメラ方向情報を生成して全てのカメラに送信する主カメラ方向情報生成手段と、を備える。
この構成により、動く被写体を自動追尾する場合に、被写体をモニタ画面から失うことなく自動追尾することが可能になる。
本発明のカメラ制御装置は、前記主カメラ決定手段は、主モニタに映像を映し出しているカメラを主カメラと決定する構成を有する。
この構成により、主モニタに常時主カメラとなったカメラの映像を映し出すので、監視者は常に主モニタで被写体を確認することができる。また、主モニタに表示するカメラを選択することにより、自動的に主カメラを選択することができ、監視者は余計な操作をしなくて済むという利点がある。
本発明のカメラ制御装置は、前記複数のカメラそれぞれの映像を取得する映像取得手段と、前記映像取得手段で取得された前記複数のカメラそれぞれの映像から全てのカメラの被写体の特徴データ、移動方向、画角サイズを含む各種情報を取得する全カメラ情報取得手段とを備え、前記主カメラ決定手段は、前記全カメラ情報取得手段から取得した全てのカメラの前記各種情報から主カメラを決定する構成を有する。
この構成により、全てのカメラの映像から自動的に主カメラを決定できるため、監視者は主カメラを決定するという操作をしなくて良いという利点がある。
本発明のカメラ制御装置は、前記全カメラ情報取得手段は、全てのカメラの映像を画像認識装置へ入力し、前記画像認識装置で解析された各種情報を取得する構成を有する。
この構成により、画像認識装置で解析された各種情報から自動的に主カメラを決定できるため、監視者は主カメラを決定するという操作をしなくて良いという利点がある。
本発明のカメラ制御装置は、前記映像取得手段で取得された前記複数のカメラそれぞれの映像を最適な部分だけ抽出して記録装置に保存する記録制御手段を備える。
この構成により、複数台のカメラそれぞれから取得した映像を記録する際に、最適な部分のみ抽出して保存するので、長時間録画が可能となる。また、ネットワークにデータを送出する場合、画質を劣化させることなくデータ量を小さくすることができる。
本発明のカメラ制御システムは、主カメラおよび前記主カメラに連動する従カメラを含む複数のカメラと、前記主カメラおよび前記従カメラを制御するカメラ制御装置とを備えたカメラ制御システムにおいて、前記カメラ制御装置は、前記複数のカメラから主カメラを決定する主カメラ決定手段と、前記主カメラ決定手段で決定された主カメラのアドレスを含めた主カメラ方向情報を生成して全てのカメラに送信する主カメラ方向情報生成手段とを備える。
この構成により、動く被写体を自動追尾する場合に、被写体をモニタ画面から失うことなく自動追尾することが可能になる。
本発明によれば、動く被写体を自動追尾する場合に、被写体をモニタ画面から失うことなく自動追尾することが可能になる。
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
図1は、本発明の一実施の形態に係るカメラ制御システムの概略構成を示すブロック図である。同図において、本実施の形態のカメラ制御システム100は、複数台のカメラ101と、1台の主モニタ102と、複数台の副モニタ103と、記録装置104と、画像認識装置105と、外部センサ106と、通信部107と、カメラ制御卓108と、カメラ制御装置109とを備えて構成される。カメラ101は、被写体を撮像するものであり、撮像信号を出力する。なお、本システムを監視用途に使用する場合、被写体は人物、物、駐車場の車などである。図2は、カメラ101の概略構成を示すブロック図である。なお、以下の発明においては、「主」となるカメラを主カメラ101m、「従」となるカメラを101sと呼ぶこととする。図2に示すように、カメラ101は、制御部30と、撮像部31と、回動機構32と、映像出力部33と、通信部34とを備えて構成される。
カメラ101において、制御部30は装置各部を制御する。撮像部31は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えており、撮像信号を出力する。撮像部31からの撮像信号は制御部30に入力される。回動機構32はパン機構およびチルト機構を備えており、パン機構はパンモータで動作し、チルト機構はチルトモータで動作する。回動機構32は制御部30より制御されてカメラ本体をパン方向およびチルト方向に動かす。映像出力部33は、制御部30に入力された撮像部31からの撮像信号を外部に出力する。
本実施の形態では、制御部30に入力された撮像部31からの撮像信号をカメラ制御装置109に入力する。通信部34は、カメラ制御装置109との間で双方向通信を行い、撮像部31からの撮像信号をカメラ制御装置109に入力するとともに、カメラ制御装置109から入力された制御データを取り込む。カメラ制御装置109から入力された制御データを受け取った場合には、その制御データを制御部30に入力する。特に、カメラ101の回動時には制御データとして主カメラ方向情報が入力される。この場合、主カメラ方向情報が他のカメラ101用であっても、その制御データを取り込む。
制御部30は、図2に示すように、主従判定部301と、主カメラ特定部302と、方向情報変換部303と、位置情報テーブル記憶部304と、回動制御部305とを備えている。主従判定部301は、カメラ制御装置109から送信された主カメラ方向情報に含まれるアドレスを基に自カメラ101が主カメラ101mであるか否かを判定し、該アドレスが自カメラ101のアドレスであれば、自カメラ101が主カメラ101mと判定する。これに対して、該アドレスが自カメラのアドレスでなければ、他カメラ101の中から主カメラ101mを特定する動作を行う。すなわち、他カメラ101の中から主カメラ101mを特定するために主カメラ方向情報に含まれるアドレスを調べて該アドレスを持つカメラ101を探し出し、それを主カメラ101mと特定する。
方向情報変換部303は、自カメラ101が主カメラ101mでない場合に動作し、その場合(すなわち従カメラ101sである場合)は、従カメラ101sである自カメラ101と主カメラ101mである他カメラ101との相対位置情報に基づいて主カメラ方向情報を従カメラ方向情報に変換する。従カメラ方向情報は、自カメラ101が従カメラ101sとして主カメラ101mに追従するための方向情報である。従カメラ101sである自カメラ101と主カメラ101mである他カメラ101の相対位置情報は位置情報テーブル記憶部304に記憶されている。この場合、相対位置情報は両カメラ間の距離で表される。
図3は、位置情報テーブルの一例を示す図である。この図に示す位置情報テーブルは、3つの他カメラ101のそれぞれと自カメラ101との相対位置が記録されている。本実施の形態では全てのカメラ101の高さを一定とし、また水平回転の原点の方角を同じに設定している。
図2に戻り、方向情報変換部303は、位置情報テーブルの3つの相対位置情報から主カメラ特定部302により特定された主カメラ101mの相対位置情報を読み出し、読み出した相対位置情報に基づいて主カメラ方向情報を従カメラ方向情報に変換する。このようにカメラ制御装置109から送信された主カメラ方向情報に含まれるアドレスを基に自カメラ101が主カメラ101mであるか否かを判定し、該アドレスが自カメラ101のアドレスであれば自カメラ1001を主カメラ101mと判定し、自カメラ101のアドレスでなければ他カメラ101の中から主カメラ101mを特定し、特定した主カメラ101mと自カメラ101との相対位置情報に基づいて主カメラ方向情報を従カメラ方向情報に変換する。回動制御部305は、自カメラ101が主カメラ101mであれば主カメラ方向情報に従ってカメラ本体の回動制御を行い、従カメラ101sであれば、従カメラ方向情報に従ってカメラ本体の回動制御を行う。
図1に戻り、主モニタ102は、複数台のカメラ101のうち、主カメラ101mとなるカメラ101からの映像の表示に使用され、副モニタ103、103、・・・103は、従カメラ101sとなるカメラ101からの映像の表示に使用される。主カメラ101mとして設定されるカメラ101は1台だけであるため、副モニタ103、103、・・・、103には主カメラ101mとなるカメラ101を除いた残りのカメラ101(すなわち従カメラ101s)からの映像が表示される。
記録装置104は、静止画および動画(音声を含むことも可能)の記録に用いられる。なお、本実施の形態では記録装置104をカメラ制御装置109に隣接配置させているが、遠隔配置してネットワーク経由でデータ授受を行うようにしても良い。画像認識装置105は、全てのカメラ101それぞれの映像に対して画像認識を行い、人や物等の被写体の特徴を示す特徴データを生成するとともに、人や物等の移動方向、画角サイズ情報の変化を抽出し、全カメラ分の特徴データと移動方向および画角サイズを含む各種情報を解析しカメラ制御装置109に入力する機能を有する。外部センサ106は、各カメラ101に隣接配置され、カメラ101に近づいた被写体の検出に用いられる。被写体の検出には例えば赤外線が使用される。通信部107は、インターネット等のネットワークに接続して外部機器(図示略)とカメラ制御装置との通信を可能とする。カメラ制御卓108は、主モニタ102に映像を映し出すカメラ101の選択と、選択したカメラ101の画角やカメラ画質の設定を行うものである。画角設定には「パン角度」、「チルト角度」、「画角倍率」がある。また、カメラ制御卓108では、カメラ制御装置109の動作設定や監視中のカメラ連動有無の切り替えが可能となっている。
カメラ制御装置109は、複数台のカメラ101それぞれの映像を取得する機能(映像取得手段)と、取得した複数台のカメラ101それぞれの映像を画像認識装置105に入力する機能と、画像認識装置105から入力される複数台のカメラ101のそれぞれの映像(静止画や動画)に対する情報(全カメラ分の特徴データ、移動方向、画角サイズ等の各種情報)を受け取る機能(全カメラ情報取得手段)と、受け取った全カメラ分の各種情報から主カメラ101mとなるカメラ101を特定し、該カメラ101のアドレスを含めた主カメラ方向情報を生成して全てのカメラ101に同時に送信する機能(主カメラ決定手段、主カメラ方向情報生成手段)と、主カメラ101mと従カメラ101sを切り替える機能と、複数台のカメラ101の映像を複数のモニタ102、103、103、・・・、103に表示する機能と、通信部107を使用して複数台のカメラ101の映像を遠隔の表示装置(図示略)に選択的に送信する機能と、複数台のカメラ101それぞれの映像を最適な部分のみを抽出し、JPEG(Joint Photographic Experts Group)やMPEG(Moving Picture Experts Group)で圧縮処理して記録装置104に保存する機能(記録制御手段)と、記録装置104に保存した圧縮データを伸張し、通信部107を介して外部機器へと送信する機能と、記録装置104に対する記録時間と記録状態、記録メディアの残容量などの状態取得する機能とを備えている。
記録装置104には映像の最適な部分のみを記録するので、長時間録画が可能となる。また、ネットワークに送出するデータを、劣化させることなくデータ量を小さくすることができる。また、外部機器にデータを送信する際には、個人認証を行ったうえで、要求された情報に応じて映像(静止画または動画)を直接送信するか、またはサーバ経由で転送する。なお、各モニタ102、103〜103は映像表示するテレビモニタまたはネットワークによってカメラ制御装置109に繋がれたパーソナルコンピュータ等であっても良い。
次に、上記構成のカメラ制御システムの動作を説明する。図4は、カメラ101のカメラ方向制御処理を説明するためのフロー図である。同図において、まず主カメラ方向情報の有無を判定する(ステップST10)。すなわち、カメラ制御装置109から主カメラ方向情報が入力されたかどうかを判定し、主カメラ方向情報が入力された場合には主カメラ方向情報に含まれるアドレスを取得する(ステップST11)。次いで、取得したアドレスが自カメラのアドレスであるかどうかを判定し、(ステップST12)、自カメラのアドレスであれば、入力された主カメラ方向情報に従ってカメラ本体の回動制御を行う(ステップST13)。すなわち、自カメラが主カメラ101mとなって被写体を追跡する制御を行う。
一方、上記ステップST12の判定において、入力された主カメラ方向情報から取得したアドレスが自カメラのアドレスでなければ、他カメラ101の中で該当するアドレスを持つものを探し出し、それを主カメラ101mと特定する(ステップST14)。次いで、特定した他カメラ101と自カメラ101の相対位置情報に基づいて主カメラ方向情報を従カメラ方向情報に変換し(ステップST15)、その従カメラ方向情報に従ってカメラ本体の回動制御を行う(ステップST16)。すなわち、自カメラが従カメラ101sとなって被写体を追跡する制御を行う。なお、上記ステップST10の判定において、主カメラ方向情報が入力されなければ、他の処理を行う(ステップST17)。
図5は、カメラ制御装置109の主カメラ方向情報生成処理を説明するためのフロー図である。同図において、まず全てのカメラ101の映像を画像認識装置105に入力する(ステップST20)。次いで、画像認識装置105は、全てのカメラ101の映像を解析し、カメラ制御装置109に解析した全てのカメラ101の情報(特徴データ、移動方向、画角サイズを含む各種情報)を送信する。カメラ制御装置109は、全てのカメラ101の情報(特徴データ、移動方向、画角サイズを含む各種情報)が送信されてきたかどうかを判定する(ステップST21)。全てのカメラ101の情報が送信されてくるまでこの判定処理を繰り返す。なお、全てのカメラ101の情報を画像認識装置105で解析したが、カメラ制御装置109で解析しても良く、全てのカメラ101で解析を行い、その情報をカメラ制御装置109に送信しても良い。
カメラ制御装置109は、全てのカメラ101の情報が送信されてくると、それぞれの情報を基に主カメラ101mを特定する(ステップST22)。そして、主カメラ101mを特定した後、特定したカメラ101のアドレスを含めた主カメラ方向情報を生成し(ステップST23)、生成した主カメラ方向情報を全てのカメラ101に向けて同時に送信する(ステップST24)。
ここで、図6は、主カメラ101mとなったカメラ101の真下近くでカメラ101が被写体200の正面を捉えている様子を示す図である。カメラ制御装置109により主カメラ101mであるカメラ101の映像は主モニタ102に映し出され、従カメラ101sであるカメラ101の映像が副モニタ103に映し出される。従カメラ101sであるカメラ101は、主カメラ101mであるカメラ101の向いている方向となるように従カメラ方向情報を求める。監視者は、カメラ制御卓108にて、主カメラ101mであるカメラ101の映像が映し出される主モニタ102を見ながら操作を行う。
図7は、被写体200が主カメラ101mであるカメラ101の真下を通り過ぎて、従カメラ101sであるカメラ101が被写体200の正面を捉えることができる状況となった様子を示す図である。この場合、主カメラ決定手段は主カメラをカメラ101からカメラ101に切り替える。また、カメラ101は、カメラ制御装置109よりカメラ101に連動するように設定されているので、従カメラ101sと主カメラ101mが入れ替わり、カメラ101が従カメラ101s、カメラ101が主カメラ101mとなる。また、同時に表示するモニタも入れ替えられ、カメラ101の映像が主モニタ102に映し出され、カメラ101の映像が副モニタ103に映し出される。
図8は、被写体200が主カメラ101mであるカメラ101の真下になる直前の様子を示す図である。被写体200がカメラ101の真下になる直前にカメラ制御装置109は、従カメラ101sであるカメラ101をカメラ101に連動させる設定を行う。また、カメラ制御装置109は、副モニタ103が1台の場合、従カメラ101sであるカメラ101の映像を表示するか、従カメラ101sであるカメラ101の映像を表示するかを、被写体200が大きく映る方または正面が映る方のいずれか一方を選択する。副モニタ103が1台であっても多画面分割されたサイズの異なる表示を行える場合はサイズの大きさの優先順位や表示位置を制御することで、より効果的な監視が行える。本実施の形態のように副モニタ103が複数ある場合は、複数のモニタの数および優先順を決定する判断を行って表示を切り替えるようにすれば良い。
さらに、図8において、カメラ制御装置109は、被写体200が従カメラ101sであるカメラ101の方向に向かう場合は、主カメラ101mであるカメラ101と従カメラ101sであるカメラ101を従カメラ101s、主カメラ101mの関係になるように2つのカメラの設定を変える。そして、従カメラ101sであるカメラ101を主カメラ101mであるカメラ101に追従させる状態を解除し、予め決められた待ち受けの画角位置にカメラ方向制御を行う。この際、カメラ側に待ち受け位置をホームポジションとして記憶してあれば、そこへの移動指示を行うだけで良い。
このように、本実施の形態のカメラ制御システムによれば、カメラ制御装置109から全てのカメラ101に同時に主カメラ方向情報を送信し、主カメラ方向情報に含まれるアドレスから主カメラ101mとなったカメラ101は主カメラ方向情報に従ってカメラ方向制御を行い、従カメラ101sとなったカメラ101は主カメラ101mとの相対位置関係に基づいて主カメラ方向情報を従カメラ方向情報に変換して、従カメラ方向情報に従ってカメラ方向制御を行うので、制御遅延が生じることがなく、常に被写体をモニタ画面に捉えることができる。すなわち、被写体をモニタ画面から失うことなく自動追尾することができる。
また、従カメラ101sとなったカメラ101は、主カメラ方向情報を従カメラ方向情報に変換する際に、隣接するカメラ間の距離を記録した位置情報テーブルを用いるので、容易に且つ短時間で従カメラ方向情報を得ることができる。また、カメラ制御装置109では、複数台のカメラ101それぞれから取得した映像を記録装置104に記録する場合に、最適な部分のみ抽出して記録するので、長時間録画が可能となる。また、ネットワークにデータを送出する場合、画質を劣化させることなくデータ量を小さくすることができる。
なお、上記実施の形態では、全てのカメラ101に画角制御可能な制御手段を持たせたが、画角制御不可能な固定カメラを混在させても構わない。
また、上記実施の形態では、外部センサ106を各カメラ101の設置場所近傍に設置させて被写体の検知に使用したが、外部センサ106の情報を主カメラ特定時に用いても良い。
本発明は、動く被写体を自動追尾する場合に、被写体をモニタ画面から失うことなく追尾することができるといった効果を有し、監視用の画像記録システムなどへの適用が可能である。
本発明の一実施の形態に係るカメラ制御システムの概略構成を示すブロック図 本発明の上記実施の形態に係るカメラ制御システムのカメラの概略構成を示すブロック図 本発明の上記実施の形態に係るカメラ制御システムのカメラに用いられる位置情報テーブルの一例を示す図 本発明の上記実施の形態に係るカメラ制御システムのカメラ方向制御処理を説明するためのフロー図 本発明の上記実施の形態に係るカメラ制御システムの主カメラ方向生成処理を説明するためのフロー図 本発明の上記実施の形態に係るカメラ制御システムの動作を具体的に説明するための図 本発明の上記実施の形態に係るカメラ制御システムの動作を具体的に説明するための図 本発明の上記実施の形態に係るカメラ制御システムの動作を具体的に説明するための図
符号の説明
30 制御部
31 撮像部
32 回動機構
33 映像出力部
34 通信部
100 カメラ制御システム
101、101、101、101 カメラ
102 主モニタ
103 〜103 副モニタ
104 記録装置
105 画像認識装置
106 外部センサ
107 通信部
108 カメラ制御卓
109 カメラ制御装置
301 主従判定部
302 主カメラ特定部
303 方向情報変換部
304 位置情報テーブル記憶部
305 回動制御部

Claims (6)

  1. 複数のカメラから主カメラを決定する主カメラ決定手段と、
    前記主カメラ決定手段で決定された主カメラのアドレスを含めた主カメラ方向情報を生成して全てのカメラに同時に送信する主カメラ方向情報生成手段と、
    を備えたカメラ制御装置。
  2. 前記主カメラ決定手段は、主モニタに映像を映し出しているカメラを主カメラと決定する請求項1に記載のカメラ制御装置。
  3. 前記複数のカメラそれぞれの映像を取得する映像取得手段と、前記映像取得手段で取得された前記複数のカメラそれぞれの映像から全てのカメラの被写体の特徴データ、移動方向、画角サイズを含む各種情報を取得する全カメラ情報取得手段とを備え、
    前記主カメラ決定手段は、前記全カメラ情報取得手段から取得した全てのカメラの前記各種情報から主カメラを決定する請求項1に記載のカメラ制御装置。
  4. 前記全カメラ情報取得手段は、全てのカメラの映像を画像認識装置へ入力し、前記画像認識装置で解析された各種情報を取得する請求項3に記載のカメラ制御装置。
  5. 前記映像取得手段で取得された前記複数のカメラそれぞれの映像を最適な部分だけ抽出して記録装置に保存する記録制御手段を備えた請求項3または4に記載のカメラ制御装置。
  6. 主カメラおよび前記主カメラに連動する従カメラを含む複数のカメラと、前記主カメラおよび前記従カメラを制御するカメラ制御装置とを備えたカメラ制御システムにおいて、
    前記カメラ制御装置は、前記複数のカメラから主カメラを決定する主カメラ決定手段と、前記主カメラ決定手段で決定された主カメラのアドレスを含めた主カメラ方向情報を生成して全てのカメラに送信する主カメラ方向情報生成手段とを備えたカメラ制御システム。
JP2006210894A 2006-08-02 2006-08-02 カメラ制御装置およびカメラ制御システム Active JP5041757B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006210894A JP5041757B2 (ja) 2006-08-02 2006-08-02 カメラ制御装置およびカメラ制御システム
AT07791697T ATE524016T1 (de) 2006-08-02 2007-07-31 Kamerasteuereinrichtung und kamerasteuersystem
EP07791697A EP2046019B1 (en) 2006-08-02 2007-07-31 Camera control device and camera control system
PCT/JP2007/065013 WO2008016058A1 (fr) 2006-08-02 2007-07-31 dispositif et système de commande de caméras
US12/374,004 US20090309973A1 (en) 2006-08-02 2007-07-31 Camera control apparatus and camera control system
CN2007800273651A CN101491085B (zh) 2006-08-02 2007-07-31 摄像机控制装置和摄像机控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006210894A JP5041757B2 (ja) 2006-08-02 2006-08-02 カメラ制御装置およびカメラ制御システム

Publications (2)

Publication Number Publication Date
JP2008042315A true JP2008042315A (ja) 2008-02-21
JP5041757B2 JP5041757B2 (ja) 2012-10-03

Family

ID=38997232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006210894A Active JP5041757B2 (ja) 2006-08-02 2006-08-02 カメラ制御装置およびカメラ制御システム

Country Status (6)

Country Link
US (1) US20090309973A1 (ja)
EP (1) EP2046019B1 (ja)
JP (1) JP5041757B2 (ja)
CN (1) CN101491085B (ja)
AT (1) ATE524016T1 (ja)
WO (1) WO2008016058A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114325A (ja) * 2011-11-25 2013-06-10 Chiba Inst Of Technology 無人走行体の遠隔操縦システム
JP2015015559A (ja) * 2013-07-04 2015-01-22 カシオ計算機株式会社 カメラシステム、カメラ、撮影制御プログラム及び撮影方法
JP2016039620A (ja) * 2014-08-12 2016-03-22 カシオ計算機株式会社 制御装置、制御システム、制御方法及びプログラム
JP2019062279A (ja) * 2017-09-25 2019-04-18 キヤノン株式会社 撮像装置、撮像システム及び撮像システムの制御方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
CN102414719B (zh) * 2009-07-22 2014-10-15 欧姆龙株式会社 监视摄像机终端
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
KR101753261B1 (ko) * 2016-03-21 2017-07-03 박은홍 촬영 시스템 및 그 영상품질 동기화 방법
KR102586962B1 (ko) * 2016-04-07 2023-10-10 한화비전 주식회사 감시 시스템 및 그 제어 방법
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10250812B2 (en) 2017-05-17 2019-04-02 Caterpillar Inc. Display system for machine
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN109063659B (zh) * 2018-08-08 2021-07-13 北京佳讯飞鸿电气股份有限公司 运动目标的检测与跟踪方法和系统
CN111010537B (zh) * 2019-12-06 2021-06-15 苏州智加科技有限公司 车辆控制方法、装置、终端及存储介质
KR20210128736A (ko) 2020-04-17 2021-10-27 삼성전자주식회사 멀티 카메라를 포함하는 전자 장치 및 촬영 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032435A (ja) * 1998-07-10 2000-01-28 Mega Chips Corp 監視システム
JP2003348428A (ja) * 2002-05-24 2003-12-05 Sharp Corp 撮影システム、撮影方法、撮影プログラムおよび撮影プログラムを記録したコンピュ−タ読取可能な記録媒体
JP2006041611A (ja) * 2004-07-22 2006-02-09 Matsushita Electric Ind Co Ltd カメラ連動システム、カメラ装置およびカメラ連動制御方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164827A (en) * 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
CA2155719C (en) * 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
US5956081A (en) * 1996-10-23 1999-09-21 Katz; Barry Surveillance system having graphic video integration controller and full motion video switcher
JP3429194B2 (ja) * 1998-05-12 2003-07-22 シャープ株式会社 自動追尾装置
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
CN1554193A (zh) * 2001-07-25 2004-12-08 �����J��ʷ����ɭ 摄像机控制装置及方法
JP4141716B2 (ja) 2002-03-25 2008-08-27 株式会社日立国際電気 テレビジョン監視システム
JP2003284053A (ja) * 2002-03-27 2003-10-03 Minolta Co Ltd 監視カメラシステムおよび監視カメラ制御装置
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US20040183915A1 (en) * 2002-08-28 2004-09-23 Yukita Gotohda Method, device, and program for controlling imaging device
JP2004128646A (ja) * 2002-09-30 2004-04-22 Canon Inc 監視システムおよび制御装置
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
DE10301941B4 (de) * 2003-01-20 2005-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kamera und Verfahren zur optischen Aufnahme eines Schirms
JP4265919B2 (ja) * 2003-02-28 2009-05-20 株式会社日立製作所 追尾型協調監視システムおよび撮像装置
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
WO2005091638A1 (en) * 2004-03-19 2005-09-29 Intexact Technologies Limited A location tracking system and a method of operating same
IL161082A (en) * 2004-03-25 2008-08-07 Rafael Advanced Defense Sys System and method for automatically acquiring a target with a narrow field-of-view gimbaled imaging sensor
US20060004579A1 (en) * 2004-07-01 2006-01-05 Claudatos Christopher H Flexible video surveillance
US8244542B2 (en) * 2004-07-01 2012-08-14 Emc Corporation Video surveillance
DE102004055835A1 (de) * 2004-07-09 2006-02-02 Volkswagen Ag Anzeigeeinrichtung für ein Fahrzeug und Verfahren zur Anzeige von Informationen
EP1769637A2 (en) * 2004-07-09 2007-04-04 Emitall Surveillance S.A. Smart video surveillance system ensuring privacy
JP2006180446A (ja) * 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
US20060126738A1 (en) * 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a plurality of cameras to track an object using motion vector data
JP4732892B2 (ja) 2004-12-27 2011-07-27 昭和電工株式会社 電解コンデンサ電極用アルミニウム材の製造方法、電解コンデンサ電極用アルミニウム材、アルミニウム電解コンデンサ用陽極材およびアルミニウム電解コンデンサ
JP4628817B2 (ja) * 2005-02-21 2011-02-09 富士フイルム株式会社 画像レイアウト装置および方法並びにプログラム
ATE500580T1 (de) * 2005-03-25 2011-03-15 Sensormatic Electronics Llc Intelligente kameraauswahl und objektverfolgung
JP4882288B2 (ja) * 2005-06-20 2012-02-22 富士ゼロックス株式会社 表示制御装置、システム及び表示制御方法
JP4628199B2 (ja) * 2005-07-01 2011-02-09 アルパイン株式会社 表示装置
JP4233547B2 (ja) * 2005-07-06 2009-03-04 ザイオソフト株式会社 画像表示処理方法
US20090138811A1 (en) * 2005-11-02 2009-05-28 Masaki Horiuchi Display object penetrating apparatus
US8848057B2 (en) * 2005-12-05 2014-09-30 Samsung Electronics Co., Ltd. Home security applications for television with digital video cameras
US8031936B2 (en) * 2006-03-20 2011-10-04 Accenture Global Services Limited Image processing system for skin detection and localization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032435A (ja) * 1998-07-10 2000-01-28 Mega Chips Corp 監視システム
JP2003348428A (ja) * 2002-05-24 2003-12-05 Sharp Corp 撮影システム、撮影方法、撮影プログラムおよび撮影プログラムを記録したコンピュ−タ読取可能な記録媒体
JP2006041611A (ja) * 2004-07-22 2006-02-09 Matsushita Electric Ind Co Ltd カメラ連動システム、カメラ装置およびカメラ連動制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114325A (ja) * 2011-11-25 2013-06-10 Chiba Inst Of Technology 無人走行体の遠隔操縦システム
JP2015015559A (ja) * 2013-07-04 2015-01-22 カシオ計算機株式会社 カメラシステム、カメラ、撮影制御プログラム及び撮影方法
JP2016039620A (ja) * 2014-08-12 2016-03-22 カシオ計算機株式会社 制御装置、制御システム、制御方法及びプログラム
JP2019062279A (ja) * 2017-09-25 2019-04-18 キヤノン株式会社 撮像装置、撮像システム及び撮像システムの制御方法
JP7175595B2 (ja) 2017-09-25 2022-11-21 キヤノン株式会社 撮像装置、制御装置、撮像システム及び撮像システムの制御方法

Also Published As

Publication number Publication date
US20090309973A1 (en) 2009-12-17
CN101491085B (zh) 2012-05-02
WO2008016058A1 (fr) 2008-02-07
JP5041757B2 (ja) 2012-10-03
EP2046019A4 (en) 2010-08-11
ATE524016T1 (de) 2011-09-15
CN101491085A (zh) 2009-07-22
EP2046019A1 (en) 2009-04-08
EP2046019B1 (en) 2011-09-07

Similar Documents

Publication Publication Date Title
JP5041757B2 (ja) カメラ制御装置およびカメラ制御システム
US10846529B2 (en) Image monitoring system and image monitoring program
KR101760142B1 (ko) 카메라 장치, 카메라 시스템, 제어 장치 및 컴퓨터로 판독가능한 기록 매체
US8174571B2 (en) Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images
JP2006033793A (ja) 追尾映像再生装置
US7388605B2 (en) Still image capturing of user-selected portions of image frames
JP4378636B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP2007135093A (ja) 映像監視システム及び方法
KR20120012399A (ko) 카메라 장치, 카메라 시스템, 제어 장치 및 프로그램
GB2525287A (en) Display controlling apparatus and displaying method
JP2018191051A (ja) 制御装置、制御方法、及びプログラム
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP4442571B2 (ja) 撮像装置及びその制御方法
US11509810B2 (en) Image capture apparatus, operation apparatus and control methods
JP2000184367A (ja) カメラ制御装置及び記録媒体
JP2005051664A (ja) 撮像装置及び撮像方法
JP2008085832A (ja) 監視カメラ、監視カメラの制御方法および監視カメラシステム
JP2014236313A (ja) 表示制御装置、表示制御システム、及び、プログラム
JP6808398B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
KR102046043B1 (ko) 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법
JP2002122792A (ja) 顕微鏡画像の横方向で経時的な解像能を整合するための方法と設備
JP7377089B2 (ja) 情報処理装置、情報処理方法
WO2023189520A1 (ja) 情報処理システム、情報処理方法、及び、プログラム
JP2008022081A (ja) 画像処理装置、情報処理装置及びそれらの制御方法、コンピュータプログラム並びに記憶媒体
JPH10276359A (ja) 追尾装置および追尾方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120710

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5041757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250