JP2010287965A - 制御装置、カメラシステム及びプログラム - Google Patents

制御装置、カメラシステム及びプログラム Download PDF

Info

Publication number
JP2010287965A
JP2010287965A JP2009138594A JP2009138594A JP2010287965A JP 2010287965 A JP2010287965 A JP 2010287965A JP 2009138594 A JP2009138594 A JP 2009138594A JP 2009138594 A JP2009138594 A JP 2009138594A JP 2010287965 A JP2010287965 A JP 2010287965A
Authority
JP
Japan
Prior art keywords
image
camera
panoramic image
control unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009138594A
Other languages
English (en)
Other versions
JP5338498B2 (ja
Inventor
Kazunori Sakaki
和則 坂木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2009138594A priority Critical patent/JP5338498B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP10786089.2A priority patent/EP2442548B1/en
Priority to KR1020117028827A priority patent/KR101662074B1/ko
Priority to CN201080024248.1A priority patent/CN102461153B/zh
Priority to EP21185805.5A priority patent/EP3923565A1/en
Priority to RU2011149201/07A priority patent/RU2528566C2/ru
Priority to KR1020167026684A priority patent/KR101782282B1/ko
Priority to PCT/JP2010/059248 priority patent/WO2010143558A1/ja
Priority to EP18166839.3A priority patent/EP3367662B1/en
Priority to BRPI1012976-6A priority patent/BRPI1012976A2/ja
Priority to US13/320,550 priority patent/US10798280B2/en
Priority to TW099117802A priority patent/TWI422218B/zh
Publication of JP2010287965A publication Critical patent/JP2010287965A/ja
Application granted granted Critical
Publication of JP5338498B2 publication Critical patent/JP5338498B2/ja
Priority to US17/009,435 priority patent/US11477375B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】パノラマ画像を用いたカメラ撮影方向の制御において、より直感的にカメラの撮像方向を制御すること。
【解決手段】カメラ端末装置200で撮像されたパノラマ画像を表示するパノラマ画像表示領域と、パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示処理部305と、パノラマ画像上で指定された位置に対応する領域をカメラ端末装置200で撮像するように制御する制御部310と、を有し、表示処理部305は、制御部310の制御によりカメラ端末装置200で撮影された画像を拡大画像表示領域に表示し、パノラマ画像は、円形のパノラマ画像である、センターサーバー300が提供される。
【選択図】図2

Description

本発明は、制御装置、カメラシステム及びプログラムに関する。
従来、例えば下記の特許文献1に記載されているように、撮像装置の撮像方向を速やかに所望の方向に移動させることを目的とした撮像システムが知られている。
特開2007−43505号公報
特許文献1に記載された技術は、長方形のパノラマ画像に基づいて撮像装置の撮像方向を移動させるよう制御するものである。しかしながら、パノラマ画像に対応する撮像対象が、長方形の場合にしか、パノラマ画像に基づいた制御が直感的にはならないという課題を生じる。
そこで、本発明は、上記課題に鑑みてなされたものであり、本発明の目的とするところは、撮像対象が長方形以外の場合にも、パノラマ画像に基づいた撮像装置の撮像方向の制御をより直感的にできる制御装置、カメラシステム及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、前記パノラマ画像は、円形のパノラマ画像である、制御装置が提供される。
また、前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成されたものであってもよい。
また、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替えるものであってもよい。
また、前記表示制御部は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示するものであってもよい。
また、前記表示制御部は、前記パノラマ画像表示領域を画面上にて、移動させることが可能であるものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を切り替える、制御装置が提供される。
また、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を、円形から長方形に切り替えるものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、前記制御装置は、前記カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、前記パノラマ画像は、円形のパノラマ画像である、カメラシステムが提供される。
また、前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成されたものであってもよい。
また、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替えるものであってもよい。
また、前記表示制御部は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示するものであってもよい。
また、前記表示制御部は、前記パノラマ画像表示領域を画面上にて、移動させることが可能であるものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、前記制御装置は、カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を切り替える、カメラシステムが提供される。
また、前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を、円形から長方形に切り替えるものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、カメラで撮像された円形のパノラマ画像を表示するパノラマ画像表示領域と、前記カメラで撮影された画像のうち前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する第1の手段、前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する第2の手段、としてコンピュータを機能させるためのプログラムが提供される。
また、前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成されたものであってもよい。
また、前記第1の手段は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替えるものであってもよい。
また、前記第1の手段は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示するものであってもよい。
また、前記第1の手段は、前記パノラマ画像表示領域を画面上にて、移動させることが可能であるものであってもよい。
本発明によれば、パノラマ画像上において、撮像装置の撮像方向の制御をより直感的にできる、制御装置、カメラシステム及びプログラムを提供することができる。
本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。 図1のシステムにおいて、カメラ端末装置とセンターサーバーの構成を詳細に示す模式図である。 カメラ端末装置200のパン動作、チルト動作を説明するための模式図である。 パノラマ画と俯瞰画の表示状態を示す模式図である。 俯瞰画信号DFを生成する処理を説明するための模式図である。 俯瞰画信号DFを生成する処理を説明するための模式図である。 俯瞰画信号DFを生成する処理を説明するための模式図である。 俯瞰画信号DFを生成する処理を説明するための模式図である。 モニターの表示画面を示す模式図である。 操作パネルによる操作を説明するための模式図である。 パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示す模式図である。 パネル“Camera”をクリックした場合に表示されるメニューを示す模式図である。 “Presetposition”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示す模式図である。 俯瞰画像の表示について説明するための模式図である。 俯瞰画像の表示について説明するための模式図である。 俯瞰画像の表示について説明するための模式図である。 俯瞰画像の表示について説明するための模式図である。 俯瞰画像の表示について説明するための模式図である。 通常のパノラマ画像の代わりに、円筒状の曲面にパノラマ画像を表示して参照画像とした例を示す模式図である。 第1のパノラマ画像の表示による効果について説明するための模式図である。 第1のパノラマ画像の表示による効果について説明するための模式図である。 第1のパノラマ画像の表示による効果について説明するための模式図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施の形態(カメラ端末装置とサーバーからなる撮像システムの例)
(1)撮像システムの構成例
(2)カメラ端末装置とセンターサーバーの構成例
(3)第1のパノラマ画像及び第2のパノラマ画像の表示動作について
(4)第1のパノラマ画像を生成する処理について
(5)GUIについて
(6)第1のパノラマ画像上での撮影方向の指定
<1.第1の実施形態>
(1)撮像システムの構成例
図1は、本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。撮像システム100は、カメラ端末装置(IPカメラ)200、センターサーバー300、クライアント400を有しており、複数のカメラ端末装置200、センターサーバー300及びクライアント400は、ネットワーク500を介して接続されている。また、ネットワーク500には、プロキシサーバー600が接続されており、プロキシサーバー600には複数のカメラ端末装置200が接続されている。また、センターサーバー300にはモニター310が接続されている。本実施形態において、カメラ端末装置200は、例えば屋内又は屋外に設置される監視カメラであって、カメラ端末装置200で取得した画像をセンターサーバー300のモニタ310に表示することで、カメラ端末装置200が設置された領域を監視できる。クライアント400は、ネットワーク500を介してカメラ端末装置200、センターサーバー300、またはプロキシサーバー600と接続される。また、クライアント400は、後述するセンターサーバ300の機能とモニタ310の機能を備えるものであっても良い。カメラ端末装置200で撮影された映像は、ネットワーク500を介してクライアント400に送られ、クライアント400の表示画面には後述するライブ映像とともに第1のパノラマ画像、第2のパノラマ画像が表示される。なお、カメラ端末装置200の例として、IPカメラをあげているが、これに限定されず、アナログカメラであってもよい。
パノラマ画像は、カメラ端末装置200で撮像可能な範囲を示している。パノラマ画像には、様々な形状があり、例えば、図4のように、円形のパノラマ画像や長方形のパノラマ画像、図19のように、円筒面上に投射したような輪っか状のパノラマ画像などがある。以下、実施形態において、第1のパノラマ画像及び第2のパノラマ画像の例として、それぞれ円形のパノラマ画像及び長方形のパノラマ画像をあげて説明する。
(2)カメラ端末装置とセンターサーバーの構成例
図2は、図1のシステムにおいて、カメラ端末装置200とセンターサーバー300の構成を詳細に示す模式図である。図2に示すカメラ端末装置200またはセンターサーバー300の各構成要素は、ハードウェア(回路など)または、CPUなどの演算処理装置とこれを機能させるためのソフトウェア(プログラム)によって構成することができる。カメラ端末装置200のカメラ部201は、撮像光学系を含み、後述する端末制御部210から供給された撮像制御信号CTaに基づいて撮像動作を行い、映像信号Dcamを生成する。また、カメラ部201は、生成した映像信号Dcamを、バス220を介して信号処理部202に供給する。なお、バス220には、メモリ部203、撮像方向制御部204、ネットワークインタフェース部206、記憶部207、端末制御部210も接続されている。
信号処理部202は、映像信号Dcamの圧縮処理を行い、得られた映像符号化信号DVをメモリ部203に記憶させる。また、カメラ部201の撮像方向を順次移動して得られた映像信号Dcamを用いて第1のパノラマ画の映像信号(以下「第1のパノラマ画信号という」DF及び第2のパノラマ画の映像信号(以下「第2のパノラマ画信号」という)DPを生成して、記憶部207に記憶させる。なお、映像信号Dcamの圧縮処理や、第1のパノラマ画信号DFまたは第2のパノラマ画信号DPの生成は、後述する端末制御部210から供給された信号処理制御信号CTbに基づいて行う。
撮像方向制御部204は、カメラ部201の撮像方向を、後述する端末制御部210から供給された方向制御信号CTcによって指示された方向に移動させるため、撮像方向を移動する際の速度や加速度の計算を行う。また、計算結果に基づきパン動作を行うための駆動信号MDpやチルト動作を行うための駆動信号MDtを生成して、撮像方向調整部205に供給する。また、撮像方向制御部204は、カメラ部201の撮像方向がいずれの方向であるかを示すカメラ位置情報信号PMを生成して、端末制御部210に供給する。
撮像方向調整部205は、カメラ部201を左右方向に移動させるパン動作モータと、カメラ部201を上下方向に移動させるチルト動作モータを有している。撮像方向調整部205は、駆動信号MDpによってパン動作モータ、駆動信号MDtによってチルト動作モータをそれぞれ駆動して、カメラ部201の撮像方向を方向制御信号CTcによって指示された方向に調整する。また、撮像方向調整部205は、動作範囲が制限されることなくエンドレスにパン動作を行うものとする。
図3は、カメラ端末装置200のパン動作、チルト動作を説明するための模式図であって、カメラ端末装置200を天井などに装着した場合を示している。ここで、図3(B)は、本実施形態に係るカメラ端末装置200のパン・チルト動作を示している。一方、図3(A)は、比較のため、一般的なカメラ端末装置のパン・チルト動作を示している。図3(A)に示すように、一般的なカメラ端末装置では、パン動作を360°のエンドレスで行い、チルト動作については、鉛直方向から水平方向までの90°の範囲で行う。これに対し、本実施形態に係るカメラ端末装置200は、パン動作を360°のエンドレスで行うとともに、チルト動作については、鉛直方向を中心として220°の範囲で行うことができる。従って、後述する手法により第1のパノラマ画の映像信号DFを生成して記憶部207に記憶することができる。後述の第1のパノラマ画像は、円形のパノラマ画像であり、円の中央付近を中心をまたいで、撮像方向を操作する場合に、本実施形態に係るカメラ端末装置200は、目的撮像方向まで最短でメカ的にも移動することができる。一方、一般的なカメラ端末装置では、円の中心をまたぐようにはカメラ撮像方位をメカ的に移動させることができない。
ネットワークインタフェース部206は、カメラ端末装置200とセンターサーバー300との間で、ネットワーク500を介して通信を行うためのインタフェースである。
端末制御部210は、撮像制御信号CTaによってカメラ部201を制御し、信号処理制御信号CTbによって信号処理部202を制御し、方向制御信号CTcによって撮像方向制御部204を制御して、撮像方向を順次移動しながら撮像を行う。そして、端末制御部210は、得られた映像信号Dcamに基づいて第1のパノラマ画信号DF及び第2のパノラマ画信号DPを生成させて記憶部207に記憶させる。
本実施形態に係る撮像システム100は、映像信号Dcamによるライブ映像と、第1のパノラマ画信号DFまたは第2のパノラマ画信号DPによる第1のパノラマ画または第2のパノラマ画を共にカメラ端末装置200からセンターサーバー300に送信し、モニター310に表示することができる。尚、本明細書において、第1のパノラマ画像及び第2のパノラマ画像を参照画像と称する場合がある。図4は、第2のパノラマ画と第1のパノラマ画の表示状態を示す模式図である。センターサーバー300は、ユーザの選択に応じて、第1のパノラマ画または第2のパノラマ画の一方をモニター310にライブ映像とともに表示することができる。また、センターサーバー300は、第1のパノラマ画及び第2のパノラマ画の双方をライブ映像とともに表示するように構成されていても良い。なお、図4の右図では、中央付近の画像が欠けた円形のパノラマ画像を第1のパノラマ画像としているが、これに限定されず、中央付近の画像が欠けていない円形のパノラマ画像を第1のパノラマ画像としてもよい。
カメラ端末装置200は、天井などに設置され、カメラ端末装置200の下方向の画像を表示する。このため、図4に示すように、第1のパノラマ画は、カメラ端末装置200から下向きに延在する鉛直線を中心として、パン360°、チルト220°の範囲で取得され、その輪郭は円形となる。
また、撮像方向調整部205は、上述のようにエンドレスにパン動作を行うことができるように構成されている。したがって、記憶部207に記憶する第2のパノラマ画像は、例えば図4に示すように、画像が重複しないように、一方の端部が基準方向から「+180°」の角度差、他方の端部が基準方向から「−180°」の角度差を有するものとする。また、パン動作の動作範囲が制限されないので、例えば動作範囲が制限されている場合のように、動作範囲の中央位置を基準方向とすることができない。したがって、基準方向を予め設定しておき、この基準方向が第2のパノラマ画像の中央位置となるように第2のパノラマ画信号DPを生成する。また、撮像方向制御部204は、カメラ位置情報信号PMとして、予め設定された基準方向に対する撮像方向の例えば角度差を示す信号を生成する。
このように基準方向を予め設定しておくものとすれば、第2のパノラマ画像がいずれの方向を基準とした撮像動作によって生成された画像であるかを判別する必要がない。また、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとすれば、第2のパノラマ画像上におけるカメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。
チルト動作においても、予め基準方向を設定しておき、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとする。これにより、第1のパノラマ画像、第2のパノラマ画像の双方において、カメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。なお、チルト動作については、カメラ端末装置200が天井に設置されている場合、鉛直方向を基準方向とすることができる。
端末制御部210は、ネットワークインタフェース部206を介してセンターサーバー300から供給されたコマンド信号CMを解析して、撮像制御信号CTaや信号処理制御信号CTb,方向制御信号CTcの生成を行う。また、メモリ部203に記憶されている映像符号化信号DVや、記憶部207に記憶されている第1のパノラマ画信号DF、第2のパノラマ画信号DP、および撮像方向制御部204から供給されたカメラ位置情報信号PMをセンターサーバー300に送出する処理等を行う。
センターサーバー300のネットワークインタフェース部301は、カメラ端末装置200とセンターサーバー300とで、ネットワーク500を介して通信を行うためのインタフェースである。ネットワークインタフェース部301は、カメラ端末装置200から供給された映像符号化信号DVを伸長処理部302に供給する。また、ネットワークインタフェース部301は、カメラ位置情報信号PMを位置判別処理部303に供給し、第1のパノラマ画信号DF及び第2のパノラマ画信号DPを画像処理部304に供給する。
伸長処理部302は、映像符号化信号DVの伸長処理を行い、得られた映像信号Dcamを表示処理部305に供給する。
位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向が第1のパノラマ画像または第2のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPを画像処理部304に供給する。ここで、カメラ位置情報信号PMは、上述のように予め設定した基準方向がパン動作、チルト動作の中央位置となるように第1のパノラマ画信号DFまたは第2のパノラマ画信号DPを生成し、カメラ位置情報信号PMは基準方向と現在の撮像方向の角度差を示すものとすれば、カメラ位置情報信号PMに基づき、現在の撮像方向が俯瞰画像または第2のパノラマ画像のいずれの位置に対応するか容易に判別できる。
画像処理部304は、位置判別結果KPに基づいて画像処理を行い、第1のパノラマ画像の第1のパノラマ画信号DFC、及び第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。第2のパノラマ画信号DPCについては、位置判別結果KPにより判別された位置が中央位置とされた第2のパノラマ画信号DPCを生成することができる。この場合、画像処理部304では、判別された位置と第2のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第2のパノラマ画像を処理する。すなわち、判別された位置を中央位置として「±180°」の第2のパノラマ画像表示画枠を設定して、第2のパノラマ画像表示画枠から外れる差分量分の領域の第2のパノラマ画像を、画像の無い領域に貼り付けることで、判別された位置を中央位置とした第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。第1のパノラマ画信号DFCの場合においても、後述する「第1のパノラマ画像を回転させるモード」の場合は、第2のパノラマ画信号DPCと同様に、判別された位置と第1のパノラマ画のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の上に位置するように第1のパノラマ画像を処理する。また、画像処理部304は、第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCのそれぞれにおいて、位置判別結果KPに基づく位置(カメラ部201の撮像光学系の光軸が向いている位置)を表示する。さらに、画像処理部304は、画像処理を行うことにより生成した第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCを表示処理部305に供給する。
表示処理部305は、伸長処理部302から供給された映像信号Dcamや、画像処理部304から供給された第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCを用いて表示駆動信号HDを生成してモニター310に供給する。また、表示処理部305は、後述する制御部310から供給されたGUI表示制御信号CTgに基づいて生成したGUI用映像信号を用いて、表示駆動信号HDを生成してモニター310に供給する。
モニター310は、表示駆動信号HDに基づいて、表示素子例えば液晶表示素子やプラズマ表示素子あるいは陰極線管等を駆動して、第1のパノラマ画像、撮像方向を中央位置とした第2のパノラマ画像やカメラ部201の撮像画像(ライブ映像)、GUI画像等を画面上に表示する。
ユーザインタフェース部315は、GUIが用いられており、モニター310を用いてユーザに対する情報の提示を行い、提示された情報に基づき操作入力手段であるポインティングデバイスやキーボード等でユーザ操作が行われたとき、ユーザ操作に応じた操作信号USを制御部310に供給して所望の動作等を行わせる。
制御部310は、操作信号USとモニター310の表示状態に基づき、ユーザがどのような処理の選択やどのような処理の実行を要求したか判別して、判別結果に基づき制御信号CTmを生成して各部に供給し、センターサーバー300の動作を制御する。また、判別結果に基づきコマンド信号CMを生成して、ネットワークインタフェース部301を介してカメラ端末装置200に供給し、カメラ端末装置20の動作を制御する。さらに、制御部310は、GUI表示制御信号CTgを生成して表示処理部305に供給する。
なお、上述した例では、カメラ端末装置200が映像信号Dcamから第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成したが、センターサーバー300またはクライアント400が第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成しても良い。この場合、カメラ端末装置200のネットワークインタフェース部206は、カメラブロック201から出力された映像信号Dcamをセンターサーバー300またはクライアント400へ送る。センターサーバー300またはクライアント400は、カメラ端末装置200と同様の信号処理部を備えることで、第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成することができる。第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPは、センターサーバー300またはクライアント400が備えるハードディスク等のメモリに記憶される。
(3)第1のパノラマ画像及び第2のパノラマ画像の表示動作について
次に、第1のパノラマ画像及び第2のパノラマ画像表示動作について説明する。制御部310は、動作開始時に、カメラ端末装置200に対して、第1のパノラマ画信号DF及び第2のパノラマ画信号DPとカメラ位置情報信号PMおよび映像符号化信号DVを要求するコマンド信号CMを送信する。カメラ端末装置200は、記憶部207に第1のパノラマ画信号DF、第2のパノラマ画信号DPを記憶しているとき、この第1のパノラマ画信号DF、第2のパノラマ画信号DPを読み出してセンターサーバー300に送信する。また、カメラ端末装置200は、画記憶部207に第1のパノラマ画信号DFまたは第2のパノラマ画信号DPが記憶されていないとき、カメラ部201や信号処理部202および撮像方向制御部204を制御して、撮像方向を移動しながら撮像動作を行い、第1のパノラマ画信号DF及び第2のパノラマ画信号DPを生成してセンターサーバー300に送信する。なお、カメラ端末装置200は、生成した第1のパノラマ画信号DF及び第2のパノラマ画信号DPは、記憶部207に記憶させる。
カメラ端末装置200は、撮像方向制御部204で生成したカメラ位置情報信号PMをセンターサーバー300に供給する。また、カメラ端末装置200は、カメラ部201の撮像動作を開始して、得られた映像信号Dcamを信号処理部202で圧縮し映像符号化信号DVをメモリ部203に記憶させる。さらに、メモリ部203に記憶されている映像符号化信号DVをセンターサーバー300に供給する。なお、図1に示すように、カメラ端末装置200とネットワーク500とがプロキシサーバ600を介して接続されている場合、カメラ端末装置200とセンターサーバー300との間の情報のやり取りは、プロキシサーバ600を経由して行われる。
センターサーバー300の位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向が第1のパノラマ画像または第2のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPを画像処理部304に供給する。第2のパノラマ画を例に挙げると、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、撮像方向は基準方向に設定されていることから、撮像方向の位置は第2のパノラマ画像の中央位置となっている。
画像処理部304は、位置判別結果KPに基づいて画像処理を行う。ここで、位置判別結果KPによって、撮像方向の位置が第2のパノラマ画像の中央位置であることが示されたときは、撮像方向の画像が第2のパノラマ画像の中央となっていることから、第2のパノラマ画像処理を行うことなく、第2のパノラマ画信号DPを第2のパノラマ画信号DPCとして表示処理部305に供給する。一方、撮像方向の位置が第2のパノラマ画像の中央位置でない場合は、判別された撮像方向の位置と第2のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第2のパノラマ画像を処理し、第2のパノラマ画信号DPCを生成する。
このため、第2のパノラマ画像においては、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、表示処理部305からの表示駆動信号HDによって駆動されるモニター310の画面上には、カメラ部201で撮影された撮像画像と、基準方向が中央位置とされている第2のパノラマ画像、およびGUIに関する画像が表示される。
第1のパノラマ画像の場合、後述する「第1のパノラマ画像を回転させるモード」の場合は、第2のパノラマ画信号DPCと同様に、判別された位置と第1のパノラマ画像のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の下(後述する直線L上)に位置するように第1のパノラマ画像を回転させ、第1のパノラマ画信号DFCを生成する。また、画像処理部304は、第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCのそれぞれにおいて、位置判別結果KPに基づく撮像方向の位置(カメラ部201の撮像光学系の光軸が向いている位置)を表示する。
伸長処理部302は、映像符号化信号DVを伸長して、得られた映像信号Dcamを表示処理部305に供給する。また、制御部310は、GUI表示を行うためのGUI表示制御信号CTgを表示処理部305に供給する。
(4)第1のパノラマ画像を生成する処理について
次に、第1のパノラマ画信号DFを生成する処理について、図5〜図8に基づいて説明する。第1のパノラマ画像信号DFを生成する際には、第1のパノラマ画像の領域毎に画像を取得する。先ず、図5に示すように、カメラ端末装置200のズームを固定して、ある任意の間隔でパン、チルトを行い、静止画を取得する。図5中に示す数字は、画像取得の順番を示している。
次に、以下の[1]〜[3]の手順により、静止画像座標系の座標変換を行う。ここでは、図6に示すように、静止画像の各点を、カメラ端末装置200の回転中心から見た相対位置(x,y,z)に変換する。
[1] 水平画角thh[degree]、アスペクト比aのカメラの視点を原点に置き、-z方向に向ける。距離Lの位置に被写体平面(x, y, -L)を考えると、見える範囲は 2Lx × 2Ly の長方形になる。ここで、Lx=L・tan(thh/2)、Ly=Lx/aの関係が成立する。
[2] カメラの姿勢は本来(x, y,
z, p, q, r)であるが、視点の位置が原点に固定されていると考えると、x=y=z=0であり、ここでは(p, q, r) (p: Pan(y軸回転), q: Tilt(x軸回転), r: roll(z軸回転))のみを考える。
[3] (2Lx)×(2Ly)の長方形内の点(j, i)を用いると下記の式が成り立つ。
x=Lx × (j-Lx)/Lx
y = Ly × (i - Ly) / Ly
z = -L
[4] (x, y, z)を用いて以下のRoll変換、Tilt変換、Pan変換式を適用する。
Figure 2010287965
ここで得られた(x3,y3,z3)が、静止画像のある点(x,y,z)をカメラの回転中心から見た座標系で表した値となる。
次に、相対位置を緯度、経度に変換する。ここでは、図7に示すように、上記で得られた(x3,y3,z3)を緯度、経度に変換する。(x3, y3, z3)の方向が-zの方向に対して水平方向となす角度が経度であり、またx-z平面となす角度が緯度になり、以下の式で求めることができる。
・緯度(Latitude)
La = tan-1
( y3 / ::sqrt( x3 * x3 + z3 * z3))
・経度(Lo)
0.0 < z3のとき
0.0 < x3の場合 Lo = 90.0 + La
0.0≧x3の場合 Lo = -90.0 - La
0.0 ≧ z3のとき
Lo =
tan-1( x3 / z3) / RAD
ただし、
RAD = π/ 180 (π:円周率)
次に、第1のパノラマ画像への変換を行う。ここでは、図8に示すように、得られた緯度、経度(La,Lo)を、緯度を半径の軸、経度を円周方向の座標系で表す。
以上のようにして、第1のパノラマ画信号DFを生成することができる。
(5)GUIについて
次に、GUIについて説明する。図9は、モニター310の表示画面を示す模式図である。図9では、通常の画面と全画面表示の双方を示しており、いずれの場合においても、画面左側に操作パネル(コントロールパネル)が表示され、画面右側にライブ映像が表示されている。操作パネルの“Screen Mode”を“Full”にすると全画面表示となる。
図10は、操作パネルによる操作を説明するための模式図である。操作パネル内は機能毎のパネルとなっており、各パネルを折り畳んで格納することができる。パネルの分類は以下の通りである。
・View
表示に関する設定
・Camera control
カメラ操作に関する設定
・Panorama
パノラマ表示
・Preset position
プリセットに関する設定
・Trigger
トリガーに関する設定
・Other
その他の設定
各パネルをクリックすると、そのパネルが開くように構成されている。図10(A)は、“View”をクリックした状態を示しており、“View”欄の下にメニューが表示される。一方、図10(B)は、“Camera control”をクリックした状態を示しており、“Camera control”欄の下にメニューが表示される。また、図10(C)はパネル“Camera control”をドラッグした状態を示しており、ドラッグすることによりパネル“Camera control”をフローティングウィンドウにすることができる。
図11は、パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示している。“Screen Mode”メニューでは、表示モードをノーマルとフルスクリーンに変更できる。“View Size”では、画像の1/4,1/2,等倍,Fitモードを指定できる。Fitモードは現在の表示エリアの大きさに合わせて画像を表示する。“Image Codec” メニューでは、Codecの変更を行うことができる。“Frame Rate”メニューでは、JPEGのフレームレートを変更することができる。動画保存ボタンは動画の保存に、静止画保存ボタンは静止画の保存のために用いる。その他、マイクボリュームスライダー、マイクミュートオン/オフボタン、音声ボリュームスライダー、音声ミュートオン/オフボタン等が設けられている。
図12は、パネル“Camera”をクリックした場合に表示されるメニューを示している。“Operation Mode”メニューでは、画像上での操作モード切替を行うことができる。パン、チルト制御ボタンでは、矢印方向のボタンを操作することにより、パン、チルト方向を指定することができる。パン、チルト制御ボタンの真中に位置するボタンは、ホームポジションボタンである。ズームボタンは、カメラ端末装置200のズームを指定するボタンであって、光学ズームとデジタルズームの境界が分かるように構成されている。ズームボタンの「W」、「T」を押し続けるとズーム操作が継続して行われる。また、フォーカスボタンは、フォーカスを「遠距離」、「近距離」に設定するために用いられる。その他、ONE PUSH AUTO FOCUSボタン、排他制御の制御権獲得ボタン等の各種ボタンが設けられている。
図13は、“Preset position”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示している。“Preset
position”は、予め定められた複数の撮影方向の画像をサムネイル表示したもので、サムネイル画像の1つをクリックして選択することにより、カメラ端末装置200を選択したサムネイル画像の方向に向けることができる。
(6)第1のパノラマ画像上での撮影方向の指定
次に、図14〜図18に基づいて、第1のパノラマ画像の表示について説明する。図14は、モニター310の表示画面において、操作パネルの“Preset position”をクリックして第1のパノラマ画像を表示した状態を示す模式図である。なお、操作パネルの右側にはライブ映像が表示されている。上述したように、“Preset position”欄をドラッグして移動することにより、図15に示すように、第1のパノラマ画像が表示されたサブパネルを操作パネルの外に配置することができる。また、第1のパノラマ画像が表示されたサブパネルは表示画面内で移動することができる。
図16は、第1のパノラマ画像が表示されたサブパネルを詳細に示す模式図である。第1のパノラマ画像には、右側のライブ映像で表示されている画像の方向(カメラ端末装置200の撮像光学系の光軸の向き)が、+印によって示されている。また、図16に示すように、第1のパノラマ画像の右上のパノラマ切替釦をクリックすることにより、第1のパノラマ画像を第2のパノラマ画像に切換えることができる。
図17は、第1のパノラマ画像を用いてライブ映像の方向を変更する操作を示している。カメラ端末装置200のパン・チルト方向を変更する場合、上述したパン、チルト制御ボタンによって行うことができるが、第1のパノラマ画像中の任意の点を指定することによっても行うことができる。図17の状態では、+印の方向にカメラ端末装置200の撮像光学系の光軸が向けられ、その方向のライブ映像が表示されている。この状態で図17の第1のパノラマ画像に示す●印の部分をクリックすると、ユーザ操作に応じた操作信号USが制御部310に送られて、これに基づいてカメラ端末装置200の撮像方向制御部204が制御されることにより、●印の方向にカメラ端末装置200の撮像光学系の光軸が向けられる。従って、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わる。
これにより、ユーザは、第1のパノラマ画像中の任意の点を指定することにより、カメラ端末装置200のパン・チルト方向を指定することができる。第1のパノラマ画像には、カメラ端末装置200が撮影可能なパン・チルト方向の映像が全て含まれていることから、ユーザは、第1のパノラマ画像上でカメラ端末装置200の方向を指定することで、所望の方向のライブ映像を表示することができる。なお、クリックする位置を示す+印の代わりに、所定範囲を囲む枠で領域指定して光軸の向きを制御するようにしても良い。
第1のパノラマ画像上でカメラ端末装置200の方向を指定した場合に、第1のパノラマ画像の表示状態は変わらずにライブ映像のみが切り換わるモードと、第1のパノラマ画像が回転するモードがある。第1のパノラマ画像が回転するモードでは、図18に示すように、現在ライブ映像が表示されている位置(+印)は第1のパノラマ画像の中心から上方に向かう直線L上に位置するように第1のパノラマ画像の角度位置が設定される。次に第1のパノラマ画像上で●印をクリックすると、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わり、同時に第1のパノラマ画像において●印の位置が直線L上に位置するように第1のパノラマ画像が回転する。従って、ユーザは、第1のパノラマ画像を見ることで、ライブ映像の方向が第1のパノラマ画像の直線L上であることを即座に認識することができる。
第2のパノラマ画像においても同様に、ユーザは、第2のパノラマ画像中の任意の点を指定することにより、カメラ端末装置200のパン方向を指定することができ、これに基づいてライブ映像の方向を切換えることができる。
図19は、図4に示したようなパノラマ画像の代わりに、円筒状の曲面にパノラマ画像を表示して参照画像とした例を示している。このように、+180°から−180°の範囲で表示される長方形のパノラマ画像を円筒面上に表示するようにしても良い。これにより、ユーザによる視認性を高めることができ、所望の方向の映像を表示させることができる。図19の場合においても、ユーザは、曲面上の「表示指定点」を指定することにより、カメラ端末装置200のパン方向を指定することができ、これに基づいてライブ映像の方向を切換えることができる。なお、撮影方向の指定を含む上記処理は、GUI表示制御信号CTgに基づいて、表示処理部305により行われる。
(7)第1のパノラマ画像を表示したことによる効果
次に、図20〜図22に基づいて、第1のパノラマ画像の表示による効果について説明する。図20は、床面上に「金庫」と「テーブル」が配置され、「金庫」と「テーブル」の中間位置(点O)の直上にカメラ端末装置200が設置された様子を示している。そして、カメラ端末装置200のライブ映像により「金庫」に近づく不審者を監視できるものとする。
図21は、図20の状態において、第1のパノラマ画像をライブ映像とともにモニタ310に表示した状態(図21(A))と、第2のパノラマ画像をライブ映像とともにモニタ310に表示した状態(図21(B))を模式的に示している。既に説明したように、第1のパノラマ画像または第2のパノラマ画像上の任意の位置をクリックすると、カメラ端末装置200の光軸の向きをクリックした位置に変更することができ、ライブ映像の撮影方向を変更することができる。
図21(B)に示すように、第2のパノラマ画像の場合、カメラ端末装置200の真下、すなわち、「金庫」と「テーブル」の中間の位置では、画像が歪んでいるため、クリックした位置に光軸の向きを変更したとしても、光軸の向きは実際の「金庫」と「テーブル」の中間位置(図20に示す点O)の位置とはならない。つまり、「金庫」と「テーブル」の中心の周辺を見たい場合に、第2のパノラマ画像(長方形パノラマ画像)上で操作すると、本来ユーザが見たい箇所から外れた映像となってしまい、直感的な制御ができない。このため、図21(B)に示すように、ライブ映像の下辺から「金庫」と「テーブル」の映像が表示画面からはみ出してしまう事態が生じる。
一方、図21(A)に示すように、俯瞰した状態で画像が表示されることから、「金庫」と「テーブル」の中間位置(図20に示す点O)を直感的にクリックすることができる。また、第1のパノラマ画像の場合は、点O付近の映像の歪みが比較的少ないため、光軸の向きは正確に点Oの位置を向く。従って、ライブ映像においても、「金庫」と「テーブル」の映像が表示画面からはみ出してしまうことはない。
また、図22は、図20及び図21の場合において、ライブ映像中に「金庫」の近辺を不審者が移動している様子と、第1のパノラマ画像及び第2のパノラマ画像を示している。ライブ映像中で「金庫」の近辺を不審者が移動している場合、不審者を追跡するためには、不審者の動きに合わせてカメラ端末装置200の光軸の向きを変えていく必要がある。
このような場合において、第2のパノラマ画像の場合、「金庫」と「テーブル」の中間の位置では画像が歪んでいるため、画像の真下で移動方向を換えるようにクリック位置を意図的に操作する必要が生じる。
一方、第1のパノラマ画像の場合、「金庫」と「テーブル」の中間の位置での画像の歪みが少ないため、ライブ映像を見ながら、不審者の移動に合わせて直感的にクリックをしていくことで、不審者の移動に合わせて光軸の向きを移動させることができる。
なお、カメラ端末装置200の直下ではなく、周辺付近を見たい場合には、第2のパノラマ画像の方が、歪みが少なく、第1のパノラマ画像よりもより直感的な制御が可能となる。本実施形態では、状況に応じて第1のパノラマ画像と第2のパノラマ画像を切換えることが可能なため、場面に応じて、ユーザの使い易さを向上させることが可能である。また、表示画面内にスペースがあれば、第1のパノラマ画像と第2のパノラマ画像を両方表示することで、切り替え操作が不要となり、使い易さを向上させることが可能である。
以上の実施の形態では、長方形のパノラマ画像において、撮像方向を中央位置になるように制御していたが、これに限らず、撮像方向を変えてもパノラマ画像を回転させず固定としたままでもよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
100 撮像システム
200 カメラ端末装置
300 センターサーバー
301 ネットワークインターフェース部
305 表示処理部
310 制御部
500 ネットワーク
700 撮像装置
701 記憶部
704 画像処理部
705 表示処理部
710 制御部

Claims (19)

  1. カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
    前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、
    前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
    前記パノラマ画像は、円形のパノラマ画像である、制御装置。
  2. 前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成された、請求項1に記載の制御装置。
  3. 前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替える、請求項1に記載の制御装置。
  4. 前記表示制御部は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示する、請求項1に記載の制御装置。
  5. 前記表示制御部は、前記パノラマ画像表示領域を画面上にて、移動させることが可能である、請求項1に記載の制御装置。
  6. カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画
    像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
    前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、
    前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
    前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を切り替える、制御装置。
  7. 前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を、円形から長方形に切り替える、請求項6に記載の制御装置。
  8. 画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、
    前記制御装置は、
    前記カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
    前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、
    前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
    前記パノラマ画像は、円形のパノラマ画像である、カメラシステム。
  9. 前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成された、請求項8に記載のカメラシステム。
  10. 前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替える、請求項8に記載のカメラシステム。
  11. 前記表示制御部は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示する、請求項8に記載のカメラシステム。
  12. 前記表示制御部は、前記パノラマ画像表示領域を画面上にて、移動させることが可能である、請求項8に記載のカメラシステム。
  13. 画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、
    前記制御装置は、
    カメラで撮像されたパノラマ画像を表示するパノラマ画像表示領域と、前記パノラマ画
    像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
    前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するカメラ制御部と、を有し、
    前記表示制御部は、前記カメラ制御部の制御により前記カメラで撮影された画像を前記拡大画像表示領域に表示し、
    前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を切り替える、カメラシステム。
  14. 前記表示制御部は、パノラマ画像切替操作に応じて、前記パノラマ画像の形状を、円形から長方形に切り替える、請求項13に記載のカメラシステム。
  15. カメラで撮像された円形のパノラマ画像を表示するパノラマ画像表示領域と、前記カメラで撮影された画像のうち前記パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を一画面上で表示するように制御する第1の手段、
    前記パノラマ画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する第2の手段、
    としてコンピュータを機能させるためのプログラム。
  16. 前記円形のパノラマ画像は、前記カメラで複数回撮影された画像に基づいて生成された、請求項15に記載のプログラム。
  17. 前記第1の手段は、パノラマ画像切替操作に応じて、前記パノラマ画像表示領域に表示するパノラマ画像を円形のパノラマ画像から長方形のパノラマ画像に切り替える、請求項15に記載のプログラム。
  18. 前記第1の手段は、前記パノラマ画像表示領域に、円形のパノラマ画像及び長方形のパノラマ画像を表示する、請求項15に記載のプログラム。
  19. 前記第1の手段は、前記パノラマ画像表示領域を画面上にて、移動させることが可能である、請求項15に記載のプログラム。
JP2009138594A 2009-06-09 2009-06-09 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム Expired - Fee Related JP5338498B2 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
JP2009138594A JP5338498B2 (ja) 2009-06-09 2009-06-09 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
US13/320,550 US10798280B2 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
CN201080024248.1A CN102461153B (zh) 2009-06-09 2010-06-01 控制装置和相机系统
EP21185805.5A EP3923565A1 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
RU2011149201/07A RU2528566C2 (ru) 2009-06-09 2010-06-01 Устройство управления, система камеры и программа
KR1020167026684A KR101782282B1 (ko) 2009-06-09 2010-06-01 제어 장치, 카메라 시스템 및 카메라 제어를 행하는 제어 방법
EP10786089.2A EP2442548B1 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
EP18166839.3A EP3367662B1 (en) 2009-06-09 2010-06-01 Control device, camera system, and program
BRPI1012976-6A BRPI1012976A2 (ja) 2009-06-09 2010-06-01 A control device, a camera system, and a program
KR1020117028827A KR101662074B1 (ko) 2009-06-09 2010-06-01 제어 장치, 카메라 시스템 및 기록 매체
PCT/JP2010/059248 WO2010143558A1 (ja) 2009-06-09 2010-06-01 制御装置、カメラシステム及びプログラム
TW099117802A TWI422218B (zh) 2009-06-09 2010-06-02 Control devices, camera systems and programs for monitoring camera systems
US17/009,435 US11477375B2 (en) 2009-06-09 2020-09-01 Control device, camera system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009138594A JP5338498B2 (ja) 2009-06-09 2009-06-09 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013089795A Division JP5464290B2 (ja) 2013-04-22 2013-04-22 制御装置、制御方法、及びカメラシステム

Publications (2)

Publication Number Publication Date
JP2010287965A true JP2010287965A (ja) 2010-12-24
JP5338498B2 JP5338498B2 (ja) 2013-11-13

Family

ID=43308813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009138594A Expired - Fee Related JP5338498B2 (ja) 2009-06-09 2009-06-09 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム

Country Status (9)

Country Link
US (2) US10798280B2 (ja)
EP (3) EP3923565A1 (ja)
JP (1) JP5338498B2 (ja)
KR (2) KR101782282B1 (ja)
CN (1) CN102461153B (ja)
BR (1) BRPI1012976A2 (ja)
RU (1) RU2528566C2 (ja)
TW (1) TWI422218B (ja)
WO (1) WO2010143558A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013065971A (ja) * 2011-09-15 2013-04-11 Canon Inc 撮像装置、撮像装置の制御方法
JP2017017446A (ja) * 2015-06-29 2017-01-19 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
JP2019204560A (ja) * 2019-09-05 2019-11-28 株式会社リコー プログラム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6186775B2 (ja) 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
CN103731630B (zh) * 2012-10-16 2019-01-11 华为技术有限公司 一种视频监控方法、设备和系统
NO334902B1 (no) * 2012-12-07 2014-07-07 Kongsberg Defence & Aerospace As System og fremgangsmåte for overvåking av minst ett observasjonsområde
KR20150068299A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
JP6071866B2 (ja) 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
MX357098B (es) * 2014-06-16 2018-06-26 Braeburn Systems Llc Realce luminoso para programar un control.
JP2016033620A (ja) * 2014-07-31 2016-03-10 キヤノン株式会社 画像取得装置
US10033924B2 (en) 2014-10-10 2018-07-24 Iec Infrared Systems, Llc Panoramic view imaging system
TWI578781B (zh) * 2014-10-21 2017-04-11 群暉科技股份有限公司 藉助於全景地圖來管理一監視系統之方法與裝置
JP6504793B2 (ja) * 2014-11-14 2019-04-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11856297B1 (en) * 2014-12-31 2023-12-26 Gn Audio A/S Cylindrical panorama hardware
CN107438152B (zh) * 2016-05-25 2023-04-07 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉方法及系统
WO2017205642A1 (en) * 2016-05-25 2017-11-30 Livit Media Inc. Methods and systems for live sharing 360-degree video streams on a mobile device
JP6786378B2 (ja) * 2016-12-26 2020-11-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6938237B2 (ja) * 2017-06-21 2021-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6482696B2 (ja) * 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
CN107682621A (zh) * 2017-09-06 2018-02-09 深圳天珑无线科技有限公司 旋转拍照方法、装置、移动终端及计算机可读存储介质
CN109001208A (zh) * 2018-05-28 2018-12-14 南京中电熊猫平板显示科技有限公司 一种显示面板的缺陷定位装置及缺陷定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189180A (ja) * 1992-12-21 1994-07-08 Tsuneaki Hibi パノラマ撮影装置
JP2001148850A (ja) * 1999-11-18 2001-05-29 Canon Inc 映像処理装置、映像処理方法、映像配信システム、記憶媒体
JP2002034032A (ja) * 2000-07-13 2002-01-31 Asahi Optical Co Ltd 監視カメラシステム用コントローラ
JP2007043505A (ja) * 2005-08-03 2007-02-15 Sony Corp 撮像システムとカメラ制御装置およびパノラマ画像生成方法とプログラム
JP2008028778A (ja) * 2006-07-21 2008-02-07 Sony Corp 画像処理装置、画像処理方法及びそのプログラム
JP2008301191A (ja) * 2007-05-31 2008-12-11 Victor Co Of Japan Ltd 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US6020931A (en) * 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
US6529234B2 (en) * 1996-10-15 2003-03-04 Canon Kabushiki Kaisha Camera control system, camera server, camera client, control method, and storage medium
US7092012B2 (en) * 1996-11-15 2006-08-15 Canon Kabushiki Kaisha Image processing apparatus and method, storage medium, and communication system
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6552744B2 (en) * 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6977676B1 (en) * 1998-07-08 2005-12-20 Canon Kabushiki Kaisha Camera control system
JP2000152168A (ja) * 1998-11-13 2000-05-30 Olympus Optical Co Ltd 画像再生装置
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6769131B1 (en) 1999-11-18 2004-07-27 Canon Kabushiki Kaisha Image processing apparatus and method, image distribution system and storage medium
JP2002200210A (ja) * 2000-12-28 2002-07-16 Asobous:Kk 野球におけるスコアメイカーシステムと、自動編集システムと、動作分析システムよりなる情報処理の方法
US7134093B2 (en) * 2001-04-18 2006-11-07 International Business Machines Corporation Graphical user interface for direct control of display of data
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
US7940299B2 (en) * 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
JP4010444B2 (ja) * 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
JP4100934B2 (ja) * 2002-02-28 2008-06-11 シャープ株式会社 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム
US8599266B2 (en) * 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images
US6839067B2 (en) * 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040254982A1 (en) * 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7746404B2 (en) * 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
JP2005148265A (ja) 2003-11-13 2005-06-09 Sony Corp カメラ装置
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7746376B2 (en) * 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US20060028550A1 (en) * 2004-08-06 2006-02-09 Palmer Robert G Jr Surveillance system and method
JP2006211105A (ja) 2005-01-26 2006-08-10 Konica Minolta Holdings Inc 画像生成装置およびシステム
EP1851948A1 (fr) * 2005-02-09 2007-11-07 Previsite Procede de realisation en masse de visites virtuelles interactives pour diffusion multimedia, ainsi que systeme de misse en oeuvre
AU2005200888B2 (en) * 2005-02-28 2009-01-08 Canon Kabushiki Kaisha Visualising camera position in recorded video
KR100715026B1 (ko) * 2005-05-26 2007-05-09 한국과학기술원 단일카메라 전방향 양안시 영상 획득 장치
DE102006003524A1 (de) * 2006-01-24 2007-07-26 Oerlikon Contraves Ag Panorama-Sicht-System insbesondere in Kampfahrzeugen
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
KR100765209B1 (ko) * 2006-03-23 2007-10-09 삼성전자주식회사 전방향 스테레오 카메라 및 그 제어 방법
EP2005749A2 (en) * 2006-04-05 2008-12-24 Graco Children's Products Inc. Video baby monitor system
US20080049099A1 (en) * 2006-08-25 2008-02-28 Imay Software Co., Ltd. Entire-view video image process system and method thereof
US20080062250A1 (en) * 2006-09-13 2008-03-13 X10 Wireless Technologies, Inc. Panoramic worldview network camera with instant reply and snapshot of past events
US20080111831A1 (en) * 2006-11-15 2008-05-15 Jay Son Efficient Panoramic Image Generation
JP4931055B2 (ja) * 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
ES2370032T3 (es) * 2006-12-20 2011-12-12 Axis Ab Detección de la manipulación indebida de una cámara.
US7768545B2 (en) * 2007-03-06 2010-08-03 Otto Gregory Glatt Panoramic image management system and method
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
US20090073254A1 (en) * 2007-09-17 2009-03-19 Hui Li Omnidirectional imaging system with concurrent zoom
KR101467870B1 (ko) 2008-04-10 2014-12-02 삼성전자주식회사 디지털 영상 촬영 장치, 그 제어방법 및 이를 실행시키기위한 프로그램을 저장한 기록매체
US20090290024A1 (en) * 2008-05-21 2009-11-26 Larson Bradley R Providing live event media content to spectators
RU2008139232A (ru) * 2008-10-03 2010-04-10 Закрытое акционерное общество "ГОЛЛАРД" (RU) Система и способ видеомониторинга
RU83675U1 (ru) * 2008-10-03 2009-06-10 Закрытое Акционерное Общество "Голлард" Система видеомониторинга
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP2011239149A (ja) 2010-05-10 2011-11-24 Sony Corp 制御装置、カメラシステム及びプログラム
JP2011239150A (ja) 2010-05-10 2011-11-24 Sony Corp 制御装置、カメラシステム及びプログラム
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
JP5569329B2 (ja) * 2010-10-15 2014-08-13 大日本印刷株式会社 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189180A (ja) * 1992-12-21 1994-07-08 Tsuneaki Hibi パノラマ撮影装置
JP2001148850A (ja) * 1999-11-18 2001-05-29 Canon Inc 映像処理装置、映像処理方法、映像配信システム、記憶媒体
JP2002034032A (ja) * 2000-07-13 2002-01-31 Asahi Optical Co Ltd 監視カメラシステム用コントローラ
JP2007043505A (ja) * 2005-08-03 2007-02-15 Sony Corp 撮像システムとカメラ制御装置およびパノラマ画像生成方法とプログラム
JP2008028778A (ja) * 2006-07-21 2008-02-07 Sony Corp 画像処理装置、画像処理方法及びそのプログラム
JP2008301191A (ja) * 2007-05-31 2008-12-11 Victor Co Of Japan Ltd 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013065971A (ja) * 2011-09-15 2013-04-11 Canon Inc 撮像装置、撮像装置の制御方法
JP2017017446A (ja) * 2015-06-29 2017-01-19 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
JP2019204560A (ja) * 2019-09-05 2019-11-28 株式会社リコー プログラム

Also Published As

Publication number Publication date
EP2442548A1 (en) 2012-04-18
US20200404176A1 (en) 2020-12-24
EP2442548A4 (en) 2012-11-28
US20120062695A1 (en) 2012-03-15
TWI422218B (zh) 2014-01-01
KR20120030403A (ko) 2012-03-28
KR101662074B1 (ko) 2016-10-05
RU2528566C2 (ru) 2014-09-20
KR20160116044A (ko) 2016-10-06
RU2011149201A (ru) 2013-06-10
CN102461153A (zh) 2012-05-16
KR101782282B1 (ko) 2017-09-26
EP3367662B1 (en) 2021-12-29
CN102461153B (zh) 2015-02-25
US11477375B2 (en) 2022-10-18
WO2010143558A1 (ja) 2010-12-16
JP5338498B2 (ja) 2013-11-13
US10798280B2 (en) 2020-10-06
EP2442548B1 (en) 2018-05-02
BRPI1012976A2 (ja) 2018-01-16
EP3367662A1 (en) 2018-08-29
TW201123856A (en) 2011-07-01
EP3923565A1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
JP5338498B2 (ja) 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
US11146726B2 (en) Control device, camera system and program
US20040179121A1 (en) System and method for displaying captured images according to imaging device position
JP2007043505A (ja) 撮像システムとカメラ制御装置およびパノラマ画像生成方法とプログラム
JP2011091546A (ja) 侵入物検知システム
JP5464290B2 (ja) 制御装置、制御方法、及びカメラシステム
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP2018174468A (ja) 映像表示装置、映像表示装置の制御方法及びプログラム
JP2011205574A (ja) 制御装置、カメラシステム及びプログラム
KR20050062859A (ko) 감시카메라의 포지셔닝 방법
JP2023086483A (ja) 画像処理装置、画像処理方法およびプログラム
JP2019140599A (ja) 情報処理装置、情報処理方法及びプログラム
JP2019140566A (ja) 情報処理装置、情報処理方法及びプログラム
JP2002077880A (ja) 遠隔監視システム
JP2020191514A (ja) 情報処理装置および情報処理方法
JP2013201634A (ja) カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
KR20080033573A (ko) 가상 맵을 이용한 프리셋 설정방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120702

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130722

R151 Written notification of patent or utility model registration

Ref document number: 5338498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees