JP2017192104A - 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム - Google Patents

撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP2017192104A
JP2017192104A JP2016082146A JP2016082146A JP2017192104A JP 2017192104 A JP2017192104 A JP 2017192104A JP 2016082146 A JP2016082146 A JP 2016082146A JP 2016082146 A JP2016082146 A JP 2016082146A JP 2017192104 A JP2017192104 A JP 2017192104A
Authority
JP
Japan
Prior art keywords
imaging
image
position information
monitoring camera
tilt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016082146A
Other languages
English (en)
Other versions
JP2017192104A5 (ja
JP6786253B2 (ja
Inventor
剛 横溝
Takeshi Yokomizo
剛 横溝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016082146A priority Critical patent/JP6786253B2/ja
Priority to EP17161748.3A priority patent/EP3232658B1/en
Priority to KR1020170045800A priority patent/KR102166664B1/ko
Priority to US15/487,782 priority patent/US10848685B2/en
Priority to CN201710245106.1A priority patent/CN107454309B/zh
Publication of JP2017192104A publication Critical patent/JP2017192104A/ja
Publication of JP2017192104A5 publication Critical patent/JP2017192104A5/ja
Application granted granted Critical
Publication of JP6786253B2 publication Critical patent/JP6786253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/04Roll-film cameras
    • G03B19/07Roll-film cameras having more than one objective
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】ユーザが意図した位置に撮像方向を変更することができる撮像システムを提供する。【解決手段】本発明の撮像システムは、第1の撮像装置が撮像した画像を取得する画像取得手段と、画像の被写体空間における複数の位置情報のいずれかを、優先順位に従って撮像位置として決定する位置決定手段と、撮像位置に基づき第2の撮像装置の視点を変更する制御手段とを備える。【選択図】 図6

Description

本発明は、広角レンズカメラとズームレンズカメラとを用いた撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラムに関する。
特許文献1、2に示すように、広角レンズカメラと、パン、チルト、及びズームの機能を備えたズームレンズカメラとを用いたカメラ制御システムが知られている。このカメラ制御システムでは、ズームレンズカメラがパン、チルト、ズームを制御して広角レンズカメラによって撮像された全方位の画像において指定された位置にズームレンズカメラの撮像方向を合わせる。
特許文献3には、指定された位置にある被写体までの距離を測定するカメラシステムが提案されている。特許文献3のカメラシステムは、広角レンズカメラにより撮像された画像の任意の位置が指定されると、赤外線を用いて被写体までの距離を測定する。そして、画像の任意の位置の奥行きが決定され、広角レンズカメラの周囲のズームレンズカメラは指定された位置に撮像方向を合わせる。特許文献4には、ズーム機能を有する複数のカメラを備える監視カメラシステムが提案されている。メインカメラはオートフォーカス機能を用いてメインカメラの基準点から視点までの距離を測定し、視点の座標位置を算出し、メインカメラの周囲にあるサブカメラが視点の座標位置に撮像方向を合わせる。
特開2000−32319号公報 特開2000−341574号公報 特開2004−320175号公報 特開2010−28415号公報
広角レンズカメラとズームレンズカメラとは異なる位置に設置されるので、広角レンズカメラで撮像された画像の所定の位置にズームレンズカメラの撮像方向を合わせるために、所定の位置における奥行きの情報、つまり空間における位置の情報が必要になる。しかしながら、上記特許文献1、2では、全方位の画像において指定された位置にある被写体までの距離がわからず、空間における位置がわからないため、ズームレンズカメラの撮像方向をユーザが意図する位置に合わせることは困難である。また、上記特許文献3、4では、距離情報を取得できない場合に、ズームレンズカメラの撮像方向を指定された位置に合わせることが困難になる。このように、ユーザが意図する位置にズームレンズカメラの撮像方向を変更することが困難になる場合があった。
本発明は、ユーザが意図した位置に撮像方向を変更することができる撮像システムを提供することを目的とする。
本発明に係る撮像システムは、第1の撮像装置が撮像した画像を取得する画像取得手段と、前記画像の被写体空間における複数の位置情報のいずれかを、優先順位に従って撮像位置として決定する位置決定手段と、前記撮像位置に基づき第2の撮像装置の視点を変更する制御手段とを備える。
本発明によれば、画像の被写体空間における複数の位置情報のいずれかを優先順位に従って撮像位置として決定する。これにより、複数の位置情報の優先順位に従って決定された撮像位置に第2の撮像装置の視点を変更するので、ユーザが意図する位置に撮像方向を変更することができる。
本発明の第1実施形態による撮像システムのシステム構成図である。 本発明の第1実施形態による撮像システムの構成を示すブロック図である。 本発明の第1実施形態による撮像用画素の概略図である。 本発明の第1実施形態による撮影レンズの水平方向に瞳分割を行うための焦点検出用画素の概略図である。 本発明の第1実施形態による撮影レンズの垂直方向に瞳分割を行うための焦点検出用画素の概略図である。 本発明の第1実施形態による撮像システムの処理を示すフローチャートである。 本発明の第1実施形態による広角型監視カメラで撮像される画像を説明する図である。 本発明の第1実施形態による位置情報の変換処理を説明する概略図である。 本発明の第2実施形態による撮像システムの処理を示すフローチャートである。 本発明の第3実施形態による撮像システムの処理を示すフローチャートである。 本発明の第3実施形態による広角型監視カメラ及び旋回型監視カメラの設置の一例を示す図である。
以下に、添付の図面を参照して本発明の実施形態を説明する。
[第1実施形態]
図1を参照しながら本実施形態に係る撮像システムについて説明する。図1(a)は撮像システム1のシステム構成図である。撮像システム1は、旋回型監視カメラ100、広角型監視カメラ200、及びクライアント装置300を備えている。旋回型監視カメラ100、広角型監視カメラ200、及びクライアント装置300は、ネットワーク400を介して相互に通信可能である。旋回型監視カメラ100は、機械的にパン、チルト、ズーム駆動を行うことが可能である。広角型監視カメラ200は、視野角が広く、水平方向360度、垂直方向180度の全方位を撮像可能である。旋回型監視カメラ100及び広角型監視カメラ200は、例えば室内の天井に設置される。なお、旋回型監視カメラ100はズームレンズカメラの一例であり、広角型監視カメラ200は広角レンズカメラの一例である。また、旋回型監視カメラ100は複数設置されていてもよい。
情報処理装置としてのクライアント装置300は、旋回型監視カメラ100及び広角型監視カメラ200で撮像された画像を表示可能なパーソナルコンピュータ等の汎用コンピュータである。旋回型監視カメラ100、広角型監視カメラ200、及びクライアント装置300は、専用線、LANケーブル等の有線接続、または無線LAN等の無線接続により互いに通信可能である。ネットワーク400は、旋回型監視カメラ100、広角型監視カメラ200、及びクライアント装置300の通信が可能であれば特に限られない。
図1(b)は本実施形態による旋回型監視カメラ100の概略図である。旋回型監視カメラ100は、パン駆動機構111、チルト駆動機構112、及びレンズユニット113を備えている。パン駆動機構111は、回転軸114、回転台115、及びパン駆動部104を備えている。回転台115は回転軸114を中心に回転可能に設けられている。パン駆動機構111は、回転軸114を中心に回転台115をパン方向に回転し、旋回型監視カメラ100の視点としての撮像方向をパン方向に変更する。チルト駆動機構112は、支持台116、支持軸117、及びチルト駆動部105を備えている。支持台116は、回転軸114を間に挟み、対向して回転台115上にそれぞれ設けられている。支持軸117は、支持台116に設けられ、カメラ本体118をチルト方向に移動可能に支持している。チルト駆動機構112は、旋回型監視カメラ100の撮像方向をチルト方向に変更する。レンズユニット113は、ズーム駆動部106、ズームレンズ及びフォーカスレンズを備え、旋回型監視カメラ100の画角を変更する。レンズユニット113は、所定の位置にある被写体に焦点を合わせる。なお、ズームレンズ及びフォーカスレンズはそれぞれ複数のレンズから構成され、ユニット化されている。このように、旋回型監視カメラ100は、パン及びチルト方向に撮像方向を変更可能である。
図2は、本実施形態による撮像システム1のブロック図である。旋回型監視カメラ100は、撮像部101、画像処理部102、距離測定部103、パン駆動部104、チルト駆動部105、ズーム駆動部106、パンチルトズーム制御部107、システム制御部108、通信部109、及びメモリ110を備えている。撮像部101は、レンズユニット113、及びCMOSセンサ等の撮像素子を備え、被写体を撮像し、撮像した被写体像を光電変換により電気信号に変換する。画像処理部102は、撮像部101において光電変換された画像信号に対して各種の画像処理を行い、画像処理後の画像信号に対して圧縮符号化処理を行い、画像データを生成する。
測定手段としての距離測定部103は、オートフォーカス機能、赤外線センサ、または光の強度分布及び光の入射方向の情報を用いるライトフィールド等の技術を用いて被写体までの距離を測定する。オートフォーカス機能を用いる場合、距離測定部103はオートフォーカス機能によって被写体に合焦する距離を探索することにより距離を測定する。赤外線センサを用いる場合、距離測定部103は、赤外線発光素子から赤外光を照射し、反射した赤外光の位置を位置センサによって検出し、検出した位置に基づき被写体までの距離を測定する。ライトフィールドを用いる場合については後述する。なお、本実施形態では、旋回型監視カメラ100は距離測定部103を備えていなくてもよい。
パン駆動部104は、パン動作を行う機械的な駆動部及びモータを備え、モータが駆動されることによりパン駆動機構111がパン方向に駆動する。チルト駆動部105は、チルト動作を行う機械的な駆動部及びモータを備え、モータが駆動されることによりチルト駆動機構112がチルト方向に駆動する。ズーム駆動部106は、フォーカスレンズ及びズームレンズの駆動部及びモータを備え、モータが駆動されることによりズームレンズが光軸方向に移動して焦点距離を変更する。また、モータが駆動されることによりフォーカスレンズが光軸方向に移動して焦点調節を行う。制御手段としてのパンチルトズーム制御部107は、システム制御部108から伝達された指示信号に基づいて、パン駆動部104、チルト駆動部105、及びズーム駆動部106を制御する。
制御手段としてのシステム制御部108は、CPU(Control Processing Unit)であり、通信部109を介して伝達されたカメラ制御信号に基づき処理を行う。システム制御部108は、画質調整を指示する信号を画像処理部102に伝達する。システム制御部108は、パン動作、チルト動作、ズーム動作、及びフォーカス制御を指示する信号をパンチルトズーム制御部107に伝達する、システム制御部108は、被写体距離の測定を指示する信号を距離測定部103に伝達する。通信部109は、生成された画像データをクライアント装置300に配信する。通信部109は、広角型監視カメラ200及びクライアント装置300から送信されるカメラ制御信号を受信し、システム制御部108へ伝達する。通信部109は、カメラ制御信号に対するレスポンスを広角型監視カメラ200及びクライアント装置300へ送信する。メモリ110は、ROM、RAM等を有し、各種制御プログラム、各種パラメータ等を格納する。メモリ110は、例えば、カメラ制御に用いるプリセット番号、プリセット番号に対応するプリセット位置、距離マップ、旋回型監視カメラ100が設置される室内の天井から地面までの距離等を格納する。なお、メモリ110に格納されるプリセット位置は、クライアント装置300から受信した位置である。
広角型監視カメラ200は、撮像部201、画像処理部202、距離測定部203、システム制御部204、通信部205、及びメモリ206を備えている。撮像部201は、撮影レンズ、及びCMOSセンサ等の撮像素子を備え、被写体を撮像し、撮像した被写体像を光電変換により電気信号に変換する。撮像部201は、半球状の視野角を有する広角レンズを備えている。画像処理部202は、撮像部201において光電変換された画像信号に対して各種の画像処理を行い、画像処理後の画像信号に対して圧縮符号化処理を行い、画像データを生成する。測定手段としての距離測定部203は、旋回型監視カメラ100の距離測定部103と同様に、オートフォーカス機能、赤外線センサ、ライトフィールド等の技術を用いて被写体までの距離を測定する。なお、本実施形態では、広角型監視カメラ200は、距離測定部203を備えていない場合も含むものとする。
システム制御部204は、CPUであり、通信部205を介して伝達されたカメラ制御信号に基づき処理を行う。システム制御部204は、画像処理部202に対して画質調整を指示する信号を送信する。システム制御部204は、距離測定部203に対して被写体距離の測定を指示する信号を送信する。通信部205は、生成された画像データをクライアント装置300に配信する。通信部205は、クライアント装置300から送信されるカメラ制御信号を受信し、システム制御部204へ伝達する。通信部205は、カメラ制御信号に対するレスポンスをクライアント装置300へ送信する。メモリ206は、ROM、RAM等を有し、各種制御プログラム、各種パラメータ等を格納する。メモリ206は、例えば、カメラ制御に用いるプリセット番号、プリセット番号に対応するプリセット位置、距離マップ、デフォルトのチルト位置、広角型監視カメラ200が設置される天井から地面までの距離等を格納する。なお、メモリ206に格納されるプリセット位置は、クライアント装置300から受信した位置である。また、チルト位置は旋回型監視カメラ100の垂直方向の向きであり、例えば、角度で表されてもよいし、他の情報で表されてもよい。
クライアント装置300は、表示部301、入力部302、システム制御部303、通信部304、及びメモリ305を備えている。表示部301は、液晶表示装置等であり、旋回型監視カメラ100及び広角型監視カメラ200からそれぞれ受信した画像データの表示を行う。また、表示部301は、旋回型監視カメラ100及び広角型監視カメラ200のカメラ制御を行うためのグラフィックユーザーインターフェース(以下、GUIと称する)等を表示する。カメラ制御は、例えば、旋回型監視カメラ100のズーム率の設定、プリセット位置の登録、旋回型監視カメラ100及び広角型監視カメラ200の撮像等である。指定手段としての入力部302は、キーボード、マウス等のポインティング・デバイス等であり、クライアント装置300のユーザは、入力部302を介してGUIを操作する。
画像取得手段、指定手段、及び位置決定手段としてのシステム制御部303は、CPUであり、ユーザのGUI操作に応じてカメラ制御信号を生成し、通信部304を介して旋回型監視カメラ100及び広角型監視カメラ200にカメラ制御信号を送信する。また、システム制御部303は、通信部304を介して受信した旋回型監視カメラ100及び広角型監視カメラ200からの画像データを表示部301に表示する。メモリ305は、ROM、RAM等を有し、各種制御プログラム、各種パラメータ等を格納する。メモリ305は、プリセット位置、デフォルトのチルト位置、旋回型監視カメラ100及び広角型監視カメラ200が設置される室内の天井から地面までの距離等を格納する。このようにクライアント装置300は、ネットワーク400を介して、旋回型監視カメラ100及び広角型監視カメラ200によって撮影された画像データの取得、各種のカメラ制御等を行う。広角型監視カメラ200によって撮影された画像データは常にネットワーク400を介してクライアント装置300へ配信されており、監視人等のユーザはクライアント装置300に表示される画像によって全方位の様子を監視することができる。また、広角型監視カメラ200により撮像された画像はソフトウェア処理により所定の位置を拡大することはできるものの、拡大される画像は画像の解像度に依存する。このため、画像の所定の位置を拡大しても、ユーザが所望する解像度の画像を得られない可能性がある。これに対し、旋回型監視カメラ100は、広角型監視カメラ200で撮像された画像の所定の位置を機械的に拡大して撮像するので、より解像度の高い画像を得ることができる。
図3〜図5を用いてライトフィールドにより距離を測定する方法について説明する。図3は本実施形態による撮像用画素の概略図である。図3〜図5では、広角型監視カメラ200を例に説明するが、旋回型監視カメラ100についても同様の構成である。図3は本実施形態によるベイヤー配列の撮像用画素を示す図であり、2行×2列の撮像用画素の平面図である。ベイヤー配列では、対角方向にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)との分光感度を有する画素を配置する。
図4は、本実施形態による撮影レンズの水平方向に瞳分割を行うための焦点検出用画素の概略図である。図4(a)は焦点検出用画素を含む2行×2列の画素の平面図である。G画素は撮像用画素として残し、R画素及びB画素を、撮影レンズTLの水平方向に瞳分割を行うための焦点検出用画素SHA、SHBとしている。図4(b)は図4(a)のA−A線に沿う断面図である。TLは撮影レンズ、MLは各画素の最前面に配置されたマイクロレンズ、PDは光電変換部を模式的に示すものであり、CLは各種信号を伝達する信号線を形成するための配線層である。焦点検出用画素SHA、SHBの信号は撮影画像の信号として用いられないため、透明膜CFwが配置される。また、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏り、焦点検出用画素SHAの開口部OPHAは右側に偏っているため、撮影レンズTLの左側の射出瞳EPHAを通過した光束を受光する。同様に、焦点検出用画素SHBの開口部OPHBは左側に偏っているため、撮影レンズTLの右側の射出瞳EPHBを通過した光束を受光する。焦点検出用画素SHAを水平方向に規則的に配置し、これらの画素で検出した被写体像をA像とする。また、焦点検出用画素SHBを水平方向に規則的に配置し、これらの画素で検出した被写体像をB像とする。この場合、A像とB像との相対位置を検出することによってレンズのピントずれ量(デフォーカス)を検出することができる。
図5は、本実施形態による撮影レンズTLの垂直方向に瞳分割を行うための焦点検出用画素の概略図である。図5(a)は焦点検出用画素を含む2行×2列の画素の平面図である。図4(a)と同様に、G画素は撮像用画素として残し、R画素及びB画素を、撮影レンズTLの垂直方向に瞳分割を行うための焦点検出用画素SVC、SVDとしている。図5(b)は図5(a)のA−A線に沿う断面図である。焦点検出用画素SVCの開口部OPVCは下側に偏っているため、撮影レンズTLの上側の射出瞳EPVCを通過した光束を受光する。また、焦点検出用画素SVDの開口部OPVDは上側に偏っているため、撮影レンズTLの下側の射出瞳EPVDを通過した光束を受光する。焦点検出用画素SVCを垂直方向に規則的に配置し、これらの画素から取得した被写体像をC像とする。また、焦点検出用画素SVDを垂直方向に規則的に配置し、これらの画素から取得した被写体像をD像とする。この場合、C像とD像との相対位置を検出することによってデフォーカス量を検出することができる。
このように、撮像部201の撮像素子は、ベイヤー配列の2行×2列のRGB画素が繰り返し配置され、ベイヤー配列の間に焦点検出用画素SHA、SHB、SVC、SVDを所定の規則で分散配置し、撮像素子の全領域にわたって分布するように構成される。システム制御部204は、焦点検出が可能なすべての領域のそれぞれの焦点検出領域から焦点検出用画素の信号を読み出して生成した2つの像の位相差に基づき焦点ずれ量を演算し、撮影レンズTLの特性の情報を考慮して焦点ずれ量から被写体距離へ変換する。すべての領域の焦点ずれ量から被写体距離へ変換することによって、表示画像の位置と被写体距離とを対応させた距離マップが得られる。この距離マップを用いて被写体距離を測定する。
図6は本実施形態による撮像システムの処理を示すフローチャートである。本フローチャートは、クライアント装置300のメモリ305に格納されているプログラムをシステム制御部303が実行することによって開始される。広角型監視カメラ200における処理はメモリ206に格納されているプログラムを実行することによって行われ、旋回型監視カメラ100における処理は、メモリ110に格納されているプログラムを実行することによって行われる。
ステップS601では、クライアント装置300のシステム制御部303は、表示部301に表示されている画像において、所定の位置が指定されたことを検出する。表示部301に表示されている画像は、広角型監視カメラ200によって撮像された画像である。ユーザは、表示部301に表示されている画像において、例えば、不審者らしき人物を発見する等の異常を感じる場合、またはその他の理由により拡大したい位置を、入力部302を用いて指定する。ユーザによる位置指定の方法としては、ある一点を指定してもよいし、矩形領域を指定してもよい。
ステップS602では、システム制御部303は、指定された位置を含む指定された領域が、メモリ305に登録されているプリセット位置を含むか否かを判定する。第1の位置情報としてのプリセット位置は、プリセット番号と共に旋回型監視カメラ100に対してユーザによって予め登録されているものとする。旋回型監視カメラ100のメモリ110に登録されているプリセット位置には、旋回型監視カメラ100における2次元平面での撮像位置及び奥行きの情報、つまり、距離の情報が設定されている。すなわち、プリセット位置は指定された領域の被写体空間における位置の情報である。プリセット位置の登録はクライアント装置300で行われ、プリセット位置は広角型監視カメラ200の画像上の座標と対応付けられる。これにより、旋回型監視カメラ100が有するプリセット番号と広角型監視カメラ200の画像上の座標とを対応させることができる。
プリセット位置は、例えば、ユーザが重点的に監視したい位置等であり、画像の被写体空間における複数の位置情報のうち優先順位が最も高い位置情報である。指定された位置が一点である場合、指定された領域は指定された位置から所定の範囲の領域である。所定の範囲の領域は、例えば、指定された位置から予め定められた半径を有する大きさの領域である。所定の範囲は、ユーザによって予め設定されていてもよいし、デフォルト値であってもよい。指定された位置が矩形領域である場合、矩形領域が指定された領域となる。ユーザにより指定された位置が一点を指し示している場合、システム制御部303は指定された領域がプリセット位置を含むか否かを判定する。ユーザにより指定された位置が矩形領域である場合、システム制御部303は指定された領域である矩形領域がプリセット位置の2次元平面における位置を含むか否かを判定する。以下、ユーザによって指定された位置及び指定された領域を指定された位置情報として説明する。
指定された領域がプリセット位置を含む場合(ステップS602:Yes)、システム制御部303は、旋回型監視カメラ100にプリセット番号を送信する(ステップS603)。ステップS603では、システム制御部303は、広角型監視カメラ200の周囲に設置されている旋回型監視カメラ100にプリセット番号を送信する。ステップS604では、パンチルトズーム制御部107は、受信したプリセット番号に対応するプリセット位置に撮像方向を変更する。詳しくは、旋回型監視カメラ100の撮像方向が変更されるようにパン駆動部104及びチルト駆動部105を制御する。
一方、指定された領域がプリセット位置を含まない場合(ステップS602:No)、指定された位置情報は奥行きの情報を含まないため、システム制御部303は、広角型監視カメラ200に被写体距離の測定の要求を送信する(ステップS605)。ステップS605では、システム制御部303は、指定された位置情報と共に被写体距離を測定する要求を広角型監視カメラ200に送信する。ステップS606では、広角型監視カメラ200のシステム制御部204は、距離測定部203を用いて、ユーザによって指定された位置の方向の被写体距離を測定する。距離測定部203は、オートフォーカス機能、赤外線センサ、ライトフィールド等を用いて被写体距離を測定する。
被写体距離の測定において、オートフォーカスまたは赤外光によって被写体距離を測定する場合、1点の距離しか取得できない。このため、ユーザが領域を指定する場合には、被写体距離を測定する位置によって被写体距離が大きく変わってきてしまう可能性がある。測定した被写体距離がユーザの意図していない位置の距離である場合には、パン、チルトの位置が大幅にズレてしまう可能性がある。一方、ライトフィールドによって被写体距離を測定する場合、ユーザが指定した領域に含まれる被写体までの距離を撮像素子の全画素からそれぞれ取得できる。そこで、全画素から取得した距離を加算して画素数で平均化した距離を被写体距離として用いることによって、ユーザが意図する位置から大きくズレないようにすることができる。また、ユーザが指定した領域の中央部に重み付けをし、距離を平均化してもよい。重み付けをすることによって、ユーザが意図する位置にある被写体の被写体距離に、より近付けることができる。
ステップS607では、システム制御部204は、被写体距離を測定できたか否かを判定する。被写体距離を測定できた場合(ステップS607:Yes)、システム制御部204は、被写体距離を含む位置情報を周囲の旋回型監視カメラ100に送信する(ステップS608)。指定された位置情報及び被写体距離を含む第2の位置情報としての位置情報は、プリセット位置の次に優先順位が高い位置情報である。なお、ステップS608において、旋回型監視カメラ100への位置情報の送信は、広角型監視カメラ200が行ってもよいし、クライアント装置300が位置情報を収集し、クライアント装置300から送信してもよい。旋回型監視カメラ100と広角型監視カメラ200とは異なる位置に設置されるので、広角型監視カメラ200と旋回型監視カメラ100とが有する位置情報は異なる。このため、広角型監視カメラ200における位置情報を旋回型監視カメラ100の位置情報に変換する必要がある。位置情報の変換処理は、旋回型監視カメラ100、広角型監視カメラ200、及びクライアント装置300のいずれで行ってもよい。
位置情報の変換処理について、図7、図8を参照しながら説明する。図7は本実施形態の広角型監視カメラ200で撮像される画像を説明する図である。図7(a)は広角型監視カメラ200において撮像される平面画像を示す図、図7(b)は平面画像の説明図である。図7(a)において、広角型監視カメラ200の垂直方向をZ軸とする。図7(b)に示すそれぞれの円は、半球状の画像701を垂直方向に10°毎に区切っている。広角型監視カメラ200で撮影された半球状の画像701は、平面画像702としてクライアント装置300に表示される。本実施形態において、広角型監視カメラ200は屋内の天井に設置されているので、平面画像702の中心位置Oが広角型監視カメラ200の真下の位置になる。このため、平面画像702の中心における水平方向及び垂直方向の角度は、水平方向0°、垂直方向90°となる。半球状の画像701において、被写体700が位置Pにある場合、被写体700は、平面画像702では水平方向に角度α、垂直方向に角度β傾いた向きになる位置P’に表示される。このように、角度α、βは平面画像702を用いて算出できる。
図8は本実施形態の位置情報の変換処理を説明する概略図である。図8(a)は垂直方向の角度を算出する方法を示す図、図8(b)は水平方向の角度を算出する方法を示す図である。垂直方向の角度算出方法について図8(a)を用いて説明する。旋回型監視カメラ100と広角型監視カメラ200との水平方向(XY方向)の距離を距離d1とし、広角型監視カメラ200が測定した被写体700までの距離を距離d2とする。広角型監視カメラ200と被写体700との角度βは平面画像702を用いて算出される。広角型監視カメラ200から被写体700の鉛直方向の距離d3、広角型監視カメラ200と被写体700との水平方向の距離d4、及び旋回型監視カメラ100と被写体700との垂直方向Zの角度γを以下の式1〜3から算出する。
d3=d2・cosβ ・・・(式1)
d4=d2・sinβ ・・・(式2)
γ=tan−1(d1+d4)/d3 ・・・(式3)
次に、水平方向の角度算出方法について図8(b)を用いて説明する。広角型監視カメラ200と被写体700との水平方向の距離は、式2で算出された距離d4であり、広角型監視カメラ200と被写体700との角度αは平面画像702を用いて算出される。広角型監視カメラ200と被写体700との水平方向距離を距離d5、広角型監視カメラ200と被写体700との垂直方向距離を距離d6、旋回型監視カメラ100と被写体700との水平方向の角度θを以下の式4〜6から算出する。
d5=d4・cosα ・・・(式4)
d6=d4・sinα ・・・(式5)
θ=tan−1d6/(d1+d5) ・・・(式6)
これにより、広角型監視カメラ200の位置情報から旋回型監視カメラ100の位置情報への変換を行うことができる。なお、式1〜6から算出した値を用いて旋回型監視カメラ100と被写体700との距離d7を式7から算出し、距離d7を用いてフォーカスを行うようにしてもよい。
d7=d6/sinθ ・・・(式7)
ステップS609では、旋回型監視カメラ100のシステム制御部108は、取得した位置情報の撮像位置に撮像方向を変更する。詳しくは、システム制御部108は、指定された位置情報及び被写体距離に基づき指示信号を生成し、パンチルトズーム制御部107に指示信号を伝達する。パンチルトズーム制御部107は、旋回型監視カメラ100の撮像方向が指示信号で指定された位置、つまり、式3、6で算出された水平方向の角度θ及び垂直方向の角度γの方向に移動するようにパン駆動部104及びチルト駆動部105を制御する。これにより、指定された領域にプリセット位置が含まれていない場合でも、指定された位置情報に基づき取得した距離情報を用いて旋回型監視カメラ100の撮像方向をユーザが意図する位置に変更することができる。
一方、被写体距離が測定できない場合(ステップS607:No)、システム制御部204は、デフォルトのチルト位置が設定されているか否かを判定する(ステップS610)。被写体距離が測定できない場合とは、被写体距離の測定に失敗する場合、または広角型監視カメラ200が距離測定部203を備えていない場合を含む。デフォルトのチルト位置が設定されている場合(ステップS610:Yes)、システム制御部204はデフォルトのチルト位置の情報を送信する(ステップS611)。ステップS611では、システム制御部204は、指定された位置情報及びデフォルトのチルト位置を含む第3の位置情報としての位置情報を周囲の旋回型監視カメラ100に送信する。指定された位置情報及びデフォルトのチルト位置を含む位置情報は、被写体距離を含む位置情報の次に優先順位が高い位置情報である。ステップS612では、システム制御部108は、指定された位置情報とデフォルトのチルト位置との位置情報を受信し、指示信号を生成し、パンチルトズーム制御部107へ伝達する。パンチルトズーム制御部107は、ユーザによって指定された位置及びデフォルトのチルト位置に撮像方向が変更されるようにパン駆動部104及びチルト駆動部105を制御する。これにより、被写体距離が測定できない場合にはデフォルトのチルト位置に撮像方向が変更されるので、できるだけユーザが意図する位置に旋回型監視カメラ100の撮像方向を変更することができる。なお、指定された位置情報及びデフォルトのチルト位置を含む位置情報を旋回型監視カメラ100における位置情報に変換する処理は、旋回型監視カメラ100、広角型監視カメラ200、及びクライアント装置300のいずれで行ってもよい。
一方、デフォルトのチルト位置が設定されていない場合(ステップS610:No)、システム制御部204は、現在のチルト位置を維持する情報を周囲の旋回型監視カメラ100に送信する(ステップS613)。ステップS613では、システム制御部204は旋回型監視カメラ100に指定された位置情報及び現在のチルト位置の第4の位置情報としての位置情報を周囲の旋回型監視カメラ100に送信する。指定された位置情報及び現在のチルト位置を含む情報は、指定された位置情報及びデフォルトのチルト位置を含む位置情報の次に優先順位が高い位置候補となる。ステップS614では、システム制御部108は、指定された位置情報及び現在のチルト位置を維持する情報を受信し、指定された位置情報及び現在のチルト位置に基づき指示信号を生成し、パンチルトズーム制御部107に指示信号を伝達する。パンチルトズーム制御部107は、旋回型監視カメラ100のチルト位置を維持しつつ、指定された位置に撮像方向を移動するようにパン駆動部104及びチルト駆動部105を制御する。これにより、デフォルトのチルト位置が設定されていない場合でも、現在のチルト位置を維持しながら指定された位置情報の位置に撮像方向が変更されるので、できるだけユーザが意図する位置に撮像方向を変更することができる。なお、ユーザによって指定された位置情報及び現在のチルト位置を旋回型監視カメラ100における位置情報に変換する処理は、旋回型監視カメラ100で行ってもよい。また、位置情報を変換する処理は、旋回型監視カメラ100のチルト位置を送信することによって、広角型監視カメラ200またはクライアント装置300で行ってもよい。また、ステップS607で被写体距離を測定できない場合、システム制御部204は、被写体距離を測定できなかったという情報をクライアント装置300に送信してもよい。システム制御部204が被写体距離を測定できなかったという情報をクライアント装置300に送信する場合、ステップS610〜S611及びステップS613の処理はクライアント装置300によって行うようにしてもよい。また、各判定処理(ステップS602、S607、S610)の順番は、ユーザの設定に応じて変更してもよい。
このように、本実施形態では、広角型監視カメラ200で撮像された画像の被写体空間における複数の位置情報のいずれかを、優先順位に従って撮像位置として決定する。これにより、複数の位置情報の優先順位に従って決定された撮像位置に旋回型監視カメラ100の撮像方向を変更するので、ユーザが意図した位置に旋回型監視カメラ100の撮像方向を変更することができる。
[第2実施形態]
次に、本発明の第2実施形態による撮像システム1について説明する。本実施形態による撮像システム1は、旋回型監視カメラ100を固定したチルト位置に移動するものである。第1実施形態と同様の構成については同一の符号を付して説明を省略する。
図9は本実施形態による撮像システムの処理を示すフローチャートである。なお、ステップS901〜S912はステップS601〜S612と同じである。ステップS901では、クライアント装置300のシステム制御部303は、表示部301に表示された広角型監視カメラ200により撮像された画像において、所定の位置が指定されたことを検出する。ステップS902では、システム制御部303は、指定された領域がプリセット位置を含むか否かを判定する。指定された領域がプリセット位置を含む場合(ステップS902:Yes)、システム制御部303は、旋回型監視カメラ100にプリセット番号を送信する(ステップS903)。ステップS904では、パンチルトズーム制御部107は、受信したプリセット番号に対応するプリセット位置に撮像方向が変更されるようにパン駆動部104及びチルト駆動部105を制御する。一方、指定された領域がプリセット位置を含まない場合(ステップS902:No)、システム制御部303は、ユーザによって指定された位置情報と共に被写体距離を測定する要求を広角型監視カメラ200に送信する(ステップS905)。ステップS906では、広角型監視カメラ200のシステム制御部204は、距離測定部203を用いて、指定された位置情報の方向の被写体距離を測定する。ステップS907では、システム制御部204は、被写体距離を測定できたか否かを判定する。被写体距離を測定できた場合(ステップS907:Yes)、システム制御部204は、被写体距離を含む撮影位置を位置情報として旋回型監視カメラ100に送信する(ステップS908)。ステップS909では、旋回型監視カメラ100のシステム制御部108は、ユーザによって指定された位置情報及び被写体距離に基づき指示信号を生成し、パンチルトズーム制御部107に指示信号を伝達する。一方、被写体距離が測定できない場合(ステップS907:No)、システム制御部204は、デフォルトのチルト位置が設定されているか否かを判定する(ステップS910)。デフォルトのチルト位置が設定されている場合(ステップS910:Yes)、システム制御部204は指定された位置情報及びデフォルトのチルト位置を旋回型監視カメラ100に送信する(ステップS911)。ステップS912では、システム制御部108は、指示信号を生成し、パンチルトズーム制御部107へ伝達する。パンチルトズーム制御部107は、指示信号に基づき、デフォルトのチルト位置に撮像方向が変更されるようにパン駆動部104及びチルト駆動部105を制御する。
デフォルトのチルト位置が設定されていない場合(ステップS910:No)、システム制御部204は、地面を映すチルト位置を送信する(ステップS913)。ステップS913では、システム制御部204は、指定された位置情報及び地面を映すチルト位置の情報を旋回型監視カメラ100に送信する。地面を映すチルト位置は、旋回型監視カメラ100及び広角型監視カメラ200の設置時に予め天井から地面までの距離を設定しておくことによって算出することができる。具体的には、天井から地面までの距離を距離d2とし、指定された位置情報から算出される水平方向の角度α及び垂直方向の角度βを用いて、式1〜6によって地面を映すチルト位置を算出することができる。または、事前に広角型監視カメラ200の距離測定部203及び旋回型監視カメラ100の距離測定部103によって地面までの距離を測定しておいてもよい。具体的には、測定された地面までの距離を距離d2とし、水平方向の角度α及び垂直方向の角度βを用いて式1〜6によって地面を映すチルト位置を算出してもよい。
ステップS914では、旋回型監視カメラ100のシステム制御部108は、地面を映す位置に撮像方向を変更する。詳しくは、システム制御部108は、指定された位置情報及び地面を映すチルト位置の位置情報を受信し、指示信号を生成してパンチルトズーム制御部107に伝達する。パンチルトズーム制御部107は、指定された位置情報及び地面を映す位置に旋回型監視カメラ100の撮像方向を変更するようにパン駆動部104及びチルト駆動部105を制御する。なお、指定された位置情報及び地面を映すチルト位置を旋回型監視カメラ100における位置情報へ変換する処理は、旋回型監視カメラ100、広角型監視カメラ200、及びクライアント装置300のいずれで行ってもよい。また、ステップS913の処理はクライアント装置300が行うようにしてもよい。また、本実施形態では地面を映す位置に旋回型監視カメラ100の撮像方向を変更することについて説明したが、注目したい対象に合わせて地面から任意の高さを映すチルト位置に旋回型監視カメラ100の撮像方向を変更してもよい。例えば、注目したい対象が人間である場合、地面から1.5mのチルト位置に移動するようにしてもよい。
このように、本実施形態では、デフォルトのチルト位置が設定されていない場合に、所定のチルト位置に移動するように旋回型監視カメラ100の撮像方向を制御する。これにより、旋回型監視カメラ100の移動前後で注目したい対象のチルト位置が変化する場合でも所定のチルト位置に旋回型監視カメラ100の撮像方向が変更されるので、できるだけユーザの意図する位置に撮像方向を変更することができる。
[第3実施形態]
次に、本発明の第3実施形態について説明する。本実施形態では、撮像システム1は、旋回型監視カメラ100だけが距離測定部203を備えている。第1実施形態と同様の構成については同一の符号を付して説明を省略する。
図10は本実施形態による撮像システム1の処理を示すフローチャートである。なお、ステップS1001〜S1004、S1010〜S1014は、ステップS601〜S604、S610〜S614と同じである。ステップS1001では、クライアント装置300のシステム制御部303は、表示部301に表示された広角型監視カメラ200により撮像された画像において、所定の位置が指定されたことを検出する。ステップS1002では、システム制御部303は、指定された領域がメモリ305に登録されているプリセット位置を含むか否かを判定する。指定された領域が登録されているプリセット位置を含む場合(ステップS1002:Yes)、システム制御部303は、旋回型監視カメラ100にプリセット番号を送信する(ステップS1003)。ステップ1004では、パンチルトズーム制御部107は、受信したプリセット番号に対応するプリセット位置に基づき、撮像方向がプリセット位置に変更されるようにパン駆動部104及びチルト駆動部105を制御する。
一方、指定された領域がプリセット位置を含まない場合(ステップS1002:No)、システム制御部303は、被写体距離の測定の要求を旋回型監視カメラ100に送信する(ステップS1005)。指定された位置情報は広角型監視カメラ200における位置情報のため、旋回型監視カメラ100における位置情報に変換する必要がある。位置情報の変換処理は、旋回型監視カメラ100及びクライアント装置300のいずれで行ってもよい。
ステップS1006では、旋回型監視カメラ100のシステム制御部108は、受信した位置情報に基づき、距離測定部103を用いて広角型監視カメラ200を映す位置から一定の間隔で地面に向かって被写体距離を測定していく。被写体距離を測定する方法について、図11を用いて説明する。図11は本実施形態による広角型監視カメラ200及び旋回型監視カメラ100の設置の一例を示す図である。旋回型監視カメラ100及び広角型監視カメラ200は天井1100に設置され、旋回型監視カメラ100及び広角型監視カメラ200の真下に地面1101が位置している。ユーザが指定した位置を広角型監視カメラ200から見た方向で表す線1110において、位置1111〜1115は旋回型監視カメラ100によって撮像される位置を表している。また、位置1115は地面1101に対応する位置である。ユーザによって指定された位置は奥行きの情報を含んでいないため、旋回型監視カメラ100は線1110上のどこを向けばよいのかがわからない。本実施形態では、旋回型監視カメラ100のシステム制御部108は、距離測定部103を用いて、広角型監視カメラ200を映す位置から線1110に沿って一定の間隔で被写体距離を測定する。まず、システム制御部108は、距離測定部103を用いて位置1111の方向の被写体距離を測定する。位置1111において、被写体距離を測定できなかった場合、または測定した被写体が線1110から所定の範囲内になかった場合には、次の位置1112の方向の被写体距離を測定する。このように、被写体距離が測定できるまで、システム制御部108は線1110上を一定の間隔毎に被写体距離を測定する。
ステップS1007では、システム制御部108は被写体距離を測定できたか否かを判定する。被写体距離が測定できた場合(ステップS1007:Yes)、被写体のチルト位置が地面に相当するか否かを判定する(ステップS1008)。被写体距離が測定できない場合(ステップS1007:No)、システム制御部108は線1110上の次の位置における被写体距離を測定する。ステップS1008では、システム制御部108は、被写体距離からチルト位置を算出し、距離を測定した被写体のチルト位置が地面に相当するか否かを判定する。図11では、被写体のチルト位置が位置1115に相当する場合、システム制御部108は、地面に相当すると判定する。被写体のチルト位置が地面の位置に相当しない場合、システム制御部108は、測定した被写体距離の位置に撮像方向を変更する(ステップS1009)。ステップS1009では、システム制御部108は、測定した被写体距離及び指定された位置情報に基づきパン位置及びチルト位置を算出して指示信号を生成し、パンチルトズーム制御部107に伝達する。パンチルトズーム制御部107は、指示信号に従い、パン位置及びチルト位置に撮像方向が変更されるようにパン駆動部104及びチルト駆動部105を制御する。パン位置とは、旋回型監視カメラ100の水平方向の位置であり、パン位置は角度で表されてもよいし、他の情報で表されてもよい。
一方、被写体のチルト位置が地面に相当する場合(ステップS1008:Yes)、広角型監視カメラ200のシステム制御部204はデフォルトのチルト位置が設定されているか否かを判定する(ステップS1010)。ステップS1010では、システム制御部108は、広角型監視カメラ200に信号を送信し、広角型監視カメラ200のシステム制御部204はデフォルトのチルト位置が設定されているか否かを判定する。なお、システム制御部108はクライアント装置300に信号を送信し、クライアント装置300がステップS1010以降の処理を行うようにしてもよい。デフォルトのチルト位置が設定されている場合(ステップS1010:Yes)、システム制御部204は、指定された位置情報及びデフォルトのチルト位置を旋回型監視カメラ100に送信する(ステップS1011)。ステップS1012では、システム制御部108は、指示信号を生成し、パンチルトズーム制御部107へ伝達する。パンチルトズーム制御部107は、指定された位置情報及びデフォルトのチルト位置に撮像方向が変更されるようにパン駆動部104及びチルト駆動部105を制御する。
一方、デフォルトのチルト位置が設定されていない場合(ステップS1010:No)、システム制御部204は旋回型監視カメラ100に指定された位置情報及び現在のチルト位置を維持する情報を旋回型監視カメラ100に送信する(ステップS1013)。ステップS1014では、システム制御部108は、指示信号を生成し、パンチルトズーム制御部107に指示信号を伝達する。パンチルトズーム制御部107は、旋回型監視カメラ100の現在のチルト位置を維持しつつ、指定された位置に変更されるようにパン駆動部104及びチルト駆動部105を制御する。
このように、本実施形態では、旋回型監視カメラ100の距離測定部103を用いる場合、ユーザによって指定された位置の方向を所定の間隔で被写体距離を測定し、指定された位置の方向に存在する被写体に旋回型監視カメラ100を向けることが可能となる。これにより、ユーザが意図する位置に旋回型監視カメラ100の撮像方向を変更することができる。
[その他の実施形態]
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、旋回型監視カメラ100は複数存在してもよい。また、広角型監視カメラ200は必ずしも広角である必要はなく、旋回型監視カメラ100等であってもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1 撮像システム
100 旋回型監視カメラ
101 撮像部
200 広角型監視カメラ
300 クライアント装置

Claims (12)

  1. 第1の撮像装置が撮像した画像を取得する画像取得手段と、
    前記画像の被写体空間における複数の位置情報のいずれかを、優先順位に従って撮像位置として決定する位置決定手段と、
    前記撮像位置に基づき第2の撮像装置の視点を変更する制御手段と
    を備えることを特徴とする撮像システム。
  2. 前記画像において領域を指定する指定手段をさらに備え、
    予め定められたプリセット位置が前記領域に含まれる場合、前記位置決定手段は、前記プリセット位置を含む第1の位置情報を前記撮像位置として決定することを特徴とする請求項1に記載の撮像システム。
  3. 前記被写体空間における被写体までの距離を測定する測定手段をさらに備え、
    前記第1の位置情報を取得できない場合、前記位置決定手段は、前記領域及び前記距離を含む第2の位置情報を前記撮像位置として決定することを特徴とする請求項2に記載の撮像システム。
  4. 前記測定手段は、前記第1の撮像装置の撮像素子が有する画素のそれぞれから取得した前記距離の平均を算出することを特徴とする請求項3に記載の撮像システム。
  5. 前記測定手段は、前記領域の中央部にある前記被写体までの前記距離に重み付けをすることを特徴とする請求項4に記載の撮像システム。
  6. 前記指定手段は前記第2の撮像装置のチルト位置を指定し、
    前記第2の位置情報を取得できない場合、前記位置決定手段は、前記領域及び前記チルト位置を含む第3の位置情報を前記撮像位置として決定することを特徴とする請求項3〜5のいずれか1項に記載の撮像システム。
  7. 前記第3の位置情報を取得できない場合、前記位置決定手段は、前記領域及び前記第2の撮像装置の現在のチルト位置を含む第4の位置情報を前記撮像位置として決定することを特徴とする請求項6に記載の撮像システム。
  8. 第1の撮像装置及び視点を変更可能な第2の撮像装置と通信可能な情報処理装置であって、
    前記第1の撮像装置が撮像した画像を取得する画像取得手段と、
    前記画像の被写体空間における複数の位置情報のいずれかを、優先順位に従って前記第2の撮像装置の撮像位置として決定する位置決定手段と、
    を備えることを特徴とする情報処理装置。
  9. 第1の撮像装置が撮像した画像を取得するステップと、
    前記画像の被写体空間における複数の位置情報のいずれかを、優先順位に従って撮像位置として決定するステップと、
    前記撮像位置に基づき第2の撮像装置の視点を変更するステップと
    を備えることを特徴とする撮像システムの制御方法。
  10. 第1の撮像装置及び視点を変更可能な第2の撮像装置と通信可能な情報処理装置の制御方法であって、
    前記第1の撮像装置が撮像した画像を取得するステップと、
    前記画像の被写体空間における複数の位置情報のいずれかを、優先順位に従って前記第2の撮像装置の撮像位置として決定するステップと、
    を備えることを特徴とする情報処理装置の制御方法。
  11. 第1の撮像装置及び視点を変更可能な第2の撮像装置と通信可能なコンピュータを、
    前記第1の撮像装置が撮像した画像を取得する画像取得手段、
    前記画像の被写体空間における複数の位置情報のいずれかを、優先順位に従って前記第2の撮像装置の撮像位置として決定する位置決定手段、
    として機能させるためのプログラム。
  12. 請求項11に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2016082146A 2016-04-15 2016-04-15 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム Active JP6786253B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016082146A JP6786253B2 (ja) 2016-04-15 2016-04-15 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム
EP17161748.3A EP3232658B1 (en) 2016-04-15 2017-03-20 Imaging system, imaging system control method, and program
KR1020170045800A KR102166664B1 (ko) 2016-04-15 2017-04-10 촬상 시스템, 화상 처리장치, 촬상 시스템의 제어방법, 화상 처리장치의 제어방법, 및 프로그램
US15/487,782 US10848685B2 (en) 2016-04-15 2017-04-14 Imaging system, image processing apparatus, imaging system control method, image processing apparatus control method, and program
CN201710245106.1A CN107454309B (zh) 2016-04-15 2017-04-14 摄像系统、图像处理设备及其控制方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016082146A JP6786253B2 (ja) 2016-04-15 2016-04-15 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2017192104A true JP2017192104A (ja) 2017-10-19
JP2017192104A5 JP2017192104A5 (ja) 2019-05-23
JP6786253B2 JP6786253B2 (ja) 2020-11-18

Family

ID=58464159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016082146A Active JP6786253B2 (ja) 2016-04-15 2016-04-15 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム

Country Status (5)

Country Link
US (1) US10848685B2 (ja)
EP (1) EP3232658B1 (ja)
JP (1) JP6786253B2 (ja)
KR (1) KR102166664B1 (ja)
CN (1) CN107454309B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020068423A (ja) * 2018-10-22 2020-04-30 三菱重工業株式会社 表示装置および表示方法
JP2020067511A (ja) * 2018-10-22 2020-04-30 キヤノン株式会社 カメラシステム、その制御方法およびプログラム
JP2021103881A (ja) * 2017-11-13 2021-07-15 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643078B2 (en) * 2017-11-06 2020-05-05 Sensormatic Electronics, LLC Automatic camera ground plane calibration method and system
CN108337485A (zh) * 2018-03-27 2018-07-27 中冶华天工程技术有限公司 基于视频移动轨迹的访客管理方法
US11128764B2 (en) 2018-05-17 2021-09-21 Canon Kabushiki Kaisha Imaging apparatus, control method, and non-transitory computer readable medium
JP7199845B2 (ja) 2018-06-19 2023-01-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7204449B2 (ja) 2018-11-29 2023-01-16 キヤノン株式会社 制御装置、撮像装置、制御方法およびプログラム
KR102193984B1 (ko) * 2019-05-31 2020-12-22 주식회사 아이디스 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
JP2020202503A (ja) * 2019-06-11 2020-12-17 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
CN112399033B (zh) * 2019-08-14 2022-04-15 杭州海康威视数字技术股份有限公司 摄像机组件和监控摄像机
JP7328849B2 (ja) * 2019-09-25 2023-08-17 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7307643B2 (ja) 2019-09-25 2023-07-12 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP2021052325A (ja) 2019-09-25 2021-04-01 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7095002B2 (ja) * 2020-02-19 2022-07-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム及び記憶媒体
CN113194263B (zh) * 2021-07-01 2021-10-22 中国南方电网有限责任公司超高压输电公司广州局 枪球联动控制方法、装置、计算机设备和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
JP2000341574A (ja) 1999-05-28 2000-12-08 Canon Inc カメラ装置及びカメラ制御システム
JP3792901B2 (ja) 1998-07-08 2006-07-05 キヤノン株式会社 カメラ制御システム及びその制御方法
JP2004320175A (ja) 2003-04-11 2004-11-11 Victor Co Of Japan Ltd 監視カメラシステム
WO2006079183A1 (en) * 2005-01-31 2006-08-03 Lextar Pty Ltd Video surveillance system controller
JP2010028415A (ja) 2008-07-18 2010-02-04 Olympus Corp 監視システム
CA2755765A1 (en) * 2009-05-29 2010-12-02 Youngkook Electronics, Co., Ltd. Intelligent monitoring camera apparatus and image monitoring system implementing same
KR101120131B1 (ko) * 2009-05-29 2012-03-22 주식회사 영국전자 지능형 광역 감시 카메라, 그 제어회로 및 제어방법, 이를 이용한 영상 감시 시스템
JP6128968B2 (ja) 2013-05-31 2017-05-17 キヤノン株式会社 画像形成装置、及びその制御方法、プログラム
JP6415037B2 (ja) * 2013-11-12 2018-10-31 キヤノン株式会社 撮像装置、クライアント装置、撮像装置の制御方法、クライアント装置の制御方法、及びプログラム
JP5866499B2 (ja) 2014-02-24 2016-02-17 パナソニックIpマネジメント株式会社 監視カメラシステム及び監視カメラシステムの制御方法
JP2015195569A (ja) * 2014-03-25 2015-11-05 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 移動体用撮影装置
US9451155B2 (en) * 2014-07-30 2016-09-20 Apple Inc. Depth-segmenting peak tracking autofocus
CN104394356B (zh) * 2014-11-03 2019-01-29 杭州普维光电技术有限公司 一种摄像机与高速球关联控制自动变倍方法
CN104506819B (zh) * 2015-01-06 2018-06-15 成都新舟锐视科技有限公司 一种多摄像头实时联动的互反馈跟踪系统及方法
KR102101438B1 (ko) 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
KR102272254B1 (ko) * 2015-02-13 2021-07-06 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控系统及其监控方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021103881A (ja) * 2017-11-13 2021-07-15 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7230941B2 (ja) 2017-11-13 2023-03-01 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11727579B2 (en) 2017-11-13 2023-08-15 Nec Corporation Information processing apparatus, control method, and program
JP7513070B2 (ja) 2017-11-13 2024-07-09 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2020068423A (ja) * 2018-10-22 2020-04-30 三菱重工業株式会社 表示装置および表示方法
JP2020067511A (ja) * 2018-10-22 2020-04-30 キヤノン株式会社 カメラシステム、その制御方法およびプログラム
JP7173825B2 (ja) 2018-10-22 2022-11-16 キヤノン株式会社 カメラシステム、その制御方法およびプログラム
JP7266989B2 (ja) 2018-10-22 2023-05-01 三菱重工業株式会社 表示装置および表示方法

Also Published As

Publication number Publication date
CN107454309B (zh) 2020-05-05
US20170302860A1 (en) 2017-10-19
KR20170118603A (ko) 2017-10-25
EP3232658A1 (en) 2017-10-18
KR102166664B1 (ko) 2020-10-16
CN107454309A (zh) 2017-12-08
JP6786253B2 (ja) 2020-11-18
US10848685B2 (en) 2020-11-24
EP3232658B1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
JP6786253B2 (ja) 撮像システム、情報処理装置、撮像システムの制御方法、情報処理装置の制御方法、及びプログラム
KR101441586B1 (ko) 촬상 장치 및 촬상 방법
CN106031155B (zh) 基于统计数据的自动对焦系统和方法
US11190698B2 (en) Imaging apparatus, control method for imaging apparatus, information processing apparatus, and storage medium
JP2013207415A (ja) 撮像システム及び撮像方法
US11132814B2 (en) Information processing apparatus, information processing method, and storage medium
JP2011075832A (ja) 撮影システム及びレンズ装置
JP2019129410A (ja) 監視カメラ、監視カメラの制御方法、およびプログラム
JP2014021328A (ja) 立体映像撮影システムに用いる光学装置
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP2016092759A (ja) 撮像装置およびその制御方法
JP2012137674A (ja) 焦点検出装置及びそれを有する撮像装置
KR101814714B1 (ko) 스마트폰 카메라 원격 제어 방법 및 시스템
JP2019007993A (ja) 撮像装置、その制御方法、および制御プログラム
KR20140121345A (ko) 감시카메라 유닛 및 그 구동방법
JP7504688B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006184065A (ja) 物体検出装置
JP2020144158A (ja) 撮像装置及びその制御装置
JP2010239416A (ja) 撮像装置及びその制御方法
JPWO2019135365A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2020198468A (ja) 撮像装置、撮像方法及びプログラム
JP2005175852A (ja) 撮影装置及び撮影装置の制御方法
JP2004320175A (ja) 監視カメラシステム
JP2016046774A (ja) 撮像装置
JP2020068495A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201028

R151 Written notification of patent or utility model registration

Ref document number: 6786253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151