JP2023085899A - Imaging apparatus, method for controlling imaging apparatus, and program - Google Patents

Imaging apparatus, method for controlling imaging apparatus, and program Download PDF

Info

Publication number
JP2023085899A
JP2023085899A JP2021200213A JP2021200213A JP2023085899A JP 2023085899 A JP2023085899 A JP 2023085899A JP 2021200213 A JP2021200213 A JP 2021200213A JP 2021200213 A JP2021200213 A JP 2021200213A JP 2023085899 A JP2023085899 A JP 2023085899A
Authority
JP
Japan
Prior art keywords
tilt
time
pan
zoom
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021200213A
Other languages
Japanese (ja)
Inventor
恒樹 安孫子
Tsuneki Abiko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021200213A priority Critical patent/JP2023085899A/en
Publication of JP2023085899A publication Critical patent/JP2023085899A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

To output an image of a target imaging range within a designated transit time even if panning and tilting mechanically driven by a panning and tilting mechanism cannot reach the target imaging range within the designated transit time.SOLUTION: An imaging apparatus has: a driving unit that performs a panning operation and a tilting operation to drive the imaging apparatus; a time determination unit that calculates a drive time to drive the imaging apparatus from a current imaging range to a designated target imaging range; and a digital panning, tilting, and zooming control unit that cuts out a picked-up image to generate image data. When the drive time calculated by the time determination unit exceeds a designated designated time, the digital panning, tilting, and zooming control unit cuts out, from the picked-up image, a range according to the amount of movement of the panning operation and the tilting operation performed by the driving unit to generate image data.SELECTED DRAWING: Figure 3

Description

本発明は、撮像装置、撮像装置の制御方法及びプログラムに関する。 The present invention relates to an imaging device, an imaging device control method, and a program.

撮像範囲を変更可能な雲台を備えた撮像装置では、パンチルト機構及びズーム機構を備えてパン、チルト、ズームを変更することで、撮像装置の撮像方向や画角を変更して撮像範囲を変更することができる。また、撮像装置を制御する機能としてショット動作がある。ショット動作は、到達目標とする目標撮像範囲と、その目標撮像範囲への移動時間とが指定され、撮像装置のパン、チルト、ズームを制御して、指定された移動時間で現在の撮像範囲から指定された目標撮像範囲に到達する機能である。 An imaging device equipped with a pan head capable of changing the imaging range is provided with a pan/tilt mechanism and a zoom mechanism to change pan, tilt, and zoom, thereby changing the imaging direction and angle of view of the imaging device to change the imaging range. can do. Also, there is a shot operation as a function for controlling the imaging device. In the shot operation, a target imaging range to be reached and a movement time to the target imaging range are specified, and the pan, tilt, and zoom of the imaging device are controlled to move from the current imaging range within the specified movement time. This is the function to reach the specified target imaging range.

特許文献1には、現在位置から目的位置へユーザに指定された指定時間で到達するよう撮像装置のパン、チルト、ズームを制御するショット動作の方法について開示されている。また、特許文献2には、ショット動作でズームが指定時間に目標撮像範囲に到達不可能である場合、光学ズーム制御に加えてデジタルズームを併用することで指定時間内にショット動作が完了する方法について開示されている。 Japanese Unexamined Patent Application Publication No. 2002-200001 discloses a shot operation method for controlling the pan, tilt, and zoom of an imaging device so that the target position is reached from the current position at the specified time specified by the user. Further, Patent Document 2 describes a method for completing a shot operation within a specified time by using digital zoom in addition to optical zoom control when the zoom cannot reach the target imaging range within the specified time. disclosed.

特開2007-282069号公報JP 2007-282069 A 特開2020-122881号公報JP 2020-122881 A

しかしながら、特許文献1及び特許文献2に記載の方法では、パンチルト機構によるメカ駆動での撮像装置のパン、チルトの制御では、指定した移動時間で目標撮像範囲に到達不可能である場合、指定時間でショット動作を完了することができない。本発明は、パンチルト機構によるメカ駆動では指定した移動時間で目標撮像範囲に到達不可能であっても、指定した移動時間で目標撮像範囲の画像を出力できるようにすることを目的とする。 However, in the methods described in Patent Documents 1 and 2, when the target imaging range cannot be reached within the specified movement time in the pan/tilt control of the imaging device mechanically driven by the pan/tilt mechanism, cannot complete the shot action. SUMMARY OF THE INVENTION It is an object of the present invention to output an image of a target imaging range in a specified movement time even if the target imaging range cannot be reached in the specified movement time by mechanical driving using a pan-tilt mechanism.

本発明に係る撮像装置は、パン動作及びチルト動作を行い、前記撮像装置を駆動する駆動手段と、前記駆動手段により前記撮像装置を現在の撮像範囲から指定された目標撮像範囲まで駆動する駆動時間を算出する時間判定手段と、撮像した画像を切り出して画像データを生成する生成手段とを有し、前記時間判定手段により算出した前記駆動時間が指定された指定時間を超えている場合、前記生成手段は、前記撮像された画像から前記駆動手段による前記パン動作及び前記チルト動作の移動量に応じた範囲を切り出して画像データを生成することを特徴とする。 An imaging apparatus according to the present invention performs a pan operation and a tilt operation, and includes driving means for driving the imaging apparatus, and driving time for driving the imaging apparatus from a current imaging range to a specified target imaging range by the driving means. and generating means for extracting a captured image and generating image data, and when the driving time calculated by the time determining means exceeds the designated time, the generated The means cuts out a range corresponding to the amount of movement of the panning operation and the tilting operation by the driving means from the imaged image to generate image data.

本発明は、パンチルト機構によるメカ駆動では指定時間で目標撮像範囲に到達不可能であっても、指定時間で目標撮像範囲の画像を出力することが可能となる。 According to the present invention, even if the target imaging range cannot be reached within the specified time by mechanical driving using the pan-tilt mechanism, it is possible to output the image of the target imaging range within the specified time.

第1の実施形態に係るシステム構成の例を示す図である。1 is a diagram illustrating an example of a system configuration according to a first embodiment; FIG. 第1の実施形態に係る撮像装置の外観構成例を示す図である。1A and 1B are diagrams illustrating an example of an external configuration of an imaging device according to a first embodiment; FIG. 第1の実施形態に係る撮像装置及び情報処理装置の構成例を示す図である。1 is a diagram illustrating a configuration example of an imaging device and an information processing device according to a first embodiment; FIG. ショット動作の例を説明する図である。It is a figure explaining the example of shot operation|movement. デジタルパンチルトズームを用いたパンチルトズーム連動動作を説明する図である。FIG. 10 is a diagram for explaining pan-tilt-zoom interlocking operation using digital pan-tilt-zoom; 第1の実施形態に係るショット動作の設定画面の例を示す図である。FIG. 7 is a diagram showing an example of a shot motion setting screen according to the first embodiment; 第1の実施形態に係るパンチルトズーム制御の例を示すフローチャートである。4 is a flowchart showing an example of pan tilt zoom control according to the first embodiment; 第2の実施形態に係る撮像装置及び情報処理装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device and information processing apparatus which concern on 2nd Embodiment. 第2の実施形態に係るパンチルトズーム制御の例を示すフローチャートである。9 is a flowchart showing an example of pan tilt zoom control according to the second embodiment; 第3の実施形態に係る撮像装置及び情報処理装置の構成例を示す図である。FIG. 11 is a diagram illustrating a configuration example of an imaging device and an information processing device according to a third embodiment; 第3の実施形態に係るパンチルトズーム制御の例を示すフローチャートである。FIG. 11 is a flowchart showing an example of pan tilt zoom control according to the third embodiment; FIG.

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings. Note that the configurations shown in the following embodiments are merely examples, and are not limited to the illustrated configurations.

(第1の実施形態)
図1は、本実施形態におけるシステム構成の例を示す図である。本実施形態におけるシステムは、撮像装置100、情報処理装置102、ディスプレイ104、及びネットワーク103を有する。撮像装置100と情報処理装置102とは、ネットワーク103を介して相互に通信可能に接続されている。ネットワーク103は、例えばETHERNET(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。なお、ネットワーク103は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により実現されてもよい。
(First embodiment)
FIG. 1 is a diagram showing an example of a system configuration according to this embodiment. The system in this embodiment has an imaging device 100 , an information processing device 102 , a display 104 and a network 103 . The imaging device 100 and the information processing device 102 are connected via a network 103 so as to be able to communicate with each other. The network 103 is implemented by a plurality of routers, switches, cables, and the like conforming to communication standards such as ETHERNET (registered trademark). Note that the network 103 may be implemented by the Internet, a wired LAN (Local Area Network), a wireless LAN (Wireless LAN), a WAN (Wide Area Network), or the like.

撮像装置100は、画像を撮像する装置である。撮像装置100は、雲台を備えパン動作及びチルト動作を行うパンチルト機構とズーム機構を有し、撮像範囲が変更可能である。撮像装置100は、撮像した画像の画像データを、ネットワーク103を介して情報処理装置102等の外部装置へ送信する。また、撮像装置100は、画像データに加えて、画像を撮像した撮像日時の情報、撮像装置100を識別する識別情報、及び撮像装置100の撮像範囲の情報を、ネットワーク103を介して情報処理装置102等の外部装置へ送信する。 The imaging device 100 is a device that captures an image. The imaging apparatus 100 has a camera platform, a pan-tilt mechanism and a zoom mechanism that perform panning and tilting operations, and is capable of changing the imaging range. The imaging device 100 transmits image data of a captured image to an external device such as the information processing device 102 via the network 103 . In addition to the image data, the imaging device 100 also transmits information on the imaging date and time when the image was captured, identification information for identifying the imaging device 100, and information on the imaging range of the imaging device 100 to the information processing apparatus via the network 103. 102 or the like to an external device.

情報処理装置102は、パーソナルコンピュータ等のクライアント装置である。なお、本実施形態に係るシステムにおいて、撮像装置100は1つとするが、複数であってもよい。すなわち、複数の撮像装置100が、ネットワーク103を介して、情報処理装置102と接続されてもよい。この場合、情報処理装置102は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された画像が複数の撮像装置100のうちのどの撮像装置100により撮像された画像であるかを判断する。 The information processing device 102 is a client device such as a personal computer. In the system according to the present embodiment, one imaging device 100 is provided, but a plurality of imaging devices may be provided. In other words, multiple imaging devices 100 may be connected to the information processing device 102 via the network 103 . In this case, for example, the information processing apparatus 102 uses the identification information associated with the transmitted image to determine which imaging apparatus 100 of the plurality of imaging apparatuses 100 captured the transmitted image. to judge.

ディスプレイ104は、LCD(Liquid Crystal Display)等により構成されており、撮像装置100が撮像した画像等を表示する。ディスプレイ104は、HDMI(登録商標)(High Definition Multimedia Interface)等の通信規格に準拠したディスプレイケーブルを介して情報処理装置102と接続されている。なお、ディスプレイ104及び情報処理装置102は、単一の筐体に設けられてもよい。 The display 104 is configured by an LCD (Liquid Crystal Display) or the like, and displays an image or the like captured by the imaging device 100 . The display 104 is connected to the information processing device 102 via a display cable conforming to a communication standard such as HDMI (registered trademark) (High Definition Multimedia Interface). Note that the display 104 and the information processing device 102 may be provided in a single housing.

次に、図2及び図3を参照して、本実施形態に係る撮像装置100について説明する。図2は、本実施形態に係る撮像装置100の外観構成例を示す図である。また、図3は、本実施形態に係る撮像装置100及び情報処理装置102の機能構成例を示すブロック図である。なお、撮像装置100の画像処理部302、システム制御部303、パンチルト制御部304、ズーム制御部305、デジタルパンチルトズーム制御部307、時間判定部306、記憶部308、通信部309等の各機能は、次のようにして実現されるものとする。すなわち、撮像装置100のROM(Read Only Memory)に格納されたコンピュータプログラムを撮像装置100のCPU(Central Processing Unit)が実行することで実現される。 Next, the imaging device 100 according to this embodiment will be described with reference to FIGS. 2 and 3. FIG. FIG. 2 is a diagram showing an example of the external configuration of the imaging device 100 according to this embodiment. Also, FIG. 3 is a block diagram showing a functional configuration example of the imaging device 100 and the information processing device 102 according to this embodiment. The functions of the image processing unit 302, the system control unit 303, the pan-tilt control unit 304, the zoom control unit 305, the digital pan-tilt-zoom control unit 307, the time determination unit 306, the storage unit 308, the communication unit 309, etc. of the imaging apparatus 100 are , shall be realized as follows. That is, it is realized by the CPU (Central Processing Unit) of the imaging device 100 executing a computer program stored in the ROM (Read Only Memory) of the imaging device 100 .

レンズ201の光軸の向く方向が撮像装置100の撮像方向であり、レンズ201を通過した光束は、撮像装置100の撮像部301の撮像素子に結像される。レンズ駆動部202は、レンズ201を駆動させる駆動系により構成され、レンズ201の焦点距離を変更する。レンズ駆動部202は、ズーム制御部305により制御される。 The direction in which the optical axis of the lens 201 faces is the imaging direction of the imaging apparatus 100 , and the luminous flux passing through the lens 201 forms an image on the imaging element of the imaging unit 301 of the imaging apparatus 100 . A lens drive unit 202 is configured by a drive system that drives the lens 201 and changes the focal length of the lens 201 . The lens driver 202 is controlled by a zoom controller 305 .

パン駆動部203は、パン動作を行うメカ駆動系及び駆動源のモータにより構成され、撮像装置100の撮像方向をパン方向205に回転駆動させるための回転駆動を行うように駆動する。パン駆動部203は、パンチルト制御部304により制御される。チルト駆動部204は、チルト動作を行うメカ駆動系及び駆動源のモータにより構成され、撮像装置100の撮像方向をチルト方向206に回転駆動させるための回転駆動を行うように駆動する。チルト駆動部204は、パンチルト制御部304により制御される。 The pan drive unit 203 includes a mechanical drive system that performs a pan operation and a motor as a drive source, and drives the pan drive unit 203 to rotate the image capturing direction of the image capturing apparatus 100 in the pan direction 205 . The pan drive section 203 is controlled by a pan/tilt control section 304 . The tilt drive unit 204 includes a mechanical drive system that performs a tilt operation and a motor as a drive source, and drives the tilt drive unit 204 so as to rotationally drive the imaging direction of the imaging apparatus 100 in the tilt direction 206 . The tilt drive section 204 is controlled by a pan/tilt control section 304 .

撮像部301は、CCD(charge coupled device)センサやCMOS(complementary metal oxide semiconductor)センサ等の撮像素子(不図示)により構成される。撮像部301は、レンズ201を通って結像された被写体像を光電変換して電気信号を生成する。画像処理部302は、撮像部301において生成された被写体像に係る電気信号をデジタル信号へ変換する処理や、圧縮符号化処理等の画像処理を行い、画像データを生成する。 The imaging unit 301 is configured by an imaging element (not shown) such as a CCD (charge coupled device) sensor or a CMOS (complementary metal oxide semiconductor) sensor. The imaging unit 301 photoelectrically converts a subject image formed through the lens 201 to generate an electric signal. An image processing unit 302 performs image processing such as a process of converting an electrical signal related to a subject image generated by the imaging unit 301 into a digital signal and a compression coding process, and generates image data.

パンチルト(PT)制御部304は、システム制御部303から時間判定部306を介して伝達された指示に基づいて、パン駆動部203及びチルト駆動部204の制御を行うことで、撮像装置100のパン、チルトを制御する。ズーム制御部305は、システム制御部303から時間判定部306を介して伝達された指示に基づいて、レンズ駆動部202の制御を行うことで、撮像装置100のズームを制御する。 A pan/tilt (PT) control unit 304 controls the pan driving unit 203 and the tilt driving unit 204 based on an instruction transmitted from the system control unit 303 via the time determination unit 306, thereby controlling the panning of the imaging apparatus 100. , to control the tilt. The zoom control unit 305 controls zooming of the imaging apparatus 100 by controlling the lens driving unit 202 based on the instruction transmitted from the system control unit 303 via the time determination unit 306 .

デジタルパンチルト(PT)ズーム制御部307は、システム制御部303から時間判定部306を介して伝達された指示に基づいて、画像処理部302で生成された画像に対し切り出しを行うことで疑似的にパン、チルト、ズームされた画像データを生成する。デジタルパンチルトズーム制御部307は、画像処理部302で生成された画像から、ズームとして制御される画像の範囲を、パン及びチルトとして制御される移動量に基づいてオフセットをかけた位置から切り出す。ズームとして制御される画像範囲は、レンズ201の焦点距離から倍率を計算し、切り出しサイズを決定する。デジタルパンチルトズーム制御部307は、切り出した画像を切り出す前の画像と同じサイズ(解像度)に拡大してシステム制御部303へ提供する。デジタルパンチルトズーム制御部307は、生成手段の一例である。 A digital pan/tilt (PT) zoom control unit 307 cuts out an image generated by the image processing unit 302 based on an instruction transmitted from the system control unit 303 via the time determination unit 306 to simulate a Generate panned, tilted and zoomed image data. The digital pan/tilt/zoom control unit 307 cuts out the range of the image controlled as zoom from the image generated by the image processing unit 302 from the position offset based on the amount of movement controlled as pan and tilt. The image range controlled as zoom calculates the magnification from the focal length of the lens 201 and determines the cropping size. The digital pan/tilt/zoom control unit 307 enlarges the clipped image to the same size (resolution) as the image before clipping and provides it to the system control unit 303 . The digital pan/tilt/zoom control unit 307 is an example of generating means.

記憶部308は、例えば、撮像装置100の撮像範囲を示す情報を記憶(保持)する。また、記憶部308は、パン、チルト、ズームのそれぞれのメカ駆動に係るモータやギアボックス等のハード構成に基づく、パンチルト制御部304及びズーム制御部305で指定可能な速度の上限値及び下限値を保持する。記憶部308は、保持したパン、チルト、ズームのそれぞれについて指定可能な速度の上限値及び下限値を、必要に応じてパンチルト制御部304、ズーム制御部305、及び時間判定部306にシステム制御部303を介して伝達する。 The storage unit 308 stores (holds) information indicating the imaging range of the imaging device 100, for example. The storage unit 308 also stores upper and lower speed limits that can be specified by the pan/tilt control unit 304 and the zoom control unit 305, based on hardware configurations such as motors and gearboxes for mechanical driving of pan, tilt, and zoom. hold. The storage unit 308 supplies the stored upper limit and lower limit of specifiable speeds for each of pan, tilt, and zoom to the pan/tilt control unit 304, zoom control unit 305, and time determination unit 306 as necessary. 303.

通信部309は、情報処理装置102との通信を行う。例えば、通信部309は、撮像装置100が撮像した画像の画像データを、ネットワーク103を介して情報処理装置102に送信する。また、通信部309は、撮像装置100の現在の撮像範囲を示す情報を情報処理装置102に送信する。また、通信部309は、情報処理装置102から送信された撮像装置100を制御するためのコマンドである制御コマンドを受信し、システム制御部303へ伝達する。 A communication unit 309 communicates with the information processing apparatus 102 . For example, the communication unit 309 transmits image data of an image captured by the imaging device 100 to the information processing device 102 via the network 103 . The communication unit 309 also transmits information indicating the current imaging range of the imaging device 100 to the information processing device 102 . The communication unit 309 also receives a control command, which is a command for controlling the imaging apparatus 100 , transmitted from the information processing apparatus 102 and transmits the control command to the system control unit 303 .

システム制御部303は、撮像装置100の全体を制御し、例えば、次のような処理を行う。システム制御部303は、情報処理装置102から送信された撮像装置100を制御する制御コマンドを解析し、制御コマンドに応じた処理を行う。また、システム制御部303は、パンチルト制御部304及びズーム制御部305に対して、時間判定部306を介してパンチルトズーム動作の指示を行う。システム制御部303は、デジタルパンチルトズーム制御部307に対して、時間判定部306を介してデジタルパンチルトズーム動作の指示を行う。システム制御部303は、時間判定部306に対して、後述するショット動作の指定時間315を伝達する。また、システム制御部303は、画像処理部302で生成された画像データを情報処理装置102に送信する際に、当該画像データを撮像した撮像時刻の情報及び撮像範囲の情報を画像データに付与する。 The system control unit 303 controls the entire imaging apparatus 100 and performs, for example, the following processing. The system control unit 303 analyzes a control command for controlling the imaging apparatus 100 transmitted from the information processing apparatus 102, and performs processing according to the control command. The system control unit 303 also instructs the pan/tilt control unit 304 and the zoom control unit 305 to perform pan/tilt/zoom operations via the time determination unit 306 . The system control unit 303 instructs the digital pan/tilt/zoom control unit 307 via the time determination unit 306 to perform a digital pan/tilt/zoom operation. The system control unit 303 transmits to the time determination unit 306 a designated time 315 for a shot motion, which will be described later. Further, when the image data generated by the image processing unit 302 is transmitted to the information processing apparatus 102, the system control unit 303 adds to the image data information on the imaging time and information on the imaging range of the image data. .

本実施形態における撮像範囲は、撮像装置100のパン値、チルト値、及びズーム値により撮像された画像に対してデジタルパンチルトズーム制御部307により切り出し処理を行った後の画像によって定まるものとする。なお、パン値は、パン駆動部203の駆動端の一方を0°としたときの、撮像装置100のパン方向205における撮像方向(光軸)の角度である。また、チルト値は、チルト駆動部204の駆動端の一方を0°としたときの、撮像装置100のチルト方向206における撮像方向(光軸)の角度である。なお、ズーム値は、撮像装置100により画像が撮像されるときのレンズ201の焦点距離から算出する。つまり、パン駆動部203、チルト駆動部204、レンズ201によって決定された画角の画像から、さらにデジタルパンチルトズーム制御部307によって切り出し処理を行い、システム制御部312に出力された画像の範囲を撮像範囲とする。 The imaging range in the present embodiment is determined by the image captured by the pan value, tilt value, and zoom value of the imaging device 100 and after the digital pan tilt zoom control unit 307 performs clipping processing. Note that the pan value is the angle of the imaging direction (optical axis) in the pan direction 205 of the imaging apparatus 100 when one driving end of the pan driving unit 203 is 0°. The tilt value is the angle of the imaging direction (optical axis) in the tilt direction 206 of the imaging apparatus 100 when one of the drive ends of the tilt drive unit 204 is 0°. Note that the zoom value is calculated from the focal length of the lens 201 when the imaging device 100 captures an image. In other words, the digital pan/tilt/zoom control unit 307 performs clipping processing from the image of the angle of view determined by the pan drive unit 203, tilt drive unit 204, and lens 201, and the range of the image output to the system control unit 312 is picked up. Range.

時間判定部306は、後述するショット動作に関する処理を実行する。時間判定部306は、システム制御部303から到達目標とする目標撮像範囲と指定時間とを取得し、現在の撮像範囲と目標撮像範囲とから、ショット動作を実現するためのパラメータを演算する。さらに、時間判定部306は、ショット動作に要する所要時間を算出し、時間に応じたパン制御、チルト制御、ズーム制御、及びデジタルパンチルトズーム制御の指示を送る。 The time determination unit 306 executes processing related to shot motions, which will be described later. The time determination unit 306 acquires the target imaging range and the specified time from the system control unit 303, and calculates parameters for realizing a shot motion from the current imaging range and the target imaging range. Furthermore, the time determination unit 306 calculates the required time required for the shot motion, and sends instructions for pan control, tilt control, zoom control, and digital pan/tilt/zoom control according to the time.

時間判定部306は、撮像装置100の現在の撮像範囲とショット動作での目標撮像範囲との差分(駆動量)を、パン値、チルト値、及びズーム値の各々について算出する。さらに、時間判定部306は、求めたパン、チルト、及びズームのそれぞれの差分(駆動量)と、記憶部308に保持されているそれぞれの制御で可能な速度の上下限値とに基づいて、それぞれの制御の所要時間の上下限値を算出する。時間判定部306は、パン方向に駆動するための所要時間であるパン所要時間の上下限値、チルト方向に駆動するための所要時間であるチルト所要時間の上下限値、及びズームを制御するための所要時間であるズーム所要時間の上下限値を算出する。 The time determination unit 306 calculates the difference (driving amount) between the current imaging range of the imaging device 100 and the target imaging range in the shot operation for each of the pan value, tilt value, and zoom value. Furthermore, the time determination unit 306, based on the obtained difference (driving amount) of each of the pan, tilt, and zoom, and the upper and lower limit values of the speed that can be controlled by each control held in the storage unit 308, The upper and lower limits of the time required for each control are calculated. The time determination unit 306 controls the upper and lower limits of the required pan time, which is the time required for driving in the pan direction, the upper and lower limits of the required tilt time, which is the time required to drive in the tilt direction, and the zoom control. , the upper and lower limits of the required zoom time are calculated.

ショット動作の指定時間がパン所要時間及びチルト所要時間の上下限値の範囲に収まっている場合、デジタルパンチルトズーム制御部307での画像の切り出しはせずに、そのままの画像がシステム制御部303に送られる。また、ショット動作の指定時間に合わせた、パン、チルト、及びズームの駆動量と速度がパンチルト制御部304及びズーム制御部305に送られ、それに応じたパンチルトズーム制御が実行される。 When the designated time of the shot operation is within the range of the upper and lower limits of the required panning time and the required tilting time, the digital pan/tilt/zoom control unit 307 does not cut out the image, and the image is sent to the system control unit 303 as it is. Sent. In addition, pan, tilt, and zoom driving amounts and speeds in accordance with the specified time of the shot motion are sent to the pan/tilt control section 304 and the zoom control section 305, and the corresponding pan/tilt/zoom control is executed.

一方、ショット動作の指定時間がパン所要時間及びチルト所要時間のいずれかの上下限値の範囲に収まっていない場合、デジタルパンチルトズーム制御部307に画像の切り出しの指示が出される。また、パンチルト制御部304及びズーム制御部305に連動した動作を行うよう指示が出される。 On the other hand, if the designated time for the shot motion is not within the range of the upper and lower limits of either the required panning time or the required tilting time, the digital pan/tilt/zoom control unit 307 is instructed to cut out an image. In addition, an instruction is issued to perform an operation linked to the pan/tilt control unit 304 and the zoom control unit 305 .

パン所要時間及びチルト所要時間のいずれか、あるいはパン所要時間及びチルト所要時間のいずれかとズーム所要時間との上下限値の範囲に指定時間が収まっていない場合、次のような制御が行われる。ズーム制御部305に対しては、デジタルパンチルトズーム制御部307で必要な画角の画像が撮像部301から取得可能とするように、パン所要時間及びチルト所要時間の上下限値から外れた差分量に応じて広角側にズーム制御するよう指示が出される。また、パンチルト制御部304に対しては、ショット動作の目標撮像範囲にできる限り制御を行うよう指示が出される。デジタルパンチルトズーム制御部307に対しては、ズーム制御部305で制御された量に応じて切り出し制御を行い、パンチルト制御部304で制御不可能な画角をデジタルパンチルトズームで補うよう指示が出される。なお、ショット動作の指定時間がズーム所要時間の上下限値のみから外れた場合、デジタルパンチルトズーム制御部307による画像の切り出しの際にパン及びチルトに応じたオフセットをかけずに、画像の中心付近の切り出しが行われる。 If the specified time does not fall within the upper and lower limits of either the required panning time or the required tilting time, or the required panning time or the required tilting time and the required zooming time, the following control is performed. For the zoom control unit 305, the amount of difference outside the upper and lower limit values of the required panning time and the required tilting time is adjusted so that the digital pan/tilt/zoom control unit 307 can acquire an image of the required angle of view from the imaging unit 301. An instruction is issued to perform zoom control to the wide-angle side in response to . Also, the pan/tilt control unit 304 is instructed to control the target imaging range of the shot motion as much as possible. The digital pan/tilt/zoom control unit 307 is instructed to perform clipping control according to the amount controlled by the zoom control unit 305, and to compensate for the angle of view that cannot be controlled by the pan/tilt control unit 304 with the digital pan/tilt/zoom. . It should be noted that if the designated time of the shot motion is out of the upper and lower limit values of the required zoom time, the digital pan/tilt/zoom control unit 307 cuts out the image without applying an offset corresponding to the panning and tilting. is cut out.

デジタルパンチルトズームとパン、チルト、ズームの併用によって指定時間内に目標撮像範囲に画角が収まった後も、目標撮像範囲から外れないようにパン駆動部203、チルト駆動部204、及びレンズ駆動部202が制御される。このとき、デジタルパンチルトズーム制御部307は、目標撮像範囲の画像データが出力されるように、パン、チルト、ズームの移動した量を相殺するように切り出し位置を計算し制御を行う。 A pan driving unit 203, a tilt driving unit 204, and a lens driving unit so that even after the angle of view falls within the target imaging range within a specified time by using digital pan/tilt zoom and pan/tilt/zoom in combination, it does not deviate from the target imaging range. 202 is controlled. At this time, the digital pan/tilt/zoom control unit 307 calculates and controls the cutout position so as to offset the movement amount of the pan, tilt, and zoom so that the image data of the target imaging range is output.

続いて、図3を参照して、本実施形態に係る情報処理装置102について説明する。表示制御部310は、撮像装置100により撮像された画像やショット動作に係る設定画面等をディスプレイ104に表示させる。操作受付部311は、キーボード、マウス、タッチパネル等の入力装置(不図示)を介して、ユーザによる各種操作の情報を受け付ける。ここで、例えば、ショット動作に関する設定では、表示制御部310が、設定を行うための設定画面をディスプレイ104に表示させ、操作受付部311が、ディスプレイ104に表示された設定画面に対するユーザ操作の情報を受け付ける。システム制御部312は、操作受付部311が受け付けたユーザ操作に基づく各種設定コマンドや制御コマンドを生成し、通信部313を介して撮像装置100に送信する。 Next, the information processing apparatus 102 according to this embodiment will be described with reference to FIG. The display control unit 310 causes the display 104 to display an image captured by the imaging device 100, a setting screen related to a shot operation, and the like. The operation reception unit 311 receives information on various operations performed by the user via an input device (not shown) such as a keyboard, mouse, or touch panel. Here, for example, in the setting related to the shot operation, the display control unit 310 causes the display 104 to display a setting screen for setting, and the operation reception unit 311 receives information on the user operation on the setting screen displayed on the display 104. accept. The system control unit 312 generates various setting commands and control commands based on user operations received by the operation receiving unit 311 and transmits them to the imaging device 100 via the communication unit 313 .

通信部313は、システム制御部312から送信される各種設定コマンドや撮像装置100の制御コマンドを撮像装置100に送信する。また、通信部313は、撮像装置100から送信される画像データや、送信したコマンドに対する撮像装置100からのレスポンスを受信してシステム制御部312に送信する。記憶部314は、ショット動作に係る情報や、通信部313が受信した画像データ等を記憶する。 The communication unit 313 transmits various setting commands and control commands for the imaging device 100 transmitted from the system control unit 312 to the imaging device 100 . The communication unit 313 also receives image data transmitted from the imaging device 100 and a response from the imaging device 100 to the transmitted command, and transmits the received data to the system control unit 312 . The storage unit 314 stores information related to shot motions, image data received by the communication unit 313, and the like.

次に、図4及び図5を参照して、被写体401に対してショット動作を行う際のパンチルトが指定時間内に目標撮像範囲に到達しない場合と、デジタルパンチルトズームを用いて指定時間内に目標撮像範囲に到達させる方法について説明する。 Next, with reference to FIGS. 4 and 5, the case where the pan-tilt does not reach the target imaging range within the specified time when performing the shot operation on the subject 401, and the case where the digital pan-tilt-zoom is used to achieve the target within the specified time. A method for reaching the imaging range will be described.

図4は、ショット動作の指定時間が経過したときのショット動作の結果の例を示す図である。図4(a)には、ショット動作の結果、パン及びチルトが指定時間内に目標撮像範囲402に到達した様子を示している。図4(a)に示す例では、撮像装置100のパン、チルト、及びズームによる画角である実到達範囲403が、画角の位置及び画角の大きさともに目標撮像範囲402と一致していることがわかる。図4(b)には、ショット動作の結果、パン及びチルトが指定時間内に目標撮像範囲402に到達しない様子を示している。図4(b)に示す例では、撮像装置100のパン、チルト、及びズームによる実到達範囲403は、目標撮像範囲402と画角の大きさが一致しており、ズームは目標に到達していることがわかる。しかし、撮像装置100のパン、チルト、及びズームによる実到達範囲403は、目標撮像範囲402と画角の大きさが不一致となっており、指定時間内にパン及びチルトが目標撮像範囲402に到達しえなかった様子を示している。 FIG. 4 is a diagram showing an example of the result of the shot motion when the designated time for the shot motion has passed. FIG. 4A shows how panning and tilting reaches the target imaging range 402 within the designated time as a result of the shot motion. In the example shown in FIG. 4A, the actual reachable range 403, which is the angle of view of the imaging apparatus 100 by panning, tilting, and zooming, matches the target imaging range 402 in both the position and the size of the angle of view. I know there is. FIG. 4B shows how panning and tilting do not reach the target imaging range 402 within the specified time as a result of the shot motion. In the example shown in FIG. 4B, the actual reachable range 403 by panning, tilting, and zooming of the imaging device 100 matches the target imaging range 402 in terms of angle of view, and the zoom reaches the target. I know there is. However, the actual reachable range 403 by panning, tilting, and zooming of the imaging apparatus 100 does not match the target imaging range 402 in terms of angle of view. It shows how it was impossible.

図4に対して、図5ではデジタルパンチルトズームを用いることで、指定時間内に目標撮像範囲402へ画角を合わせることを可能とする方法について示す。本実施形態では、ショット動作の指定時間内にパンチルト動作のみで目標撮像範囲402に到達しえない場合、デジタルパンチルトズームを用いて目標撮像範囲402の画像データを提供する。図5では、デジタルパンチルトズーム制御部307によって制御された画像の切り出し範囲を示すデジタルパンチルトズーム拡張範囲501を用いて、目標撮像範囲402と実到達範囲403とデジタルパンチルトズームによって切り出された範囲の関係性を示す。 In contrast to FIG. 4, FIG. 5 shows a method of making it possible to match the angle of view to the target imaging range 402 within a specified time by using digital pan-tilt-zoom. In this embodiment, if the target imaging range 402 cannot be reached by only the pan-tilt motion within the designated time of the shot motion, the digital pan-tilt-zoom is used to provide the image data of the target imaging range 402 . In FIG. 5, a digital pan-tilt-zoom extension range 501 indicating an image clipping range controlled by the digital pan-tilt-zoom control unit 307 is used to show the relationship between a target imaging range 402, an actual reaching range 403, and a range clipped by the digital pan-tilt-zoom. show gender.

図5(a)には、ショット動作の開始時について示している。ショット動作の開始時は、実到達範囲403とデジタルパンチルトズーム拡張範囲501とが同一範囲を示しており、目標撮像範囲402へ向けて駆動を開始する。ここで、時間判定部306で判定した結果、指定時間以内で撮像装置100のパン、チルト、ズームが目標撮像範囲402に到達しないと判別され、デジタルパンチルトズーム制御部307の制御を行うこととする。 FIG. 5(a) shows the start of the shot motion. At the start of the shot operation, the actual reachable range 403 and the digital pan/tilt zoom extended range 501 indicate the same range, and driving toward the target imaging range 402 is started. Here, as a result of the determination by the time determination unit 306, it is determined that the pan, tilt, and zoom of the imaging apparatus 100 will not reach the target imaging range 402 within the specified time, and the digital pan/tilt/zoom control unit 307 is controlled. .

図5(b)には、ズーム制御部305でレンズ201を広角側に駆動させ、デジタルパンチルトズームを行った様子を示している。目標撮像範囲402へパン、チルト、ズームが制約なく指定時間で制御されるとした場合の任意の経過時間tにおける撮像範囲を実到達範囲403からデジタルパンチルトズーム制御部307で切り出しできるように、次のような制御が行われる。まず、時間判定部306は、パンチルト制御部304の制御値を計算する。次に、時間判定部306は、パンチルト制御部304で制御した結果、撮像装置100が到達できないパン及びチルトの移動量を計算し、到達できない移動量に応じてズームを広角側に制御するようズーム制御部305へ通知する。時間判定部306は、経過時間tにおけるデジタルパンチルトズーム拡張範囲501を処理周期毎に更新し、デジタルパンチルトズーム制御部307でパンチルト制御部304及びズーム制御部305での移動量に応じた範囲の切り出し処理を行うよう制御する。 FIG. 5B shows how the zoom control unit 305 drives the lens 201 to the wide-angle side to perform digital pan/tilt zoom. The digital pan/tilt/zoom control unit 307 can extract the imaging range at an arbitrary elapsed time t from the actual reaching range 403 when panning, tilting, and zooming to the target imaging range 402 are controlled at a specified time without restrictions. is controlled as follows. First, the time determination section 306 calculates a control value for the pan/tilt control section 304 . Next, the time determination unit 306 calculates the amount of panning and tilting that the imaging apparatus 100 cannot reach as a result of the control by the pan/tilt control unit 304, and controls the zoom to the wide-angle side according to the amount of movement that the imaging apparatus 100 cannot reach. The controller 305 is notified. The time determination unit 306 updates the digital pan-tilt-zoom expansion range 501 at the elapsed time t for each processing cycle, and the digital pan-tilt-zoom control unit 307 cuts out the range according to the amount of movement in the pan-tilt control unit 304 and the zoom control unit 305. control the processing.

図5(c)には、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に到達した様子を示している。デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に到達したとき、実到達範囲403の画像から切り出した目標撮像範囲402の画像が提供されるため、ユーザに対してはショット動作の完了を通知する。しかしながら、実到達範囲403が目標撮像範囲402に到達していないので、パン駆動部203、チルト駆動部204、及びレンズ駆動部202は、目標撮像範囲402に対して駆動を続ける。デジタルパンチルトズーム制御部307は、パン駆動部203、チルト駆動部204、及びレンズ駆動部202が駆動した量を相殺し、切り出し範囲が目標撮像範囲402となるように制御して画像の切り出しを行う。 FIG. 5C shows how the digital pan-tilt-zoom extension range 501 reaches the target imaging range 402 . When the digital pan-tilt-zoom extension range 501 reaches the target imaging range 402, an image of the target imaging range 402 cut out from the image of the actual reachable range 403 is provided, so that the user is notified of the completion of the shot motion. However, since the actual reaching range 403 has not reached the target imaging range 402 , the pan driving section 203 , tilt driving section 204 and lens driving section 202 continue to drive the target imaging range 402 . The digital pan/tilt/zoom control unit 307 cancels the amounts driven by the pan driving unit 203, the tilt driving unit 204, and the lens driving unit 202, and controls the cropping range so that it becomes the target imaging range 402, thereby cropping the image. .

図5(d)には、図5(c)に示した例での制御が完了し、実到達範囲403も目標撮像範囲402に到達した状態を示している。デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に到達したときにユーザに対してショット動作の完了を通知したが、撮像装置100の内部の制御では実到達範囲403が目標撮像範囲402に到達したとき、すべての動作が完了したとする。 FIG. 5D shows a state in which the control in the example shown in FIG. When the digital pan/tilt zoom extension range 501 reaches the target imaging range 402, the user is notified of the completion of the shot operation. , all operations are completed.

以上のような処理によって、パン又はチルトの駆動時間(パン所要時間又はチルト所要時間)が指定時間を満たせない場合、デジタルパンチルトズーム制御を併用することで、ショット動作の指定時間を満たすような画像を提供することができる。 If the panning or tilting driving time (required panning time or required tilting time) cannot meet the specified time by the above processing, an image that satisfies the specified time of the shot motion can be obtained by using digital pan/tilt/zoom control together. can be provided.

ここで、図6を参照して、デジタルパンチルトズーム制御を併用したショット動作を行う際のユーザインターフェースの一例について説明する。図6に示す設定画面601は、表示制御部310によりディスプレイ104に表示される画面であって、ショット動作に関する設定のユーザ操作を受け付ける画面である。本実施形態における設定画面601では、目標撮像範囲402の設定と関連付けられるショット番号を登録する機能と、ショット動作を実行する機能を持つ。ショット番号を登録する際、ユーザは、撮像装置100のパン、チルト、及びズームの少なくともいずれかを制御して撮像範囲を制御し、所望の撮像範囲に制御した後にショット番号登録602でショット番号を入力し、登録ボタン603を押下する。このとき、ショット番号登録602にて入力されたショット番号の情報が情報処理装置102から撮像装置100に送信される。そして、撮像装置100は、現在の撮像範囲をショット動作の目標撮像範囲402として、ショット番号登録602にて入力されたショット番号の値と関連付けて記憶部308に記憶する。なお、記憶される目標撮像範囲402の情報として、目標撮像範囲402を示すパン値、チルト値、及びズーム値の情報が記憶部308に保持される。なお、情報処理装置102の記憶部314も、入力されたショット番号と目標撮像範囲402の情報とを関連付けて保持するようにしてもよい。 Here, with reference to FIG. 6, an example of a user interface when performing a shot motion using digital pan/tilt/zoom control will be described. A setting screen 601 shown in FIG. 6 is a screen displayed on the display 104 by the display control unit 310, and is a screen for accepting a user operation for setting regarding shot motion. The setting screen 601 in this embodiment has a function of registering a shot number associated with the setting of the target imaging range 402 and a function of executing a shot operation. When registering the shot number, the user controls at least one of pan, tilt, and zoom of the imaging device 100 to control the imaging range, and after controlling to the desired imaging range, registers the shot number in shot number registration 602 . Enter and press the registration button 603 . At this time, the shot number information input in the shot number registration 602 is transmitted from the information processing apparatus 102 to the imaging apparatus 100 . Then, the imaging apparatus 100 stores the current imaging range as the target imaging range 402 of the shot motion in the storage unit 308 in association with the value of the shot number input in the shot number registration 602 . As the information of the target imaging range 402 to be stored, information of the pan value, tilt value, and zoom value indicating the target imaging range 402 is held in the storage unit 308 . Note that the storage unit 314 of the information processing apparatus 102 may also associate and hold the input shot number and the information of the target imaging range 402 .

また、ショット動作を実行する機能として、次のような処理が行われる。操作受付部311は、既にショット番号登録602を介して登録された番号のうち、ショット番号選択604にて1つの番号を選択するユーザ操作を受け付ける。さらに、操作受付部311は、ショット時間入力605において移動時間を指定するユーザ操作を受け付ける。ユーザ操作の結果設定された時間は、ショット時間表示部606に表示される。ショット時間入力605は、ユーザが指定時間を細かく操作可能とする時間指定操作部608、及び指定時間を操作可能な時間指定シークバー609で時間操作を可能としている。時間指定シークバー609は、撮像装置100の時間判定部306から取得した情報に基づいて、デジタルPTズーム併用時間611とデジタルPTズーム非併用時間612と異なる表示形式で示している。デジタルPTズーム併用時間611は、デジタルパンチルトズームを併用する時間であり、デジタルPTズーム非併用時間612は、デジタルパンチルトズームは併用しないでメカ駆動のパン、チルト、及びズームのみで駆動可能な時間である。このようにして、時間指定シークバー609は、デジタルパンチルトズームを併用する指定時間の範囲と、メカ駆動のパン、チルト、及びズームのみで駆動する指定時間の範囲を示している。これは画質低下の可能性があるデジタルPTズーム併用時間611をユーザに対して提示し、画質低下と指定時間のどちらかをユーザが選択可能なインタフェース構成となっている。時間表示部610は、ショット動作として指定可能な範囲と、デジタルPTズーム併用時間611とデジタルPTズーム非併用時間612の切り替え時間を表示している。 Also, the following processing is performed as the function of executing the shot motion. The operation accepting unit 311 accepts a user operation of selecting one number in the shot number selection 604 from among the numbers already registered through the shot number registration 602 . Further, the operation accepting unit 311 accepts a user operation of designating the movement time in the shot time input 605 . The time set as a result of user operation is displayed in the shot time display portion 606 . The shot time input 605 enables time operation with a time designation operation section 608 that allows the user to finely manipulate the designated time and a time designation seek bar 609 that allows the user to manipulate the designated time. A time designation seek bar 609 indicates a digital PT zoom combined time 611 and a digital PT zoom non-combined time 612 in different display formats based on information acquired from the time determination unit 306 of the imaging apparatus 100 . The digital PT zoom combined time 611 is the time during which the digital pan-tilt zoom is used together, and the digital PT zoom non-combined time 612 is the time during which the digital pan-tilt-zoom is not combined and can be driven only by mechanically driven pan, tilt, and zoom. be. In this manner, the time designation seek bar 609 indicates a designated time range in which digital pan/tilt zoom is used together, and a designated time range in which only mechanical panning, tilting, and zooming are used. This presents the user with a digital PT zoom combination time 611 in which the image quality may deteriorate, and has an interface configuration in which the user can select either the image quality deterioration or the designated time. A time display section 610 displays a range that can be specified as a shot motion and a switching time between a digital PT zoom combined time 611 and a digital PT zoom non-combined time 612 .

ここで、実行ボタン607を押下するユーザ操作が受け付けられると、情報処理装置102は、ショット番号選択604で選択されたショット番号の情報と、ショット時間入力605で指定された移動時間(指定時間)の情報とを撮像装置100に送信する。撮像装置100は、情報処理装置102から送信された情報に従ってショット動作を行う。 Here, when the user's operation of pressing the execution button 607 is accepted, the information processing apparatus 102 acquires the information of the shot number selected by the shot number selection 604 and the movement time (specified time) specified by the shot time input 605. information to the imaging device 100 . The imaging device 100 performs a shot motion according to information transmitted from the information processing device 102 .

図7を参照して、デジタルパンチルトズームを併用したショット動作における時間判定部306の動作について説明する。図7は、第1の実施形態に係るパンチルトズーム制御の例を示すフローチャートである。図6に示した設定画面601の実行ボタン607を押下され、情報処理装置102からショット動作に係る情報を受信しショット動作の実行が指示されると、図7のフローチャートに示す動作が開始される。 With reference to FIG. 7, the operation of the time determining unit 306 in a shot operation using digital pan tilt zoom will be described. FIG. 7 is a flowchart showing an example of pan tilt zoom control according to the first embodiment. When the execution button 607 on the setting screen 601 shown in FIG. 6 is pressed, information relating to the shot motion is received from the information processing apparatus 102, and execution of the shot motion is instructed, the operation shown in the flowchart of FIG. 7 is started. .

ステップS701にて、時間判定部306は、指定されたショット番号に基づいて、記憶部308に記録されているパン、チルト、及びズームによる目標撮像範囲402を、システム制御部303を介して取得する。
ステップS702にて、時間判定部306は、現在のパン、チルト、及びズームの位置をパンチルト制御部304及びズーム制御部305から取得して、現在の位置と目標撮像範囲402との差分からパン及びチルトの駆動時間を計算する。
In step S701, the time determination unit 306 acquires the target imaging range 402 by panning, tilting, and zooming recorded in the storage unit 308 via the system control unit 303 based on the designated shot number. .
In step S<b>702 , the time determination unit 306 acquires the current pan, tilt, and zoom positions from the pan/tilt control unit 304 and the zoom control unit 305 , and determines the pan and tilt positions based on the difference between the current position and the target imaging range 402 . Calculate the tilt driving time.

その後、時間判定部306は、パン、チルト、ズームの値が目標撮像範囲402に到達するまで、ステップS703以降の処理を繰り返し行う。
まず、ステップS704にて、時間判定部306は、目標撮像範囲402へ到達するためのパン、チルト、及びズームの移動量を計算し、算出した移動量に基づいて各制御の駆動時間を計算する。
After that, the time determination unit 306 repeats the processing after step S703 until the pan, tilt, and zoom values reach the target imaging range 402 .
First, in step S704, the time determination unit 306 calculates the movement amount of pan, tilt, and zoom for reaching the target imaging range 402, and calculates the driving time of each control based on the calculated movement amount. .

ステップS705にて、時間判定部306は、ステップS704において算出したパン及びチルトの駆動時間が指定時間を超えているか否かを判定する。ステップS704において算出したパン及びチルトの駆動時間の少なくとも1つの駆動時間が指定時間を超えていると判定した場合(ステップS705でYES)、時間判定部306はステップS706へ進む。一方、ステップS704において算出したパン及びチルトの駆動時間がともに指定時間を超えていないと判定した場合(ステップS705でNO)、時間判定部306はステップS712へ進む。 In step S705, the time determination unit 306 determines whether or not the pan and tilt driving time calculated in step S704 exceeds the specified time. If it is determined that at least one drive time of the pan and tilt drive times calculated in step S704 exceeds the specified time (YES in step S705), the time determination unit 306 proceeds to step S706. On the other hand, if it is determined that both the panning and tilting drive times calculated in step S704 have not exceeded the specified time (NO in step S705), the time determining unit 306 proceeds to step S712.

ステップS706にて、時間判定部306は、パン及びチルトの移動量を上限値又は下限値に設定し、パン及びチルトの制御値を更新する。 In step S706, the time determination unit 306 sets the panning and tilting movement amounts to the upper limit or lower limit, and updates the panning and tilting control values.

ステップS707にて、時間判定部306は、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達しているか否かを判定する。デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達していないと判定した場合(ステップS707でYES)、時間判定部306はステップS708へ進む。一方、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達していると判定した場合(ステップS707でNO)、時間判定部306はステップS712へ進む。 In step S<b>707 , the time determination unit 306 determines whether or not the digital pan/tilt zoom extension range 501 has reached the target imaging range 402 . If it is determined that the digital pan/tilt zoom extension range 501 has not reached the target imaging range 402 (YES in step S707), the time determination unit 306 proceeds to step S708. On the other hand, if it is determined that the digital pan-tilt-zoom extension range 501 has reached the target imaging range 402 (NO in step S707), the time determination unit 306 proceeds to step S712.

ステップS708にて、時間判定部306は、指定時間でパン及びチルトが駆動できたと仮定した場合に移動する移動量と、先に計算したパン及びチルトの駆動量との差分を計算する。
ステップS709にて、時間判定部306は、ステップS708において算出した差分移動量から広角側にレンズ201を制御するようズームの制御値を計算し、ズームの移動量を更新する。
In step S708, the time determination unit 306 calculates the difference between the amount of movement that would occur if panning and tilting could be driven in the specified time, and the previously calculated panning and tilting driving amount.
In step S709, the time determination unit 306 calculates a zoom control value so as to control the lens 201 to the wide-angle side from the differential movement amount calculated in step S708, and updates the zoom movement amount.

ステップS710にて、時間判定部306は、パン及びチルトの制御値及びステップS709において算出したズームの制御値に基づいて、デジタルパンチルトズームの移動量を計算する。
ステップS711にて、時間判定部306は、ステップS710において算出したデジタルパンチルトズームの移動量に基づいて、デジタルパンチルトズーム制御部307での切り出し範囲の大きさを決定する。また、時間判定部306は、決定した切り出し範囲とパン及びチルトの制御値に基づいて、画像の切り出しのオフセット値を計算し、デジタルパンチルトズームの制御を実行する。
In step S710, the time determination unit 306 calculates the amount of digital pan-tilt-zoom movement based on the pan and tilt control values and the zoom control value calculated in step S709.
In step S711, the time determination unit 306 determines the size of the clipping range in the digital pan-tilt-zoom control unit 307 based on the amount of digital pan-tilt-zoom movement calculated in step S710. The time determination unit 306 also calculates an offset value for image clipping based on the determined clipping range and pan/tilt control values, and executes digital pan/tilt/zoom control.

ステップS712にて、時間判定部306は、パン及びチルトの制御値、及びズームの制御値をそれぞれ反映させ、パンチルト制御部304及びズーム制御部305を介してパンチルト制御及びズーム制御を行う。
そして、ステップS703以降の処理をパン、チルト、ズームの値が目標撮像範囲402に到達するまで繰り返し行い、パン、チルト、ズームの値が目標撮像範囲402に到達すると、時間判定部306は図7に示した処理を終了する。
In step S<b>712 , the time determination unit 306 reflects the pan and tilt control values and the zoom control value, respectively, and performs pan/tilt control and zoom control via the pan/tilt control unit 304 and the zoom control unit 305 .
Then, the processing after step S703 is repeatedly performed until the pan, tilt, and zoom values reach the target imaging range 402. When the pan, tilt, and zoom values reach the target imaging range 402, the time determination unit 306 performs the processing shown in FIG. end the processing shown in .

本実施形態によれば、ショット動作においてメカ駆動のみではパン及びチルトが指定時間内に目標撮像範囲402に到達不可能である場合でも、デジタルパンチルトズームを併用することで、指定時間に目標撮像範囲402の画像を出力することが可能となる。 According to this embodiment, even if the pan and tilt cannot reach the target imaging range 402 within the specified time only by mechanical driving in the shot operation, by using the digital pan/tilt zoom together, the target imaging range can be reached within the specified time. 402 images can be output.

(第2の実施形態)
次に、図8及び図9を参照して、第2実施形態について説明する。第2の実施形態では、フォーカスやパン及びチルトのオーバーシュートの影響を考慮した、デジタルパンチルトズームを併用したショット機能について述べる。以下では、第2の実施形態において、前述した第1の実施形態と異なる点を中心に説明する。
(Second embodiment)
Next, a second embodiment will be described with reference to FIGS. 8 and 9. FIG. In the second embodiment, a shot function using digital pan/tilt/zoom in consideration of the effects of focus, pan, and tilt overshoot will be described. In the following, the second embodiment will be described, focusing on the differences from the above-described first embodiment.

図8は、第2の実施形態に係る撮像装置100及び情報処理装置102の機能構成例を示すブロック図である。図8において、図3に示した構成要素と同様の構成要素には同一の符号を付し、重複する説明は省略する。以下、第1の実施形態との差分であるフォーカス制御部801及び時間判定部802を中心に説明する。 FIG. 8 is a block diagram showing a functional configuration example of an imaging device 100 and an information processing device 102 according to the second embodiment. In FIG. 8, the same reference numerals are assigned to the same components as those shown in FIG. 3, and overlapping descriptions are omitted. A focus control unit 801 and a time determination unit 802, which are different from the first embodiment, will be mainly described below.

フォーカス制御部801は、オートフォーカスに係る制御を行い、レンズ201の制御駆動量等を時間判定部802に送る。時間判定部802は、第1の実施形態で示した時間判定部306の処理に加えて、オートフォーカスやパン及びチルトの制御がオーバーシュートするなどして画像に大きな変化が発生しないように、デジタルパンチルトズームの状態に応じて制御を切り替える。 A focus control unit 801 performs control related to autofocus, and sends a control driving amount of the lens 201 and the like to a time determination unit 802 . In addition to the processing of the time determination unit 306 described in the first embodiment, the time determination unit 802 performs digital Control is switched according to the pan/tilt/zoom state.

第1の実施形態では、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に到達した後も、パン、チルト、及びズームの制御をそれぞれ可能な範囲で制御していた。ユーザに対してはデジタルパンチルトズーム拡張範囲501が目標撮像範囲402に到達した時点でショット動作の完了を通知しているため、ユーザが見ている画像の画角からは変化がない。しかしながら、ユーザに対してショット動作の完了を通知した後も、バックグラウンドでパン、チルト、及びレンズの制御が継続している。そのため、ズーム値を変更し、オートフォーカスが駆動した際に画像のフォーカスが一瞬乱れる、パン及びチルトの制御がオーバーシュートするなどして、変化するはずのない画像が変化してしまうことがある。こうした画像の変化を回避するため、時間判定部802は、画像の変化が極力少なくなるように、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達した後、各制御の速度を低下することで画像の変化が発生しないように制御を変更する。 In the first embodiment, even after the digital pan-tilt-zoom extension range 501 reaches the target imaging range 402, the pan, tilt, and zoom controls are controlled within their respective possible ranges. Since the user is notified of the completion of the shot operation when the digital pan-tilt-zoom extension range 501 reaches the target imaging range 402, there is no change in the angle of view of the image viewed by the user. However, pan, tilt, and lens controls continue in the background even after the user is notified of the completion of the shot operation. Therefore, when the zoom value is changed and the autofocus is driven, the focus of the image is momentarily disturbed, or pan and tilt control overshoots, and the image that should not change may change. In order to avoid such image changes, the time determination unit 802 reduces the speed of each control after the digital pan/tilt zoom extension range 501 reaches the target imaging range 402 so that the image changes are minimized. Change the control so that no image change occurs.

図9は、第2の実施形態に係る時間判定部802によるパンチルトズーム制御の例を示すフローチャートである。図6に示した設定画面601の実行ボタン607を押下され、情報処理装置102からショット動作に係る情報を受信しショット動作の実行が指示されると、図9のフローチャートに示す動作が開始される。 FIG. 9 is a flowchart showing an example of pan tilt zoom control by the time determination unit 802 according to the second embodiment. When the execution button 607 on the setting screen 601 shown in FIG. 6 is pressed, information relating to the shot motion is received from the information processing apparatus 102, and execution of the shot motion is instructed, the operation shown in the flowchart of FIG. 9 is started. .

ステップS901にて、時間判定部802は、指定されたショット番号に基づいて、記憶部308に記録されているパン、チルト、及びズームによる目標撮像範囲402を、システム制御部303を介して取得する。
ステップS902にて、時間判定部802は、現在のパン、チルト、及びズームの位置をパンチルト制御部304及びズーム制御部305から取得して、現在の位置と目標撮像範囲402との差分からパン及びチルトの駆動時間を計算する。
In step S901, the time determination unit 802 acquires the target imaging range 402 by panning, tilting, and zooming recorded in the storage unit 308 via the system control unit 303 based on the specified shot number. .
In step S902, the time determination unit 802 acquires the current pan, tilt, and zoom positions from the pan/tilt control unit 304 and the zoom control unit 305, and determines the pan and tilt positions based on the difference between the current position and the target imaging range 402. Calculate the tilt driving time.

その後、時間判定部802は、パン、チルト、ズームの値が目標撮像範囲402に到達するまで、ステップS903以降の処理を繰り返し行う。
ステップS904にて、時間判定部802は、目標撮像範囲402へ到達するためのパン、チルト、及びズームの移動量を計算し、算出した移動量に基づいて各制御の駆動時間を計算する。
After that, the time determination unit 802 repeats the processing after step S903 until the pan, tilt, and zoom values reach the target imaging range 402 .
In step S904, the time determination unit 802 calculates pan, tilt, and zoom movement amounts for reaching the target imaging range 402, and calculates drive times for each control based on the calculated movement amounts.

ステップS905にて、時間判定部802は、ステップS904において算出したパン及びチルトの駆動時間が指定時間を超えているか否かを判定する。ステップS904において算出したパン及びチルトの駆動時間の少なくとも1つの駆動時間が指定時間を超えていると判定した場合(ステップS905でYES)、時間判定部802はステップS906へ進む。一方、ステップS904において算出したパン及びチルトの駆動時間がともに指定時間を超えていないと判定した場合(ステップS905でNO)、時間判定部802はステップS912へ進む。 In step S905, the time determination unit 802 determines whether or not the pan and tilt driving time calculated in step S904 exceeds the specified time. If it is determined that at least one drive time of the pan and tilt drive times calculated in step S904 exceeds the specified time (YES in step S905), the time determination unit 802 proceeds to step S906. On the other hand, if it is determined that both the panning and tilting drive times calculated in step S904 have not exceeded the specified time (NO in step S905), the time determining unit 802 proceeds to step S912.

ステップS906にて、時間判定部802は、パン及びチルトの移動量を上限値又は下限値に設定し、パン及びチルトの制御値を更新する。 In step S906, the time determination unit 802 sets the panning and tilting movement amounts to the upper limit or lower limit, and updates the panning and tilting control values.

ステップS907にて、時間判定部802は、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達しているか否かを判定する。デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達していないと判定した場合(ステップS907でYES)、時間判定部802はステップS908へ進む。一方、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達していると判定した場合(ステップS907でNO)、時間判定部802はステップS912へ進む。 In step S<b>907 , the time determination unit 802 determines whether or not the digital pan/tilt zoom extension range 501 has reached the target imaging range 402 . If it is determined that the digital pan/tilt zoom extension range 501 has not reached the target imaging range 402 (YES in step S907), the time determination unit 802 proceeds to step S908. On the other hand, if it is determined that the digital pan/tilt zoom extension range 501 has reached the target imaging range 402 (NO in step S907), the time determination unit 802 proceeds to step S912.

ステップS908にて、時間判定部802は、指定時間でパン及びチルトが駆動できたと仮定した場合に移動する移動量と、先に計算したパン及びチルトの駆動量との差分を計算する。
ステップS909にて、時間判定部802は、ステップS908において算出した差分移動量から広角側にレンズ201を制御するようズームの制御値を計算し、ズームの移動量を更新する。
In step S908, the time determination unit 802 calculates the difference between the amount of movement that would occur if panning and tilting could be driven in the specified time and the previously calculated panning and tilting driving amount.
In step S909, the time determination unit 802 calculates a zoom control value so as to control the lens 201 to the wide-angle side from the differential movement amount calculated in step S908, and updates the zoom movement amount.

ステップS910にて、時間判定部802は、パン及びチルトの制御値及びステップS909において算出したズームの制御値に基づいて、デジタルパンチルトズームの移動量を計算する。
ステップS911にて、時間判定部802は、ステップS910において算出したデジタルパンチルトズームの移動量に基づいて、デジタルパンチルトズーム制御部307での切り出し範囲の大きさを決定する。また、時間判定部802は、決定した切り出し範囲とパン及びチルトの制御値に基づいて、画像の切り出しのオフセット値を計算し、デジタルパンチルトズームの制御を実行する。
In step S910, the time determination unit 802 calculates the amount of digital pan/tilt/zoom movement based on the pan and tilt control values and the zoom control value calculated in step S909.
In step S911, the time determination unit 802 determines the size of the clipping range in the digital pan-tilt-zoom control unit 307 based on the amount of digital pan-tilt-zoom movement calculated in step S910. Also, the time determination unit 802 calculates an offset value for clipping an image based on the determined clipping range and pan/tilt control values, and executes digital pan/tilt/zoom control.

ステップS913にて、時間判定部802は、パン及びチルトの移動量とズームの移動量とに基づいて、ズームの移動量が変動することによるフォーカスの想定移動量を計算し、それぞれの制御がオーバーシュートしない数値の上限を計算する。
ステップS914にて、時間判定部802は、ステップS913において算出した上限値に応じてズームを制御し、ズームの移動量に応じてパン及びチルトを制御する。
In step S<b>913 , the time determination unit 802 calculates an assumed focus movement amount due to a change in the zoom movement amount based on the pan/tilt movement amount and the zoom movement amount. Calculate the upper limit of numbers not to shoot.
In step S914, the time determination unit 802 controls zoom according to the upper limit value calculated in step S913, and controls pan and tilt according to the amount of zoom movement.

ステップS912にて、時間判定部802は、パン及びチルトの制御値、及びズームの制御値をそれぞれ反映させ、パンチルト制御部304及びズーム制御部305を介してパンチルト制御及びズーム制御を行う。
そして、ステップS903以降の処理をパン、チルト、ズームの値が目標撮像範囲402に到達するまで繰り返し行い、パン、チルト、ズームの値が目標撮像範囲402に到達すると、時間判定部802は図9に示した処理を終了する。
In step S<b>912 , the time determination unit 802 reflects the pan and tilt control values and the zoom control value, respectively, and performs pan/tilt control and zoom control via the pan/tilt control unit 304 and the zoom control unit 305 .
Then, the processing after step S903 is repeated until the pan, tilt, and zoom values reach the target imaging range 402. When the pan, tilt, and zoom values reach the target imaging range 402, the time determination unit 802 performs the processing shown in FIG. end the processing shown in .

本実施形態によれば、ショット動作においてメカ駆動のみではパン及びチルトが指定時間内に目標撮像範囲402に到達不可能である場合でも、デジタルパンチルトズームを併用することで、指定時間に目標撮像範囲402の画像を出力することが可能となる。また、デジタルパンチルトズームを併用するショット動作において、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に到達した後でも、バックグラウンドで行われている処理の影響を抑制し、違和感のない画像を提供することが可能となる。 According to this embodiment, even if the pan and tilt cannot reach the target imaging range 402 within the specified time only by mechanical driving in the shot operation, by using the digital pan/tilt zoom together, the target imaging range can be reached within the specified time. 402 images can be output. In addition, in a shot operation using digital pan-tilt-zoom in combination, even after the digital pan-tilt-zoom extension range 501 reaches the target imaging range 402, the effect of background processing is suppressed to provide a natural image. becomes possible.

(第3の実施形態)
次に、図10及び図11を参照して、第3実施形態について説明する。第3の実施形態では、物体検出した結果を動的に更新される目標撮像範囲402として適用し、ショット機能を検出した物体を追跡する画像に反映した機能について述べる。以下では、第3の実施形態において、前述した第1の実施形態と異なる点を中心に説明する。
(Third embodiment)
Next, a third embodiment will be described with reference to FIGS. 10 and 11. FIG. In the third embodiment, a function will be described in which the result of object detection is applied as the dynamically updated target imaging range 402 and the shot function is reflected in the image tracking the detected object. In the following, the third embodiment will be described, focusing on the differences from the above-described first embodiment.

図10は、第3の実施形態に係る撮像装置100及び情報処理装置102の機能構成例を示すブロック図である。図10において、図3に示した構成要素と同様の構成要素には同一の符号を付し、重複する説明は省略する。以下、第1の実施形態との差分である物体検出部1001及び時間判定部1002を中心に説明する。 FIG. 10 is a block diagram showing a functional configuration example of an imaging device 100 and an information processing device 102 according to the third embodiment. In FIG. 10, the same reference numerals are assigned to the same components as those shown in FIG. 3, and overlapping descriptions are omitted. An object detection unit 1001 and a time determination unit 1002, which are different from the first embodiment, will be mainly described below.

物体検出部1001は、システム制御部303から画像を受け取り画像中の物体検出と検出した物体の移動速度測定を行い、検出した物体の画像中の範囲をシステム制御部303及び、システム制御部303を介して時間判定部1002に通知する。本実施形態では、物体検出部1001は人物検出を行い通知するものとするが、ほかの物体検出を用いてもよい。 The object detection unit 1001 receives an image from the system control unit 303, detects an object in the image, measures the moving speed of the detected object, and determines the range of the detected object in the image. The time determination unit 1002 is notified via the In this embodiment, the object detection unit 1001 detects a person and notifies the person, but other object detection may be used.

時間判定部1002は、記憶部308に保存されているショット番号と目標撮像範囲402から目標撮像範囲402を決定するのではなく、物体検出結果に基づいて目標撮像範囲402を決定する。時間判定部1002は、物体検出部1001から受けた物体検出結果を目標撮像範囲402として用い、物体の移動速度から計算した移動時間を指定時間として用いて、物体検出結果へのパン、チルト、及びズームの制御にショット動作を適用して動作する。目標撮像範囲402が更新されるとショット動作が開始され、目標撮像範囲402を更新する毎に再度計算を行い、ショット動作を行う。 The time determination unit 1002 does not determine the target imaging range 402 from the shot number and the target imaging range 402 stored in the storage unit 308, but rather determines the target imaging range 402 based on the object detection result. The time determination unit 1002 uses the object detection result received from the object detection unit 1001 as the target imaging range 402, uses the moving time calculated from the moving speed of the object as the specified time, and pans, tilts, and rotates the object detection result. Operates by applying shot motion to control zoom. When the target imaging range 402 is updated, the shot operation is started, and every time the target imaging range 402 is updated, the calculation is performed again and the shot operation is performed.

図11は、第3の実施形態に係る時間判定部1002によるパンチルトズーム制御の例を示すフローチャートである。トラッキング動作が継続中で、パン、チルト、ズームの値が目標撮像範囲402に到達するまで、図11のステップS1101以降の処理が繰り返し実行される。
ステップS1102にて、物体検出部1001は、トラッキング動作が継続して動いている場合、物体検出を行う。
FIG. 11 is a flowchart showing an example of pan tilt zoom control by the time determination unit 1002 according to the third embodiment. 11 are repeatedly executed until the pan, tilt, and zoom values reach the target imaging range 402 while the tracking operation is continuing.
In step S1102, the object detection unit 1001 performs object detection when the tracking operation continues.

ステップS1103にて、物体検出部1001は、ステップS1102での物体検出の結果に基づいて、トラッキング対象の位置が変更しているか、すなわち、トラッキング対象の位置が移動したか否かを判定する。トラッキング対象の位置が変わっていると判定した場合(ステップS1103でYES)、処理はステップS1104へ進む。一方、トラッキング対象の位置が変わっていないと判定した場合(ステップS1103でNO)、処理はステップS1104へ進む。
ステップS1104にて、物体検出部1001は、ステップS1102での物体検出の結果に基づいて、記憶部308が保持する目標撮像範囲402を更新する。
In step S1103, the object detection unit 1001 determines whether the position of the tracking target has changed, that is, whether the position of the tracking target has moved, based on the result of object detection in step S1102. If it is determined that the position of the tracking target has changed (YES in step S1103), the process proceeds to step S1104. On the other hand, if it is determined that the position of the tracking target has not changed (NO in step S1103), the process proceeds to step S1104.
In step S1104, the object detection unit 1001 updates the target imaging range 402 held by the storage unit 308 based on the result of object detection in step S1102.

ステップS1105にて、時間判定部1002は、記憶部308に記録されているパン、チルト、及びズームによる目標撮像範囲402を、システム制御部303を介して取得する。
ステップS1106にて、時間判定部802は、パン、チルト、ズームの値が目標撮像範囲402に到達していないか否かを判定する。パン、チルト、ズームの値が目標撮像範囲402に到達していないと判定した場合(ステップS1106でYES)、時間判定部1002はステップS1107へ進む。一方、パン、チルト、ズームの値が目標撮像範囲402に到達していると判定した場合(ステップS1106でNO)、次のループ処理へ進む。本実施形態では、トラッキング動作によってループ処理が行われている。そのため、前述した実施形態とは異なり、パン、チルト、ズームの値が目標撮像範囲402に達するまで以後の処理をループ実行するのではなく、1回処理したら再度、ステップS1102に戻り、物体検出結果を取得して動作する。
In step S<b>1105 , the time determination unit 1002 acquires the target imaging range 402 by panning, tilting, and zooming recorded in the storage unit 308 via the system control unit 303 .
In step S<b>1106 , the time determination unit 802 determines whether or not the pan, tilt, and zoom values have reached the target imaging range 402 . If it is determined that the pan, tilt, and zoom values have not reached the target imaging range 402 (YES in step S1106), the time determination unit 1002 proceeds to step S1107. On the other hand, if it is determined that the pan, tilt, and zoom values have reached the target imaging range 402 (NO in step S1106), the process proceeds to the next loop process. In this embodiment, loop processing is performed by the tracking operation. Therefore, unlike the above-described embodiment, the subsequent processing is not executed in a loop until the pan, tilt, and zoom values reach the target imaging range 402, but once the processing is completed, the process returns to step S1102 again, and the object detection result is detected. to work.

ステップS1107にて、時間判定部1002は、現在のパン、チルト、及びズームの位置をパンチルト制御部304及びズーム制御部305から取得して、現在の位置と目標撮像範囲402との差分からパン及びチルトの駆動時間を計算する。
ステップS1108にて、時間判定部1002は、目標撮像範囲402へ到達するためのパン、チルト、及びズームの移動量を計算し、算出した移動量に基づいて各制御の駆動時間を計算する。
In step S<b>1107 , the time determination unit 1002 acquires the current pan, tilt, and zoom positions from the pan/tilt control unit 304 and the zoom control unit 305 , and determines the pan and tilt positions based on the difference between the current position and the target imaging range 402 . Calculate the tilt driving time.
In step S1108, the time determination unit 1002 calculates pan, tilt, and zoom movement amounts for reaching the target imaging range 402, and calculates drive times for each control based on the calculated movement amounts.

ステップS1109にて、時間判定部1002は、ステップS1108において算出したパン及びチルトの駆動時間が指定時間を超えているか否かを判定する。ステップS1108において算出したパン及びチルトの駆動時間の少なくとも1つの駆動時間が指定時間を超えていると判定した場合(ステップS1109でYES)、時間判定部1002はステップS1110へ進む。一方、ステップS1108において算出したパン及びチルトの駆動時間がともに指定時間を超えていないと判定した場合(ステップS1109でNO)、時間判定部1002はステップS1116へ進む。 In step S1109, the time determination unit 1002 determines whether the pan and tilt driving time calculated in step S1108 exceeds the specified time. If it is determined in step S1108 that at least one drive time of the pan and tilt drive times calculated exceeds the specified time (YES in step S1109), the time determination unit 1002 proceeds to step S1110. On the other hand, if it is determined in step S1108 that both the pan and tilt driving times calculated have not exceeded the specified time (NO in step S1109), the time determination unit 1002 proceeds to step S1116.

ステップS1110にて、時間判定部1002は、パン及びチルトの移動量を上限値又は下限値に設定し、パン及びチルトの制御値を更新する。 In step S1110, the time determination unit 1002 sets the movement amount of panning and tilting to the upper limit value or the lower limit value, and updates the control values of panning and tilting.

ステップS1111にて、時間判定部1002は、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達しているか否かを判定する。デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達していないと判定した場合(ステップS1111でYES)、時間判定部1002はステップS1112へ進む。一方、デジタルパンチルトズーム拡張範囲501が目標撮像範囲402に達していると判定した場合(ステップS1111でNO)、時間判定部1002はステップS1116へ進む。 In step S<b>1111 , the time determination unit 1002 determines whether or not the digital pan/tilt/zoom extension range 501 has reached the target imaging range 402 . If it is determined that the digital pan/tilt zoom extension range 501 has not reached the target imaging range 402 (YES in step S1111), the time determining unit 1002 proceeds to step S1112. On the other hand, if it is determined that the digital pan/tilt zoom extension range 501 has reached the target imaging range 402 (NO in step S1111), the time determining unit 1002 proceeds to step S1116.

ステップS1112にて、時間判定部1002は、指定時間でパン及びチルトが駆動できたと仮定した場合に移動する移動量と、先に計算したパン及びチルトの駆動量との差分を計算する。
ステップS1113にて、時間判定部1002は、ステップS1112において算出した差分移動量から広角側にレンズ201を制御するようズームの制御値を計算し、ズームの移動量を更新する。
In step S1112, the time determination unit 1002 calculates the difference between the amount of movement that would occur if panning and tilting could be driven within the specified time and the previously calculated panning and tilting driving amount.
In step S1113, the time determination unit 1002 calculates a zoom control value so as to control the lens 201 toward the wide-angle side from the differential movement amount calculated in step S1112, and updates the zoom movement amount.

ステップS1114にて、時間判定部1002は、パン及びチルトの制御値及びステップS1113において算出したズームの制御値に基づいて、デジタルパンチルトズームの移動量を計算する。
ステップS1115にて、時間判定部1002は、ステップS1114において算出したデジタルパンチルトズームの移動量に基づいて、デジタルパンチルトズーム制御部307での切り出し範囲の大きさを決定する。また、時間判定部1002は、決定した切り出し範囲とパン及びチルトの制御値に基づいて、画像の切り出しのオフセット値を計算し、デジタルパンチルトズームの制御を実行する。
In step S1114, the time determination unit 1002 calculates the amount of digital pan/tilt/zoom movement based on the pan and tilt control values and the zoom control value calculated in step S1113.
In step S1115, the time determination unit 1002 determines the size of the clipping range in the digital pan/tilt/zoom control unit 307 based on the amount of digital pan/tilt/zoom movement calculated in step S1114. The time determination unit 1002 also calculates an offset value for image clipping based on the determined clipping range and pan/tilt control values, and executes digital pan/tilt/zoom control.

ステップS1116にて、時間判定部1002は、パン及びチルトの制御値、及びズームの制御値をそれぞれ反映させ、パンチルト制御部304及びズーム制御部305を介してパンチルト制御及びズーム制御を行う。そして、ステップS1101に戻る。 In step S<b>1116 , the time determination unit 1002 reflects the pan and tilt control values and the zoom control value, and performs pan/tilt control and zoom control via the pan/tilt control unit 304 and the zoom control unit 305 . Then, the process returns to step S1101.

本実施形態によれば、目標撮像範囲402に物体検出部1001での物体検出の結果を適用することで、物体検出結果を追跡するショット機能を実現し、ユーザに対してトラッキング中もパンチルトズームが連動した画像を提供することが可能となる。 According to this embodiment, by applying the result of object detection by the object detection unit 1001 to the target imaging range 402, a shot function that tracks the result of object detection is realized, and the user can pan, tilt, and zoom even during tracking. It is possible to provide linked images.

(本発明の他の実施形態)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Another embodiment of the present invention)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of specific implementations of the present invention, and the technical scope of the present invention should not be construed to be limited by these. That is, the present invention can be embodied in various forms without departing from its technical concept or main features.

100:撮像装置 201:レンズ 202:レンズ駆動部 203:パン駆動部 204:チルト駆動部 301:撮像部 303:システム制御部 304:パンチルト制御部 305:ズーム制御部 306、802、1002:時間判定部 307:デジタルパンチルトズーム制御部 308:記憶部 309:通信部 1001:物体検出部 100: imaging device 201: lens 202: lens driving unit 203: pan driving unit 204: tilt driving unit 301: imaging unit 303: system control unit 304: pan/tilt control unit 305: zoom control unit 306, 802, 1002: time determination unit 307: Digital Pan Tilt Zoom Control Unit 308: Storage Unit 309: Communication Unit 1001: Object Detection Unit

Claims (10)

撮像装置であって、
パン動作及びチルト動作を行い、前記撮像装置を駆動する駆動手段と、
前記駆動手段により前記撮像装置を現在の撮像範囲から指定された目標撮像範囲まで駆動する駆動時間を算出する時間判定手段と、
撮像した画像を切り出して画像データを生成する生成手段とを有し、
前記時間判定手段により算出した前記駆動時間が指定された指定時間を超えている場合、前記生成手段は、前記撮像された画像から前記駆動手段による前記パン動作及び前記チルト動作の移動量に応じた範囲を切り出して画像データを生成することを特徴とする撮像装置。
An imaging device,
driving means for performing a pan operation and a tilt operation to drive the imaging device;
a time determining means for calculating a driving time for driving the imaging device from a current imaging range to a specified target imaging range by the driving means;
and generating means for cutting out the captured image to generate image data,
When the drive time calculated by the time determination means exceeds the designated time, the generation means determines the movement amount of the pan operation and the tilt operation by the drive means from the imaged image. 1. An imaging device that cuts out a range to generate image data.
前記撮像装置のズームを制御するズーム制御手段を有し、
前記時間判定手段により算出した前記駆動時間が指定された指定時間を超えている場合、前記ズーム制御手段は、前記撮像装置のズームを広角側に制御し、前記生成手段は、前記ズームを広角側に制御して撮像された画像から前記駆動手段による前記パン動作及び前記チルト動作の移動量に応じた範囲を切り出すことを特徴とする請求項1に記載の撮像装置。
having zoom control means for controlling zooming of the imaging device;
When the driving time calculated by the time determining means exceeds the designated time, the zoom control means controls the zoom of the imaging device to the wide-angle side, and the generating means shifts the zoom to the wide-angle side. 2. The image pickup apparatus according to claim 1, wherein a range corresponding to the amount of movement of said panning operation and said tilting operation by said driving means is cut out from the image picked up by said control.
前記生成手段は、前記ズーム制御手段に制御された移動量に基づいて、切り出した画像を拡大して画像データを生成することを特徴とする請求項2に記載の撮像装置。 3. The imaging apparatus according to claim 2, wherein said generating means expands the clipped image based on the amount of movement controlled by said zoom control means to generate image data. 前記生成手段により切り出す範囲が前記目標撮像範囲に到達した後、前記駆動手段による前記パン動作及び前記チルト動作と前記ズーム制御手段によるズーム制御のみで前記撮像装置の画角が前記目標撮像範囲に到達するよう制御し、前記生成手段は、前記パン動作及び前記チルト動作の移動量及び前記ズーム制御の移動量を相殺するように画像の切り出し範囲を制御することを特徴とする請求項2又は3に記載の撮像装置。 After the range extracted by the generating means reaches the target imaging range, the angle of view of the imaging device reaches the target imaging range only by the panning and tilting operations by the driving means and the zoom control by the zoom control means. 4. The image cropping range is controlled so as to offset the movement amount of the pan operation and the tilt operation and the movement amount of the zoom control. The imaging device described. 前記生成手段により切り出す範囲が前記目標撮像範囲に到達した後、前記駆動手段による前記パン動作及び前記チルト動作と前記ズーム制御手段によるズーム制御のみで前記撮像装置の画角が前記目標撮像範囲に到達するよう制御する際、前記パン動作及び前記チルト動作の移動量及び前記ズーム制御の移動量が前記駆動手段及び前記ズーム制御手段の上下限値になるように制御することを特徴とする請求項2又は3に記載の撮像装置。 After the range extracted by the generating means reaches the target imaging range, the angle of view of the imaging device reaches the target imaging range only by the panning and tilting operations by the driving means and the zoom control by the zoom control means. 2. Control is performed so that the amount of movement of said pan operation and said tilt operation and the amount of movement of said zoom control are equal to the upper and lower limit values of said drive means and said zoom control means. 3. The imaging device according to 3 above. 前記生成手段により切り出す範囲が前記目標撮像範囲に到達した後、前記駆動手段による前記パン動作及び前記チルト動作と前記ズーム制御手段によるズーム制御のみで前記撮像装置の画角が前記目標撮像範囲に到達するよう制御する際、前記パン動作及び前記チルト動作の移動量及び前記ズーム制御の移動量が、オートフォーカスの制御において画像のフォーカスの変化が発生しない範囲で制御することを特徴とする請求項2又は3に記載の撮像装置。 After the range extracted by the generating means reaches the target imaging range, the angle of view of the imaging device reaches the target imaging range only by the panning and tilting operations by the driving means and the zoom control by the zoom control means. 2. When controlling to do so, the movement amount of the pan operation and the tilt operation and the movement amount of the zoom control are controlled within a range in which the focus of the image does not change in autofocus control. 3. The imaging device according to 3 above. 撮像した画像から物体を検出する物体検出手段を有し、
前記物体検出手段での検出結果に基づいて前記目標撮像範囲を更新することを特徴とする請求項1に記載の撮像装置。
Having an object detection means for detecting an object from the captured image,
2. The imaging apparatus according to claim 1, wherein said target imaging range is updated based on the detection result of said object detection means.
請求項1~6の何れか1項に記載の撮像装置と、
前記撮像装置と接続され、前記目標撮像範囲と前記指定時間とをユーザが設定する設定画面を表示させる情報処理装置とを有し、
前記設定画面では、前記時間判定手段での結果に基づいて、前記生成手段によるデジタルパンチルトズームと、前記駆動手段による前記パン動作及び前記チルト動作とが連動する第1の指定時間と連動しない第2の指定時間とを異ならせて表示することを特徴とするシステム。
The imaging device according to any one of claims 1 to 6,
an information processing device connected to the imaging device and configured to display a setting screen for setting the target imaging range and the specified time by a user;
On the setting screen, based on the result of the time determination means, a first specified time period in which the digital pan-tilt-zoom operation by the generation means and the panning and tilting operations by the drive means are interlocked, and a second specified time period which is not interlocked. A system characterized by displaying the designated time of
撮像装置の制御方法であって、
パン動作及びチルト動作を行い、前記撮像装置を駆動する駆動手段により、前記撮像装置を現在の撮像範囲から指定された目標撮像範囲まで駆動する駆動時間を算出する時間判定工程と、
撮像した画像を切り出して画像データを生成する生成工程とを有し、
前記時間判定工程にて算出した前記駆動時間が指定された指定時間を超えている場合、前記生成工程では、前記撮像された画像から前記駆動手段による前記パン動作及び前記チルト動作の移動量に応じた範囲を切り出して画像データを生成することを特徴とする制御方法。
A control method for an imaging device,
a time determination step of performing a panning operation and a tilting operation and calculating a driving time for driving the imaging device from a current imaging range to a specified target imaging range by driving means for driving the imaging device;
and a generation step of cutting out the captured image to generate image data,
If the drive time calculated in the time determination step exceeds the designated time, in the generation step, based on the imaged image, the amount of movement of the pan operation and the tilt operation by the drive means is determined. A control method characterized by generating image data by clipping out the range of the image.
撮像装置のコンピュータに、
パン動作及びチルト動作を行い、前記撮像装置を駆動する駆動手段により、前記撮像装置を現在の撮像範囲から指定された目標撮像範囲まで駆動する駆動時間を算出する時間判定ステップと、
撮像した画像を切り出して画像データを生成する生成ステップとを実行させ、
前記時間判定ステップにて算出した前記駆動時間が指定された指定時間を超えている場合、前記生成ステップでは、前記撮像された画像から前記駆動手段による前記パン動作及び前記チルト動作の移動量に応じた範囲を切り出して画像データを生成する処理を実行させるためのプログラム。
to the computer of the imaging device,
a time determination step of performing a pan operation and a tilt operation and calculating a drive time for driving the imaging device from a current imaging range to a specified target imaging range by driving means for driving the imaging device;
a generation step of cutting out the captured image and generating image data;
If the drive time calculated in the time determination step exceeds the designated time, the generation step determines the amount of movement of the pan operation and the tilt operation by the driving means from the imaged image. A program for executing the process of extracting the range and generating image data.
JP2021200213A 2021-12-09 2021-12-09 Imaging apparatus, method for controlling imaging apparatus, and program Pending JP2023085899A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021200213A JP2023085899A (en) 2021-12-09 2021-12-09 Imaging apparatus, method for controlling imaging apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021200213A JP2023085899A (en) 2021-12-09 2021-12-09 Imaging apparatus, method for controlling imaging apparatus, and program

Publications (1)

Publication Number Publication Date
JP2023085899A true JP2023085899A (en) 2023-06-21

Family

ID=86776001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021200213A Pending JP2023085899A (en) 2021-12-09 2021-12-09 Imaging apparatus, method for controlling imaging apparatus, and program

Country Status (1)

Country Link
JP (1) JP2023085899A (en)

Similar Documents

Publication Publication Date Title
KR101739318B1 (en) Display control apparatus, imaging system, display control method, and recording medium
US8040398B2 (en) Imaging apparatus and method for displaying zoom information
JP6726931B2 (en) Image processing apparatus and method, and image processing system
JP2007189503A (en) Terminal device and program
JP6153354B2 (en) Photographing equipment and photographing method
JP6465625B2 (en) Control device, control method therefor, and program
JP7313869B2 (en) IMAGING DEVICE, CONTROL DEVICE, CONTROL METHOD AND PROGRAM
JP2016096481A (en) Control apparatus, photographing system, control method, and program
JP3478740B2 (en) Photographing system and TV lens device
JP7386307B2 (en) Method and system for transmitting video streams
KR102148776B1 (en) Image capturing control apparatus, method of controlling the same and computer readable storage medium
JP2023085899A (en) Imaging apparatus, method for controlling imaging apparatus, and program
JP6157220B2 (en) Output device and method
JP2007228097A (en) Camera server, network camera system, control method, and program
CN112073630A (en) Image pickup apparatus, control method for image pickup apparatus, and recording medium
JP3826506B2 (en) Information display method
JP2023073130A (en) Control unit, control method, and program
JP6580213B1 (en) Image processing apparatus, photographing apparatus, image processing method, and program
JP7431609B2 (en) Control device and its control method and program
US20240137642A1 (en) Imaging apparatus
JP2022155059A (en) Information processing device, information processing method, and program
JP2023141330A (en) Imaging apparatus, control method, and program
JP2024006566A (en) Display control device, control method for the same, and program
JP2008078958A (en) Video display program and video display system
JP2023059153A (en) Information processing device, information processing method, and program