JP2020074511A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2020074511A
JP2020074511A JP2019180367A JP2019180367A JP2020074511A JP 2020074511 A JP2020074511 A JP 2020074511A JP 2019180367 A JP2019180367 A JP 2019180367A JP 2019180367 A JP2019180367 A JP 2019180367A JP 2020074511 A JP2020074511 A JP 2020074511A
Authority
JP
Japan
Prior art keywords
image pickup
image
unit
imaging
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019180367A
Other languages
Japanese (ja)
Inventor
智博 原田
Tomohiro Harada
智博 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019180367A priority Critical patent/JP2020074511A/en
Publication of JP2020074511A publication Critical patent/JP2020074511A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

To provide an imaging device that reduces scenes in which an imaged subject is shifted in an imaging device for performing composition processing of output images from plural imaging parts.SOLUTION: An imaging device includes driving means for driving at least one of plural imaging parts as a driving target in a predetermined drive mode, and composing means for composing image data acquired by the imaging parts. The imaging part contains an imaging element in which photoelectric converters for converging light to an electrical signal are arranged in a matrix direction. In the drive means, the area of the imaging element for acquiring image data is divided into plural units, one or more lines being set as one unit, and a first driving mode for successively switching the imaging part as the driving target every exposure or read-out of each unit is contained.SELECTED DRAWING: Figure 2

Description

本発明は、撮像装置に関し、特に複数の撮像部を有する撮像装置に関するものである。   The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus having a plurality of image pickup units.

従来、魚眼レンズを用いずに、広い範囲を撮像する際に、複数の撮像部を用いて撮像し、各撮像部からの出力画像を合成処理する撮像装置が提案されている。例えば、特許文献1では、複数の撮像装置を用いて広画角なパノラマ画像を生成する方法が開示されている。   2. Description of the Related Art Conventionally, there has been proposed an image pickup apparatus that picks up an image using a plurality of image pickup units when a wide range is picked up without using a fisheye lens and synthesizes output images from the image pickup units. For example, Patent Document 1 discloses a method of generating a wide-angle panoramic image using a plurality of image pickup devices.

また、特許文献2では、複数の画像を繋ぎ合わせてパノラマ画像を生成する方法が開示されている。   In addition, Patent Document 2 discloses a method of connecting a plurality of images to generate a panoramic image.

特開平5−014751号公報JP-A-5-014751 特開平11−069288号公報JP, 11-069288, A

しかしながら、上述の従来技術では、並んだ複数の撮像部に対して撮像部毎に切り替えて露光を行うために、撮像部間を跨いで写る被写体を撮像する場合によっては、ずれたタイミングで露光されてしまう場合があった。この場合本来は1つであった物体が、ずれて撮像されてしまうこととなり、撮像された被写体を検出するようなアプリケーション等においては誤動作の原因となる懸念があった。   However, in the above-described conventional technique, since exposure is performed by switching the plurality of image pickup units arranged side by side for each image pickup unit, in some cases, the exposure is performed at a shifted timing depending on the case where an image of a subject captured across the image pickup units is taken. There was a case where it ended up. In this case, the originally one object will be imaged with a shift, which may cause a malfunction in an application or the like that detects the imaged subject.

そこで、本発明の目的は、複数の撮像部からの出力画像を合成処理する撮像装置において、被写体がずれて撮像されてしまうシーンを低減する撮像撮像装置を提供することである。   Therefore, an object of the present invention is to provide an image pickup apparatus that reduces a scene in which a subject is imaged with a shift in an image pickup apparatus that synthesizes output images from a plurality of image pickup units.

上記目的を達成するために、本発明は、被写体を撮像して画像データを取得するための複数の撮像部を有する撮像装置であって、前記複数の撮像部のうち少なくとも一つの撮像部を駆動対象として所定の駆動モードで駆動する駆動手段と、各種設定をネットワーク経由で外部装置より受信する受信手段と、を備え、前記撮像部は光を電気信号に変換する光電変換部を行列方向に配置した撮像素子をそれぞれ含み、前記駆動手段において、前記画像データを取得するための前記撮像素子の領域を一以上の行をひとつの単位として複数に分割し、前記単位の露光又は読み出し毎に前記駆動対象の撮像部を順次切り替える第一の駆動モードと、前記前記撮像素子の領域を分割せずに読み出す第二の駆動モードを含むことを特徴とする。   In order to achieve the above object, the present invention is an imaging device having a plurality of imaging units for imaging a subject and acquiring image data, wherein at least one of the plurality of imaging units is driven. The image pickup unit is provided with a photoelectric conversion unit that converts light into an electric signal in a matrix direction, and includes a driving unit that drives in a predetermined driving mode as a target and a receiving unit that receives various settings from an external device via a network. Each of the image pickup devices, and the driving unit divides an area of the image pickup device for acquiring the image data into a plurality of units in which one or more rows are one unit, and the drive is performed for each exposure or reading of the unit. It is characterized in that it includes a first drive mode in which the target image pickup unit is sequentially switched and a second drive mode in which the region of the image pickup device is read out without being divided.

本発明によれば、複数の撮像部からの出力画像を合成処理する撮像装置において、被写体がずれて撮像されてしまうシーンを低減する撮像撮像装置を提供することができる。   According to the present invention, it is possible to provide an imaging device for reducing the number of scenes in which a subject is imaged with a shift in an imaging device that synthesizes output images from a plurality of imaging units.

第1の実施例に係るシステム構成図である。It is a system block diagram which concerns on a 1st Example. 第1の実施例に係る複数の撮像素子の露光及び読み出しを説明するためのタイミングチャートである。6 is a timing chart for explaining exposure and reading of a plurality of image pickup devices according to the first embodiment. 第1の実施例に係る複数の撮像素子の画像を合成した画像を示す図である。It is a figure which shows the image which combined the image of the some image pick-up element which concerns on a 1st Example. 第2の実施例に係るシステム構成図である。It is a system block diagram which concerns on a 2nd Example. 第2の実施例に係る複数の撮像素子の露光及び読み出しを説明するためのタイミングチャートである。9 is a timing chart for explaining exposure and reading of a plurality of image pickup devices according to the second embodiment. 第2の実施例に係る複数の撮像素子の画像を合成した画像を示す図である。It is a figure which shows the image which combined the image of the some imaging device which concerns on a 2nd Example. 第2の実施例に係る動作フローを示すフローチャートである。It is a flowchart which shows the operation | movement flow based on a 2nd Example. 本発明の制御コマンドに係る通信を示す図である。It is a figure which shows the communication which concerns on the control command of this invention.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.

(実施例1)
図1は、撮像装置1000を含むシステム構成図である。2000は、本発明における外部装置を示すクライアント装置である。撮像装置1000とクライアント装置2000は、ネットワーク1500を介してネットワーク経由で相互に通信可能な状態に接続されている。クライアント装置2000は、撮像装置1000に対して、各種制御コマンドを送信する。本制御コマンドには、例えば、撮像の開始停止、照明装置の照射等を行うためのコマンドが含まれる。また、各制御コマンドを受信した撮像装置1000は、受信した制御コマンドに対するレスポンスや撮像した画像信号から生成する画像データ等をクライアント装置2000に送信する。
(Example 1)
FIG. 1 is a system configuration diagram including an imaging device 1000. Reference numeral 2000 is a client device indicating an external device according to the present invention. The imaging device 1000 and the client device 2000 are connected to each other via the network 1500 so that they can communicate with each other. The client device 2000 transmits various control commands to the imaging device 1000. This control command includes, for example, commands for starting and stopping imaging, irradiating the illumination device, and the like. Further, the image capturing apparatus 1000 that has received each control command transmits to the client apparatus 2000 a response to the received control command, image data generated from a captured image signal, and the like.

なお、本実施形態における撮像装置1000は、所定の画角を有し被写体を撮像する撮像装置の一例であり、例えば動画像を撮像する監視カメラである。より詳細には、監視に用いられるネットワークカメラであるものとする。また、本実施形態におけるクライアント装置2000は、PC等の外部装置の一例である。又、本実施形態における撮像装置1000とクライアント装置2000からなる監視システムは、撮像システムに相当する。   The image capturing apparatus 1000 according to the present embodiment is an example of an image capturing apparatus that captures a subject having a predetermined angle of view, and is, for example, a surveillance camera that captures a moving image. More specifically, it is assumed to be a network camera used for monitoring. The client device 2000 in this embodiment is an example of an external device such as a PC. The monitoring system including the image capturing apparatus 1000 and the client apparatus 2000 according to this embodiment corresponds to an image capturing system.

また、ネットワーク1500は、例えばEthernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されるものとする。しかしながら、本実施形態においては、撮像装置1000とクライアント装置2000との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。   Further, the network 1500 is assumed to be composed of a plurality of routers, switches, cables, etc. that satisfy a communication standard such as Ethernet (registered trademark). However, in the present embodiment, the communication standard, scale, and configuration are not limited as long as the communication can be performed between the imaging device 1000 and the client device 2000.

例えば、ネットワーク1500は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により構成されていても良い。なお、本実施形態における撮像装置1000は、例えば、PoE(Power Over Ethernet(登録商標))に対応していても良く、LANケーブルを介して電力を供給されても良い。   For example, the network 1500 may be configured by the Internet, a wired LAN (Local Area Network), a wireless LAN (Wireless LAN), a WAN (Wide Area Network), or the like. The imaging device 1000 according to the present embodiment may be compatible with PoE (Power Over Ethernet (registered trademark)), for example, and may be supplied with power via a LAN cable.

次に、図1において撮像装置1000の内部構成に関して説明する。101aはレンズ群であり、不図示のズームレンズ群、フォーカスレンズ群、絞り機構等から構成されている。   Next, the internal configuration of the image pickup apparatus 1000 will be described with reference to FIG. A lens group 101a includes a zoom lens group, a focus lens group, a diaphragm mechanism, and the like, which are not shown.

102aはCCDまたはCMOS撮像素子などの光電変換部を行列方向に配置した撮像素子であり、レンズ群101aを介して撮像素子面に受光された光学像を電気信号に変換する。   Reference numeral 102a denotes an image sensor in which photoelectric conversion units such as CCD or CMOS image sensors are arranged in a matrix direction, and converts an optical image received on the surface of the image sensor via the lens group 101a into an electric signal.

103aは増幅器であり、撮像素子102aから出力される信号を所定の信号レベルに増幅する。また、本実施例の増幅器103aはAD変換回路を有する。増幅器103aは撮像素子102aから入力される信号をAD変換して、デジタル化した画像信号を出力する。本実施例において、101a、102a、103aは一つの撮像部を構成する。なお、103aはAD変換回路を備えるとしたが、101a内に備えるようにしてもよい。   An amplifier 103a amplifies the signal output from the image sensor 102a to a predetermined signal level. Further, the amplifier 103a of this embodiment has an AD conversion circuit. The amplifier 103a AD-converts the signal input from the image sensor 102a and outputs a digitized image signal. In this embodiment, 101a, 102a and 103a constitute one image pickup unit. Although 103a includes the AD conversion circuit, it may be included in 101a.

同様に第2の撮像部はレンズ群101b、撮像素子102b、増幅器103bから構成される。第3の撮像部はレンズ群101c、撮像素子102c、増幅器103cから構成される。第4の撮像部はレンズ群101d、撮像素子102d、増幅器103dから構成される。それぞれの撮像部は異なる方向又は範囲を撮像可能に設定されている。本実施例においては、4つの撮像部を水平方向に撮像可能範囲が隣接するように設置されている。   Similarly, the second image pickup unit includes a lens group 101b, an image pickup element 102b, and an amplifier 103b. The third image pickup unit includes a lens group 101c, an image pickup element 102c, and an amplifier 103c. The fourth image pickup unit includes a lens group 101d, an image pickup element 102d, and an amplifier 103d. Each of the image capturing units is set to capture images in different directions or ranges. In this embodiment, the four image pickup units are installed so that the image pickup ranges thereof are adjacent to each other in the horizontal direction.

104はタイミングジェネレータ(以下、TGと称することがある)であり、撮像素子102a乃至102dの撮像素子を駆動するための駆動信号を生成し、各撮像素子に出力する。そして、各撮像素子はTGから入力される駆動信号に基づいたタイミングに合わせて露光制御や信号読み出し等の制御を行う。具体的には、本実施例の各撮像素子は一つの行を一単として一括にリセット/読み出し等を行うラインスキャン制御を採用している。そして、順次複数の撮像素子中から駆動する撮像素子を切り替えて行ごとにリセット/読み出し等を行う。より詳細には、図2を用いて後述する。   A timing generator (hereinafter, also referred to as TG) 104 generates a drive signal for driving the image pickup devices of the image pickup devices 102a to 102d, and outputs the drive signal to each image pickup device. Then, each image pickup device performs control such as exposure control and signal reading in accordance with the timing based on the drive signal input from the TG. Specifically, each image sensor of the present embodiment employs line scan control for performing reset / readout collectively for one row. Then, the image pickup element to be driven is sequentially switched from among the plurality of image pickup elements, and reset / readout or the like is performed for each row. More details will be described later with reference to FIG.

105は映像処理回路であり、各種映像処理や圧縮符号化等を行う。撮像素子102a乃至102dから、ライン毎に切り替えられた信号が順次入力され、撮像素子102a乃至102dを撮像位置に応じて並べた形に並び替え処理を行う。具体的には、並んだ画像を1枚のパノラマ上の画像に合成する。さらに、合成された画像に対して信号現像処理、ガンマ処理、ノイズ低減処理といった画像処理等を行い画像データへと変換する。変換した画像データはH.264やH.265等の圧縮符号化処理を行い出力する。   A video processing circuit 105 performs various video processing, compression encoding, and the like. The signals switched for each line are sequentially input from the image pickup devices 102a to 102d, and the image pickup devices 102a to 102d are rearranged in a form arranged according to the image pickup position. Specifically, the aligned images are combined into one panoramic image. Further, the combined image is subjected to image processing such as signal development processing, gamma processing, noise reduction processing and the like to be converted into image data. The converted image data is H.264. H.264 or H.264. A compression encoding process such as H.265 is performed and output.

106はネットワーク処理回路であり、映像処理回路105からの出力を通信プロトコルに準拠して変換した上で、適切にパケット処理をしてネットワーク1500上へと配信する。また、撮像装置1000を制御する為の制御信号を通信プロトコルに準拠して送受信を行う。   Reference numeral 106 denotes a network processing circuit, which converts the output from the video processing circuit 105 in accordance with a communication protocol, performs appropriate packet processing, and delivers the packet to the network 1500. Further, the control signal for controlling the image pickup apparatus 1000 is transmitted and received in conformity with the communication protocol.

110は制御回路でありCPUを含み、撮像装置1000の各構成要素を統括的に制御及び各種パラメータの設定等を行う。また、記憶回路111は、データを電気的に消去可能なメモリ等を含み、制御回路110はこれに記憶されたOSや各種プログラムを実行する。なお、メモリは、制御回路110が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。また、制御回路110は所定のタイミングでTG104に所定の駆動信号を出力するように制御する制御手段を備える。例えば、クライアント装置2000等の指示によって、各撮像素子を駆動する駆動モードを切り替えるようにTG104を制御する。   Reference numeral 110 denotes a control circuit including a CPU, which comprehensively controls each component of the image pickup apparatus 1000 and sets various parameters. The memory circuit 111 includes a memory or the like that can electrically erase data, and the control circuit 110 executes the OS and various programs stored therein. The memory is used as a program storage area executed by the control circuit 110, a work area during program execution, a data storage area, and the like. The control circuit 110 also includes a control unit that controls the TG 104 to output a predetermined drive signal at a predetermined timing. For example, the TG 104 is controlled so as to switch the drive mode for driving each image sensor according to an instruction from the client device 2000 or the like.

加えて、記憶回路111は制御回路110の制御によって、各増幅器から出力される信号や映像処理回路105から出力される信号を所定の順番で保持可能である。   In addition, the storage circuit 111 can hold signals output from each amplifier and signals output from the video processing circuit 105 in a predetermined order under the control of the control circuit 110.

ここで、本実施例において複数の撮像部に対して1つのTG104及び映像処理回路105が設けられている。そのため、TG104は、駆動対象となる撮像素子102を順次切り替え、駆動信号を送る。そして、映像処理回路105は順次切り替えられて入力される信号を順次処理することとなる。なお、本実施例では1つのTG104及び映像処理回路105を設けるようにしたが、どちらか一方又は両方を複数設けるようにしてもよい。この際には、同時に駆動可能となる撮像部を一以上に増やすことができ、フレームレート等を増加させることができる。   Here, in this embodiment, one TG 104 and one video processing circuit 105 are provided for a plurality of image pickup units. Therefore, the TG 104 sequentially switches the image sensor 102 to be driven and sends a drive signal. Then, the video processing circuit 105 sequentially switches and sequentially processes the input signals. In this embodiment, one TG 104 and one video processing circuit 105 are provided, but either one or both may be provided in plural. In this case, the number of image pickup units that can be driven simultaneously can be increased to one or more, and the frame rate and the like can be increased.

次に、複数の撮像素子の露光、読み出しをライン毎に切り替えて行う動作に関して、図2のタイミングチャートを用いて説明する。なお、撮像素子A乃至Dは撮像素子103a乃至103dに夫々対応する。   Next, the operation of switching the exposure and reading of a plurality of image pickup devices for each line will be described with reference to the timing chart of FIG. The image pickup devices A to D correspond to the image pickup devices 103a to 103d, respectively.

201は垂直同期信号であり、TG104にて生成され、撮像素子の駆動タイミングの同期を取るための基準信号として各撮像素子に入力される。各撮像素子は垂直同期信号201が立ち下がるタイミングに合わせて各処理が行われる。なお、図2において、各行の露光及び読み出しのタイミングは不図示の水平同期信号に合わせて実行するようにして良い。   Reference numeral 201 denotes a vertical synchronization signal, which is generated by the TG 104 and is input to each image sensor as a reference signal for synchronizing the drive timing of the image sensor. Each image pickup element performs each process at the timing when the vertical synchronization signal 201 falls. Note that in FIG. 2, the timing of exposure and reading of each row may be executed in accordance with a horizontal synchronizing signal (not shown).

最初に、撮像素子Aの1ライン目の露光(R11)が開始される。次のタイミングで、撮像素子Bの1ライン目の露光(R21)が開始される。そして、順次に撮像素子Cの1ライン目の露光R31及び撮像素子Dの1ライン目の露光R41が開始される。その後撮像素子Aの2ライン目の露光R12が開始される。このように、撮像素子A乃至Dの対象となる各ラインにおいて、走査方向206に隣り合う撮像素子に対して順次露光が開始される。なお、各撮像素子において、露光タイミング及び露光時間を制御するための電子シャッタータイミング等はTG104より入力される。なお、本実施例において、走査方向206とは、各撮像素子が一括して露光及び読み出しを行う単位(例えば行)と平行する方向を示す。   First, the exposure (R11) of the first line of the image sensor A is started. At the next timing, the exposure (R21) of the first line of the image sensor B is started. Then, the exposure R31 of the first line of the image sensor C and the exposure R41 of the first line of the image sensor D are sequentially started. Then, the exposure R12 of the second line of the image sensor A is started. In this way, in each line which is the target of the image pickup devices A to D, the image pickup devices adjacent to each other in the scanning direction 206 are sequentially exposed. In each image sensor, the electronic shutter timing and the like for controlling the exposure timing and the exposure time are input from the TG 104. In the present embodiment, the scanning direction 206 indicates a direction parallel to a unit (for example, a row) in which each image sensor collectively performs exposure and reading.

露光が終了すると、各ラインの信号読み出しも露光タイミングと同様に順次開始される。まず、撮像素子Aの1ライン目の読み出し(Y11)が行われ、読み出されたデータはS1−L1として、撮像素子Aの1ライン目の信号として記憶回路111に格納される。同様に、撮像素子Bの1ライン目の読み出し(Y21)が行われ、読み出されたデータはS2−L1として、撮像素子Bの1ライン目データとして記憶回路111に格納される。撮像素子Cの1ライン目の読み出し(Y31)が行われ、読み出されたデータはS3−L1として、撮像素子Cの1ライン目データとして記憶回路111に格納される。撮像素子Dの1ライン目の読み出し(Y41)が行われ、読み出されたデータはS4−L1として、撮像素子Dの1ライン目データとして記憶回路111に格納される。   When the exposure is completed, the signal reading of each line is sequentially started similarly to the exposure timing. First, the first line of the image sensor A is read (Y11), and the read data is stored in the memory circuit 111 as S1-L1 as a signal of the first line of the image sensor A. Similarly, the first line of the image sensor B is read (Y21), and the read data is stored as S2-L1 in the memory circuit 111 as the first line data of the image sensor B. The first line of the image sensor C is read (Y31), and the read data is stored as S3-L1 in the memory circuit 111 as the first line data of the image sensor C. The first line of the image sensor D is read (Y41), and the read data is stored in the storage circuit 111 as the first line data of the image sensor D as S4-L1.

そして、同様に、各撮像素子のライン毎に蓄積、読み出しを続け、最終ラインであるnライン目までの処理が行われる。これらの処理によって、撮像素子Aの画像202、撮像素子Bの画像203、撮像素子Cの画像204、撮像素子Dの画像205が生成される。   Then, similarly, accumulation and reading are continued for each line of each image pickup device, and the process up to the nth line which is the final line is performed. By these processes, an image 202 of the image sensor A, an image 203 of the image sensor B, an image 204 of the image sensor C, and an image 205 of the image sensor D are generated.

次に、本実施例において、図2に示す露光及び読み出しを行った画像をもとに生成される画像について図3を用いて説明する。   Next, in this embodiment, an image generated based on the exposed and read image shown in FIG. 2 will be described with reference to FIG.

本実施例において、各撮像素子から出力された信号は画像処理手段105によってパノラマ状に並べられて合成される。図3は各撮像素子から生成された画像をパノラマ状に並べて配置することで1枚の広画角の画像(より広い撮像範囲の画像)に合成したものを、クライアント装置2000が備える表示部等に表示した例である。   In the present embodiment, the signals output from the respective image pickup devices are arranged in a panorama by the image processing means 105 and are combined. FIG. 3 shows a display unit and the like included in the client device 2000, which is obtained by synthesizing images generated from the respective image pickup devices side by side in a panoramic form into a single image with a wide angle of view (image with a wider image pickup range). It is an example displayed in.

本実施例において図2で示したように撮像素子の露光及び読み出しは、各撮像素子のライン毎に切り替えて行われる。そのため、撮像素子間を跨った部分、つまり画像をつなぎ合わせた部分にあるビル等の静止被写体300は撮像素子間のタイムラグによる影響は少ないのでそのまま合成される。一方、撮像素子間を跨った部分にある動き被写体301に対しても撮像素子間のタイムラグは、ライン毎に切り替えて露光、読み出しを行っているためずれの発生は少ない。よって2重に見えることなく動きのある被写体も合成することができる。2重に見えないので2つの物体として誤検知することなく、1つの物体として検出することが可能となる。   In the present embodiment, as shown in FIG. 2, exposure and reading of the image pickup device are performed by switching for each line of each image pickup device. Therefore, a static subject 300 such as a building in a portion that straddles the image pickup devices, that is, a portion where the images are joined together, is not affected by the time lag between the image pickup devices, and thus is combined as it is. On the other hand, with respect to the moving subject 301 located in a portion across the image pickup devices, the time lag between the image pickup devices is switched for each line for exposure and reading, so that there is little deviation. Therefore, it is possible to synthesize a moving subject without seeing double. Since it does not appear double, it can be detected as one object without erroneously detecting as two objects.

このように、行単位で露光及び読み出しを行う撮像素子を含む撮像部を複数用いて撮像する場合、図2で示したように走査方向206に隣り合った撮像素子に対して順次露光及び読み出しを実行する。このような動作を行うことで、画像をつなぎ合わせる部分にまたがった被写体のずれを抑えることが可能となる。つまり、画像をつなぎ合わせる部分にまたがった被写体が2重となったりすることによる誤検出を低減させることが可能となる。   As described above, when imaging is performed using a plurality of image pickup units including image pickup devices that perform exposure and reading in row units, as illustrated in FIG. 2, the image pickup devices that are adjacent in the scanning direction 206 are sequentially exposed and read. Run. By performing such an operation, it becomes possible to suppress the displacement of the subject across the portion where the images are joined. In other words, it is possible to reduce erroneous detection due to double photographic subjects that straddle the portions where the images are joined.

なお、本実施例では、走査方向206と各撮像素子の配置を同じ方向としたが、走査方向に垂直な方向に撮像素子を配置してもよい。その場合は走査方向206に配置された撮像素子において、本実施例に係る動作を行うことによって本実施例と同様の効果を得ることができる。   In the present embodiment, the scanning direction 206 is arranged in the same direction as each image sensor, but the image sensors may be arranged in a direction perpendicular to the scanning direction. In that case, the same effect as that of the present embodiment can be obtained by performing the operation according to the present embodiment in the image pickup device arranged in the scanning direction 206.

なお、図2において、各撮像素子に対応する行を順次読み出す例を示したが、対応する行ごとに露光タイミング又は読み出しタイミングをそろえるようにしてもよい。例えば、各撮像素子のn行目の露光タイミングR1n乃至R4nの開始位置又は終了位置を夫々そろえるようにしてもよい。また、複数行を一単位として対応する行ごとに露光タイミング又は読み出しタイミングをそろえるようにしてもよい。例えば、各撮像素子のn行目とn+1行目の露光タイミングR1nおよびR1n+1の開始位置又は終了位置を夫々そろえるようにしてもよい。このように、タイミングをそろえる単位は一行単位に限られず、撮像素子の画素の配置や内部構造等を考慮し、決定することで適切なタイミングでの駆動が可能となる。   Note that FIG. 2 shows an example in which the rows corresponding to the respective image pickup elements are sequentially read, but the exposure timing or the read timing may be aligned for each corresponding row. For example, the start position or the end position of the exposure timings R1n to R4n on the nth row of each image sensor may be aligned. Further, the exposure timing or the read timing may be aligned for each corresponding row with a plurality of rows as one unit. For example, the start position or the end position of the exposure timings R1n and R1n + 1 on the n-th row and the n + 1-th row of each image sensor may be aligned. As described above, the unit for aligning the timing is not limited to the unit of one row, and the driving can be performed at an appropriate timing by considering and deciding the pixel arrangement and the internal structure of the image sensor.

(実施例2)
図4は、本発明の第2の実施例に係る撮像装置1000を含むシステム構成図である。第1の実施例と同様の構成は同じ符号をつけており、そのため、その説明は省略する。
(Example 2)
FIG. 4 is a system configuration diagram including an imaging device 1000 according to the second embodiment of the present invention. The same components as those in the first embodiment are designated by the same reference numerals, and therefore the description thereof will be omitted.

本実施例において、410は動き検知回路である。動き検出回路410は映像処理回路405に入力された画像データ又は、映像処理回路405にて複数の画像を合成した画像データにおいて、動き被写体の有無を検知する。そして、制御部110は、動き検出回路410の検知結果による動き被写体の有無によって、TG404を制御して各撮像素子を駆動する駆動モードを変更する。   In this embodiment, 410 is a motion detection circuit. The motion detection circuit 410 detects the presence or absence of a moving subject in the image data input to the video processing circuit 405 or the image data obtained by combining a plurality of images in the video processing circuit 405. Then, the control unit 110 controls the TG 404 to change the drive mode for driving each image sensor depending on the presence or absence of a moving subject based on the detection result of the motion detection circuit 410.

具体的には、動き検知回路410が動き被写体が画像内にあることを検知した場合は、実施例1にて示した駆動モードで各撮像素子を駆動する。一方で、動き検知回路410が動き被写体が画像内にないことを検知した場合は、図5及び図6にて示す駆動モードで各撮像素子を駆動して画像を取得する。   Specifically, when the motion detection circuit 410 detects that a moving subject is in the image, each image sensor is driven in the drive mode described in the first embodiment. On the other hand, when the motion detection circuit 410 detects that there is no moving subject in the image, each image sensor is driven in the drive mode shown in FIGS. 5 and 6 to acquire the image.

ここで、第2の実施例に係る複数の撮像素子の露光、読み出しをライン毎に切り替えて行う動作に関して、動き検知回路410が動き被写体が画像内にないことを検知した場合に関して図5のタイミングチャートを用いて説明する。   Here, regarding the operation of performing the exposure and the readout of the plurality of image sensors according to the second embodiment by switching for each line, the timing of FIG. 5 in the case where the motion detection circuit 410 detects that the moving subject is not in the image. This will be explained using a chart.

図5は複数に並んだ撮像素子の読み出し、蓄積のタイミングを示す図である。   FIG. 5 is a diagram showing the timing of reading and accumulation of a plurality of image pickup devices arranged side by side.

501は垂直同期信号であり、TG104にて生成され、撮像素子101a乃至101dの駆動タイミングの同期を取るための基準信号として各撮像素子に入力される。各撮像素子は垂直同期信号201が立ち下がるタイミングに合わせて各処理が行われる。なお、図5において、各行の露光及び読み出しのタイミングは不図示の水平同期信号に合わせて実行するようにして良い。   A vertical synchronization signal 501 is generated by the TG 104, and is input to each image sensor as a reference signal for synchronizing the drive timing of the image sensors 101a to 101d. Each image pickup element performs each process at the timing when the vertical synchronization signal 201 falls. Note that, in FIG. 5, the timing of exposure and reading of each row may be executed in accordance with a horizontal synchronizing signal (not shown).

最初に、第1の撮像素子Aの1ライン目の露光(R11)が開始される。そして、第1の撮像素子Aの2ライン目の露光(R12)が開始される。順次に露光が開始され、最終ライン(有効領域)であるnライン目の露光(R1n)が開始される。   First, the exposure (R11) of the first line of the first image sensor A is started. Then, the exposure (R12) of the second line of the first image sensor A is started. The exposure is sequentially started, and the exposure (R1n) of the nth line which is the final line (effective area) is started.

その後、露光が終了すると、各ラインの信号読み出しも露光タイミングと同様に順次開始される(Y11乃至Y1n)。読みだされた各ラインのデータ(S1−L1乃至S1−Ln)は撮像素子Aの各ラインのデータとして格納される。これらのデータより撮像素子Aの画像502が生成される。   After that, when the exposure is completed, the signal reading of each line is sequentially started similarly to the exposure timing (Y11 to Y1n). The read data (S1-L1 to S1-Ln) of each line is stored as the data of each line of the image sensor A. An image 502 of the image sensor A is generated from these data.

同様に第二の撮像素子B、第三の撮像素子C、第四の撮像素子Dにおいても同様の露光と読み出しが行われ各画像503乃至505が生成される。   Similarly, in the second image pickup device B, the third image pickup device C, and the fourth image pickup device D, similar exposure and reading are performed, and each image 503 to 505 is generated.

次に、本実施例において、図5に示す露光及び読み出しを行った画像をもとに生成される画像について図6を用いて説明する。   Next, in this embodiment, an image generated based on the exposed and read image shown in FIG. 5 will be described with reference to FIG.

本実施例においても、各撮像素子から出力された信号は画像処理手段105によってパノラマ状に並べられて合成される。図6は各撮像素子から生成された画像をパノラマ状に並べて配置することで1枚の広画角の画像に合成したものを、クライアント装置2000が備える表示部等に表示した例である。   Also in this embodiment, the signals output from the image pickup devices are arranged in a panorama by the image processing means 105 and are combined. FIG. 6 shows an example in which the images generated from the image pickup devices are arranged in a panorama form and combined into one wide-angle image, and the combined image is displayed on the display unit or the like included in the client apparatus 2000.

ここで撮像素子101の露光、読み出しは撮像素子毎に切り替えて行われる。撮像素子間を跨いだ部分にある静止被写体506は撮像センサ間のタイムラグによる影響はないのでずれの影響はなく表示される。   Here, the exposure and the reading of the image pickup device 101 are switched for each image pickup device. The stationary subject 506, which is located across the image pickup elements, is not affected by the time lag between the image sensors, and thus is displayed without influence of the shift.

このように撮像素子毎に切り替えて撮像を行う場合は、一部の撮像部を休止させることで監視領域を限定したり、駆動モードを変更したりするなどによって、撮像素子毎に省電力動作を行うことが容易となる。例えば、所定の撮像部のみを動作させて画像を取得し、パノラマ状に並べられた画像の一部を更新するなどすることが可能となる。   In this way, when performing imaging by switching for each image pickup device, power saving operation is performed for each image pickup device by limiting the monitoring area by suspending a part of the image pickup unit or changing the drive mode. It will be easy to do. For example, it is possible to operate only a predetermined image capturing unit to acquire an image and update a part of the panoramic image.

次に、動き被写体の有無により露光、読み出しタイミングを変更する動作に関して図7のフローチャートを用いて説明する。本フローチャートの処理は制御回路110が実行する。   Next, the operation of changing the exposure and readout timing depending on the presence / absence of a moving subject will be described with reference to the flowchart of FIG. The process of this flowchart is executed by the control circuit 110.

ステップS701において、制御回路110は、本フローチャートの処理を開始する。そして、処理をステップS702に進める。   In step S701, the control circuit 110 starts the process of this flowchart. Then, the process proceeds to step S702.

ステップS702において、制御回路110は、TG104を制御して、各撮像素子102を駆動する。そして、各撮像部の画像の一部又は全部を映像処理回路405に入力する。そして、処理をステップS703に進める。   In step S702, the control circuit 110 controls the TG 104 to drive each image sensor 102. Then, a part or all of the image of each imaging unit is input to the video processing circuit 405. Then, the process proceeds to step S703.

ステップS703において、制御回路110は、動き検知回路410を用いて、映像処理回路405に入力した画像内に動き被写体が存在するかを検知する。ここでは、動き被写体の検知は、複数の画像間での差分から同じ被写体を対応付けし、その被写体の画像間での移動量より動きの有無を検知する。移動量の検出は、一つの画像を別の画像に対して所定の方向に移動させて画像間の差分をとることによって、検出が可能となる。なお、記憶部111等にデータベースを設け、そのデータベースを用いて顔検出等を行った結果を用いてもよい。また、顔検出等が行われた位置が画像間で変化するか否かによって動きの有無を検知してもよい。また、クライアント装置2000からの制御又は情報に基づいて検知するようにしてもよい。ここで、検知結果として動きが無い場合には、ステップS704に処理をすすめ、動きが有る場合には、ステップS705に処理を進める。   In step S703, the control circuit 110 uses the motion detection circuit 410 to detect whether or not a moving subject exists in the image input to the video processing circuit 405. Here, in the detection of a moving subject, the same subject is associated from the difference between a plurality of images, and the presence or absence of movement is detected from the amount of movement of the subject between the images. The amount of movement can be detected by moving one image in a predetermined direction with respect to another image and taking the difference between the images. A database may be provided in the storage unit 111 or the like, and the result of face detection or the like performed using the database may be used. Further, the presence / absence of movement may be detected depending on whether or not the position at which face detection or the like is performed changes between images. Alternatively, the detection may be performed based on control or information from the client device 2000. If there is no movement as a result of the detection, the process proceeds to step S704, and if there is movement, the process proceeds to step S705.

ステップS704において、制御回路110は、TG104を制御して各撮像素子に対して、図5に示した駆動モードで駆動するように制御する。そして、処理をステップS706に進める。   In step S704, the control circuit 110 controls the TG 104 so that each image sensor is driven in the drive mode shown in FIG. Then, the process proceeds to step S706.

ステップS705において、制御回路110は、TG104を制御して各撮像素子に対して、図2に示した駆動モードで駆動するように制御する。そして、処理をステップS706に進める。   In step S705, the control circuit 110 controls the TG 104 so that each image sensor is driven in the drive mode shown in FIG. Then, the process proceeds to step S706.

ステップS706において、制御回路110は、画像処理回路105にて、複数撮像素子で露光、読み出しされた画像データを並べて、パノラマ合成を行う。そして、処理をステップS707に進める。   In step S <b> 706, the control circuit 110 causes the image processing circuit 105 to arrange the image data exposed and read by the plurality of image pickup devices to perform panorama synthesis. Then, the process proceeds to step S707.

ステップS707において、制御回路110は、画像処理回路105にて生成した画像をネットワーク処理回路106へと出力し、ネットワーク108経由でクライアント装置2000に送信する制御を行う。   In step S707, the control circuit 110 performs control to output the image generated by the image processing circuit 105 to the network processing circuit 106 and transmit the image to the client device 2000 via the network 108.

以上の動作を行うことによって、各撮像素子102で撮像された画像内の動き被写体の有無によって、複数の撮像素子での露光、読み出しタイミングである駆動モードを切り替えることで、適切な撮像が可能となる。なお、本実施例において、制御回路110は複数の駆動モードを切り替える切替手段に相当する。   By performing the above operation, appropriate driving can be performed by switching the driving mode, which is the exposure / reading timing of the plurality of image pickup elements, depending on the presence or absence of a moving subject in the image picked up by each image pickup element 102. Become. In the present embodiment, the control circuit 110 corresponds to a switching unit that switches a plurality of drive modes.

なお、本実施例においては、画面内の動き被写体の有無によって、駆動モードを切り替えたが、動き検知回路410による検知における動き被写体の画面内の位置も考慮して切り替えるようにしてもよい。具体的には、動き被写体が画像をつなぎ合わせる部分にまたぐ領域で検知されたか否かを考慮して駆動モードを切り替えてもよい。つまり、図7のステップS703において、動き被写体を検知したとしても、画面の中心付近であれば、像のずれは抑えられ、誤検出の可能性も抑えられる。そのため、動き被写体が画面周辺で検知された場合に駆動モードを切り替えることで、駆動モードの切り替え頻度を低減することができる。また、2以上の隣接する撮像素子において、動きが検知された場合に動き被写体が画像をつなぎ合わせる部分にまたぐ領域で検知されたと判定するようにしてもよい。   In the present embodiment, the drive mode is switched depending on the presence / absence of a moving subject in the screen, but the driving mode may be switched in consideration of the position in the screen of the moving subject in the detection by the motion detection circuit 410. Specifically, the driving mode may be switched in consideration of whether or not a moving subject is detected in a region straddling a portion where images are joined. That is, in step S703 of FIG. 7, even if a moving subject is detected, if it is near the center of the screen, the image shift is suppressed, and the possibility of erroneous detection is also suppressed. Therefore, the frequency of driving mode switching can be reduced by switching the driving mode when a moving subject is detected around the screen. In addition, in two or more adjacent image pickup devices, when motion is detected, it may be determined that a moving subject is detected in a region straddling a portion where images are joined.

また、動き検知回路410は画像内の動きの有無のみを検知する例を示したが、これ以外にも動き量や動き方向も合わせて検知できるようにしてもよい。この場合、動き量の検知に所定の閾値を設け、動き量が微小であれば検知しないようにすることも可能である。このように動き量に所定の閾値を設けることによって、誤検出による駆動モードの誤切り替えを低減することができる。また、動き方向を用いることで、動き被写体が次回の撮像の際に撮像する範囲をまたぐか否かも判定することができる。この用に動き方向も検知に用いることによって、速く動く被写体に対しても適切に追従することが可能となる。   Further, although the motion detection circuit 410 shows an example in which only the presence or absence of motion in the image is detected, other than this, the motion amount and the motion direction may also be detected. In this case, it is possible to provide a predetermined threshold for detecting the motion amount and not detect it if the motion amount is minute. By providing a predetermined threshold value for the amount of movement in this way, it is possible to reduce erroneous switching of drive modes due to erroneous detection. Further, by using the moving direction, it is possible to determine whether or not the moving subject straddles the range to be imaged in the next image pickup. For this reason, by using the movement direction for detection, it is possible to appropriately follow a fast-moving subject.

また、本実施例においては、各撮像素子の駆動モードを動き被写体の有無によって、切り替える動作を示したが、すべての撮像素子の駆動モードを切り替える必要はない。すなわち、検知された動き被写体の領域に応じて、一部の撮像素子の駆動モードを切り替えるようにしてもよい。例えば、撮像する範囲をまたぐ被写体が撮像される撮像素子の駆動モードのみを切り替えるようにしてもよい。   Further, in the present embodiment, the operation of switching the drive mode of each image sensor depending on the presence or absence of a moving subject has been described, but it is not necessary to switch the drive mode of all the image sensors. That is, the drive modes of some of the image sensors may be switched according to the detected region of the moving subject. For example, only the drive mode of the image sensor that captures an image of a subject that extends over the image capturing range may be switched.

なお、図6に示したフローチャートは撮像開始時に実行してもよいし、所定の間隔で実行するようにしてもよい。   The flowchart shown in FIG. 6 may be executed at the start of image capturing or may be executed at predetermined intervals.

なお、実施形態の構成としてレンズ、撮像素子をそれぞれ4台の場合について説明したが、2〜3台、5台以上でも同様である。   Although the case where the number of lenses and the number of image pickup elements are four is described as the configuration of the embodiment, the same applies to two to three, five or more.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で様々の変形、及び変更が可能である。   Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the gist thereof.

(ネットワーク通信に係る実施例)
本発明に係る撮像装置1000は、クライアント装置2000とネットワーク経由1500で接続されている。クライアント装置2000はネットワーク1500経由で撮像装置1000を制御するための制御コマンドをネットワーク1500経由で送信可能である。撮像装置1000は受信した制御コマンド及び制御コマンドに含まれるパラメータに基づいて自身の制御を行う。そして、撮像装置1000は制御コマンドを受信した場合、受信したコマンドに対するレスポンスをクライアント装置2000に送信する。撮像装置1000からのレスポンスを受けたクライアント装置2000は、レスポンスに含まれる情報を基に、クライアント装置2000に設けられた表示部等に表示されたユーザーインターフェースの内容を更新する。
(Example related to network communication)
The imaging device 1000 according to the present invention is connected to the client device 2000 via a network 1500. The client device 2000 can transmit a control command for controlling the imaging device 1000 via the network 1500 via the network 1500. The imaging apparatus 1000 controls itself based on the received control command and the parameters included in the control command. Then, when the imaging device 1000 receives the control command, the imaging device 1000 transmits a response to the received command to the client device 2000. Upon receiving the response from the image capturing apparatus 1000, the client apparatus 2000 updates the content of the user interface displayed on the display unit or the like provided in the client apparatus 2000 based on the information included in the response.

ここで、撮像装置1000とクライアント装置2000の制御コマンドに係る通信に関して図8を用いて説明する。クライアント装置2000と撮像装置1000はリクエストとレスポンスの組み合わせであるトランザクションを用いて通信を行う。   Here, communication relating to control commands between the image capturing apparatus 1000 and the client apparatus 2000 will be described with reference to FIG. The client device 2000 and the imaging device 1000 communicate using a transaction that is a combination of request and response.

まず、クライアント装置2000は、トランザクションS1000において、撮像装置1000が保持する情報を取得するための情報要求リクエストを送信する。情報要求リクエストには、例えば、撮像装置1000が有する機能等を問い合わせる要求を含ませることができる。ここで、撮像装置1000の機能には、画像を圧縮符号化するパラメータ、画像補正機能、パンチルト機構の有無等が含まれる。また、撮像装置1000の機能には、撮像部における駆動モードに関する駆動モード情報も含まれる。ここで、駆動モード情報とは、前述した撮像素子1000が駆動可能な駆動モードの種類等が含まれる。そして、撮像装置1000はこの情報要求リクエストに対する応答として、情報要求レスポンスを送信する。情報要求レスポンス内には、クライアント装置2000から要求された撮像装置の機能に関する情報が含まれる。これらの情報を用いることによって、クライアント装置2000は撮像装置1000の機能を認識することが可能となる。   First, in transaction S1000, the client apparatus 2000 transmits an information request request for acquiring information held by the imaging apparatus 1000. The information request request may include, for example, a request for inquiring about the function or the like of the image capturing apparatus 1000. Here, the functions of the image pickup apparatus 1000 include a parameter for compressing and coding an image, an image correction function, the presence / absence of a pan / tilt mechanism, and the like. The function of the image pickup apparatus 1000 also includes drive mode information regarding the drive mode in the image pickup unit. Here, the drive mode information includes the types of drive modes in which the image pickup device 1000 described above can be driven, and the like. Then, the imaging apparatus 1000 transmits an information request response as a response to this information request request. The information request response includes information regarding the function of the image pickup apparatus requested by the client apparatus 2000. By using these pieces of information, the client apparatus 2000 can recognize the function of the image pickup apparatus 1000.

また、クライアント装置2000は情報要求リクエストを用いて撮像装置1000の状態も取得可能である。ここで、撮像装置1000の状態には、現状の制御パラメータ、パンチルト機構の位置等が含まれる。また、撮像装置の状態として、現状の駆動モードの状態等が含まれる。これらの情報を用いることによって、クライアント装置2000は撮像装置1000の状態を認識することが可能となる。   The client apparatus 2000 can also acquire the state of the image capturing apparatus 1000 using the information request request. Here, the state of the image pickup apparatus 1000 includes the current control parameters, the position of the pan / tilt mechanism, and the like. In addition, the state of the current drive mode and the like are included as the state of the imaging device. By using these pieces of information, the client apparatus 2000 can recognize the state of the image pickup apparatus 1000.

また、クライアント装置は、トランザクションS1100において、撮像装置に対して各種パラメータ等の設定を行うための設定リクエストを送信する。設定リクエストには、事前にトランザクションS1000にて取得した撮像装置1000の機能または状態を考慮して行われる。例えば、撮像装置の状態を設定する要求を含ませることができる。ここで、設定リクエストによって設定可能な例として、画像を圧縮符号化するパラメータの設定、画像補正機能の設定、パンチルト機構の動作等がある。また、本設定リクエストによって撮像部の駆動モードも設定可能である。   In addition, the client device transmits a setting request for setting various parameters and the like to the imaging device in transaction S1100. The setting request is made in consideration of the function or state of the imaging device 1000 acquired in advance in the transaction S1000. For example, a request to set the state of the imaging device can be included. Here, as examples that can be set by the setting request, there are setting of parameters for compressing and encoding an image, setting of an image correction function, operation of a pan-tilt mechanism, and the like. Further, the drive mode of the image pickup unit can also be set by this setting request.

そして、撮像装置1000はこの設定リクエストに対する応答として設定レスポンスを送信する。設定レスポンス内には、クライアント装置2000から設定された撮像装置の機能等に関して正常設定がなされたか否か等の情報が含まれる。これらの情報を用いることによって、クライアント装置2000は撮像装置1000の状態を認識することが可能となる。   Then, the imaging device 1000 transmits a setting response as a response to this setting request. The setting response includes information such as whether or not normal setting has been made regarding the function of the image pickup apparatus set by the client apparatus 2000. By using these pieces of information, the client apparatus 2000 can recognize the state of the image pickup apparatus 1000.

また、撮像装置1000は、クライアント装置2000からの設定に基づいて、定期的または所定のイベントをトリガーとして、トランザクションS1200において定期通知をクライアント装置に対して送信する。定期通知には情報要求レスポンスに含まれる内容と同様である。これらの情報を用いることによって、クライアント装置2000は撮像装置1000の状態を認識することが可能となる。   In addition, the imaging apparatus 1000 transmits a periodic notification to the client apparatus in transaction S1200 based on the setting from the client apparatus 2000, triggered by a periodic or predetermined event. The regular notification has the same content as the information request response. By using these pieces of information, the client apparatus 2000 can recognize the state of the image pickup apparatus 1000.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

105 映像処理回路
107 撮像装置
108 ネットワーク
109 クライアント装置
110 制御回路
111 記憶回路
105 video processing circuit 107 imaging device 108 network 109 client device 110 control circuit 111 storage circuit

Claims (6)

被写体を撮像して画像データを取得するための複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち少なくとも一つの撮像部を駆動対象として所定の駆動モードで駆動する駆動手段と、
各種設定をネットワーク経由で外部装置より受信する受信手段と、
を備え、
前記撮像部は光を電気信号に変換する光電変換部を行列方向に配置した撮像素子をそれぞれ含み、
前記駆動手段において、前記画像データを取得するための前記撮像素子の領域を一以上の行をひとつの単位として複数に分割し、前記単位の露光又は読み出し毎に前記駆動対象の撮像部を順次切り替える第一の駆動モードと、前記前記撮像素子の領域を分割せずに読み出す第二の駆動モードを含むことを特徴とする撮像装置。
An imaging device having a plurality of imaging units for imaging a subject and acquiring image data,
A driving unit which drives at least one of the plurality of imaging units in a predetermined driving mode as a driving target;
A receiving means for receiving various settings from an external device via a network,
Equipped with
Each of the image pickup units includes an image pickup device in which a photoelectric conversion unit that converts light into an electric signal is arranged in a matrix direction.
In the drive unit, the area of the image pickup device for acquiring the image data is divided into a plurality of units with one or more rows as one unit, and the image pickup unit to be driven is sequentially switched every exposure or reading of the unit. An image pickup apparatus comprising: a first drive mode; and a second drive mode for reading an area of the image pickup device without dividing the area.
前記撮像部で取得した画像データを合成する合成手段をさらに備え、
前記合成手段は取得した前記画像データを合成することによって、より広い撮像範囲の画像データを生成することを特徴とする請求項1に記載の撮像装置。
Further comprising a synthesizing unit for synthesizing the image data acquired by the image pickup unit,
The image pickup apparatus according to claim 1, wherein the synthesizing unit synthesizes the acquired image data to generate image data having a wider image pickup range.
前記駆動手段の一以上の駆動モードを切り替える切替手段と、
前記画像データ内の被写体の動きを検知する検知手段を更に備え、
前記切替手段は前記検知手段の検知結果に基づいて前記駆動手段の駆動モードを切り替えることを特徴とする請求項1又は2に記載の撮像装置。
Switching means for switching one or more drive modes of the drive means,
Further comprising detection means for detecting movement of the subject in the image data,
The image pickup apparatus according to claim 1, wherein the switching unit switches a drive mode of the driving unit based on a detection result of the detection unit.
前記第一の駆動モードと異なる範囲には、前記検知手段が検知する被写体を囲む範囲を含むことを特徴とする請求項3に記載の撮像装置。   The image pickup apparatus according to claim 3, wherein the range different from the first drive mode includes a range surrounding a subject detected by the detection unit. 前記切替手段は前記検知手段が前記画像データ内に被写体の動きを検知できた場合には前記第一の駆動モードに駆動モードを切り替え、被写体の動きを検知できなかった場合に前記第二の駆動モードに切り替えることを特徴とする請求項3または4に記載の撮像装置。   The switching means switches the drive mode to the first drive mode when the detection means can detect the movement of the subject in the image data, and the second drive when the movement of the subject cannot be detected. The imaging device according to claim 3, wherein the imaging device is switched to a mode. 前記撮像装置の状態をネットワーク経由で外部装置に通知する通知手段を更に備え、
前記受信手段は前記駆動手段の駆動モード設定をネットワーク経由で外部装置より受信し、
前記通知手段は、前記撮像装置の駆動モード情報を外部装置に通知することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
Further comprising notifying means for notifying the external device of the state of the imaging device via a network,
The receiving means receives the drive mode setting of the drive means from an external device via a network,
The imaging device according to claim 1, wherein the notification unit notifies the external device of drive mode information of the imaging device.
JP2019180367A 2019-09-30 2019-09-30 Imaging device Pending JP2020074511A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019180367A JP2020074511A (en) 2019-09-30 2019-09-30 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019180367A JP2020074511A (en) 2019-09-30 2019-09-30 Imaging device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015055210A Division JP2016178371A (en) 2015-03-18 2015-03-18 Imaging device

Publications (1)

Publication Number Publication Date
JP2020074511A true JP2020074511A (en) 2020-05-14

Family

ID=70610291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019180367A Pending JP2020074511A (en) 2019-09-30 2019-09-30 Imaging device

Country Status (1)

Country Link
JP (1) JP2020074511A (en)

Similar Documents

Publication Publication Date Title
CN109842753B (en) Camera anti-shake system, camera anti-shake method, electronic device and storage medium
CN110012224B (en) Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium
JP6123274B2 (en) Imaging device
US10412291B2 (en) Intelligent interface for interchangeable sensors
CN109951638B (en) Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium
JP6222514B2 (en) Image processing apparatus, imaging apparatus, and computer program
US8890971B2 (en) Image processing apparatus, image capturing apparatus, and computer program
JP2013165487A (en) Image processing apparatus, image capturing apparatus, and program
JP2007281555A (en) Imaging apparatus
CN111193866A (en) Image processing method, image processor, photographing device and electronic equipment
JP6037224B2 (en) Image processing apparatus, imaging apparatus, and program
JP2012120152A (en) Imaging apparatus and control method of the same
JP4953770B2 (en) Imaging device
WO2018109869A1 (en) Surveillance camera system and surveillance camera
JP2006074693A (en) Imaging apparatus
JP2020074511A (en) Imaging device
JP2016178371A (en) Imaging device
JP2007189602A (en) Imaging apparatus
JP2019216398A (en) Imaging apparatus and control method therefor, and program
US11729506B2 (en) Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program
JP2009194469A (en) Imaging apparatus
JPH08265522A (en) Image input device
JP6539114B2 (en) Imaging device, control method therefor, and program
JP6486132B2 (en) Imaging apparatus, control method therefor, and program
JP2022170437A (en) Electronic apparatus and control method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210330