JP2020074511A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2020074511A JP2020074511A JP2019180367A JP2019180367A JP2020074511A JP 2020074511 A JP2020074511 A JP 2020074511A JP 2019180367 A JP2019180367 A JP 2019180367A JP 2019180367 A JP2019180367 A JP 2019180367A JP 2020074511 A JP2020074511 A JP 2020074511A
- Authority
- JP
- Japan
- Prior art keywords
- image pickup
- image
- unit
- imaging
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関し、特に複数の撮像部を有する撮像装置に関するものである。 The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus having a plurality of image pickup units.
従来、魚眼レンズを用いずに、広い範囲を撮像する際に、複数の撮像部を用いて撮像し、各撮像部からの出力画像を合成処理する撮像装置が提案されている。例えば、特許文献1では、複数の撮像装置を用いて広画角なパノラマ画像を生成する方法が開示されている。
2. Description of the Related Art Conventionally, there has been proposed an image pickup apparatus that picks up an image using a plurality of image pickup units when a wide range is picked up without using a fisheye lens and synthesizes output images from the image pickup units. For example,
また、特許文献2では、複数の画像を繋ぎ合わせてパノラマ画像を生成する方法が開示されている。
In addition,
しかしながら、上述の従来技術では、並んだ複数の撮像部に対して撮像部毎に切り替えて露光を行うために、撮像部間を跨いで写る被写体を撮像する場合によっては、ずれたタイミングで露光されてしまう場合があった。この場合本来は1つであった物体が、ずれて撮像されてしまうこととなり、撮像された被写体を検出するようなアプリケーション等においては誤動作の原因となる懸念があった。 However, in the above-described conventional technique, since exposure is performed by switching the plurality of image pickup units arranged side by side for each image pickup unit, in some cases, the exposure is performed at a shifted timing depending on the case where an image of a subject captured across the image pickup units is taken. There was a case where it ended up. In this case, the originally one object will be imaged with a shift, which may cause a malfunction in an application or the like that detects the imaged subject.
そこで、本発明の目的は、複数の撮像部からの出力画像を合成処理する撮像装置において、被写体がずれて撮像されてしまうシーンを低減する撮像撮像装置を提供することである。 Therefore, an object of the present invention is to provide an image pickup apparatus that reduces a scene in which a subject is imaged with a shift in an image pickup apparatus that synthesizes output images from a plurality of image pickup units.
上記目的を達成するために、本発明は、被写体を撮像して画像データを取得するための複数の撮像部を有する撮像装置であって、前記複数の撮像部のうち少なくとも一つの撮像部を駆動対象として所定の駆動モードで駆動する駆動手段と、各種設定をネットワーク経由で外部装置より受信する受信手段と、を備え、前記撮像部は光を電気信号に変換する光電変換部を行列方向に配置した撮像素子をそれぞれ含み、前記駆動手段において、前記画像データを取得するための前記撮像素子の領域を一以上の行をひとつの単位として複数に分割し、前記単位の露光又は読み出し毎に前記駆動対象の撮像部を順次切り替える第一の駆動モードと、前記前記撮像素子の領域を分割せずに読み出す第二の駆動モードを含むことを特徴とする。 In order to achieve the above object, the present invention is an imaging device having a plurality of imaging units for imaging a subject and acquiring image data, wherein at least one of the plurality of imaging units is driven. The image pickup unit is provided with a photoelectric conversion unit that converts light into an electric signal in a matrix direction, and includes a driving unit that drives in a predetermined driving mode as a target and a receiving unit that receives various settings from an external device via a network. Each of the image pickup devices, and the driving unit divides an area of the image pickup device for acquiring the image data into a plurality of units in which one or more rows are one unit, and the drive is performed for each exposure or reading of the unit. It is characterized in that it includes a first drive mode in which the target image pickup unit is sequentially switched and a second drive mode in which the region of the image pickup device is read out without being divided.
本発明によれば、複数の撮像部からの出力画像を合成処理する撮像装置において、被写体がずれて撮像されてしまうシーンを低減する撮像撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging device for reducing the number of scenes in which a subject is imaged with a shift in an imaging device that synthesizes output images from a plurality of imaging units.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
(実施例1)
図1は、撮像装置1000を含むシステム構成図である。2000は、本発明における外部装置を示すクライアント装置である。撮像装置1000とクライアント装置2000は、ネットワーク1500を介してネットワーク経由で相互に通信可能な状態に接続されている。クライアント装置2000は、撮像装置1000に対して、各種制御コマンドを送信する。本制御コマンドには、例えば、撮像の開始停止、照明装置の照射等を行うためのコマンドが含まれる。また、各制御コマンドを受信した撮像装置1000は、受信した制御コマンドに対するレスポンスや撮像した画像信号から生成する画像データ等をクライアント装置2000に送信する。
(Example 1)
FIG. 1 is a system configuration diagram including an
なお、本実施形態における撮像装置1000は、所定の画角を有し被写体を撮像する撮像装置の一例であり、例えば動画像を撮像する監視カメラである。より詳細には、監視に用いられるネットワークカメラであるものとする。また、本実施形態におけるクライアント装置2000は、PC等の外部装置の一例である。又、本実施形態における撮像装置1000とクライアント装置2000からなる監視システムは、撮像システムに相当する。
The
また、ネットワーク1500は、例えばEthernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されるものとする。しかしながら、本実施形態においては、撮像装置1000とクライアント装置2000との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。
Further, the
例えば、ネットワーク1500は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により構成されていても良い。なお、本実施形態における撮像装置1000は、例えば、PoE(Power Over Ethernet(登録商標))に対応していても良く、LANケーブルを介して電力を供給されても良い。
For example, the
次に、図1において撮像装置1000の内部構成に関して説明する。101aはレンズ群であり、不図示のズームレンズ群、フォーカスレンズ群、絞り機構等から構成されている。
Next, the internal configuration of the
102aはCCDまたはCMOS撮像素子などの光電変換部を行列方向に配置した撮像素子であり、レンズ群101aを介して撮像素子面に受光された光学像を電気信号に変換する。
103aは増幅器であり、撮像素子102aから出力される信号を所定の信号レベルに増幅する。また、本実施例の増幅器103aはAD変換回路を有する。増幅器103aは撮像素子102aから入力される信号をAD変換して、デジタル化した画像信号を出力する。本実施例において、101a、102a、103aは一つの撮像部を構成する。なお、103aはAD変換回路を備えるとしたが、101a内に備えるようにしてもよい。
An
同様に第2の撮像部はレンズ群101b、撮像素子102b、増幅器103bから構成される。第3の撮像部はレンズ群101c、撮像素子102c、増幅器103cから構成される。第4の撮像部はレンズ群101d、撮像素子102d、増幅器103dから構成される。それぞれの撮像部は異なる方向又は範囲を撮像可能に設定されている。本実施例においては、4つの撮像部を水平方向に撮像可能範囲が隣接するように設置されている。
Similarly, the second image pickup unit includes a
104はタイミングジェネレータ(以下、TGと称することがある)であり、撮像素子102a乃至102dの撮像素子を駆動するための駆動信号を生成し、各撮像素子に出力する。そして、各撮像素子はTGから入力される駆動信号に基づいたタイミングに合わせて露光制御や信号読み出し等の制御を行う。具体的には、本実施例の各撮像素子は一つの行を一単として一括にリセット/読み出し等を行うラインスキャン制御を採用している。そして、順次複数の撮像素子中から駆動する撮像素子を切り替えて行ごとにリセット/読み出し等を行う。より詳細には、図2を用いて後述する。
A timing generator (hereinafter, also referred to as TG) 104 generates a drive signal for driving the image pickup devices of the
105は映像処理回路であり、各種映像処理や圧縮符号化等を行う。撮像素子102a乃至102dから、ライン毎に切り替えられた信号が順次入力され、撮像素子102a乃至102dを撮像位置に応じて並べた形に並び替え処理を行う。具体的には、並んだ画像を1枚のパノラマ上の画像に合成する。さらに、合成された画像に対して信号現像処理、ガンマ処理、ノイズ低減処理といった画像処理等を行い画像データへと変換する。変換した画像データはH.264やH.265等の圧縮符号化処理を行い出力する。
A
106はネットワーク処理回路であり、映像処理回路105からの出力を通信プロトコルに準拠して変換した上で、適切にパケット処理をしてネットワーク1500上へと配信する。また、撮像装置1000を制御する為の制御信号を通信プロトコルに準拠して送受信を行う。
110は制御回路でありCPUを含み、撮像装置1000の各構成要素を統括的に制御及び各種パラメータの設定等を行う。また、記憶回路111は、データを電気的に消去可能なメモリ等を含み、制御回路110はこれに記憶されたOSや各種プログラムを実行する。なお、メモリは、制御回路110が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。また、制御回路110は所定のタイミングでTG104に所定の駆動信号を出力するように制御する制御手段を備える。例えば、クライアント装置2000等の指示によって、各撮像素子を駆動する駆動モードを切り替えるようにTG104を制御する。
加えて、記憶回路111は制御回路110の制御によって、各増幅器から出力される信号や映像処理回路105から出力される信号を所定の順番で保持可能である。
In addition, the
ここで、本実施例において複数の撮像部に対して1つのTG104及び映像処理回路105が設けられている。そのため、TG104は、駆動対象となる撮像素子102を順次切り替え、駆動信号を送る。そして、映像処理回路105は順次切り替えられて入力される信号を順次処理することとなる。なお、本実施例では1つのTG104及び映像処理回路105を設けるようにしたが、どちらか一方又は両方を複数設けるようにしてもよい。この際には、同時に駆動可能となる撮像部を一以上に増やすことができ、フレームレート等を増加させることができる。
Here, in this embodiment, one
次に、複数の撮像素子の露光、読み出しをライン毎に切り替えて行う動作に関して、図2のタイミングチャートを用いて説明する。なお、撮像素子A乃至Dは撮像素子103a乃至103dに夫々対応する。
Next, the operation of switching the exposure and reading of a plurality of image pickup devices for each line will be described with reference to the timing chart of FIG. The image pickup devices A to D correspond to the
201は垂直同期信号であり、TG104にて生成され、撮像素子の駆動タイミングの同期を取るための基準信号として各撮像素子に入力される。各撮像素子は垂直同期信号201が立ち下がるタイミングに合わせて各処理が行われる。なお、図2において、各行の露光及び読み出しのタイミングは不図示の水平同期信号に合わせて実行するようにして良い。
最初に、撮像素子Aの1ライン目の露光(R11)が開始される。次のタイミングで、撮像素子Bの1ライン目の露光(R21)が開始される。そして、順次に撮像素子Cの1ライン目の露光R31及び撮像素子Dの1ライン目の露光R41が開始される。その後撮像素子Aの2ライン目の露光R12が開始される。このように、撮像素子A乃至Dの対象となる各ラインにおいて、走査方向206に隣り合う撮像素子に対して順次露光が開始される。なお、各撮像素子において、露光タイミング及び露光時間を制御するための電子シャッタータイミング等はTG104より入力される。なお、本実施例において、走査方向206とは、各撮像素子が一括して露光及び読み出しを行う単位(例えば行)と平行する方向を示す。
First, the exposure (R11) of the first line of the image sensor A is started. At the next timing, the exposure (R21) of the first line of the image sensor B is started. Then, the exposure R31 of the first line of the image sensor C and the exposure R41 of the first line of the image sensor D are sequentially started. Then, the exposure R12 of the second line of the image sensor A is started. In this way, in each line which is the target of the image pickup devices A to D, the image pickup devices adjacent to each other in the
露光が終了すると、各ラインの信号読み出しも露光タイミングと同様に順次開始される。まず、撮像素子Aの1ライン目の読み出し(Y11)が行われ、読み出されたデータはS1−L1として、撮像素子Aの1ライン目の信号として記憶回路111に格納される。同様に、撮像素子Bの1ライン目の読み出し(Y21)が行われ、読み出されたデータはS2−L1として、撮像素子Bの1ライン目データとして記憶回路111に格納される。撮像素子Cの1ライン目の読み出し(Y31)が行われ、読み出されたデータはS3−L1として、撮像素子Cの1ライン目データとして記憶回路111に格納される。撮像素子Dの1ライン目の読み出し(Y41)が行われ、読み出されたデータはS4−L1として、撮像素子Dの1ライン目データとして記憶回路111に格納される。
When the exposure is completed, the signal reading of each line is sequentially started similarly to the exposure timing. First, the first line of the image sensor A is read (Y11), and the read data is stored in the
そして、同様に、各撮像素子のライン毎に蓄積、読み出しを続け、最終ラインであるnライン目までの処理が行われる。これらの処理によって、撮像素子Aの画像202、撮像素子Bの画像203、撮像素子Cの画像204、撮像素子Dの画像205が生成される。
Then, similarly, accumulation and reading are continued for each line of each image pickup device, and the process up to the nth line which is the final line is performed. By these processes, an
次に、本実施例において、図2に示す露光及び読み出しを行った画像をもとに生成される画像について図3を用いて説明する。 Next, in this embodiment, an image generated based on the exposed and read image shown in FIG. 2 will be described with reference to FIG.
本実施例において、各撮像素子から出力された信号は画像処理手段105によってパノラマ状に並べられて合成される。図3は各撮像素子から生成された画像をパノラマ状に並べて配置することで1枚の広画角の画像(より広い撮像範囲の画像)に合成したものを、クライアント装置2000が備える表示部等に表示した例である。
In the present embodiment, the signals output from the respective image pickup devices are arranged in a panorama by the image processing means 105 and are combined. FIG. 3 shows a display unit and the like included in the
本実施例において図2で示したように撮像素子の露光及び読み出しは、各撮像素子のライン毎に切り替えて行われる。そのため、撮像素子間を跨った部分、つまり画像をつなぎ合わせた部分にあるビル等の静止被写体300は撮像素子間のタイムラグによる影響は少ないのでそのまま合成される。一方、撮像素子間を跨った部分にある動き被写体301に対しても撮像素子間のタイムラグは、ライン毎に切り替えて露光、読み出しを行っているためずれの発生は少ない。よって2重に見えることなく動きのある被写体も合成することができる。2重に見えないので2つの物体として誤検知することなく、1つの物体として検出することが可能となる。
In the present embodiment, as shown in FIG. 2, exposure and reading of the image pickup device are performed by switching for each line of each image pickup device. Therefore, a
このように、行単位で露光及び読み出しを行う撮像素子を含む撮像部を複数用いて撮像する場合、図2で示したように走査方向206に隣り合った撮像素子に対して順次露光及び読み出しを実行する。このような動作を行うことで、画像をつなぎ合わせる部分にまたがった被写体のずれを抑えることが可能となる。つまり、画像をつなぎ合わせる部分にまたがった被写体が2重となったりすることによる誤検出を低減させることが可能となる。
As described above, when imaging is performed using a plurality of image pickup units including image pickup devices that perform exposure and reading in row units, as illustrated in FIG. 2, the image pickup devices that are adjacent in the
なお、本実施例では、走査方向206と各撮像素子の配置を同じ方向としたが、走査方向に垂直な方向に撮像素子を配置してもよい。その場合は走査方向206に配置された撮像素子において、本実施例に係る動作を行うことによって本実施例と同様の効果を得ることができる。
In the present embodiment, the
なお、図2において、各撮像素子に対応する行を順次読み出す例を示したが、対応する行ごとに露光タイミング又は読み出しタイミングをそろえるようにしてもよい。例えば、各撮像素子のn行目の露光タイミングR1n乃至R4nの開始位置又は終了位置を夫々そろえるようにしてもよい。また、複数行を一単位として対応する行ごとに露光タイミング又は読み出しタイミングをそろえるようにしてもよい。例えば、各撮像素子のn行目とn+1行目の露光タイミングR1nおよびR1n+1の開始位置又は終了位置を夫々そろえるようにしてもよい。このように、タイミングをそろえる単位は一行単位に限られず、撮像素子の画素の配置や内部構造等を考慮し、決定することで適切なタイミングでの駆動が可能となる。 Note that FIG. 2 shows an example in which the rows corresponding to the respective image pickup elements are sequentially read, but the exposure timing or the read timing may be aligned for each corresponding row. For example, the start position or the end position of the exposure timings R1n to R4n on the nth row of each image sensor may be aligned. Further, the exposure timing or the read timing may be aligned for each corresponding row with a plurality of rows as one unit. For example, the start position or the end position of the exposure timings R1n and R1n + 1 on the n-th row and the n + 1-th row of each image sensor may be aligned. As described above, the unit for aligning the timing is not limited to the unit of one row, and the driving can be performed at an appropriate timing by considering and deciding the pixel arrangement and the internal structure of the image sensor.
(実施例2)
図4は、本発明の第2の実施例に係る撮像装置1000を含むシステム構成図である。第1の実施例と同様の構成は同じ符号をつけており、そのため、その説明は省略する。
(Example 2)
FIG. 4 is a system configuration diagram including an
本実施例において、410は動き検知回路である。動き検出回路410は映像処理回路405に入力された画像データ又は、映像処理回路405にて複数の画像を合成した画像データにおいて、動き被写体の有無を検知する。そして、制御部110は、動き検出回路410の検知結果による動き被写体の有無によって、TG404を制御して各撮像素子を駆動する駆動モードを変更する。
In this embodiment, 410 is a motion detection circuit. The
具体的には、動き検知回路410が動き被写体が画像内にあることを検知した場合は、実施例1にて示した駆動モードで各撮像素子を駆動する。一方で、動き検知回路410が動き被写体が画像内にないことを検知した場合は、図5及び図6にて示す駆動モードで各撮像素子を駆動して画像を取得する。
Specifically, when the
ここで、第2の実施例に係る複数の撮像素子の露光、読み出しをライン毎に切り替えて行う動作に関して、動き検知回路410が動き被写体が画像内にないことを検知した場合に関して図5のタイミングチャートを用いて説明する。
Here, regarding the operation of performing the exposure and the readout of the plurality of image sensors according to the second embodiment by switching for each line, the timing of FIG. 5 in the case where the
図5は複数に並んだ撮像素子の読み出し、蓄積のタイミングを示す図である。 FIG. 5 is a diagram showing the timing of reading and accumulation of a plurality of image pickup devices arranged side by side.
501は垂直同期信号であり、TG104にて生成され、撮像素子101a乃至101dの駆動タイミングの同期を取るための基準信号として各撮像素子に入力される。各撮像素子は垂直同期信号201が立ち下がるタイミングに合わせて各処理が行われる。なお、図5において、各行の露光及び読み出しのタイミングは不図示の水平同期信号に合わせて実行するようにして良い。
A
最初に、第1の撮像素子Aの1ライン目の露光(R11)が開始される。そして、第1の撮像素子Aの2ライン目の露光(R12)が開始される。順次に露光が開始され、最終ライン(有効領域)であるnライン目の露光(R1n)が開始される。 First, the exposure (R11) of the first line of the first image sensor A is started. Then, the exposure (R12) of the second line of the first image sensor A is started. The exposure is sequentially started, and the exposure (R1n) of the nth line which is the final line (effective area) is started.
その後、露光が終了すると、各ラインの信号読み出しも露光タイミングと同様に順次開始される(Y11乃至Y1n)。読みだされた各ラインのデータ(S1−L1乃至S1−Ln)は撮像素子Aの各ラインのデータとして格納される。これらのデータより撮像素子Aの画像502が生成される。
After that, when the exposure is completed, the signal reading of each line is sequentially started similarly to the exposure timing (Y11 to Y1n). The read data (S1-L1 to S1-Ln) of each line is stored as the data of each line of the image sensor A. An
同様に第二の撮像素子B、第三の撮像素子C、第四の撮像素子Dにおいても同様の露光と読み出しが行われ各画像503乃至505が生成される。
Similarly, in the second image pickup device B, the third image pickup device C, and the fourth image pickup device D, similar exposure and reading are performed, and each
次に、本実施例において、図5に示す露光及び読み出しを行った画像をもとに生成される画像について図6を用いて説明する。 Next, in this embodiment, an image generated based on the exposed and read image shown in FIG. 5 will be described with reference to FIG.
本実施例においても、各撮像素子から出力された信号は画像処理手段105によってパノラマ状に並べられて合成される。図6は各撮像素子から生成された画像をパノラマ状に並べて配置することで1枚の広画角の画像に合成したものを、クライアント装置2000が備える表示部等に表示した例である。
Also in this embodiment, the signals output from the image pickup devices are arranged in a panorama by the image processing means 105 and are combined. FIG. 6 shows an example in which the images generated from the image pickup devices are arranged in a panorama form and combined into one wide-angle image, and the combined image is displayed on the display unit or the like included in the
ここで撮像素子101の露光、読み出しは撮像素子毎に切り替えて行われる。撮像素子間を跨いだ部分にある静止被写体506は撮像センサ間のタイムラグによる影響はないのでずれの影響はなく表示される。
Here, the exposure and the reading of the image pickup device 101 are switched for each image pickup device. The
このように撮像素子毎に切り替えて撮像を行う場合は、一部の撮像部を休止させることで監視領域を限定したり、駆動モードを変更したりするなどによって、撮像素子毎に省電力動作を行うことが容易となる。例えば、所定の撮像部のみを動作させて画像を取得し、パノラマ状に並べられた画像の一部を更新するなどすることが可能となる。 In this way, when performing imaging by switching for each image pickup device, power saving operation is performed for each image pickup device by limiting the monitoring area by suspending a part of the image pickup unit or changing the drive mode. It will be easy to do. For example, it is possible to operate only a predetermined image capturing unit to acquire an image and update a part of the panoramic image.
次に、動き被写体の有無により露光、読み出しタイミングを変更する動作に関して図7のフローチャートを用いて説明する。本フローチャートの処理は制御回路110が実行する。
Next, the operation of changing the exposure and readout timing depending on the presence / absence of a moving subject will be described with reference to the flowchart of FIG. The process of this flowchart is executed by the
ステップS701において、制御回路110は、本フローチャートの処理を開始する。そして、処理をステップS702に進める。
In step S701, the
ステップS702において、制御回路110は、TG104を制御して、各撮像素子102を駆動する。そして、各撮像部の画像の一部又は全部を映像処理回路405に入力する。そして、処理をステップS703に進める。
In step S702, the
ステップS703において、制御回路110は、動き検知回路410を用いて、映像処理回路405に入力した画像内に動き被写体が存在するかを検知する。ここでは、動き被写体の検知は、複数の画像間での差分から同じ被写体を対応付けし、その被写体の画像間での移動量より動きの有無を検知する。移動量の検出は、一つの画像を別の画像に対して所定の方向に移動させて画像間の差分をとることによって、検出が可能となる。なお、記憶部111等にデータベースを設け、そのデータベースを用いて顔検出等を行った結果を用いてもよい。また、顔検出等が行われた位置が画像間で変化するか否かによって動きの有無を検知してもよい。また、クライアント装置2000からの制御又は情報に基づいて検知するようにしてもよい。ここで、検知結果として動きが無い場合には、ステップS704に処理をすすめ、動きが有る場合には、ステップS705に処理を進める。
In step S703, the
ステップS704において、制御回路110は、TG104を制御して各撮像素子に対して、図5に示した駆動モードで駆動するように制御する。そして、処理をステップS706に進める。
In step S704, the
ステップS705において、制御回路110は、TG104を制御して各撮像素子に対して、図2に示した駆動モードで駆動するように制御する。そして、処理をステップS706に進める。
In step S705, the
ステップS706において、制御回路110は、画像処理回路105にて、複数撮像素子で露光、読み出しされた画像データを並べて、パノラマ合成を行う。そして、処理をステップS707に進める。
In step S <b> 706, the
ステップS707において、制御回路110は、画像処理回路105にて生成した画像をネットワーク処理回路106へと出力し、ネットワーク108経由でクライアント装置2000に送信する制御を行う。
In step S707, the
以上の動作を行うことによって、各撮像素子102で撮像された画像内の動き被写体の有無によって、複数の撮像素子での露光、読み出しタイミングである駆動モードを切り替えることで、適切な撮像が可能となる。なお、本実施例において、制御回路110は複数の駆動モードを切り替える切替手段に相当する。
By performing the above operation, appropriate driving can be performed by switching the driving mode, which is the exposure / reading timing of the plurality of image pickup elements, depending on the presence or absence of a moving subject in the image picked up by each image pickup element 102. Become. In the present embodiment, the
なお、本実施例においては、画面内の動き被写体の有無によって、駆動モードを切り替えたが、動き検知回路410による検知における動き被写体の画面内の位置も考慮して切り替えるようにしてもよい。具体的には、動き被写体が画像をつなぎ合わせる部分にまたぐ領域で検知されたか否かを考慮して駆動モードを切り替えてもよい。つまり、図7のステップS703において、動き被写体を検知したとしても、画面の中心付近であれば、像のずれは抑えられ、誤検出の可能性も抑えられる。そのため、動き被写体が画面周辺で検知された場合に駆動モードを切り替えることで、駆動モードの切り替え頻度を低減することができる。また、2以上の隣接する撮像素子において、動きが検知された場合に動き被写体が画像をつなぎ合わせる部分にまたぐ領域で検知されたと判定するようにしてもよい。
In the present embodiment, the drive mode is switched depending on the presence / absence of a moving subject in the screen, but the driving mode may be switched in consideration of the position in the screen of the moving subject in the detection by the
また、動き検知回路410は画像内の動きの有無のみを検知する例を示したが、これ以外にも動き量や動き方向も合わせて検知できるようにしてもよい。この場合、動き量の検知に所定の閾値を設け、動き量が微小であれば検知しないようにすることも可能である。このように動き量に所定の閾値を設けることによって、誤検出による駆動モードの誤切り替えを低減することができる。また、動き方向を用いることで、動き被写体が次回の撮像の際に撮像する範囲をまたぐか否かも判定することができる。この用に動き方向も検知に用いることによって、速く動く被写体に対しても適切に追従することが可能となる。
Further, although the
また、本実施例においては、各撮像素子の駆動モードを動き被写体の有無によって、切り替える動作を示したが、すべての撮像素子の駆動モードを切り替える必要はない。すなわち、検知された動き被写体の領域に応じて、一部の撮像素子の駆動モードを切り替えるようにしてもよい。例えば、撮像する範囲をまたぐ被写体が撮像される撮像素子の駆動モードのみを切り替えるようにしてもよい。 Further, in the present embodiment, the operation of switching the drive mode of each image sensor depending on the presence or absence of a moving subject has been described, but it is not necessary to switch the drive mode of all the image sensors. That is, the drive modes of some of the image sensors may be switched according to the detected region of the moving subject. For example, only the drive mode of the image sensor that captures an image of a subject that extends over the image capturing range may be switched.
なお、図6に示したフローチャートは撮像開始時に実行してもよいし、所定の間隔で実行するようにしてもよい。 The flowchart shown in FIG. 6 may be executed at the start of image capturing or may be executed at predetermined intervals.
なお、実施形態の構成としてレンズ、撮像素子をそれぞれ4台の場合について説明したが、2〜3台、5台以上でも同様である。 Although the case where the number of lenses and the number of image pickup elements are four is described as the configuration of the embodiment, the same applies to two to three, five or more.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で様々の変形、及び変更が可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the gist thereof.
(ネットワーク通信に係る実施例)
本発明に係る撮像装置1000は、クライアント装置2000とネットワーク経由1500で接続されている。クライアント装置2000はネットワーク1500経由で撮像装置1000を制御するための制御コマンドをネットワーク1500経由で送信可能である。撮像装置1000は受信した制御コマンド及び制御コマンドに含まれるパラメータに基づいて自身の制御を行う。そして、撮像装置1000は制御コマンドを受信した場合、受信したコマンドに対するレスポンスをクライアント装置2000に送信する。撮像装置1000からのレスポンスを受けたクライアント装置2000は、レスポンスに含まれる情報を基に、クライアント装置2000に設けられた表示部等に表示されたユーザーインターフェースの内容を更新する。
(Example related to network communication)
The
ここで、撮像装置1000とクライアント装置2000の制御コマンドに係る通信に関して図8を用いて説明する。クライアント装置2000と撮像装置1000はリクエストとレスポンスの組み合わせであるトランザクションを用いて通信を行う。
Here, communication relating to control commands between the
まず、クライアント装置2000は、トランザクションS1000において、撮像装置1000が保持する情報を取得するための情報要求リクエストを送信する。情報要求リクエストには、例えば、撮像装置1000が有する機能等を問い合わせる要求を含ませることができる。ここで、撮像装置1000の機能には、画像を圧縮符号化するパラメータ、画像補正機能、パンチルト機構の有無等が含まれる。また、撮像装置1000の機能には、撮像部における駆動モードに関する駆動モード情報も含まれる。ここで、駆動モード情報とは、前述した撮像素子1000が駆動可能な駆動モードの種類等が含まれる。そして、撮像装置1000はこの情報要求リクエストに対する応答として、情報要求レスポンスを送信する。情報要求レスポンス内には、クライアント装置2000から要求された撮像装置の機能に関する情報が含まれる。これらの情報を用いることによって、クライアント装置2000は撮像装置1000の機能を認識することが可能となる。
First, in transaction S1000, the
また、クライアント装置2000は情報要求リクエストを用いて撮像装置1000の状態も取得可能である。ここで、撮像装置1000の状態には、現状の制御パラメータ、パンチルト機構の位置等が含まれる。また、撮像装置の状態として、現状の駆動モードの状態等が含まれる。これらの情報を用いることによって、クライアント装置2000は撮像装置1000の状態を認識することが可能となる。
The
また、クライアント装置は、トランザクションS1100において、撮像装置に対して各種パラメータ等の設定を行うための設定リクエストを送信する。設定リクエストには、事前にトランザクションS1000にて取得した撮像装置1000の機能または状態を考慮して行われる。例えば、撮像装置の状態を設定する要求を含ませることができる。ここで、設定リクエストによって設定可能な例として、画像を圧縮符号化するパラメータの設定、画像補正機能の設定、パンチルト機構の動作等がある。また、本設定リクエストによって撮像部の駆動モードも設定可能である。
In addition, the client device transmits a setting request for setting various parameters and the like to the imaging device in transaction S1100. The setting request is made in consideration of the function or state of the
そして、撮像装置1000はこの設定リクエストに対する応答として設定レスポンスを送信する。設定レスポンス内には、クライアント装置2000から設定された撮像装置の機能等に関して正常設定がなされたか否か等の情報が含まれる。これらの情報を用いることによって、クライアント装置2000は撮像装置1000の状態を認識することが可能となる。
Then, the
また、撮像装置1000は、クライアント装置2000からの設定に基づいて、定期的または所定のイベントをトリガーとして、トランザクションS1200において定期通知をクライアント装置に対して送信する。定期通知には情報要求レスポンスに含まれる内容と同様である。これらの情報を用いることによって、クライアント装置2000は撮像装置1000の状態を認識することが可能となる。
In addition, the
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
105 映像処理回路
107 撮像装置
108 ネットワーク
109 クライアント装置
110 制御回路
111 記憶回路
105 video processing circuit 107 imaging device 108 network 109
Claims (6)
前記複数の撮像部のうち少なくとも一つの撮像部を駆動対象として所定の駆動モードで駆動する駆動手段と、
各種設定をネットワーク経由で外部装置より受信する受信手段と、
を備え、
前記撮像部は光を電気信号に変換する光電変換部を行列方向に配置した撮像素子をそれぞれ含み、
前記駆動手段において、前記画像データを取得するための前記撮像素子の領域を一以上の行をひとつの単位として複数に分割し、前記単位の露光又は読み出し毎に前記駆動対象の撮像部を順次切り替える第一の駆動モードと、前記前記撮像素子の領域を分割せずに読み出す第二の駆動モードを含むことを特徴とする撮像装置。 An imaging device having a plurality of imaging units for imaging a subject and acquiring image data,
A driving unit which drives at least one of the plurality of imaging units in a predetermined driving mode as a driving target;
A receiving means for receiving various settings from an external device via a network,
Equipped with
Each of the image pickup units includes an image pickup device in which a photoelectric conversion unit that converts light into an electric signal is arranged in a matrix direction.
In the drive unit, the area of the image pickup device for acquiring the image data is divided into a plurality of units with one or more rows as one unit, and the image pickup unit to be driven is sequentially switched every exposure or reading of the unit. An image pickup apparatus comprising: a first drive mode; and a second drive mode for reading an area of the image pickup device without dividing the area.
前記合成手段は取得した前記画像データを合成することによって、より広い撮像範囲の画像データを生成することを特徴とする請求項1に記載の撮像装置。 Further comprising a synthesizing unit for synthesizing the image data acquired by the image pickup unit,
The image pickup apparatus according to claim 1, wherein the synthesizing unit synthesizes the acquired image data to generate image data having a wider image pickup range.
前記画像データ内の被写体の動きを検知する検知手段を更に備え、
前記切替手段は前記検知手段の検知結果に基づいて前記駆動手段の駆動モードを切り替えることを特徴とする請求項1又は2に記載の撮像装置。 Switching means for switching one or more drive modes of the drive means,
Further comprising detection means for detecting movement of the subject in the image data,
The image pickup apparatus according to claim 1, wherein the switching unit switches a drive mode of the driving unit based on a detection result of the detection unit.
前記受信手段は前記駆動手段の駆動モード設定をネットワーク経由で外部装置より受信し、
前記通知手段は、前記撮像装置の駆動モード情報を外部装置に通知することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 Further comprising notifying means for notifying the external device of the state of the imaging device via a network,
The receiving means receives the drive mode setting of the drive means from an external device via a network,
The imaging device according to claim 1, wherein the notification unit notifies the external device of drive mode information of the imaging device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019180367A JP2020074511A (en) | 2019-09-30 | 2019-09-30 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019180367A JP2020074511A (en) | 2019-09-30 | 2019-09-30 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015055210A Division JP2016178371A (en) | 2015-03-18 | 2015-03-18 | Imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020074511A true JP2020074511A (en) | 2020-05-14 |
Family
ID=70610291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019180367A Pending JP2020074511A (en) | 2019-09-30 | 2019-09-30 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020074511A (en) |
-
2019
- 2019-09-30 JP JP2019180367A patent/JP2020074511A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109842753B (en) | Camera anti-shake system, camera anti-shake method, electronic device and storage medium | |
CN110012224B (en) | Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium | |
JP6123274B2 (en) | Imaging device | |
US10412291B2 (en) | Intelligent interface for interchangeable sensors | |
CN109951638B (en) | Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium | |
JP6222514B2 (en) | Image processing apparatus, imaging apparatus, and computer program | |
US8890971B2 (en) | Image processing apparatus, image capturing apparatus, and computer program | |
JP2013165487A (en) | Image processing apparatus, image capturing apparatus, and program | |
JP2007281555A (en) | Imaging apparatus | |
CN111193866A (en) | Image processing method, image processor, photographing device and electronic equipment | |
JP6037224B2 (en) | Image processing apparatus, imaging apparatus, and program | |
JP2012120152A (en) | Imaging apparatus and control method of the same | |
JP4953770B2 (en) | Imaging device | |
WO2018109869A1 (en) | Surveillance camera system and surveillance camera | |
JP2006074693A (en) | Imaging apparatus | |
JP2020074511A (en) | Imaging device | |
JP2016178371A (en) | Imaging device | |
JP2007189602A (en) | Imaging apparatus | |
JP2019216398A (en) | Imaging apparatus and control method therefor, and program | |
US11729506B2 (en) | Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program | |
JP2009194469A (en) | Imaging apparatus | |
JPH08265522A (en) | Image input device | |
JP6539114B2 (en) | Imaging device, control method therefor, and program | |
JP6486132B2 (en) | Imaging apparatus, control method therefor, and program | |
JP2022170437A (en) | Electronic apparatus and control method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210330 |