JP2013048333A - Image processor, image processing method and image processing system - Google Patents
Image processor, image processing method and image processing system Download PDFInfo
- Publication number
- JP2013048333A JP2013048333A JP2011185718A JP2011185718A JP2013048333A JP 2013048333 A JP2013048333 A JP 2013048333A JP 2011185718 A JP2011185718 A JP 2011185718A JP 2011185718 A JP2011185718 A JP 2011185718A JP 2013048333 A JP2013048333 A JP 2013048333A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- output
- image
- image processing
- memories
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
- Synchronizing For Television (AREA)
- Television Systems (AREA)
Abstract
Description
本技術は、画像処理装置、画像処理方法、および画像処理システムに関し、特に、同期して画像を出力する多眼カメラシステムを、より安価に構成することができるようにする画像処理装置、画像処理方法、および画像処理システムに関する。 The present technology relates to an image processing device, an image processing method, and an image processing system, and in particular, an image processing device and an image processing that enable a multi-lens camera system that outputs images synchronously to be configured at a lower cost. The present invention relates to a method and an image processing system.
従来、複数のカメラから出力される映像信号を同期させる手法として、GenLock方式とフレームシンクロナイザ方式とが知られている。 Conventionally, the GenLock method and the frame synchronizer method are known as methods for synchronizing video signals output from a plurality of cameras.
GenLock方式は、同期信号発生器により出力される基準信号により、複数のカメラを同期運転する手法であり、例えば、ステレオカメラにおいて、複数の撮像素子および信号処理部の駆動とともに、露出時間の算出を同期するようにした技術がある(例えば、特許文献1参照)。 The GenLock method is a method in which a plurality of cameras are operated synchronously with a reference signal output from a synchronization signal generator.For example, in a stereo camera, the exposure time is calculated together with the driving of a plurality of image sensors and signal processing units. There is a technique of synchronizing (see, for example, Patent Document 1).
一方、フレームシンクロナイザ方式は、複数のカメラから非同期に出力される映像信号を一旦フレームメモリに保持し、同期信号発生器により出力される基準信号により、それぞれのフレームメモリに保持された映像信号を同時に出力させる手法である。この手法を用いた技術としては、例えば、複数のカメラに撮像された同時刻のフレーム画像を比較して、カメラの健全性を自己診断するようにした画像処理システムが提案されている(例えば、特許文献2参照)。 On the other hand, in the frame synchronizer method, video signals output asynchronously from a plurality of cameras are temporarily held in a frame memory, and the video signals held in the respective frame memories are simultaneously received by a reference signal output from a synchronization signal generator. This is a technique for outputting. As a technique using this method, for example, an image processing system has been proposed in which frame images taken at the same time taken by a plurality of cameras are compared to self-diagnose the soundness of the cameras (for example, Patent Document 2).
一般に、GenLock方式のカメラシステムにおいては、基準信号入力用の端子を備えたカメラが用いられるが、このようなカメラは一般的ではないため高価であり、同期運転を行う多眼カメラシステムを構成するのに、コストがかかっていた。 In general, a camera having a terminal for inputting a reference signal is used in a GenLock system camera system. However, such a camera is not common and is expensive, and constitutes a multi-lens camera system that performs synchronous operation. However, it was costly.
一方、フレームシンクロナイザ方式のカメラシステムにおいては、一般的なカメラを用いることができるので、この点では、GenLock方式のカメラシステムと比較して、コストを抑えることが可能である。 On the other hand, since a general camera can be used in the frame synchronizer type camera system, the cost can be reduced in this respect compared with the GenLock type camera system.
しかしながら、フレームシンクロナイザ方式のカメラシステムにおいては、フレームメモリが必要となるので、やはりコストがかかってしまう。 However, since the frame synchronizer system camera system requires a frame memory, it is still expensive.
本技術は、このような状況に鑑みてなされたものであり、同期して画像を出力する多眼カメラシステムを、より安価に構成することができるようにするものである。 The present technology has been made in view of such a situation, and makes it possible to configure a multi-lens camera system that outputs images synchronously at a lower cost.
本技術の一側面の画像処理装置は、1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。 An image processing device according to an aspect of the present technology includes a plurality of memories each holding image data output from a plurality of solid-state imaging devices that are driven synchronously based on one clock signal, and a plurality of the solid-state imaging devices. A detection unit that detects a delay of each of the output image data, and simultaneously outputs each of the image data held in a plurality of the memories based on the delay of the image data detected by the detection unit And a signal generator for generating a signal for instructing the plurality of memories to output the image data.
前記画像処理装置には、複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに設け、前記検出部には、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出させることができる。 The image processing apparatus further includes a sending unit that broadcasts a command for outputting the image data to the plurality of solid-state imaging devices, and the detection unit includes a plurality of the solid-state imaging devices based on the command. It is possible to detect a delay of each of the image data output from the imaging device substantially simultaneously.
前記画像処理装置には、前記クロック信号を発生する1のクロック信号発生部と、複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに設けることができる。 The image processing apparatus further includes one clock signal generation unit that generates the clock signal and at least one reset signal generation unit that generates a reset signal for resetting the plurality of solid-state imaging devices. Can do.
前記固体撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成されるようにすることができる。 The solid-state imaging device may be configured as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
本技術の一側面の画像処理方法は、1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法であって、前記画像処理装置が、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生するステップを含む。 An image processing method according to an aspect of the present technology is an image processing method of an image processing apparatus including a plurality of memories that respectively hold image data output from a plurality of solid-state imaging devices that are driven synchronously based on one clock signal. The image processing device detects delays of the image data output from the plurality of solid-state imaging devices, and is stored in the plurality of memories based on the detected delays of the image data. Generating a signal instructing the plurality of memories to output the image data so as to simultaneously output the image data.
本技術の一側面の画像処理システムは、複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、複数の前記カメラが、1のクロック信号に基づいて同期して駆動する固体撮像装置をそれぞれ備え、前記画像出力装置が、複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。 An image processing system according to an aspect of the present technology includes a plurality of cameras and an image output device that outputs image data output from the plurality of cameras to an image processing device that performs predetermined image processing in synchronization with each other. In the image processing system, the plurality of cameras each include a solid-state imaging device that is driven in synchronization based on one clock signal, and the image output device outputs the images output from the plurality of solid-state imaging devices. Based on the delay of the image data detected by the detection unit, a detection unit that detects a delay of each of the image data output from the plurality of solid-state imaging devices, a plurality of memories each holding data Instructing the plurality of memories to output the image data so that the respective image data held in the plurality of memories are simultaneously output. And a signal generator for generating a signal.
本技術の一側面においては、複数の固体撮像装置から出力されるそれぞれの画像データの遅延が検出され、検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力するように、画像データの出力を複数のメモリに指示する信号が発生される。 In one aspect of the present technology, a delay of each image data output from a plurality of solid-state imaging devices is detected, and each image data held in a plurality of memories based on the detected delay of the image data So as to output the image data to a plurality of memories.
本技術の一側面によれば、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。 According to one aspect of the present technology, a multi-lens camera system that outputs images synchronously can be configured at a lower cost.
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
1.本技術を適用した撮像装置の構成
2.画像出力同期処理
3.本技術を適用した画像処理システムの構成
Hereinafter, embodiments of the present technology will be described with reference to the drawings. The description will be given in the following order.
1. 1. Configuration of imaging apparatus to which the present technology is applied 2. Image output synchronization processing Configuration of image processing system to which this technology is applied
<1.本技術を適用した撮像装置の構成>
図1は、本技術を適用した画像処理装置としての撮像装置の一実施の形態の構成を示している。
<1. Configuration of imaging apparatus to which the present technology is applied>
FIG. 1 shows a configuration of an embodiment of an imaging apparatus as an image processing apparatus to which the present technology is applied.
図1の撮像装置11は、複数の画像を同時に取得し、それらの画像に対して所定の画像処理を施す、いわゆる多眼カメラとして構成される。 The imaging device 11 in FIG. 1 is configured as a so-called multi-lens camera that simultaneously acquires a plurality of images and performs predetermined image processing on the images.
図1の撮像装置11は、レンズ31−1乃至31−N、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ32−1乃至32−N、リセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、小容量メモリ36、遅延検出回路37、同期信号発生回路38、画像処理部39、およびCPU40から構成される。
1 includes lenses 31-1 to 31-N, CMOS (Complementary Metal Oxide Semiconductor) image sensors 32-1 to 32-N, a reset
固体撮像装置としてのCMOSイメージセンサ32−1乃至32−N(以下、CMOSセンサ32−1乃至32−Nという)はそれぞれ、撮像素子やA/D(Analog/Digital)変換部を含み、基本的にデジタル回路により構成される。CMOSセンサ32−1乃至32−Nは、レンズ31−1乃至31−Nからの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。CMOSセンサ32−1乃至32−Nは、A/D変換の結果得られたデジタルの画像データを小容量メモリ36−1乃至36−Nに供給する。 CMOS image sensors 32-1 to 32-N (hereinafter referred to as CMOS sensors 32-1 to 32-N) as solid-state imaging devices each include an image sensor and an A / D (Analog / Digital) conversion unit, and are basically configured. It consists of a digital circuit. The CMOS sensors 32-1 to 32-N receive the light from the lenses 31-1 to 31-N and perform photoelectric conversion to image a subject, and A / D convert the obtained analog image signal. The CMOS sensors 32-1 to 32-N supply digital image data obtained as a result of A / D conversion to the small-capacity memories 36-1 to 36-N.
また、CMOSセンサ32−1乃至32−Nは、リセット信号発生回路33からのリセット信号により同時にリセットされ、クロック信号発生回路34からのクロック信号により同期して駆動する。
The CMOS sensors 32-1 to 32 -N are simultaneously reset by a reset signal from the reset
なお、以下において、CMOSセンサ32−1乃至32−Nを、それぞれ区別する必要がない場合、単に、CMOSセンサ32といい、撮像装置11における他の構成についても同様に扱うものとする。
In the following, when it is not necessary to distinguish the CMOS sensors 32-1 to 32 -N, they are simply referred to as the
リセット信号発生回路33は、CMOSセンサ32をリセットするためのリセット信号を生成し、CMOSセンサ32に供給する。
The reset
クロック信号発生回路34は、CMOSセンサ32の駆動を同期させるためのクロック信号を生成し、CMOSセンサ32に供給する。
The clock
制御コマンド送出回路35は、CMOSセンサ32とシリアル通信を行うことで、CMOSセンサ32の動作を制御するための制御コマンドをCMOSセンサ32に送出する。
The control
小容量メモリ36(以下、単に、メモリ36という)は、数バイト程度の容量を有し、CMOSセンサ32から供給される画像データの一部を保持し、同期信号発生回路38からの同期信号に応じて、保持している画像データの一部を画像処理部39に供給する。
The small-capacity memory 36 (hereinafter simply referred to as the memory 36) has a capacity of about several bytes, holds part of the image data supplied from the
遅延検出回路37は、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに供給される画像データの遅延を検出する。具体的には、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに供給される画像データのうち、最も遅延して供給される画像データと、その他の画像データとの遅延量を求め、それら遅延量を表す信号を、同期信号発生回路38に供給する。
The delay detection circuit 37 detects a delay of image data supplied from the CMOS sensors 32-1 to 32-N to the memories 36-1 to 36-N. Specifically, among the image data supplied from the CMOS sensors 32-1 to 32-N to the memories 36-1 to 36-N, the delay between the image data supplied with the most delay and the other image data. The amount is obtained, and a signal representing the delay amount is supplied to the synchronization
同期信号発生回路38は、遅延検出回路37からの信号に応じて、メモリ36−1乃至36−Nそれぞれに対して、メモリ36−1乃至36−Nが保持している画像データをそれぞれ同時に出力するよう指示するための同期信号を供給する。また、同期信号発生回路38は、メモリ36に対する同期信号を、画像処理部39にも供給する。
In response to the signal from the delay detection circuit 37, the synchronization
画像処理部39は、メモリ36−1乃至36−Nから同時に(同期して)出力された画像データに対して、所定の画像処理を施す。
The
CPU(Central Processing Unit)40は、撮像装置11の各部を制御する。 A CPU (Central Processing Unit) 40 controls each unit of the imaging device 11.
[CMOSセンサの構成]
ここで、CMOSセンサ32の構成について説明する。
[Configuration of CMOS sensor]
Here, the configuration of the
図1に示されるように、CMOSセンサ32は、画素アレイ部51、同期回路52、およびシリアルI/F(Interface)53を備えている。
As shown in FIG. 1, the
画素アレイ部51は、マトリクス状に配置された光電変換素子としての画素を有し、そこに入射する光を光電変換することにより、電気信号としての画像データを取得する。
The
同期回路52は、例えば、アナログ回路であるPLL(Phase Locked Loop)回路等を含むように構成され、クロック信号発生回路34からのクロック信号に基づいて、CMOSセンサ32内の各部の駆動に必要な内部同期信号(クロック信号)を生成し、CMOSセンサ32内の各部に出力する。
The
シリアルI/F53は、制御コマンド送出回路35からの制御コマンドを受信し、その制御コマンドに対応した命令を、CMOSセンサ32内の各部に供給する。
The serial I /
<2.画像出力同期処理>
次に、図2のフローチャートを参照して、撮像装置11の画像出力同期処理について説明する。画像出力同期処理は、CMOSセンサ32−1乃至32−Nから出力される画像データをそれぞれ同期して画像処理部39に出力する処理である。
<2. Image output synchronization processing>
Next, image output synchronization processing of the imaging device 11 will be described with reference to the flowchart of FIG. The image output synchronization process is a process of synchronizing the image data output from the CMOS sensors 32-1 to 32-N and outputting the image data to the
なお、CMOSセンサ32−1乃至32−Nは、リセット信号発生回路33からのリセット信号により同時にリセットされ、クロック信号発生回路34からのクロック信号により同期して駆動している。
The CMOS sensors 32-1 to 32 -N are simultaneously reset by a reset signal from the reset
このような状態で、ユーザによる、図示せぬ操作部に対する操作に応じて、所定の画像処理の実行が指示されると、ステップS11において、制御コマンド送出回路35は、CPU40の制御の下、CMOSセンサ32それぞれに対して、画像出力開始コマンドを同報送出する。
In such a state, when execution of predetermined image processing is instructed in accordance with a user operation on an operation unit (not shown), in step S11, the control
例えば、制御コマンド送出回路35は、シリアル通信として、I2C(I2C:Inter Integrated Circuit)通信を行うことにより、CMOSセンサ32それぞれに対して、画像出力開始コマンドを同時刻に送出する。
For example, the control
I2C通信は、主に同一基板上などの近距離に配置されたデバイス間でのデータのやり取りを行うための通信方式である。I2C通信では、ひとつのデバイスをマスタにして、それにスレーブとなるデバイスを複数バス接続することによって、1対多チャンネル間の通信を行うことが可能となる。I2C通信において、マスタとスレーブと間は、SCL(Serial Clock Line)とSDA(Serial Data Line)の2本の信号線だけをバスとして共有して通信を行う。 I2C communication is a communication method for exchanging data between devices arranged mainly at a short distance such as on the same substrate. In I2C communication, one-to-many channel communication can be performed by using one device as a master and connecting a plurality of slave devices to the bus. In I2C communication, a master and a slave communicate by sharing only two signal lines of SCL (Serial Clock Line) and SDA (Serial Data Line) as a bus.
なお、制御コマンド送出回路35とCMOSセンサ32(シリアルI/F53)との間で行われるシリアル通信は、上述したI2C通信に限らず、SPI(Serial Peripheral Interface)等その他の規格のシリアル通信であってもよい。
The serial communication performed between the control
このように、制御コマンド送出回路35からCMOSセンサ32それぞれに対して画像出力開始コマンドが同報送出されると、CMOSセンサ32−1乃至32−Nの同期回路52−1乃至52−Nにより生成される内部同期信号の位相が略一致されるようになり、撮像により得られた画像データが、略同時にメモリ36−1乃至36−Nに出力される。
As described above, when an image output start command is broadcast from the control
しかしながら、上述したように、同期回路52−1乃至52−Nには、PLL回路等のアナログ回路が含まれており、これらの個体差により、CMOSセンサ32−1乃至32−Nから出力される画像データ同士の間に、わずかながら位相差を生じる可能性がある。 However, as described above, the synchronization circuits 52-1 to 52 -N include analog circuits such as PLL circuits, and are output from the CMOS sensors 32-1 to 32 -N due to their individual differences. There may be a slight phase difference between the image data.
そこで、ステップS12において、遅延検出回路37は、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに出力される画像データの遅延を検出する。 Therefore, in step S12, the delay detection circuit 37 detects the delay of the image data output from the CMOS sensors 32-1 to 32-N to the memories 36-1 to 36-N.
具体的には、例えば、遅延検出回路37は、CMOSセンサ32−1乃至32−Nから出力される画像データから、画像の水平方向1ラインのタイミングを表す同期信号(水平同期信号)を抽出することで、CMOSセンサ32−1乃至32−Nから出力される画像データの遅延を検出し、最も遅延して出力される画像データと、その他の画像データとの位相差を求める。 Specifically, for example, the delay detection circuit 37 extracts a synchronization signal (horizontal synchronization signal) representing the timing of one horizontal line of the image from the image data output from the CMOS sensors 32-1 to 32-N. Thus, the delay of the image data output from the CMOS sensors 32-1 to 32-N is detected, and the phase difference between the image data output with the most delay and the other image data is obtained.
例えば、撮像装置11が4つのCMOSセンサ32−1乃至32−4を備える4眼カメラとして構成されるものとして、CMOSセンサ32−1乃至32−4からメモリ36−1乃至36−4に出力される画像データ1乃至4から、図3に示されるような同期信号が抽出されたとする。 For example, assuming that the imaging device 11 is configured as a four-lens camera including four CMOS sensors 32-1 to 32-4, the image is output from the CMOS sensors 32-1 to 32-4 to the memories 36-1 to 36-4. Assume that the synchronization signal as shown in FIG. 3 is extracted from the image data 1 to 4.
図3の例においては、時刻t1に画像データ1から同期信号(立ち下がり)が抽出され、時刻t2に画像データ2から同期信号(立ち下がり)が抽出され、時刻t3に画像データ3から同期信号(立ち下がり)が抽出され、時刻t4に画像データ4から同期信号(立ち下がり)が抽出されている。すなわち、画像データ1が最も早くメモリ36−1に供給され、画像データ2が2番目に早くメモリ36−2に供給され、画像データ3が3番目に早くメモリ36−3に供給され、画像データ4が最も遅くメモリ36−4に供給されている。
In the example of FIG. 3, the synchronization signal (falling) is extracted from the image data 1 at time t1, the synchronization signal (falling) is extracted from the
遅延検出回路37は、最も遅延して出力される画像データ4の同期信号(立ち下がり)を抽出した時刻t4と、画像データ1乃至3の同期信号(立ち下がり)を抽出した時刻t1乃至t3それぞれとの位相差(時間差)を求める。すなわち、位相差t4-t1が、画像データ4と画像データ1との位相差であり、位相差t4-t2が、画像データ4と画像データ2との位相差であり、位相差t4-t3が、画像データ4と画像データ3との位相差となる。この位相差は、上述したように、同期回路52にそれぞれ含まれるアナログ回路の個体差により生じるものであり、画像の水平方向1ライン分より十分小さい、数ピクセル相当のものに過ぎない。
The delay detection circuit 37 extracts the time t4 at which the synchronization signal (falling) of the image data 4 output with the most delay is extracted and the times t1 to t3 at which the synchronization signals (falling) of the image data 1 to 3 are extracted. The phase difference (time difference) is obtained. That is, the phase difference t4-t1 is the phase difference between the image data 4 and the image data 1, the phase difference t4-t2 is the phase difference between the image data 4 and the
そして、遅延検出回路37は、それぞれの位相差、すなわち遅延量を表す信号を、同期信号発生回路38に供給する。
Then, the delay detection circuit 37 supplies a signal representing each phase difference, that is, a delay amount, to the synchronization
ステップS13において、同期信号発生回路38は、遅延検出回路37からの信号に基づいて、メモリ36−1乃至36−Nそれぞれに対して、メモリ36−1乃至36−Nが保持している画像データを出力するための同期信号を供給することで、それぞれの画像データを同時に出力させる。
In step S13, the synchronization
例えば、同期信号発生回路38は、図3で説明した画像データ1を位相差t4-t1だけ遅延させ、画像データ2を位相差t4-t2だけ遅延させ、画像データ3を位相差t4-t3だけ遅延させ、画像データ4をそのまま出力するようにする同期信号を、メモリ36−1乃至36−4に供給する。これにより、その一部がメモリ36−1乃至36−3に保持されている画像データ1乃至3は、最も遅延して出力された画像データ4と同時に、画像処理部39に出力されるようになる。
For example, the synchronization
なお、このとき、メモリ36−1乃至36−3に保持されている画像データ1乃至3のデータ量は、画像データ4がメモリ36−4に供給されるまでに供給された数ピクセル分程度となる。 At this time, the data amount of the image data 1 to 3 held in the memories 36-1 to 36-3 is about several pixels supplied until the image data 4 is supplied to the memory 36-4. Become.
また、同期信号発生回路38は、メモリ36−1乃至36−Nに供給した同期信号を、画像処理部39にも供給する。すなわち、撮像装置11においては、複数の画像データのうちの、最も遅延して出力される画像データの位相(位相信号)を、装置全体の同期信号とすることで、多眼カメラの同期運転が行われる。
The synchronization
以上の処理によれば、同期して駆動するCMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ36−1乃至36−Nに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ36に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラを、より安価に構成することが可能となる。
According to the above processing, the delay of the image data output to the memories 36-1 to 36-N from the synchronously driven CMOS sensors 32-1 to 32-N is detected, and based on the maximum delay among them. The image data held in the memories 36-1 to 36-N are output. At this time, the delay of the image data is equivalent to several pixels, and the data amount of the image data held in the
具体的には、例えば、従来のフレームシンクロナイザ方式によれば、画像データの解像度がFull HDである場合、約2万(1920×1080)ピクセル分のメモリ容量を必要としたが、本技術の構成によれば、数ピクセル分程度のメモリ容量で済むので、およそ100万分の1オーダーでメモリ容量を削減することができる。 Specifically, for example, according to the conventional frame synchronizer method, when the resolution of the image data is Full HD, a memory capacity of about 20,000 (1920 × 1080) pixels is required. According to the above, since a memory capacity of about several pixels is sufficient, the memory capacity can be reduced by about one millionth order.
また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、撮像装置11においては、CMOSセンサ32−1乃至32−Nは、制御コマンド送出回路35からの制御コマンドに基づいて同期運転(駆動)を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。
Further, in the conventional frame synchronizer type camera system, since the camera itself performs asynchronous operation, the synchronism of video signals is not guaranteed. However, in the imaging device 11, the CMOS sensors 32-1 to 32-N are not Since the synchronous operation (drive) is performed based on the control command from the control
なお、上述した処理において検出される遅延は、画像出力開始コマンドが送出されて以降は変化しないので、画像出力同期処理において最初の1回だけ実行されればよく、これ以降は、その検出された遅延に基づいて、画像データが同期されて出力されるようになる。 Note that the delay detected in the above-described processing does not change after the image output start command is sent, so it is only necessary to be executed once in the image output synchronization processing. Thereafter, the detected delay is detected. Based on the delay, the image data is synchronized and output.
ところで、上述した撮像装置11において、メモリ36をFIFO(First In First Out)として構成するようにしてもよい。
By the way, in the imaging device 11 described above, the
[メモリをFIFOとした構成]
図4は、撮像装置11において、メモリ36をFIFOとした場合の撮像装置11の構成について説明する図である。ここで、撮像装置11は、4つのCMOSセンサ32−1乃至32−4を備える4眼カメラとして構成されるものとする。
[Configuration with memory as FIFO]
FIG. 4 is a diagram illustrating the configuration of the imaging device 11 when the
図4において、FIFOメモリ131−1乃至131−4はメモリ36−1乃至36−4に、NORゲート132は遅延検出回路37および同期信号発生回路38にそれぞれ代えて設けられたものである。なお、図4において、レンズ31、CMOSイメージセンサ32、リセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、画像処理部39、およびCPU40の図示は省略する。
In FIG. 4, FIFO memories 131-1 through 131-4 are provided in place of the memories 36-1 through 36-4, and a NOR
NORゲート132は、画像データ1乃至4から抽出される同期信号の立ち下がりをそれぞれラッチし、全ての同期信号が立ち下がったとき、FIFOメモリ131−1乃至131−4にイネーブル信号を出力する。
The NOR
これにより、FIFOメモリ131に保持されている画像データは、最も遅延して出力された画像データと同時に出力されるようになり、図4の構成においても、図1の撮像装置11と同様の作用効果を奏することができる。 As a result, the image data held in the FIFO memory 131 is output at the same time as the image data output with the most delay, and the same operation as that of the imaging device 11 of FIG. There is an effect.
以上においては、本技術を、多眼カメラとしての撮像装置に適用した構成について説明したが、以下においては、本技術を、複数のカメラ(撮像装置)を有する画像処理システムに適用した構成について説明する。 In the above, the configuration in which the present technology is applied to an imaging device as a multi-view camera has been described. However, in the following, the configuration in which the present technology is applied to an image processing system having a plurality of cameras (imaging devices) will be described. To do.
<3.本技術を適用した画像処理システムの構成>
図5は、本技術を適用した画像処理システムの一実施の形態の構成を示している。
<3. Configuration of image processing system to which this technology is applied>
FIG. 5 shows a configuration of an embodiment of an image processing system to which the present technology is applied.
図5の画像処理システム201は、カメラ211−1乃至211−N、画像出力装置212、および画像処理装置213から構成される。
An
図5の画像処理システム201において、カメラ211−1乃至211−Nは、撮像した画像を画像出力装置212に供給し、画像出力装置212は、カメラ211−1乃至211−Nからの画像を同時に、画像処理装置213に出力する。
In the
カメラ211−1乃至211−Nはそれぞれ、CMOSセンサ221−1乃至221−Nを備えている。なお、CMOSセンサ221は、図1のCMOSセンサ32と同様の機能および構成を有するので、その説明は省略する。
The cameras 211-1 to 211 -N are provided with CMOS sensors 221-1 to 221 -N, respectively. The
画像出力装置212は、リセット信号発生回路231、クロック信号発生回路232、制御コマンド送出回路233、メモリ234、遅延検出回路235、同期信号発生回路236、およびCPU237から構成される。なお、リセット信号発生回路231乃至CPU237は、それぞれ、図1のリセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、メモリ36、遅延検出回路37、同期信号発生回路38、およびCPU40と同様の機能および構成を有するので、その説明は省略する。
The
画像処理装置213は、画像出力装置212から同期して出力された複数の画像に対して、所定の画像処理を施す。
The
例えば、図5の画像処理システム201が、サッカー等のスポーツを中継する多視点カメラシステムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、画像出力装置212から同期して出力された複数の中継画像を切り替える。
For example, when the
また、図5の画像処理システム201が、多視点画像を生成する画像生成システムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、画像出力装置212から同期して出力された複数の画像を合成し、1つの多視点画像を生成する。
In addition, when the
さらに、図5の画像処理システム201が、ステレオカメラシステムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、2台のカメラ211−1,211−2により撮像され、画像出力装置212から同期して出力された2枚の画像に基づいて、被写体までの距離を算出する。
Furthermore, when the
なお、図5の画像処理システム201の画像出力装置212による画像出力同期処理については、図2のフローチャートを参照して説明した、図1の撮像装置11の処理と基本的に同様であるので、その説明は省略する。
Note that the image output synchronization processing by the
すなわち、画像出力装置212による画像出力同期処理によれば、同期して駆動するCMOSセンサ221−1乃至221−Nからメモリ234−1乃至234−Nに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ234−1乃至234−Nに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ234に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。
That is, according to the image output synchronization processing by the
また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、画像処理システム201においては、CMOSセンサ221−1乃至221−Nは、制御コマンド送出回路233からの制御コマンドに基づいて同期運転(駆動)を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。
Further, in the conventional frame synchronizer system camera system, the camera itself performs asynchronous operation, and thus the simultaneity of the video signals is not guaranteed. However, in the
なお、上述した構成においては、複数のCMOSセンサに対して、1のリセット信号発生回路を設けるようにしたが、複数のCMOSセンサに対して、それぞれのリセット信号発生回路を設けるようにしてもよい。 In the configuration described above, one reset signal generating circuit is provided for a plurality of CMOS sensors. However, each reset signal generating circuit may be provided for a plurality of CMOS sensors. .
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
さらに、本技術は以下のような構成をとることができる。
(1) 1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理装置。
(2)
複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに備え、
前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する
(1)に記載の画像処理装置。
(3) 前記クロック信号を発生する1のクロック信号発生部と、
複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに備える
(1)または(2)に記載の画像処理装置。
(4) 前記固体撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成される
(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、
検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する
ステップを含む画像処理方法。
(6) 複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、
複数の前記カメラは、
1のクロック信号に基づいて同期して駆動する固体撮像装置
をそれぞれ備え、
前記画像出力装置は、
複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理システム。
Furthermore, this technique can take the following structures.
(1) a plurality of memories each holding image data output from a plurality of solid-state imaging devices that are driven synchronously based on one clock signal;
A detection unit for detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Instructing the plurality of memories to output the image data based on the delay of the image data detected by the detection unit so that the image data held in the plurality of memories are simultaneously output. An image processing apparatus comprising: a signal generation unit that generates a signal.
(2)
A plurality of solid-state imaging devices, further comprising a sending unit that broadcasts a command for outputting the image data;
The image processing device according to (1), wherein the detection unit detects a delay of each of the image data output from the plurality of solid-state imaging devices substantially simultaneously based on the command.
(3) one clock signal generator for generating the clock signal;
The image processing apparatus according to (1) or (2), further including at least one reset signal generation unit that generates a reset signal for resetting the plurality of solid-state imaging devices.
(4) The image processing device according to any one of (1) to (3), wherein the solid-state imaging device is configured as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
(5) In an image processing method of an image processing apparatus including a plurality of memories respectively holding image data output from a plurality of solid-state imaging devices driven synchronously based on one clock signal,
The image processing apparatus is
Detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Based on the detected delay of the image data, a signal instructing the plurality of memories to output the image data is generated so as to simultaneously output the respective image data held in the plurality of memories. An image processing method including steps.
(6) An image processing system including a plurality of cameras and an image output device that outputs image data output from the plurality of cameras to an image processing device that performs predetermined image processing in synchronization with each other.
The plurality of cameras are
Each of which has a solid-state imaging device that is driven synchronously based on one clock signal,
The image output device includes:
A plurality of memories each holding the image data output from the plurality of solid-state imaging devices;
A detection unit for detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Instructing the plurality of memories to output the image data based on the delay of the image data detected by the detection unit so that the image data held in the plurality of memories are simultaneously output. An image processing system comprising: a signal generation unit that generates a signal.
11 撮像装置, 32−1乃至32−N,32 CMOSセンサ, 33 リセット信号発生回路, 34 クロック信号発生回路, 35 制御コマンド送出回路, 36−1乃至36−N,36 メモリ, 37 遅延検出回路, 38 同期信号発生回路, 201 画像処理システム, 211−1乃至211−N,211 カメラ, 212 画像出力装置, 221−1乃至221−N,221 CMOSセンサ, 231 リセット信号発生回路, 232 クロック信号発生回路, 233 制御コマンド送出回路, 234−1乃至234−N,234 メモリ, 235 遅延検出回路, 236 同期信号発生回路 11 imaging device, 32-1 to 32-N, 32 CMOS sensor, 33 reset signal generation circuit, 34 clock signal generation circuit, 35 control command transmission circuit, 36-1 to 36-N, 36 memory, 37 delay detection circuit, 38 synchronization signal generation circuit, 201 image processing system, 211-1 to 211 -N, 211 camera, 212 image output device, 221-1 to 221 -N, 221 CMOS sensor, 231 reset signal generation circuit, 232 clock signal generation circuit , 233 control command transmission circuit, 234-1 to 234-N, 234 memory, 235 delay detection circuit, 236 synchronization signal generation circuit
Claims (6)
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理装置。 A plurality of memories each holding image data output from a plurality of solid-state imaging devices driven synchronously based on one clock signal;
A detection unit for detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Instructing the plurality of memories to output the image data based on the delay of the image data detected by the detection unit so that the image data held in the plurality of memories are simultaneously output. An image processing apparatus comprising: a signal generation unit that generates a signal.
前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する
請求項1に記載の画像処理装置。 A plurality of solid-state imaging devices, further comprising a sending unit that broadcasts a command for outputting the image data;
The image processing device according to claim 1, wherein the detection unit detects a delay of each of the image data output from the plurality of solid-state imaging devices substantially simultaneously based on the command.
複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに備える
請求項1に記載の画像処理装置。 A clock signal generator for generating the clock signal;
The image processing apparatus according to claim 1, further comprising at least one reset signal generation unit that generates a reset signal for resetting the plurality of solid-state imaging devices.
請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the solid-state imaging device is configured as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
前記画像処理装置が、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、
検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する
ステップを含む画像処理方法。 In an image processing method of an image processing apparatus including a plurality of memories each holding image data output from a plurality of solid-state imaging devices driven synchronously based on one clock signal,
The image processing apparatus is
Detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Based on the detected delay of the image data, a signal instructing the plurality of memories to output the image data is generated so as to simultaneously output the respective image data held in the plurality of memories. An image processing method including steps.
複数の前記カメラは、
1のクロック信号に基づいて同期して駆動する固体撮像装置
をそれぞれ備え、
前記画像出力装置は、
複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理システム。 An image processing system comprising a plurality of cameras and an image output device that outputs image data output from the plurality of cameras to an image processing device that performs predetermined image processing in synchronization with each other,
The plurality of cameras are
Each of which has a solid-state imaging device that is driven synchronously based on one clock signal,
The image output device includes:
A plurality of memories each holding the image data output from the plurality of solid-state imaging devices;
A detection unit for detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Instructing the plurality of memories to output the image data based on the delay of the image data detected by the detection unit so that the image data held in the plurality of memories are simultaneously output. An image processing system comprising: a signal generation unit that generates a signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011185718A JP2013048333A (en) | 2011-08-29 | 2011-08-29 | Image processor, image processing method and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011185718A JP2013048333A (en) | 2011-08-29 | 2011-08-29 | Image processor, image processing method and image processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013048333A true JP2013048333A (en) | 2013-03-07 |
Family
ID=48011098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011185718A Withdrawn JP2013048333A (en) | 2011-08-29 | 2011-08-29 | Image processor, image processing method and image processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013048333A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017086348A1 (en) * | 2015-11-17 | 2017-05-26 | ソニー株式会社 | Multi-camera system, method for controlling multi-camera system, and camera |
CN113329174A (en) * | 2021-05-21 | 2021-08-31 | 浙江大华技术股份有限公司 | Control method, device and system of multi-view camera and electronic device |
CN113661700A (en) * | 2019-05-10 | 2021-11-16 | 索尼半导体解决方案公司 | Image forming apparatus and image forming method |
US11190682B2 (en) | 2017-09-15 | 2021-11-30 | Samsung Electronics Co., Ltd | Electronic device and method for controlling plurality of image sensors |
CN116381468A (en) * | 2023-06-05 | 2023-07-04 | 浙江瑞测科技有限公司 | Method and device for supporting multi-chip parallel test by single image acquisition card |
-
2011
- 2011-08-29 JP JP2011185718A patent/JP2013048333A/en not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017086348A1 (en) * | 2015-11-17 | 2017-05-26 | ソニー株式会社 | Multi-camera system, method for controlling multi-camera system, and camera |
JPWO2017086348A1 (en) * | 2015-11-17 | 2018-09-06 | ソニー株式会社 | Multi-camera system, multi-camera system control method, and camera |
US10645258B2 (en) | 2015-11-17 | 2020-05-05 | Sony Corporation | Multi-camera system, method of controlling a multi-camera system, and camera |
US11190682B2 (en) | 2017-09-15 | 2021-11-30 | Samsung Electronics Co., Ltd | Electronic device and method for controlling plurality of image sensors |
CN113661700A (en) * | 2019-05-10 | 2021-11-16 | 索尼半导体解决方案公司 | Image forming apparatus and image forming method |
CN113329174A (en) * | 2021-05-21 | 2021-08-31 | 浙江大华技术股份有限公司 | Control method, device and system of multi-view camera and electronic device |
CN113329174B (en) * | 2021-05-21 | 2022-06-03 | 浙江大华技术股份有限公司 | Control method, device and system of multi-view camera and electronic device |
CN116381468A (en) * | 2023-06-05 | 2023-07-04 | 浙江瑞测科技有限公司 | Method and device for supporting multi-chip parallel test by single image acquisition card |
CN116381468B (en) * | 2023-06-05 | 2023-08-22 | 浙江瑞测科技有限公司 | Method and device for supporting multi-chip parallel test by single image acquisition card |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6123274B2 (en) | Imaging device | |
CN104284144B (en) | System and method for generating panoramic picture | |
KR101399718B1 (en) | Combining data from multiple image sensors | |
KR101400515B1 (en) | Combining data from multiple image sensors | |
JP6834976B2 (en) | Multi-camera system, multi-camera system control method and camera | |
TWI812604B (en) | Image sensor and control system | |
JP2013048333A (en) | Image processor, image processing method and image processing system | |
JP4529841B2 (en) | Image synchronization device | |
CN109155814B (en) | Processing device, image sensor and system | |
US9530173B2 (en) | Information processing device, imaging device, and information processing method | |
KR102080927B1 (en) | Method and Apparatus for Generating Stereo Image | |
KR101521109B1 (en) | Accelerated processing method of frame using CMOS image sensor and frame accelarating system | |
JP2013098877A (en) | Stereo imaging device, synchronous imaging method and electronic information apparatus | |
US10044963B2 (en) | Imaging apparatus | |
JP7467130B2 (en) | Information processing device, information processing method, and program | |
JP2017188871A (en) | Imaging apparatus | |
JP2003309759A (en) | Imaging system, television camera, and synchronization adjustment apparatus used for imaging system | |
JP2023064284A (en) | Communication device, communication method, and program | |
JP4703779B2 (en) | Head separation type camera device | |
JP4987957B2 (en) | Head-separated imaging apparatus, control unit thereof, and signal processing method | |
JP2010218379A (en) | Data transfer device | |
JP2016178456A (en) | Signal processing apparatus and signal processing method | |
KR20100002642U (en) | Multi segment image acquired Multi lens camera | |
JP2016178457A (en) | Signal processing apparatus and signal processing method | |
KR20140036626A (en) | Video camera for a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141104 |