JP2013048333A - Image processor, image processing method and image processing system - Google Patents

Image processor, image processing method and image processing system Download PDF

Info

Publication number
JP2013048333A
JP2013048333A JP2011185718A JP2011185718A JP2013048333A JP 2013048333 A JP2013048333 A JP 2013048333A JP 2011185718 A JP2011185718 A JP 2011185718A JP 2011185718 A JP2011185718 A JP 2011185718A JP 2013048333 A JP2013048333 A JP 2013048333A
Authority
JP
Japan
Prior art keywords
image data
output
image
image processing
memories
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011185718A
Other languages
Japanese (ja)
Inventor
Hiroshi Hayashi
宏 林
Yasushi Fukuda
安志 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011185718A priority Critical patent/JP2013048333A/en
Publication of JP2013048333A publication Critical patent/JP2013048333A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Synchronizing For Television (AREA)
  • Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To inexpensively provide a multi-eye camera system which synchronously outputs an image.SOLUTION: A plurality of memories respectively hold image data outputted from a plurality of CMOS sensors which are synchronously driven on the basis of one clock signal. A delay detection circuit detects delay of image data outputted from the plurality of CMOS sensors. A synchronization signal generation circuit generates a signal for instructing the plurality of memories to output the image data so that the plurality of pieces of image data, which are held in the plurality of memories, are simultaneously outputted on the basis of the delay of the image data, which is detected by the delay detection circuit. This technology can be applied to a multi-eye camera.

Description

本技術は、画像処理装置、画像処理方法、および画像処理システムに関し、特に、同期して画像を出力する多眼カメラシステムを、より安価に構成することができるようにする画像処理装置、画像処理方法、および画像処理システムに関する。   The present technology relates to an image processing device, an image processing method, and an image processing system, and in particular, an image processing device and an image processing that enable a multi-lens camera system that outputs images synchronously to be configured at a lower cost. The present invention relates to a method and an image processing system.

従来、複数のカメラから出力される映像信号を同期させる手法として、GenLock方式とフレームシンクロナイザ方式とが知られている。   Conventionally, the GenLock method and the frame synchronizer method are known as methods for synchronizing video signals output from a plurality of cameras.

GenLock方式は、同期信号発生器により出力される基準信号により、複数のカメラを同期運転する手法であり、例えば、ステレオカメラにおいて、複数の撮像素子および信号処理部の駆動とともに、露出時間の算出を同期するようにした技術がある(例えば、特許文献1参照)。   The GenLock method is a method in which a plurality of cameras are operated synchronously with a reference signal output from a synchronization signal generator.For example, in a stereo camera, the exposure time is calculated together with the driving of a plurality of image sensors and signal processing units. There is a technique of synchronizing (see, for example, Patent Document 1).

一方、フレームシンクロナイザ方式は、複数のカメラから非同期に出力される映像信号を一旦フレームメモリに保持し、同期信号発生器により出力される基準信号により、それぞれのフレームメモリに保持された映像信号を同時に出力させる手法である。この手法を用いた技術としては、例えば、複数のカメラに撮像された同時刻のフレーム画像を比較して、カメラの健全性を自己診断するようにした画像処理システムが提案されている(例えば、特許文献2参照)。   On the other hand, in the frame synchronizer method, video signals output asynchronously from a plurality of cameras are temporarily held in a frame memory, and the video signals held in the respective frame memories are simultaneously received by a reference signal output from a synchronization signal generator. This is a technique for outputting. As a technique using this method, for example, an image processing system has been proposed in which frame images taken at the same time taken by a plurality of cameras are compared to self-diagnose the soundness of the cameras (for example, Patent Document 2).

一般に、GenLock方式のカメラシステムにおいては、基準信号入力用の端子を備えたカメラが用いられるが、このようなカメラは一般的ではないため高価であり、同期運転を行う多眼カメラシステムを構成するのに、コストがかかっていた。   In general, a camera having a terminal for inputting a reference signal is used in a GenLock system camera system. However, such a camera is not common and is expensive, and constitutes a multi-lens camera system that performs synchronous operation. However, it was costly.

一方、フレームシンクロナイザ方式のカメラシステムにおいては、一般的なカメラを用いることができるので、この点では、GenLock方式のカメラシステムと比較して、コストを抑えることが可能である。   On the other hand, since a general camera can be used in the frame synchronizer type camera system, the cost can be reduced in this respect compared with the GenLock type camera system.

特開2000−341719号公報JP 2000-341719 A 特開2001−211466号公報Japanese Patent Laid-Open No. 2001-211466

しかしながら、フレームシンクロナイザ方式のカメラシステムにおいては、フレームメモリが必要となるので、やはりコストがかかってしまう。   However, since the frame synchronizer system camera system requires a frame memory, it is still expensive.

本技術は、このような状況に鑑みてなされたものであり、同期して画像を出力する多眼カメラシステムを、より安価に構成することができるようにするものである。   The present technology has been made in view of such a situation, and makes it possible to configure a multi-lens camera system that outputs images synchronously at a lower cost.

本技術の一側面の画像処理装置は、1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。   An image processing device according to an aspect of the present technology includes a plurality of memories each holding image data output from a plurality of solid-state imaging devices that are driven synchronously based on one clock signal, and a plurality of the solid-state imaging devices. A detection unit that detects a delay of each of the output image data, and simultaneously outputs each of the image data held in a plurality of the memories based on the delay of the image data detected by the detection unit And a signal generator for generating a signal for instructing the plurality of memories to output the image data.

前記画像処理装置には、複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに設け、前記検出部には、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出させることができる。   The image processing apparatus further includes a sending unit that broadcasts a command for outputting the image data to the plurality of solid-state imaging devices, and the detection unit includes a plurality of the solid-state imaging devices based on the command. It is possible to detect a delay of each of the image data output from the imaging device substantially simultaneously.

前記画像処理装置には、前記クロック信号を発生する1のクロック信号発生部と、複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに設けることができる。   The image processing apparatus further includes one clock signal generation unit that generates the clock signal and at least one reset signal generation unit that generates a reset signal for resetting the plurality of solid-state imaging devices. Can do.

前記固体撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成されるようにすることができる。   The solid-state imaging device may be configured as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

本技術の一側面の画像処理方法は、1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法であって、前記画像処理装置が、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生するステップを含む。   An image processing method according to an aspect of the present technology is an image processing method of an image processing apparatus including a plurality of memories that respectively hold image data output from a plurality of solid-state imaging devices that are driven synchronously based on one clock signal. The image processing device detects delays of the image data output from the plurality of solid-state imaging devices, and is stored in the plurality of memories based on the detected delays of the image data. Generating a signal instructing the plurality of memories to output the image data so as to simultaneously output the image data.

本技術の一側面の画像処理システムは、複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、複数の前記カメラが、1のクロック信号に基づいて同期して駆動する固体撮像装置をそれぞれ備え、前記画像出力装置が、複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。   An image processing system according to an aspect of the present technology includes a plurality of cameras and an image output device that outputs image data output from the plurality of cameras to an image processing device that performs predetermined image processing in synchronization with each other. In the image processing system, the plurality of cameras each include a solid-state imaging device that is driven in synchronization based on one clock signal, and the image output device outputs the images output from the plurality of solid-state imaging devices. Based on the delay of the image data detected by the detection unit, a detection unit that detects a delay of each of the image data output from the plurality of solid-state imaging devices, a plurality of memories each holding data Instructing the plurality of memories to output the image data so that the respective image data held in the plurality of memories are simultaneously output. And a signal generator for generating a signal.

本技術の一側面においては、複数の固体撮像装置から出力されるそれぞれの画像データの遅延が検出され、検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力するように、画像データの出力を複数のメモリに指示する信号が発生される。   In one aspect of the present technology, a delay of each image data output from a plurality of solid-state imaging devices is detected, and each image data held in a plurality of memories based on the detected delay of the image data So as to output the image data to a plurality of memories.

本技術の一側面によれば、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。   According to one aspect of the present technology, a multi-lens camera system that outputs images synchronously can be configured at a lower cost.

本技術を適用した画像処理装置としての撮像装置の一実施の形態の機能構成例を示すブロック図である。It is a block diagram showing an example of functional composition of an embodiment of an imaging device as an image processing device to which this art is applied. 画像出力同期処理について説明するフローチャートである。It is a flowchart explaining an image output synchronous process. 画像データの遅延の検出について説明する図である。It is a figure explaining the detection of the delay of image data. メモリをFIFOとした場合の構成について説明する図である。It is a figure explaining the structure at the time of using memory as FIFO. 本技術を適用した画像処理システムの一実施の形態の機能構成例を示すブロック図である。It is a block diagram showing an example of functional composition of an embodiment of an image processing system to which this art is applied.

以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
1.本技術を適用した撮像装置の構成
2.画像出力同期処理
3.本技術を適用した画像処理システムの構成
Hereinafter, embodiments of the present technology will be described with reference to the drawings. The description will be given in the following order.
1. 1. Configuration of imaging apparatus to which the present technology is applied 2. Image output synchronization processing Configuration of image processing system to which this technology is applied

<1.本技術を適用した撮像装置の構成>
図1は、本技術を適用した画像処理装置としての撮像装置の一実施の形態の構成を示している。
<1. Configuration of imaging apparatus to which the present technology is applied>
FIG. 1 shows a configuration of an embodiment of an imaging apparatus as an image processing apparatus to which the present technology is applied.

図1の撮像装置11は、複数の画像を同時に取得し、それらの画像に対して所定の画像処理を施す、いわゆる多眼カメラとして構成される。   The imaging device 11 in FIG. 1 is configured as a so-called multi-lens camera that simultaneously acquires a plurality of images and performs predetermined image processing on the images.

図1の撮像装置11は、レンズ31−1乃至31−N、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ32−1乃至32−N、リセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、小容量メモリ36、遅延検出回路37、同期信号発生回路38、画像処理部39、およびCPU40から構成される。   1 includes lenses 31-1 to 31-N, CMOS (Complementary Metal Oxide Semiconductor) image sensors 32-1 to 32-N, a reset signal generation circuit 33, a clock signal generation circuit 34, and a control command transmission circuit. 35, a small-capacity memory 36, a delay detection circuit 37, a synchronization signal generation circuit 38, an image processing unit 39, and a CPU 40.

固体撮像装置としてのCMOSイメージセンサ32−1乃至32−N(以下、CMOSセンサ32−1乃至32−Nという)はそれぞれ、撮像素子やA/D(Analog/Digital)変換部を含み、基本的にデジタル回路により構成される。CMOSセンサ32−1乃至32−Nは、レンズ31−1乃至31−Nからの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。CMOSセンサ32−1乃至32−Nは、A/D変換の結果得られたデジタルの画像データを小容量メモリ36−1乃至36−Nに供給する。   CMOS image sensors 32-1 to 32-N (hereinafter referred to as CMOS sensors 32-1 to 32-N) as solid-state imaging devices each include an image sensor and an A / D (Analog / Digital) conversion unit, and are basically configured. It consists of a digital circuit. The CMOS sensors 32-1 to 32-N receive the light from the lenses 31-1 to 31-N and perform photoelectric conversion to image a subject, and A / D convert the obtained analog image signal. The CMOS sensors 32-1 to 32-N supply digital image data obtained as a result of A / D conversion to the small-capacity memories 36-1 to 36-N.

また、CMOSセンサ32−1乃至32−Nは、リセット信号発生回路33からのリセット信号により同時にリセットされ、クロック信号発生回路34からのクロック信号により同期して駆動する。   The CMOS sensors 32-1 to 32 -N are simultaneously reset by a reset signal from the reset signal generation circuit 33 and are driven in synchronization with the clock signal from the clock signal generation circuit 34.

なお、以下において、CMOSセンサ32−1乃至32−Nを、それぞれ区別する必要がない場合、単に、CMOSセンサ32といい、撮像装置11における他の構成についても同様に扱うものとする。   In the following, when it is not necessary to distinguish the CMOS sensors 32-1 to 32 -N, they are simply referred to as the CMOS sensor 32, and other configurations in the imaging device 11 are similarly handled.

リセット信号発生回路33は、CMOSセンサ32をリセットするためのリセット信号を生成し、CMOSセンサ32に供給する。   The reset signal generation circuit 33 generates a reset signal for resetting the CMOS sensor 32 and supplies the reset signal to the CMOS sensor 32.

クロック信号発生回路34は、CMOSセンサ32の駆動を同期させるためのクロック信号を生成し、CMOSセンサ32に供給する。   The clock signal generation circuit 34 generates a clock signal for synchronizing the driving of the CMOS sensor 32 and supplies it to the CMOS sensor 32.

制御コマンド送出回路35は、CMOSセンサ32とシリアル通信を行うことで、CMOSセンサ32の動作を制御するための制御コマンドをCMOSセンサ32に送出する。   The control command transmission circuit 35 transmits a control command for controlling the operation of the CMOS sensor 32 to the CMOS sensor 32 by performing serial communication with the CMOS sensor 32.

小容量メモリ36(以下、単に、メモリ36という)は、数バイト程度の容量を有し、CMOSセンサ32から供給される画像データの一部を保持し、同期信号発生回路38からの同期信号に応じて、保持している画像データの一部を画像処理部39に供給する。   The small-capacity memory 36 (hereinafter simply referred to as the memory 36) has a capacity of about several bytes, holds part of the image data supplied from the CMOS sensor 32, and uses it as a synchronization signal from the synchronization signal generation circuit 38. In response, a part of the held image data is supplied to the image processing unit 39.

遅延検出回路37は、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに供給される画像データの遅延を検出する。具体的には、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに供給される画像データのうち、最も遅延して供給される画像データと、その他の画像データとの遅延量を求め、それら遅延量を表す信号を、同期信号発生回路38に供給する。   The delay detection circuit 37 detects a delay of image data supplied from the CMOS sensors 32-1 to 32-N to the memories 36-1 to 36-N. Specifically, among the image data supplied from the CMOS sensors 32-1 to 32-N to the memories 36-1 to 36-N, the delay between the image data supplied with the most delay and the other image data. The amount is obtained, and a signal representing the delay amount is supplied to the synchronization signal generation circuit 38.

同期信号発生回路38は、遅延検出回路37からの信号に応じて、メモリ36−1乃至36−Nそれぞれに対して、メモリ36−1乃至36−Nが保持している画像データをそれぞれ同時に出力するよう指示するための同期信号を供給する。また、同期信号発生回路38は、メモリ36に対する同期信号を、画像処理部39にも供給する。   In response to the signal from the delay detection circuit 37, the synchronization signal generation circuit 38 simultaneously outputs the image data held in the memories 36-1 to 36-N to the memories 36-1 to 36-N, respectively. A synchronization signal for instructing to do so is supplied. The synchronization signal generation circuit 38 also supplies a synchronization signal for the memory 36 to the image processing unit 39.

画像処理部39は、メモリ36−1乃至36−Nから同時に(同期して)出力された画像データに対して、所定の画像処理を施す。   The image processing unit 39 performs predetermined image processing on the image data output simultaneously (synchronously) from the memories 36-1 to 36-N.

CPU(Central Processing Unit)40は、撮像装置11の各部を制御する。   A CPU (Central Processing Unit) 40 controls each unit of the imaging device 11.

[CMOSセンサの構成]
ここで、CMOSセンサ32の構成について説明する。
[Configuration of CMOS sensor]
Here, the configuration of the CMOS sensor 32 will be described.

図1に示されるように、CMOSセンサ32は、画素アレイ部51、同期回路52、およびシリアルI/F(Interface)53を備えている。   As shown in FIG. 1, the CMOS sensor 32 includes a pixel array unit 51, a synchronization circuit 52, and a serial I / F (Interface) 53.

画素アレイ部51は、マトリクス状に配置された光電変換素子としての画素を有し、そこに入射する光を光電変換することにより、電気信号としての画像データを取得する。   The pixel array unit 51 includes pixels as photoelectric conversion elements arranged in a matrix, and acquires image data as an electrical signal by photoelectrically converting light incident thereon.

同期回路52は、例えば、アナログ回路であるPLL(Phase Locked Loop)回路等を含むように構成され、クロック信号発生回路34からのクロック信号に基づいて、CMOSセンサ32内の各部の駆動に必要な内部同期信号(クロック信号)を生成し、CMOSセンサ32内の各部に出力する。   The synchronization circuit 52 is configured to include, for example, a PLL (Phase Locked Loop) circuit which is an analog circuit, and is necessary for driving each unit in the CMOS sensor 32 based on the clock signal from the clock signal generation circuit 34. An internal synchronization signal (clock signal) is generated and output to each part in the CMOS sensor 32.

シリアルI/F53は、制御コマンド送出回路35からの制御コマンドを受信し、その制御コマンドに対応した命令を、CMOSセンサ32内の各部に供給する。   The serial I / F 53 receives a control command from the control command transmission circuit 35 and supplies an instruction corresponding to the control command to each unit in the CMOS sensor 32.

<2.画像出力同期処理>
次に、図2のフローチャートを参照して、撮像装置11の画像出力同期処理について説明する。画像出力同期処理は、CMOSセンサ32−1乃至32−Nから出力される画像データをそれぞれ同期して画像処理部39に出力する処理である。
<2. Image output synchronization processing>
Next, image output synchronization processing of the imaging device 11 will be described with reference to the flowchart of FIG. The image output synchronization process is a process of synchronizing the image data output from the CMOS sensors 32-1 to 32-N and outputting the image data to the image processing unit 39.

なお、CMOSセンサ32−1乃至32−Nは、リセット信号発生回路33からのリセット信号により同時にリセットされ、クロック信号発生回路34からのクロック信号により同期して駆動している。   The CMOS sensors 32-1 to 32 -N are simultaneously reset by a reset signal from the reset signal generation circuit 33 and are driven in synchronization with the clock signal from the clock signal generation circuit 34.

このような状態で、ユーザによる、図示せぬ操作部に対する操作に応じて、所定の画像処理の実行が指示されると、ステップS11において、制御コマンド送出回路35は、CPU40の制御の下、CMOSセンサ32それぞれに対して、画像出力開始コマンドを同報送出する。   In such a state, when execution of predetermined image processing is instructed in accordance with a user operation on an operation unit (not shown), in step S11, the control command transmission circuit 35 controls the CMOS under the control of the CPU 40. An image output start command is broadcast to each sensor 32.

例えば、制御コマンド送出回路35は、シリアル通信として、I2C(I2C:Inter Integrated Circuit)通信を行うことにより、CMOSセンサ32それぞれに対して、画像出力開始コマンドを同時刻に送出する。 For example, the control command transmission circuit 35 transmits an image output start command to each CMOS sensor 32 at the same time by performing I2C (I 2 C: Inter Integrated Circuit) communication as serial communication.

I2C通信は、主に同一基板上などの近距離に配置されたデバイス間でのデータのやり取りを行うための通信方式である。I2C通信では、ひとつのデバイスをマスタにして、それにスレーブとなるデバイスを複数バス接続することによって、1対多チャンネル間の通信を行うことが可能となる。I2C通信において、マスタとスレーブと間は、SCL(Serial Clock Line)とSDA(Serial Data Line)の2本の信号線だけをバスとして共有して通信を行う。   I2C communication is a communication method for exchanging data between devices arranged mainly at a short distance such as on the same substrate. In I2C communication, one-to-many channel communication can be performed by using one device as a master and connecting a plurality of slave devices to the bus. In I2C communication, a master and a slave communicate by sharing only two signal lines of SCL (Serial Clock Line) and SDA (Serial Data Line) as a bus.

なお、制御コマンド送出回路35とCMOSセンサ32(シリアルI/F53)との間で行われるシリアル通信は、上述したI2C通信に限らず、SPI(Serial Peripheral Interface)等その他の規格のシリアル通信であってもよい。   The serial communication performed between the control command transmission circuit 35 and the CMOS sensor 32 (serial I / F 53) is not limited to the above-described I2C communication, but is serial communication of other standards such as SPI (Serial Peripheral Interface). May be.

このように、制御コマンド送出回路35からCMOSセンサ32それぞれに対して画像出力開始コマンドが同報送出されると、CMOSセンサ32−1乃至32−Nの同期回路52−1乃至52−Nにより生成される内部同期信号の位相が略一致されるようになり、撮像により得られた画像データが、略同時にメモリ36−1乃至36−Nに出力される。   As described above, when an image output start command is broadcast from the control command sending circuit 35 to each of the CMOS sensors 32, it is generated by the synchronizing circuits 52-1 to 52-N of the CMOS sensors 32-1 to 32-N. Thus, the phases of the internal synchronization signals are substantially matched, and image data obtained by imaging is output to the memories 36-1 to 36-N almost simultaneously.

しかしながら、上述したように、同期回路52−1乃至52−Nには、PLL回路等のアナログ回路が含まれており、これらの個体差により、CMOSセンサ32−1乃至32−Nから出力される画像データ同士の間に、わずかながら位相差を生じる可能性がある。   However, as described above, the synchronization circuits 52-1 to 52 -N include analog circuits such as PLL circuits, and are output from the CMOS sensors 32-1 to 32 -N due to their individual differences. There may be a slight phase difference between the image data.

そこで、ステップS12において、遅延検出回路37は、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに出力される画像データの遅延を検出する。   Therefore, in step S12, the delay detection circuit 37 detects the delay of the image data output from the CMOS sensors 32-1 to 32-N to the memories 36-1 to 36-N.

具体的には、例えば、遅延検出回路37は、CMOSセンサ32−1乃至32−Nから出力される画像データから、画像の水平方向1ラインのタイミングを表す同期信号(水平同期信号)を抽出することで、CMOSセンサ32−1乃至32−Nから出力される画像データの遅延を検出し、最も遅延して出力される画像データと、その他の画像データとの位相差を求める。   Specifically, for example, the delay detection circuit 37 extracts a synchronization signal (horizontal synchronization signal) representing the timing of one horizontal line of the image from the image data output from the CMOS sensors 32-1 to 32-N. Thus, the delay of the image data output from the CMOS sensors 32-1 to 32-N is detected, and the phase difference between the image data output with the most delay and the other image data is obtained.

例えば、撮像装置11が4つのCMOSセンサ32−1乃至32−4を備える4眼カメラとして構成されるものとして、CMOSセンサ32−1乃至32−4からメモリ36−1乃至36−4に出力される画像データ1乃至4から、図3に示されるような同期信号が抽出されたとする。   For example, assuming that the imaging device 11 is configured as a four-lens camera including four CMOS sensors 32-1 to 32-4, the image is output from the CMOS sensors 32-1 to 32-4 to the memories 36-1 to 36-4. Assume that the synchronization signal as shown in FIG. 3 is extracted from the image data 1 to 4.

図3の例においては、時刻t1に画像データ1から同期信号(立ち下がり)が抽出され、時刻t2に画像データ2から同期信号(立ち下がり)が抽出され、時刻t3に画像データ3から同期信号(立ち下がり)が抽出され、時刻t4に画像データ4から同期信号(立ち下がり)が抽出されている。すなわち、画像データ1が最も早くメモリ36−1に供給され、画像データ2が2番目に早くメモリ36−2に供給され、画像データ3が3番目に早くメモリ36−3に供給され、画像データ4が最も遅くメモリ36−4に供給されている。   In the example of FIG. 3, the synchronization signal (falling) is extracted from the image data 1 at time t1, the synchronization signal (falling) is extracted from the image data 2 at time t2, and the synchronization signal from the image data 3 at time t3. (Falling) is extracted, and a synchronization signal (falling) is extracted from the image data 4 at time t4. That is, the image data 1 is supplied to the memory 36-1 earliest, the image data 2 is supplied to the memory 36-2 the second earliest, and the image data 3 is supplied to the memory 36-3 the third earliest. 4 is the latest supplied to the memory 36-4.

遅延検出回路37は、最も遅延して出力される画像データ4の同期信号(立ち下がり)を抽出した時刻t4と、画像データ1乃至3の同期信号(立ち下がり)を抽出した時刻t1乃至t3それぞれとの位相差(時間差)を求める。すなわち、位相差t4-t1が、画像データ4と画像データ1との位相差であり、位相差t4-t2が、画像データ4と画像データ2との位相差であり、位相差t4-t3が、画像データ4と画像データ3との位相差となる。この位相差は、上述したように、同期回路52にそれぞれ含まれるアナログ回路の個体差により生じるものであり、画像の水平方向1ライン分より十分小さい、数ピクセル相当のものに過ぎない。   The delay detection circuit 37 extracts the time t4 at which the synchronization signal (falling) of the image data 4 output with the most delay is extracted and the times t1 to t3 at which the synchronization signals (falling) of the image data 1 to 3 are extracted. The phase difference (time difference) is obtained. That is, the phase difference t4-t1 is the phase difference between the image data 4 and the image data 1, the phase difference t4-t2 is the phase difference between the image data 4 and the image data 2, and the phase difference t4-t3 is The phase difference between the image data 4 and the image data 3 is obtained. As described above, this phase difference is caused by an individual difference between the analog circuits included in the synchronization circuit 52, and is only equivalent to several pixels, which is sufficiently smaller than one line in the horizontal direction of the image.

そして、遅延検出回路37は、それぞれの位相差、すなわち遅延量を表す信号を、同期信号発生回路38に供給する。   Then, the delay detection circuit 37 supplies a signal representing each phase difference, that is, a delay amount, to the synchronization signal generation circuit 38.

ステップS13において、同期信号発生回路38は、遅延検出回路37からの信号に基づいて、メモリ36−1乃至36−Nそれぞれに対して、メモリ36−1乃至36−Nが保持している画像データを出力するための同期信号を供給することで、それぞれの画像データを同時に出力させる。   In step S13, the synchronization signal generation circuit 38, based on the signal from the delay detection circuit 37, stores the image data held in the memories 36-1 to 36-N for each of the memories 36-1 to 36-N. By supplying a synchronization signal for outputting the image data, the respective image data are output simultaneously.

例えば、同期信号発生回路38は、図3で説明した画像データ1を位相差t4-t1だけ遅延させ、画像データ2を位相差t4-t2だけ遅延させ、画像データ3を位相差t4-t3だけ遅延させ、画像データ4をそのまま出力するようにする同期信号を、メモリ36−1乃至36−4に供給する。これにより、その一部がメモリ36−1乃至36−3に保持されている画像データ1乃至3は、最も遅延して出力された画像データ4と同時に、画像処理部39に出力されるようになる。   For example, the synchronization signal generation circuit 38 delays the image data 1 described in FIG. 3 by the phase difference t4-t1, delays the image data 2 by the phase difference t4-t2, and delays the image data 3 by the phase difference t4-t3. A synchronization signal for delaying and outputting the image data 4 as it is is supplied to the memories 36-1 to 36-4. As a result, the image data 1 to 3 that are partly held in the memories 36-1 to 36-3 are output to the image processing unit 39 at the same time as the image data 4 that is output most delayed. Become.

なお、このとき、メモリ36−1乃至36−3に保持されている画像データ1乃至3のデータ量は、画像データ4がメモリ36−4に供給されるまでに供給された数ピクセル分程度となる。   At this time, the data amount of the image data 1 to 3 held in the memories 36-1 to 36-3 is about several pixels supplied until the image data 4 is supplied to the memory 36-4. Become.

また、同期信号発生回路38は、メモリ36−1乃至36−Nに供給した同期信号を、画像処理部39にも供給する。すなわち、撮像装置11においては、複数の画像データのうちの、最も遅延して出力される画像データの位相(位相信号)を、装置全体の同期信号とすることで、多眼カメラの同期運転が行われる。   The synchronization signal generation circuit 38 also supplies the synchronization signal supplied to the memories 36-1 to 36 -N to the image processing unit 39. In other words, in the imaging device 11, the multi-camera camera can be operated synchronously by setting the phase (phase signal) of the image data output with the most delay among the plurality of image data as the synchronization signal of the entire device. Done.

以上の処理によれば、同期して駆動するCMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ36−1乃至36−Nに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ36に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラを、より安価に構成することが可能となる。   According to the above processing, the delay of the image data output to the memories 36-1 to 36-N from the synchronously driven CMOS sensors 32-1 to 32-N is detected, and based on the maximum delay among them. The image data held in the memories 36-1 to 36-N are output. At this time, the delay of the image data is equivalent to several pixels, and the data amount of the image data held in the memory 36 is about several pixels at most. Therefore, since it is not necessary to prepare a large-capacity memory like the frame memory used in the conventional frame synchronizer method, a multi-lens camera that outputs images synchronously can be configured at a lower cost. .

具体的には、例えば、従来のフレームシンクロナイザ方式によれば、画像データの解像度がFull HDである場合、約2万(1920×1080)ピクセル分のメモリ容量を必要としたが、本技術の構成によれば、数ピクセル分程度のメモリ容量で済むので、およそ100万分の1オーダーでメモリ容量を削減することができる。   Specifically, for example, according to the conventional frame synchronizer method, when the resolution of the image data is Full HD, a memory capacity of about 20,000 (1920 × 1080) pixels is required. According to the above, since a memory capacity of about several pixels is sufficient, the memory capacity can be reduced by about one millionth order.

また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、撮像装置11においては、CMOSセンサ32−1乃至32−Nは、制御コマンド送出回路35からの制御コマンドに基づいて同期運転(駆動)を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。   Further, in the conventional frame synchronizer type camera system, since the camera itself performs asynchronous operation, the synchronism of video signals is not guaranteed. However, in the imaging device 11, the CMOS sensors 32-1 to 32-N are not Since the synchronous operation (drive) is performed based on the control command from the control command sending circuit 35, the simultaneity of the video signals can be kept to a practically unaffected level.

なお、上述した処理において検出される遅延は、画像出力開始コマンドが送出されて以降は変化しないので、画像出力同期処理において最初の1回だけ実行されればよく、これ以降は、その検出された遅延に基づいて、画像データが同期されて出力されるようになる。   Note that the delay detected in the above-described processing does not change after the image output start command is sent, so it is only necessary to be executed once in the image output synchronization processing. Thereafter, the detected delay is detected. Based on the delay, the image data is synchronized and output.

ところで、上述した撮像装置11において、メモリ36をFIFO(First In First Out)として構成するようにしてもよい。   By the way, in the imaging device 11 described above, the memory 36 may be configured as a FIFO (First In First Out).

[メモリをFIFOとした構成]
図4は、撮像装置11において、メモリ36をFIFOとした場合の撮像装置11の構成について説明する図である。ここで、撮像装置11は、4つのCMOSセンサ32−1乃至32−4を備える4眼カメラとして構成されるものとする。
[Configuration with memory as FIFO]
FIG. 4 is a diagram illustrating the configuration of the imaging device 11 when the memory 36 is a FIFO in the imaging device 11. Here, the imaging device 11 is assumed to be configured as a four-lens camera including four CMOS sensors 32-1 to 32-4.

図4において、FIFOメモリ131−1乃至131−4はメモリ36−1乃至36−4に、NORゲート132は遅延検出回路37および同期信号発生回路38にそれぞれ代えて設けられたものである。なお、図4において、レンズ31、CMOSイメージセンサ32、リセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、画像処理部39、およびCPU40の図示は省略する。   In FIG. 4, FIFO memories 131-1 through 131-4 are provided in place of the memories 36-1 through 36-4, and a NOR gate 132 is provided in place of the delay detection circuit 37 and the synchronization signal generation circuit 38, respectively. In FIG. 4, the lens 31, the CMOS image sensor 32, the reset signal generation circuit 33, the clock signal generation circuit 34, the control command transmission circuit 35, the image processing unit 39, and the CPU 40 are not shown.

NORゲート132は、画像データ1乃至4から抽出される同期信号の立ち下がりをそれぞれラッチし、全ての同期信号が立ち下がったとき、FIFOメモリ131−1乃至131−4にイネーブル信号を出力する。   The NOR gate 132 latches the falling edge of the synchronization signal extracted from the image data 1 to 4, and outputs an enable signal to the FIFO memories 131-1 to 131-4 when all the synchronization signals fall.

これにより、FIFOメモリ131に保持されている画像データは、最も遅延して出力された画像データと同時に出力されるようになり、図4の構成においても、図1の撮像装置11と同様の作用効果を奏することができる。   As a result, the image data held in the FIFO memory 131 is output at the same time as the image data output with the most delay, and the same operation as that of the imaging device 11 of FIG. There is an effect.

以上においては、本技術を、多眼カメラとしての撮像装置に適用した構成について説明したが、以下においては、本技術を、複数のカメラ(撮像装置)を有する画像処理システムに適用した構成について説明する。   In the above, the configuration in which the present technology is applied to an imaging device as a multi-view camera has been described. However, in the following, the configuration in which the present technology is applied to an image processing system having a plurality of cameras (imaging devices) will be described. To do.

<3.本技術を適用した画像処理システムの構成>
図5は、本技術を適用した画像処理システムの一実施の形態の構成を示している。
<3. Configuration of image processing system to which this technology is applied>
FIG. 5 shows a configuration of an embodiment of an image processing system to which the present technology is applied.

図5の画像処理システム201は、カメラ211−1乃至211−N、画像出力装置212、および画像処理装置213から構成される。   An image processing system 201 in FIG. 5 includes cameras 211-1 to 211 -N, an image output device 212, and an image processing device 213.

図5の画像処理システム201において、カメラ211−1乃至211−Nは、撮像した画像を画像出力装置212に供給し、画像出力装置212は、カメラ211−1乃至211−Nからの画像を同時に、画像処理装置213に出力する。   In the image processing system 201 of FIG. 5, the cameras 211-1 to 211 -N supply captured images to the image output device 212, and the image output device 212 simultaneously receives the images from the cameras 211-1 to 211 -N. And output to the image processing apparatus 213.

カメラ211−1乃至211−Nはそれぞれ、CMOSセンサ221−1乃至221−Nを備えている。なお、CMOSセンサ221は、図1のCMOSセンサ32と同様の機能および構成を有するので、その説明は省略する。   The cameras 211-1 to 211 -N are provided with CMOS sensors 221-1 to 221 -N, respectively. The CMOS sensor 221 has the same function and configuration as the CMOS sensor 32 of FIG.

画像出力装置212は、リセット信号発生回路231、クロック信号発生回路232、制御コマンド送出回路233、メモリ234、遅延検出回路235、同期信号発生回路236、およびCPU237から構成される。なお、リセット信号発生回路231乃至CPU237は、それぞれ、図1のリセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、メモリ36、遅延検出回路37、同期信号発生回路38、およびCPU40と同様の機能および構成を有するので、その説明は省略する。   The image output device 212 includes a reset signal generation circuit 231, a clock signal generation circuit 232, a control command transmission circuit 233, a memory 234, a delay detection circuit 235, a synchronization signal generation circuit 236, and a CPU 237. The reset signal generation circuits 231 to CPU 237 are respectively the reset signal generation circuit 33, the clock signal generation circuit 34, the control command transmission circuit 35, the memory 36, the delay detection circuit 37, the synchronization signal generation circuit 38, and the CPU 40 of FIG. The function and configuration are the same as those in FIG.

画像処理装置213は、画像出力装置212から同期して出力された複数の画像に対して、所定の画像処理を施す。   The image processing device 213 performs predetermined image processing on the plurality of images output in synchronization from the image output device 212.

例えば、図5の画像処理システム201が、サッカー等のスポーツを中継する多視点カメラシステムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、画像出力装置212から同期して出力された複数の中継画像を切り替える。   For example, when the image processing system 201 in FIG. 5 is applied to a multi-view camera system that relays sports such as soccer, the image processing device 213 outputs the image synchronously from the image output device 212 based on the operation of the operator. Switch a plurality of relay images.

また、図5の画像処理システム201が、多視点画像を生成する画像生成システムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、画像出力装置212から同期して出力された複数の画像を合成し、1つの多視点画像を生成する。   In addition, when the image processing system 201 in FIG. 5 is applied to an image generation system that generates a multi-viewpoint image, the image processing device 213 is output from the image output device 212 in synchronization with the operation of the operator. A plurality of images are combined to generate one multi-viewpoint image.

さらに、図5の画像処理システム201が、ステレオカメラシステムに適用される場合、画像処理装置213は、オペレータの操作に基づいて、2台のカメラ211−1,211−2により撮像され、画像出力装置212から同期して出力された2枚の画像に基づいて、被写体までの距離を算出する。   Furthermore, when the image processing system 201 in FIG. 5 is applied to a stereo camera system, the image processing apparatus 213 is imaged by the two cameras 211-1 and 211-2 based on the operation of the operator, and image output is performed. The distance to the subject is calculated based on the two images output synchronously from the device 212.

なお、図5の画像処理システム201の画像出力装置212による画像出力同期処理については、図2のフローチャートを参照して説明した、図1の撮像装置11の処理と基本的に同様であるので、その説明は省略する。   Note that the image output synchronization processing by the image output device 212 of the image processing system 201 of FIG. 5 is basically the same as the processing of the imaging device 11 of FIG. 1 described with reference to the flowchart of FIG. The description is omitted.

すなわち、画像出力装置212による画像出力同期処理によれば、同期して駆動するCMOSセンサ221−1乃至221−Nからメモリ234−1乃至234−Nに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ234−1乃至234−Nに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ234に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。   That is, according to the image output synchronization processing by the image output device 212, the delay of the image data output to the memories 234-1 to 234-N from the synchronously driven CMOS sensors 221-1 to 221-N is detected, Based on the maximum delay, the image data held in the memories 234-1 to 234-N are output. At this time, the delay of the image data is equivalent to several pixels, and the data amount of the image data held in the memory 234 is about several pixels at most. Therefore, since it is not necessary to prepare a large-capacity memory like the frame memory used in the conventional frame synchronizer method, it is possible to construct a multi-lens camera system that outputs images synchronously at a lower cost. Become.

また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、画像処理システム201においては、CMOSセンサ221−1乃至221−Nは、制御コマンド送出回路233からの制御コマンドに基づいて同期運転(駆動)を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。   Further, in the conventional frame synchronizer system camera system, the camera itself performs asynchronous operation, and thus the simultaneity of the video signals is not guaranteed. However, in the image processing system 201, the CMOS sensors 221-1 to 221-N Since the synchronous operation (drive) is performed based on the control command from the control command transmission circuit 233, the simultaneity of the video signals can be kept to a practically unaffected level.

なお、上述した構成においては、複数のCMOSセンサに対して、1のリセット信号発生回路を設けるようにしたが、複数のCMOSセンサに対して、それぞれのリセット信号発生回路を設けるようにしてもよい。   In the configuration described above, one reset signal generating circuit is provided for a plurality of CMOS sensors. However, each reset signal generating circuit may be provided for a plurality of CMOS sensors. .

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.

さらに、本技術は以下のような構成をとることができる。
(1) 1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理装置。
(2)
複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに備え、
前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する
(1)に記載の画像処理装置。
(3) 前記クロック信号を発生する1のクロック信号発生部と、
複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに備える
(1)または(2)に記載の画像処理装置。
(4) 前記固体撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成される
(1)乃至(3)のいずれかに記載の画像処理装置。
(5) 1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、
検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する
ステップを含む画像処理方法。
(6) 複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、
複数の前記カメラは、
1のクロック信号に基づいて同期して駆動する固体撮像装置
をそれぞれ備え、
前記画像出力装置は、
複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理システム。
Furthermore, this technique can take the following structures.
(1) a plurality of memories each holding image data output from a plurality of solid-state imaging devices that are driven synchronously based on one clock signal;
A detection unit for detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Instructing the plurality of memories to output the image data based on the delay of the image data detected by the detection unit so that the image data held in the plurality of memories are simultaneously output. An image processing apparatus comprising: a signal generation unit that generates a signal.
(2)
A plurality of solid-state imaging devices, further comprising a sending unit that broadcasts a command for outputting the image data;
The image processing device according to (1), wherein the detection unit detects a delay of each of the image data output from the plurality of solid-state imaging devices substantially simultaneously based on the command.
(3) one clock signal generator for generating the clock signal;
The image processing apparatus according to (1) or (2), further including at least one reset signal generation unit that generates a reset signal for resetting the plurality of solid-state imaging devices.
(4) The image processing device according to any one of (1) to (3), wherein the solid-state imaging device is configured as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
(5) In an image processing method of an image processing apparatus including a plurality of memories respectively holding image data output from a plurality of solid-state imaging devices driven synchronously based on one clock signal,
The image processing apparatus is
Detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Based on the detected delay of the image data, a signal instructing the plurality of memories to output the image data is generated so as to simultaneously output the respective image data held in the plurality of memories. An image processing method including steps.
(6) An image processing system including a plurality of cameras and an image output device that outputs image data output from the plurality of cameras to an image processing device that performs predetermined image processing in synchronization with each other.
The plurality of cameras are
Each of which has a solid-state imaging device that is driven synchronously based on one clock signal,
The image output device includes:
A plurality of memories each holding the image data output from the plurality of solid-state imaging devices;
A detection unit for detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Instructing the plurality of memories to output the image data based on the delay of the image data detected by the detection unit so that the image data held in the plurality of memories are simultaneously output. An image processing system comprising: a signal generation unit that generates a signal.

11 撮像装置, 32−1乃至32−N,32 CMOSセンサ, 33 リセット信号発生回路, 34 クロック信号発生回路, 35 制御コマンド送出回路, 36−1乃至36−N,36 メモリ, 37 遅延検出回路, 38 同期信号発生回路, 201 画像処理システム, 211−1乃至211−N,211 カメラ, 212 画像出力装置, 221−1乃至221−N,221 CMOSセンサ, 231 リセット信号発生回路, 232 クロック信号発生回路, 233 制御コマンド送出回路, 234−1乃至234−N,234 メモリ, 235 遅延検出回路, 236 同期信号発生回路   11 imaging device, 32-1 to 32-N, 32 CMOS sensor, 33 reset signal generation circuit, 34 clock signal generation circuit, 35 control command transmission circuit, 36-1 to 36-N, 36 memory, 37 delay detection circuit, 38 synchronization signal generation circuit, 201 image processing system, 211-1 to 211 -N, 211 camera, 212 image output device, 221-1 to 221 -N, 221 CMOS sensor, 231 reset signal generation circuit, 232 clock signal generation circuit , 233 control command transmission circuit, 234-1 to 234-N, 234 memory, 235 delay detection circuit, 236 synchronization signal generation circuit

Claims (6)

1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理装置。
A plurality of memories each holding image data output from a plurality of solid-state imaging devices driven synchronously based on one clock signal;
A detection unit for detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Instructing the plurality of memories to output the image data based on the delay of the image data detected by the detection unit so that the image data held in the plurality of memories are simultaneously output. An image processing apparatus comprising: a signal generation unit that generates a signal.
複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに備え、
前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する
請求項1に記載の画像処理装置。
A plurality of solid-state imaging devices, further comprising a sending unit that broadcasts a command for outputting the image data;
The image processing device according to claim 1, wherein the detection unit detects a delay of each of the image data output from the plurality of solid-state imaging devices substantially simultaneously based on the command.
前記クロック信号を発生する1のクロック信号発生部と、
複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに備える
請求項1に記載の画像処理装置。
A clock signal generator for generating the clock signal;
The image processing apparatus according to claim 1, further comprising at least one reset signal generation unit that generates a reset signal for resetting the plurality of solid-state imaging devices.
前記固体撮像装置は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサとして構成される
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the solid-state imaging device is configured as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリを備える画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、
検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する
ステップを含む画像処理方法。
In an image processing method of an image processing apparatus including a plurality of memories each holding image data output from a plurality of solid-state imaging devices driven synchronously based on one clock signal,
The image processing apparatus is
Detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Based on the detected delay of the image data, a signal instructing the plurality of memories to output the image data is generated so as to simultaneously output the respective image data held in the plurality of memories. An image processing method including steps.
複数のカメラと、複数の前記カメラから出力される画像データをそれぞれ同期して、所定の画像処理を行う画像処理装置に出力する画像出力装置とからなる画像処理システムであって、
複数の前記カメラは、
1のクロック信号に基づいて同期して駆動する固体撮像装置
をそれぞれ備え、
前記画像出力装置は、
複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、
複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、
前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部と
を備える画像処理システム。
An image processing system comprising a plurality of cameras and an image output device that outputs image data output from the plurality of cameras to an image processing device that performs predetermined image processing in synchronization with each other,
The plurality of cameras are
Each of which has a solid-state imaging device that is driven synchronously based on one clock signal,
The image output device includes:
A plurality of memories each holding the image data output from the plurality of solid-state imaging devices;
A detection unit for detecting a delay of each of the image data output from the plurality of solid-state imaging devices;
Instructing the plurality of memories to output the image data based on the delay of the image data detected by the detection unit so that the image data held in the plurality of memories are simultaneously output. An image processing system comprising: a signal generation unit that generates a signal.
JP2011185718A 2011-08-29 2011-08-29 Image processor, image processing method and image processing system Withdrawn JP2013048333A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011185718A JP2013048333A (en) 2011-08-29 2011-08-29 Image processor, image processing method and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011185718A JP2013048333A (en) 2011-08-29 2011-08-29 Image processor, image processing method and image processing system

Publications (1)

Publication Number Publication Date
JP2013048333A true JP2013048333A (en) 2013-03-07

Family

ID=48011098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011185718A Withdrawn JP2013048333A (en) 2011-08-29 2011-08-29 Image processor, image processing method and image processing system

Country Status (1)

Country Link
JP (1) JP2013048333A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086348A1 (en) * 2015-11-17 2017-05-26 ソニー株式会社 Multi-camera system, method for controlling multi-camera system, and camera
CN113329174A (en) * 2021-05-21 2021-08-31 浙江大华技术股份有限公司 Control method, device and system of multi-view camera and electronic device
CN113661700A (en) * 2019-05-10 2021-11-16 索尼半导体解决方案公司 Image forming apparatus and image forming method
US11190682B2 (en) 2017-09-15 2021-11-30 Samsung Electronics Co., Ltd Electronic device and method for controlling plurality of image sensors
CN116381468A (en) * 2023-06-05 2023-07-04 浙江瑞测科技有限公司 Method and device for supporting multi-chip parallel test by single image acquisition card

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086348A1 (en) * 2015-11-17 2017-05-26 ソニー株式会社 Multi-camera system, method for controlling multi-camera system, and camera
JPWO2017086348A1 (en) * 2015-11-17 2018-09-06 ソニー株式会社 Multi-camera system, multi-camera system control method, and camera
US10645258B2 (en) 2015-11-17 2020-05-05 Sony Corporation Multi-camera system, method of controlling a multi-camera system, and camera
US11190682B2 (en) 2017-09-15 2021-11-30 Samsung Electronics Co., Ltd Electronic device and method for controlling plurality of image sensors
CN113661700A (en) * 2019-05-10 2021-11-16 索尼半导体解决方案公司 Image forming apparatus and image forming method
CN113329174A (en) * 2021-05-21 2021-08-31 浙江大华技术股份有限公司 Control method, device and system of multi-view camera and electronic device
CN113329174B (en) * 2021-05-21 2022-06-03 浙江大华技术股份有限公司 Control method, device and system of multi-view camera and electronic device
CN116381468A (en) * 2023-06-05 2023-07-04 浙江瑞测科技有限公司 Method and device for supporting multi-chip parallel test by single image acquisition card
CN116381468B (en) * 2023-06-05 2023-08-22 浙江瑞测科技有限公司 Method and device for supporting multi-chip parallel test by single image acquisition card

Similar Documents

Publication Publication Date Title
JP6123274B2 (en) Imaging device
CN104284144B (en) System and method for generating panoramic picture
KR101399718B1 (en) Combining data from multiple image sensors
KR101400515B1 (en) Combining data from multiple image sensors
JP6834976B2 (en) Multi-camera system, multi-camera system control method and camera
TWI812604B (en) Image sensor and control system
JP2013048333A (en) Image processor, image processing method and image processing system
JP4529841B2 (en) Image synchronization device
CN109155814B (en) Processing device, image sensor and system
US9530173B2 (en) Information processing device, imaging device, and information processing method
KR102080927B1 (en) Method and Apparatus for Generating Stereo Image
KR101521109B1 (en) Accelerated processing method of frame using CMOS image sensor and frame accelarating system
JP2013098877A (en) Stereo imaging device, synchronous imaging method and electronic information apparatus
US10044963B2 (en) Imaging apparatus
JP7467130B2 (en) Information processing device, information processing method, and program
JP2017188871A (en) Imaging apparatus
JP2003309759A (en) Imaging system, television camera, and synchronization adjustment apparatus used for imaging system
JP2023064284A (en) Communication device, communication method, and program
JP4703779B2 (en) Head separation type camera device
JP4987957B2 (en) Head-separated imaging apparatus, control unit thereof, and signal processing method
JP2010218379A (en) Data transfer device
JP2016178456A (en) Signal processing apparatus and signal processing method
KR20100002642U (en) Multi segment image acquired Multi lens camera
JP2016178457A (en) Signal processing apparatus and signal processing method
KR20140036626A (en) Video camera for a vehicle

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141104