JP2018042139A - Imaging element, operation method of imaging element, imaging apparatus, and electronic equipment - Google Patents
Imaging element, operation method of imaging element, imaging apparatus, and electronic equipment Download PDFInfo
- Publication number
- JP2018042139A JP2018042139A JP2016175734A JP2016175734A JP2018042139A JP 2018042139 A JP2018042139 A JP 2018042139A JP 2016175734 A JP2016175734 A JP 2016175734A JP 2016175734 A JP2016175734 A JP 2016175734A JP 2018042139 A JP2018042139 A JP 2018042139A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- analog
- low
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims description 61
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000006243 chemical reaction Methods 0.000 claims abstract description 90
- 239000000872 buffer Substances 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 35
- 230000015654 memory Effects 0.000 abstract description 222
- 230000006870 function Effects 0.000 description 24
- 238000012546 transfer Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本開示は、撮像素子および撮像素子の動作方法、撮像装置、および電子機器に関し、特に、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現できるようにした撮像素子および撮像素子および撮像素子の動作方法、撮像装置、および電子機器に関する。 The present disclosure relates to an image sensor and an operation method of the image sensor, an image pickup apparatus, and an electronic apparatus, and in particular, can perform computations other than processing essential for imaging without newly adding a memory or an arithmetic circuit. The present invention relates to an imaging element, an imaging element, an operation method of the imaging element, an imaging apparatus, and an electronic device.
撮像された画像のうち、過去画像と入力画像との差分をとることで物体領域を検出するフレーム間差分法とよばれる物体領域検出方法が一般的な技術として普及している。 Among captured images, an object region detection method called an inter-frame difference method that detects an object region by taking a difference between a past image and an input image is widely used as a general technique.
そこで、この技術を利用して、イメージセンサ内でフレーム間差分を実現するために画素毎にメモリを持ち、アナログ値を差分処理する方式が提案されている(非特許文献1参照)。 In view of this, a method has been proposed in which this technique is used to have a memory for each pixel in order to realize an inter-frame difference in the image sensor and to perform an analog value difference process (see Non-Patent Document 1).
また、背景画像と入力画像の差分をとることで物体領域を検出する背景差分法と呼ばれる技術が提案されている(非特許文献2参照)。 In addition, a technique called a background difference method for detecting an object region by taking a difference between a background image and an input image has been proposed (see Non-Patent Document 2).
さらに、時間方向に複数の画像の重み付平均をとることでノイズ除去を行う手法が提案されている。 Furthermore, a technique for removing noise by taking a weighted average of a plurality of images in the time direction has been proposed.
しかしながら、非特許文献1に記載の技術では、画素毎にメモリを持つことでセンサが大型化する。また、単純なフレーム間差分では十分な検知性能が発揮できない恐れがある。
However, in the technique described in Non-Patent
また、非特許文献2に記載の技術の実現のためには、読み出し及び背景更新処理後の書き戻しが可能なフレームメモリの確保が必要となり、その機能をアナログ回路により実現すると回路が煩雑になってしまうため、一般的にはデジタルのフレームメモリに保持することになるが、面積が嵩むとともに、消費電力が大きくなってしまう。
Further, in order to realize the technique described in
さらに、上述したノイズ除去の手法では、同様にフレームメモリに書き戻す必要があるため、やはりアナログ回路により実現すると煩雑になり、デジタルフレームメモリを別途確保する必要があり、消費電力および面積が大きくなる。 Furthermore, since the above-described noise removal method similarly needs to be written back to the frame memory, it is also complicated when implemented by an analog circuit, and it is necessary to secure a digital frame memory separately, which increases power consumption and area. .
本開示は、このような状況に鑑みてなされたものであり、特に、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現できるようにするものである。 The present disclosure has been made in view of such a situation. In particular, the present disclosure can realize operations other than processing essential for imaging without newly adding a memory or an arithmetic circuit.
本開示の一側面の撮像素子は、入射光の光量に応じて画素信号を生成する複数の画素が2次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像素子である。 An imaging device according to one aspect of the present disclosure includes a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array, and each column in which the plurality of pixels are arranged A plurality of analog-to-digital converters that convert the pixel signals from analog signals to digital signals, and a portion of the plurality of analog-to-digital converters has a lower resolution than the resolution of the pixel array The pixel signals constituting the image are analog-to-digital converted, and at least the analog-digital conversion unit other than the part is an image sensor that performs arithmetic processing using the pixel signals constituting the low-resolution image.
前記アナログデジタル変換部には、前記アナログデジタル変換部は、前記演算処理の結果を記憶する記憶部を含み、少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。 The analog-to-digital conversion unit includes a storage unit that stores the result of the arithmetic processing, and at least the analog-to-digital conversion unit other than the part has a low resolution for a plurality of frames having different timings. Pixel signals constituting the image can be stored.
少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるとき、隣接する前記アナログデジタル変換部の前記記憶部に記憶している画素信号を読み出し、自らの前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。 When a pixel signal of a new low-resolution image is supplied to at least the analog-digital conversion unit other than the part, the pixel signal stored in the storage unit of the adjacent analog-digital conversion unit is read, The pixel signals constituting the low-resolution images for a plurality of frames having different timings can be stored by shifting and storing them in the storage unit.
少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるときであって、所定数のフレーム毎に、自らの前記記憶部に記憶している画素信号を、順次隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。 Pixels stored in its own storage unit every predetermined number of frames when a pixel signal of a new low-resolution image is supplied to at least the analog-digital conversion unit other than the part By sequentially shifting and storing the signals in the storage units of the analog-digital conversion units adjacent to each other, it is possible to store the pixel signals constituting the low-resolution images for a plurality of frames having different timings.
少なくとも前記一部以外の前記アナログデジタル変換部には、前記記憶部に記憶している、タイミングの異なる複数フレーム分の前記低解像度画像を構成する画素信号のフレーム間差分画像を求める演算処理を実行させるようにすることができる。 At least the analog-digital conversion unit other than the part executes arithmetic processing for obtaining inter-frame difference images of pixel signals constituting the low-resolution image corresponding to a plurality of frames having different timings, which are stored in the storage unit. You can make it.
少なくとも前記一部以外の前記アナログデジタル変換部には、前記記憶部に記憶している、所定のタイミングの1フレーム分の前記低解像度画像を構成する画素信号を読み出し、新たなフレームの画素信号とのフレーム間差分画像を求め、前記記憶部に上書きさせるようにすることができる。 At least the analog-to-digital conversion unit other than the part reads out pixel signals constituting the low-resolution image for one frame at a predetermined timing stored in the storage unit, The inter-frame difference image can be obtained and overwritten in the storage unit.
少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるとき、自らの前記記憶部に記憶している画素信号を、隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる所定数の複数フレーム分の低解像度画像を構成する画素信号を記憶することで、リングバッファを構成させるようにすることができる。 When a pixel signal of a new low-resolution image is supplied to at least the analog-digital conversion unit other than the part, the adjacent analog-digital conversion unit stores the pixel signal stored in its storage unit The ring buffer can be configured by storing the pixel signals constituting the low-resolution images of a predetermined number of a plurality of frames having different timings by shifting and storing them in the storage unit.
前記リングバッファに記憶されているタイミングの異なる所定数の複数のフレームの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号との差分画像を演算する演算部をさらに含ませるようにすることができる。 A calculation unit that calculates a difference image between a pixel signal constituting the low-resolution image of a predetermined number of frames having different timings stored in the ring buffer and a pixel signal of the new low-resolution image; You can make it.
前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の各画素における平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算させ、前記差分絶対値が所定の閾値よりも大きな画素を第1の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第2の画素値とする2値画像からなる差分画像を演算させるようにすることができる。 The arithmetic unit includes an average value in each pixel of pixel signals constituting the low resolution image from the oldest frame to a predetermined oldest frame stored in the ring buffer, and pixels of the new low resolution image The absolute difference value with respect to the signal is calculated, a pixel having the absolute difference value larger than a predetermined threshold is defined as a first pixel value, and a pixel having the absolute difference value smaller than the predetermined threshold is defined as a second pixel value. A difference image composed of binary images can be calculated.
前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の、前記タイミングに応じた重み付平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算させ、前記差分絶対値が所定の閾値よりも大きな画素を第1の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第2の画素値とする2値画像からなる差分画像を演算させるようにすることができる。 The arithmetic unit includes a weighted average value corresponding to the timing of the pixel signal constituting the low-resolution image from the oldest frame stored in the ring buffer to the predetermined oldest frame, and the new A difference absolute value with a pixel signal of a low-resolution image is calculated, a pixel having the difference absolute value larger than a predetermined threshold is set as a first pixel value, and a pixel having the difference absolute value smaller than the predetermined threshold is set as a second pixel. It is possible to calculate a difference image consisting of a binary image having a pixel value of.
前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号とのそれぞれの差分絶対値を演算させ、それぞれの前記差分絶対値がいずれも所定の閾値よりも大きな画素を第1の画素値とし、それぞれの前記差分絶対値のいずれかが所定の閾値よりも小さな画素を第2の画素値とする2値画像からなる差分画像を演算させるようにすることができる。 The arithmetic unit includes a difference between a pixel signal constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame and a pixel signal of the new low-resolution image. An absolute value is calculated, and a pixel whose each difference absolute value is larger than a predetermined threshold is set as a first pixel value, and a pixel whose one of the difference absolute values is smaller than a predetermined threshold is set as a second pixel. It is possible to calculate a difference image consisting of a binary image having a pixel value of.
前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の平均値を演算する演算部をさらに含ませるようにすることができる。 A calculation unit that calculates an average value of pixel values of pixels constituting the low-resolution image of a predetermined number of frames at different timings stored in the ring buffer may be further included.
前記演算部には、前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の、前記タイミングに応じた重み付平均値を演算させるようにすることができる。 The calculation unit is configured to calculate a weighted average value corresponding to the timing of pixel values of pixels constituting the low-resolution image of a plurality of frames at a predetermined number of times stored in the ring buffer. Can be.
前記低解像度画像は、前記画素アレイを構成する画素の、複数の画素群毎の平均値、代表値、およびメジアンのいずれかよりなる画像とすることができる。 The low-resolution image may be an image composed of any one of an average value, a representative value, and a median for each of a plurality of pixel groups of the pixels constituting the pixel array.
本開示の一側面の撮像素子の動作方法は、入射光の光量に応じて画素信号を生成する複数の画素が2次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像素子の動作方法である。 An operation method of an imaging element according to one aspect of the present disclosure includes a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array, and the plurality of pixels are arranged. A plurality of analog-to-digital converters for converting the pixel signals from analog signals to digital signals, and a part of the plurality of analog-to-digital converters, An analog-digital conversion is performed on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-digital conversion unit other than the part uses the pixel signal constituting the low-resolution image. This is an operation method of the image sensor that executes
本開示の一側面の撮像装置は、入射光の光量に応じて画素信号を生成する複数の画素が2次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像装置である。 An imaging apparatus according to an aspect of the present disclosure includes a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array, and each column in which the plurality of pixels are arranged A plurality of analog-to-digital converters that convert the pixel signals from analog signals to digital signals, and a portion of the plurality of analog-to-digital converters has a lower resolution than the resolution of the pixel array The pixel signal constituting the image is analog-to-digital converted, and at least the analog-to-digital conversion unit other than the part is an imaging device that performs arithmetic processing using the pixel signal constituting the low-resolution image.
本開示の一側面の電子機器は、入射光の光量に応じて画素信号を生成する複数の画素が2次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する電子機器である。 An electronic apparatus according to an aspect of the present disclosure includes a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array, and each column in which the plurality of pixels are arranged A plurality of analog-to-digital converters that convert the pixel signals from analog signals to digital signals, and a portion of the plurality of analog-to-digital converters has a lower resolution than the resolution of the pixel array The pixel signals constituting the image are analog-to-digital converted, and at least the analog-digital conversion unit other than the part is an electronic device that executes arithmetic processing using the pixel signals constituting the low-resolution image.
本開示の一側面においては、複数の画素が2次元のアレイ状に配設された画素アレイにより、入射光の光量に応じた画素信号が生成され、前記複数の画素が配列された列ごとに設けられた複数のアナログデジタル変換部により、前記画素信号がアナログ信号からデジタル信号に変換され、前記複数のアナログデジタル変換部の一部により、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号がアナログデジタル変換され、少なくとも前記一部以外の前記アナログデジタル変換部により、前記低解像度画像を構成する画素信号を用いた演算処理が実行される。 In one aspect of the present disclosure, a pixel signal corresponding to the amount of incident light is generated by a pixel array in which a plurality of pixels are arranged in a two-dimensional array, and each column in which the plurality of pixels are arranged The plurality of analog-to-digital converters convert the pixel signal from an analog signal to a digital signal, and a part of the plurality of analog-to-digital converters generates a low-resolution image having a resolution lower than that of the pixel array. The constituent pixel signals are subjected to analog-to-digital conversion, and arithmetic processing using the pixel signals constituting the low-resolution image is executed by at least the analog-to-digital conversion unit other than the part.
本開示の一側面によれば、画像処理に使用することがないカラムAD回路を利用することで、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現することが可能となる。 According to one aspect of the present disclosure, by using a column AD circuit that is not used for image processing, computation other than processing that is essential for imaging is realized without newly adding a memory or an arithmetic circuit. It becomes possible.
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
<一般的な撮像素子の構成例>
(前景画像と背景画像とを抽出する撮像素子の構成例)
過去画像と入力画像の差分をとることで動物体領域の検出を行うという従来技術(フレーム間差分法)がある。そこで、例えば、上述した非特許文献1で示されるように、撮像素子(イメージセンサ)内でフレーム間差分を実現するために画素毎にメモリを設けて、アナログ回路により差分処理する方式が提案されている。
<Configuration example of a general imaging device>
(Configuration example of image sensor for extracting foreground image and background image)
There is a conventional technique (interframe difference method) in which a moving object region is detected by taking a difference between a past image and an input image. Therefore, for example, as shown in
また、非特許文献2で示されるように、背景画像と入力画像の差分をとることで物体領域を検出する背景差分法と呼ばれる手法を撮像素子内で実現する技術が提案されている。この場合、背景画像を格納するメモリの構成が必須となるので、装置構成が大型化してしまう上、入力画像が供給される毎に、背景画像を更新するために読出し、さらに、更新した背景画像を上書きするため、動作が複雑なものとなり、装置構成も複雑なものとなる。
Further, as shown in
より詳細には、上述する撮像素子1は、例えば、図1で示されるように、AD(Analog Digital)変換部11、画像縮小化部12、デジタルフレームメモリ13、背景更新アルゴリズム処理部14、減算部15、絶対値化部16、および閾値処理部17より構成されている。
More specifically, for example, as shown in FIG. 1, the
AD変換部11は、図視せぬ画素アレイより供給されてくるアナログ信号からなる画素信号をデジタル信号に変換し、画像縮小化部12に出力する。
The
画像縮小化部12は、デジタル信号に変換された画素信号の解像度を低減するように画像を縮小し、デジタルフレームメモリ13に記憶させるとともに、減算部15に出力する。
The image reduction unit 12 reduces the image so as to reduce the resolution of the pixel signal converted into the digital signal, stores the image in the
デジタルフレームメモリ13は、画像縮小化部12より供給されてきた縮小された画像信号を格納するとともに、背景更新アルゴリズム処理部14に供給し、さらに、背景更新アルゴリズム処理部14の処理結果を上書きする。
The
背景更新アルゴリズム処理部14は、画像縮小化部12より供給されてくる入力画像である縮小画像を用いて背景画像を更新し、デジタルフレームメモリ13に書き戻す。すなわち、この処理によりデジタルフレームメモリ13に、背景画像が順次更新されて保持されることになる。
The background update
減算部15は、画像縮小化部12より供給されてくる縮小画像と、デジタルフレームメモリ13に記憶されている、背景更新アルゴリズム処理部14により背景更新アルゴリズム処理された背景画像との差分を求めて、前景画像を絶対値化部16に供給する。
The
絶対値化部16は、入力画像である縮小画像と背景画像との差分値の絶対値を求めて、差分画像を構成する。 The absolute value converting unit 16 obtains the absolute value of the difference value between the reduced image that is the input image and the background image, and configures the difference image.
閾値処理部17は、差分画像における差分値valと閾値thとの比較により、閾値より多きい画素の画素値を1とし、それ以外の画素を0とする2値化処理により、動画像からなる前景領域を推定する。
The
次に、図1の撮像素子の動作について説明する。 Next, the operation of the image sensor of FIG. 1 will be described.
まず、AD変換部11がアナログ信号の画像信号をデジタル信号に変換する。次に、画像縮小化部12は、デジタル信号に変換された画像信号を縮小化して低解像度化し、デジタルフレームメモリ13に格納させる。
First, the
次に、背景更新アルゴリズム処理部14は、デジタルフレームメモリ13に順次格納されてくる画像信号を用いて、背景画像を更新して書き戻す処理を繰り返す。
Next, the background update
減算部15は、縮小画像とデジタルフレームメモリ13に格納されている背景画像との差分を求めて絶対値化部16に出力する。
The
絶対値化部16は、入力画像である縮小画像と、デジタルフレームメモリ13より読み出される背景画像との差分絶対値からなる差分画像を閾値処理部17に供給する。
The absolute value converting unit 16 supplies the threshold
閾値処理部17は、この差分画像の各画素の画素値valと閾値thとを比較し、大きな画素の画素値を1とし、それ以外の画素の画素値を0とする2値化画像とすることで、動画像からなる前景領域を推定する画像を出力する。
The threshold
この図1の撮像素子1の場合、背景画像を順次更新するためにデジタルフレームメモリ13が必須の構成となり、このため、装置が大型化してしまう。
In the case of the
また、背景更新アルゴリズム処理部14は、デジタルフレームメモリ13に格納されている縮小画像を読み出し、背景画像に更新処理を施した後、デジタルフレームメモリ13に書き戻す必要があり、消費電力を増大させてしまう。
Further, the background update
(画質を向上させる撮像素子の構成例)
さらに、図2で示される撮像素子のように、時間方向の複数の画像の重み付け平均により画質を向上させる撮像素子も提案されている。尚、図2における撮像素子31において、図1の撮像素子1と同一の機能を備えた構成については、同一の符号および同一の名称を付しており、その説明は適宜省略するものとする。
(Configuration example of image sensor that improves image quality)
Furthermore, an image sensor that improves image quality by weighted averaging of a plurality of images in the time direction has been proposed, such as the image sensor shown in FIG. 2 that have the same functions as those of the
すなわち、図2の撮像素子31において、図1の撮像素子1と異なる点は、背景更新アルゴリズム処理部14、減算部15、絶対値化部16、および閾値処理部17に代えて、重み付平均化部41が設けられている点である。
2 differs from the
重み付平均化部41は、デジタルフレームメモリ13に記憶されている、それまでの重み付平均化部41により処理された画像と、入力画像である縮小画像とを、入力画像に大きな重みが付されるように重み付平均化することで、画像よりノイズを除去して出力する。さらに、重み付平均化部41は、重み付平均化した画像をデジタルフレームメモリ13に格納させ、同様の処理を繰り返すことにより、ノイズを徐々に除去する。
The weighted averaging unit 41 assigns a large weight to the input image, which is the image processed by the weighted averaging unit 41 stored so far in the
ただし、この場合においても、重み付平均化部41は、デジタルフレームメモリ13より直前の処理結果となる画像を読み出すとともに、入力画像を用いて重み付平均化処理し、再びデジタルフレームメモリ13に書き戻す必要があり、消費電力が大きくなってしまう。また、デジタルフレームメモリ13が必須の構成となるため、設置面積を確保する必要があり、装置が大型化してしまう。
However, in this case as well, the weighted averaging unit 41 reads the image that is the previous processing result from the
<本開示の撮像素子の構成例>
そこで、本開示の撮像素子においては、高解像度で撮像する際には、全画素に対して列ごとに設けられている全てのカラムAD回路を用いて画素信号を生成する機能を備える。そして、その上で、本開示の撮像素子は、画像を撮像することを目的としない、例えば、背景画像および前景画像のそれぞれの領域を検出するようなセンサとして機能させる際には、低解像度化した画像を用い、低解像度化されることで生じる画像処理に用いられることがないカラムAD回路を用いて、他の演算処理を実行させる。このような動作を実現することにより、撮像素子の構成に新たな構成を付加することなく、高解像度の画像を撮像する機能と、センサとしての機能とを切り替えて実現する。
<Example of Configuration of Imaging Device of Present Disclosure>
Therefore, the imaging device according to the present disclosure has a function of generating pixel signals using all column AD circuits provided for each column for all pixels when imaging with high resolution. In addition, the imaging device of the present disclosure is not intended to capture an image. For example, when functioning as a sensor that detects each region of a background image and a foreground image, the resolution is reduced. Using the processed image, other arithmetic processing is executed using a column AD circuit that is not used for image processing caused by lowering the resolution. By realizing such an operation, a function for capturing a high-resolution image and a function as a sensor can be switched without adding a new configuration to the configuration of the image sensor.
より詳細には、図3は、本開示の撮像素子の構成例を示している。図3の撮像素子51は、m行×n列からなる2次元に配列された画素を備えた画素アレイ71、n列の垂直転送線毎に設けられたカラムAD回路72−0乃至72−(n−1)、および演算回路73を備えている。尚、以降において、カラムAD回路72−0乃至72−(n−1)のそれぞれを特に区別する必要がない場合、単にカラムAD回路72と称するものとし、その他の構成についても同様に称するものとする。
More specifically, FIG. 3 illustrates a configuration example of the imaging element of the present disclosure. 3 includes a
画素アレイ71は、画素単位でフォトダイオードを有し、入射光の光量に応じた画素信号を発生し、垂直転送線を介して各列のカラムAD回路72に供給する。
The
カラムAD(Analog Digital)回路72は、垂直転送線を介して供給されてくるアナログ信号からなる画素信号をデジタル信号に変換して演算回路73に供給する。
A column AD (Analog Digital)
演算回路73は、カラムAD回路72−0乃至72−(n−1)より供給されてくるデジタル信号からなる画素信号に各種の演算処理を施して、演算結果を出力する。
The
また、画素アレイ71は、全画素を用いた高解像度の画像信号を撮像する上、さらに、動作モードに応じて異なる動作をする。動作モードには、全画素を用いた高解像度画像を撮像する画像撮像モードと、低解像度画像の情報を用いたセンサモードとがある。例えば、センサモードにおいては、画像内の動画像からなる前景画像が撮像されている前景領域と、背景画像が撮像されている背景領域とを識別する差分画像を出力する。
In addition, the
より詳細には、画素アレイ71は、センサモードの場合、画素加算や間引きなどにより全画素の解像度に対して低解像度の画像を生成して、低解像度の画素信号を対応するカラムAD回路72に供給する。図3においては、画素アレイ71を構成する画素のうちの所定数の画素群71a−1乃至71a−pからなるp画素の低解像度画像として撮像する際の構成が示されている。
More specifically, in the case of the sensor mode, the
そこで、センサモードにおいては、低解像度画像が使用されることにより、画像処理に使用されないカラムAD回路72が発生することになるので、この画像処理に使用されないカラムAD回路72を使用して、差分画像を生成するといった撮像処理以外の演算処理を実行する。
Therefore, in the sensor mode, a
より具体的には、図3で示されるように、例えば、画素アレイ71を、所定数の画素からなる画素群71a−1を1画素として扱う画素信号が、カラムAD回路72−0乃至72−2で処理され、画素群71a−2を1画素として扱う画素信号が、カラムAD回路72−3乃至72−5で処理される。そして、画素群71a−(p−1)を1画素として扱う画素信号が、カラムAD回路72−(n−6)乃至72−(n−4)で処理され、画素群71a−pを1画素として扱う画素信号が、カラムAD回路72−(n−3)乃至72−(n−1)のそれぞれで処理される
More specifically, as shown in FIG. 3, for example, pixel signals that treat the
カラムAD回路72−0乃至72−nは、それぞれ演算器72a−0乃至72a−nを備えているが、1フレーム単位で、順次、隣接するカラムAD回路72に演算結果をシフトさせる。
The column AD circuits 72-0 to 72-n include calculators 72a-0 to 72a-n, respectively, but sequentially shift the calculation results to the adjacent
すなわち、例えば、0フレーム目の画素信号が、画素群71a−1を1画素とする画素信号が、カラムAD回路72−0に供給され、画素群71a−2を1画素とする画素信号が、カラムAD回路72−3に供給され、・・・画素群71a−(p−1)を1画素とする画素信号が、カラムAD回路72−(n−6)に供給され、画素群71a−pを1画素とする画素信号が、カラムAD回路72−(n−3)に供給される場合、それぞれで画素信号がアナログ信号からデジタル信号に変換されて、保持される。
That is, for example, a pixel signal of the 0th frame is supplied to the column AD circuit 72-0 as a pixel signal with the
次の1フレーム目の画素信号が供給される前に、カラムAD回路72−0,72−3,・・・72−(n−6),72−(n−3)は、それぞれが保持している画素信号を右隣りのカラムAD回路72−1,72−4,・・・72−(n−5),72−(n−2)にシフトする。 Before the pixel signal of the next first frame is supplied, the column AD circuits 72-0, 72-3,... 72- (n-6) and 72- (n-3) are held respectively. Are shifted to the column AD circuits 72-1, 72-4,... 72- (n-5), 72- (n-2) on the right side.
そして、新たな1フレーム目の画素信号が供給されると、画素群71a−1を1画素とする画素信号が、カラムAD回路72−0に供給され、画素群71a−2を1画素とする画素信号が、カラムAD回路72−3に供給され、・・・画素群71a−(p−1)を1画素とする画素信号が、カラムAD回路72−(n−6)に供給され、画素群71a−pを1画素とする画素信号が、カラムAD回路72−(n−3)に供給される。
When a new pixel signal of the first frame is supplied, a pixel signal with the
すなわち、一般的に、カラムAD回路72は、画像を構成する画素信号を行単位でアナログ信号からデジタル信号に変換し、出力する。しかしながら、本開示の撮像素子51の画素アレイにおいては、センサモードにおいて、画素群71aを1画素とみなすことで、低解像度画像を構成し、複数のカラムAD回路72が有するラッチ回路などからなるメモリに、この低解像度画像からなる複数フレーム分の画像をフレームメモリ代わりに記憶させ、バッファリングや演算に使用する。
That is, generally, the
尚、画素群71aを1画素とみなすようにする処理としては、例えば、画素群71aを構成する各画素の画素値を加算して平均を求めるようにしてもよいし、いずれかの代表画素の画素値を用いるようにしてもよいし、画素群71aを構成する画素の画素値のメジアンなどを利用するようにしてもよい。
In addition, as a process of regarding the
図3の撮像素子51においては、同様の処理が繰り返されることにより、低解像度の画像信号が、3フレーム分だけ蓄積される例が示されている。そして、新たに低解像度の1フレーム分の画素信号が供給されてくるとき、最も古い画素信号が破棄されて、最新の3フレーム分の画素信号が蓄積される。
In the
(カラムAD回路の詳細な構成例)
ここで、図4を参照して、カラムAD回路72の詳細な構成例について説明する。
(Detailed configuration example of column AD circuit)
Here, a detailed configuration example of the
カラムAD回路72は、図3で示されるように、演算器72aをそれぞれ備えているが、演算器72aは、より詳細には、例えば、図4で示される、コンパレータ91、組み合わせ回路92、およびメモリ93により構成される。
As shown in FIG. 3, each of the
より詳細には、図4で示されるように、カラムAD回路72−0乃至72−2には、それぞれコンパレータ91−0乃至91−2、組み合わせ回路92−0乃至92−2、およびメモリ93−0乃至93−2を備えている。コンパレータ91は、それぞれ垂直転送線より供給されてくる画素信号と、リファレンス電圧とを比較して、比較結果を組み合わせ回路92に供給する。組み合わせ回路92−0乃至92−2は、画像撮像モードにおいては、AD変換処理を実現するものであり、また、センサモードにおいては、AD回路として機能させるために組み合わされている各種の回路を適宜使用して、様々な演算を実行し、メモリ93−0乃至93−2に供給する。メモリ93−0乃至93−2は、例えば、ラッチ回路などからなるものであり、演算結果を一時的に記憶する。
More specifically, as shown in FIG. 4, the column AD circuits 72-0 to 72-2 include comparators 91-0 to 91-2, combinational circuits 92-0 to 92-2, and a memory 93-, respectively. 0 to 93-2. The
組み合わせ回路92−0乃至92−2は、それぞれ例えば、セレクタ101−0乃至101−2、102−0乃至102−2、符号反転部103−0乃至103−2、セレクタ104−0乃至104−2、加算器105−0乃至105−2、絶対値化部106−0乃至106−2、およびセレクタ107−0乃至107−2を備えている。 The combinational circuits 92-0 to 92-2 include, for example, selectors 101-0 to 101-2, 102-0 to 102-2, sign inversion units 103-0 to 103-2, and selectors 104-0 to 104-2. , Adders 105-0 to 105-2, absolute value conversion units 106-0 to 106-2, and selectors 107-0 to 107-2.
組み合わせ回路92のセレクタ101、102、符号反転部103、セレクタ104、加算器105、絶対値化部106、およびセレクタ107は、画像撮像モードにおいては、コンパレータ91、およびメモリ93と共に、いわゆるカウンタなどと同等の機能を実現し、AD変換を実現するものである。また、センサモードである場合、組み合わせ回路92のセレクタ101、102、符号反転部103、セレクタ104、加算器105、絶対値化部106、およびセレクタ107は、図中の左側に隣接するカラムAD回路72の画素信号を順次取得し、自らのメモリ93に格納する、または、メモリ93に格納されている値と共に所定の演算を加えて、メモリ93に書き戻す。さらには、メモリ93に格納された値は、右側に隣接するカラムAD回路72に供給される。
The
図4においては、セレクタ101は、コンパレータ91の比較結果に基づいて、0または1を出力し、セレクタ102に供給する。セレクタ102は、左隣のカラムAD回路72のメモリ93の値、または、セレクタ101より供給されてくる値のいずれかを選択的に加算器105に出力する。符号反転部103は、メモリ93に格納されている値の正負の符号を反転させてセレクタ104に供給する。セレクタ104は、自らのメモリ93の値、符号反転部103からの自らのメモリ93の値であって符号が反転された値、または、0のいずれかを選択的に加算器105に出力する。加算器105は、セレクタ102より出力される値と、セレクタ104より出力される値とを加算して、絶対値化部106およびセレクタ107に出力する。絶対値化部106は、加算器105より供給されてくる値の絶対値を求めてセレクタ107に供給する。セレクタ107は、加算機105より供給されてくる値、または、絶対値化部101より供給されてくる値のいずれかを選択的にメモリ93に格納させる。
In FIG. 4, the
このような構成により、カラムAD回路72は、AD変換回路、または、左隣のカラムAD72のメモリ93に格納されている値を転送する、若しくは、転送した値と自らのメモリ93に格納されている値とを加算する演算回路として機能する。
With such a configuration, the
すなわち、AD変換回路として機能する場合、図5の左部、および右部のそれぞれの太線で示されるように、コンパレータ91の比較結果に基づいて、図5の左部で示されるようにセレクタ101が1を選択的に出力する、または、図5の右部で示されるようにセレクタ101が0を選択的に出力する。そして、セレクタ102が、セレクタ101の出力値を加算器105に供給する。また、セレクタ104が、メモリ93に格納されている値を読み出して加算器105に出力する。加算器105は、セレクタ102,104よりそれぞれ供給されてくる値を加算して、セレクタ107および絶対値化部106に出力する。セレクタ107は、加算器105より出力された値をメモリ93に格納する。以降において、同様の処理を繰り返す。
That is, when functioning as an AD conversion circuit, the
また、演算回路として機能する場合、左隣のカラムAD回路72のメモリ93の値を自らのメモリ93に読み込むとき、図6の左部で示されるように、セレクタ102が左隣のカラムAD回路72のメモリ93の値を選択して加算器105に供給し、セレクタ104が0を加算器105に供給する。これにより、加算器105は、実質的に、左隣のカラムAD回路72のメモリ93の値を絶対値化部106およびセレクタ107に供給する。セレクタ107は、加算器105より供給されてくる左隣のカラムAD回路72のメモリ93に格納されている値を自らのメモリ93に格納させる。
Further, when functioning as an arithmetic circuit, when reading the value of the
さらに、他の演算回路として機能する場合、自らのメモリ93に格納されている値と、左隣のカラムAD回路72のメモリ93の値を加算して、自らのメモリ93に読み戻すとき、図6の右部で示されるように、セレクタ102が左隣のカラムAD回路72のメモリ93の値を選択して加算器105に供給し、符号反転部103が、自らのメモリ93に格納されている値の符号を反転し、セレクタ104が、符号反転部103により符号が反転された値を加算器105に供給する。これにより、加算器105は、左隣のカラムAD回路72のメモリ93の値と、自らのメモリ93に格納されている値とを加算して絶対値化部106およびセレクタ107に供給する。絶対値化部106は、加算器105による加算結果の絶対値を求めてセレクタ107に供給する。セレクタ107は、絶対値化部106より供給されてくる加算結果を自らのメモリ93に書き戻して格納する。
Furthermore, when functioning as another arithmetic circuit, when the value stored in its
(フレーム間差分演算処理)
次に、図7の動作説明図と、図8のフローチャートを参照して、画素信号を順次演算し、演算結果を右隣のカラムAD回路に転送させて、フレーム間の差分絶対値からなる差分画像を出力するフレーム間差分処理を実現させる処理について説明する。
(Inter-frame difference calculation processing)
Next, referring to the operation explanatory diagram of FIG. 7 and the flowchart of FIG. 8, the pixel signal is sequentially calculated, the calculation result is transferred to the column AD circuit on the right, and the difference consisting of the absolute value of the difference between frames. A process for realizing the inter-frame difference process for outputting an image will be described.
尚、図7においては、0列目(column0)におけるカラムAD回路72−0および1列目(column1)におけるカラムAD回路72−1における処理を説明するものとするが、以降の列においても同様の処理がなされるものである。また、ここでは、カラムAD回路72における各組み合わせ回路92は、AD変換処理を行うとともに、順次供給されてくる画素値の差分絶対値を演算して出力すると共にメモリ93に格納させるものであるものとする。
In FIG. 7, the processing in the column AD circuit 72-0 in the 0th column (column0) and the column AD circuit 72-1 in the 1st column (column1) will be described, but the same applies to the subsequent columns. Are processed. Here, each
すなわち、ステップS11(図8)において、図7の左上段部で示されるように、カラムAD回路72−0の組み合わせ回路92−0は、垂直転送線を介して供給される第0番目のフレームの画素信号をAD変換し、デジタル信号からなる画素値val0としてメモリ93−0に格納する。 That is, in step S11 (FIG. 8), as shown in the upper left part of FIG. 7, the combinational circuit 92-0 of the column AD circuit 72-0 receives the 0th frame supplied via the vertical transfer line. The pixel signal is AD converted and stored in the memory 93-0 as a pixel value val0 composed of a digital signal.
ステップS12において、図7の左中段部で示されるように、カラムAD回路72−1の組み合わせ回路92−1は、配線L−0を介して、左側に隣接するカラムAD回路72−0のメモリ93−0より画素値val0を読み出し、メモリ93−1に格納する。この動作は、上述した図6の左部の動作に対応する動作である。 In step S12, as shown in the middle left part of FIG. 7, the combinational circuit 92-1 of the column AD circuit 72-1 is connected to the memory of the column AD circuit 72-0 adjacent to the left side via the wiring L-0. The pixel value val0 is read from 93-0 and stored in the memory 93-1. This operation corresponds to the operation on the left side of FIG. 6 described above.
ステップS13において、図7の左下段部で示されるように、カラムAD回路72−0の組み合わせ回路92−0は、垂直転送線を介して供給される第1番目のフレームの画素信号をAD変換し、デジタル信号からなる画素値val1としてメモリ93−0に格納する。 In step S13, as shown in the lower left part of FIG. 7, the combinational circuit 92-0 of the column AD circuit 72-0 AD-converts the pixel signal of the first frame supplied via the vertical transfer line. Then, it is stored in the memory 93-0 as a pixel value val1 composed of a digital signal.
ステップS14において、図7の右上段部で示されるように、カラムAD回路72−1の組み合わせ回路92−1は、配線L−0を介して、左側に隣接するカラムAD回路72−0のメモリ93−0より画素値val1を読み出すと共に、メモリ93−1に格納されている画素値val0を読み出し、差分絶対値を演算し、演算結果である差分絶対値ad01(=(abs-diff01)=|val1−val0|)をメモリ93−1に書き戻す。この動作は、上述した図6の右部の動作に対応する動作である。 In step S14, as shown in the upper right section of FIG. 7, the combinational circuit 92-1 of the column AD circuit 72-1 is connected to the memory of the column AD circuit 72-0 adjacent to the left side via the wiring L-0. The pixel value val1 is read from 93-0, the pixel value val0 stored in the memory 93-1 is read, the difference absolute value is calculated, and the difference absolute value ad01 (= (abs-diff01) = | val1-val0 |) is written back to the memory 93-1. This operation corresponds to the operation on the right side of FIG. 6 described above.
ステップS15において、図7の右中段部で示されるように、メモリ93−1に格納された差分絶対値である演算結果ad01がフレーム間差分演算結果として出力される。 In step S15, as shown in the middle right part of FIG. 7, the calculation result ad01, which is the absolute difference value stored in the memory 93-1, is output as the interframe difference calculation result.
ステップS16において、図7の右下段部で示されるように、カラムAD回路72−1の組み合わせ回路92−1は、配線L−0を介して、左側に隣接するカラムAD回路72−0のメモリ93−0より画素値val1を読み出し、メモリ93−1に格納する。すなわち、画素値val1が1列分シフトされる。この動作は、上述した図6の左部の動作に対応する動作である。 In step S16, as shown in the lower right part of FIG. 7, the combinational circuit 92-1 of the column AD circuit 72-1 is connected to the memory of the column AD circuit 72-0 adjacent to the left side via the wiring L-0. The pixel value val1 is read from 93-0 and stored in the memory 93-1. That is, the pixel value val1 is shifted by one column. This operation corresponds to the operation on the left side of FIG. 6 described above.
そして、以降において、順次画素信号が供給されてくると、ステップS13以降の処理が順次繰り返されて、順次フレーム間差分の画素信号からなる画像が出力される。 Thereafter, when the pixel signals are sequentially supplied, the processes after step S13 are sequentially repeated, and an image composed of the pixel signals of the inter-frame differences is sequentially output.
以上の処理が繰り返しなされることにより、前後するフレームの画素間の差分絶対値からなる差分画像を順次出力することが可能となる。 By repeating the above processing, it is possible to sequentially output a difference image composed of absolute difference values between pixels of preceding and following frames.
すなわち、画素アレイ71の解像度に対して低解像度の画像ながら、撮像素子の構成を新たに追加することなく、フレーム間差分画像を求めることが可能となるので、例えば、低解像度ながら動画像の領域である前景領域と、動画像ではない、すなわち、動きのない背景領域とを区別する差分画像を生成することが可能となる。また、動画像領域である前景領域の検出により、監視画像などにおいて、侵入者などを前景領域として検出するまでは、センサモードで動作し、侵入者が検出された場合にのみ、画像撮像モードに切り替えて、高解像度画像で撮像するようにすることが可能となる。この際、センサモードにおいては、カラムAD回路72の一部のみを使用して、侵入者が検出されたときにのみ、高解像度で、カラムAD回路72を全て使用するようにすることで、侵入者が撮像されるまでは、比較的低消費電力のセンサモードとし、侵入者を高解像度で確実に撮像することができるので、消費電力を低減させつつ、必要な侵入者の画像について高解像度で撮像することが可能となる。また、フレームメモリ等を増設する必要がないので、装置構成を小型化することが可能となる。
That is, since it is possible to obtain the inter-frame difference image without newly adding the configuration of the image sensor while the image is a low-resolution image with respect to the resolution of the
(リングバッファ)
以上においては、低解像度化された画素信号を用いて順次フレーム間差分を求める例について説明してきたが、カラムAD回路72におけるメモリ93に画素信号を順次格納し、さらに、次のフレームの画素信号が供給される度に、隣接するカラムAD回路72にシフトさせるのみの処理をすることで、複数フレーム間のリングバッファを構成するようにしてもよい。
(Ring buffer)
In the above description, the example in which the inter-frame difference is sequentially obtained using the pixel signal whose resolution has been reduced has been described. However, the pixel signal is sequentially stored in the
基本的な動作については、上述した差分演算を実行することなく、単に、画素信号を隣接するカラムAD回路72にシフトする動作を繰り返すことのみで実現することが可能となる。
The basic operation can be realized by simply repeating the operation of shifting the pixel signal to the adjacent
すなわち、図9の左上部で示されるように、まず、第1フレームであるフレームF1の画素信号「1」がカラムAD回路72−0によりAD変換されて、メモリ93−0に格納される。 That is, as shown in the upper left part of FIG. 9, first, the pixel signal “1” of the frame F1, which is the first frame, is AD-converted by the column AD circuit 72-0 and stored in the memory 93-0.
次に、第2フレームであるフレームF2の画素信号が供給されてくると、図9の中央上部で示されるように、メモリ93−0に格納されていた画素信号「1」が隣接するカラムAD回路72−1のメモリ93−1にシフトされると共に、新たなフレームF2の画素信号「2」がカラムAD回路72−0のメモリ93−0に格納される。 Next, when the pixel signal of the frame F2, which is the second frame, is supplied, the pixel signal “1” stored in the memory 93-0 is adjacent to the column AD as shown in the upper center of FIG. The pixel signal “2” of the new frame F2 is stored in the memory 93-0 of the column AD circuit 72-0 while being shifted to the memory 93-1 of the circuit 72-1.
さらに、第3フレームであるフレームF3の画素信号が供給されてくると、図9の右上部で示されるように、メモリ93−1に格納されていた画素信号「1」が隣接するカラムAD回路72−2のメモリ93−2にシフトされ、メモリ93−0に格納されていた画素信号「2」が隣接するカラムAD回路72−1のメモリ93−1にシフトされる。そして、新たなフレームF3の画素信号「3」がカラムAD回路72−0のメモリ93−0に格納される。 Further, when the pixel signal of the frame F3 which is the third frame is supplied, the column AD circuit in which the pixel signal “1” stored in the memory 93-1 is adjacent as shown in the upper right part of FIG. The pixel signal “2” that has been shifted to the memory 93-2 of 72-2 and stored in the memory 93-0 is shifted to the memory 93-1 of the adjacent column AD circuit 72-1. Then, the pixel signal “3” of the new frame F3 is stored in the memory 93-0 of the column AD circuit 72-0.
また、第4フレームであるフレームF4の画素信号が供給されてくると、図9の左下部で示されるように、カラムAD回路72−2のメモリ93−2に格納されていた画素信号「1」が破棄されて、メモリ93−1に格納されていた画素信号「2」が隣接するカラムAD回路72−2のメモリ93−2にシフトされ、メモリ93−0に格納されていた画素信号「3」が隣接するカラムAD回路72−1のメモリ93−1にシフトされる。そして、新たなフレームF4の画素信号「4」がカラムAD回路72−0のメモリ93−0に格納される。 When the pixel signal of the frame F4 that is the fourth frame is supplied, the pixel signal “1” stored in the memory 93-2 of the column AD circuit 72-2 is displayed as shown in the lower left part of FIG. ”Is discarded, and the pixel signal“ 2 ”stored in the memory 93-1 is shifted to the memory 93-2 of the adjacent column AD circuit 72-2, and the pixel signal“ 2 ”stored in the memory 93-0 is stored. 3 "is shifted to the memory 93-1 of the adjacent column AD circuit 72-1. Then, the pixel signal “4” of the new frame F4 is stored in the memory 93-0 of the column AD circuit 72-0.
さらに、第5フレームであるフレームF5の画素信号が供給されてくると、図9の中央下部で示されるように、カラムAD回路72−2のメモリ93−2に格納されていた画素信号「2」が破棄されて、メモリ93−1に格納されていた画素信号「3」が隣接するカラムAD回路72−2のメモリ93−2にシフトされ、メモリ93−0に格納されていた画素信号「4」が隣接するカラムAD回路72−1のメモリ93−1にシフトされる。そして、新たなフレームF5の画素信号「5」がカラムAD回路72−0のメモリ93−0に格納される。 Further, when the pixel signal of the frame F5 which is the fifth frame is supplied, the pixel signal “2” stored in the memory 93-2 of the column AD circuit 72-2 as shown in the lower center of FIG. ”Is discarded, and the pixel signal“ 3 ”stored in the memory 93-1 is shifted to the memory 93-2 of the adjacent column AD circuit 72-2, and the pixel signal“ 3 ”stored in the memory 93-0 is stored. 4 "is shifted to the memory 93-1 of the adjacent column AD circuit 72-1. Then, the pixel signal “5” of the new frame F5 is stored in the memory 93-0 of the column AD circuit 72-0.
また、第6フレームであるフレームF6の画素信号が供給されてくると、図9の右下部で示されるように、カラムAD回路72−2のメモリ93−2に格納されていた画素信号「3」が破棄されて、メモリ93−1に格納されていた画素信号「4」が隣接するカラムAD回路72−2のメモリ93−2にシフトされ、メモリ93−0に格納されていた画素信号「5」が隣接するカラムAD回路72−1のメモリ93−1にシフトされる。そして、新たなフレームF6の画素信号「6」がカラムAD回路72−0のメモリ93−0に格納される。 When the pixel signal of the frame F6 that is the sixth frame is supplied, the pixel signal “3” stored in the memory 93-2 of the column AD circuit 72-2 is displayed as shown in the lower right part of FIG. ”Is discarded, and the pixel signal“ 4 ”stored in the memory 93-1 is shifted to the memory 93-2 of the adjacent column AD circuit 72-2, and the pixel signal“ 4 ”stored in the memory 93-0 is stored. 5 "is shifted to the memory 93-1 of the adjacent column AD circuit 72-1. Then, the pixel signal “6” of the new frame F6 is stored in the memory 93-0 of the column AD circuit 72-0.
以降において、順次、1フレームごとに画素信号が供給されてくると、順次、図中の右方向に隣接するカラムAD回路72のメモリ93にシフトされ、最も古いフレームの画素信号が破棄されて、常に、最新の3フレーム分の画素信号が蓄積され続け、結果として、リングバッファを実現することが可能となる。
Thereafter, when a pixel signal is sequentially supplied for each frame, it is sequentially shifted to the
(Nフレームごとに画素信号をバッファリングするリングバッファ)
以上においては、毎フレームごとに画素信号を隣接するカラムAD回路72のメモリ73にシフトすることでリングバッファを構成する例について説明してきたが、Nフレームごとに画素信号をシフトして、リングバッファを構成するよにしてもよい。
(Ring buffer that buffers pixel signals every N frames)
In the above description, an example in which the ring buffer is configured by shifting the pixel signal to the
すなわち、図10の左上部で示されるように、まず、第1フレームであるフレームF1の画素信号「1」がカラムAD回路72−0によりAD変換されて、メモリ93−0に格納される。 That is, as shown in the upper left part of FIG. 10, first, the pixel signal “1” of the frame F1, which is the first frame, is AD converted by the column AD circuit 72-0 and stored in the memory 93-0.
次に、第2フレームであるフレームF2の画素信号が供給されてくると、図10の中央上部で示されるように、メモリ93−0に格納されていた画素信号「1」が隣接するカラムAD回路72−1のメモリ93−1にシフトされると共に、新たなフレームF2の画素信号「2」がカラムAD回路72−0のメモリ93−0に格納される。 Next, when the pixel signal of the frame F2, which is the second frame, is supplied, the pixel signal “1” stored in the memory 93-0 is adjacent to the column AD as shown in the upper center portion of FIG. The pixel signal “2” of the new frame F2 is stored in the memory 93-0 of the column AD circuit 72-0 while being shifted to the memory 93-1 of the circuit 72-1.
さらに、第3フレームであるフレームF3の画素信号が供給されてくると、図10の右上部で示されるように、メモリ93−0に格納されていた画素信号「2」が破棄されて、画素信号「3」が上書きされる。 Further, when the pixel signal of the frame F3 that is the third frame is supplied, the pixel signal “2” stored in the memory 93-0 is discarded as shown in the upper right part of FIG. Signal “3” is overwritten.
また、第4フレームであるフレームF4の画素信号が供給されてくると、図10の左下部で示されるように、メモリ93−1に格納されていた画素信号「1」が隣接するカラムAD回路72−2のメモリ93−2にシフトされ、メモリ93−0に格納されていた画素信号「3」が隣接するカラムAD回路72−1のメモリ93−1にシフトされる。そして、新たなフレームF4の画素信号「4」がカラムAD回路72−0のメモリ93−0に上書きされて格納される。 When the pixel signal of the frame F4 that is the fourth frame is supplied, the column AD circuit in which the pixel signal “1” stored in the memory 93-1 is adjacent as shown in the lower left part of FIG. The pixel signal “3” that has been shifted to the memory 93-2 of 72-2 and stored in the memory 93-0 is shifted to the memory 93-1 of the adjacent column AD circuit 72-1. Then, the pixel signal “4” of the new frame F4 is overwritten and stored in the memory 93-0 of the column AD circuit 72-0.
さらに、第5フレームであるフレームF5の画素信号が供給されてくると、図10の中央下部で示されるように、メモリ93−0に格納されていた画素信号「4」が破棄されて、新たなフレームF5の画素信号「5」がカラムAD回路72−0のメモリ93−0に格納される。 Further, when the pixel signal of the frame F5 which is the fifth frame is supplied, the pixel signal “4” stored in the memory 93-0 is discarded as shown in the lower center part of FIG. The pixel signal “5” of the correct frame F5 is stored in the memory 93-0 of the column AD circuit 72-0.
また、第6フレームであるフレームF6の画素信号が供給されてくると、図10の右下部で示されるように、メモリ93−0に格納されていた画素信号「5」が破棄されて、新たなフレームF6の画素信号「6」により上書きされて、カラムAD回路72−0のメモリ93−0に格納される。 When the pixel signal of the frame F6 that is the sixth frame is supplied, the pixel signal “5” stored in the memory 93-0 is discarded as shown in the lower right part of FIG. Is overwritten by the pixel signal “6” of the correct frame F6 and stored in the memory 93-0 of the column AD circuit 72-0.
以降において、順次、画素信号が供給されてくると、Nフレームおき(1フレームおき)に、図中の右方向に隣接するカラムAD回路72のメモリ93にシフトされ、最も古いフレームの画素信号が破棄されて、常に、最新の3フレーム分の画素信号が、1フレームおきに蓄積され続け、結果として、リングバッファを実現することが可能となる。
Subsequently, when pixel signals are sequentially supplied, the pixel signals of the oldest frame are shifted to the
(Nフレームおきに右側に隣接するカラムAD回路に画素信号をシフトするシフト処理)
次に、図11のフローチャートを参照して、Nフレームおきに右側に隣接するカラムAD回路に画素信号をシフトするシフト処理について説明する。
(Shift processing for shifting the pixel signal to the column AD circuit adjacent to the right side every N frames)
Next, with reference to the flowchart of FIG. 11, a shift process for shifting the pixel signal to the column AD circuit adjacent on the right side every N frames will be described.
ステップS31において、図示せぬ制御部により、カウンタnが1に初期化される。 In step S31, a counter n is initialized to 1 by a control unit (not shown).
ステップS32において、図示せぬ制御部により、新たなフレームの画素信号が供給されてきたか否かが判定され、送信されてくるまで、同様の処理が繰り返される。 In step S32, a control unit (not shown) determines whether a pixel signal of a new frame has been supplied, and the same processing is repeated until it is transmitted.
ステップS32において、新たなフレームの画素信号が供給されてきた場合、処理は、ステップS33に進む。 If a pixel signal of a new frame has been supplied in step S32, the process proceeds to step S33.
ステップS33において、図示せぬ制御部により、カウンタnがN+1であるか否かが判定される。例えば、図10を参照して説明したN=1フレームおきの場合、最初の処理ではカウンタn=1であり、2(=N+1)ではないので、処理は、ステップS34に進む。 In step S33, a control unit (not shown) determines whether or not the counter n is N + 1. For example, in the case of every N = 1 frame described with reference to FIG. 10, since the counter n = 1 in the first process and not 2 (= N + 1), the process proceeds to step S34.
ステップS34において、組み合わせ回路92−0は、画素信号をAD変換してメモリ93−0にAD変換されるまでに格納されていた画素信号を破棄した上で、新たに上書きして格納し、処理は、ステップS35に進む。尚、最初の処理では、値がないので、そのまま格納される。 In step S34, the combinational circuit 92-0 performs AD conversion on the pixel signal and discards the pixel signal stored before AD conversion to the memory 93-0, and then overwrites and stores the pixel signal. Advances to step S35. In the first process, since there is no value, it is stored as it is.
ステップS35において、図示せぬ制御部により、カウンタnが1インクリメントされて、処理は、ステップS32に戻る。 In step S35, the control unit (not shown) increments the counter n by 1, and the process returns to step S32.
すなわち、カウンタnがN+1となるまで、ステップS32乃至S35の処理が繰り返されて、新たなフレームの画素信号が供給されてきても、画素信号がAD変換されて、カラムAD回路72−0のメモリ93−0の値が上書きされ続ける。 That is, until the counter n reaches N + 1, even if the processing of steps S32 to S35 is repeated and a pixel signal of a new frame is supplied, the pixel signal is AD-converted and the memory of the column AD circuit 72-0 The value of 93-0 continues to be overwritten.
そして、ステップS33において、カウンタnがN+1となった場合、処理は、ステップS36に進む。 If the counter n becomes N + 1 in step S33, the process proceeds to step S36.
ステップS36において、組み合わせ回路92−1は、図4における左側に隣接するカラムAD回路72−0のメモリ93−0より画素信号を読み出し、メモリ93−1に格納させることにより、画素信号を1列分だけシフトさせる。 In step S36, the combinational circuit 92-1 reads out the pixel signal from the memory 93-0 of the column AD circuit 72-0 adjacent on the left side in FIG. 4, and stores the pixel signal in the memory 93-1. Shift by minutes.
ステップS37において、組み合わせ回路92−0は、画素信号をAD変換してメモリ93−0に格納し、処理は、ステップS38に進む。 In step S37, the combinational circuit 92-0 AD-converts the pixel signal and stores it in the memory 93-0, and the process proceeds to step S38.
ステップS38において、組み合わせ回路92−0は、処理が終了か否かを判定し、終了ではない場合、処理は、ステップS31に戻り、それ以降の処理が繰り返される。そして、ステップS38において、処理の終了が判定されると、処理は、終了される。 In step S38, the combinational circuit 92-0 determines whether or not the process is completed. If the process is not completed, the process returns to step S31, and the subsequent processes are repeated. Then, when it is determined in step S38 that the process is to be terminated, the process is terminated.
すなわち、このような処理により、任意のNフレームおきに画素信号が順次右隣のカラムAD回路72のメモリ93にシフトされて、リングバッファを構成することが可能となる。
That is, by such processing, the pixel signals are sequentially shifted to the
<リングバッファを用いた背景画像を算出する演算回路の構成例>
以上においては、カラムAD回路72−0乃至72−(n−1)のメモリ93−0乃至93−(n−1)を用いてリングバッファを構成する例について説明してきたが、このリングバッファを用いて背景画像と前景画像との差分画像を演算する演算回路73の構成例について説明する。
<Configuration example of arithmetic circuit for calculating background image using ring buffer>
In the above, an example in which a ring buffer is configured using the memories 93-0 to 93- (n-1) of the column AD circuits 72-0 to 72- (n-1) has been described. A configuration example of the
図12は、上述したメモリ93からなるリングバッファを用いて背景画像を演算する演算回路73の構成例を示している。尚、図12においては、メモリ93−0が最新のフレームの画素信号を格納するバッファ110aと、過去のフレームの画素信号を格納する、メモリ93−1乃至93−(n−1)からなるバッファ110bを構成しており、このバッファ110aおよび110bによりリングバッファ110が構成されている。
FIG. 12 shows a configuration example of an
図12の演算回路73は、加算部111、ゲインアンプ112、減算部113、絶対値化部114、および閾値処理部115を備えている。
The
加算部111は、それぞれリングバッファ110を構成するメモリ93−0乃至93−Nのうち、最も古いフレームの画素信号から4番目まで古いフレームの画素信号を保持している、メモリ93−(n−1)乃至93−(n−4)の画素信号を加算し、ゲインアンプ112に供給する。
The adder 111 stores the memory 93- (n−) which holds the pixel signals of the oldest frame from the pixel signal of the oldest frame out of the memories 93-0 to 93-N constituting the
ゲインアンプ112は、リングバッファ110を構成するメモリ93−0乃至93−Nのうち、最も古いフレームの画素信号から4番目まで古いフレームの画素信号を保持している、メモリ93−(n−1)乃至93−(n−4)の画素信号の加算結果を1/4のゲインにすることで画素信号の平均値を求めて減算部113に出力する。
The
減算部113は、最も新しいフレームの画素信号が保持されているメモリ93−0の画素信号とゲインアンプ112より供給されてくる最も古いフレームの画素信号から4番目まで古いフレームの画素信号の平均値との差分を求めて絶対値化部114に供給する。
The subtracting
絶対値化部114は、減算部113より出力される差分となる画素値の絶対値を差分絶対値として求めて、閾値処理部115に出力する。
The absolute value converting unit 114 obtains the absolute value of the pixel value that is the difference output from the subtracting
閾値処理部115は、絶対値化部114より供給されてくる差分絶対値となる画素値valと、所定の閾値thとを比較して所定の閾値thよりも大きな画素の画素値を1とし、それ以外の画素の画素値を0とした2値化された差分画像を出力する。この2値化された差分画像により、画素値が「1」からなる前景領域、および画素値が「0」からなる背景領域をからなる画像が生成されて、それぞれの前景領域および背景領域を推定することが可能となる。尚、画素値の0,1は入れ替わったものであってもよいし、それ以外の2値で表現されていてもよい。 The threshold processing unit 115 compares the pixel value val, which is the difference absolute value supplied from the absolute value converting unit 114, with the predetermined threshold th and sets the pixel value of a pixel larger than the predetermined threshold th to 1, A binarized difference image in which the pixel values of the other pixels are 0 is output. From the binarized difference image, an image including a foreground region having a pixel value “1” and a background region having a pixel value “0” is generated, and the foreground region and the background region are estimated. It becomes possible to do. The pixel values 0 and 1 may be interchanged, or may be expressed by other binary values.
すなわち、メモリ93−0乃至93−(n−1)が1フレームおきに画素信号を順次シフトして画素信号を記憶し、リングバッファ110を構成する場合、N(=1)フレームおきに画素値をシフトさせるとき、図13の最上段で示されるように、メモリ93−0にフレーム0(frame0)乃至フレーム10(frame10)が順次格納されるものとする。
That is, when the memories 93-0 to 93- (n-1) sequentially shift the pixel signal every other frame to store the pixel signal and constitute the
この場合、メモリ93−1乃至93−(n−1)により形成されるリングバッファ110には、フレーム0(frame0)の画素信号が、メモリ93−(n−5)に、フレーム0(frame0)が供給されるタイミングで格納され、フレーム1(frame1)がスキップされる。そして、フレーム2(frame2)のタイミングで、フレーム0(frame0)の画素信号が、メモリ93−(n−4)にシフトされると共に、メモリ93−(n−5)に、フレーム2(frame2)が供給されると共に格納され、フレーム3(frame3)のタイミングでもこの状態が保持される。
In this case, the pixel signal of frame 0 (frame 0) is transferred to the
また、フレーム4(frame4)のタイミングで、フレーム0(frame0)の画素信号が、メモリ93−(n−3)にシフトされると共に、フレーム2(frame2)の画素信号が、メモリ93−(n−4)にシフトされて、メモリ93−(n−5)に、フレーム4(frame4)が供給されると共に格納され、フレーム5(frame5)のタイミングでもこの状態が保持される。 At the timing of frame 4 (frame 4), the pixel signal of frame 0 (frame 0) is shifted to the memory 93- (n-3), and the pixel signal of frame 2 (frame 2) is shifted to the memory 93- (n 4), the frame 4 (frame 4) is supplied and stored in the memory 93- (n-5), and this state is maintained even at the timing of the frame 5 (frame 5).
さらに、フレーム6(frame6)のタイミングで、フレーム0(frame0)の画素信号が、メモリ93−(n−2)にシフトされると共に、フレーム2(frame2)の画素信号が、メモリ93−(n−3)にシフトされて、フレーム4(frame4)の画素信号が、メモリ93−(n−4)にシフトされて、メモリ93−(n−5)に、フレーム6(frame6)が供給されると共に格納され、フレーム7(frame7)のタイミングでもこの状態が保持される。 Further, at the timing of frame 6 (frame 6), the pixel signal of frame 0 (frame 0) is shifted to the memory 93- (n-2), and the pixel signal of frame 2 (frame 2) is shifted to the memory 93- (n -3), the pixel signal of frame 4 (frame4) is shifted to the memory 93- (n-4), and the frame 6 (frame6) is supplied to the memory 93- (n-5). This state is also maintained at the timing of frame 7 (frame 7).
また、フレーム8(frame8)のタイミングで、フレーム0(frame0)の画素信号が、メモリ93−(n−1)にシフトされると共に、フレーム2(frame2)の画素信号が、メモリ93−(n−2)にシフトされて、フレーム4(frame4)の画素信号が、メモリ93−(n−3)にシフトされて、フレーム6(frame6)の画素信号が、メモリ93−(n−3)にシフトされて、メモリ93−(n−5)に、フレーム8(frame8)が供給されると共に格納され、フレーム9(frame9)のタイミングでもこの状態が保持される。 At the timing of frame 8 (frame 8), the pixel signal of frame 0 (frame 0) is shifted to the memory 93- (n-1), and the pixel signal of frame 2 (frame 2) is shifted to the memory 93- (n -2), the pixel signal of frame 4 (frame4) is shifted to the memory 93- (n-3), and the pixel signal of frame 6 (frame6) is transferred to the memory 93- (n-3). After the shift, frame 8 (frame 8) is supplied and stored in the memory 93- (n-5), and this state is maintained even at the timing of frame 9 (frame 9).
この処理により、メモリ93−0に、例えば、フレーム8(frame8)が供給されるタイミングにおいては、フレーム0,2,4,6(frame0,2,4,6)の平均値と、フレーム8(frame8)との差分絶対値が差分画像の画素値としてそれぞれ求められる。
By this process, for example, at the timing when the frame 8 (frame 8) is supplied to the memory 93-0, the average value of the
すなわち、従来においては、図14の上段で示されるように、各フレームの画素信号が供給されてくる度に、直前の背景画像(背景画像(t−1))が読み出され、入力画像(入力画像(t))との重みαを用いた重み付平均が背景画像(=背景画像(t−1)×α+入力画像(t)×(1−α))として求められて書き戻す処理が繰り返されていた。このため、読み出し、演算、および書き戻しにより、演算回路73の構成が複雑になると共に、消費電力を増大させる原因となっていた。
That is, conventionally, as shown in the upper part of FIG. 14, each time a pixel signal of each frame is supplied, the immediately preceding background image (background image (t−1)) is read and the input image ( The weighted average using the weight α with the input image (t)) is obtained as a background image (= background image (t−1) × α + input image (t) × (1−α)) and written back. It was repeated. For this reason, the configuration of the
しかしながら、図12の演算回路73の構成によれば、図14の下段で示されるように、例えば、フレーム8(frame8)の画素信号が供給されるタイミングにおいては、格納されているフレーム0,2,4,6(frame0,2,4,6)の画素信号を読み出して平均値を求め、フレーム8(frame8)の画素信号との差分絶対値を演算するのみでよいため演算回路73の構成を簡素化することができ、さらに、書き戻す処理が不要であるので、消費電力を低減させることが可能となる。
However, according to the configuration of the
(背景差分演算処理)
次に、図15のフローチャートを参照して、図12の演算回路73による背景差分演算処理について説明する。尚、ここでは、古い方から4フレーム分の画素信号の平均値を求めるものとする。
(Background difference calculation processing)
Next, background difference calculation processing by the
ステップS51において、ゲインアンプ111−0乃至111−3は、それぞれリングバッファを構成するメモリ93−0乃至93−(n−1)のうち、最も古いフレームの画素信号からN番目まで古いフレームの画素信号を保持している、メモリ93−(n−1)乃至93−(n−4)の画素信号を読み出す。 In step S51, the gain amplifiers 111-0 to 111-3 are the pixels of the oldest frame from the pixel signal of the oldest frame to the Nth of the memories 93-0 to 93- (n-1) constituting the ring buffer, respectively. The pixel signals of the memories 93- (n-1) to 93- (n-4) that hold the signals are read out.
ステップS52において、加算部111は、リングバッファ110に保持されている、最も古いフレーム画素信号から4番目まで古いフレームの画素信号を加算し、ゲインアンプ112に供給する
In step S <b> 52, the addition unit 111 adds the pixel signals of the oldest frame pixel from the oldest frame pixel signal held in the
ステップS53において、ゲインアンプ112は、加算した画素信号のゲインを1/4にして、最も古いフレーム画素信号から4番目まで古いフレームの画素信号の平均値を求めて減算部113に供給する。
In step S <b> 53, the
ステップS54において、減算部113は、最も新しいフレームの画素信号が保持されているメモリ93−0の画素信号と加算部112より供給されてくる最も古いフレームの画素信号から4番目まで古いフレームの画素信号の平均値との差分を求めて絶対値化部114に供給する。
In step S54, the
ステップS55において、絶対値化部114は、減算部113より出力される差分となる画素値の絶対値を求めて、差分絶対値として、閾値処理部115に出力する。
In step S55, the absolute value converting unit 114 obtains the absolute value of the pixel value that is the difference output from the subtracting
ステップS56において、閾値処理部115は、絶対値化部114より供給されてくる差分絶対値となる画素値valと、所定の閾値thとを比較して所定の閾値thよりも大きな画素の画素値を1とし、それ以外の画素の画素値を0とした2値化された差分画像を出力する。 In step S56, the threshold processing unit 115 compares the pixel value val, which is the difference absolute value supplied from the absolute value converting unit 114, with the predetermined threshold th and the pixel value of the pixel larger than the predetermined threshold th. 1 is output, and a binary difference image with the pixel values of the other pixels being 0 is output.
この2値化された差分画像により、前景領域、および背景領域を推定することが可能となる。尚、以上においては、リングバッファ110に格納された画素信号のうち、最も古い4フレーム分の平均値と最新のフレームの画素信号との差分絶対値を用いて前景領域および背景領域を推定する例について説明してきたが、最も古い複数フレームの平均値については、4フレーム以外のフレーム数の平均値を求めるようにしてもよい。
By using the binarized difference image, it is possible to estimate the foreground region and the background region. In the above example, the foreground region and the background region are estimated using the absolute difference between the average value of the oldest four frames and the pixel signal of the latest frame among the pixel signals stored in the
<第1の応用例>
以上においては、メモリ93−0乃至93−(n−1)を用いたリングバッファ110により最新のフレームにおける画素信号と、最も古い4フレーム分の画素信号の平均値との差分絶対値を用いる例について説明してきたが、最新のフレームにおける画素信号と、最も古い4フレームのそれぞれとの差分絶対値が全て閾値よりも大きいときの差分絶対値の画素のみを前景領域とみなし、それ以外の画素を背景領域とみなすようにしてもよい。
<First application example>
In the above example, the
図16は、メモリ93−0乃至93−(n−1)を用いたリングバッファ110により、最新のフレームにおける画素信号と、最も古い4フレームのそれぞれとの差分絶対値が全て閾値よりも大きいときの差分絶対値の画素のみを前景領域とみなし、それ以外の画素を背景領域とみなすようにした演算回路73の第1の応用例である。
FIG. 16 shows the case where the absolute value of the difference between the pixel signal in the latest frame and each of the four oldest frames is larger than the threshold by the
図16の演算回路73は、減算器131−0乃至131−3、絶対値化部132−0乃至132−3、閾値処理部133−0乃至133−3、および判定部134を備えている。
The
減算器131−0乃至131−3は、メモリ93−N乃至93−(N−3)に格納されている最も古い4フレーム分の画素信号を読み出し、メモリ93−0に格納されている最新の入力画像の画素信号との差分を求めて、それぞれ絶対値化部132−0乃至132−3に供給する。 The subtracters 131-0 to 131-3 read out the oldest four frames of pixel signals stored in the memories 93-N to 93- (N-3), and the latest ones stored in the memory 93-0. The difference from the pixel signal of the input image is obtained and supplied to the absolute value converting sections 132-0 to 132-3, respectively.
絶対値化部132−0乃至132−3は、それぞれ供給されてくる差分値を差分絶対値として閾値処理部133−0乃至133−3に供給する。 The absolute value converting units 132-0 to 132-3 supply the supplied difference values to the threshold processing units 133-0 to 133-3 as absolute difference values.
閾値処理部133−0乃至133−3は、それぞれ差分絶対値と所定の閾値とを比較し、閾値よりも大きな画素について画素値を1とし、それ以外の画素について画素値を0とする2値化画像を生成し、判定部134に供給する。
Each of the threshold processing units 133-0 to 133-3 compares the absolute difference value with a predetermined threshold value, sets the pixel value to 1 for pixels larger than the threshold value, and sets the pixel value to 0 for other pixels. A converted image is generated and supplied to the
判定部134は、閾値処理部133−0乃至133−3より供給されてくる4個の2値化画像の各画素について、画素値がいずれも1である画素のみの画素値を1とし、それ以外の画素の画素値を0とする。
The
このような構成により、例えば、背景に木の葉が含まれており、風に揺らぐなどして安定的に背景領域とみなされない範囲については、時系列に画素値を加算して求められる平均値の場合、値にばらつきが生じて、背景画像であるにもかかわらず、前景画像であるとみなされることがあり、安定的に背景画像であるとみなされないことがある。しかしながら、各タイミングの同一位置の画素値の全てが前景画像であるとみなされる場合にのみ前景画像であるとみなされるようにすることで、木の葉が揺れるのみで動物体が検出されてしまうようなことがなくなるので、被写体が移動した範囲のみを確実に前景領域とみなすことが可能となる。 With such a configuration, for example, in the case of an average value obtained by adding pixel values in time series for a range that includes leaves of trees in the background and is not regarded as a stable background area due to fluctuations in the wind, etc. In some cases, the values vary, and although it is a background image, it may be regarded as a foreground image and may not be stably regarded as a background image. However, if all of the pixel values at the same position at each timing are regarded as foreground images, the moving object is detected only by shaking the leaves of the tree. Therefore, only the range in which the subject has moved can be reliably regarded as the foreground area.
(図16の演算回路による背景差分演算処理)
次に、図17のフローチャートを参照して、図16の演算回路による背景差分演算処理について説明する。
(Background difference calculation processing by the calculation circuit of FIG. 16)
Next, background difference calculation processing by the calculation circuit of FIG. 16 will be described with reference to the flowchart of FIG.
ステップS71において、減算器131−0乃至131−3は、メモリ93−(n−1)乃至93−(n−4)に格納されている最も古い4フレーム分の画素信号(N個の画素信号)を読み出す。 In step S71, the subtracters 131-0 to 131-3 have the oldest four frame pixel signals (N pixel signals) stored in the memories 93- (n-1) to 93- (n-4). ).
ステップS72において、減算器131−0乃至131−3は、それぞれ読み出した最も古い4フレーム分の画素信号と、メモリ93−0に格納されている最新の入力画像の画素信号との差分を求めて、それぞれ絶対値化部132−0乃至132−3に供給する。 In step S72, the subtracters 131-0 to 131-3 obtain the difference between the read out pixel signals for the four oldest frames and the pixel signal of the latest input image stored in the memory 93-0. , And supplied to the absolute value conversion units 132-0 to 132-3, respectively.
ステップS73において、絶対値化部132−0乃至132−3は、それぞれ供給されてくる差分値の絶対値を求め、差分絶対値として閾値処理部133−0乃至133−3に供給する。 In step S <b> 73, the absolute value converting units 132-0 to 132-3 obtain absolute values of the supplied difference values, and supply them to the threshold processing units 133-0 to 133-3 as absolute difference values.
ステップS74において、閾値処理部133−0乃至133−3は、それぞれ差分絶対値と所定の閾値とを比較し、閾値よりも大きな画素について画素値を1とし、それ以外の画素について画素値を0とする2値化画像を生成し、判定部134に供給する。
In step S74, each of the threshold processing units 133-0 to 133-3 compares the absolute difference value with a predetermined threshold, sets the pixel value to 1 for pixels larger than the threshold, and sets the pixel value to 0 for other pixels. Is generated and supplied to the
ステップS75において、判定部134は、閾値処理部133−0乃至133−3より供給されてくる4個の2値化画像の各画素について、画素値がいずれも1である画素のみの画素値を1とし、それ以外の画素の画素値を0とする。
In step S <b> 75, the
このような構成により、例えば、背景に木の葉が含まれており、風に揺らぐなどして安定的に前景領域とみなされない範囲については、確実に背景領域とみなされ、安定的に被写体が移動した範囲のみを前景領域とみなすことが可能となる。 With such a configuration, for example, a range in which leaves are included in the background and the area is not stably regarded as the foreground area due to fluctuations in the wind, for example, is reliably regarded as the background area, and the subject has moved stably. Only the range can be regarded as the foreground region.
<第2の応用例>
以上においては、メモリ93−0乃至93−(n−1)を用いたリングバッファ110により最新のフレームにおける画素信号と、最も古い4フレーム分の画素信号のそれぞれとの差分絶対値の比較結果を用いる例について説明してきたが、リングバッファ110に格納されている全フレームにおける画素信号の平均を求めるようにすることで、ノイズ除去を実現するようにしてもよい。
<Second application example>
In the above description, the
図18は、メモリ93−0乃至93−(n−1)を用いたリングバッファ110により全フレームにおける画素信号の平均を求めるようにすることで、ノイズ除去を実現するようにした演算回路73の構成例を示している。
FIG. 18 shows an operation of the
図18の演算回路73は、加算器151、およびゲインアンプ152を備えている。加算器151は、メモリ93−0乃至93−(n−1)に格納されているnフレーム分の全フレームの画素信号を加算し、ゲインアンプ152に供給する。ゲインアンプ152は、加算器151の加算結果に、1/n倍のゲインを掛けることにより、リングバッファに平均値を求めるゲインアンプ152を備えている。
The
このような構成により、ノイズを除去することが可能となる。 Such a configuration makes it possible to remove noise.
(図18の演算回路によるノイズ除去処理)
次に、図19のフローチャートを参照して、図18の演算回路73によるノイズ除去処理について説明する。
(Noise removal processing by the arithmetic circuit of FIG. 18)
Next, the noise removal processing by the
ステップS91において、加算器151は、メモリ93−0乃至93−(n−1)に格納されているnフレーム分の画素信号を全て読み出して、加算し、加算結果をゲインアンプ152に供給する。
In step S <b> 91, the
ステップS92において、ゲインアンプ152は、加算結果を1/n倍のゲインを掛けて、画素信号の平均値を求めるようにする。
In step S92, the
ステップS93において、ゲインアンプ152は、画素信号の全フレーム分の平均値を出力する。
In step S93, the
この結果、メモリ93−0乃至93−(n−1)により構成されたリングバッファ110に格納されている全フレーム分の画素信号を平均化することで、ノイズが除去された画像を出力することが可能となる。尚、以上においては、全ての画像を均等に加算して平均化する例について説明してきたが、新しい画像により大きな重みを付して、重み付平均をもとめるようにしてもよい。
As a result, by averaging the pixel signals for all frames stored in the
<第3の応用例>
以上においては、カラムAD回路72のメモリ93の値を順次、右隣のカラムAD回路72のメモリ93にシフトする例について説明してきたが、例えば、図20で示されるように、左隣のカラムAD回路72にシフトさせるようにしてもよいし、垂直転送線の接続のオンまたはオフを切り替えるようにしてもよいし、さらに、隣接する垂直転送線の接続を切り替えるようにしてもよい。
<Third application example>
In the above, the example in which the value of the
すなわち、図20においては、垂直転送線192間を接続する水平転送線191が設けられ、さらに、垂直転送線192間の接続のオンまたはオフを切り替えるスイッチ181−0乃至181−2が設けられている。また、垂直転送線の接続のオンまたはオフを切り替えるスイッチ182−0乃至182−2が設けられている。
That is, in FIG. 20, a
さらに、カラムAD回路72−0,72−1間、およびカラムAD回路72−1,72−2間のそれぞれに設けられている、メモリ93の値を隣接する左側のカラムAD回路72に転送する配線L1−0,L1−1に加えて、右側のカラムAD回路72に転送する配線L2−1,L2−2が設けられている。
Further, the value of the
尚、図20の各構成において、図4と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。すなわち、図20において、図4と異なる点は、組み合わせ回路92に代えて、組み合わせ回路92’を設けている点である。組み合わせ回路92’は、基本的な機能は、組み合わせ回路92と同様であるが、セレクタ171をさらに設けている点で異なる。セレクタ171は、動作モードに応じて、右隣のカラムAD回路72のメモリ93の画素信号か、または0のいずれかを選択して加算器105に供給する。従って、図20の組み合わせ回路92’においては、加算器105は、セレクタ102,104,171より供給されてくる3値を加算して、絶対値化部106およびセレクタ107に供給する。
In addition, in each structure of FIG. 20, about the structure provided with the same function as FIG. 4, the same code | symbol is attached | subjected and the description shall be abbreviate | omitted suitably. That is, FIG. 20 is different from FIG. 4 in that a
このような構成により、様々な演算を実現することが可能となる。 With such a configuration, various calculations can be realized.
より具体的には、図21の左上部のカラムAD回路72−11で示されるように、コンパレータ91−11が、垂直転送線より供給されてくるアナログ信号の画素信号をリファレンスとの比較結果を組み合わせ回路92’−11に供給し、組み合わせ回路92’−11を、AD変換する際に使用されるカウントアップ回路またはカウントダウン回路として機能させることが可能となる。尚、図21においては、各配線上の太線が、画素信号の移動経路を示している。
More specifically, as indicated by the column AD circuit 72-11 in the upper left part of FIG. 21, the comparator 91-11 compares the pixel signal of the analog signal supplied from the vertical transfer line with the reference. The
また、図21の中央上部のカラムAD回路72−21,72−22で示されるように、カラムAD回路72−22の組み合わせ回路92’−22が、配線L1を介して、左隣のカラムAD回路72−21のメモリ93−21に格納された画素信号を読み出し、メモリ93−22に格納させることで、カラムAD回路72−21のメモリ93−21に格納された画素信号を、右隣のカラムAD回路72−22のメモリ93−22に移動させる右シフト処理回路として機能させることが可能となる。
Further, as indicated by the column AD circuits 72-21 and 72-22 at the upper center of FIG. 21, the
さらに、図21の右上部のカラムAD回路72−31,72−32で示されるように、カラムAD回路72−31の組み合わせ回路92’−31が、配線L2を介して、右隣のカラムAD回路72−32のメモリ93−32に格納された画素信号を読み出し、メモリ93−31に格納させることで、カラムAD回路72−32のメモリ93−32に格納された画素信号を、左隣のカラムAD回路72−31のメモリ93−31に移動させる左シフト処理回路として機能させることが可能となる。
Further, as shown by the column AD circuits 72-31 and 72-32 in the upper right part of FIG. 21, the
また、図21の左下部で示されるように、カラムAD回路72−51で示されるように、カラムAD回路72−51のメモリ93−51に初期値として画素信号を格納させることで初期値設定回路として機能させることが可能となる。 Further, as shown in the lower left part of FIG. 21, as shown by the column AD circuit 72-51, an initial value is set by storing a pixel signal as an initial value in the memory 93-51 of the column AD circuit 72-51. It becomes possible to function as a circuit.
さらに、図21の中央下部で示されるように、カラムAD回路72−71,72−72で示されるように、カラムAD回路72−72の組み合わせ回路92’−72が、配線L1を介して、左隣のカラムAD回路72−71のメモリ93−71に格納された画素信号を読み出し、メモリ93−72に格納されている値と共に演算し、メモリ93−72に格納する右シフト演算回路として機能させることが可能となる。
Further, as shown in the lower center portion of FIG. 21, as shown by column AD circuits 72-71 and 72-72, the
また、図21の右下部で示されるように、カラムAD回路72−91,72−92で示されるように、カラムAD回路72−91の組み合わせ回路92’−91が、配線L2を介して、左隣のカラムAD回路72−92のメモリ93−92に格納された画素信号を読み出し、メモリ93−91に格納されている値を用いて演算し、メモリ93−91に格納することで左シフト演算回路として機能させることが可能となる。
Further, as shown in the lower right part of FIG. 21, as shown by the column AD circuits 72-91 and 72-92, the
このような演算回路を組み合わせるようにすることで、様々な演算処理を実現することが可能となる。 By combining such arithmetic circuits, various arithmetic processes can be realized.
例えば、0列目(column0)乃至5列目(column5)までの6列について、カラムAD回路72−0乃至72−5を設けて、カラムAD回路72−0,72−4をAD変換のためのカウントアップ回路として機能させ、カラムAD回路72−1乃至72−3を右シフト処理回路として機能させ、カラムAD回路72−5を初期値設定回路として機能させ、カラムAD回路72−4を、さらに、図5で示されるような右シフト演算回路として機能させることで、図22で示されるような処理を実現することが可能となる。 For example, column AD circuits 72-0 to 72-5 are provided for 6 columns from the 0th column (column0) to the 5th column (column5), and the column AD circuits 72-0 and 72-4 are used for AD conversion. The column AD circuits 72-1 to 72-3 function as a right shift processing circuit, the column AD circuit 72-5 functions as an initial value setting circuit, and the column AD circuit 72-4 Furthermore, by making it function as a right shift arithmetic circuit as shown in FIG. 5, it becomes possible to realize the processing as shown in FIG.
尚、図22においては、各列(column0乃至5)のカラムAD回路72−0乃至72−5における第0フレーム(frame0)乃至第3フレーム(frame3)までの処理がタイミングT1乃至T13のそれぞれにおいて示されている。
In FIG. 22, the processes from the 0th frame (frame 0) to the 3rd frame (frame 3) in the column AD circuits 72-0 to 72-5 of each column (
また、予めcolumn5のカラムAD回路72−5が、初期設定回路として機能し、メモリ93−5に閾値(thresh)が設定されるものとする。
In addition, it is assumed that the column AD circuit 72-5 of
タイミングT1において、column0のカラムAD回路72−0に、0フレーム目(frame0)の画素値(val0)が入力されると、カラムAD回路72−0の組み合わせ回路92’−0が、AD変換し、タイミングT2において、カラムAD回路72−0(column0)内のメモリ93−0に保存する
When the pixel value (val0) of the 0th frame (frame0) is input to the column AD circuit 72-0 of column0 at timing T1, the
タイミングT3において、カラムAD回路72−1の組み合わせ回路92’−1が、column0内のメモリ93−0に保存した画素値(val0)を、column1内のメモリ93−1にシフトする。 At timing T3, the combinational circuit 92'-1 of the column AD circuit 72-1 shifts the pixel value (val0) stored in the memory 93-0 in column0 to the memory 93-1 in column1.
タイミングT4において、1フレーム目(frame1)の画素値(val1)がcolumn0のカラムAD回路72−0の組み合わせ回路92’−0に入力されると、カラムAD回路72−0の組み合わせ回路92’−0が、AD変換し、タイミングT5において、column0内のメモリ93−0に保存する。
When the pixel value (val1) of the first frame (frame1) is input to the
タイミングT6において、画素値(val0)がcolum1内のメモリ93−1からcolumn2のメモリ93−2へシフトされ、同様に、画素値(val1)がcolumn0内のメモリ93−0からcolumn1のメモリ93−1へとシフトされる。
At timing T6, the pixel value (val0) is shifted from the memory 93-1 in the
タイミングT7において、2フレーム目(frame2)の画素値(val2)に対しても順次AD変換がなされ、タイミングT8において、column0のメモリ93−0に保存される。 At timing T7, AD conversion is also sequentially performed on the pixel value (val2) of the second frame (frame2), and is stored in the memory 93-0 of column0 at timing T8.
そして、タイミングT9において、column2の画素値(val0)がcolumn3のメモリ93−3にシフトされ、column1の画素値(val1)がcolumn2のメモリ93−2にシフトされ、column0の画素値(val2)がcolumn1のメモリ93−1にシフトされる。 At timing T9, the pixel value (val0) of column2 is shifted to the memory 93-3 of column3, the pixel value (val1) of column1 is shifted to the memory 93-2 of column2, and the pixel value (val2) of column0 is changed. It is shifted to the memory 93-1 of column1.
タイミングT10において、3フレーム目(frame3)の画素値(val3)が入力されたとき、図23で示されるように、水平転送線191のスイッチ181−0乃至181−3をオンにして接続し、column0のカラムAD回路72−0とcolumn4のカラムAD回路72−4とで同時にAD変換を実行し、タイミングT11において、それぞれ画素値(val3)が、メモリ93−0,93−4に格納される。
When the pixel value (val3) of the third frame (frame3) is input at timing T10, as shown in FIG. 23, the switches 181-0 to 181-3 of the
タイミングT12において、column0乃至3の画素値val0乃至val3は、それぞれ右隣に隣接するカラムAD回路72−3乃至72−1のメモリ93−3乃至93−1にそれぞれシフトされる。このとき、同時に、column4のカラムAD回路72−4では、組み合わせ回路92−4が、column3のカラムAD回路72−3のメモリ93−3に格納されている画素値(val0)とcolumn4のカラムAD回路72−4によりAD変換された画素値(val3)とで差分絶対値を演算により求め、演算結果(abs_diff03)をcolumn4のカラムAD回路72−4のメモリ93−4に格納する
At timing T12, the pixel values val0 to val3 of column0 to 3 are shifted to the memories 93-3 to 93-1 of the column AD circuits 72-3 to 72-1, which are adjacent to the right side, respectively. At the same time, in the
タイミングT13において、column5のカラムAD回路72−5に設定された閾値(thresh)がcolumn4のカラムAD回路72−4にシフトされながら、その差分絶対値(abs_diff03)から減算し、減算結果(diff03)を保存する。 At timing T13, the threshold value (thresh) set in the column AD circuit 72-5 of column5 is shifted to the column AD circuit 72-4 of column4, and is subtracted from the difference absolute value (abs_diff03), and the subtraction result (diff03) Save.
この減算結果(diff03)が、所定の閾値よりも大きい場合、この画素が動体を含む前景領域であるものとみなされることになる。 When the subtraction result (diff03) is larger than a predetermined threshold, the pixel is regarded as a foreground region including a moving object.
このような動作により、前景領域と背景領域とからなる2値化画像からなる差分画像を構成することが可能となる。 By such an operation, it is possible to construct a difference image composed of a binarized image composed of a foreground region and a background region.
尚、以上においては、低解像度画像とすることでAD変換に使用されないカラムAD回路72を用いて差分画像を演算する例について説明してきたが、カラムAD回路72を構成する組み合わせ回路92の構成を工夫することで、他の演算処理に応用することも可能である。また、AD変換に使用されないカラムAD回路72を利用してリングバッファ110を構成し、リングバッファ110を用いて、演算回路73の構成により差分画像を求める、およびノイズを除去するようにする例についても説明してきたが、演算回路73の構成を変えることで、他の演算に使用するようにしてもよいものである。
In the above description, an example in which a difference image is calculated using the
また、以上においては、全画素について露光時間が同一である例について説明してきたが、露光時間の異なる低解像度画像をカラムAD回路72のグループを分けて格納し、白飛びや黒沈みを除去するようにしてもよい。
In the above description, an example in which the exposure time is the same for all pixels has been described. However, low-resolution images with different exposure times are stored separately in groups of the
以上の如く、本開示の撮像素子によれば、カラムAD回路72内メモリ93を用いて演算処理を行うことで、デジタルフレームメモリを増設する必要がないため、その分の実装エリアを小さくすることができるので、装置の小型化を実現することが可能となる。また、デジタルフレームメモリを設ける必要がないので、リーク電流を低く抑えることが可能となり、省電力化を実現することが可能となる。
As described above, according to the imaging device of the present disclosure, it is not necessary to add a digital frame memory by performing arithmetic processing using the
また、画素内にメモリを持つ方式に比べて、画素を小さくできるので、その分多画素化を実現する、または、小面積化を実現することが可能となる。 In addition, since the pixel can be made smaller than in the method having a memory in the pixel, it is possible to realize a larger number of pixels or a smaller area.
さらに、カラムAD回路内で動物体を検知する構成にすることで、通常時はカラムAD回路の後段の構成を完全に停止したまま、動き検知をすることができるため、省電力化を実現することが可能となる。 In addition, by adopting a configuration that detects the moving object in the column AD circuit, it is possible to detect motion while the subsequent configuration of the column AD circuit is completely stopped at normal times, thus realizing power saving. It becomes possible.
<電子機器への適用例>
上述した撮像素子51は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
<Application examples to electronic devices>
The above-described
図24は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。 FIG. 24 is a block diagram illustrating a configuration example of an imaging device as an electronic apparatus to which the present technology is applied.
図24に示される撮像装置501は、光学系502、シャッタ装置503、固体撮像素子504、駆動回路505、信号処理回路506、モニタ507、およびメモリ508を備えて構成され、静止画像および動画像を撮像可能である。
An
光学系502は、1枚または複数枚のレンズを有して構成され、被写体からの光(入射光)を固体撮像素子504に導き、固体撮像素子504の受光面に結像させる。
The
シャッタ装置503は、光学系502および固体撮像素子504の間に配置され、駆動回路1005の制御に従って、固体撮像素子504への光照射期間および遮光期間を制御する。
The
固体撮像素子504は、上述した固体撮像素子を含むパッケージにより構成される。固体撮像素子504は、光学系502およびシャッタ装置503を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子504に蓄積された信号電荷は、駆動回路505から供給される駆動信号(タイミング信号)に従って転送される。
The solid-
駆動回路505は、固体撮像素子504の転送動作、および、シャッタ装置503のシャッタ動作を制御する駆動信号を出力して、固体撮像素子504およびシャッタ装置503を駆動する。
The drive circuit 505 drives the solid-
信号処理回路506は、固体撮像素子504から出力された信号電荷に対して各種の信号処理を施す。信号処理回路506が信号処理を施すことにより得られた画像(画像データ)は、モニタ507に供給されて表示されたり、メモリ508に供給されて記憶(記録)されたりする。
The
このように構成されている撮像装置501においても、上述した光学系502、シャッタ装置503、および固体撮像素子504に代えて、撮像素子51を適用することにより、演算に必要とされる回路構成を増設することなく画像撮像モードとセンサモードとを切り替えた撮像が可能となり、装置の小型化や省電力化を実現することが可能となる。
<固体撮像素子の使用例>
Also in the
<Usage example of solid-state image sensor>
図25は、上述の撮像素子51を使用する使用例を示す図である。
FIG. 25 is a diagram illustrating a usage example in which the above-described
上述したカメラモジュールは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。 The camera module described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays as follows.
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・ Devices for taking images for viewing, such as digital cameras and mobile devices with camera functions ・ For safe driving such as automatic stop and recognition of the driver's condition, Devices used for traffic, such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc. Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ・ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc. Equipment used for medical and health care ・ Security equipment such as security surveillance cameras and personal authentication cameras ・ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
尚、本開示は、以下のような構成も取ることができる。
<1> 入射光の光量に応じて画素信号を生成する複数の画素が2次元のアレイ状に配設された画素アレイと、
前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
撮像素子。
<2> 前記アナログデジタル変換部は、前記演算処理の結果を記憶する記憶部を含み、
少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
<1>に記載の撮像素子。
<3> 少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、隣接する前記アナログデジタル変換部の前記記憶部に記憶している画素信号を読み出し、自らの前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
<2>に記載の撮像素子。
<4> 少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるときであって、所定数のフレーム毎に、自らの前記記憶部に記憶している画素信号を、順次隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
<2>に記載の撮像素子。
<5> 少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、タイミングの異なる複数フレーム分の前記低解像度画像を構成する画素信号のフレーム間差分画像を求める演算処理を実行する
<2>に記載の撮像素子。
<6> 少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、所定のタイミングの1フレーム分の前記低解像度画像を構成する画素信号を読み出し、新たなフレームの画素信号とのフレーム間差分画像を求め、前記記憶部に上書きする
<5>に記載の撮像素子。
<7> 少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、自らの前記記憶部に記憶している画素信号を、隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる所定数の複数フレーム分の低解像度画像を構成する画素信号を記憶することで、リングバッファを構成する
<2>に記載の撮像素子。
<8> 前記リングバッファに記憶されているタイミングの異なる所定数の複数のフレームの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号との差分画像を演算する演算部をさらに含む
<7>に記載の撮像素子。
<9> 前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の各画素における平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第1の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第2の画素値とする2値画像からなる差分画像を演算する
<8>に記載の撮像素子。
<10> 前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の、前記タイミングに応じた重み付平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第1の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第2の画素値とする2値画像からなる差分画像を演算する
<9>に記載の撮像素子。
<11> 前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号とのそれぞれの差分絶対値を演算し、それぞれの前記差分絶対値がいずれも所定の閾値よりも大きな画素を第1の画素値とし、それぞれの前記差分絶対値のいずれかが所定の閾値よりも小さな画素を第2の画素値とする2値画像からなる差分画像を演算する
<9>に記載の撮像素子。
<12> 前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の平均値を演算する演算部をさらに含む
<7>に記載の撮像素子。
<13> 前記演算部は、前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の、前記タイミングに応じた重み付平均値を演算する
<12>に記載の撮像素子。
<14> 前記低解像度画像は、前記画素アレイを構成する画素の、複数の画素群毎の平均値、代表値、およびメジアンのいずれかよりなる画像である
<1>に記載の撮像素子。
<15> 入射光の光量に応じて画素信号を生成する複数の画素が2次元のアレイ状に配設された画素アレイと、
前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、
前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
撮像素子の動作方法。
<16> 入射光の光量に応じて画素信号を生成する複数の画素が2次元のアレイ状に配設された画素アレイと、
前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
撮像装置。
<17> 入射光の光量に応じて画素信号を生成する複数の画素が2次元のアレイ状に配設された画素アレイと、
前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
電子機器。
In addition, this indication can also take the following structures.
<1> a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
A plurality of analog-digital converters provided for each column in which the plurality of pixels are arranged, and converting the pixel signal from an analog signal to a digital signal;
A part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than that of the pixel array, and at least the part of the analog-to-digital converters An image sensor that performs arithmetic processing using pixel signals that form a resolution image.
<2> The analog-digital conversion unit includes a storage unit that stores a result of the arithmetic processing,
The image sensor according to <1>, in which at least the analog-to-digital conversion unit other than the part stores pixel signals constituting a low-resolution image for a plurality of frames having different timings.
<3> At least the analog-to-digital conversion unit other than the part receives the pixel signal stored in the storage unit of the adjacent analog-to-digital conversion unit when a pixel signal of a new low-resolution image is supplied. The image pickup device according to <2>, wherein pixel signals constituting low-resolution images for a plurality of frames having different timings are stored by reading and shifting to the storage unit.
<4> At least the analog-to-digital conversion unit other than the part is when a pixel signal of a new low-resolution image is supplied, and is stored in the storage unit for each predetermined number of frames. The pixel signals constituting the low-resolution images for a plurality of frames with different timings are stored by sequentially shifting the stored pixel signals to the storage unit of the analog-digital conversion unit adjacent to each other, and storing the pixel signals. Image sensor.
<5> Arithmetic processing for obtaining an inter-frame difference image of pixel signals constituting the low-resolution image for a plurality of frames having different timings stored in the storage unit, at least the analog-digital conversion unit other than the part The imaging device according to <2>.
<6> At least the analog-to-digital conversion unit other than the part reads out a pixel signal constituting the low-resolution image for one frame at a predetermined timing, which is stored in the storage unit, and creates a new frame pixel The image sensor according to <5>, wherein an inter-frame difference image with a signal is obtained and overwritten in the storage unit.
<7> At least the analog-digital conversion unit other than the part, when a pixel signal of a new low-resolution image is supplied, the pixel signal stored in the storage unit of the analog-digital conversion unit adjacent to the analog-digital conversion unit The ring buffer is configured by storing pixel signals constituting low-resolution images of a predetermined number of a plurality of frames having different timings by shifting and storing the data in the storage unit of the conversion unit. <2> Image sensor.
<8> A calculation unit that calculates a difference image between a pixel signal constituting the low-resolution image of a plurality of frames of a predetermined number of different timings stored in the ring buffer and a pixel signal of the new low-resolution image The image sensor according to <7>, further including:
<9> The calculation unit includes an average value in each pixel of pixel signals constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame, and the new low-resolution image. The absolute value of the difference from the pixel signal is calculated, a pixel having the absolute difference greater than a predetermined threshold is defined as a first pixel value, and a pixel having the absolute difference smaller than the predetermined threshold is defined as a second pixel value. The imaging device according to <8>, wherein a difference image including binary images is calculated.
<10> The calculation unit includes a weighted average value corresponding to the timing of pixel signals constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame, and A difference absolute value with a pixel signal of a new low-resolution image is calculated, a pixel having the difference absolute value larger than a predetermined threshold is defined as a first pixel value, and a pixel having the difference absolute value smaller than the predetermined threshold is determined. The image sensor according to <9>, wherein a difference image including a binary image serving as a second pixel value is calculated.
<11> The calculation unit includes each of a pixel signal constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame, and a pixel signal of the new low-resolution image The difference absolute value of each of the difference absolute values is calculated, a pixel in which each of the difference absolute values is larger than a predetermined threshold is set as a first pixel value, and a pixel in which any of the difference absolute values is smaller than the predetermined threshold The image sensor according to <9>, wherein a difference image including a binary image serving as a second pixel value is calculated.
<12> The imaging apparatus according to <7>, further including a calculation unit that calculates an average value of pixel values of pixels constituting the low-resolution image of a plurality of frames at a predetermined number of times stored in the ring buffer. element.
<13> The computing unit computes a weighted average value corresponding to the timing of pixel values of pixels constituting the low-resolution image of a predetermined number of frames at different timings stored in the ring buffer. The image pickup device according to <12>.
<14> The imaging device according to <1>, wherein the low-resolution image is an image including any one of an average value, a representative value, and a median for each of a plurality of pixel groups of pixels that form the pixel array.
<15> a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
An image pickup method for an image pickup device including a plurality of analog-digital conversion units that are provided for each column in which the plurality of pixels are arranged and convert the pixel signal from an analog signal to a digital signal,
A part of the plurality of analog-digital conversion units performs analog-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-digital conversion unit other than the part includes the analog-digital conversion unit, An operation method of an image sensor that executes arithmetic processing using pixel signals constituting a low-resolution image.
<16> a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
A plurality of analog-digital converters provided for each column in which the plurality of pixels are arranged, and converting the pixel signal from an analog signal to a digital signal;
A part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-to-digital converters other than the part are An imaging device that performs arithmetic processing using pixel signals that form a low-resolution image.
<17> A pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
A plurality of analog-digital converters provided for each column in which the plurality of pixels are arranged, and converting the pixel signal from an analog signal to a digital signal;
A part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-to-digital converters other than the part are An electronic device that performs arithmetic processing using pixel signals that make up a low-resolution image.
51 撮像素子, 71 画素アレイ, 71a,71a−1乃至71a−p 画素群, 72,72−0乃至72−(n−1) カラムAD回路, 73 演算回路, 91 コンパレータ, 92,92−0乃至92−(n−1) 組み合わせ回路, 93,93−0乃至93−(n−1) メモリ, 101,101−0乃至101−(n−1) 回路, 102,102−0乃至102−(n−1) 加算器, 103,103−0乃至103−(n−1) 回路, 110 リングバッファ, 111,111−0乃至111−4 ゲインアンプ, 112 加算器, 113 減算気, 114 絶対値化部, 115 閾値処理部, 131,131−0乃至131−3 減算気, 132,132−0乃至132−3 絶対値化部, 133,133−0乃至133−(n−1) 閾値判定部, 134 判定部, 151 加算器, 152 ゲインアンプ, 181,181−0乃至181−2 スイッチ, 182,182−0乃至182−2 スイッチ, 191 水平転送線, 192,192−1乃至192−2 垂直転送 51 Image sensor, 71 pixel array, 71a, 71a-1 to 71a-p pixel group, 72, 72-0 to 72- (n-1) column AD circuit, 73 arithmetic circuit, 91 comparator, 92, 92-0 to 92- (n-1) combinational circuit, 93, 93-0 to 93- (n-1) memory, 101, 101-0 to 101- (n-1) circuit, 102, 102-0 to 102- (n -1) Adder, 103, 103-0 to 103- (n-1) circuit, 110 ring buffer, 111, 111-0 to 111-4 gain amplifier, 112 adder, 113 subtraction air, 114 absolute value conversion unit , 115 threshold processing unit, 131, 131-0 to 131-3 subtraction, 132, 132-0 to 132-3 absolute value conversion unit, 133, 133-0 To 133- (n-1) threshold determination unit, 134 determination unit, 151 adder, 152 gain amplifier, 181, 181-0 to 181-2 switch, 182, 182-0 to 182-2 switch, 191 horizontal transfer line , 192, 192-1 to 192-2 Vertical transfer
Claims (17)
前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
撮像素子。 A pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
A plurality of analog-digital converters provided for each column in which the plurality of pixels are arranged, and converting the pixel signal from an analog signal to a digital signal;
A part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-to-digital converters other than the part are An image sensor that performs arithmetic processing using pixel signals that form a low-resolution image.
少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
請求項1に記載の撮像素子。 The analog-digital conversion unit includes a storage unit that stores a result of the arithmetic processing,
The imaging device according to claim 1, wherein at least the analog-to-digital conversion units other than the part store pixel signals constituting low-resolution images for a plurality of frames having different timings.
請求項2に記載の撮像素子。 When at least a part of the analog-digital conversion unit is supplied with a pixel signal of a new low-resolution image, the analog-digital conversion unit reads the pixel signal stored in the storage unit of the adjacent analog-digital conversion unit, The imaging device according to claim 2, wherein pixel signals constituting low-resolution images for a plurality of frames having different timings are stored by being shifted and stored in the storage unit.
請求項2に記載の撮像素子。 At least the analog-digital conversion unit other than the part is a pixel signal stored in its storage unit every predetermined number of frames when a pixel signal of a new low-resolution image is supplied. The image sensor according to claim 2, wherein pixel signals constituting low resolution images for a plurality of frames having different timings are stored by sequentially shifting and storing them in the storage units of the adjacent analog-digital conversion units. .
請求項2に記載の撮像素子。 The analog-to-digital conversion unit other than at least the part executes a calculation process for obtaining an inter-frame difference image of pixel signals constituting the low-resolution image for a plurality of frames having different timings stored in the storage unit. The imaging device according to claim 2.
請求項5に記載の撮像素子。 The analog-to-digital conversion unit other than at least the part reads out pixel signals constituting the low-resolution image for one frame at a predetermined timing stored in the storage unit, and outputs the pixel signals of a new frame. The image sensor according to claim 5, wherein an inter-frame difference image is obtained and overwritten on the storage unit.
請求項2に記載の撮像素子。 When at least a part of the analog-digital conversion unit receives a pixel signal of a new low-resolution image, the analog-digital conversion unit stores the pixel signal stored in the storage unit of the adjacent analog-digital conversion unit. The imaging device according to claim 2, wherein the ring buffer is configured by storing pixel signals constituting low-resolution images of a predetermined number of frames having different timings by being shifted and stored in the storage unit. .
請求項7に記載の撮像素子。 And a calculation unit for calculating a difference image between a pixel signal constituting the low-resolution image of a predetermined number of frames stored in the ring buffer and having a different timing, and a pixel signal of the new low-resolution image. The imaging device according to claim 7.
請求項8に記載の撮像素子。 The arithmetic unit includes an average value of each pixel signal constituting the low resolution image from the oldest frame to a predetermined oldest frame stored in the ring buffer, and a pixel signal of the new low resolution image. The absolute value of the difference is calculated, a pixel having the absolute difference value larger than a predetermined threshold is set as a first pixel value, and a pixel having the absolute difference value smaller than the predetermined threshold is set as a second pixel value 2 The image sensor according to claim 8, wherein a difference image composed of value images is calculated.
請求項9に記載の撮像素子。 The calculation unit includes a weighted average value corresponding to the timing of the pixel signal constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame, and the new low-level image. A difference absolute value from the pixel signal of the resolution image is calculated, a pixel having the difference absolute value larger than a predetermined threshold is set as a first pixel value, and a pixel having the difference absolute value smaller than the predetermined threshold is set as a second pixel value. The imaging device according to claim 9, wherein a difference image composed of a binary image as a pixel value is calculated.
請求項9に記載の撮像素子。 The arithmetic unit calculates absolute differences between pixel signals constituting the low-resolution image from the oldest frame to the predetermined oldest frame stored in the ring buffer and the pixel signal of the new low-resolution image. A value is calculated, a pixel whose absolute value of each difference is larger than a predetermined threshold value is set as a first pixel value, and a pixel whose either absolute value of the difference is smaller than a predetermined threshold value is set as a second pixel value. The imaging device according to claim 9, wherein a difference image composed of a binary image as a pixel value is calculated.
請求項7に記載の撮像素子。 The imaging device according to claim 7, further comprising a calculation unit that calculates an average value of the pixel values of the pixels constituting the low-resolution image of a predetermined number of frames at different timings stored in the ring buffer.
請求項12に記載の撮像素子。 The calculation unit calculates a weighted average value corresponding to the timing of pixel values of pixels constituting the low-resolution image of a plurality of frames of a predetermined number of different timings stored in the ring buffer. The imaging device according to 12.
請求項1に記載の撮像素子。 The imaging device according to claim 1, wherein the low-resolution image is an image including any one of an average value, a representative value, and a median for each of a plurality of pixel groups of pixels constituting the pixel array.
前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、
前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
撮像素子の動作方法。 A pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
An image pickup method for an image pickup device including a plurality of analog-digital conversion units that are provided for each column in which the plurality of pixels are arranged and convert the pixel signal from an analog signal to a digital signal,
A part of the plurality of analog-digital conversion units performs analog-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-digital conversion unit other than the part includes the analog-digital conversion unit, An operation method of an image sensor that executes arithmetic processing using pixel signals constituting a low-resolution image.
前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
撮像装置。 A pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
A plurality of analog-digital converters provided for each column in which the plurality of pixels are arranged, and converting the pixel signal from an analog signal to a digital signal;
A part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-to-digital converters other than the part are An imaging device that performs arithmetic processing using pixel signals that form a low-resolution image.
前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
電子機器。 A pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
A plurality of analog-digital converters provided for each column in which the plurality of pixels are arranged, and converting the pixel signal from an analog signal to a digital signal;
A part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-to-digital converters other than the part are An electronic device that performs arithmetic processing using pixel signals that make up a low-resolution image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016175734A JP2018042139A (en) | 2016-09-08 | 2016-09-08 | Imaging element, operation method of imaging element, imaging apparatus, and electronic equipment |
PCT/JP2017/030630 WO2018047642A1 (en) | 2016-09-08 | 2017-08-25 | Imaging element, operation method for imaging element, imaging device, and electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016175734A JP2018042139A (en) | 2016-09-08 | 2016-09-08 | Imaging element, operation method of imaging element, imaging apparatus, and electronic equipment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018042139A true JP2018042139A (en) | 2018-03-15 |
Family
ID=61561990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016175734A Pending JP2018042139A (en) | 2016-09-08 | 2016-09-08 | Imaging element, operation method of imaging element, imaging apparatus, and electronic equipment |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2018042139A (en) |
WO (1) | WO2018047642A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020155914A (en) * | 2019-03-20 | 2020-09-24 | カシオ計算機株式会社 | Imaging apparatus, imaging method, and program |
JP2020170970A (en) * | 2019-04-04 | 2020-10-15 | キヤノン株式会社 | Imaging apparatus and control method thereof |
US11244976B2 (en) | 2018-12-18 | 2022-02-08 | Canon Kabushiki Kaisha | Photoelectric conversion device, photoelectric conversion system, and signal processing device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5685898B2 (en) * | 2010-01-08 | 2015-03-18 | ソニー株式会社 | Semiconductor device, solid-state imaging device, and camera system |
TWI583195B (en) * | 2012-07-06 | 2017-05-11 | 新力股份有限公司 | A solid-state imaging device and a solid-state imaging device, and an electronic device |
JP6149369B2 (en) * | 2012-09-27 | 2017-06-21 | 株式会社ニコン | Image sensor |
-
2016
- 2016-09-08 JP JP2016175734A patent/JP2018042139A/en active Pending
-
2017
- 2017-08-25 WO PCT/JP2017/030630 patent/WO2018047642A1/en active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11244976B2 (en) | 2018-12-18 | 2022-02-08 | Canon Kabushiki Kaisha | Photoelectric conversion device, photoelectric conversion system, and signal processing device |
JP2020155914A (en) * | 2019-03-20 | 2020-09-24 | カシオ計算機株式会社 | Imaging apparatus, imaging method, and program |
JP7010259B2 (en) | 2019-03-20 | 2022-02-10 | カシオ計算機株式会社 | Imaging equipment, imaging methods and programs |
US11368618B2 (en) | 2019-03-20 | 2022-06-21 | Casio Computer Co., Ltd. | Image capturing device, image capturing method and recording medium |
US11570360B2 (en) | 2019-03-20 | 2023-01-31 | Casio Computer Co., Ltd. | Image capturing device, image capturing method and recording medium |
JP2020170970A (en) * | 2019-04-04 | 2020-10-15 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP7321741B2 (en) | 2019-04-04 | 2023-08-07 | キヤノン株式会社 | Imaging device and its control method |
Also Published As
Publication number | Publication date |
---|---|
WO2018047642A1 (en) | 2018-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107925730B (en) | Image sensor and electronic device | |
JPWO2016147885A1 (en) | Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus | |
WO2017169885A1 (en) | Imaging device, drive method, and electronic device | |
WO2017141727A1 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus | |
WO2018047642A1 (en) | Imaging element, operation method for imaging element, imaging device, and electronic apparatus | |
WO2016114153A1 (en) | Solid-state image capturing device, drive method, and electronic instrument | |
JP4893042B2 (en) | Imaging device | |
JP2017175345A (en) | Solid-state imaging device, method of driving the same, and electronic equipment | |
WO2016158482A1 (en) | Solid-state imaging element, imaging device, and electronic instrument | |
JP2017069927A (en) | Image processing device, image processing method, and program | |
CN104380710A (en) | Flicker reducing device, imaging device, and flicker reducing method | |
JP3833088B2 (en) | Image detection processing device | |
KR100864341B1 (en) | Image processing device and method, and imaging device | |
TW201729587A (en) | Image capturing element, image capturing method and electronic device | |
JP6740230B2 (en) | Solid-state imaging device and electronic device | |
KR20150146424A (en) | Method for determining estimated depth in an image and system thereof | |
JP2018113614A (en) | Imaging device and imaging method, electronic apparatus, and signal processing device | |
JP2021192498A (en) | Imaging apparatus and control method for the same, program, and storage medium | |
JP2016058877A (en) | Imaging apparatus and control method thereof | |
JP2019114956A (en) | Image processing system, imaging system, mobile | |
JP6903417B2 (en) | Solid-state image sensor and control method, and electronic equipment | |
JP2012085205A (en) | Image processing apparatus, imaging device, image processing method, and image processing program | |
JP2009302850A (en) | Noise removal device of solid-state image sensor, image capturing apparatus, noise removal method of solid-state image sensor | |
JP2001326857A (en) | Image pickup element provided with arithmetic function | |
KR101555056B1 (en) | 3 Apparatus and method for 3D digital noise reduction of camera |