CN115606194A - 感测系统 - Google Patents
感测系统 Download PDFInfo
- Publication number
- CN115606194A CN115606194A CN202180034790.3A CN202180034790A CN115606194A CN 115606194 A CN115606194 A CN 115606194A CN 202180034790 A CN202180034790 A CN 202180034790A CN 115606194 A CN115606194 A CN 115606194A
- Authority
- CN
- China
- Prior art keywords
- pixel
- visible light
- pixels
- invisible light
- invisible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 30
- 210000001747 pupil Anatomy 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 136
- 238000005516 engineering process Methods 0.000 description 117
- 238000010586 diagram Methods 0.000 description 62
- 230000000694 effects Effects 0.000 description 21
- 238000005259 measurement Methods 0.000 description 21
- 239000000872 buffer Substances 0.000 description 17
- 238000001514 detection method Methods 0.000 description 17
- 101150000468 DUSP11 gene Proteins 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 101100421142 Mus musculus Selenon gene Proteins 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 101000685663 Homo sapiens Sodium/nucleoside cotransporter 1 Proteins 0.000 description 3
- 102100023116 Sodium/nucleoside cotransporter 1 Human genes 0.000 description 3
- 101150005988 cin2 gene Proteins 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 101150061050 CIN1 gene Proteins 0.000 description 2
- 101000821827 Homo sapiens Sodium/nucleoside cotransporter 2 Proteins 0.000 description 2
- 101001128814 Pandinus imperator Pandinin-1 Proteins 0.000 description 2
- 102100021541 Sodium/nucleoside cotransporter 2 Human genes 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
- H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
- H04N25/21—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
这种用于捕获图像数据的系统测量到对象的距离而无需添加距离测量传感器。在该感测系统中,发光单元与规定的发光控制信号同步地发射不可见光。不可见光像素使反射的不可见光经受光电转换,并且从而生成脉冲信号作为不可见光脉冲信号。可见光像素使可见光经受光电转换,并且从而生成脉冲信号作为可见光脉冲信号。计数单元执行用于对可见光脉冲信号的数量进行计数的处理并且执行用于与发光控制信号同步地对不可见光脉冲信号的数量进行计数的处理。
Description
技术领域
本技术涉及感测系统。具体地,本技术涉及响应于光子的入射对由像素生成的脉冲的数量进行计数的感测系统。
背景技术
近年来,已经开发并研究了被称为单光子雪崩二极管(SPAD)的器件,并且该器件捕获非常弱的光信号以实现光通信、距离测量、光子计数等。SPAD是雪崩光电二极管,该雪崩光电二极管足够灵敏以检测单个光子。例如,已经提出一种固态成像元件,在该固态成像元件中,布置使用SPAD生成脉冲信号的像素和对曝光时段内的脉冲信号的数量进行计数的计数器(例如,参见专利文献1)。
引用列表
专利文献
专利文件1:WO 2019/150785 A。
发明内容
本发明要解决的问题
在上述常规技术中,高灵敏度SPAD用于检测弱光,这为在黑暗环境中捕获图像的情况提高了图像质量。然而,上述固态成像元件不能测量到所捕获的图像中的对象的距离。在添加使用红外线或激光的测距传感器来执行距离测量的情况下,系统的功耗和成本增加,这不是优选的。
鉴于这种情况已经做出本技术,并且本技术的目的是在捕获图像数据的系统中测量到对象的距离而不添加测距传感器。
问题的解决方案
已经做出本技术以解决上述问题,并且本技术的第一方面是一种感测系统,包括:发光单元,被配置为与预定的发光控制信号同步地施加不可见光;不可见光像素,被配置为光电转换相对于不可见光的反射光以生成脉冲信号作为不可见光脉冲信号;可见光像素,被配置为光电转换可见光以生成脉冲信号作为可见光脉冲信号;以及计数单元,被配置为执行用于对可见光脉冲信号的数量进行计数的处理并且执行用于与发光控制信号同步地对不可见光脉冲信号的数量进行计数的处理。该配置产生捕获图像数据并执行距离测量的效果。
此外,在第一方面中,可见光像素可包括光电转换彼此不同的可见光的第一可见光像素、第二可见光像素和第三可见光像素,不可见光像素可包括与使能信号相关的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,该使能信号相对于发光控制信号的相位差彼此不同,第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素可彼此相邻布置,并且第一可见光像素、第二可见光像素和第三可见光像素可布置在第一不可见光像素附近。该配置产生对第一可见光像素、第二可见光像素和第三可见光像素和第一不可见光像素中的每一个的脉冲的数量进行计数的效果。
此外,在第一方面中,计数单元可以包括:计数器,被配置为以预定顺序执行用于对第一可见光像素、第二可见光像素和第三可见光像素中的每一个的可见光脉冲信号的数量进行计数的处理,并且执行用于对不可见光脉冲信号的数量进行计数的处理。该配置产生四个像素共享计数器的效果。
此外,在第一方面中,计数单元可以包括:第一计数器,被配置为对第一可见光像素的可见光脉冲信号的数量进行计数;第二计数器,被配置为对第二可见光像素的可见光脉冲信号的数量进行计数;第三计数器,被配置为对第三可见光像素的可见光脉冲信号的数量进行计数;以及第四计数器,被配置为与发光控制信号同步地对不可见光脉冲信号的数量进行计数。该配置产生对四个像素中的每一个的脉冲的数量进行并行计数的效果。
此外,在第一方面中,可见光像素可包括光电转换同一可见光的第一可见光像素、第二可见光像素和第三可见光像素,不可见光像素可包括与使能信号相关的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,该使能信号相对于发光控制信号的相位差彼此不同,并且第一可见光像素、第二可见光像素和第三可见光像素可布置在第一不可见光像素附近。该配置产生对第一可见光像素、第二可见光像素和第三可见光像素和第一不可见光像素中的每一个的脉冲的数量进行计数的效果。
此外,在第一方面中,计数单元可以包括:选择器,被配置为依次选择第一可见光像素、第二可见光像素和第三可见光像素中的每一个的可见光脉冲信号作为输入信号;第一计数器,被配置为对输入信号的数量进行计数;以及第二计数器,被配置为与发光控制信号同步地对不可见光脉冲信号的数量进行计数。该配置产生对可见光像素和不可见光像素中的每一个的脉冲的数量进行并行计数的效果。
此外,在第一方面中,计数单元可以包括:逻辑和门,被配置为输出第一可见光像素、第二可见光像素和第三可见光像素中的每一个的不可见光脉冲信号的逻辑和;选择器,被配置为选择第一可见光像素、第二可见光像素和第三可见光像素中的每一个的不可见光脉冲信号、逻辑和以及可见光脉冲信号中的任一个作为输入信号;以及计数器,被配置为对输入信号的数量进行计数。该配置产生将四个像素相加的效果。
此外,在第一方面中,可见光像素可包括红色(R)像素、绿色(G)像素和蓝色(B)像素,并且不可见光像素布置在拜耳阵列中G像素的位置处。该配置产生简化去马赛克的效果。
此外,在第一方面中,不可见光像素可包括与使能信号相关的多个不可见光像素,该使能信号相对于发光控制信号的相位差彼此不同,并且多个不可见光像素可沿预定方向布置。该配置产生在预定方向上增加不可见光像素的像素的数量的效果。
此外,在第一方面中,可见光像素可插入在多个不可见光像素中的每一个之间。该配置产生减少要被插值的像素的数量的效果。
此外,在第一方面中,可见光像素可以包括彼此相邻布置的第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素,不可见光像素可以包括彼此相邻布置的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,并且第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素可以光电转换彼此不同的可见光。该配置产生增加测距点的效果。
此外,在第一方面中,计数单元可包括多个计数器,该多个计数器与使能信号同步地对不可见光脉冲信号的数量进行计数,该使能信号相对于发光控制信号的相位差彼此不同。该配置产生对于多个相位对脉冲的数量进行并行计数的效果。
此外,在第一方面中,计数单元可以包括:选择器,被配置为选择第一可见光像素、第二可见光像素和第三可见光像素中的每一个的可见光脉冲信号中的任一个作为输入信号;以及计数器,被配置为对输入信号的数量进行计数。该配置产生多个像素共享计数器的效果。
此外,在第一方面中,计数单元可包括:第一计数器,被配置为与第一使能信号同步地对不可见光脉冲信号的数量进行计数,在该第一使能信号中,相对于发光控制信号的相位差被设置为0度或180度;以及第二计数器,被配置为与第二使能信号同步地对不可见光脉冲信号的数量进行计数,在该第二使能信号中,相对于发光控制信号的相位差被设置为90度或270度。该配置产生减少计数器的数量的效果。
此外,在第一方面中,计数单元可以包括:逻辑电路,被配置为输出第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素中的每一个的不可见光脉冲信号的两个或更多个的逻辑和;选择器,被配置为选择第一不可见光像素的不可见光脉冲信号和逻辑和中的任一个并且作为输入信号输出结果;第五计数器,被配置为对输入信号的数量进行计数;第六计数器,被配置为对第二不可见光像素的不可见光脉冲信号的数量进行计数;第七计数器,被配置为对第三不可见光像素的不可见光脉冲信号的数量进行计数;以及第八计数器,被配置为对第四不可见光像素的不可见光脉冲信号的数量进行计数。该配置产生对第一不可见光像素至第四不可见光像素的脉冲的数量进行并行计数的效果。
此外,在第一方面中,计数单元可包括:逻辑电路,被配置为输出第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素中的每一个的不可见光脉冲信号的逻辑和与相对于发光同步信号的相位差彼此不同的第一使能信号和第二使能信号中的每一个的逻辑积;选择器,被配置为选择第一不可见光像素的不可见光脉冲信号和逻辑积中的任一个并且作为输入信号输出结果;第五计数器,被配置为对输入信号的数量进行计数;第六计数器,被配置为对第二不可见光像素的不可见光脉冲信号的数量进行计数;第七计数器,被配置为对第三不可见光像素的不可见光脉冲信号的数量进行计数;以及第八计数器,被配置为对第四不可见光像素的不可见光脉冲信号的数量进行计数。该配置产生将多个像素相加的效果。
此外,在第一方面中,计数单元可以包括:逻辑电路,被配置为输出第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素中的每一个的不可见光脉冲信号的逻辑和与相对于发光同步信号的相位差彼此不同的第一使能信号和第二使能信号中的每一个的逻辑积;选择器,被配置为选择第一不可见光像素的不可见光脉冲信号和对应于第一使能信号的逻辑积中的任一个并且作为输入信号输出结果;开关,被配置为根据预定控制信号输出对应于第一使能信号的逻辑积;第五计数器,被配置为对输入信号的数量进行计数;以及第六计数器,被配置为基于由第二开关输出的逻辑积执行计数。该配置产生减少计数器的数量的效果。
此外,在第一方面中,可见光像素可以包括彼此相邻布置的第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素,不可见光像素可以包括彼此相邻布置的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,并且第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素可以光电转换同一可见光。该配置产生对具有相同颜色的第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素的脉冲的数量进行计数的效果。
此外,在第一方面,第一可见光像素和第二可见光像素可以接收经受瞳孔分割的一对入射光中的一个,第三可见光像素和第四可见光像素可以接收经受瞳孔分割的一对入射光中的另一个,并且计数单元可以包括:第一逻辑和门,被配置为输出第一可见光像素和第二可见光像素中的每一个的可见光脉冲信号的逻辑和作为第一逻辑和;第一选择器,被配置为选择第一逻辑和以及第一可见光像素和第二可见光像素中的每一个的可见光脉冲信号中的任一个并且作为第一输入信号输出结果;第二逻辑和门,被配置为输出第三可见光像素和第四可见光像素中的每一个的可见光脉冲信号的逻辑和作为第二逻辑和;第二选择器,被配置为选择第二逻辑和以及第三可见光像素和第四可见光像素中的每一个的可见光脉冲信号中的任一个并且作为第二输入信号输出结果;第一计数器,被配置为对第一输入信号的数量进行计数;以及第二计数器,被配置为对第二输入信号的数量进行计数。该配置产生通过图像平面相位差方法检测焦点的效果。
此外,在第一方面中,计数单元还可以包括第三逻辑门,该第三逻辑门被配置为将第一逻辑和以及第二逻辑和的逻辑和输出至第一选择器作为第三逻辑和,并且第一选择器选择第三逻辑和、第一逻辑和以及第一可见光像素和第二可见光像素中的每一个的可见光脉冲信号中的任一个。该配置产生将多个像素相加的效果。
附图说明
图1是示出根据本技术的第一实施例的感测系统的配置的示例的框图。
图2是示出根据本技术的第一实施例的固态成像元件的层叠结构的示例的示图。
图3是示出根据本技术的第一实施例的固态成像元件的配置的示例的框图。
图4是根据本技术的第一实施例的像素阵列单元的平面图的示例。
图5是示出根据本技术的第一实施例的像素块的配置的示例的框图。
图6是示出根据本技术的第一实施例的像素的配置的示例的电路图。
图7是示出根据本技术的第一实施例的电路块的配置的示例的电路图。
图8是根据本技术的第一实施例的计数器的操作的说明图。
图9是示出根据本技术的第一实施例的固态成像元件的测距模式下的操作的示例的时序图。
图10是示出根据本技术的第一实施例的固态成像元件的成像模式下的操作的示例的时序图。
图11是根据本技术的第一实施例的感测系统的整体视图的示例。
图12是示出根据本技术的第一实施例的感测系统的操作的示例的流程图。
图13是示出根据本技术的第一实施例的修改示例的像素块的配置的示例的框图。
图14是示出根据本技术的第一实施例的修改示例的电路块的配置的示例的电路图。
图15是根据本技术的第一实施例的修改示例的计数器的操作的说明图。
图16是根据本技术的第二实施例的像素阵列单元的平面图的示例。
图17是示出根据本技术的第二实施例的像素块的配置的示例的框图。
图18是示出根据本技术的第二实施例的电路块的配置的示例的电路图。
图19是示出根据本技术的第二实施例的修改示例的电路块的配置的示例的电路图。
图20是根据本技术的第三实施例的像素阵列单元的平面图的示例。
图21是根据本技术的第四实施例的像素阵列单元的平面图的示例。
图22是根据本技术的第四实施例的修改示例的像素阵列单元的平面图的示例。
图23是根据本技术的第五实施例的像素阵列单元的平面图的示例。
图24是示出根据本技术的第五实施例的布置有可见光像素的像素块的配置的示例的框图。
图25是示出根据本技术的第五实施例的布置有红外(IR)像素的像素块的配置的示例的框图。
图26是示出根据本技术的第五实施例的电路块的配置的示例的电路图。
图27是根据本技术的第五实施例的计数器的操作的说明图。
图28是示出根据本技术的第五实施例的第一修改示例的布置有可见光像素的像素块的配置的示例的框图。
图29是示出根据本技术的第五实施例的第二修改示例的布置有IR像素的像素块的配置的示例的框图。
图30是示出根据本技术的第五实施例的第二修改示例的固态成像元件的测距模式的操作的示例的时序图。
图31是根据本技术的第五实施例的第三修改示例的像素阵列单元的平面图的示例。
图32是示出根据本技术的第五实施例的第三修改示例的电路块的配置的示例的电路图。
图33是根据本技术的第五实施例的第三修改示例的像素驱动单元的操作的说明图。
图34是示出根据本技术的第五实施例的第四修改示例的电路块的配置的示例的电路图。
图35是根据本技术的第五实施例的第四修改示例的计数器的操作的说明图。
图36是示出根据本技术的第五实施例的第五修改示例的布置有IR像素的像素块的配置的示例的框图。
图37是示出根据本技术的第五实施例的第五修改示例的电路块的配置的示例的电路图。
图38是根据本技术的第五实施例的第五修改示例的计数器的操作的说明图。
图39是根据本技术的第六实施例的像素阵列单元的平面图的示例。
图40是示出根据本技术的第六实施例的布置有可见光像素的像素块的配置的示例的框图。
图41是示出根据本技术的第六实施例的电路块的配置的示例的电路图。
图42是示出根据本技术的第六实施例的修改示例的电路块的配置的示例的电路图。
图43是根据本技术的第七实施例的像素阵列单元的平面图的示例。
图44是根据本技术的第八实施例的像素阵列单元的平面图的示例。
图45是示出车辆控制系统的示意性配置的示例的框图。
图46是示出成像部的安装位置的示例的说明图。
具体实施方式
下面描述用于实施本技术的模式(在下文中,称为实施例)。按照以下顺序给出描述。
1.第一实施例(对可见光像素和IR像素的脉冲的数量进行计数的示例)
2.第二实施例(对同一颜色的三个可见光像素和IR像素的脉冲的数量进行计数的示例)
3.第三实施例(可见光像素插入在拜耳阵列中G像素的位置并且对其脉冲的数量进行计数的示例)
4.第四实施例(沿预定方向布置IR像素并且对可见光像素和IR像素的脉冲的数量进行计数的示例)
5.第五实施例(对拜耳阵列中的4个可见光像素和4个IR像素的脉冲的数量进行计数的示例)
6.第六实施例(对Quadra阵列中的4个可见光像素和4个IR像素的脉冲的数量进行计数的示例)
7.第七实施例(对拜耳阵列中的16个可见光像素和16个IR像素的脉冲的数量进行计数的示例)
8.第八实施例(对Quadra阵列中的16个可见光像素和16个IR像素的脉冲的数量进行计数的示例)
9.移动对象的应用示例
<1.第一实施例>
[感测系统的配置示例]
图1是示出根据本技术的第一实施例的感测系统100的配置的示例的框图。感测系统100是用于捕获图像数据和测量距离的系统。感测系统100包括发光单元110、驱动器120、控制器130、固态成像元件200、处理器140和应用处理器150。
感测系统100中的每个元件可放置在一个电子装置中,或者可分散地放置在多个装置中。在元件被分散地放置在多个装置中的情况下,例如,发光单元110、驱动器120、控制器130、固态成像元件200和处理器140被放置在成像装置中,并且应用处理器150被放置图像处理装置中。
发光单元110根据来自驱动器120的发光控制信号LCLK发光,并且施加照射光。照射光例如是不可见光(近红外光等)。
驱动器120在控制器130的控制下生成预定的周期信号作为发光控制信号LCLK,并将周期信号提供给发光单元110。
控制器130彼此同步地操作驱动器120和处理器140。这里,为感测系统设置多个模式,并且这些模式包括用于测量到对象的距离的测距模式和用于捕获图像数据的成像模式。在测距模式下,控制器130使驱动器120生成发光射控制信号LCLK,并且使处理器140生成与发光控制信号LCLK相同的信号作为发光控制信号LCLK’。另一方面,在成像模式下,控制器130停止驱动器120并且使处理器140生成垂直同步信号VSYNC。
这里,垂直同步信号VSYNC的频率例如是30赫兹(Hz)或60赫兹(Hz)。另一方面,发光控制信号LCLK的频率高于垂直同步信号VSYNC的频率,并且例如是10至20兆赫(MHz)。
处理器140控制固态成像元件200和应用处理器150。处理器140在测距模式下生成发光控制信号LCLK’,将发光控制信号LCLK’提供给固态成像元件200,并且从固态成像元件200接收深度图。另一方面,在成像模式下,处理器140生成垂直同步信号VSYNC,将垂直同步信号VSYNC提供给固态成像元件200,并且从固态成像元件200接收图像数据。然后,处理器140将深度图和图像数据提供给应用处理器150。
应用处理器150基于图像数据和深度图执行预定处理,诸如图像识别处理。
固态成像元件200通过光电转换生成图像数据或深度图。在测距模式下,固态成像元件200与发光控制信号LCLK’同步地光电转换相对于照射光的反射光,并且生成深度图。另一方面,在成像模式下,固态成像元件200与垂直同步信号VSYNC同步地光电转换入射光,并且生成图像数据。固态成像元件200将图像数据或深度图提供给处理器140。
注意,固态成像元件200具有处理器140和应用处理器150的一些或全部的功能的另一配置是可能的。
[固态成像元件的配置示例]
图2是示出根据本技术的第一实施例的固态成像元件200的层叠结构的示例的示图。固态成像元件200包括电路芯片202和层叠在电路芯片202上的像素芯片201。这些芯片经由诸如通孔的连接部分彼此电连接。注意,除了通孔之外,这些芯片也可以通过Cu-Cu接合或凸块来连接。这些芯片也可以通过其他方法(诸如磁耦合)来连接。此外,尽管层叠两个芯片,但是可以层叠三个或更多层。
图3是示出了根据本技术的第一实施例的固态成像元件200的配置的示例的框图。固态成像元件200包括像素驱动单元210、垂直扫描电路220、像素阵列单元230、列缓冲器240、信号处理电路250和输出单元260。在像素阵列单元230中,多个像素以二维格状图案布置。
像素驱动单元210与发光控制信号LCLK’同步地驱动像素阵列单元230中的像素,以对脉冲的数量进行计数。
垂直扫描电路220与垂直同步信号VSYNC同步地依次选择像素行,并且将计数值输出至列缓冲器240。
列缓冲器240保持每个像素的计数值。
信号处理电路250对计数值的阵列的数据执行预定信号处理。例如,在测距模式下,信号处理电路250基于计数值计算多个测距点的距离,并且生成具有关于距离的数据阵列的深度图。此外,在成像模式下,信号处理电路250生成每个像素的计数值被布置为像素数据的图像数据,并对图像数据执行各种类型的图像处理。信号处理电路250然后将深度图和图像数据提供给处理器140。
图4是根据本技术的第一实施例的像素阵列单元230的平面图的示例。像素阵列单元230被划分为包括像素块301至304的多个像素块。在每个像素块中,以2行×2列布置4个像素。
参照图4,例如,在左上方的像素块301中,布置红色(R)像素315、绿色(G)像素310、蓝色(B)像素316以及IR像素321。在右上方的像素块302中,布置R像素、G像素、B像素和IR像素322。此外,在左下方的像素块303中,布置R像素、G像素、B像素和IR像素323。在右下方的像素块304中,布置R像素、G像素、B像素和IR像素324。
此外,在左上方的像素块301中,IR像素321被布置在右下方,并且在右上方的像素块302中,IR像素322被布置在左下方。在左下方的像素块303中,IR像素323被布置在右上方,并且在右下方的像素块304中,IR像素324被布置在左上方。通过这些布置,IR像素321至324以2行×2列彼此相邻地布置。
R像素315光电转换红色可见光以生成脉冲信号。G像素310光电转换绿色可见光以生成脉冲信号。B像素316光电转换蓝色可见光以生成脉冲信号。
IR像素321至324光电转换相对于照射光(即,红外光)的反射光以生成脉冲信号。IR像素321至324中的IR像素321是与相对于发光控制信号LCLK具有0度相位差的使能信号同步地对脉冲信号的数量进行计数的像素。IR像素322是与相对于发光控制信号LCLK具有90度的相位差的使能信号同步地对脉冲信号的数量进行计数的像素。IR像素323和324是与相对于发光控制信号LCLK分别具有180度和270度的相位差的使能信号同步地对脉冲信号的数量进行计数的像素。
此外,在像素块301至304的每一个中,除了包括G像素310的像素之外,还布置电路和诸如计数器的元件。在图4中,省略除了像素以外的电路和元件。
[像素块的配置示例]
图5是示出根据本技术的第一实施例的像素块301的配置的示例的框图。像素块301包括IR像素321、R像素315、G像素310、B像素316、计数单元330以及开关351。在计数单元330中,设置电路块370和计数器341。
IR像素321光电转换相对于照射光(即,红外光)的反射光以生成脉冲信号Pir。R像素315对红色的可见光进行光电转换而生成脉冲信号Pr。G像素310光电转换绿色可见光以生成脉冲信号Pg。B像素316光电转换蓝色可见光以生成脉冲信号Pb。4个像素将所生成的脉冲信号输出到电路块370。
电路模块370控制脉冲信号Pir、Pr、Pg和Pb的输出目的地。在成像模式下,电路块370依次选择脉冲信号Pir、Pr、Pg和Pb,并将所选择的信号作为输入信号CIN输出至计数器341。另一方面,在测距模式下,电路块370与来自像素驱动单元210的使能信号EN1同步地将脉冲信号Pir作为输入信号CIN输出至计数器341。此外,电路块370根据来自像素驱动单元210的控制信号CTRL在脉冲信号之间切换。
计数器341对所接收的输入信号CIN的数量进行计数。计数器341将计数值作为CNT输出至开关351。此外,计数器341从垂直扫描电路220接收复位信号RST的输入。计数器341的计数值由复位信号RST初始化。另外,像素驱动单元210可以代替垂直扫描电路220提供复位信号RST。
开关351根据来自垂直扫描电路220的选择信号SEL经由垂直信号线309将计数值CNT输出至列缓冲器240。
像素块302至304中的每一个的配置类似于像素块301的配置。然而,像素块302提供有使能信号EN2。像素块303和304分别提供有使能信号EN3和EN4。
这里,使能信号EN1是与发光控制信号LCLK相同的信号。使能信号EN2是相位与发光控制信号LCLK偏移90度的信号。使能信号EN3是相位与发光控制信号LCLK偏移180度的信号。使能信号EN4是相位与发光控制信号LCLK偏移270度的信号。换句话说,使能信号EN1至EN4分别是与发光控制信号LCLK的相位差为0度、90度、180度和270度的信号。
[像素的配置示例]
图6是示出根据本技术的第一实施例的G像素310的配置的示例的电路图。G像素310包括SPAD 311、电阻器312和反相器313。
SPAD 311通过光电转换生成光电流并且执行雪崩放大。电阻器312和SPAD 311串联连接在电源端子与接地端子之间。
反相器313将电阻器312和SPAD 311的连接点处的电位反相并且将反相电位作为脉冲信号Pg输出至电路块370。
此外,例如,SPAD 311设置在像素芯片201上,并且电阻器312、反相器313及其后续级的电路(诸如,电路块370)设置在电路芯片202上。另外,整个G像素310可以设置在像素芯片201上。
R像素315、B像素316以及IR像素321至324中的每一个的电路配置类似于G像素310的电路配置。
[电路块的配置示例]
图7是示出根据本技术的第一实施例的电路块370的配置的示例的电路图。电路块370包括与(逻辑积,AND)门381和选择器391。
与(逻辑积)门381获得来自像素驱动单元210的使能信号EN1和来自IR像素321的脉冲信号Pir的逻辑积,并且将该逻辑积输出至选择器391。
选择器391根据来自像素驱动单元210的控制信号CTRL来选择来自与门381的逻辑积和脉冲信号Pir、Pr、Pg和Pb中的一个。选择器391将所选择的信号作为输入信号CIN输出至计数器341。
[固态成像元件的操作示例]
图8是根据本技术的第一实施例的计数器的操作的说明图。像素块301中的计数器341被称为计数器#1,像素块302中的计数器被称为计数器#2。像素块303中的计数器被称为计数器#3,像素块304中的计数器被称为计数器#4。
在测距模式下,计数器#1与相位差为0度的使能信号EN1同步地对脉冲的数量(换句话说,光子的数量)进行计数。此外,计数器#2与相位差为90度的使能信号EN2同步地对脉冲的数量进行计数。计数器#3与相位差为180度的使能信号EN3同步地对脉冲的数量进行计数。计数器#4与相位差为270度的使能信号EN3同步地对脉冲的数量进行计数。
信号处理电路250例如基于计数器#1至#4的计数值CNT1至CNT4通过以下公式确定距离。
d=(c/4πf)×tan-1×{(CNT2-CNT4)/(CNT1-CNT3)}...公式1
在以上公式中,“d”表示距离,并且单位例如是米(m)。在以上公式中,“c”表示光速,并且单位例如是米/秒(m/s)。在以上公式中,“tan-1”表示正切函数的反函数。(CNT2-CNT4)/(CNT1-CNT3)的值表示照射光与反射光之间的相位差。在以上公式中,“π”表示圆形常数。此外,“f”表示照射光的频率,并且单位例如是兆赫(MHz)。
如上所述,用于基于光的飞行时间计算距离的距离测量方法被称为飞行时间(ToF)方法。注意,固态成像元件200使用具有不同相位的四个使能信号执行距离测量;然而,本技术不限于该配置。例如,固态成像元件200可使用具有不同相位的两个使能信号执行距离测量。在这种情况下,例如,设置对应于0度的IR像素321和对应于180度的IR像素323,并且根据其计数值计算距离。
另一方面,在成像模式下,计数器#1至#4与垂直同步信号VSYNC同步地依次对IR像素、R像素、G像素和B像素中的每一个的脉冲的数量进行计数。信号处理电路250将每个像素的计数值处理为该像素的像素信号。
这里,假设在R像素、G像素和B像素中的每一个中不设置遮蔽红外光的IR截止滤波器。在该配置中,R像素、G像素和B像素不仅接收可见光,而且接收红外光。因此,信号处理电路250使用IR像素的计数值以将IR分量与R像素、G像素和B像素中的每一个的像素信号(即,计数值)分离,并且生成图像数据。
注意,IR截止滤波器可设置在R像素、G像素以及B像素中的每一个中。在这种情况下,在成像模式下,IR分量的分离是不必要的。
此外,在成像模式下,固态成像元件200还可以捕获仅布置IR像素的像素信号的IR图像。在这种情况下,例如,成像模式包括用于捕获IR图像的IR成像模式,以及用于捕获仅布置R像素、G像素以及B像素的像素信号的RGB图像的RGB成像模式。然后,响应于IR成像模式设置,计数器#1至#4输出IR像素的像素信号,并且响应于RGB成像模式设置,计数器#1至#4输出R、G和B像素的像素信号。
图9是示出根据本技术的第一实施例的固态成像元件200的测距模式下的操作的示例的时序图。假设在定时T0设置测距模式。处理器140停止提供垂直同步信号VSYNC。垂直扫描电路220将复位信号RST提供给每个像素块以初始化计数值。
此外,在定时T1,驱动器120开始提供发光控制信号LCLK,并且发光单元110与该信号同步地发光。此外,在定时T1,像素驱动单元210开始提供与发光控制信号LCLK的相位差为0度的使能信号EN1。然后,在定时T2,像素驱动单元210开始提供与相位差为90度的使能信号EN2。在定时T3,像素驱动单元210开始提供相位差为180度的使能信号EN3。在定时T4,像素驱动单元210开始提供相位差为270度的使能信号EN4。
然后,在特定时间段之后,垂直扫描电路220通过选择信号SEL输出计数值。信号处理电路250基于计数值使用公式1来计算每个像素块的距离。
图10是示出根据本技术的第一实施例的固态成像元件200的成像模式的操作的示例的时序图。假设在定时T10设置成像模式。处理器140在定时T11之后开始提供垂直同步信号VSYNC。
此外,驱动器120停止提供发光控制信号LCLK,并且像素驱动单元210停止提供使能信号EN1至EN4。垂直扫描电路220将复位信号RST提供给每个像素块以初始化计数值。然后,在与垂直同步信号VSYNC同步的定时T12至定时T13的曝光时段中,垂直扫描电路220停止提供复位信号RST。在该时段期间,诸如计数器341的每个计数器对脉冲的数量进行计数,并且垂直扫描电路220通过选择信号SEL输出计数值。信号处理电路250对计数值执行诸如IR分离的处理以生成图像数据。
图11是根据本技术的第一实施例的感测系统100的整体视图的示例。在像素块301中,电路块370和计数器341设置在计数单元330中。
发光单元110与频率高于垂直同步信号VSYNC的频率的发光控制信号LCLK同步地施加不可见光(红外光等)作为照射光。IR像素321光电转换相对于照射光的反射光以生成脉冲信号Pir。R像素315、G像素310和B像素316分别光电转换红色、绿色和蓝色可见光以生成脉冲信号Pr、Pg、Pb。
注意,发光单元110还可以施加除了红外光之外的不可见光(紫外光等)。此外,在像素阵列单元230中,可布置接收除了红色、绿色和蓝色之外的可见光(白色等)的像素。
此外,IR像素321是在权利要求中描述的不可见光像素的示例。R像素315、G像素310和B像素316是在权利要求中描述的可见光像素的示例。
在测距模式下,计数单元330执行用于与使能信号同步地对脉冲信号Pir的数量进行计数的处理。另一方面,在成像模式下,计数单元330执行用于与垂直同步信号VSYNC同步地对脉冲信号Pir、Pr、Pg和Pb的数量进行计数的处理。由于在像素块301中仅设置一个计数器341,因此计数器341以预定顺序对脉冲信号Pir、Pr、Pg和Pb进行计数。
上述控制允许固态成像元件200不仅捕获图像数据,而且使用ToF方法执行距离测量。此外,由于固态成像元件200本身可以执行距离测量,因此没有必要添加使用红外线或激光的测距传感器。与另外添加测距传感器的情况相比,这降低了感测系统100的功耗和成本。
图12是示出根据本技术的第一实施例的感测系统100的操作的示例的流程图。例如,当运行用于距离测量和成像的应用时,开始操作。
感测系统100移动到测距模式,并且发光单元110与发光控制信号LCLK同步地施加照射光(步骤S901)。此外,计数器341与发光控制信号LCLK同步地对脉冲的数量进行计数(步骤S902)。然后,信号处理电路250基于计数值执行距离测量以生成深度图(步骤S903)。
随后,感测系统100移动到成像模式,并且固态成像元件200的计数器341在与垂直同步信号同步的曝光时段内对脉冲的数量进行计数(步骤S904)。信号处理电路250基于布置计数值的图像数据执行诸如面部识别的图像处理(步骤S905)。在步骤S905之后,感测系统100结束操作。
注意,固态成像元件200在距离测量(步骤S903)之后执行成像(步骤S904);然而,固态成像元件200可在成像之后执行距离测量。此外,可以同时执行距离测量和成像。
如上所述,根据本技术的第一实施例,计数单元330对R、G和B像素的脉冲的数量进行计数并且与发光控制信号同步地对IR像素的的数量进行计数,使得可以在捕获图像数据的同时执行距离测量。
[修改示例]
在上述第一实施例中,像素块中的四个像素共享一个计数器341;然而,该配置不允许四个像素并行执行计数。根据第一实施例的修改示例的固态成像元件200与第一实施例的固态成像元件的不同之处在于为每个像素设置计数器。
图13是示出根据本技术的第一实施例的修改示例的像素块301的配置的示例的框图。根据第一实施例的修改示例的像素块301与第一实施例的像素块的不同之处在于像素块301还包括计数器342、343和344以及开关352、353和354。计数器342、343和344设置在计数单元330中。
根据第一实施例的计数器341将计数值作为CNTir输出至开关351。计数器342对脉冲信号Pr的数量进行计数并且将计数值作为CNTr输出至开关352。计数器343和344分别对脉冲信号Pg和Pb的数量进行计数,并将计数值作为CNTg和CNTb分别输出至开关353和354。此外,计数器341、342、343和344分别由复位信号RSTir、RSTr、RSTg和RSTb初始化。
注意,计数器341至344是在权利要求中描述的第一计数器至第四计数器的示例。
第一实施例的开关351根据选择信号SEL(n+1)经由垂直信号线309-(k+1)将计数值CNTir输出至列缓冲器240。开关352根据选择信号SELn经由垂直信号线309-(k+1)将计数值CNTr输出至列缓冲器240。
开关353根据选择信号SELn经由垂直信号线309-k将计数值CNTg输出至列缓冲器240。开关354根据选择信号SEL(n+1)经由垂直信号线309-k将计数值CNTb输出至列缓冲器240。
注意,像素块302至304中的每一个的配置类似于像素块301的配置。
图14是示出根据本技术的第一实施例的修改示例的电路块370的配置的示例的电路图。第一实施例的修改示例的电路块370与第一实施例的电路块370的不同之处在于脉冲信号Pr、Pg、和Pb未被输入至选择器391。根据第一实施例的修改示例的选择器391根据控制信号CTRL选择来自与门381的逻辑积和脉冲信号Pir中的任一个。
图15是根据本技术的第一实施例的修改示例的计数器的操作的说明图。计数器341至344被称为计数器#1至#4。在测距模式下,计数器#1与相位差为0度的使能信号EN1同步地对脉冲的数量进行计数。计数器#2至#4停止计数操作。
在成像模式下,计数器#1至#4与垂直同步信号VSYNC同步地对IR像素、R像素、G像素和B像素中的每一个的脉冲的数量进行计数。并行执行计数。如上所述,由于为每个像素设置计数器,因此四个像素可以对脉冲的数量进行并行计数。与四个像素共享一个计数器的情况相比,这使得能够以高速进行计数。
如上所述,在本技术的第一实施例的修改示例中,由于计数单元330的计数器341至344对脉冲的数量进行并行计数,因此与四个像素共享一个计数器的情况相比,可以缩短计数所需的时间。
<2.第二实施例>
在上述第一实施例中,像素块中的四个像素共享一个计数器341;然而,该配置不允许对可见光像素和IR像素中的每一个并行执行计数。根据第二实施例的固态成像元件200与第一实施例的固态成像元件的不同之处在于为可见光像素和IR像素中的每一个设置计数器。
图16是根据本技术的第二实施例的像素阵列单元230的平面图的示例。在第二实施例的像素阵列单元230中,IR像素321和R像素315-1、315-2和315-3布置在像素块301中。在像素块302中,布置IR像素322和三个G像素。在像素块303中,布置IR像素323和三个G像素。在像素块304中,布置IR像素324和三个B像素。
图17是示出根据本技术的第二实施例的像素块301的配置的示例的框图。根据第二实施例的像素块301与第一实施例的像素块的不同之处在于像素块301还包括计数器342和开关352。计数器342和开关352设置在计数单元330中。
第二实施例的电路块370将输入信号CIN1输出到计数器341,并且将输入信号CIN2输出到计数器342。
根据第二实施例的计数器341对输入信号CIN1的数量进行计数,并将计数值作为CNT1输出至开关351。计数器342对输入信号CIN2的数量进行计数,并将计数值作为CNT2输出至开关352。注意,计数器341和342是在权利要求中描述的第一计数器和第二计数器的示例。
开关351根据选择信号SEL经由垂直信号线309-2将计数值CNT1输出至列缓冲器240。开关352根据选择信号SEL经由垂直信号线309-1将计数值CNT2输出至列缓冲器240。
注意,像素块302至304中的每一个的配置类似于像素块301的配置。
图18是示出根据本技术的第二实施例的电路块370的配置的示例的电路图。根据第二实施例的电路块370与第一实施例的电路块的不同之处在于电路块370还包括选择器392。此外,没有来自可见光像素的脉冲信号被输入到第二实施例的选择器391。选择器391根据控制信号CTRL1选择来自与门381的逻辑积和脉冲信号Pir中的任一个,并且将结果作为输入信号CIN1输出至计数器341。
选择器392根据控制信号CTRL2选择来自R像素315-1、315-2和315-3的脉冲信号Pr1、Pr2和Pr3中的任一个,并且将结果作为输入信号CIN2输出至计数器342。选择器392的示例例如包括多路复用器。
如图16至图18所示,由于计数器为可见光像素和IR像素中的每一个设置,因此计数单元330可并行地对可见光像素的脉冲的数量和IR像素321的脉冲的数量进行计数。与可见光像素和IR像素321共享一个计数器的情况相比,这使得能够以高速进行计数。
如上所述,根据本技术的第二实施例,由于计数器341对IR像素的脉冲的数量进行计数,并且计数器342对可见光像素的脉冲的数量进行计数,因此与这些像素共享一个计数器的情况相比,可以缩短计数所需的时间。
[修改示例]
在上述第二实施例中,对三个可见光像素中的每一个的脉冲数量进行计数,并且该配置使得难以缩短计数所需的时间。根据第二实施例的修改示例的固态成像元件200与第二实施例的固态成像元件的不同之处在于执行像素相加。
根据第二实施例的修改示例的像素阵列单元230的平面图类似于第二实施例的平面图。此外,在第二实施例的修改示例中,为每个像素块设置一个计数器。
图19是示出根据本技术的第二实施例的修改示例的电路块370的配置的示例的电路图。根据第二实施例的修改示例的电路块370与第二实施例的电路块的不同之处在于设置或(逻辑和,OR)门371而不是选择器392。
或门371计算脉冲信号Pr1、Pr2和Pr3的逻辑和,以将逻辑和输出至选择器391。或门371可以对R像素315-1、315-2和315-3执行像素相加。
根据第二实施例的修改示例的选择器391接收来自与门381的逻辑积、脉冲信号Pir、脉冲信号Pr1、Pr2和Pr3以及来自或门371的逻辑和的输入。选择器391根据控制信号CTRL选择这些信号中的任一个,并且将结果作为输入信号CIN输出到计数器341。
此外,在第二实施例的修改示例中,成像模式包括执行像素相加的相加模式和不执行像素相加的非相加模式。在相加模式下,选择器391依次选择来自或门371的逻辑和以及脉冲信号Pir,并且在非相加模式下,选择器391依次选择脉冲信号Pir、Pr1、Pr2和Pr3。像素相加使得能够以高速对脉冲的数量进行计数。
如上所述,根据本技术的第二实施例的修改示例,由于选择器391在相加模式下选择来自或门371的逻辑和,因此可以对三个像素执行像素相加。通过该布置,可以缩短对脉冲的数量进行计数所需的时间。
<3.第三实施例>
在上述第一实施例中,IR像素321至324彼此相邻布置;然而,该布置可能使去马赛克复杂化。根据第三实施例的固态成像元件200与第一实施例的固态成像元件的不同之处在于IR像素布置在拜耳阵列中G像素的位置处。
图20是根据本技术的第三实施例的像素阵列单元的平面图的示例。在第三实施例的像素阵列单元230中,IR像素321被布置在像素块301的左下方或右上方(图20中的左下方)。IR像素322、323及324也布置在对应像素块的左下方或右上方(图20中的左下方)。换句话说,IR像素布置在拜耳阵列中G像素的位置处。通过该布置,在后续电路(例如,信号处理电路250)执行去马赛克的情况下,可以使用同一块中的G像素的信号来内插IR像素。这简化了去马赛克。
如上所述,在本技术的第三实施例中,由于IR像素布置在每个像素块中的拜耳阵列中G像素的位置处,因此可以简化去马赛克。
<4.第四实施例>
在上述第一实施例中,IR像素321、322、323及324以二维格状图案布置;然而,在阵列中,存在IR像素的数量在预定方向(例如,水平方向)上不足的可能性。根据第四实施例的固态成像元件200与第一实施例的固态成像元件的不同之处在于仅沿预定方向布置IR像素322、323和324。
图21是根据本技术的第四实施例的像素阵列单元230的平面图的示例。在第四实施例的像素阵列单元230中,单个IR像素(诸如IR像素322、323和324)沿预定方向(水平方向)彼此相邻布置。例如,除了布置IR像素的线以外,R、G以及B像素布置在拜耳阵列中。
如图21所示,沿诸如水平方向的方向布置IR像素,与以二维格状图案布置IR像素的情况相比,这增加了布置方向上的IR像素的数量。这提高了该方向上的距离测量的精度。
此外,在第四实施例的成像模式中,计数单元330不对IR像素的脉冲的数量进行计数,而是仅对R、G以及B像素的脉冲的数量进行计数。然后,信号处理电路250通过使用布置有IR像素的线周围的像素信号来内插图像数据中的线。
如上所述,在本技术的第四实施例中,由于IR像素321、322、323及324沿预定方向布置,因此与以二维格状图案布置IR像素的情况相比,在布置方向上的IR像素的数量增加。这提高了布置有IR像素的方向上的距离测量的精度。
[修改示例]
在上述第四实施例中,IR像素321、322、323和324沿预定方向彼此相邻布置;然而,在该配置中,存在要内插的像素的数量增加并且图像质量劣化的可能性。根据第四实施例的修改示例的固态成像元件200与第四实施例的固态成像元件的不同之处在于可见光像素插入在IR像素之间。
图22是根据本技术的第四实施例的修改示例的像素阵列单元230的平面图的示例。根据第四实施例的修改示例的像素阵列单元230被划分为包括像素块301至307的多个像素块。
沿预定方向(例如,水平方向)布置像素块301至307。像素块301具有以4行×4列布置的16个像素。其中,G像素布置在左上方的2行×2列和右下方的2行×2列中。在右上方的2行×2列中,布置三个R像素和IR像素。此外,IR像素布置在四个像素的右下方。在左下方的2行×2列中,布置B像素。
像素块302具有以4行×4列布置的16个像素。其中,G像素布置在左上方的2行×2列和右下方的2行×2列中。在右上方的2行×2列中,布置R像素,并且在左下方的2行×2列中,布置B像素。这样的阵列被称为Quadra阵列。在Quadra阵列中,信号处理电路250可以通过在暗处等执行四个相邻的可见光像素的像素相加来提高灵敏度。
像素块303、305和307中的每一个的阵列类似于像素块301的阵列。像素块304和306中的每一个的阵列类似于像素块302的阵列。
此外,像素块301的IR像素的脉冲数量与相位差为0度的使能信号EN1同步地计数,并且像素块303的IR像素的脉冲数量与相位差为90度的使能信号EN2同步地计数。像素块305的IR像素的脉冲的数量与相位差为180度的使能信号EN3同步地计数,并且像素块307的IR像素的脉冲的数量与相位差为270度的使能信号EN4同步地计数。
可见光像素插入在图22所示的阵列中的IR像素之间。通过该布置,与IR像素彼此相邻布置的情况相比,在成像模式下要被内插的像素的数量减少,并且可以提高图像质量。
如上所述,在本技术的第四实施例的修改示例中,由于沿预定方向布置IR像素并且在IR像素之间插入可见光像素,因此与IR像素彼此相邻布置的情况相比,可以减少要插值的像素的数量。这提高了图像数据的图像质量。
<5.第五实施例>
在上述第一实施例中,R、G和B像素以及IR像素被布置在单个像素块301至304中;然而,在该配置中,距离测量的最小单位是16个像素,并且存在测距点不足的可能性。根据第五实施例的固态成像元件200与第一实施例的固态成像元件的不同之处在于测距点的数量增加。
图23是根据本技术的第五实施例的像素阵列单元230的平面图的示例。根据第五实施例的像素阵列单元230被划分为包括像素块301至304的多个像素块。
在左上方的像素块301中,以2行×2列布置IR像素321至324。在右上方的像素块302中,R像素315、G像素310-1、G像素310-2和B像素316布置在拜耳阵列中。左下方的像素块303的阵列类似于像素块302的阵列。右下方的像素块304的阵列类似于像素块301的阵列。
通过图23所示的布置,后续级的信号处理电路250可以确定16行×16列的区域中的两个像素块的距离。即,测距点的数量与第一实施例相比加倍。
图24是示出根据本技术的第五实施例的布置有可见光像素的像素块302的配置的示例的框图。像素块302包括R像素315、G像素310-1、G像素310-2、B像素316、计数器341至344以及开关351至354。计数器341至344设置在计数单元330中。
第五实施例的计数器341对来自R像素315的脉冲信号Pr的数量进行计数,并且将计数值CNTr输出至开关351。第五实施例的计数器342对来自G像素310-1的脉冲信号Pg1的数量进行计数,并且将计数值CNTg1输出至开关352。第五实施例的计数器343对来自G像素310-2的脉冲信号Pg2的数量计数,并且将计数值CNTg2输出至开关353。第五实施例的计数器344对来自B像素316的脉冲信号Pb的数量进行计数,并且将计数值CNTb输出至开关354。
此外,计数器341、342、343和344分别由复位信号RSTr、RSTg1、RSTg2和RSTb初始化。
第五实施例的开关351根据选择信号SELn经由垂直信号线309-k将计数值CNTr输出至列缓冲器240。第五实施例的开关352根据选择信号SELn经由垂直信号线309-(k+1)将计数值CNTg1输出至列缓冲器240。第五实施例的开关353根据选择信号SEL(n+1)经由垂直信号线309-k将计数值CNTg2输出至列缓冲器240。第五实施例的开关354根据选择信号SEL(n+1)经由垂直信号线309-(k+1)将计数值CNTb输出至列缓冲器240。
图25是示出根据本技术的第五实施例的布置有IR像素的像素块301的配置的示例的框图。像素块301包括IR像素321至324、电路块370、计数器345至348以及开关355至358。计数器345至348设置在计数单元330中。
在测距模式下,第五实施例的电路块370与相位差为0度的使能信号EN1同步地将脉冲信号的逻辑和作为输入信号CINir1提供给计数器345。此外,在测距模式下,电路块370分别与相位差分别为90度、180度和270度的使能信号EN2至EN4同步地将脉冲信号的逻辑和作为输入信号CINir2至CINir4提供给计数器346至348。
计数器345至348分别对输入信号CINir1至CINir4的数量进行计数。这些计数器将计数值作为CNTir1至CNTir4分别输出至开关355至358。
开关355到358的配置类似于布置有可见光像素的像素块302中的开关351到354的配置。
图26是示出根据本技术的第五实施例的电路块370的配置的示例的电路图。第五实施例的电路块370包括或门371至374和与门381至384。
第五实施例的或门371将脉冲信号Pin1至Pin4的逻辑和输出至与门381。或门372至374将脉冲信号Pin1至Pin4的逻辑和输出至与门382至384。
第五实施例的与门381计算使能信号EN1和或门371的输出的逻辑积,并将该逻辑积作为输入信号CINir1输出到计数器345。与门382至384分别计算使能信号EN2至EN4和或门372至374的输出的逻辑积,并且将逻辑积作为输入信号CINir2至CINir4分别输出至计数器346至348。
图27是根据本技术的第五实施例的计数器的操作的说明图。布置有R、G和B像素的像素块302的计数器341至344分别被称为计数器#1至#4,并且布置有IR像素的像素块301的计数器345至348分别被称为计数器#5至#8。
在测距模式下,计数器#5至#8分别对与相位差为0度、90度、180度和270度的使能信号EN1至EN4同步的脉冲的数量进行计数。计数器#1至#4停止计数操作。
另一方面,在成像模式下,计数器#1至#4与垂直同步信号VSYNC同步地对R像素315、G像素310-1、G像素310-2和B像素316中的每一个的脉冲数量进行计数。计数器#5至#8停止计数操作。
如图24至图27所示。由于为每个像素设置计数器,因此与四个像素共享一个计数器的第一实施例相比,可以以高速执行计数。
如上所述,根据本技术的第五实施例,信号处理电路250计算16行×16列的区域中的两个像素块的距离,并且因此,可以增加测距点的数量。此外,由于为每个像素设置计数器,因此与四个像素共享一个计数器的情况相比,可以缩短计数所需的时间。
[第一修改示例]
在上述第五实施例中,为每个像素设置计数器;然而,该配置使得难以使像素小型化。根据第五实施例的第一修改示例的固态成像元件200与第五实施例的固态成像元件的不同之处在于多个可见光像素共享计数器。
图28是示出根据本技术的第五实施例的第一修改示例的布置有可见光像素的像素块302的配置的示例的框图。根据第五实施例的第一修改示例的像素块302与第五实施例的像素块的不同之处在于像素块302不包括选择器342至344和开关352至354。此外,像素块302还包括选择器393。
选择器393根据控制信号CTRL选择脉冲信号Pr、Pg1、Pg2和Pb中的任一个,并且将结果输出至计数器341。此外,根据第五实施例的修改示例的计数器341将计数值作为CNT输出至开关351。
如图28所示,由于选择器393选择四个像素的脉冲信号中的任一个,因此四个像素可共享计数器341。减少计数器的数量使得容易增加像素的数量。
如上所述,根据本技术的第五实施例的第一修改示例,由于选择器393选择四个像素的脉冲信号中的任一个,因此四个像素可以共享一个计数器341。这促进增加像素的数量。
[第二修改示例]
在上述第五实施例中,使用布置有IR像素的像素块301中的具有固定相位的使能信号EN1至EN4来计算距离;然而,在该配置中,测距点可能不足。根据第五实施例的第二修改示例的固态成像元件200与第五实施例的固态成像元件的不同之处在于使能信号的相位被切换以增加测距点的数量。
图29是示出根据本技术的第五实施例的第二修改示例的布置有IR像素的像素块301的配置的示例的框图。在第五实施例的第二修改示例中,计数器345和348与用于将相位差从0度切换到180度的使能信号同步地对脉冲的数量进行计数。计数器346和347与用于将相位差从90度切换到270度的使能信号同步地对脉冲的数量进行计数。
注意,计数器345和348是在权利要求中描述的第一计数器的示例,并且计数器346和347是在权利要求中描述的第二计数器的示例。
图30是示出根据本技术的第五实施例的第二修改示例的固态成像元件200的测距模式的操作的示例的时序图。假设在定时T0设置测距模式。处理器140停止提供垂直同步信号VSYNC。垂直扫描电路220将复位信号RSTir提供给计数器345至348以初始化计数值。
此外,在定时T1,驱动器120开始提供发光控制信号LCLK,并且发光单元110与该信号同步地发光。此外,在定时T1,像素驱动单元210开始提供与发光控制信号LCLK的相位差为0度的使能信号EN1和EN4。然后,在定时T2,像素驱动单元210开始提供相位差为90度的使能信号EN2和EN3。
然后,在特定时间段之后,垂直扫描电路220通过选择信号输出计数值。信号处理电路250保持这些计数值。
然后,在定时T3,垂直扫描电路220将重置信号RSTir提供给计数器345至348以初始化计数值。在定时T4,像素驱动单元210开始提供与发光控制信号LCLK的相位差为180度的使能信号EN1和EN4。然后,在定时T5,像素驱动单元210开始提供相位差为270度的使能信号EN2和EN3。
然后,在特定时间段之后,垂直扫描电路220通过选择信号输出计数值。信号处理电路250基于所保持的计数值和所输出的计数值计算每个像素块的距离。
如图30所示,像素驱动单元210提供使能信号,在该使能信号中,多个设置值(90度、270度等)中的每一个被依次设置为相位差。以这种方式切换相位差,这使得能够在像素块301中设置两个测距点,并且与第五实施例相比,测距点的数量可以加倍。
如上所述,根据本技术的第五实施例的第二修改示例,由于像素驱动单元210切换使能信号的相位差,因此可以增加测距点的数量。
[第三修改示例]
在上述第五实施例中,计数器在测距模式下以4个像素为单位对脉冲的数量进行计数。然而,在该配置中,随着要计数的像素的数量增加,计数值的最大值增加,这增大了计数值的数据大小。根据第五实施例的第三修改示例的固态成像元件200与第五实施例的固态成像元件的不同之处在于要计数的像素的数量在四个像素与两个像素之间切换,并且使得数据大小可变。
图31是根据本技术的第五实施例的第三修改示例的像素阵列单元的平面图的示例。在第五实施例的第三修改示例中,在像素块301中,与0度的使能信号EN1同步地对脉冲的数量进行计数。此外,在像素块303中,与90度的使能信号EN2同步地对脉冲的数量进行计数。此外,在其他两个像素块的每一个中,与180度和270度的使能信号EN2同步地对脉冲的数量进行计数。在图31中,省略对应于180度的像素块和对应于270度的像素块。
图32是示出根据本技术的第五实施例的第三修改示例的电路块370的配置示例的电路图。根据第五实施例的第三修改示例的电路块370与第五实施例的电路块的不同之处在于电路块370不包括或门374和与门383和384,而是还包括选择器391。
根据第五实施例的第三修改示例的或门371将脉冲信号Pir1和Pir2的逻辑和输出至与门381。根据第五实施例的第三修改示例的或门372将脉冲信号Pir3和Pir4的逻辑和输出至与门382。
根据第五实施例的第三修改示例的与门381将来自或门371的信号和使能信号EN1a的逻辑积输出至或门373。根据第五实施例的第三修改示例的与门382将来自或门372的信号和使能信号EN1b的逻辑积输出至或门373。
根据第五实施例的第三修改示例的或门373将来自与门381和382中的每一个的信号的逻辑和输出至选择器391。
根据第五实施例的第三修改示例的选择器391根据控制信号CTRL选择脉冲信号Pir1和来自或门373的信号中的任一个,并且将结果作为输入信号CINir1输出至计数器345。
此外,脉冲信号Pir2至Pir4分别作为输入信号CINir2至CINir4直接提供给计数器346至348。
包括图32所示的或门371至373以及与门381和382的逻辑电路输出四个像素的脉冲信号中的两个或更多个的逻辑和。
注意,计数器345至348是权利要求中描述的第五计数器至第八计数器的示例。
图33是根据本技术的第五实施例的第三修改示例的像素驱动单元210的操作的说明图。图33中的控制对应于像素块301。在第五实施例的第三修改示例中,在测距模式下设置四像素相加模式或者二像素相加模式。四像素相加模式是在脉冲信号中要计数的像素的数量是四个像素的模式,并且二像素相加模式是在脉冲信号中要计数的像素的数量是两个像素的模式。
在四像素相加模式下,像素驱动单元210提供相位差为0度的信号作为使能信号EN1a和EN1b。在两像素相加模式下,像素驱动单元210提供相位差为0度的信号作为使能信号EN1a和EN1b中的一个。不提供使能信号EN1a和EN1b中的另一个。此外,在成像模式下,不提供使能信号。注意,除了相位差被设置为90度等以外,除了像素块301以外的块的控制类似于图33所示的像素块301的控制。
此外,在测距模式下,像素驱动单元210将控制信号CTRL设置为“0”并且使选择器391选择来自或门373的信号。另一方面,在成像模式下,像素驱动单元210将控制信号CTRL设置为“1”,并且使选择器391选择脉冲信号Pir1。
通过图32和图33所示的配置,电路块370输出像素块301中的四个像素之中的设置数量的像素(四个像素或两个像素)的脉冲信号的逻辑和,并且计数器345对其逻辑和进行计数。通过该布置,可以在四个像素与两个像素之间切换要计数的像素的数量,并且可以改变计数值的数据大小。
注意,像素驱动单元210在四个像素与两个像素之间切换要计数的像素的数量;然而,本技术不限于该配置,并且例如,要计数的像素的数量可在一个像素、三个像素等之间切换。
如上所述,根据本技术的第五实施例的第三修改示例,由于计数器345对像素块301中的四个像素之中的设定数量的像素的脉冲信号的逻辑和进行计数,因此可改变计数值的数据大小。
[第四修改示例]
在上述第五实施例的第三修改示例中,在像素块301中,与0度的使能信号EN1同步地执行计数;然而,在该配置中,需要四个像素块来获得一个测距点,并且存在测距点不足的可能性。根据第五实施例的第四修改示例的固态成像元件200与第五实施例的第三修改示例的固态成像元件的不同之处在于切换使能信号之间的相位差。
图34是示出根据本技术的第五实施例的第四修改示例的电路块370的配置示例的电路图。根据第五实施例的第四修改示例的电路块370与第五实施例的第三修改示例的电路块的不同之处在于电路块370不包括或门372至374以及与门383和384。此外,像素块370还包括选择器391。
根据第五实施例的第四修改示例的或门371将脉冲信号Pir1至Pir4的逻辑和输出至与门381和382。
根据第五实施例的第四修改示例的与门381将来自或门371的信号与使能信号EN1的逻辑积输出至选择器391。根据第五实施例的第四修改示例的与门382将来自或门371的信号与使能信号EN2的逻辑积输出至选择器391。此外,使能信号EN1的相位差从0度切换到180度。使能信号EN2的相位差从90度切换到270度。
根据第五实施例的第四修改示例的选择器391根据控制信号CTRL选择脉冲信号Pir1、来自与门381的信号以及来自与门382的信号中的任一个,并且将结果作为输入信号CINir1输出至计数器345。
包括图34所示的或门371以及与门381和382的逻辑电路输出四个像素中的每一个的脉冲信号的逻辑和与使能信号EN1和EN2的逻辑积。
图35是根据本技术的第五实施例的第四修改示例的计数器的操作的说明图。布置有R、G和B像素的像素块302的计数器341到344分别被称为计数器#1到#4,并且布置有IR像素的像素块301的计数器345到348分别被称为计数器#5到#8。
在测距模式下,计数器#5与相位差为0度或180度的使能信号EN1同步地对脉冲的数量进行计数,并且然后与相位差为90度或270度的使能信号EN2同步地对脉冲的数量进行计数。计数器#5以外的计数器停止计数操作。
另一方面,在成像模式下,计数器#1至#4与垂直同步信号VSYNC同步地对R像素、G像素和B像素中的每一个的脉冲的数量依次进行计数。此外,计数器#5至#8对IR像素321至324中的每一个的脉冲的数量进行计数。
注意,还可以分别使用两个成像模式:IR成像模式,用于捕获IR图像;以及成像模式,用于捕获布置有R、G以及B像素的RGB图像。在这种情况下,仅需要在捕获IR图像时,仅计数器#5至#8对脉冲的数量进行计数,并且在捕获RGB图像时,仅计数器#1至#4对脉冲的数量进行计数。
如图35所示,由于计数器#5(计数器345)与0度、90度、180度和270度的使能信号同步地对脉冲的数量进行计数,因此信号处理电路250可以测量布置有IR像素的每个像素块的距离。通过该布置,与需要四个像素块以便获得一个测距点的第五实施例的第三修改示例相比,可以增加测距点的数量。
如上所述,根据本技术的第五实施例的第四修改示例,由于计数器345与0度、90度、180度和270度的使能信号同步地对脉冲的数量进行计数,因此可以测量每个像素块的距离。
[第五修改示例]
在上述第五实施例中,为每个像素设置计数器;然而,该配置使得难以使像素小型化。根据第五实施例的第五修改示例的固态成像元件200与第五实施例的固态成像元件的不同之处在于切换使能信号之间的相位差以减少计数器的数量。
图36是示出根据本技术的第五实施例的第五修改示例的布置有IR像素的像素块301的配置的示例的框图。根据第五实施例的像素块301与第五实施例的像素块的不同之处在于像素块301不包括计数器347和348以及开关357和358。
图37是示出根据本技术的第五实施例的第五修改示例的电路块370的配置示例的电路图。根据第五实施例的第五修改示例的电路块370与第五实施例的电路块的不同之处在于电路块370不包括或门372和374以及与门383和384,而是还包括选择器391和开关395。
根据第五实施例的第五修改示例的或门371将脉冲信号Pir1至Pir4的逻辑和输出至与门381和382。
根据第五实施例的第五修改示例的与门381将来自或门371的信号与使能信号EN1的逻辑积输出至选择器391。根据第五实施例的第五修改示例的与门382将来自或门371的信号与使能信号EN2的逻辑积输出至开关395。此外,使能信号EN1的相位差从0度切换到180度。使能信号EN2的相位差从90度切换到270度。
包括上述或门371和与门381和382的逻辑电路输出四个像素中的每一个的脉冲信号的逻辑和与使能信号EN1和EN2的逻辑积。
根据第五实施例的第五修改示例的选择器391根据控制信号CTRL1选择脉冲信号Pir1和来自与门381的信号中的任一个并且将结果作为输入信号CINir1输出至计数器345。
开关395根据控制信号CTRL2将来自与门382的信号作为输入信号CINir2输出至计数器346。
图38是根据本技术的第五实施例的第五修改示例的计数器的操作的说明图。布置有R、G和B像素的像素块302的计数器341至344分别被称为计数器#1至#4,并且布置有IR像素的像素块301的计数器345和346分别被称为计数器#5和#6。
在测距模式下,计数器#5与相位差为0度或180度的使能信号EN1同步地对脉冲的数量进行计数,并且计数器#6与相位差为90度或270度的使能信号EN2同步地对脉冲的数量进行计数。计数器#1至#4停止计数操作。
另一方面,在成像模式下,计数器#1至#4与垂直同步信号VSYNC同步地对R像素315、G像素310-1、G像素310-2和B像素316中的每一个的脉冲的数量进行计数。计数器#5对IR像素321的脉冲的数量进行计数。计数器#6停止计数操作。
如图36至图38所示,由于像素驱动单元210切换使能信号EN1与EN2之间的相位差,因此像素块301的计数器的数量可以减少到两个。
注意,也可以分别使用两个成像模式:IR成像模式,用于捕获IR图像;以及成像模式,用于捕获RGB图像。在这种情况下,仅需要在捕获IR图像时,仅计数器#5对脉冲的数量进行计数,并且在捕获RGB图像时,仅计数器#1至#4对脉冲的数量进行计数。
如上所述,根据本技术的第五实施例的第五修改示例,由于像素驱动单元210切换使能信号EN1与EN2之间的相位差,因此像素块301的计数器的数量可以减少到两个计数器345和346。
<6.第六实施例>
在上述第一实施例中,可见光像素布置在拜耳阵列中;然而,可以提供接收经受瞳孔分割的一对入射光的可见光像素,并且像素信号可以用于相位差自动聚焦(AF)。根据第六实施例的固态成像元件200与第五实施例的固态成像元件200的不同之处在于可见光像素接收经受瞳孔分割的一对入射光。
图39是根据本技术的第六实施例的像素阵列单元230的平面图的示例。在第六实施例的像素阵列单元230中,R像素315-1至315-4以2行×2列布置在右上方的像素块302中。在左下方的像素块303中,四个B像素以2行×2列布置。在右下方的像素块304中,四个G像素以2行×2列布置。图39所示的阵列对应于Quadra阵列,除了用IR像素321至324替换四个G像素。
此外,R像素315-1和315-2接收经受瞳孔分割的一对入射光中的一个,并且R像素315-3和315-4接收该对入射光中的另一个。后续电路(例如,信号处理电路250)使用像素的像素信号,使得可以通过图像平面相位差方法实现AF。注意,像素阵列单元230的所有R像素中的仅一部分用于AF。此外,G像素和B像素的信号可用于AF,而不是R像素。
图40是示出根据本技术的第六实施例的布置有可见光像素的像素块302的配置的示例的框图。根据第六实施例的像素块302与第五实施例的像素块的不同之处在于像素块302不包括计数器343和344以及开关353和354,而是还包括电路块400。
注意,布置有不用于AF的可见光像素的像素块的配置类似于第五实施例的配置,并且为每个像素设置计数器。
电路块400计算来自R像素315-1和315-2的脉冲信号Pr1和Pr2的逻辑和以及来自R像素315-3和315-4的脉冲信号Pr3和Pr4的逻辑和。电路块400将脉冲信号Pr1或Pr2或其逻辑和作为输入信号CINr1输出到计数器341。此外,电路块400将脉冲信号Pr3或Pr4或其逻辑和作为输入信号CINr2输出到计数器342。
根据第六实施例的计数器341对输入信号CINr1的数量进行计数,并且将计数值作为CNTr1输出至开关351。根据第六实施例的计数器342对输入信号CINr2的数量进行计数,并且将计数值作为CNTr2输出至开关352。此外,计数器341和342分别由复位信号RSTr1和RSTr2初始化。
第六实施例的开关351根据选择信号SEL经由垂直信号线309-1将计数值CNTr1输出至列缓冲器240。第六实施例的开关352根据选择信号SEL经由垂直信号线309-2将计数值CNTr2输出至列缓冲器240。
图41是示出根据本技术的第六实施例的电路块400的配置的示例的电路图。电路块400包括或门411和412以及选择器421和422。
或门411将脉冲信号Pr1和Pr2的逻辑和输出至选择器421。或门412将脉冲信号Pr3和Pr4的逻辑和输出至选择器422。注意,或门411和412是权利要求中描述的第一逻辑和门和第二逻辑和门的示例。
选择器421根据控制信号CTRL将脉冲信号Pr1、脉冲信号Pr2以及或门411的输出中的任一个作为输入信号CINr1输出至计数器341。选择器422根据控制信号CTRL将脉冲信号Pr3、脉冲信号Pr4以及或门412的输出中的任一个作为输入信号CINr2输出到计数器342。注意,选择器421和422是权利要求中描述的第一选择器和第二选择器的示例。
选择器421和422在执行AF的情况下选择逻辑和,并在不执行AF的情况下依次选择除了逻辑和之外的脉冲信号。然后,在选择逻辑和时,信号处理电路250基于R像素对中的每一个的输出波形,通过图像平面相位差方法检测焦点。
如图39至图41所示,可见光像素接收经受瞳孔分割的一对入射光;从而信号处理电路250可以以图像平面相位差方法执行AF。
注意,在第六实施例中,第五实施例的第二修改示例可应用于布置有AF中未使用的可见光像素的像素块。
此外,在第六实施例中,选择器421和422还可以输出两个可见光像素(R像素315-1和315-2等)的逻辑和作为通过将这两个像素相加而获得的值。
如上所述,根据本技术的第六实施例,由于可见光像素接收经受瞳孔分割的一对入射光,因此可以使用像素信号通过图像平面相位差方法执行AF。
[修改示例]
在上述第六实施例中,信号处理电路250使用R像素315-1至315-4的像素信号等执行AF;然而,不能执行四像素相加。根据第六实施例的修改示例的固态成像元件200与第六实施例的固态成像元件的不同之处在于对四个像素执行像素相加。
图42是示出根据本技术的第六实施例的修改示例的电路块400的配置的示例的电路图。根据第六实施例的修改示例的电路块400与第六实施例的电路块的不同之处在于电路块400还包括或门413。
或门413将来自各个或门411和412的信号的逻辑和输出至选择器421。注意,或门413是权利要求中描述的第三逻辑和门的示例。
此外,根据第六实施例的修改示例的选择器421根据控制信号CTRL1选择来自或门413的信号、脉冲信号Pir1、脉冲信号Pir2、以及或门411的输出中的任一个。根据第六实施例的修改示例的选择器422根据控制信号CTRL2选择信号。
此外,在第六实施例的修改示例中,成像模式包括执行像素相加的相加模式和不执行像素相加的非相加模式。
通过图42所示的配置,在相加模式中,选择器421可以输出来自或门413的信号作为通过将四个像素相加而获得的值。此外,在相加模式下,选择器421和422可以输出来自或门411和412的信号作为通过将两个像素相加而获得的值。这使得能够在相加模式下对两个像素或四个像素进行相加。
如上所述,根据本技术的第六实施例的修改示例,由于或门将四个像素的脉冲信号的逻辑和输出至选择器421,因此在相加模式下,选择器421可以输出通过将四个像素相加而获得的值。
<7.第七实施例>
在上述第六实施例中,IR像素和可见光像素彼此相邻布置在2行×2列的像素块中;然而,IR像素等可布置在比2行×2列的区域大的区域中。根据第七实施例的固态成像元件200与第六实施例的固态成像元件的不同之处在于IR像素等布置在比2行×2列的区域大的区域中。
图43是根据本技术的第七实施例的像素阵列单元230的平面图的示例。在第七实施例的像素阵列单元230中,以4行×4列布置包括IR像素321至324的16个IR像素。在按每2行×2列计算距离的情况下,在该区域中获得四个测距点。信号处理电路250可以通过计算四个测距点的测量值的平均值或总和来降低深度图中的噪声。注意,计数器还可以对0度、90度、180度和270度的四个相位以上的脉冲的数量进行计数。
此外,R、G和B像素在拜耳阵列中以4行×4列彼此相邻地布置。
在第七实施例中,包括布置有IR像素的区域的计数器的配置类似于第五实施例中布置有IR像素的像素块的配置。包括布置有可见光像素的区域的计数器的配置类似于第五实施例中布置有可见光像素的像素块的配置。
注意,第五实施例的第二修改示例至第五修改示例、第六实施例和第六实施例的修改示例中的任一个可应用于第七实施例。
如上所述,根据本技术的第七实施例,由于IR像素布置在4行×4列的区域中,因此可以获取每个区域的四个测距点。计算测距点的平均值,使得可以降低噪声。
<8.第八实施例>
在上述第七实施例中,可见光像素在拜耳阵列中布置在4行×4列的区域中;然而,在该配置中,存在像素的灵敏度不足的可能性。根据第八实施例的固态成像元件200与第七实施例的固态成像元件200的不同之处在于可见光像素以Quadra阵列布置。
图44是根据本技术的第八实施例的像素阵列单元230的平面图的示例。第八实施例的像素阵列单元230与第七实施例的像素阵列单元230的不同之处在于可见光像素以Quadra阵列布置。
在Quadra阵列中,信号处理电路250可以通过在暗处等执行四个相邻的可见光像素的像素相加来提高灵敏度。
注意,第五实施例的第二修改示例至第五修改示例、第六实施例和第六实施例的修改示例中的任一个可应用于第七实施例。
如上所述,根据本技术的第八实施例,由于可见光像素以Quadra阵列布置,因此信号处理电路250可以通过执行四个相邻像素的像素相加来提高灵敏度。
<移动对象的应用示例>
根据本公开的技术(本技术)可应用于各种产品。例如,根据本公开的技术可实现为安装在任何类型的移动对象上的距离测量装置,如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动体、飞机、无人机、船舶、机器人等。
图45是描述作为可应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统的示意性配置的示例的框图。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图45所示的示例中,车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。另外,微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053被示出为集成控制单元12050的功能配置。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如,驱动系统控制单元12010用作用于生成车辆的驱动力的驱动力生成装置(诸如内燃机、驱动马达等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于生成车辆的制动力的制动装置等的控制装置。
车身系统控制单元12020根据各种程序来控制设置在车身上的各种装置的操作。例如,车身系统控制单元12020用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如头灯、倒车灯、制动灯、转向信号、雾灯等的各种灯的控制装置。在这种情况下,从作为钥匙的替代的移动装置发送的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号,并且控制车辆的门锁装置、电动车窗装置、灯等。
车外信息检测单元12030检测关于包括车辆控制系统12000的车辆的外部的信息。例如,车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031对车辆的外部的图像进行成像,并接收所成像的图像。基于所接收的图像,车外信息检测单元12030可以执行检测诸如人、车辆、障碍物、标志、路面上的文字等的对象的处理、或者检测其距离的处理等。
成像部12031是接收光并且输出对应于所接收的光的光量的电信号的光学传感器。成像部12031可以输出电信号作为图像,或者可以输出电信号作为关于测量距离的信息。此外,成像部12031接收的光可以是可见光,或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆的内部的信息。车内信息检测单元12040例如连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括对驾驶员进行成像的相机。基于从驾驶员状态检测部12041输入的检测信息,车内信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的集中度,或者可以确定驾驶员是否打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆的内部或外部的信息来计算驱动力生成装置、转向机构或制动装置的控制目标值,并且向驱动系统控制单元12010输出控制命令。例如,微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制,该功能包括车辆的防碰撞或减震、基于跟随距离的跟随行驶、维持行驶的车辆速度、车辆碰撞的警告、车辆偏离车道的警告等。
另外,微型计算机12051通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆的外部或内部的信息来控制驱动力生成装置、转向机构、制动装置等,可以执行用于自动驾驶的协作控制,这使得车辆不依赖于驾驶员的操作等而自动行驶。
另外,微型计算机12051可以基于由车外信息检测单元12030获得的关于车辆的外部的信息,向车身系统控制单元12020输出控制命令。例如,微型计算机12051可以通过根据由车外信息检测单元12030检测的前方车辆或对面车辆的位置,控制头灯以从远光改变到近光来执行旨在防止眩光的协作控制。
声音/图像输出部12052将声音和图像中的至少一个的输出信号发送到输出装置,该输出装置能够视觉地或听觉地将信息通知给车辆的乘员或车辆外部。在图45的示例中,音频扬声器12061、显示部12062和仪表面板12063被示出为输出装置。例如,显示部12062可包括板上显示器和平视显示器中的至少一个。
图46是描述成像部12031的安装位置的示例的示图。
在图46中,成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105例如设置在车辆12100的前鼻、侧视镜、后保险杠和后门以及车辆内部内的挡风玻璃的上部等的位置。设置在前鼻的成像部12101和设置在车辆内部内的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。设置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。设置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。设置在车辆内部内的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及,图46描述了成像部12101至12104的成像范围的示例。成像范围12111表示设置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门的成像部12104的成像范围。例如,通过叠加由成像部12101至12104成像的图像数据来获得从上方观看的车辆12100的鸟瞰图像。
成像部12101至12104中的至少一个可具有获得距离信息的功能。例如,成像部12101至12104中的至少一个可以是由多个成像元件构成的立体相机,或者可以是具有用于相位差检测的像素的成像元件。
例如,微型计算机12051可以基于从成像部12101至12104获得的距离信息确定到成像范围12111至12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度),并且由此提取最近的三维对象作为前方车辆,该最近的三维对象具体地存在于车辆12100的行驶路径上并且以预定速度(例如,等于或大于0km/小时)沿与车辆12100大致相同的方向行驶。另外,微型计算机12051可以预先设置跟随距离以保持在前方车辆的前方,并且执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。因此,能够执行协作控制,以旨在使车辆自动行驶的自动驾驶而不依赖于驾驶员的操作等。
例如,微型计算机12051可以基于从成像部12101至12104获得的距离信息将与三维对象有关的三维对象数据分类为二轮车、标准车辆、大型车辆、行人、电线杆和其他三维对象的三维对象数据,提取所分类的三维对象数据,并且将所提取的三维对象数据用于自动躲避障碍物。例如,微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后,微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设置值并且因此存在碰撞可能性的情况下,微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告,并且经由驱动系统控制单元12010执行强制减速或躲避转向。微型计算机12051可由此辅助驾驶以避免碰撞。
成像部12101至12104中的至少一个可以是检测红外线的红外相机。微型计算机12051例如可以通过确定在成像部12101至12104的成像图像中是否存在行人来识别行人。行人的这种识别例如通过提取作为红外相机的成像部12101至12104的成像图像中的特征点的过程以及通过对表示对象的轮廓的一系列特征点执行图案匹配处理来确定是否是行人的过程来执行。当微型计算机12051确定在成像部12101到12104的成像图像中存在行人并因此识别出行人时,声音/图像输出部12052控制显示部12062,使得用于强调的正方形轮廓线被显示为叠加在所识别的行人上。声音/图像输出部12052还可控制显示部12062,使得在期望位置处显示表示行人的图标等。
上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。例如,根据本公开的技术可应用于上述配置的成像部12031。具体地,图3中的固态成像元件200可应用于成像部12031。根据本公开的技术应用于成像部12031以能够在不添加传感器的情况下进行距离测量;因此,可以降低车辆控制系统的功耗和成本。
注意,上述实施例示出了用于实现本技术的示例,并且实施例中的事项和权利要求中指定本发明的事项具有对应关系。类似地,权利要求中指定本发明的事项和本技术的实施例中由与指定本发明的事项相同的名称表示的事项具有对应关系。然而,本技术不限于实施例,并且在不背离本技术精神的情况下,可以通过对实施例做出各种修改来实现。
此外,在上述实施例中描述的处理过程可被视为包括一系列过程的方法,并且可被视为用于使计算机执行一系列过程的程序或者存储该程序的记录介质。作为记录介质,例如,可以使用压缩光盘(CD)、迷你光盘(MD)、数字通用光盘(DVD)、存储卡、蓝光(注册商标)光盘等。
注意,本说明书中描述的效果仅是示例而不是限制性的,或者可以存在其他效果。
注意,本技术还可配置如下。
(1)一种感测系统,包括:
发光单元,被配置为与预定的发光控制信号同步地施加不可见光;
不可见光像素,被配置为光电转换相对于不可见光的反射光以生成脉冲信号作为不可见光脉冲信号;
可见光像素,被配置为光电转换可见光以生成脉冲信号作为可见光脉冲信号;以及
计数单元,被配置为执行用于对可见光脉冲信号的数量进行计数的处理并且执行用于与发光控制信号同步地对不可见光脉冲信号的数量进行计数的处理。
(2)根据上述(1)的感测系统,其中,
可见光像素包括光电转换彼此不同的可见光的第一可见光像素、第二可见光像素和第三可见光像素,
不可见光像素包括与使能信号相关的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,该使能信号相对于发光控制信号的相位差彼此不同,
第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素彼此相邻布置,并且
第一可见光像素、第二可见光像素和第三可见光像素布置在第一不可见光像素附近。
(3)根据上述(2)的感测系统,其中,
计数单元包括计数器,该计数器被配置为以预定顺序执行用于对第一可见光像素、第二可见光像素和第三可见光像素中的每一个的可见光脉冲信号的数量进行计数的处理并且执行用于对不可见光脉冲信号的数量进行计数的处理。
(4)根据上述(2)的感测系统,其中,
计数单元包括:
第一计数器,被配置为对第一可见光像素的可见光脉冲信号的数量进行计数,
第二计数器,被配置为对第二可见光像素的可见光脉冲信号的数量进行计数,
第三计数器,被配置为对第三可见光像素的可见光脉冲信号的数量进行计数,以及
第四计数器,被配置为与发光控制信号同步地对不可见光脉冲信号的数量进行计数。
(5)根据上述(1)的感测系统,其中,
可见光像素包括光电转换同一可见光的第一可见光像素、第二可见光像素和第三可见光像素,
不可见光像素包括与使能信号相关的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,该使能信号相对于发光控制信号的相位差彼此不同,并且
第一可见光像素、第二可见光像素和第三可见光像素布置在第一不可见光像素附近。
(6)根据上述(5)的感测系统,其中,
计数单元包括:
选择器,被配置为依次选择第一可见光像素、第二可见光像素和第三可见光像素中的每一个的可见光脉冲信号作为输入信号,
第一计数器,被配置为对输入信号的数量进行计数,以及
第二计数器,被配置为与发光控制信号同步地对不可见光脉冲信号的数量进行计数。
(7)根据上述(5)的感测系统,其中,
计数单元包括:
逻辑和门,被配置为输出第一可见光像素、第二可见光像素和第三可见光像素中的每一个的不可见光脉冲信号的逻辑和,
选择器,被配置为选择第一可见光像素、第二可见光像素和第三可见光像素中的每一个的不可见光脉冲信号、逻辑和以及可见光脉冲信号中的任一个作为输入信号,以及
计数器,被配置为对输入信号的数量进行计数。
(8)根据上述(1)的感测系统,其中,
可见光像素包括红色(R)像素、绿色(G)像素和蓝色(B)像素,并且
不可见光像素布置在拜耳阵列中G像素的位置。
(9)根据上述(1)的感测系统,其中,
不可见光像素包括与使能信号相关的多个不可见光像素,该使能信号相对于发光控制信号的相位差彼此不同,并且
多个不可见光像素沿预定方向布置。
(10)根据上述(9)的感测系统,其中,
可见光像素插入在多个不可见光像素中的每一个之间。
(11)根据上述(1)的感测系统,其中,
可见光像素包括彼此相邻布置的第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素,
不可见光像素包括彼此相邻布置的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,并且
第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素光电转换彼此不同的可见光。
(12)根据上述(11)的感测系统,其中,
计数单元包括多个计数器,该多个计数器与使能信号同步地对不可见光脉冲信号的数量进行计数,该使能信号相对于发光控制信号的相位差彼此不同。
(13)根据上述(11)的感测系统,其中,
计数单元包括:
选择器,被配置为选择第一可见光像素、第二可见光像素和第三可见光像素中的每一个的可见光脉冲信号中的任一个作为输入信号,以及
计数器,被配置为对输入信号的数量进行计数。
(14)根据上述(11)的感测系统,其中,
计数单元包括:
第一计数器,被配置为与第一使能信号同步地对不可见光脉冲信号的数量进行计数,在该第一使能信号中,相对于发光控制信号的相位差被设置为0度或180度,以及
第二计数器,被配置为与第二使能信号同步地对不可见光脉冲信号的数量进行计数,在该第二使能信号中,相对于发光控制信号的相位差被设置为90度或270度。
(15)根据上述(11)的感测系统,其中,
计数单元包括:
逻辑电路,被配置为输出第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素中的每一个的不可见光脉冲信号的两个或更多个的逻辑和,
选择器,被配置为选择第一不可见光像素的不可见光脉冲信号和逻辑和中的任一个并且作为输入信号输出结果,
第五计数器,被配置为对输入信号的数量进行计数,
第六计数器,被配置为对第二不可见光像素的不可见光脉冲信号的数量进行计数,
第七计数器,被配置为对第三不可见光像素的不可见光脉冲信号的数量进行计数,以及
第八计数器,被配置为对第四不可见光像素的不可见光脉冲信号的数量进行计数。
(16)根据上述(11)的感测系统,其中,
计数单元包括:
逻辑电路,被配置为输出第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素中的每一个的不可见光脉冲信号的逻辑和与相对于发光同步信号的相位差彼此不同的第一使能信号和第二使能信号中的每一个的逻辑积,
选择器,被配置为选择第一不可见光像素的不可见光脉冲信号和逻辑积中的任一个并且作为输入信号输出结果,
第五计数器,被配置为对输入信号的数量进行计数,
第六计数器,被配置为对第二不可见光像素的不可见光脉冲信号的数量进行计数,
第七计数器,被配置为对第三不可见光像素的不可见光脉冲信号的数量进行计数,以及
第八计数器,被配置为对第四不可见光像素的不可见光脉冲信号的数量进行计数。
(17)根据上述(11)的感测系统,其中,
计数单元包括:
逻辑电路,被配置为输出第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素中的每一个的不可见光脉冲信号的逻辑和与相对于发光同步信号的相位差彼此不同的第一使能信号和第二使能信号中的每一个的逻辑积,
选择器,被配置为选择第一不可见光像素的不可见光脉冲信号和对应于第一使能信号的逻辑积中的任一个并且作为输入信号输出结果,
开关,被配置为根据预定控制信号输出对应于第一使能信号的逻辑积,
第五计数器,被配置为对输入信号的数量进行计数,以及
第六计数器,被配置为基于由第二开关输出的逻辑积执行计数。
(18)根据上述(1)的感测系统,其中,
可见光像素包括彼此相邻布置的第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素,
不可见光像素包括彼此相邻布置的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,并且
第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素光电转换同一可见光。
(19)根据上述(18)的感测系统,其中,
第一可见光像素和第二可见光像素接收经受瞳孔分割的一对入射光中的一个,
第三可见光像素和第四可见光像素接收经受瞳孔分割的一对入射光中的另一个,并且
计数单元包括:
第一逻辑和门,被配置为输出第一可见光像素和第二可见光像素中的每一个的可见光脉冲信号的逻辑和作为第一逻辑和,
第一选择器,被配置为选择第一逻辑和以及第一可见光像素和第二可见光像素中的每一个的可见光脉冲信号中的任一个并且作为第一输入信号输出结果,
第二逻辑和门,被配置为输出第三可见光像素和第四可见光像素中的每一个的可见光脉冲信号的逻辑和作为第二逻辑和,
第二选择器,被配置为选择第二逻辑和以及第三可见光像素和第四可见光像素中的每一个的可见光脉冲信号中的任一个并且作为第二输入信号输出结果,
第一计数器,被配置为对第一输入信号的数量进行计数,以及
第二计数器,被配置为对第二输入信号的数量进行计数。
(20)根据上述(19)的感测系统,其中,
计数单元还包括第三逻辑门,该第三逻辑门被配置为将第一逻辑和以及第二逻辑和的逻辑和输出至第一选择器作为第三逻辑和,并且
第一选择器选择第三逻辑和、第一逻辑和以及第一可见光像素和第二可见光像素中的每一个的可见光脉冲信号中的任一个。
(21)根据上述(1)的感测系统,其中,
可见光像素包括光电转换彼此不同的可见光的第一可见光像素、第二可见光像素和第三可见光像素,
不可见光像素包括与使能信号相关的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,该使能信号相对于发光控制信号的相位差彼此不同,
第一可见光像素、第二可见光像素和第三可见光像素布置在拜耳阵列中的4行×4列的第一区域中,并且
第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素布置在4行×4列的第二区域中。
(22)根据上述(1)的感测系统,其中,
可见光像素包括光电转换彼此不同的可见光的第一可见光像素、第二可见光像素和第三可见光像素,
不可见光像素包括与使能信号相关的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,该使能信号相对于发光控制信号的相位差彼此不同,
第一可见光像素布置在2行×2列的第一区域中,
第二可见光像素布置在2行×2列的第二区域中,
第三可见光像素布置在2行×2列的第三区域中,并且
第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素布置在4行×4列的第四区域中。
参考标记列表
100 感测系统
110 发光单元
120 驱动器
130 控制器
140 处理器
150 应用处理器
200 固态成像元件
201 像素芯片
202 电路芯片
210 像素驱动单元
220 垂直扫描电路
230 像素阵列单元
240 列缓冲器
250 信号处理电路
260 输出单元
301至307 像素块
310、310-1、310-2 G像素
311 SPAD
312 电阻器
313 反相器
315、315-1、315-2、315-3、315-4 R像素
316 B像素
321至324 IR像素
330 计数单元
341至348 计数器
351至358、395 开关
370、400 电路块
371至374、411至413 或(逻辑和)门
381至384 与(逻辑积)门
391至393、421、422 选择器
12031 成像部。
Claims (20)
1.一种感测系统,包括:
发光单元,被配置为与预定的发光控制信号同步地施加不可见光;
不可见光像素,被配置为光电转换相对于所述不可见光的反射光以生成脉冲信号作为不可见光脉冲信号;
可见光像素,被配置为光电转换可见光以生成脉冲信号作为可见光脉冲信号;以及
计数单元,被配置为执行用于对所述可见光脉冲信号的数量进行计数的处理并且执行用于与所述发光控制信号同步地对所述不可见光脉冲信号的数量进行计数的处理。
2.根据权利要求1所述的感测系统,其中,
所述可见光像素包括光电转换彼此不同的可见光的第一可见光像素、第二可见光像素和第三可见光像素,
所述不可见光像素包括与使能信号相关的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,所述使能信号相对于所述发光控制信号的相位差彼此不同,
所述第一不可见光像素、所述第二不可见光像素、所述第三不可见光像素和所述第四不可见光像素彼此相邻布置,并且
所述第一可见光像素、所述第二可见光像素和所述第三可见光像素布置在所述第一不可见光像素附近。
3.根据权利要求2所述的感测系统,其中,
所述计数单元包括计数器,所述计数器被配置为以预定顺序执行用于对所述第一可见光像素、所述第二可见光像素和所述第三可见光像素中的每一个的所述可见光脉冲信号的数量进行计数的处理并且执行用于对所述不可见光脉冲信号的数量进行计数的处理。
4.根据权利要求2所述的感测系统,其中,
所述计数单元包括:
第一计数器,被配置为对所述第一可见光像素的所述可见光脉冲信号的数量进行计数,
第二计数器,被配置为对所述第二可见光像素的所述可见光脉冲信号的数量进行计数,
第三计数器,被配置为对所述第三可见光像素的所述可见光脉冲信号的数量进行计数,以及
第四计数器,被配置为与所述发光控制信号同步地对所述不可见光脉冲信号的数量进行计数。
5.根据权利要求1所述的感测系统,其中,
所述可见光像素包括光电转换同一可见光的第一可见光像素、第二可见光像素和第三可见光像素,
所述不可见光像素包括与使能信号相关的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,所述使能信号相对于所述发光控制信号的相位差彼此不同,并且
所述第一可见光像素、所述第二可见光像素和所述第三可见光像素布置在所述第一不可见光像素附近。
6.根据权利要求5所述的感测系统,其中,
所述计数单元包括:
选择器,被配置为依次选择所述第一可见光像素、所述第二可见光像素和所述第三可见光像素中的每一个的所述可见光脉冲信号作为输入信号,
第一计数器,被配置为对所述输入信号的数量进行计数,以及
第二计数器,被配置为与所述发光控制信号同步地对所述不可见光脉冲信号的数量进行计数。
7.根据权利要求5所述的感测系统,其中,
所述计数单元包括:
逻辑和门,被配置为输出所述第一可见光像素、所述第二可见光像素和所述第三可见光像素中的每一个的所述不可见光脉冲信号的逻辑和,
选择器,被配置为选择所述第一可见光像素、所述第二可见光像素和所述第三可见光像素中的每一个的所述不可见光脉冲信号、所述逻辑和以及所述可见光脉冲信号中的任一个作为输入信号,以及
计数器,被配置为对所述输入信号的数量进行计数。
8.根据权利要求1所述的感测系统,其中,
所述可见光像素包-括红色(R)像素、绿色(G)像素和蓝色(B)像素,并且
所述不可见光像素布置在拜耳阵列中所述G像素的位置。
9.根据权利要求1所述的感测系统,其中,
所述不可见光像素包括与使能信号相关的多个不可见光像素,所述使能信号相对于所述发光控制信号的相位差彼此不同,并且所述多个不可见光像素沿预定方向布置。
10.根据权利要求9所述的感测系统,其中,
所述可见光像素插入在所述多个不可见光像素中的每一个之间。
11.根据权利要求1所述的感测系统,其中,
所述可见光像素包括彼此相邻布置的第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素,
所述不可见光像素包括彼此相邻布置的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,并且所述第一可见光像素、所述第二可见光像素、所述第三可见光像素和所述第四可见光像素光电转换彼此不同的可见光。
12.根据权利要求11所述的感测系统,其中,
所述计数单元包括多个计数器,所述多个计数器与使能信号同步地对所述不可见光脉冲信号的数量进行计数,所述使能信号相对于所述发光控制信号的相位差彼此不同。
13.根据权利要求11所述的感测系统,其中,
所述计数单元包括:
选择器,被配置为选择所述第一可见光像素、所述第二可见光像素和所述第三可见光像素中的每一个的所述可见光脉冲信号中的任一个作为输入信号,以及
计数器,被配置为对所述输入信号的数量进行计数。
14.根据权利要求11所述的感测系统,其中,
所述计数单元包括:
第一计数器,被配置为与第一使能信号同步地对所述不可见光脉冲信号的数量进行计数,在所述第一使能信号中,相对于所述发光控制信号的相位差被设置为0度或180度,以及
第二计数器,被配置为与第二使能信号同步地对所述不可见光脉冲信号的数量进行计数,在所述第二使能信号中,相对于所述发光控制信号的相位差被设置为90度或270度。
15.根据权利要求11所述的感测系统,其中,
所述计数单元包括:
逻辑电路,被配置为输出所述第一不可见光像素、所述第二不可见光像素、所述第三不可见光像素和所述第四不可见光像素中的每一个的所述不可见光脉冲信号的两个或更多个的逻辑和,
选择器,被配置为选择所述第一不可见光像素的所述不可见光脉冲信号和所述逻辑和中的任一个并且作为输入信号输出结果,
第五计数器,被配置为对所述输入信号的数量进行计数,
第六计数器,被配置为对所述第二不可见光像素的所述不可见光脉冲信号的数量进行计数,
第七计数器,被配置为对所述第三不可见光像素的所述不可见光脉冲信号的数量进行计数,以及
第八计数器,被配置为对所述第四不可见光像素的所述不可见光脉冲信号的数量进行计数。
16.根据权利要求11所述的感测系统,其中,
所述计数单元包括:
逻辑电路,被配置为输出所述第一不可见光像素、所述第二不可见光像素、所述第三不可见光像素和所述第四不可见光像素中的每一个的所述不可见光脉冲信号的逻辑和与相对于发光同步信号的相位差彼此不同的第一使能信号和第二使能信号中的每一个的逻辑积,
选择器,被配置为选择所述第一不可见光像素的所述不可见光脉冲信号和所述逻辑积中的任一个并且作为输入信号输出结果,
第五计数器,被配置为对所述输入信号的数量进行计数,
第六计数器,被配置为对所述第二不可见光像素的所述不可见光脉冲信号的数量进行计数,
第七计数器,被配置为对所述第三不可见光像素的所述不可见光脉冲信号的数量进行计数,以及
第八计数器,被配置为对所述第四不可见光像素的所述不可见光脉冲信号的数量进行计数。
17.根据权利要求11所述的感测系统,其中,
所述计数单元包括:
逻辑电路,被配置为输出所述第一不可见光像素、所述第二不可见光像素、所述第三不可见光像素和所述第四不可见光像素中的每一个的所述不可见光脉冲信号的逻辑和与相对于发光同步信号的相位差彼此不同的第一使能信号和第二使能信号中的每一个的逻辑积,
选择器,被配置为选择所述第一不可见光像素的所述不可见光脉冲信号和对应于所述第一使能信号的所述逻辑积中的任一个并且作为输入信号输出结果,
开关,被配置为根据预定控制信号输出对应于所述第一使能信号的所述逻辑积,
第五计数器,被配置为对所述输入信号的数量进行计数,以及
第六计数器,被配置为基于由第二开关输出的所述逻辑积执行计数。
18.根据权利要求1所述的感测系统,其中,
所述可见光像素包括彼此相邻布置的第一可见光像素、第二可见光像素、第三可见光像素和第四可见光像素,
所述不可见光像素包括彼此相邻布置的第一不可见光像素、第二不可见光像素、第三不可见光像素和第四不可见光像素,并且所述第一可见光像素、所述第二可见光像素、所述第三可见光像素和所述第四可见光像素光电转换同一可见光。
19.根据权利要求18所述的感测系统,其中,
所述第一可见光像素和所述第二可见光像素接收经受瞳孔分割的一对入射光中的一个,
所述第三可见光像素和所述第四可见光像素接收经受所述瞳孔分割的所述一对入射光中的另一个,并且
所述计数单元包括:
第一逻辑和门,被配置为输出所述第一可见光像素和所述第二可见光像素中的每一个的所述可见光脉冲信号的逻辑和作为第一逻辑和,
第一选择器,被配置为选择所述第一逻辑和以及所述第一可见光像素和所述第二可见光像素中的每一个的所述可见光脉冲信号中的任一个并且作为第一输入信号输出结果,
第二逻辑和门,被配置为输出所述第三可见光像素和所述第四可见光像素中的每一个的所述可见光脉冲信号的逻辑和作为第二逻辑和,
第二选择器,被配置为选择所述第二逻辑和以及所述第三可见光像素和所述第四可见光像素中的每一个的所述可见光脉冲信号中的任一个并且作为第二输入信号输出结果,
第一计数器,被配置为对所述第一输入信号的数量进行计数,以及
第二计数器,被配置为对所述第二输入信号的数量进行计数。
20.根据权利要求19所述的感测系统,其中,
所述计数单元还包括第三逻辑门,所述第三逻辑门被配置为将所述第一逻辑和以及所述第二逻辑和的逻辑和输出至所述第一选择器作为第三逻辑和,并且
所述第一选择器选择所述第三逻辑和、所述第一逻辑和以及所述第一可见光像素和所述第二可见光像素中的每一个的所述可见光脉冲信号中的任一个。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020087854 | 2020-05-20 | ||
JP2020-087854 | 2020-05-20 | ||
PCT/JP2021/006034 WO2021235033A1 (ja) | 2020-05-20 | 2021-02-18 | センシングシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115606194A true CN115606194A (zh) | 2023-01-13 |
Family
ID=78708846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180034790.3A Pending CN115606194A (zh) | 2020-05-20 | 2021-02-18 | 感测系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230142762A1 (zh) |
JP (1) | JPWO2021235033A1 (zh) |
CN (1) | CN115606194A (zh) |
DE (1) | DE112021002865T5 (zh) |
WO (1) | WO2021235033A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100018449A (ko) * | 2008-08-06 | 2010-02-17 | 삼성전자주식회사 | 입체 이미지 센서의 픽셀 어레이 |
JP6150508B2 (ja) * | 2012-12-07 | 2017-06-21 | キヤノン株式会社 | 撮像装置及び撮像システム |
CN114420712A (zh) * | 2015-04-14 | 2022-04-29 | 索尼公司 | 光检测装置 |
JP7100518B2 (ja) * | 2017-08-31 | 2022-07-13 | キヤノン株式会社 | 固体撮像素子及び撮像装置 |
JP7096658B2 (ja) * | 2017-10-12 | 2022-07-06 | キヤノン株式会社 | 固体撮像素子及び撮像装置 |
JP7446061B2 (ja) * | 2018-04-06 | 2024-03-08 | キヤノン株式会社 | 撮像装置及び撮像システム |
-
2021
- 2021-02-18 JP JP2022524893A patent/JPWO2021235033A1/ja active Pending
- 2021-02-18 US US17/995,389 patent/US20230142762A1/en active Pending
- 2021-02-18 DE DE112021002865.0T patent/DE112021002865T5/de active Pending
- 2021-02-18 WO PCT/JP2021/006034 patent/WO2021235033A1/ja active Application Filing
- 2021-02-18 CN CN202180034790.3A patent/CN115606194A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
DE112021002865T5 (de) | 2023-03-30 |
US20230142762A1 (en) | 2023-05-11 |
WO2021235033A1 (ja) | 2021-11-25 |
JPWO2021235033A1 (zh) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10746874B2 (en) | Ranging module, ranging system, and method of controlling ranging module | |
JP4405155B2 (ja) | 画像解析システム | |
US9823340B2 (en) | Method for time of flight modulation frequency detection and illumination modulation frequency adjustment | |
JP7044107B2 (ja) | 光センサ、及び、電子機器 | |
WO2021085128A1 (ja) | 測距装置、測定方法、および、測距システム | |
JP2019078748A (ja) | デプス画像取得装置、制御方法、およびデプス画像取得システム | |
US11454723B2 (en) | Distance measuring device and distance measuring device control method | |
WO2021125031A1 (ja) | 固体撮像装置及び測距装置 | |
CN110832346A (zh) | 电子装置和电子装置的控制方法 | |
US20240236519A1 (en) | Imaging device, electronic device, and light detecting method | |
KR101868293B1 (ko) | 차량용 라이다 장치 | |
GB2374228A (en) | A collision warning device | |
WO2021241360A1 (ja) | 検出装置、検出システム及び検出方法 | |
WO2020153272A1 (ja) | 測定装置、測距装置および測定方法 | |
JP2022054553A (ja) | 固体撮像素子、および、撮像装置 | |
CN113272683A (zh) | 测量设备、距离测量设备和测量方法 | |
WO2022215371A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2021235033A1 (ja) | センシングシステム | |
US12050268B2 (en) | System to measure a distance to an object without addition of a distance measuring sensor | |
CN114207472A (zh) | 测量装置和测距装置 | |
US20230228875A1 (en) | Solid-state imaging element, sensing system, and control method of solid-state imaging element | |
CN109076168B (zh) | 控制装置、控制方法和计算机可读介质 | |
WO2022239459A1 (ja) | 測距装置及び測距システム | |
WO2024185288A1 (ja) | 光検出装置および測距システム | |
WO2023149335A1 (ja) | 測距装置及び測距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |