CN114521241A - 信息处理装置、校正方法以及程序 - Google Patents
信息处理装置、校正方法以及程序 Download PDFInfo
- Publication number
- CN114521241A CN114521241A CN202080067172.4A CN202080067172A CN114521241A CN 114521241 A CN114521241 A CN 114521241A CN 202080067172 A CN202080067172 A CN 202080067172A CN 114521241 A CN114521241 A CN 114521241A
- Authority
- CN
- China
- Prior art keywords
- light
- image information
- unit
- pixel
- saturation region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 title claims description 130
- 238000000034 method Methods 0.000 title claims description 79
- 238000005259 measurement Methods 0.000 claims abstract description 96
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 87
- 230000008859 change Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 52
- 238000003384 imaging method Methods 0.000 description 34
- 230000000875 corresponding effect Effects 0.000 description 25
- 239000004065 semiconductor Substances 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000009792 diffusion process Methods 0.000 description 10
- 238000007667 floating Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- HJJRIJDTIPFROI-NVKITGPLSA-N cefcapene Chemical compound N([C@@H]1C(N2C(=C(COC(N)=O)CS[C@@H]21)C(O)=O)=O)C(=O)\C(=C/CC)C1=CSC(N)=N1 HJJRIJDTIPFROI-NVKITGPLSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 206010004950 Birth mark Diseases 0.000 description 1
- 101100083446 Danio rerio plekhh1 gene Proteins 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- VWRKNGCLVDCLRF-UHFFFAOYSA-N n-butyl-n-(4-oxobutyl)nitrous amide Chemical compound CCCCN(N=O)CCCC=O VWRKNGCLVDCLRF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4868—Controlling received signal intensity or exposure of sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种根据本公开的信息处理装置(10a)包括控制单元(60)。控制单元(60)检测基于从光接收传感器输出的像素信号而生成的光接收图像信息的饱和区域,光接收传感器被配置为接收从光源投射的投射光的由测量对象反射的反射光。像素信号用于计算到测量对象的距离。饱和区域为基于饱和的像素信号而生成的光接收图像信息的区域。控制单元(60)基于像素信号对饱和区域的光接收图像信息进行校正。
Description
技术领域
本公开涉及一种信息处理装置、校正方法以及程序。
背景技术
已知一种被称为飞行时间(ToF)的距离测量方法,即,基于来自光源的光投射的点至光接收单元对来自测量对象的反射光的接收点的时间而测量到测量对象的距离。在ToF方法的距离测量中,由光接收单元接收的光包括除从光源投射的光的反射的反射光之外、归属于日光等的环境光,即,对于距离测量是有效的。通过ToF方法执行距离测量的距离测量设备(以下称ToF距离测量设备)基于通过从由光接收单元接收的光中移除环境光的分量而获得的反射光的分量而获取到测量对象的距离。
引用列表
专利文献
专利文献1:JP 2017-133853 A
发明内容
技术问题
同时,出于除距离测量之外的目的,存在其中希望使用在ToF距离测量设备中所获取的、由包括环境光分量的光所形成的图像或由从中已经移除环境光分量的反射光分量的光所形成的图像的情况。进一步地,在ToF型距离测量设备中,存在其中由光接收单元接收的光具有高强度的情况,从而导致由光接收单元接收的光量饱和。
如此,在其中在ToF距离测量设备中所获取的图像被二次使用的情况下,由光接收单元接收的光量饱和会使得所获取的图像的准确度下降,从而导致图像的二次使用不便利。
鉴于此,本公开的目标是提供一种能够抑制由ToF距离测量设备所获取的图像的准确度下降的信息处理装置、校正方法以及程序。
问题的解决方案
根据本公开,提供一种信息处理装置。根据本公开的信息处理装置包括控制单元。控制单元检测基于从光接收传感器输出的像素信号而生成的光接收图像信息的饱和区域,光接收传感器被配置为接收从光源投射的投射光的由测量对象反射的反射光。像素信号用于计算到测量对象的距离。饱和区域为基于饱和的像素信号而生成的光接收图像信息的区域。控制单元基于像素信号对饱和区域的光接收图像信息进行校正。
附图说明
图1是示出使用应用于每个实施方式的距离测量设备的电子设备的配置的实例的框图。
图2是示出间接ToF方法的原理的示图。
图3是示出其中从光源单元投射的投射光是通过PWM进行调制的矩形波的情况的实例的示图。
图4是示出由光接收单元接收的光量的实例的示图。
图5是示出获取每个光量值并且计算应用于每个实施方式的每条信息的第一方法的示图。
图6是示出获取每个光量值并且计算应用于每个实施方式的每条信息的第二方法的示图。
图7是示出每个相位中的曝光控制信号的实例的示图。
图8是示出每个光接收单元(每个光接收元件)的抽头A与抽头B在0°、90°、180°、以及270°的相位的曝光周期的实例的示图。
图9是示出光接收单元12的光接收定时的示图。
图10是示出获取每个光量值并且计算应用于每个实施方式的每条信息的第三方法的示图。
图11是示出应用于每个实施方式的电子设备的实例的配置的框图。
图12是示出应用于每个实施方式的传感器单元的配置的实例的框图。
图13是示出应用于每个实施方式的像素的实例的配置的电路图。
图14是示出其中由具有层结构的堆叠CIS形成应用于每个实施方式的传感器单元的实例的示图。
图15是示出其中由具有层结构的堆叠CIS形成应用于每个实施方式的传感器单元的实例的示图。
图16是示出根据本公开的第一实施方式的校正方法的实例的示图。
图17是示出根据本公开的第一实施方式的距离测量设备的功能的实例的功能框图。
图18是示出在2抽头方法(4相位)中计算所反射的光图像信息的方法的示图。
图19是示出由饱和值估计单元估计的饱和值的示图。
图20是示出校正区域补偿单元对像素信号进行的校正的示图。
图21是示出饱和区域补偿单元进行校正之前的反射光图像信息的实例的示图。
图22是示出饱和区域补偿单元进行校正之后的反射光图像信息的实例的示图。
图23是示出根据第一实施方式的距离测量设备中的校正处理的实例的流程图。
图24是示出根据第二实施方式的距离测量设备的功能的实例的框图。
图25是示出饱和区域补偿单元对饱和区域进行的校正的示图。
图26是示出根据第二实施方式的距离测量设备中的校正处理的实例的流程图。
图27是示出根据第三实施方式的距离测量设备的功能的实例的框图。
图28是示出根据第三实施方式的距离测量设备中的校正处理的实例的流程图。
具体实施方式
下面将参考附图对本公开的实施方式进行详细描述。在下列各个实施方式中,以相同的参考标号表示相同的零部件,并且将省去其重复性描述。
将按照下列顺序对本公开进行描述。
1.介绍
1.1.每个实施方式的共同配置
1.2.应用于每个实施方式的间接ToF方法的距离测量
1.3.应用于每个实施方式的配置
2.第一实施方式
2.1.校正处理的概况
2.2.距离测量设备的配置实例
2.3.距离测量设备中的校正处理
3.第二实施方式
3.1.距离测量设备的配置实例
3.2.距离测量设备中的校正处理
4.第三实施方式
4.1.距离测量设备的配置实例
4.2.距离测量设备中的校正处理
5.变形
6.结论
<1.介绍>
<1.1.每个实施方式的共同配置>
本公开适合于在使用光执行距离测量的技术中使用。为便于理解,在描述本公开的实施方式之前,将间接飞行时间(ToF)方法描述为应用于实施方式的一种距离测量方法。间接ToF方法为这样一种技术,即,利用通过例如脉冲宽度调制(PWM)进行调制的来自光源的光(例如,红外区域中的激光)照射测量对象,通过光接收元件接收反射光,并且基于所接收的反射光中的相差测量到测量对象的距离。
图1是示出使用应用于每个实施方式的距离测量设备的电子设备的配置的实例的框图。在图1中,电子设备1包括距离测量设备10和应用单元20。例如,应用单元20由在中央处理单元(CPU)上操作的程序实现,请求距离测量设备10执行距离测量,并且从距离测量设备10接收诸如作为距离测量的结果的距离信息的信息。
距离测量设备10包括光源单元11、光接收单元12以及距离测量处理单元13。例如,光源单元11包括:发光元件,发射具有红外区域中的波长的光;和驱动电路,驱动发光元件来发射光。例如,可以应用发光二极管(LED)作为光源单元11中所包括的发光元件。发光元件并不局限于此,并且可以应用其中多个发光元件形成阵列的垂直腔表面发射激光(VCSEL)作为光源单元11中所包括的发光元件。在下文中,除非另有规定,否则,将“光源单元11中的发光元件发射光”描述为“光源单元11发射光”等。
例如,光接收单元12包括:光接收元件,检测具有红外区域中的波长的光;和信号处理电路,输出与通过光接收元件检测的光对应的像素信号。可以应用光电二极管作为光接收单元12中所包括的光接收元件。在下文中,除非另有规定,否则,将“光接收单元12中包括的光接收元件接收光”描述为“光接收单元12接收光”等。
例如,距离测量处理单元13响应于来自应用单元20的距离测量指令而执行距离测量设备10中的距离测量处理。例如,距离测量处理单元13生成用于驱动光源单元11的光源控制信号并且将所生成的光源控制信号供应至光源单元11。进一步地,距离测量处理单元13与被供应至光源单元11的光源控制信号同步地控制光接收单元12的光接收。例如,距离测量处理单元13与光源控制信号同步地生成控制光接收单元12中的曝光时间段的曝光控制信号,并且将所生成的信号供应至光接收单元12。光接收单元12在由曝光控制信号指示的曝光时间段内输出有效的像素信号。
距离测量处理单元13基于根据光的接收而从光接收单元12输出的像素信号来计算距离信息。进一步地,距离测量处理单元13可以基于像素信号而生成预定的图像信息。距离测量处理单元13将基于像素信号所计算并且生成的距离信息和图像信息传送至应用单元20。
例如,在该配置中,距离测量处理单元13根据来自应用单元20的用于执行距离测量的指令生成用于驱动光源单元11的光源控制信号,并且将所生成的光源控制信号供应至光源单元11。此处,距离测量处理单元13生成通过PWM被调制成具有预定占空比的矩形波的光源控制信号,并且将光源控制信号供应至光源单元11。同时,距离测量处理单元13基于与光源控制信号同步的曝光控制信号而控制光接收单元12的光接收。
在距离测量设备10中,光源单元11发射根据通过距离测量处理单元13生成的光源控制信号而调制的光。在图1的实例中,光源单元11基于预定占空比而闪烁并且根据光源控制信号而发射光。从光源单元11投射从光源单元11发射的光作为投射光30。例如,投射光30被测量对象31反射并且作为反射光32被光接收单元12接收。光接收单元12将与反射光32的接收对应的像素信号供应至距离测量处理单元13。实际上,除反射光32之外,光接收单元12还接收的周围环境中的环境光,并且像素信号包括环境光的分量以及反射光32的分量。
距离测量处理单元13针对每个光接收元件以不同的相位多次执行光接收单元12的光接收。距离测量处理单元13基于由于不同相位的光接收而产生的像素信号之间的差而计算到测量对象的距离D。进一步地,距离测量处理单元13计算:第一图像信息,通过基于像素信号之间的差提取反射光32的分量而获得;和第二图像信息,包括反射光32的分量和环境光的分量。在下文中,将第一图像信息称为反射光图像信息,并且将反射光图像信息中的每个像素的值称为像素值置信度(或置信值)。此外,将第二图像信息称为IR图像信息,并且将IR图像信息中的每个像素的值称为像素值IR(或IR值)。此外,将反射光图像信息与IR图像信息统称为光接收图像信息。
<1.2.应用于每个实施方式的间接ToF方法的距离测量>
接着,将描述应用于每个实施方式的间接ToF方法的距离测量。图2是示出间接ToF方法的原理的示图。在图2中,使用通过正弦波所调制的光作为从光源单元11投射的投射光30。理想中,反射光32是相对于投射光30具有与距离D对应的相差(相位)的正弦波。
距离测量处理单元13对已经接收反射光32的像素信号在各个相位多次执行采样,并且获取指示关于每次采样的光量的光量值(像素信号值)。在图2的实例中,分别获取各个相位(即,0°相位、90°相位、180°相位以及270°相位,彼此相对于投射光30具有相差90°)下的光量值C0、C90、C180以及C270。在间接ToF方法中,基于各个相位0°、90°、180°以及270°之中具有相差180°的一组光量值之间的差而计算距离信息。
将参考图3对间接ToF方法中计算距离信息的方法进行更具体地描述。图3是示出其中来自光源单元11的投射光30是通过PWM进行调制的矩形波的情况的实例的示图。图3从上方示出了来自光源单元11的投射光30和到达光接收单元12的反射光32。如图3的上部中示出的,光源单元11以预定的占空比进行周期性地闪烁,以允许投射光30射出。
图3进一步示出了光接收单元12在相位0°(被描述为Φ=0°)、相位90°(被描述为Φ=90°)、相位180°(描述为Φ=180°)以及相位270°(被描述为Φ=270°)的曝光控制信号。例如,其间曝光控制信号处于较高状态的时间段指其间光接收单元12的光接收元件输出有效像素信号的曝光周期。
在图3的实例中,在时间点t0,从光源单元11投射投射光30,并且在与时间点t0距测量对象的距离D对应的延迟之后的时间点t1,由测量对象反射投射光30的反射光32到达光接收单元12。
另一方面,根据来自距离测量处理单元13的曝光控制信号,光接收单元12与光源单元11中的投射光30的投射定时的时间点t0同步地以相位0°开始曝光周期。同样,光接收单元12根据来自距离测量处理单元13的曝光控制信号以相位90°、相位180°以及相位270°开始曝光周期。此处,每个相位中的曝光周期遵循投射光30的占空比。尽管图3中的实例是其中出于说明之缘故而使得各个相位的曝光周期临时并行的示例性情况,然而,实际上,光接收单元12操作为使得各个相位的曝光周期被依次指定,并且获取各个相位的光量值C0、C90、C180以及C270。
在图3的实例中,反射光32的到达定时为时间点t1、t2、t3、...,并且获取相位0°的光量值C0作为在相位0°处从时间点t0至包括时间点t0的曝光周期的结束时间点的接收光量的积分值。另一方面,在其中相位与相位0°差180°的相位180°,获取光量值C180作为从相位180°的曝光周期的开始时间点至曝光周期中所包括的反射光32的下降时间点t2的接收光量的积分值。
此外,与上述相位0°和180°的情况相似,对于相位C90及与相位90°具有相差180°的相位270°,获取在其中反射光32在每个曝光周期内所达到的时间段中的接收光量的积分值作为光量值C90和C270。
如下列式子(1)和(2)中所示,在这些光量值C0、C90、C180以及C270之中,基于具有相差180°的光量值的组合获得差I和差Q。
I=C0-C180 (1)
Q=C90-C270 (2)
基于这些差I和Q,通过下列式子(3)计算相差(相位)。在式子(3)中,在(0≤相位<2π)的范围内限定相差(相位)。
相位=tan-1(Q/I) (3)
通过使用相差(相位)和预定系数(范围)的下列式子(4)计算距离信息深度。
深度=(相位×范围)/2π (4)
进一步地,基于差I和Q,能够从由光接收单元12接收的光的分量中提取反射光32的分量(反射光图像信息的像素值置信度)。通过使用差I和Q的绝对值的下列式子(5)计算反射光图像信息的像素值置信度。
置信度=|I|+|Q| (5)
如此,在光接收单元12的四个相位中,从光量值C0、C90、C180以及C270中计算反射光图像信息的一个像素。从光接收单元12的对应光接收元件获取各个相位的光量值C0、C90、C180以及C270。
图4是示出由光接收单元12接收的光量的实例的示图。如上所述,在光接收单元12中,除反射光32之外,即,其中由测量对象31反射来自光源单元11的投射光30的直接反射光,还接收来自光源单元11的投射光30并不贡献的环境光。进一步地,从光接收单元12输出的像素信号包括诸如暗电流(暗噪声)等的DC分量。
因此,由光接收单元12接收的光量是直接反射光的量、环境光的量以及暗噪声的和。计算上述式子(1)至(3)以及(5)将消除环境光的分量与暗噪声,由此提取直接反射光的分量。
接着,将参考图5至图9对获取各个相位的各个光量值C0、C90、C180以及C270的方法以及计算距离信息和反射光图像信息的像素值置信度的方法进行更具体地描述。
(第一方法)
图5是示出获取每个光量值并且计算应用于每个实施方式的每条信息的第一方法的示图。在图5中,光接收单元12依次获取各个相位的光量值C0、C90、C180以及C270。在图5的实例中,光接收单元12在从时间点t10至时间点t11的时间段中以相位0°执行曝光,并且在从时间点t12至时间点t13的时间段中,即,在夹在时间点t11与时间点t12之间的预定时间(例如,处理切换时间)之后,以相位90°执行曝光。同样,在从时间点t14至时间点t15的时间段中,即,在夹在时间点t13与时间点t14之间的预定时间之后,以相位180°执行光接收,并且在夹在时间点t15与时间点t16之间的预定时间之后,在从时间点t16至时间点t17的时间段中以相位270°执行曝光。
在夹在时间点t17与时间点t18之间的预定时间之后的时间点t18,再次执行从上述时间点t10开始的操作。
此处,假设在每个相位执行曝光的序列是一个μ帧。在图5的实例中,时间点t10至时间点t18的时间段指一个μ帧的时间段。一个μ帧的时间段短于成像时的一个帧周期(例如,1/30秒),并且能够在一个帧周期内多次执行一个μ帧的处理。
例如,距离测量处理单元13将在一个μ帧的时间段内以每个相位依次获取的光量值C0、C90、C180以及C270存储在存储器中。距离测量处理单元13基于存储在存储器中的各个光量值C0、C90、C180以及C270而计算反射光图像信息的距离信息深度和像素值置信度。
在这种情况下,通过上述式子(1)至(4)计算差I和Q、相差(相位)以及距离信息深度。进一步地,此处,使用下列式子(6)计算反射光图像信息的像素值置信度。
置信度=(I2+Q2)1/2 (6)
(第二方法)
图6是示出获取每个光量值并且计算应用于每个实施方式的每条信息的第二方法的示图。在第二方法中,光接收单元12包括用于一个光接收元件的两个读出电路(抽头A和B),并且依次(交替)执行抽头A和抽头B的读出(下面将参考图13描述细节)。在下文中,还将使用抽头A和抽头B的读出方法称为2抽头方法。
将参考图6对使用2抽头方法计算距离信息的方法进行更具体地描述。图6是示出获取每个光量值并且计算应用于每个实施方式的每条信息的第二方法的示图。在图6中,从上侧示出来自光源单元11的投射光30和到达光接收单元12的反射光32。如图6的上部中示出的,光源单元11按照预定的周期投射闪烁的投射光30。例如,光源单元11在一个周期中投射在时间段T期间发射的投射光30。
图6进一步示出了光接收单元12在相位0°处的抽头A中的曝光控制信号(DIMIX_A)和抽头B中的曝光控制信号(DIMIX_)。例如,将其间曝光控制信号(DIMIX_A和DIMIX_B)处于较高状态的时间段设置为其间光接收单元12输出有效的像素信号的曝光周期。DIMIX_A和DIMIX_B指基于投射光30的占空比具有曝光周期的曝光控制信号。DIMIX_A和DIMIX_B指彼此具有180°的相差的信号。
在图6的实例中,在时间点t10,从光源单元11投射投射光30。在投射光30进行投射之后,在与到测量对象的距离D对应的延迟ΔT之后的时间点t11,通过投射光30在测量对象处的反射所获得的反射光32到达光接收单元12。
另一方面,根据来自距离测量处理单元13的曝光控制信号(DIMIX_A),光接收单元12与光源单元11中的投射光30的投射定时的时间点t10同步地开始曝光周期。同样,根据来自距离测量处理单元13的曝光控制信号(DIMIX_B),光接收单元12与和DIMIX_A具有相差180°的时间点t12同步地开始曝光周期。利用该操作,光接收单元12获取各个抽头A和B在相位0°处的光量值(像素信号)A0和B0。
在图6的实例中,反射光32的到达定时为时间点t11、t14、t13、...,并且获取抽头A在相位0°处的光量值A0作为DIMIX_A从时间点t10至包括时间点t10的曝光周期的结束时间点t12的接收光量的积分值。另一方面,在相位0°处的DIMIX_B中,即,与相位0°处的DIMIX_A具有相差180°,获取光量值B0作为从DIMIX_B的曝光周期的起始时间点t12至曝光周期中所包括的反射光32的下降边缘处的时间点t13的接收光量的积分值。同样,在反射光32的随后到达定时t14之后,获取光量值A0和B0。
图6已经描述了光接收单元12使用相位0°处的曝光控制信号(DIMIX_A和DIMIX_B)所获取的光量值A0和B0。应注意,光接收单元12通过分别使用相位90°、相位180°以及相位270°的曝光控制信号(DIMIX_A和DIMIX_B)而获取光量值A90、B90、A180、B180、A270以及B270。
图7是示出每个相位中的曝光控制信号的实例的示图。图7示出了光接收单元12在相位0°(被描述为Φ=0°)、相位90°(被描述为Φ=90°)、相位180°(被描述为Φ=180°)以及相位270°(被描述为Φ=270°)的曝光控制信号(DIMIX_A和DIMIX_B)。
例如,相位90°的DIMIX_A为从投射光30的投射定时发生相移90°的曝光控制信号,而相位90°的DIMIX_B为与相位90°的DIMIX_A具有相差180°的曝光控制信号。此外,相位180°的DIMIX_A为从投射光30的投射定时发生相移180°的曝光控制信号,而相位180°的DIMIX_B为与相位180°的DIMIX_A具有相差180°的曝光控制信号。相位270°的DIMIX_A为从投射光30的投射定时发生相移270°的曝光控制信号,而相位270°的DIMIX_B为与相位270°的DIMIX_A具有相差180°的曝光控制信号。此处,每个相位中的曝光周期遵循投射光30的占空比。
将参考图8对由光接收单元12中的抽头A和抽头B读出的相差进行描述。图8是示出每个光接收单元12(每个光接收元件)的抽头A和抽头B在相位0°、90°、180°以及270°时的曝光周期的实例的示图。在图8中,出于说明之缘故,相应相位的曝光周期被布置成与所对准的相位平行。
在图8中,依次(交替)执行抽头A和抽头B在相位0°处的曝光(被分别示出为光量值A0和B0)。另一方面,抽头A和抽头B在相位180°的曝光相对于抽头A和抽头B在相位0°的曝光延迟180°,并且依次执行抽头A和抽头B的曝光。此时,抽头A在相位0°的曝光周期与抽头B在相位180°的曝光周期的相位彼此一致。同样,抽头B在相位0°的曝光周期与抽头A在相位180°的曝光周期的相位彼此一致。
图9是示出光接收单元12的光接收定时的示图。如图9中示出的,光接收单元12依次执行抽头A与抽头B在各个相位中的读出。进一步地,光接收单元12在一个μ帧的时间段内依次执行每个相位的读出。
即,在图9的实例中,光接收单元12在时间点t20至t21的时间段中以相位0°执行曝光。距离测量处理单元13基于分别由抽头A和抽头B读取的像素信号而获得光量值A0和光量值B0。在夹在时间点t21与时间点t22之间的预定时间之后的时间点t22至时间点t23的时间段中,光接收单元12以相位90°执行曝光。距离测量处理单元13基于分别由抽头A和抽头B读取的像素信号而获得光量值A90和光量值B90。
同样,在夹在时间点t23与时间点t24之间的预定时间之后的时间点t24至时间点t25的时间段中,以相位180°执行曝光。距离测量处理单元13基于分别由抽头A和抽头B读取的像素信号而获得光量值A180和光量值B180。进一步地,在夹在时间点t25与时间点t26之间的预定时间之后的时间点t26至时间点t27的时间段中,光接收单元12以相位270°执行曝光。距离测量处理单元13基于分别由抽头A和抽头B读取的像素信号而获得光量值A270和光量值B270。
在夹在时间点t27与时间点t28之间的预定时间之后的时间点t28,再次执行从时间点t20开始的上述操作。
将抽头A和抽头B在相位0°、90°、180°以及270°依次执行读出并且基于抽头A和B在图9中示出的各个相位的读出获得光量值的方法称为2抽头方法(4相位)。
在该第二方法的情况下,通过使用各个光量值A0和B0、A90和B90、A180和B180、以及A270和B270的下列式子(7)和(8)而分别计算差I和Q。
I=C0-C180=(A0-B0)-(A180-B180) (7)
Q=C90-C270=(A90-B90)-(A270-B270) (8)
通过使用分别由式子(7)和(8)计算的差I和Q的上述式子(3)、(4)、以及(6)而计算反射光图像信息的距离信息深度和像素值置信度。
在图6至图8示出的2抽头方法(4相位)中,通过使用抽头A和抽头B而使每个相位中的曝光周期实现冗余。这使得可以改进所计算的反射光图像信息的距离信息深度和S/N比。
(第三方法)
图10是示出获取每个光量值并且计算应用于每个实施方式的每条信息的第三方法的示图。第三方法与第二方法的相同之处在于,与上述第二方法相似,光接收单元12包括抽头A和抽头B,并且从抽头A和抽头B依次执行读出。另一方面,第三方法与第二方法的不同之处在于,光接收单元12依次执行相位0°和90°的上述读出并且并不执行相位180°或270°的读出。
如图10中示出的,光接收单元12包括与上述第二方法相似的抽头A和抽头B并且从抽头A和抽头B依次执行读出。进一步地,光接收单元12依次执行上述相位0°、90°、180°以及270°之中的相位0°和90°的读出。在第三方法中,将相位0°和90°的读出时间段设置为1个μ帧的时间段。
在图10的情况下,读出顺序与上述图9的时间点t20至t24的顺序相同。即,光接收单元12在时间点t30至t31的时间段中以相位0°执行曝光。距离测量处理单元13基于分别由抽头A和抽头B读取的像素信号而获得光量值A0和光量值B0。在夹在时间点t31与时间点t32之间的预定时间之后的时间点t32至时间点t33的时间段中,光接收单元12以相位90°执行曝光。距离测量处理单元13基于分别由抽头A和抽头B读取的像素信号而获得光量值A90和光量值B90。
在夹在时间点t33与时间点t34之间的预定时间之后的时间点t34,再次执行从时间点t30开始的上述操作。
将抽头A和B在相位0°和90°依次执行读出并且基于抽头A和B在图10中示出的相位0°和90°的读出获得光量值的方法称为2抽头方法(2相位)。
如上所述,抽头A和抽头B在各个相位的曝光控制信号DIMIX_A和DIMIX_B是具有反相位的信号。因此,相位0°的DIMIX_A与相位180°的DIMIX_B是具有相同相位的信号。同样,相位0°的DIMIX_B与相位180°的DIMIX_A是具有相同相位的信号。此外,相位90°的DIMIX_A与相位270°的DIMIX_B是具有相同相位的信号,并且相位90°的DIMIX_B与相位270°的DIMIX_A是具有相同相位的信号。
因此,光量值B0变得与光接收单元12在相位180°的读出值相同,而光量值B90变得与光接收单元12在相位270°的读出值相同。换言之,例如,这等同于在相位0°执行相位0°和与相位0°具有相差180°的相位180°的读出。同样,这等同于在相位90°执行相位90°和与相位90°具有相差180°的相位270°的读出。
即,例如,能够视为抽头B在相位0°的曝光周期是相位180°的曝光周期。还能够视为抽头B在相位90°的曝光周期是相位270°的曝光周期。相应地,在第三方法的情况下,分别通过使用光量值A0和B0与A90和B90的下列式子(9)和(10)而计算差I和Q。
I=C0-C180=(A0-B0) (9)
Q=C90-C270=(A90-B90) (10)
能够通过使用分别由式子(9)和(10)计算的差I和Q的上述式子(3)、(4)以及(6)而计算反射光图像信息的相差(相位)、距离信息深度、以及像素值置信度。
如此,为一个光接收元件提供两个读出电路(抽头A与抽头B),并且依次使用抽头A和抽头B执行读出。利用该配置,能够在一个相位中(例如,相位0°)实现包括相差180°的曝光周期。因此,在图10示出的2抽头方法(2相位)中,能够通过比1抽头方法更少的光接收元件而获得与图5中示出的1抽头方法相同的结果。这使得可以提高距离信息与光接收图像信息的分辨率。
此处,将对计算IR图像信息的像素值IR的方法的实例进行描述。如上所述,IR图像信息为包括反射光32的分量和环境光的分量的图像信息。另一方面,除反射光32的分量和环境光的分量之外,由光接收单元12接收的光包括诸如暗电流(暗噪声)的DC分量。因此,通过从光接收单元12输出的像素信号中减去DC分量而计算IR图像信息。具体地,使用下列式子(11)计算IR图像信息的像素值IR。
RAW=C0-CFPN=(A0-AFPN)+(B0-BFPN) (11)
此处,CFPN、AFPN以及BFPN为诸如暗电流(暗噪声)的DC分量并且是固定模式的噪声。假设通过实验、模拟等而提前获得CFPN、AFPN以及BFPN。
可替代地,例如,当光接收单元12不接收光时,CFPN、AFPN以及BFPN可以是从光接收单元12输出的像素信号。在这种情况下,例如,假设在光源单元11投射投射光30之前,通过获取从光接收单元12输出的信号的距离测量设备10而获取该像素信号。
尽管式子(11)是计算相位0°的IR图像信息的像素值IR的情况,然而,可以针对其他相位(相位90°、180°以及270°)通过相似的方式计算IR图像信息的像素值IR。在这种情况下,例如,可以使用针对每个相位所计算的像素值IR的平均值作为从反射光32计算的IR图像信息的像素值IR。
<1.3.应用于每个实施方式的配置>
接着,将对应用于每个实施方式的配置的实例进行描述。图11是示出应用于每个实施方式的电子设备的实例的配置的框图。在图11中,电子设备1包括中央处理单元(CPU)100、只读存储器(ROM)101、随机访问存储器(RAM)102、存储器103、用户接口(UI)单元104、以及接口(I/F)105。进一步地,电子设备1包括分别与图1中的光源单元11和光接收单元12对应的光源单元110和传感器单元11。
例如,能够通过将智能手机(多功能移动电话终端)应用于平板个人电脑而实施图11中示出的电子设备1。应用电子设备1的设备并不局限于这些智能手机或平板个人电脑。
存储器103是诸如闪存存储器或硬盘驱动的非易失性存储介质。存储器103能够存储CPU 100操作所需的各种数据和程序。此外,存储器103能够存储用于实施参考图1所描述的应用单元20的应用程序(在下文中,简称应用)。ROM 101初始存储CPU 100操作所需的程序和数据。RAM 102指存储数据的易失性存储介质。
CPU 100根据存储在存储器103或ROM 101中的程序而使用RAM 102作为工作存储器进行操作,以控制电子设备1的整个操作。
UI单元104包括用于操作电子设备1所需的各种操作器、用于显示电子设备1的状态的显示元件等。UI单元104可以进一步包括显示由下面所述的传感器单元111捕获的图像的显示器。此外,该显示器可以是集成显示设备和输入设备的触摸面板,并且可以通过触摸面板上显示的部件而形成各种操作器。
光源单元110包括诸如LED或VCSEL的发光元件、以及驱动发光元件所需的驱动器。在光源单元110中,驱动器响应来自CPU 100的指令而生成具有预定占空比的驱动信号。发光元件根据由驱动器生成的驱动信号而发射光并且投射通过PWM进行调制的光作为投射光30。
传感器单元111包括:像素阵列单元,具有布置成阵列的多个发光元件;和驱动电路,驱动布置在像素阵列单元中的多个发光元件并且输出从各个发光元件读取的像素信号。将从传感器单元111输出的像素信号供应至CPU 100。
接着,将参考图12至图15对应用于每个实施方式的传感器单元111进行描述。
图12是示出应用于每个实施方式的传感器单元111的配置的实例的框图。在图12中,传感器单元111具有包括传感器芯片1110和堆叠在传感器芯片1110上的电路芯片1120的堆叠结构。在该堆叠结构中,传感器芯片1110与电路芯片1120通过诸如过孔或Cu-Cu连接的连接部分(未示出)而电连接至彼此。图8中的实例示出了其中传感器芯片1110的布线与电路芯片1120的布线通过连接部分连接至彼此的状态。
像素区域1111包括在传感器芯片1110上布置成阵列的多个像素1112。例如,基于从像素区域1111中所包括的多个像素1112输出的像素信号而形成一个帧的图像信号。例如,布置在像素区域1111中的各个像素1112能够接收红外光,基于所接收的红外光执行光电转换,并且输出模拟像素信号。像素区域1111中所包括的各个像素1112连接至两个垂直信号线,即,垂直信号线VSL1和VSL2。
传感器单元111进一步包括布置在电路芯片1120上的垂直驱动电路1121、列信号处理单元1122、定时控制电路1123以及输出电路1124。
定时控制电路1123根据经由控制线150从外部供应的元件控制信号而控制垂直驱动电路1121的驱动定时。进一步地,定时控制电路1123基于元件控制信号而生成垂直同步信号。列信号处理单元1122与输出电路1124与由定时控制电路1123生成的垂直同步信号同步地执行各个处理。
对于每列像素1112,垂直信号线VSL1和VSL2在图12的垂直方向上布线。假设像素区域1111中的列的总数量是M(M是1以上的整数),则总共2×M个垂直信号线布线在像素区域1111中。尽管下面将对细节进行描述,然而,每个像素1112包括两个抽头,即,各自存储通过光电转换而生成的电荷的抽头A(TAP_A)和B(TAP_B)。垂直信号线VSL1连接至像素1112的抽头A,而垂直信号线VSL2连接至像素1112的抽头B。
基于对应像素列中的像素1112的抽头A的电荷,垂直信号线VSL1用于输出像素信号AINP1,即,模拟像素信号。基于对应像素列中的像素1112的抽头B的电荷,垂直信号线VSL2用于输出像素信号AINP2,即,模拟像素信号。
在定时控制电路1123的定时控制下,垂直驱动电路1121以像素行为单位驱动像素区域1111中所包括的各个像素1112并且输出像素信号AINP1和AINP2。经由相应列的垂直信号线VSL1和VSL2将从相应像素1112输出的像素信号AINP1和AINP2供应至列信号处理单元1122。
例如,列信号处理单元1122包括针对与像素区域1111的像素列对应的每个像素列而提供的多个AD转换器。列信号处理单元1122中所包括的每个AD转换器对经由垂直信号线VSL1和VSL2供应的像素信号AINP1和AINP2执行AD转换、并且将被转换成数字信号的像素信号AINP1和AINP2供应至输出电路1124。
输出电路1124对被转换成数字信号并且从列信号处理单元1122输出的像素信号AINP1和AINP2执行诸如相关双采样(CDS)处理的信号处理、并且经由输出线51将经过信号处理的像素信号AINP1和AINP2分别作为从抽头A读取的像素信号和从抽头B读取的像素信号而输出至传感器单元111的外部。
图13是示出应用于每个实施方式的像素1112的实例的配置的电路图。像素1112包括光电二极管231、两个转移晶体管232和237、两个重置晶体管233和238、两个浮动扩散层234和239、两个放大晶体管235和240、以及两个选择晶体管236和241。浮动扩散层234和239分别与上述抽头A(表示为TAP_A)和抽头B(表示为TAP_B)对应。
光电二极管231是对所接收的光进行光电转换而生成电荷的发光元件。当将电路设置于半导体基板上的表面限定为前表面时,光电二极管231设置在基板的后表面上。将与其类似的固态成像元件称为背照式固态成像元件。代替背照式,还可以使用其中光电二极管231布置在前表面上的前照式配置。
溢出晶体管242连接在光电二极管231的阴极电极与电源线VDD之间、并且具有重置光电二极管231的功能。即,响应从垂直驱动电路1121供应的溢出栅极信号OFG,导通溢出晶体管242,由此将光电二极管231的电荷依次释放至电源线VDD。
转移晶体管232连接在光电二极管231的阴极与浮动扩散层234之间。进一步地,转移晶体管237连接在光电二极管231的阴极与浮动扩散层239之间。转移晶体管232与237根据从垂直驱动电路1121供应的转移信号TRG而将由光电二极管231生成的电荷分别依次地转移至浮动扩散层234和239。
与抽头A和B对应的浮动扩散层234和239累积从光电二极管231转移的电荷、将电荷转换成与所累积的电荷量对应的电压值的电压信号、并且分别生成作为模拟像素信号的像素信号AINP1和AINP2。
此外,两个重置晶体管233与238连接在电源线VDD与各个浮动扩散层234和239之间。根据从垂直驱动电路1121供应的重置信号RST和RSTp而导通重置晶体管233和238,由此分别从浮动扩散层234和239中提取电荷并且对浮动扩散层234和239进行初始化。
两个放大晶体管235和240连接在电源线VDD与各个选择晶体管236和241之间。放大晶体管235和240各自对通过将电荷转换成各个浮动扩散层234和239中的电压而获得的电压信号进行放大。
选择晶体管236连接在放大晶体管235与垂直信号线VSL1之间。此外,选择晶体管241连接在放大晶体管240与垂直信号线VSL2之间。根据从垂直驱动电路1121供应的选择信号SEL和SELp而导通选择晶体管236和241,由此将通过放大晶体管235和240放大的像素信号AINP1和AINP2分别输出至垂直信号线VSL1和垂直信号线VSL2。
连接至像素1112的垂直信号线VSL1和垂直信号线VSL2连接至每个像素列的列信号处理单元1122中所包括的一个AD转换器的输入端。垂直信号线VSL1和垂直信号线VSL2将从像素1112输出的像素信号AINP1和AINP2供应至每个像素列的列信号处理单元1122中所包括的AD转换器。
将参考图14和图15对传感器单元111的堆叠结构进行示意性地描述。
作为实例,传感器单元111形成其中半导体芯片堆叠成两层的两层结构。图14是示出其中由具有两层结构的堆叠式互补金属氧化物半导体图像传感器(CIS)形成应用于每个实施方式的传感器单元111的实例的示图。在图14的结构中,在作为传感器芯片1110的第一层的半导体芯片上形成像素区域1111,而在作为电路芯片1120的第二层的半导体芯片上形成电路单元。
例如,电路单元包括垂直驱动电路1121、列信号处理单元1122、定时控制电路1123以及输出电路1124。应注意,例如,传感器芯片1110可以包括像素区域1111和垂直驱动电路1121。如图14的右侧中示出的,传感器芯片1110与电路芯片1120彼此电接触地接合在一起,以形成传感器单元111作为一个固态成像元件。
作为另一实例,传感器单元111由其中半导体芯片堆叠成三层的三层结构形成。图15是示出其中应用于每个实施方式的传感器单元111由具有三层结构的堆叠式CIS形成的实例的示图。在图15的结构中,在作为传感器芯片1110的第一层的半导体芯片上形成像素区域1111。此外,将上述电路芯片1120分割成由作为第二层的半导体芯片形成的第一电路芯片1120a和由作为第三层的半导体芯片形成的第二电路芯片1120b。如图15的右侧示出的,传感器芯片1110、第一电路芯片1120a以及第二电路芯片1120b彼此电接触地接合在一起,以形成传感器单元111作为一个固态成像元件。
<2.第一实施方式>
<2.1.校正处理的概况>
接着,将对本公开的第一实施方式进行描述。根据本实施方式的距离测量设备基于由光接收单元12接收的反射光32而生成除到测量对象的距离D之外的反射光图像信息。此时,例如,当由光接收单元12接收的反射光32具有较高强度并且光强度饱和时,可能以降低的准确度生成反射光图像信息。在下文中,参考图16,将与校正反射光图像信息的方法一起描述其中光强度饱和的情况下的反射光图像信息。图16是示出根据本公开的第一实施方式的校正方法的实例的示图。
如上所述,除由测量对象31反射的直接反射光之外,反射光32包括环境光和暗噪声。例如,具体地,在其中环境光具有较高的光强度的情况下,由光接收单元12接收的反射光32可能具有较高的强度,从而导致光量值C0、C90、C180以及C270饱和的可能性。可替代地,即使投射光具有较高的强度,测量对象31也具有较高的反射率,或当到测量对象31的距离D较短时,由光接收单元12接收的反射光32的强度可能增加,从而导致光量值C0、C90、C180以及C270饱和的可能性。此处,如图16的曲线G1中示出的,假设由光接收单元12接收的反射光32具有较高的强度,并且光量值C0、C90、C180以及C270在光量值Cmax处饱和。
此处,通过上述式子(5)至(8)计算反射光图像信息的像素值置信度。当光量值C0、C90、C180以及C270在光量值Cmax处饱和时,I与Q分量变成零,并且反射光图像信息的像素值置信度也变成零。如此,例如,如图16的图像I2中示出的,当由光接收单元12接收的反射光32具有较高的强度并且光接收元件饱和时,存在其中对应的反射光图像信息的像素值置信度变成零的区域Rsa(在下文中,也被称为饱和区域Rsa)。如图16的曲线G2中示出的,对于反射光图像信息的像素值置信度,饱和区域Rsa具有零值,从而导致饱和区域Rsa与其中光接收元件不饱和的区域Rnsa(在下文中,也被称为非饱和区域Rnsa)之间的不连续。应注意,曲线G2是指示图像I2的线段A-A'处的反射光图像信息的像素值置信度的曲线。
如此,反射光图像信息中出现的不连续性可能导致应用单元20中的处理出现问题。例如,当应用单元20将反射光图像信息的饱和区域Rsa识别为特征时,反射光图像信息的识别结果中可能出现错误。例如,在其中应用单元20使用反射光图像信息执行面部识别的情况下,将饱和区域Rsa识别为面部特征(例如,胎记)可能导致不能正确地执行面部识别的可能性。
鉴于此,本公开的第一实施方式对反射光图像信息的饱和区域Rsa中的像素值置信度进行校正,由此消除反射光图像信息的不连续性。这使得可以抑制反射光图像信息的生成准确度下降,从而能够抑制应用单元20中出现问题。
具体地,根据本公开的第一实施方式的校正方法将反射光图像信息的饱和区域Rsa的像素值置信度从零校正为预定的值。在图16示出的实例中,如曲线G3中示出的,将饱和区域Rsa中的像素值置信度校正为置信度=Pmax1。如曲线G3中示出的,像素值置信度的校正值Pmax1是比与饱和区域Rsa接触的非饱和区域Rnsa中的像素Mb1和Mb2的像素值Pb更大的值(Pmax1>Pb)。
如图16的图像I3中示出的,利用该配置,能够消除反射光图像信息的不连续性。在图像I3中,由黑线指示饱和区域Rsa与非饱和区域Rnsa之间的边界,以便于理解。
<2.2.距离测量设备的配置实例>
图17是示出根据本公开的第一实施方式的距离测量设备的功能的实例的功能框图。在图17中,距离测量设备10a包括光源单元11、光接收单元12、控制单元40、距离测量单元50以及校正单元60。在光源单元11、光接收单元12、控制单元40、距离测量单元50以及校正单元60之中,通过CPU 100上的预定程序的操作而实现控制单元40、距离测量单元50以及校正单元60(参考图11)。并不局限于此,可以通过结合彼此操作的硬件电路而实现控制单元40、距离测量单元50以及校正单元60中的全部或部分。在下文中,还将包括控制单元40、距离测量单元50以及校正单元60的设备简称为信息处理装置。
在下文中,出于说明之缘故,假设将2抽头方法(4相位)应用于每个光量值的获取与光接收单元12在各个相位0°、90°、180°以及270°处的每条信息的计算。应注意,可以使用除2抽头方法(4相位)之外的方法执行每个光量值的获取与每条信息的计算。
控制单元40生成光源控制信号并且将所生成的信号供应至光源单元11。例如,光源控制信号包括指定PWM调制中的占空比、由光源单元11发射的光的强度、光发射定时等的信息。光源单元11根据从控制单元40供应的光源控制信号而投射通过PWM调制的投射光30(参考图1)。
进一步地,控制单元40生成曝光控制信号并且将所生成的信号供应至光接收单元12。曝光控制信号包括这样的信息,即,控制光接收单元12以基于每个不同的相位的光源单元11的占空比的曝光长度执行曝光。进一步地,曝光控制信号进一步包括用于控制光接收单元12中的曝光量的信息。
将从光接收单元12输出的每个相位的像素信号供应至距离测量单元50。距离测量单元50基于从光接收单元12供应的每个相位的像素信号计算反射光图像信息的距离信息深度和像素值置信度。例如,距离测量单元50将所计算的反射光图像信息的距离信息深度和像素值置信度传送至应用单元20。
此处,将参考图18对反射光图像信息的像素值置信度进行描述。图18是示出在2抽头方法(4相位)中计算反射光图像信息的像素值置信度的方法的示图。图18示出了针对每个相位的每个抽头计算到测量对象31A的距离D1所使用的像素信号和计算到测量对象31B的距离D2所使用的像素信号。测量对象31A与测量对象31B可以是布置在相同空间中的不同测量对象。可替代地,两个对象可以是在不同帧中测量的同一测量对象、或可以是同一测量对象的不同位置。
如图18中示出的,像素信号包括直接反射光分量、环境光分量以及暗噪声分量。从直接反射光的分量中计算反射光图像信息的像素值置信度。具体地,如上所述,使用下列式子(5)、(7)以及(8)计算反射光图像信息的像素值置信度。
I=(A0-B0)-(A180-B180)... (7)
Q=(A90-B90)-(A270-B270)... (8)
置信度=|I|+|Q|... (5)
如图18中示出的,用于计算距离D2的像素信号是不饱和的。相对照地,在相位0°的抽头A和相位180°的抽头B中,用于计算距离D1的像素信号是饱和的。因此,能够以较高的准确度计算与距离D2对应的反射光图像信息的像素值置信度,但是,不能以较高的准确度计算与距离D1对应的反射光图像信息的像素值置信度。为了解决此问题,在本实施方式中,当光接收单元12的光接收元件中出现饱和时,校正单元60对反射光图像信息的像素值置信度进行校正并且控制单元40对下一帧中的控制信号进行调整。
返回图17,控制单元40基于从光接收单元12供应的每个相位(例如,相位0°、90°、180°以及270°)的每个像素信号而生成用于控制光接收单元12中的曝光量的控制信号。距离测量单元50使用由控制单元40生成的控制信号对距离信息深度进行适当地计算,而不考虑待成像的场景。例如,控制单元40生成控制信号,以基于每个相位的像素信号将每个光量值调整至适当范围内的值。
即,更具体地,参考上述式子(1)和(2),在其中与相应相位对应的像素信号之中的一个或多个像素信号饱和或处于预定电平以下的情况下,存在不能对差I和Q进行适当地计算的可能性。在这种情况下,基于距离测量单元50中的差I和Q所计算的距离信息深度具有低的可靠性。
为了解决此问题,控制单元40获得控制信号,以基于每个相位的每个像素信号将每个光量值控制为适当范围内的值。基于所获得的控制信号,控制单元40控制光接收单元12中的增益和曝光时间以及光源单元11中的光发射的占空比和强度,以对由光接收单元12接收的光量进行适当地调整。
作为实例,在其中测量对象31的反射率较低的情况下,或者在其中由通过距离测量单元50计算的距离信息深度所指示的距离为预定值以上的情况下,所计算的距离信息深度的S/N变得较低,并且距离信息深度的准确度下降。在这种情况下,为了维持通过距离测量单元50所计算的距离信息深度的S/N,控制单元40生成控制光接收单元12的控制信号,以延长光接收单元12的曝光时间。
控制单元40将所生成的控制信号存储在寄存器等中(未示出)。控制单元40对预定周期的每个帧执行光源单元11中的光发射和光接收单元12的光接收。控制单元40基于存储在寄存器中的控制信息对一个帧执行处理、基于处理的结果获得控制信号并且对存储在寄存器中的控制信号进行更新。
校正单元60通过使用每个相位的每个像素信号对反射光图像信息的像素值置信度进行校正。校正单元60包括饱和区域检测单元61、饱和值估计单元62以及饱和区域补偿单元63。
饱和区域检测单元61对反射光图像信息的饱和区域Rsa进行检测。从光接收单元12中的光接收元件输出的像素信号包括指示像素信号是否饱和的饱和信息。饱和区域检测单元61通过基于饱和信息检测包括饱和像素信号的光接收元件而对饱和区域Rsa进行检测。可替代地,饱和区域检测单元61可以通过判断像素信号是否是指示像素信号饱和的值而对已饱和的光接收元件(即,饱和区域Rsa)进行检测。可替代地,饱和区域检测单元61可以通过判断反射光图像信息的像素值置信度是否是指示像素值置信度饱和的值(例如,像素值置信度是零)而对饱和区域Rsa进行检测。
饱和值估计单元62估计用于通过饱和区域补偿单元63对反射光图像信息的像素值置信度进行校正的校正值。饱和值估计单元62基于与饱和区域Rsa的周围相邻的非饱和区域Rnsa(即,与饱和区域Rsa的周围相邻的非饱和像素信号)的像素值置信度对校正值进行估计。
例如,下面将描述当饱和区域检测单元61已经从图19示出的反射光图像信息14中检测到第一饱和区域Rsa1和第二饱和区域Rsa2时由饱和值估计单元62估计的校正值。应注意,图19是示出由饱和值估计单元62估计的校正值的示图。在图19中,为了增加附图的可见性,以白色显示饱和区域,并且以黑线指示与饱和区域的周围相邻的非饱和区域。
例如,饱和值估计单元62基于与(位于)第一饱和区域Rsa1的周围相邻的非饱和区域Rnsa(由图19中的黑线指示的区域)的像素值置信度的平均值对校正值进行估计。例如,饱和值估计单元62通过对每行或每列的矩阵形反射光图像信息进行扫描而检测第一饱和区域Rsa1与非饱和区域Rnsa之间的边界。饱和值估计单元62检测非饱和区域Rnsa在所检测的边界处的像素值置信度。饱和值估计单元62针对全部行和全部列检测与第一饱和区域Rsa1相邻的非饱和区域Rnsa的像素值置信度,由此检测与第一饱和区域Rsa1的周围相邻的非饱和区域Rnsa的全部像素值置信度。饱和值估计单元62将所检测的全部非饱和区域Rnsa的像素值置信度的平均值计算为与第一饱和区域Rsa1的周围相邻的非饱和区域Rnsa(由图19中的白线指示的区域)的像素值置信度的平均值。
此处,在第一饱和区域Rsa1中,像素信号的值是饱和的。因此,第一饱和区域Rsa1的实际像素值置信度(即,其中像素信号的值不饱和的情况下的像素值置信度)被视为比周围的非饱和区域Rnsa的像素值置信度更高。鉴于此,饱和值估计单元62将通过恒定值与和第一饱和区域Rsa1的周围相邻的非饱和区域Rnsa(由图19中的白线指示的区域)的像素值置信度的平均值相加而获得的值估计为校正值。与第一饱和区域Rsa1相似,饱和值估计单元62还对第二饱和区域Rsa2的校正值进行估计。
饱和区域补偿单元63通过使用由饱和值估计单元62估计的校正值对由饱和区域检测单元61检测的饱和区域Rsa的像素值置信度进行校正,如图20中示出的,例如,饱和区域补偿单元63通过利用校正值代替饱和区域Rsa的像素值置信度而对像素值置信度进行校正。
应注意,图20是示出由饱和区域补偿单元63对像素值置信度进行校正的示图。例如,图20示出了以矩阵形式设置的各条反射光图像信息之中的预定行的反射光图像信息。图20中的左侧的曲线是示出校正之前的反射光图像信息的曲线。如图20中示出的,在校正之前的反射光图像信息中,饱和区域Rsa中的反射光图像信息的像素值置信度是零,从而导致曲线不连续。为解决此问题,如右侧的曲线中示出的,饱和区域补偿单元63利用校正值代替饱和区域Rsa中的反射光图像信息的像素值置信度。该操作使得可以改进反射光图像信息的不连续性。
图21是示出由饱和区域补偿单元63进行校正之前的反射光图像信息的实例的示图。如图21中示出的,当光接收单元12中的光接收元件饱和时,反射光图像信息15中出现黑色的饱和区域Rsa。如此,例如,当反射光图像信息15中出现饱和区域Rsa时,在后续阶段中存在降低由应用单元20进行的面部认证的准确度的可能性。这是因为应用单元20可能将饱和区域Rsa识别为反射光图像信息15的特征。
因此,如上所述,在本公开的第一实施方式中,饱和区域补偿单元63对饱和区域Rsa中的反射光图像信息的像素值置信度进行校正。图22是示出由饱和区域补偿单元63进行校正之后的反射光图像信息的实例的示图。如图22的反射光图像信息16中示出的,通过饱和区域补偿单元63对饱和区域Rsa进行校正,以白色显示在图21中显示为黑色的饱和区域Rsa。即,通过将饱和区域Rsa校正成显示为白色,能够消除饱和区域Rsa与非饱和区域Rnsa之间的不连续性。
在面部认证的情况下,图21中示出的出现不连续性时的认证准确度比图22中示出的认证图像中出现过度曝光的情况更低。因此,通过由饱和区域补偿单元63对反射光图像信息的不连续性进行校正,可以抑制反射光图像信息的准确度下降,从而抑制由应用单元20产生的问题(例如,面部认证系统减少)。
<2.3.距离测量设备中的校正处理>
图23是示出根据第一实施方式的距离测量设备10a中的校正处理的实例的流程图。例如,当将指示成像开始(距离测量)的成像开始指令从应用单元20传送至距离测量设备10a时,开始该校正处理。
首先,基于存储在寄存器中的控制信号,距离测量设备10a中的控制单元40控制光源单元11和光接收单元12执行成像(步骤S101)。将通过成像所获得的每个相位的像素信号从光接收单元12传送至控制单元40、距离测量单元50以及校正单元60。
距离测量设备10a中的距离测量单元50基于在步骤S101中获得的成像结果而对反射光图像信息的距离信息深度和像素值置信度进行计算(步骤S102)。例如,距离测量设备10a中的距离测量单元50将所计算的距离信息深度输出至应用单元20并且将反射光图像信息的像素值置信度输出至应用单元20和校正单元60。
接着,距离测量设备10a中的饱和区域检测单元61基于在步骤S101中获得的成像结果而对反射光图像信息的饱和区域Rsa进行计算(步骤S103)。通过检测包括饱和的像素信号的光接收元件,饱和区域检测单元61对反射光图像信息的饱和区域Rsa进行计算。
距离测量设备10a中的饱和值估计单元62基于在步骤S103中计算的饱和区域Rsa和在步骤S102中计算的反射光图像信息的像素值置信度对校正值进行计算(步骤S104)。更具体地,饱和值估计单元62将通过预定值与饱和区域Rsa的周围的非饱和区域Rnsa的反射光图像信息的像素值置信度的平均值相加而获得的值估计为校正值。
距离测量设备10a中的饱和区域补偿单元63基于由饱和值估计单元62在步骤S104中估计的校正值对饱和区域Rsa的反射光图像信息的像素值置信度进行校正(步骤S105)。饱和区域补偿单元63将所计算的校正值添加至饱和区域Rsa的反射光图像信息的像素值置信度,由此利用校正值代替反射光图像信息的像素值置信度的值。
基于在步骤S101中捕获的每个相位的每个像素信号,距离测量设备10a中的控制单元40获得控制光源单元11和光接收单元12的控制信号(步骤S106)。控制单元40将所获得的控制信号存储在寄存器等中。
距离测量设备10a判断成像是否已经完成(步骤S107)。例如,在其中距离测量设备10a已经从应用单元20接收指示成像结束的成像结束指令的情况下,距离测量设备判断成像已经结束(步骤S107,“是”)。在这种情况下,距离测量设备10a结束校正处理。
相反,在其中距离测量设备10a尚未从应用单元20接收成像结束指令并且判断成像尚未结束的情况下(步骤S107,“否”),处理返回至步骤S101。例如,以一个帧为单位重复步骤S101至S107的处理。
如此,根据第一实施方式的距离测量设备10a(信息处理装置的实例)包括校正单元60(控制单元的实例)。校正单元60对基于从接收反射光32(由测量对象31反射从光源单元11(光源的实例)投射的投射光)的光接收单元12(光接收传感器的实例)输出的像素信号(像素信号的实例)而生成的反射光图像信息(光接收图像信息的实例)的饱和区域Rsa进行检测。像素信号用于对到测量对象31的距离进行计算。饱和区域Rsa是基于饱和的像素信号而生成的反射光图像信息的区域。校正单元60基于像素信号对饱和区域Rsa的反射光图像信息进行校正。
这使得可以改进光接收图像信息(第一实施方式中的反射光图像信息)的不连续性,从而抑制光接收图像信息的准确度下降。
<3.第二实施方式>
接着,将对本公开的第二实施方式进行描述。根据第二实施方式的距离测量设备通过使用IR图像信息对反射光图像信息的饱和区域Rsa进行校正。
<3.1.距离测量设备的配置实例>
图24是示出根据第二实施方式的距离测量设备10b的功能的实例的框图。图24中示出的距离测量设备10b包括校正单元60b而不是图17中的校正单元60。校正单元60b并不包括图17中的饱和值估计单元62,而是代替地包括IR计算单元64。校正单元60b包括饱和区域补偿单元63b而不是图17中的饱和区域补偿单元63。通过CPU 100上的程序的操作(参考图11)可以实现或通过硬件电路可以实施校正单元60b。
IR计算单元64基于从光接收单元12输出的像素信号而计算IR图像信息。此处,基于上述式子(11)或式子(12)计算IR图像信息。通过从像素信号中减去诸如暗电流(暗噪声)的DC分量而计算IR图像信息。因此,即使在饱和区域Rsa中,IR图像信息的像素值IR也不会变成零,并且即使在出现饱和区域Rsa时,IR图像信息也将是保持连续性的图像信息。
饱和区域补偿单元63b基于反射光图像信息和IR图像信息对饱和区域Rsa的反射光图像信息进行校正。饱和区域补偿单元63根据饱和区域Rsa中的IR图像信息的梯度(变化率)对反射光图像信息进行校正。将参考图25对这样的校正进行详细描述。
图25是示出由饱和区域补偿单元63b对饱和区域Rsa进行校正的示图。图25示出了与反射光图像信息和IR图像信息的一行(或一列)对应的曲线。
图25中的左侧的上曲线为示出由IR计算单元64生成的IR图像信息的曲线。指示IR图像信息的曲线为即使在饱和区域Rsa中也无零值的连续曲线。
图25中的左侧的下曲线为指示由距离测量单元50生成的反射光图像信息的曲线。如上所述,指示反射光图像信息的曲线为由于饱和区域Rsa中的零值而不连续的曲线。
如上所述,IR图像信息为包括直接反射光的分量和环境光的分量的信息。进一步地,反射光图像信息为包括直接反射光的分量的信息。在同一帧中,环境光的分量被视为是相同的。相应地,贡献于IR图像信息的像素值IR的变化的分量与贡献于反射光图像信息的像素值置信度的变化的分量(即,直接反射光的分量)被视为是相同的,具有相等的变化率。
鉴于此,根据本实施方式的饱和区域补偿单元63b根据IR图像信息的像素值IR的梯度(变化率)对饱和区域Rsa中的反射光图像信息的像素值置信度进行校正。具体地,通过使与待校正的反射光图像信息的像素(在下文中,也被称为校正像素)相邻的像素的值乘以与校正像素对应的IR图像信息的像素值IR的变化率而计算校正像素的校正值。饱和区域补偿单元63b使用所计算的校正值对校正像素的像素值置信度进行校正。
例如,饱和区域补偿单元63b依次从与非饱和区域Rnsa相邻的饱和区域Rsa中的像素计算校正值,并且在对水平方向或垂直方向上的校正目标像素依次进行扫描的同时计算饱和区域Rsa中所包括的全部像素的校正值。
图25中的右侧的曲线为示出由饱和区域补偿单元63b进行校正之后的反射光图像信息的曲线。如图25中示出的,进行校正之后的反射光图像信息是与饱和区域Rsa中的IR图像信息具有相同梯度(变化率)的像素值置信度的曲线,表明不连续性的消除。
如此,通过由饱和区域补偿单元63b根据IR图像信息的梯度(变化量)对反射光图像信息进行校正,可以根据直接反射光的分量的实际变化而执行校正,从而进一步抑制反射光图像信息的准确度下降。
尽管存在其中饱和区域补偿单元63b对每行或每列的反射光图像信息进行校正的情况,然而,校正方法并不局限于此。例如,饱和区域补偿单元63b可以计算每行和每列的反射光图像信息的校正值。在这种情况下,针对一个校正像素计算与行和列方向对应的两个校正值。例如,饱和区域补偿单元63b可以使用两个校正值的平均值对校正像素进行校正。
<3.2.距离测量设备中的校正处理>
图26是示出根据第二实施方式的距离测量设备10b中的校正处理的实例的流程图。例如,与图23中的校正处理相似,当将用于指示成像开始(距离测量)的成像开始指令从应用单元20传送至距离测量设备10b时,开始该校正处理。
在图26的流程图中,步骤S101至S103中的处理与上述图23中的对应处理相似,并且由此此处省去其细节描述。在步骤S103中获得用于控制光源单元11和光接收单元12的控制信号之后,距离测量设备10b进行至步骤S201的处理。
距离测量设备10b中的IR计算单元64基于在步骤S101中获得的成像结果而计算IR图像信息(步骤S201)。IR计算单元64将所计算的IR图像信息输出至饱和区域补偿单元63b。可替代地,IR计算单元64可以将所计算的IR图像信息输出至应用单元20。
距离测量设备10b中的饱和区域补偿单元63b基于在步骤S104中由IR计算单元64计算的IR图像信息的梯度对饱和区域Rsa的反射光图像信息进行校正(步骤S202)。饱和区域补偿单元63b通过使与校正像素相邻的像素的像素值置信度乘以与校正像素对应的IR图像信息的像素值IR的变化率而对校正像素进行校正。
距离测量设备10b中的控制单元40基于在步骤S101中捕获的每个相位的每个像素信号而获得控制光源单元11和光接收单元12的控制信号(步骤S106)。控制单元40将所获得的控制信号存储在寄存器等中。
距离测量设备10b判断成像是否已经完成(步骤S107)。例如,在其中距离测量设备10b已经从应用单元20接收指示成像结束的成像结束指令的情况下,距离测量设备判断成像已经结束(步骤S107,“是”)。在这种情况下,距离测量设备10b结束校正处理。
相对照地,在其中距离测量设备10b尚未从应用单元20接收成像结束指令并且判断成像尚未结束的情况下(步骤S107,“否”),处理返回至步骤S101。例如,以一个帧为单位重复步骤S101至S107中的处理。
如此,根据第二实施方式的距离测量设备10b(信息处理装置的实例)包括校正单元60b(控制单元的实例)。校正单元60b根据IR图像信息的像素值IR的梯度(变化率)对饱和区域中的反射光图像信息的像素值置信度进行校正。这使得可以改进光接收图像信息(第二实施方式中的反射光图像信息)的不连续性,从而抑制光接收图像信息的准确度下降。
<4.第三实施方式>
将对本公开的第三实施方式进行描述。根据第三实施方式的距离测量设备对IR图像信息的饱和区域Rsa进行校正。
<4.1.距离测量设备的配置实例>
图27是示出根据第三实施方式的距离测量设备10c的功能的实例的框图。图27中示出的距离测量设备10c包括校正单元60c而不是图24中的校正单元60b。校正单元60c包括饱和值估计单元62c而不是图17中的饱和值估计单元62。校正单元60c包括饱和区域补偿单元63c而不是图17中的饱和区域补偿单元63。通过CPU 100上的程序的操作(参考图11)可以实现或通过硬件电路可以实施校正单元60c。
饱和值估计单元62c对IR图像信息的饱和区域Rsa中的像素值IR的校正值进行估计。例如,饱和值估计单元62c将预定的值估计为校正值。可替代地,饱和值估计单元62c可以基于位于饱和区域Rsa中的IR图像信息的周围的非饱和区域Rnsa的像素值IR的平均值对校正值进行估计。例如,饱和值估计单元62c可以通过使预定值与平均值相加而对校正值进行估计。
如上所述,即使存在饱和区域Rsa,IR图像信息也不是不连续的。然而,即使在IR图像信息中,也基于饱和区域Rsa中的饱和像素信号对像素值IR进行计算。因此,饱和区域Rsa中的像素值IR可能不是校正值,并且变成饱和值(削减至预定值的值)。鉴于此,在本实施方式中,通过对IR图像信息的饱和区域Rsa中的像素值IR进行校正,抑制了IR图像信息的准确度下降。
尽管存在其中饱和区域检测单元61通过检测反射光图像信息的饱和区域Rsa而对对应的IR图像信息的饱和区域Rsa进行检测的情况,然而,检测方法并不局限于此。例如,饱和区域检测单元61可以通过判断IR图像信息的像素值IR是否是指示饱和像素值IR的值而对IR图像信息的饱和区域Rsa进行检测。
进一步地,尽管存在其中校正单元60c对IR图像信息进行校正的情况,然而,除IR图像信息之外,校正单元60c还可以对反射光图像信息进行校正。因为反射光图像信息的校正与第一和第二实施方式的情况相似,所以将省去其描述。
<4.2.距离测量设备中的校正处理>
图28是示出根据第三实施方式的距离测量设备10c中的校正处理的实例的流程图。与图23中的校正处理相似,例如,当将用于指示成像开始(距离测量)的成像开始指令从应用单元20传送至距离测量设备10c时,开始该校正处理。
在图28的流程图中,步骤S101至S201中的处理与上述图26中的对应处理相似,并且由此此处省去其细节描述。在步骤S201中计算IR图像信息之后,距离测量设备10c进行至步骤S301的处理。
距离测量设备10c中的饱和值估计单元62c基于在步骤S103中计算的饱和区域Rsa和在步骤S201中计算的IR图像信息而计算校正值(步骤S301)。
距离测量设备10c中的饱和区域补偿单元63c基于由饱和值估计单元62c在步骤S301中计算的校正值而对饱和区域Rsa的IR图像信息进行校正(步骤S302)。
距离测量设备10c中的控制单元40基于在步骤S101中捕获的每个相位的每个像素信号而获得控制光源单元11和光接收单元12的控制信号(步骤S106)。控制单元40将所获得的控制信号存储在寄存器等中。
距离测量设备10c判断成像是否已经完成(步骤S107)。例如,在其中距离测量设备10a已经从应用单元20接收指示成像结束的成像结束指令的情况下,距离测量设备判断成像已经结束(步骤S107,“是”)。在这种情况下,距离测量设备10c结束校正处理。
相对照地,在其中距离测量设备10c尚未从应用单元20接收成像结束指令并且判断成像尚未结束的情况下(步骤S107,“否”),处理返回至步骤S101。例如,以一个帧为单位重复步骤S101至S107中的处理。
如此,根据第三实施方式的距离测量设备10c(信息处理装置的实例)包括校正单元60c(控制单元的实例)。校正单元60c对饱和区域中的IR图像信息(光接收图像信息的实例)的像素值进行校正。这使得可以抑制光接收图像信息(第三实施方式中的IR图像信息)的准确度下降。
<5.变形>
尽管已经将第一实施方式描述为通过包括CPU 100、ROM 101、RAM102、UI单元104、存储器103、I/F 105等的电子设备1将距离测量设备10a配置成硬件设备的情况,然而,配置并不局限于该实例。例如,还可以将包括图17中示出的控制单元40、距离测量单元50以及校正单元60的距离测量设备10a整合在通过堆叠图11或图12中示出的半导体芯片而形成的传感器单元111上,以作为整体被配置成一个半导体元件。这同样可应用于根据第二和第三实施方式的距离测量设备10b和10c。
进一步地,尽管已经将上述实施方式描述为饱和区域Rsa中的反射光图像信息的像素值置信度是零的情况,然而,操作并不局限于此。例如,在其中光接收单元12的每个相位中的像素信号部分饱和的情况下,反射光图像信息的像素值置信度可能不是零。然而,即使在这种情况下,也基于饱和的像素信号计算反射光图像信息的像素值置信度,并且由此,像素值置信度包括误差,从而导致出现不连续反射光图像信息的可能性。因此,即使在上述光接收单元12的每个相位中的像素信号的一部分饱和的情况下,也可以通过校正单元60和60b执行校正处理。
而且,尽管上述实施方式是其中由校正单元60、60b以及60c执行光接收图像信息的校正的情况,然而,校正方法并不局限于此。例如,应用单元20可以对光接收图像信息进行校正。在这种情况下,图1中的电子设备1用作对光接收图像信息进行校正的信息处理装置。
可替代地,通过专用计算机系统或通用计算机系统可以实现上述实施方式中的校正单元60、60b以及60c。
例如,将用于执行校正处理的上述操作的程序存储在诸如光盘、半导体存储器、磁带、或软盘、或硬盘的计算机可读记录介质中并且进行分配。将程序安装在计算机上并且执行上述处理,以实现包括校正单元60的信息处理装置的配置。此时,信息处理装置可以是电子设备1的外部设备(例如,个人电脑)。进一步地,信息处理装置可以是电子设备1内的设备(例如,控制单元40)。
进一步地,例如,可以将通信程序存储在诸如因特网的网络上的服务器设备所包括的盘设备中,以能够下载至计算机。进一步地,可以通过协作地使用操作系统(OS)和应用程序而实现上述功能。在这种情况下,例如,可以将除OS之外的部分存储在介质中进行分配,或者可以将除OS之外的部分存储在服务器设备中,以下载至计算机。
进一步地,在上述实施方式中所描述的每个处理之中,可以手动地执行被描述为自动执行的全部或部分处理,或者能够通过已知的方法自动地执行被描述为手动执行的处理。此外,除非另有规定,否则,能够任意更改处理程序、具体名称、以及包括上述文献或附图中示出的各种数据和参数的信息。例如,各个附图中所示出的各种类型的信息并不局限于所示出的信息。
此外,提供各个示出的设备中的各个部件作为功能和概念性例证并且由此并不一定必须是所示出的物理配置。即,各个设备的分布/集成的具体形式并不局限于附图中示出的这些形式,并且可以根据各种负载与使用条件将其全部或部分功能性地或物理地分布或集成到任意单元中。
<6.结论>
上面已经对本公开的实施方式进行了描述。然而,本公开的技术范围并不局限于上述实施方式,并且在不偏离本公开的范围的情况下,能够做出各种变形。而且,可允许对不同实施方式与变形中的部件进行适当地组合。
本说明书的各个实施方式中所描述的效果仅是实例,并且由此,可能存在并不局限于所例证的效果的其他效果。
应注意,本技术还能够具有下列配置。
(1)一种信息处理装置,所述信息处理装置包括控制单元,所述控制单元被配置为执行包括以下的处理:
检测基于从光接收传感器输出的像素信号而生成的光接收图像信息的饱和区域,光接收传感器被配置为接收从光源投射的投射光的由测量对象反射的反射光,像素信号被配置为用于计算到测量对象的距离,饱和区域为基于饱和的像素信号而生成的光接收图像信息的区域;并且
基于像素信号对饱和区域的光接收图像信息进行校正。
(2)根据(1)所述的信息处理装置,
其中,光接收图像信息为根据像素信号中包含的反射光的分量而生成的图像信息。
(3)根据(1)所述的信息处理装置,
其中,光接收图像信息为根据像素信号中包含的反射光的分量和环境光的分量而生成的图像信息。
(4)根据(2)或(3)所述的信息处理装置,
其中,控制单元基于其中像素信号不饱和的非饱和区域中的与饱和区域相邻的光接收图像信息的像素值对饱和区域的像素值进行校正。
(5)根据(4)所述的信息处理装置,
其中,控制单元使用校正值对对饱和区域中的像素值进行校正,所述校正值是基于其中像素信号不饱和的非饱和区域中的位于饱和区域的周围的光接收图像信息的像素值的平均值而计算的。
(6)根据(5)所述的信息处理装置,
其中,校正值为大于平均值的值。
(7)根据(4)所述的信息处理装置,
其中,控制单元根据基于像素信号中包含的反射光的分量与环境光的分量而计算的接收光值的变化率对饱和区域中的像素值进行校正。
(8)一种校正方法,包括:
检测基于从光接收传感器输出的像素信号而生成的光接收图像信息的饱和区域,光接收传感器被配置为接收从光源投射的投射光的由测量对象反射的反射光,像素信号被配置为用于计算到测量对象的距离,饱和区域为基于饱和的像素信号而生成的光接收图像信息的区域;并且
基于像素信号对饱和区域的光接收图像信息进行校正。
(9)一种程序,所述程序使计算机用作执行包括以下处理的控制单元:
检测基于从光接收传感器输出的像素信号而生成的光接收图像信息的饱和区域,光接收传感器被配置为接收从光源投射的投射光的由测量对象反射的反射光,像素信号被配置为用于计算到测量对象的距离,饱和区域为基于饱和的像素信号而生成的光接收图像信息的区域;并且
基于像素信号对饱和区域的光接收图像信息进行校正。
参考标号列表
1 电子设备
10,10a,10b,10c 距离测量设备
11 光源单元
12 光接收单元
13 距离测量处理单元
20 应用单元
40 控制单元
50 距离测量单元
60,60b,60c 校正单元
61 饱和区域检测单元
62,62c 饱和值估计单元
63,63b,63c 饱和区域补偿单元
64 IR计算单元。
Claims (9)
1.一种信息处理装置,所述信息处理装置包括控制单元,所述控制单元被配置为执行包括以下的处理:
检测基于从光接收传感器输出的像素信号而生成的光接收图像信息的饱和区域,所述光接收传感器被配置为接收从光源投射的投射光的由测量对象反射的反射光,所述像素信号被配置为用于计算到所述测量对象的距离,所述饱和区域为基于饱和的所述像素信号而生成的所述光接收图像信息的区域;并且
基于所述像素信号对所述饱和区域的所述光接收图像信息进行校正。
2.根据权利要求1所述的信息处理装置,
其中,所述光接收图像信息为根据所述像素信号中包含的所述反射光的分量而生成的图像信息。
3.根据权利要求1所述的信息处理装置,
其中,所述光接收图像信息为根据所述像素信号中包含的所述反射光的分量和环境光的分量而生成的图像信息。
4.根据权利要求2所述的信息处理装置,
其中,所述控制单元基于其中所述像素信号不饱和的非饱和区域中的与所述饱和区域相邻的所述光接收图像信息的像素值对所述饱和区域的所述像素值进行校正。
5.根据权利要求4所述的信息处理装置,
其中,所述控制单元使用校正值对所述饱和区域中的所述像素值进行校正,所述校正值是基于其中所述像素信号不饱和的所述非饱和区域中的位于所述饱和区域的周围的所述光接收图像信息的所述像素值的平均值而计算的。
6.根据权利要求5所述的信息处理装置,
其中,所述校正值为大于所述平均值的值。
7.根据权利要求4所述的信息处理装置,
其中,所述控制单元根据基于所述像素信号中包含的所述反射光的分量与环境光的分量而计算的接收光值的变化率对所述饱和区域中的所述像素值进行校正。
8.一种校正方法,包括:
检测基于从光接收传感器输出的像素信号而生成的光接收图像信息的饱和区域,所述光接收传感器被配置为接收从光源投射的投射光的由测量对象反射的反射光,所述像素信号被配置为用于计算到所述测量对象的距离,所述饱和区域为基于饱和的像素信号而生成的所述光接收图像信息的区域;并且
基于所述像素信号对所述饱和区域的所述光接收图像信息进行校正。
9.一种程序,所述程序使计算机用作执行包括以下处理的控制单元:
检测基于从光接收传感器输出的像素信号而生成的光接收图像信息的饱和区域,所述光接收传感器被配置为接收从光源投射的投射光的由测量对象反射的反射光,所述像素信号被配置为用于计算到所述测量对象的距离,所述饱和区域为基于饱和的像素信号而生成的所述光接收图像信息的区域;并且
基于所述像素信号对所述饱和区域的所述光接收图像信息进行校正。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019176862 | 2019-09-27 | ||
JP2019-176862 | 2019-09-27 | ||
PCT/JP2020/029674 WO2021059748A1 (ja) | 2019-09-27 | 2020-08-03 | 情報処理装置、補正方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114521241A true CN114521241A (zh) | 2022-05-20 |
Family
ID=75166581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080067172.4A Pending CN114521241A (zh) | 2019-09-27 | 2020-08-03 | 信息处理装置、校正方法以及程序 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220390577A1 (zh) |
EP (1) | EP4036521A4 (zh) |
JP (1) | JPWO2021059748A1 (zh) |
KR (1) | KR20220069944A (zh) |
CN (1) | CN114521241A (zh) |
TW (1) | TW202130973A (zh) |
WO (1) | WO2021059748A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11922606B2 (en) * | 2021-10-04 | 2024-03-05 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
CN117523437A (zh) * | 2023-10-30 | 2024-02-06 | 河南送变电建设有限公司 | 一种用于变电站近电作业现场实时风险识别方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008061033A (ja) * | 2006-08-31 | 2008-03-13 | Sanyo Electric Co Ltd | スミア推測方法およびスミア除去回路 |
JP2016183922A (ja) * | 2015-03-26 | 2016-10-20 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
WO2017006546A1 (ja) * | 2015-07-03 | 2017-01-12 | パナソニックIpマネジメント株式会社 | 距離測定装置および距離画像合成方法 |
JP2017133853A (ja) | 2016-01-25 | 2017-08-03 | 株式会社リコー | 測距装置 |
JP6922187B2 (ja) * | 2016-11-08 | 2021-08-18 | 株式会社リコー | 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び光源駆動条件設定方法 |
-
2020
- 2020-07-24 TW TW109125040A patent/TW202130973A/zh unknown
- 2020-08-03 WO PCT/JP2020/029674 patent/WO2021059748A1/ja active Application Filing
- 2020-08-03 JP JP2021548399A patent/JPWO2021059748A1/ja active Pending
- 2020-08-03 KR KR1020227009318A patent/KR20220069944A/ko unknown
- 2020-08-03 EP EP20870098.9A patent/EP4036521A4/en active Pending
- 2020-08-03 CN CN202080067172.4A patent/CN114521241A/zh active Pending
- 2020-08-03 US US17/761,936 patent/US20220390577A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2021059748A1 (zh) | 2021-04-01 |
EP4036521A1 (en) | 2022-08-03 |
US20220390577A1 (en) | 2022-12-08 |
WO2021059748A1 (ja) | 2021-04-01 |
KR20220069944A (ko) | 2022-05-27 |
TW202130973A (zh) | 2021-08-16 |
EP4036521A4 (en) | 2022-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3559698B1 (en) | Readout voltage uncertainty compensation in time-of-flight imaging pixels | |
US7796239B2 (en) | Ranging apparatus and ranging method | |
US11758078B2 (en) | Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera | |
CN106664379B (zh) | 高动态范围像素和用于操作高动态范围像素的方法 | |
KR101215142B1 (ko) | 고체 촬상 장치 및 촬상 시스템 | |
US20190007592A1 (en) | Imaging device and solid-state imaging element used in same | |
JP5499789B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
US10666875B2 (en) | Solid-state imaging device | |
JP2013251677A (ja) | 信号処理装置および方法、撮像素子、並びに、撮像装置 | |
US20220046158A1 (en) | Distance measuring device | |
CN111034177A (zh) | 固体摄像装置以及具备该固体摄像装置的摄像装置 | |
CN114521241A (zh) | 信息处理装置、校正方法以及程序 | |
WO2020170969A1 (ja) | 測距装置及び測距装置の制御方法、並びに、電子機器 | |
US11812173B2 (en) | Imaging apparatus and distance information calculation method | |
JP6733229B2 (ja) | 固体撮像装置、画像読取装置および画像形成装置 | |
CN113597567A (zh) | 距离图像的获得方法、以及距离检测装置 | |
US10009559B2 (en) | Imaging apparatus, method for controlling the same, and program | |
JP4792943B2 (ja) | 撮像装置 | |
JP5219775B2 (ja) | 撮像素子及び撮像装置 | |
WO2023119918A1 (ja) | 測距装置および電子機器 | |
JPH11136580A (ja) | 測光システム | |
JP2009188437A (ja) | 撮像装置 | |
JP2020139937A (ja) | 測距装置及び電子機器 | |
JP2023180900A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2024078837A (ja) | 距離画像撮像装置、及び距離画像撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |