CN108139484B - 测距装置和测距装置的控制方法 - Google Patents

测距装置和测距装置的控制方法 Download PDF

Info

Publication number
CN108139484B
CN108139484B CN201780003409.0A CN201780003409A CN108139484B CN 108139484 B CN108139484 B CN 108139484B CN 201780003409 A CN201780003409 A CN 201780003409A CN 108139484 B CN108139484 B CN 108139484B
Authority
CN
China
Prior art keywords
depth map
image data
continuous light
resolution
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780003409.0A
Other languages
English (en)
Other versions
CN108139484A (zh
Inventor
大木光晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN108139484A publication Critical patent/CN108139484A/zh
Application granted granted Critical
Publication of CN108139484B publication Critical patent/CN108139484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Abstract

本发明改善了接收间歇光的测距装置中的深度图的图像质量。在像素阵列部中，用于接收预定间歇光的多个像素以二维格子状排列。连续光图像数据生成部(310)基于所述多个像素的受光数据(Q1～Q4)来生成指示多个像素的预定连续光的亮度的多条图像数据在其中以二维格子状排列的连续光图像数据(IR)。深度图生成部(320)从所述受光数据(Q1～Q4)和所述连续光图像数据(IR)来生成包括与所述多个像素相对应的距离信息配置在其中的深度图(D)。

Description

测距装置和测距装置的控制方法
技术领域
本技术涉及测距装置和测距装置的控制方法。更具体地，本技术涉及用于从光的相位差来测量距离的测距装置和测距装置的控制方法。
背景技术
传统上，在具有测距功能的电子装置中，经常使用被称为飞行时间(ToF)方式的测距方式。在ToF方式中，装置利用诸如正弦波或矩形波等间歇光照射物体、接收相对于照射光的反射光并且从照射光和反射光之间的相位差来测量距离。
在ToF方式中，如果反射光由其中多个像素以阵列状配置的ToF传感器接收，则该装置可以测量各像素的距离并生成深度图。为了改善深度图的图像质量，提出了添加有用于接收连续光而不是间歇光并对图像数据进行成像的固态成像元件的系统(例如，参见非专利文献1)。在该系统中，ToF传感器的受光数据和由固态成像元件成像的图像数据被输入到交叉双边滤波器以生成深度图。交叉双边滤波器是使用高斯函数的滤波器，用于噪声去除、上采样等。
[引用文献列表]
[非专利文献]
非专利文献1：D.Chan et al.,A Noise-Aware Filter for Real-Time DepthUpsampling,ECCV Workshops 2008.
发明内容
[发明要解决的技术问题]
在上述现有技术中，通过使用交叉双边滤波器，与仅使用ToF传感器的情况相比，可以生成具有改善的图像质量的深度图。然而，由于除了ToF传感器之外还需要安装固态成像元件，所以存在装置的成本和尺寸增加的问题。虽然可以仅利用来自ToF传感器的间歇光的受光数据来生成深度图，但是与添加有固态成像元件的情况相比，深度图的图像质量会劣化。以这种方式，存在如下问题：仅利用间歇光的受光数据不能改善深度图的图像质量。
鉴于这种情况而作出了本技术。本技术的目的是改善用于从光的相位差来测量距离的测距装置中的深度图的图像质量。
[解决问题的技术方案]
本技术用来解决上述问题。本技术的第一方面是一种测距装置和测距装置的控制方法，所述测距装置包括：像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；连续光图像数据生成部，其基于多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和深度图生成部，其从所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图。利用这种构成，获得了如下作用：基于用于接收间歇光的多个像素中的每一个的受光数据而生成了连续光图像数据。
另外，根据第一方面，所述受光数据中的每一条都包括多个电荷信号，和所述连续光图像数据生成部可以通过针对所述多个像素中的每一个对所述多个电荷信号进行积分来生成所述连续光图像数据。利用这种构成，获得了如下作用：通过对多个电荷信号进行积分的处理而生成了连续光图像数据。
此外，根据第一方面，所述深度图生成部可以获得当已经输入了多个电荷信号和所述连续光图像数据的预定函数被最小化时的电荷信号，以从该电荷信号生成所述深度图。利用这种构成，获得了如下作用：从当预定函数被最小化时的电荷信号生成深度图。
此外，根据第一方面，所述深度图生成部可以通过使用预定滤波器来生成所述深度图。利用这种构成，获得了如下作用：通过使用预定滤波器而生成了深度图。
此外，根据第一方面，所述像素阵列部被分割成多个像素块，并且所述深度图生成部可以包括：低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；低分辨率深度图生成部，其基于所述低分辨率电荷信号来生成作为低分辨率深度图的与所述多个像素块中的每一个相对应的距离信息配置在其中的数据；和高分辨率深度图生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率深度图输入到所述预定滤波器以生成所述深度图。利用这种构成，获得了如下作用：通过将连续光图像数据、低分辨率连续光图像数据和低分辨率深度图输入到预定滤波器而生成了深度图。
此外，根据第一方面，所述像素阵列部被分割成多个像素块，并且所述深度图生成部可以包括：低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；高分辨率电荷信号生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率电荷信号输入到所述预定滤波器，以生成作为高分辨率电荷信号的针对所述多个像素中的每一个的新的电荷信号；和深度转换部，其将所述高分辨率电荷信号转换为所述距离信息。利用这种构成，获得了如下作用：通过将连续光图像数据、低分辨率连续光图像数据和低分辨率电荷信号输入到预定滤波器而生成了高分辨率电荷信号。
此外，根据第一方面，所述深度图生成部可以包括：深度转换部，其将多个电荷信号转换为所述距离信息；和深度图噪声去除部，其将所述距离信息和所述连续光图像数据输入到所述预定滤波器以去除所述距离信息的噪声。利用这种构成，获得了如下作用：通过将距离信息和连续光图像数据输入到预定滤波器而去除了距离信息的噪声。
此外，根据第一方面，所述深度图生成部可以包括：电荷信号噪声去除部，其将所述连续光图像数据和多个电荷信号输入到所述预定滤波器以去除所述多个电荷信号的噪声；和深度转换部，其将已经去除了噪声的多个电荷信号转换为所述距离信息。利用这种构成，获得了如下作用：通过将连续光图像数据和多个电荷信号输入到预定滤波器而去除了多个电荷信号的噪声。
此外，根据第一方面，所述多个电荷信号可以包括第一、第二、第三和第四电荷信号，和所述预定滤波器是其中随着第一和第二电荷信号之和与第三和第四电荷信号之和之间的差分绝对值变大而变小的权重系数乘以预定高斯函数的滤波器。利用这种构成，获得了如下作用：通过其中随着第一和第二电荷信号之和与第三和第四电荷信号之和之间的差分绝对值变大而变小的权重系数乘以预定高斯函数的滤波器而生成了深度图。
此外，根据第一方面，所述多个电荷信号包括第一、第二、第三和第四电荷信号，和所述预定滤波器是其中随着第一和第二电荷信号之差的平方与第三和第四电荷信号之差的平方之和变大而变大的权重系数乘以预定高斯函数的滤波器。利用这种构成，获得了如下作用：通过其中随着第一和第二电荷信号之差的平方与第三和第四电荷信号之差的平方之和变大而变大的权重系数乘以预定高斯函数的滤波器而生成了深度图。
此外，根据第一方面，所述预定滤波器可以包括其中随着噪声被去除之前的间歇光的相位与已经去除了噪声的间歇光的相位之间的差变小而变大的系数乘以标准偏差的项的高斯函数。利用这种构成，获得了如下作用：通过包括其中随着噪声被去除之前的间歇光的相位与已经去除了噪声的间歇光的相位之间的差变小而变大的系数乘以标准偏差的项的高斯函数的预定滤波器而生成了深度图。
此外，根据第一方面，所述像素阵列部在预定期间内接收所述预定间歇光并且在与所述预定期间不同的连续光接收期间内接收所述预定连续光，和所述连续光图像数据生成部可以从所述连续光接收期间内的所述受光数据生成所述连续光图像数据。利用这种构成，获得了如下作用：从连续光接收期间内的受光数据生成连续光图像数据。
[发明的效果]
根据本技术，可以获得如下优异效果：在从光的相位差来测量距离的测距装置中可以改善深度图的图像质量。需要指出的是，本文记载的效果不必须是限制性的，并且该效果可以是本公开中记载的任何效果。
附图说明
图1是根据本技术第一实施方案的测距模块的示例性构成的框图。
图2是根据本技术第一实施方案的ToF传感器的示例性构成的框图。
图3是根据本技术第一实施方案的示例性像素电路的电路图。
图4是根据本技术第一实施方案的Q1Q2生成期间的固态成像元件的示例性操作的时序图。
图5是根据本技术第一实施方案的Q3Q4生成期间的固态成像元件的示例性操作的时序图。
图6是根据本技术第一实施方案的测距计算部的示例性构成的框图。
图7是根据本技术第一实施方案的示例性电荷信号和低分辨率电荷信号的图。
图8是根据本技术第一实施方案的示例性红外图像数据和低分辨率红外图像数据的图。
图9是根据本技术第一实施方案的示例性低分辨率深度图和示例性高分辨率深度图的图。
图10是根据本技术第一实施方案的测距模块的示例性操作的流程图。
图11是根据本技术第一实施方案的变形例的发光控制部的示例性操作的时序图。
图12是根据本技术第一实施方案的变形例的测距计算部的示例性构成的框图。
图13是根据本技术第二实施方案的测距计算部的示例性构成的框图。
图14是根据本技术第二实施方案的测距模块的示例性操作的流程图。
图15是根据本技术第三实施方案的测距计算部的示例性构成的框图。
图16是根据本技术第三实施方案的示例性函数h()的曲线图。
图17是根据本技术第三实施方案的相位平面上的长度Z和函数m()的例子的图。
图18是根据本技术第三实施方案的示例性函数g()和Wu,u'的图。
图19是根据本技术第三实施方案的测距模块的示例性操作的流程图。
图20是根据本技术第四实施方案的测距计算部的示例性构成的框图。
图21是根据本技术第四实施方案的测距模块的示例性操作的流程图。
图22是车辆控制系统的示例性概略构成的框图。
图23是成像部的示例性安装位置的说明图。
具体实施方式
下面，对用于实施本技术的实施方案(以下称为实施方案)进行说明。说明按照以下顺序进行。
1.第一实施方案(生成红外图像并对深度图进行上采样的例子)
2.第二实施方案(生成红外图像并对电荷信号进行上采样的例子)
3.第三实施方案(生成红外图像并去除电荷信号的噪声的例子)
4.第四实施方案(生成红外图像并去除深度图的噪声的例子)
1.第一实施方案
[测距模块的示例性构成]
图1是根据本技术实施方案的测距模块100的示例性构成的框图。测距模块100通过使用ToF方式来测量距离，并且包括发光部110、发光控制部120、ToF传感器200和测距计算部300。需要指出的是，测距模块100是权利要求书中记载的示例性测距装置。
发光部110间歇地向物体发射照射光。例如，发光部110与矩形波发光控制信号CLKp同步地产生照射光。此外，例如，发光二极管用作发光部110，并且近红外光等用作照射光。需要指出的是，只要该信号是周期信号，发光控制信号CLKp就不限于矩形波。例如，发光控制信号CLKp可以是正弦波。此外，照射光不限于近红外光，并且可以是可见光等。
发光控制部120控制发光部110。发光控制部120生成发光控制信号CLKp，并将发光控制信号CLKp供给到发光部110和ToF传感器200。发光控制信号CLKp的频率例如是20兆赫(MHz)。需要指出的是，发光控制信号CLKp的频率不限于20兆赫(MHz)，并且可以是5兆赫(MHz)等。
ToF传感器200接收相对于间歇照射光的反射光，并且每当经过垂直同步信号VSYNC的周期时，就生成表示该周期内的受光量的电荷信号。例如，60赫兹(Hz)的周期信号用作垂直同步信号VSYNC。此外，在ToF传感器200中，多个像素以二维格子状排列。ToF传感器200将由像素生成的电荷信号供给到测距计算部300。需要指出的是，垂直同步信号VSYNC的频率不限于60赫兹(Hz)，并且可以是30赫兹(Hz)或120赫兹(Hz)。
测距计算部300基于来自ToF传感器200的电荷信号通过使用ToF方式来测量距离物体的距离(换句话说，深度)。测距计算部300生成其中配置有多个像素的距离信息的深度图。例如，深度图被用于以与距离相对应的程度进行模糊处理的图像处理、根据距离求出聚焦透镜的焦点的自动聚焦(AF)处理等。
[ToF传感器200的示例性构成]
图2是根据第一实施方案的ToF传感器200的示例性构成的框图。ToF传感器200包括行扫描电路210、像素阵列部220、时机控制部240、多个模数(AD)转换部250、列扫描电路260和信号处理部270。在像素阵列部220中，多个像素230以二维格子状排列。在下文中，沿着预定方向排列的一组像素230称为“行”，沿着与该行垂直的方向排列的一组像素230称为“列”。AD转换部250针对各列设置。
时机控制部240与垂直同步信号VSYNC同步地控制行扫描电路210、AD转换部250和列扫描电路260。
行扫描电路210同时曝光所有行，并且在曝光之后顺次地选择该行以使所选择的行输出像素信号。像素230在行扫描电路210的控制下接收反射光并输出与受光量相对应的电荷信号。
AD转换部250对来自相应列的电荷信号进行AD转换。在列扫描电路260的控制下，AD转换部250将经AD转换的电荷信号输出到信号处理部270。列扫描电路260顺次地选择AD转换部250以使所选择的AD转换部250输出电荷信号。
信号处理部270对电荷信号进行诸如相关双采样(CDS)处理等信号处理。信号处理部270将信号处理后的电荷信号供给到测距计算部300。
需要指出的是，ToF传感器200还包括实际上收集反射光的透镜。然而，为了便于说明，在图2中省略了透镜。
[像素的示例性构成]
图3是根据第一实施方案的像素230的电路的示例性构成的框图。像素230包括受光元件231、传输开关232、电荷累积部233和234以及选择开关235和236。
受光元件231对光进行光电转换以生成电荷。作为受光元件231，例如使用光电二极管。
传输开关232在行扫描电路210的控制下将受光元件231连接到电荷累积部233和234以及复位电源Vrst中的一个。传输开关232例如由多个金属氧化物半导体(MOS)晶体管实现。当受光元件231与复位电源Vrst连接时，从MOS晶体管的漏极输出的电荷被丢弃，并且受光元件231的电荷被初始化。
电荷累积部233和234累积电荷并生成与累积量相对应的电压。例如，浮动扩散层用作电荷累积部233和234。
选择开关235在行扫描电路210的控制下打开和关闭电荷累积部233和AD转换部250之间的线路。选择开关236在行扫描电路210的控制下打开和关闭电荷累积部234和AD转换部250之间的线路。例如，当由行扫描电路210供给FD读取信号RD_FD1时，选择开关235的状态转变到关闭状态。当由行扫描电路210供给FD读取信号RD_FD2时，选择开关236的状态转变到关闭状态。每个选择开关235和236例如由MOS晶体管实现。
图4是根据第一实施方案的Q1Q2生成期间内的像素的示例性曝光控制的时序图。当开始间歇光的照射时，像素230重复交替地生成电荷信号Q1和Q2以及电荷信号Q3和Q4。在下文中，将电荷信号Q1和Q2的生成期间称为“Q1Q2生成期间”，将电荷信号Q3和Q4的生成期间称为“Q3Q4生成期间”。Q1Q2生成期间和Q3Q4生成期间各自的长度是垂直同步信号VSYNC的周期(例如，1/60秒)。
这里，电荷信号Q1是当假定间歇光的发光控制信号CLKp的特定相位(例如，上升)为0°时，在Q1Q2生成期间内从0°到180°的受光量p1的累积。由于发光控制信号CLKp的频率是20兆赫(MHz)并且较高，所以每个周期(1/20微秒)的受光量非常小，并且难以检测到。因此，像素230在比发光控制信号CLKp的周期(1/20微秒)长的诸如1/60秒等Q1Q2生成期间累积受光量p1，并生成表示总量的信号作为电荷信号Q1。此外，电荷信号Q2是在Q1Q2生成期间内从180°到360°的反射光的受光量p2的累积。
此外，电荷信号Q3是在Q3Q4生成期间内从90°到270°的反射光的受光量p3的累积。此外，电荷信号Q4是在Q3Q4生成期间内从270°到90°的反射光的受光量p4的累积。
从电荷信号Q1,Q2,Q3和Q4，测距模块100可以针对各像素计算到物体的距离D。
例如，在从时机T1到时机T2的Q1Q2生成期间内，检测该期间内的电荷信号Q1和Q2。首先，行扫描电路210在从时机T1开始的预定脉冲期间内向所有行供给复位信号RST。复位信号RST初始化所有行中的电荷累积部233和234的电荷累积量。此外，行扫描电路210通过FD选择信号SEL_FD初始化所有行中的受光元件231的电荷。
然后，在Q1Q2生成期间内，行扫描电路210将在发光控制信号CLKp的周期内在从0°到180°的所有行中的通过FD选择信号SEL_FD的由受光元件231生成的电荷传输到电荷累积部233。利用这种控制，受光量p1累积在电荷累积部233中。
此外，在Q1Q2生成期间内，行扫描电路210将在发光控制信号CLKp的周期内在从180°到360°的所有行中的通过FD选择信号SEL_FD的由受光元件231生成的电荷传输到电荷累积部234。利用这种控制，受光量p2累积在电荷累积部234中。
然后，在紧接时机T2之前的时机T11，行扫描电路210顺次地将FD读取信号RD_FD1和RD_FD2供给到第一行。利用这种控制，读取第一行中的电荷信号Q1和Q2。接着，行扫描电路210顺次地将FD读取信号RD_FD1和RD_FD2供给到第二行以读取电荷信号。此后，类似地，行扫描电路210顺次地选择行并读取电荷信号。
以这种方式，在Q1Q2生成期间，每个像素230生成从0°到180°的电荷信号Q1和从180°到360°的电荷信号Q2。
图5是根据第一实施方案的Q3Q4生成期间内的像素230的示例性曝光控制的时序图。例如，在从时机T2到时机T3的Q3Q4生成期间，生成该期间的电荷信号Q3和Q4。首先，行扫描电路210在从时机T2开始的预定脉冲期间将复位信号RST供给到所有行，并且初始化所有行中的电荷累积部233和234的电荷累积量。此外，行扫描电路210通过FD选择信号SEL_FD初始化所有行中的受光元件231的电荷。
然后，在最初的0°～90°中，行扫描电路210将在所有行中的通过FD选择信号SEL_FD的由受光元件231生成的电荷传输到电荷累积部234。利用这种控制，受光量p4累积在电荷累积部234中。此后，行扫描电路210将在发光控制信号CLKp的周期内在从90°到270°的所有行中的通过FD选择信号SEL_FD的由受光元件231生成的电荷传输到电荷累积部233。利用这种控制，受光量p3累积在电荷累积部233中。
此外，在Q3Q4生成期间，行扫描电路210将在发光控制信号CLKp的周期内在从270°到90°的所有行中的通过FD选择信号SEL_FD的由受光元件231生成的电荷传输到电荷累积部234。利用这种控制，受光量p4累积在电荷累积部234中。
然后，在紧接时机T3之前的时机T21，行扫描电路210顺次地将FD读取信号RD_FD1和RD_FD2供给到第一行。利用这种控制，读取第一行中的电荷信号Q3和Q4。此后，类似地，行扫描电路210顺次地选择行并读取电荷信号。
以这种方式，在Q3Q4生成期间，每个像素230生成从90°到270°的电荷信号Q3和从270°到90°的电荷信号Q4。
[测距计算部的示例性构成]
图6是根据本技术第一实施方案的测距计算部300的示例性构成的框图。测距计算部300包括红外图像生成部310和深度图生成部320。此外，深度图生成部320包括低分辨率电荷信号生成部321、低分辨率深度图生成部322、低分辨率红外图像生成部323和高分辨率深度图生成部324。
红外图像生成部310从电荷信号Q1～Q4中的每一个生成红外图像数据。这里，红外图像数据是其中表示连续红外光(换句话说，连续光)的亮度IR的多条像素数据以二维格子状排列的图像数据。例如，红外图像生成部310通过下式计算各像素230的亮度IR。
IR＝(Q1+Q2+Q3+Q4)/2
红外图像生成部310将计算出的红外图像数据输出到高分辨率深度图生成部324。需要指出的是，红外图像生成部310是权利要求书中记载的连续光图像数据生成部的例子。
低分辨率电荷信号生成部321针对各像素块将像素块内的电荷信号相加(即，像素相加)。这里，像素块是包括多个像素的区域，并且像素阵列部220例如被分割成3×3像素的多个像素块。此外，由于针对各像素生成电荷信号Q1～Q4，所以如果行数是M(M是整数)并且列数是N(N是整数)，则生成M×N个电荷信号Q1。类似地，生成M×N个电荷信号Q2～Q4。
然后，当假定像素块的尺寸是3×3像素时，在各像素块中，通过对像素块内的九个电荷信号Q1进行平均而获得的信号被计算为低分辨率电荷信号q1。在整个图像中，计算(M×N)/9个低分辨率电荷信号q1。类似地，通过分别对电荷信号Q2,Q3和Q4进行平均来计算低分辨率电荷信号q2,q3和q4。低分辨率电荷信号生成部321将这些低分辨率电荷信号供给到低分辨率深度图生成部322和低分辨率红外图像生成部323。通过由低分辨率电荷信号生成部321进行像素相加，可以降低电荷信号的噪声。然而，由像素相加获得的电荷信号生成的深度图的分辨率比像素相加之前的分辨率低。
低分辨率深度图生成部322测量各像素块的距离。低分辨率深度图生成部322可以通过将低分辨率电荷信号q1～q4代入下式来计算距离与像素块相对应的物体的距离d。例如，在“Larry Li,“Time-of-Flight Camera-An Introduction”,Texas Instruments,Technical White Paper SLOA190B January 2014 Revised May 2014中记载了该式的推导方法。
d＝(c/4πf)×tan-1{(q3-q4)/(q1-q2)}
＝(c/4πf)×R
在上式中，距离d的单位例如是米(m)。参考值c表示光速，并且速度c的单位例如是米/秒(m/s)。参考值tan-1()表示正切函数的反函数。参考值R表示相位，并且相位的单位例如为“度”。
低分辨率深度图生成部322生成其中每个像素块的距离d的信息被配置为低分辨率深度图的数据，并将该数据供给到高分辨率深度图生成部324。
低分辨率红外图像生成部323对各个像素块内的低分辨率电荷信号q1～q4进行积分以计算红外光(连续光)的亮度ir。例如，通过下式获得亮度ir。
ir＝(q1+q2+q3+q4)/2
低分辨率红外图像生成部323将其中配置有各像素块的亮度ir的图像数据作为低分辨率红外图像数据供给到高分辨率深度图生成部324。需要指出的是，低分辨率红外图像生成部323是权利要求书中记载的低分辨率连续光图像数据生成部的例子。
高分辨率深度图生成部324从红外图像数据、低分辨率红外图像数据和低分辨率深度图测量各像素的距离(深度)。高分辨率深度图生成部324通过使用低分辨率深度图的距离d(v)与低分辨率红外图像数据的亮度ir(v)之间的关系获得在ToF传感器200的像素的坐标u处的与红外图像数据的亮度IR(u)相对应的距离D(u)。例如，通过下式中所示的交叉双边滤波器来进行该处理。例如，在“J.Kopf and M.Uyttendaele,Joint bilateralupsampling,Transactions on Graphics(TOG),26(3),2007”中记载了该交叉双边滤波器。
[式1]
Figure BDA0001617064570000131
[式2]
Figure BDA0001617064570000132
这里，集合Ωu表示坐标u的附近。即，通过式1右边的求和计算，获得需要其距离D的坐标u附近的“低分辨率坐标v”。此外，参考值f()和g()表示高斯函数。式1的左边是要最终输出的距离。
高分辨率深度图生成部324计算所有像素的距离D并作为高分辨率深度图输出其中配置有距离D的数据。
以这种方式，通过用交叉双边滤波器对低分辨率深度图进行上采样，可以生成噪声降低的高分辨率深度图。因此，可以改善深度图的图像质量。
需要指出的是，高分辨率深度图生成部324使用交叉双边滤波器。然而，所使用的滤波器不限于交叉双边滤波器，只要滤波器可以用于上采样即可。
图7是根据本技术第一实施方案的示例性电荷信号和示例性低分辨率电荷信号的图。在图7的a中，示出了各像素的示例性电荷信号。在图7的b中，示出了各像素的示例性低分辨率电荷信号。
例如，在坐标(0,0)的像素00中生成电荷信号Q100～Q400，在坐标(0,1)的像素01中生成电荷信号Q101～Q401。然后，以3×3像素的像素块为单位进行像素相加。例如，在具有中心坐标(1,1)的像素块11中，对九组电荷信号Q1～Q4进行平均以生成一组低分辨率电荷信号q111～q411。
图8是根据本技术第一实施方案的示例性红外图像数据和低分辨率红外图像数据的图。在图8的a中，示出了示例性红外图像数据。在图8的b中，示出了示例性低分辨率图像数据。
针对各像素，对电荷信号Q1～Q4进行积分，并且计算亮度IR。例如，通过对像素00的电荷信号Q100～Q400进行积分来计算像素00的亮度IR00，并且通过对像素01的电荷信号Q101～Q401进行积分来计算像素01的亮度IR01。此外，关于各像素块的中心位置，通过对低分辨率电荷信号q1～q4进行积分来计算亮度ir。例如，通过对像素11的电荷信号Q111～Q411进行积分来计算像素11的亮度IR11。
图9是根据本技术第一实施方案的示例性低分辨率深度图和示例性高分辨率深度图的图。在图9的a中，示出了示例性低分辨率深度图。在图9的b中，示出了示例性高分辨率深度图。
针对各像素块的中心，从低分辨率电荷信号q1～q4计算距离d。例如，从像素11的低分辨率电荷信号q111～q411，计算与像素11相对应的距离d11。
然后，将低分辨率红外图像数据、红外图像数据和低分辨率深度图输入到交叉双边滤波器，并且生成高分辨率深度图。
[测距模块的示例性操作]
图10是根据本技术第一实施方案的测距模块100的示例性操作的流程图。例如，当进行用于开始测距的操作时，开始操作。
测距模块100针对各像素生成电荷信号Q1～Q4(步骤S901)。然后，测距模块100通过像素相加针对各像素块生成低分辨率电荷信号q1～q4(步骤S902)。接着，测距模块100从低分辨率电荷信号q1～q4生成低分辨率深度图(步骤S903)。
此外，测距模块100从电荷信号Q1～Q4生成红外图像数据(步骤S904)，并且从低分辨率电荷信号q1～q4生成低分辨率红外图像数据(步骤S905)。然后，测距模块100将低分辨率深度图、红外图像数据和低分辨率红外图像数据输入到交叉双边滤波器以生成高分辨率深度图(步骤S906)。
然后，测距模块100根据用于终止测距的操作等来确定测距是否完成(步骤S907)。在测距还没有完成的情况下(步骤S907：否)，测距模块100重复进行步骤S901和后续步骤中的处理。另一方面，在测距已经完成的情况下(步骤S907：是)，测距模块100终止用于生成深度图的操作。
以这种方式，根据本技术的第一实施方案，测距模块100从电荷信号生成红外图像数据，并从红外图像数据和电荷信号生成高分辨率深度图。因此，可以改善深度图的图像质量。此外，由于从由ToF传感器200输出的电荷信号生成红外图像数据，所以不需要添加捕获红外图像数据的固态成像元件。因此，与还包括固态成像元件的构成相比，可以抑制测距模块100的成本和尺寸的增大。另外，在添加有固态成像元件的构成中，ToF传感器和固态成像元件物理上不能配置在相同的位置。因此，导致固态成像元件和ToF传感器之间的位置差异，并且需要校正位置差异。另一方面，在仅使用ToF传感器的构成中，不需要这种校正。
[变形例]
在第一实施方案中，测距模块100通过对电荷信号进行积分来生成红外图像数据。然而，ToF传感器200可以通过时间分割来生成电荷信号并捕获红外图像数据。根据第一实施方案的变形例的测距模块100与第一实施方案中的测距模块的不同之处在于，ToF传感器200通过时间分割来生成电荷信号并且捕获红外图像数据。
图11是根据本技术第一实施方案的变形例的发光控制部120的示例性操作的时序图。在第一实施方案的变形例中，作为垂直同步信号VSYNC的频率fVSYNC的倒数的1V间隔被分割成ToF驱动期间和图像捕获期间。发光控制部120在ToF驱动期间生成发光控制信号CLKp，并且发光部110与信号同步地间歇发光。另一方面，在图像捕获期间，发光控制部120停止发光控制信号CLKp，并且发光部110停止发光。由于发光控制信号CLKp停止，所以在图3所示的像素230中，没有切换传输开关232，并且电荷仅累积在电荷累积部233和234中的一个内。
此外，ToF传感器200在ToF驱动期间接收间歇光以生成电荷信号Q1～Q4，并且在图像捕获期间接收连续的红外光以生成红外图像数据。
图12是根据本技术第一实施方案的变形例的测距计算部300的示例性构成的框图。根据第一实施方案的变形例的测距计算部300与第一实施方案中的测距计算部的不同之处在于，代替红外图像生成部310，测距计算部300包括红外图像输出部311，并且还包括开关315和切换控制部316。
切换控制部316切换来自ToF传感器200的数据的输出目的地。在ToF驱动期间，切换控制部316将来自ToF传感器200的电荷信号Q1～Q4的输出目的地切换成深度图生成部320。另一方面，在图像捕获期间，切换控制部316将来自ToF传感器200的红外图像数据的输出目的地切换成红外图像生成部311和外部。
红外图像输出部311根据需要对来自ToF传感器200的红外图像数据进行各种图像处理，并将处理后的数据输出到高分辨率深度图生成部324。
如上所述，根据本技术第一实施方案的第一变形例，由于ToF传感器200通过时间分割来生成电荷信号并捕获红外图像数据，所以可以在不对电荷信号进行积分的情况下生成红外图像数据。
2.第二实施方案
在上述第一实施方案中，交叉双边滤波器已经对低分辨率深度图进行了上采样。然而，代替低分辨率深度图，可以对低分辨率电荷信号进行上采样。根据第二实施方案的测距模块100与第一实施方案中的测距模块的不同之处在于，对低分辨率电荷信号进行上采样。
图13是根据本技术第二实施方案的测距计算部300的示例性构成的框图。代替深度图生成部320，根据第二实施方案的测距计算部300包括深度图生成部330。深度图生成部330包括低分辨率电荷信号生成部331、低分辨率红外图像生成部332、高分辨率电荷信号生成部333和深度转换部334。
低分辨率电荷信号生成部331和低分辨率红外图像生成部332的构成与根据第一实施方案的低分辨率电荷信号生成部321和低分辨率红外图像生成部323的构成类似。
高分辨率电荷信号生成部333从低分辨率电荷信号q1～q4、低分辨率红外图像数据和低红外图像数据针对各像素生成新的电荷信号Q1r～Q4r作为高分辨率电荷信号。例如，通过由下式表示的交叉双边滤波器来计算高分辨率电荷信号Q1r～Q4r。
[式3]
Figure BDA0001617064570000171
/>
[式4]
Figure BDA0001617064570000172
[式5]
Figure BDA0001617064570000173
[式6]
Figure BDA0001617064570000181
在上式中，参考值q1(v)～q4(v)表示坐标v的低分辨率电荷信号。此外，参考值Q1r(u)～Q4r(u)表示坐标u的高分辨率电荷信号。高分辨率电荷信号生成部333将计算出的高分辨率电荷信号Q1r～Q4r供给到深度转换部334。
如上所述，在第一实施方案中，交叉双边滤波器对低分辨率深度图进行了上采样。然而，在第二实施方案中，交叉双边滤波器对低分辨率电荷信号进行上采样。
深度转换部334针对各像素将像素的高分辨率电荷信号Q1r～Q4r转换为距离D(深度)。例如，深度转换部334通过使用下式来计算距离D。然后，深度转换部334其中配置有计算出的距离D的深度图输出到外部。
D＝(c/4πf)
×tan-1{(Q3r-Q4r)/(Q1r-Q2r)}
在上式中，省略下标(u)。
需要指出的是，高分辨率电荷信号生成部333根据式3～6对高分辨率电荷信号Q1r～Q4r进行了计算。然而，代替式3～6，高分辨率电荷信号生成部333可以根据下式来计算上述电荷信号。
[式7]
Figure BDA0001617064570000182
[式8]
Figure BDA0001617064570000183
由于在后续阶段中，深度转换部334使用如上所述的Q1r(u)-Q2r(u)和Q3r(u)-Q4r(u)，所以优选的是，高分辨率电荷信号生成部333将计算结果供给到深度转换部334。通过使用式7和式8，与使用式3～6的情况相比，可以减少计算量。
图14是根据本技术第二实施方案的测距模块100的示例性操作的流程图。测距模块100针对各像素生成电荷信号Q1～Q4(步骤S901)，并针对各像素块生成低分辨率电荷信号q1～q4(步骤S902)。然后，测距模块100生成红外图像数据(步骤S904)并生成低分辨率红外图像数据(步骤S905)。
随后，测距模块100将低分辨率电荷信号q1～q4、低分辨率红外图像数据以及红外图像数据输入到交叉双边滤波器以生成高分辨率电荷信号Q1r～Q4r(步骤S911)。然后，测距模块100将高分辨率电荷信号Q1r～Q4r转换为距离D以生成并输出深度图(步骤S912)。在步骤S912之后，测距模块100进行步骤S907及后续步骤中的处理。
如上所述，根据本技术的第二实施方案，将低分辨率电荷信号输入到交叉双边滤波器以生成高分辨率电荷信号。因此，可以从高分辨率电荷信号生成高分辨率深度图。
3.第三实施方案
在上述第一实施方案中，测距模块100通过像素相加去除了噪声。然而，代替像素添加，可以利用交叉双边滤波器来去除噪声。根据第三实施方案的测距模块100与第一实施方案中的测距模块的不同之处在于，利用交叉双边滤波器去除噪声。
图15是根据本技术第三实施方案的测距计算部300的示例性构成的框图。根据第三实施方案的测距计算部300与第一实施方案中的测距计算部的不同之处在于，代替深度图生成部320，包括深度图生成部340。
深度图生成部340包括电荷信号噪声去除部341和深度转换部342。深度转换部342的构成与根据第二实施方案的深度转换部334的构成类似。
电荷信号噪声去除部341将作为引导图像的红外图像数据与电荷信号Q1～Q4一起输入到交叉双边滤波器，以去除电荷信号Q1～Q4的噪声。电荷信号噪声去除部341将已经去除了噪声的电荷信号Q1nr～Q4nr供给到深度转换部342。例如，通过由下式表示的交叉双边滤波器来计算电荷信号Q1nr～Q4nr。
[式9]
Figure BDA0001617064570000201
[式10]
Figure BDA0001617064570000202
[式11]
Figure BDA0001617064570000203
[式12]
Figure BDA0001617064570000204
[式13]
Figure BDA0001617064570000211
在上式中，参考值u表示输出已经去除了噪声的电荷信号(Q1nr～Q4nr)的像素的坐标。此外，参考值u'表示坐标u附近的像素的坐标。适宜地设定单一坐标u所需的坐标u'的数量(滤波器尺寸)。例如，输入坐标u周围的3×3像素中的每一个的坐标u'。
此外，参考值IR(u)表示坐标u的亮度，并且参考值IR(u')表示坐标u'的亮度。参考值h()是随着电荷信号Q1和Q2之和与电荷信号Q3和Q4之和的差分绝对值变小而返回更大的权重系数的函数。参考值m()是随着电荷信号Q1(u')和Q2(u')之差的平方与电荷信号Q3(u')和Q4(u')之差的平方之和的平方根变大而返回更大的权重系数的函数。
通过式9～13所示的交叉双边滤波器来去除电荷信号Q1～Q4的噪声。以这种方式，在第一实施方案中，交叉双边滤波器已被用于上采样。然而，在第三实施方案中，使用交叉双边滤波器来去除噪声。需要指出的是，尽管h()和m()在式9～13中相乘，但是可以将参考值h()和m()中的至少一个设定为“1”。
此外，在式9～12中，高斯函数g()由下式表示。
[式14]
Figure BDA0001617064570000212
在上式中，参考值Wu,u'是随着由下式表示的相位差dR变大而返回更小的权重系数的函数。相位差dR是从对应于坐标u的电荷信号Q1(u)～Q4(u)获得的相位和从对应于坐标u'的电荷信号Q1(u')～Q4(u')获得的相位之间的差。例如，相位差dR通过下式表示。
Dr＝||R-R'||
R＝tan-1(Q3(u)-Q4(u))/(Q1(u)-Q2(u))
R'＝tan-1(Q3(u')-Q4(u'))/(Q1(u')-Q2(u'))
需要指出的是，式14是用标准偏差乘以函数Wu,u的高斯函数。然而，其中设定“1”而不是函数Wu,u'的一般高斯函数可以用作g()。
此外，电荷信号噪声去除部341通过式9～12计算电荷信号Q1nr～Q4nr。然而，代替式9～12，电荷信号噪声去除部341可以通过其他式子来计算电荷信号Q1nr～Q4nr。
[式15]
Figure BDA0001617064570000221
[式16]
Figure BDA0001617064570000222
通过使用式15和式16，与使用式9～12的情况相比，可以减少计算量。
此外，电荷信号噪声去除部341通过交叉双边滤波器来去除电荷信号的噪声。然而，可以通过滤波处理以外的处理来去除噪声。例如，电荷信号噪声去除部341可以通过解决能量最小化问题来去除噪声。在这种情况下，设定下式所示的条件。
[式17]
Q1'(u)+Q2'(u)＝Q3'(u)+Q'4(u)对于
Figure BDA0001617064570000223
在上式中，“对于”及后续项表示坐标u是像素阵列部220的所有像素的坐标集合中的一个。在式17的条件下，通过求解下式得到电荷信号Q1nr～Q4nr。
[式18]
Figure BDA0001617064570000231
上式中的参考值A是预定系数。此外，参考值dTerm是数据项，参考值rTerm是平滑项(smooth term)。这些项由下式表示。
[式19]
Figure BDA0001617064570000232
[式20]
Figure BDA0001617064570000233
[式21]
Figure BDA0001617064570000234
式21中的参考值n(u)是指示红外图像数据的坐标u处的梯度的方向的单位矢量，并且参考值m(u)是与单位矢量n(u)正交的单位矢量。此外，函数T1/2是各向异性扩散张量。在“D.Ferstl,Image Guided Depth Upsampling Using Anisotropic Total GeneralizedVariation,ICCV 2013”中记载了这种各向异性扩散张量。参考值A,B和r表示所需的常数。
图16是根据本技术第三实施方案的示例性函数h()的曲线图。图16中的横轴表示电荷信号Q1和Q2之和与电荷信号Q3和Q4之和之间的差分绝对值dQ，纵轴表示各差分绝对值的函数h()的值。
这里，在没有噪声产生的理想条件下，差分绝对值dQ为“0”。因此认为，差分绝对值dQ越大，电荷信号Q1(u')～Q4(u')的可靠性越低。因此，当绝对差分值dQ为“0”时，函数(h)返回“1”的系数，并且随着差分绝对值变大而返回更小的系数。在滤波器中使用权重系数使得能够降低可靠性低的电荷信号的贡献率。
图17是根据本技术第三实施方案的相位平面上的长度Z和函数m()的例子的图。在图17的a中，示出了拓扑空间。图17的a中的纵轴表示电荷信号Q3(u')与Q4(u')之差，横轴表示电荷信号Q1(u')与Q2(u')之差。在拓扑空间中，实线箭头表示指示从原点到与测量的电荷信号相对应的点的方向的矢量。由矢量和横轴形成的角度R表示照射光和反射光之间的相位差。此外，虚线箭头表示与真实相位差相对应的矢量。由实线箭头和虚线箭头形成的角度表示来自真实值的误差。如图17的a所示，实线箭头的长度Z越短，误差越大。例如，长度Z由下式表示。
Z＝{(Q1(u')-Q2(u'))2+(Q3(u')-Q4(u'))2}1/2
在图17的b中，示出了示例性函数m()。在图17的b中，横轴表示长度Z，纵轴表示与长度Z相对应的函数m()的值。如上所述，随着长度Z变短，误差增大，可靠性降低。因此，函数()随着长度Z更长而返回更大的权重系数。在滤波器中使用权重系数使得能够降低可靠性低的电荷信号的贡献率。
图18是根据本技术第三实施方案的示例性函数g()和Wu,u'的图。在图18的a中，示出了由式14表示的示例性函数g()。在图18的a中，横轴表示亮度IR(u)和亮度IR(u')之间的差分绝对值，纵轴表示函数g()的值。此外，实曲线表示当Wu,u'不是“1”时函数g()的轨迹，点状的曲线表示当Wu,u'为“1”时函数g()(即，一般的高斯函数)的轨迹。如图18的a所示，函数Wu,u'可以改变函数g()的离散。
在图18的b中，示出了示例性函数Wu,u'。在图18的a中，横轴表示相位差dR，纵轴表示各相位差dR的函数Wu,u'的值。由于距离(深度)和相位R成比例关系，所以可以认为，与已经去除了噪声的坐标u相对应的相位和与在去除噪声之前的坐标u'相对应的相位之间的相位差dR越小，数据越可靠。因此，当相位差dR为“0”时，函数Wu,u'返回“1”的系数，并且随着相位差dR变大而返回更小的系数。通过将该系数应用于函数g()，可以增加函数g()的离散，并降低可靠性低的数据的贡献率。
图19是根据本技术第三实施方案的测距模块100的示例性操作的流程图。测距模块100针对各像素生成电荷信号Q1～Q4(步骤S901)并生成红外图像数据(步骤S904)。然后，测距模块100将红外图像数据和电荷信号Q1～Q4输入到交叉双边滤波器并去除电荷信号的噪声(步骤S921)。测距模块将已经去除了噪声的电荷信号Q1nr～Q4nr转换成距离D并输出距离D(步骤S922)。在步骤S922之后，测距模块100进行步骤S907及后续步骤。
以这种方式，根据本技术的第三实施方案，测距模块100通过交叉双边滤波器来去除电荷信号的噪声。因此，可以从已经去除了噪声的电荷信号生成具有高图像质量的深度图。
4.第四实施方案
在上述第三实施方案中，测距模块100通过交叉双边滤波器去除了电荷信号的噪声。然而，代替电荷信号，也可以去除深度图的噪声。根据第四实施方案的测距模块100与第三实施方案中的测距模块的不同之处在于，通过交叉双边滤波器去除深度图的噪声。
图20是根据本技术第四实施方案的测距计算部300的示例性构成的框图。根据第四实施方案的测距计算部300与第三实施方案中的测距计算部的不同之处在于，代替深度图生成部340，包括深度图生成部350。
深度图生成部350包括深度转换部351和深度图噪声去除部352。深度转换部351的构成与根据第三实施方案的深度转换部342的构成类似。
深度图噪声去除部352将深度图和红外图像数据输入到交叉双边滤波器以去除深度图的噪声。深度图噪声去除部352将深度图输出到外部。在要输出的深度图中，配置有已经去除了噪声的距离Dnr(深度)的信息。通过下式所示的交叉双边滤波器来计算距离Dnr。
[式22]
Figure BDA0001617064570000251
[式23]
Figure BDA0001617064570000261
如上所述，在第三实施方案中，通过交叉双边滤波器去除了电荷信号的噪声。然而，在第四实施方案中，通过交叉双边滤波器去除深度图的噪声。
图21是根据本技术第四实施方案的测距模块100的示例性操作的流程图。测距模块100针对各像素生成电荷信号Q1～Q4(步骤S901)并生成红外图像数据(步骤S904)。然后，测距模块100将电荷信号Q1～Q4转换成距离D(步骤S931)。测距模块100将深度图和红外图像数据输入到交叉双边滤波器以去除深度图的噪声，并输出深度图(步骤S932)。在步骤S932之后，测距模块100进行步骤S907及后续步骤。
以这种方式，根据本技术的第四实施方案，由于通过交叉双边滤波器来去除深度图的噪声，所以可以改善深度图的图像质量。
<移动体的应用>
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术被实现为待安装在诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动性、飞机、无人机、船舶和机器人等任何类型的移动体上的装置。
图22是作为根据本公开的技术可以适用的移动体控制系统的例子的车辆控制系统的示例性概略构成的框图。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图22所示的例子中，车辆控制系统12000包括驱动系统控制单元12010、主体系统控制单元12020、外部信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外，作为综合控制单元12050的功能构成，示出了微型计算机12051、音频图像输出部12052和车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元12010用作诸如用于产生如内燃机或驱动电机等车辆的驱动力的驱动力产生装置、用于向车轮传递驱动力的驱动力传递机构、调节车辆的转向角的转向机构以及产生车辆的制动力的制动装置等装置的控制装置。
主体系统控制单元12020根据各种程序来控制安装到车体的各种装置的操作。例如，主体系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动窗装置或诸如头灯、尾灯、刹车灯、方向指示器或雾灯等各种灯的控制装置。在这种情况下，用于代替按键的从便携式机器传递的无线电波或各种开关的信号可以输入到主体系统控制单元12020。主体系统控制单元12020接收无线电波或信号的输入并控制车辆的门锁装置、电动窗装置、灯等。
外部信息检测单元12030检测包括车辆控制系统12000的车辆的外部信息。例如，外部信息检测单元12030与成像部12031连接。外部信息检测单元12030使成像部12031对车辆外部的图像进行成像并接收所成像的图像。外部信息检测单元12030可以基于接收到的图像进行诸如人、汽车、障碍物、标志或道路上的文字等物体的检测处理或距离检测处理。
成像部12031是接收光并根据受光量输出电气信号的光学传感器。成像部12031可以输出电气信号作为图像或输出电气信号作为用于测距的信息。此外，由成像部12031接收的光可以是可见光或诸如红外光等不可见光。
车内信息检测单元12040检测车内信息。例如，车内信息检测单元12040与用于检测驾驶员的状态的驾驶员状态检测部12041连接。例如，驾驶员状态检测部12041包括对驾驶员进行成像的相机。基于由驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳度或集中度，并且可以判断驾驶员是否入睡。
例如，微型计算机12051可以基于由外部信息检测单元12030或车内信息检测单元12040获得的车辆内部和外部的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且可以向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以进行协调控制，以实现包括车辆的碰撞避免或碰撞缓和、基于车辆之间的距离的追踪行驶、车辆速度保持行驶、车辆碰撞警告或车辆的车道偏离警告的高级驾驶员辅助系统(ADAS)的功能。
另外，微型计算机12051基于由外部信息检测单元12030或车内信息检测单元12040获得的关于车辆周围的信息来控制驱动力产生装置、转向机构、制动装置等，以进行其中车辆自主行驶而不依赖于驾驶员的操作的自动驾驶等的协调控制。
另外，微型计算机12051可以基于由外部信息检测单元12030获得的车辆外部的信息将控制指令输出到主体系统控制单元12020。例如，微型计算机12051根据由外部信息检测单元12030检测到的前方车辆或对向车辆的位置来控制头灯，以进行协调控制，从而防止诸如将远光灯切换为近光灯等眩光。
音频图像输出部12052将作为语音或图像中的至少一种的输出信号传递到可以在视觉上或听觉上通知车辆乘员或车辆外部的信息的输出装置。在图22的例子中，音频扬声器12061、显示部12062和仪表板12063被例示为输出装置。例如，显示部12062可以包括车载显示器和平视显示器中的至少一种。
图23是成像部12031的示例性安装位置的说明图。
在图23中，成像部12031包括成像部12101,12102,12103,12104和12105。
例如，成像部12101,12102,12103,12104和12105中的每一个设置在车辆12100的车头、侧视镜、后保险杠、后门和车内的挡风玻璃的上侧中的一个内。设置在车头中的成像部12101和设置在车内的挡风玻璃上侧的成像部12105主要获得车辆12100的前方的图像。设置在侧视镜中的成像部12102和12103主要获得车辆12100的侧方的图像。设置在后保险杠或后门中的成像部12104主要获得车辆12100的后方的图像。设置在车内的挡风玻璃上侧的成像部12105主要用于检测前方车辆、行人、障碍物、交通信号灯、交通标志、交通车道等。
应该注意的是，在图23中，示出了成像部12101～12104的示例性成像范围。成像范围12111表示设置在车头中的成像部12101的成像范围，成像范围12112和12113分别表示设置在侧视镜中的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门中的成像部12104的成像范围。例如，由成像部12101～12104成像的图像数据被叠加，从而可以获得车辆12100的从上方看到的鸟瞰图像。
成像部12101～12104中的至少一个可以具有获取距离信息的功能。例如，成像部12101～12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是具有用于检测相位差的像素的成像元件。
例如，通过基于从成像部12101～12104获得的距离信息求出各成像范围12111～12114内的各立体物的距离和距离的时间变化(相对于车辆12100的相对速度)，微型计算机12051可以提取位于车辆12100的行驶路线上并且最接近车辆12100且在与车辆12100的行驶方向大致相同的方向上以预定速度(例如，等于或大于0km/h)行驶的立体物作为前方车辆。另外，微型计算机12051可以设定应该预先确保在前方车辆的前方的车辆之间的距离，并且进行自动制动控制(包括追踪行驶停止控制)、自动加速控制(包括追踪行驶开始控制)等。以这种方式，可以进行其中车辆自主行驶而不依赖于驾驶员的操作的自动驾驶等的协调控制。
例如，基于从成像部12101～12104获得的距离信息，微型计算机12051可以将关于立体物的立体物数据分类为两轮车辆、普通车辆、大型车辆、行人、电线杆和其他立体物并提取数据，以利用提取的数据自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为可以由车辆12100的驾驶员视觉识别的障碍物和难以被驾驶员视觉识别的障碍物。然后，微型计算机12051判断指示与各障碍物碰撞的风险的危险度的碰撞风险。当碰撞风险等于或高于预定值并且车辆可能碰撞障碍物时，微型计算机12051可以通过经由音频扬声器12061和显示部12062向驾驶者输出警告或通过经由驱动系统控制单元12010强制减速或转向以避开障碍物而辅助驾驶，从而避免碰撞。
成像部12101～12104中的至少一个可以是用于检测红外光的红外相机。例如，微型计算机12051可以通过判断行人是否存在于成像部12101～12104的成像图像中来识别行人。例如，通过提取作为红外相机的成像部12101～12104的成像图像中的特征点的过程以及对指示物体的形状的一系列特征点进行图案匹配处理以判断该物体是否为行人的过程来进行行人的识别。当微型计算机12051判断行人存在于成像部12101～12104的成像图像中并且识别出行人时，音频图像输出部12052控制显示部12062，使其显示叠加的矩形轮廓以强调所识别的行人。此外，音频图像输出部12052可以控制显示部12062，使其在期望的位置显示指示行人的图标等。
上面已经说明了根据本公开的技术可以适用的车辆控制系统的例子。根据本公开的技术可以适用于上述构成中的成像部123031。具体地，图1中的测距模块100可以适用于图22中的成像部123031。通过将根据本公开的技术应用于成像部123031，可以获得具有高图像质量的深度图。因此，通过使用深度图可以精确地控制车辆。
需要指出的是，上述实施方案表示用于实施本技术的例子，并且实施方案中的事项和权利要求书中的发明指定事项具有对应关系。类似地，权利要求书中的发明指定事项以及由相同名称表示的本技术的实施方案中的事项具有对应关系。然而，本技术不限于这些实施方案，并且在不脱离本技术范围的情况下可以通过对各实施方案施加各种变形来实施。
此外，上述实施方案中说明的处理过程可以被理解为具有一系列过程的方法、用于使计算机执行一系列过程的程序或者用于存储该程序的记录介质。作为记录介质，例如，可以使用光盘(CD)、小型光碟(MD)、数字通用光盘(DVD)、存储卡、蓝光(注册商标)盘等。
需要指出的是，本说明书记载的效果仅仅是示例性的，并不限于这些。另外，可以存在额外效果。
需要指出的是，本技术可以具有以下构成。
(1)一种测距装置，包括：
像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；
连续光图像数据生成部，其构造成基于所述多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和
深度图生成部，其构造成基于所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图。
(2)根据(1)所述的测距装置，其中
所述受光数据中的每一条都包括多个电荷信号，和
所述连续光图像数据生成部通过针对所述多个像素中的每一个对所述多个电荷信号进行积分来生成所述连续光图像数据。
(3)根据(1)所述的测距装置，其中
所述深度图生成部获得当已经输入了多个电荷信号和所述连续光图像数据的预定函数被最小化时的电荷信号，以从该电荷信号生成所述深度图。
(4)根据(1)所述的测距装置，其中
所述深度图生成部通过使用预定滤波器来生成所述深度图。
(5)根据(4)所述的测距装置，其中
所述像素阵列部被分割成多个像素块，和
所述深度图生成部包括：
低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；
低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；
低分辨率深度图生成部，其基于所述低分辨率电荷信号来生成作为低分辨率深度图的与所述多个像素块中的每一个相对应的距离信息配置在其中的数据；和
高分辨率深度图生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率深度图输入到所述预定滤波器以生成所述深度图。
(6)根据(4)所述的测距装置，其中
所述像素阵列部被分割成多个像素块，和
所述深度图生成部包括：
低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；
低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；
高分辨率电荷信号生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率电荷信号输入到所述预定滤波器，以生成作为高分辨率电荷信号的针对所述多个像素中的每一个的新的电荷信号；和
深度转换部，其将所述高分辨率电荷信号转换为所述距离信息。
(7)根据(4)所述的测距装置，其中
所述深度图生成部包括：
深度转换部，其将多个电荷信号转换为所述距离信息；和
深度图噪声去除部，其将所述距离信息和所述连续光图像数据输入到所述预定滤波器以去除所述距离信息的噪声。
(8)根据(4)所述的测距装置，其中
所述深度图生成部包括：
电荷信号噪声去除部，其将所述连续光图像数据和多个电荷信号输入到所述预定滤波器以去除所述多个电荷信号的噪声；和
深度转换部，其将已经去除了噪声的多个电荷信号转换为所述距离信息。
(9)根据(8)所述的测距装置，其中
所述多个电荷信号可以包括第一、第二、第三和第四电荷信号，和
所述预定滤波器是其中随着第一和第二电荷信号之和与第三和第四电荷信号之和之间的差分绝对值变大而变小的权重系数乘以预定高斯函数的滤波器。
(10)根据(8)或(9)所述的测距装置，其中
所述多个电荷信号包括第一、第二、第三和第四电荷信号，和
所述预定滤波器是其中随着第一和第二电荷信号之差的平方与第三和第四电荷信号之差的平方之和变大而变大的权重系数乘以预定高斯函数的滤波器。
(11)根据(8)～(10)中任一项所述的测距装置，其中
所述预定滤波器包括其中随着噪声被去除之前的间歇光的相位与已经去除了噪声的间歇光的相位之间的差变小而变大的系数乘以标准偏差的项的高斯函数。
(12)根据(1)所述的测距装置，其中
所述像素阵列部在预定期间内接收所述预定间歇光并且在与所述预定期间不同的连续光接收期间内接收所述预定连续光，和
所述连续光图像数据生成部从所述连续光接收期间内的所述受光数据生成所述连续光图像数据。
(13)一种测距装置的控制方法，所述方法包括：
连续光图像数据生成过程：基于像素阵列部内的多个像素中的每一个的受光数据来生成指示预定连续光的受光量的多条像素数据在其中以二维格子状排列的连续光图像数据，在所述像素阵列部中，用于接收预定间歇光的多个像素以二维格子状排列；和
深度图生成过程：从所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图。
附图标记列表
100 测距模块
110 发光部
120 发光控制部
200 ToF传感器
210 行扫描电路
220 像素阵列部
230 像素
231 受光元件
232 传输开关
233,234 电荷累积部
235,236 选择开关
240 时机控制部
250 AD转换部
260 列扫描电路
270 信号处理部
300 测距计算部
310,311 红外图像生成部
315 开关
316 切换控制部
320,330,340,350 深度图生成部
321,331 低分辨率电荷信号生成部
322 低分辨率深度图生成部
323,332 低分辨率红外图像生成部
324 高分辨率深度图生成部
333 高分辨率电荷信号生成部
334,342,351 深度转换部
341 电荷信号噪声去除部
352 深度图噪声去除部
12031 成像部

Claims (10)

1.一种测距装置，包括：
像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；
连续光图像数据生成部，其构造成基于所述多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和
深度图生成部，其构造成基于所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图，
其中，所述深度图生成部通过使用预定滤波器来生成所述深度图，
所述像素阵列部被分割成多个像素块，并且
所述深度图生成部包括：
低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；
低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；
低分辨率深度图生成部，其基于所述低分辨率电荷信号来生成作为低分辨率深度图的与所述多个像素块中的每一个相对应的距离信息配置在其中的数据；和
高分辨率深度图生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率深度图输入到所述预定滤波器以生成所述深度图。
2.一种测距装置，包括：
像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；
连续光图像数据生成部，其构造成基于所述多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和
深度图生成部，其构造成基于所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图，
其中，所述深度图生成部通过使用预定滤波器来生成所述深度图，
所述像素阵列部被分割成多个像素块，并且
所述深度图生成部包括：
低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；
低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；
高分辨率电荷信号生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率电荷信号输入到所述预定滤波器，以生成作为高分辨率电荷信号的针对所述多个像素中的每一个的新的电荷信号；和
深度转换部，其将所述高分辨率电荷信号转换为所述距离信息。
3.根据权利要求1或2所述的测距装置，其中
所述受光数据中的每一条都包括多个电荷信号，和
所述连续光图像数据生成部通过针对所述多个像素中的每一个对所述多个电荷信号进行积分来生成所述连续光图像数据。
4.根据权利要求1或2所述的测距装置，其中
所述深度图生成部获得当已经输入了多个电荷信号和所述连续光图像数据的预定函数被最小化时的电荷信号，以从该电荷信号生成所述深度图。
5.根据权利要求1或2所述的测距装置，其中
所述深度图生成部还包括：
深度图噪声去除部，其将所述距离信息和所述连续光图像数据输入到所述预定滤波器以去除所述距离信息的噪声。
6.一种测距装置，包括：
像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；
连续光图像数据生成部，其构造成基于所述多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和
深度图生成部，其构造成基于所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图，
其中，所述深度图生成部通过使用预定滤波器来生成所述深度图，
所述深度图生成部包括：
电荷信号噪声去除部，其将所述连续光图像数据和多个电荷信号输入到所述预定滤波器以去除所述多个电荷信号的噪声；和
深度转换部，其将已经去除了噪声的多个电荷信号转换为所述距离信息，
所述多个电荷信号可以包括第一、第二、第三和第四电荷信号，并且
所述预定滤波器是其中随着第一和第二电荷信号之和与第三和第四电荷信号之和之间的差分绝对值变大而变小的权重系数乘以预定高斯函数的滤波器。
7.一种测距装置，包括：
像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；
连续光图像数据生成部，其构造成基于所述多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和
深度图生成部，其构造成基于所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图，
其中，所述深度图生成部通过使用预定滤波器来生成所述深度图，
所述深度图生成部包括：
电荷信号噪声去除部，其将所述连续光图像数据和多个电荷信号输入到所述预定滤波器以去除所述多个电荷信号的噪声；和
深度转换部，其将已经去除了噪声的多个电荷信号转换为所述距离信息，
所述多个电荷信号可以包括第一、第二、第三和第四电荷信号，并且
所述预定滤波器是其中随着第一和第二电荷信号之差的平方与第三和第四电荷信号之差的平方之和变大而变大的权重系数乘以预定高斯函数的滤波器。
8.一种测距装置，包括：
像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；
连续光图像数据生成部，其构造成基于所述多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和
深度图生成部，其构造成基于所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图，
其中，所述深度图生成部通过使用预定滤波器来生成所述深度图，
所述深度图生成部包括：
电荷信号噪声去除部，其将所述连续光图像数据和多个电荷信号输入到所述预定滤波器以去除所述多个电荷信号的噪声；和
深度转换部，其将已经去除了噪声的多个电荷信号转换为所述距离信息，
所述预定滤波器包括其中随着噪声被去除之前的间歇光的相位与已经去除了噪声的间歇光的相位之间的差变小而变大的系数乘以标准偏差的项的高斯函数。
9.根据权利要求1、2和6-8中任一项所述的测距装置，其中
所述像素阵列部在预定期间内接收所述预定间歇光并且在与所述预定期间不同的连续光接收期间内接收所述预定连续光，和
所述连续光图像数据生成部从所述连续光接收期间内的所述受光数据生成所述连续光图像数据。
10.一种根据权利要求1-9中任一项所述的测距装置的控制方法，所述方法包括：
连续光图像数据生成过程：基于像素阵列部内的多个像素中的每一个的受光数据来生成指示预定连续光的受光量的多条像素数据在其中以二维格子状排列的连续光图像数据，在所述像素阵列部中，用于接收预定间歇光的多个像素以二维格子状排列；和
深度图生成过程：从所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图。
CN201780003409.0A 2016-08-30 2017-07-10 测距装置和测距装置的控制方法 Active CN108139484B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016168252A JP2018036102A (ja) 2016-08-30 2016-08-30 測距装置、および、測距装置の制御方法
JP2016-168252 2016-08-30
PCT/JP2017/025072 WO2018042887A1 (ja) 2016-08-30 2017-07-10 測距装置、および、測距装置の制御方法

Publications (2)

Publication Number Publication Date
CN108139484A CN108139484A (zh) 2018-06-08
CN108139484B true CN108139484B (zh) 2023-03-31

Family

ID=61300559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003409.0A Active CN108139484B (zh) 2016-08-30 2017-07-10 测距装置和测距装置的控制方法

Country Status (4)

Country Link
US (2) US10641606B2 (zh)
JP (1) JP2018036102A (zh)
CN (1) CN108139484B (zh)
WO (1) WO2018042887A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
US10565462B2 (en) 2016-05-23 2020-02-18 Sony Corporation Electronic apparatus, method of controlling electronic apparatus, and program
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
JP6817780B2 (ja) * 2016-10-21 2021-01-20 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
WO2018195857A1 (zh) * 2017-04-27 2018-11-01 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
JP2018207446A (ja) * 2017-06-09 2018-12-27 オリンパス株式会社 固体撮像素子，当該固体撮像素子を用いた観察装置，固体撮像素子の駆動方法及び駆動用プログラム
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
JP6773724B2 (ja) 2018-06-13 2020-10-21 ファナック株式会社 精度情報を出力する測距装置
US10623728B2 (en) * 2018-07-06 2020-04-14 Stmicroelectronics (Grenoble 2) Sas Image sensors for advanced driver assistance systems utilizing safety pixels to detect malfunctions
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
US11356654B2 (en) 2018-08-01 2022-06-07 Stmicroelectronics Asia Pacific Pte Ltd Image sensors for advanced driver assistance systems utilizing regulator voltage verification circuitry to detect malfunctions
US10789506B2 (en) * 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
CN113227838A (zh) * 2018-12-27 2021-08-06 株式会社小糸制作所 车辆用灯具及车辆
CN110930547A (zh) * 2019-02-28 2020-03-27 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
CN110031823B (zh) * 2019-04-22 2020-03-24 上海禾赛光电科技有限公司 可用于激光雷达的噪点识别方法以及激光雷达系统
JP7259525B2 (ja) * 2019-04-26 2023-04-18 株式会社デンソー 光測距装置およびその方法
WO2020255598A1 (ja) * 2019-06-20 2020-12-24 ヌヴォトンテクノロジージャパン株式会社 測距撮像装置
EP3995858A4 (en) * 2019-07-05 2023-01-11 Nuvoton Technology Corporation Japan INFORMATION PROCESSING SYSTEM, SENSOR SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM
JP6910680B1 (ja) * 2020-12-25 2021-07-28 株式会社ＳｅｎｓＡＩ 撮像システム
CN114727085A (zh) * 2021-01-05 2022-07-08 浙江舜宇智能光学技术有限公司 深度图像成像方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103875236A (zh) * 2011-10-18 2014-06-18 索尼公司 图像拾取设备以及摄像机系统
JP2015121430A (ja) * 2013-12-20 2015-07-02 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
WO2016084323A1 (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7157685B2 (en) * 2004-04-12 2007-01-02 Canesta, Inc. Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors
US8164594B2 (en) * 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US7881554B2 (en) * 2006-06-05 2011-02-01 Stmicroelectronics S.R.L. Method for correcting a digital image
JP4807253B2 (ja) * 2006-12-28 2011-11-02 株式会社デンソー 画像データ生成装置及び受光デバイス
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP5589585B2 (ja) 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
EP2477043A1 (en) * 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
WO2013009099A2 (ko) * 2011-07-12 2013-01-17 삼성전자 주식회사 블러 처리 장치 및 방법
WO2013121897A1 (ja) 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置および方法、画像処理装置および方法、並びにプログラム
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
KR101862914B1 (ko) 2012-12-28 2018-05-31 노키아 테크놀로지스 오와이 거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치
KR20140092712A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 센싱 픽셀 및 이를 포함하는 이미지 센서
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
KR102056904B1 (ko) * 2013-05-22 2019-12-18 삼성전자주식회사 3차원 영상 획득 장치 및 그 구동 방법
KR102103984B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
WO2015047225A1 (en) * 2013-09-24 2015-04-02 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
JP6328966B2 (ja) 2014-03-17 2018-05-23 スタンレー電気株式会社 距離画像生成装置、物体検出装置および物体検出方法
US9823352B2 (en) 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
US10565462B2 (en) 2016-05-23 2020-02-18 Sony Corporation Electronic apparatus, method of controlling electronic apparatus, and program
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US9906717B1 (en) * 2016-09-01 2018-02-27 Infineon Technologies Ag Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
US11056528B2 (en) * 2016-10-24 2021-07-06 Invisage Technologies, Inc. Image sensor with phase-sensitive pixels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103875236A (zh) * 2011-10-18 2014-06-18 索尼公司 图像拾取设备以及摄像机系统
JP2015121430A (ja) * 2013-12-20 2015-07-02 スタンレー電気株式会社 距離画像生成装置および距離画像生成方法
WO2016084323A1 (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法

Also Published As

Publication number Publication date
US20200191565A1 (en) 2020-06-18
US20180292206A1 (en) 2018-10-11
CN108139484A (zh) 2018-06-08
US10641606B2 (en) 2020-05-05
US11310411B2 (en) 2022-04-19
WO2018042887A1 (ja) 2018-03-08
JP2018036102A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
CN108139484B (zh) 测距装置和测距装置的控制方法
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
JP7141440B2 (ja) 固体撮像素子
CN111656770A (zh) 固态成像元件、成像装置及固态成像元件的控制方法
JP6817780B2 (ja) 測距装置、および、測距装置の制御方法
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
JP6761534B2 (ja) 固体撮像装置、電子装置および固体撮像装置の制御方法
US11582406B2 (en) Solid-state image sensor and imaging device
US20130322691A1 (en) Target recognition system and target recognition method executed by the target recognition system
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
CN110832346A (zh) 电子装置和电子装置的控制方法
US20210075990A1 (en) Solid-state imaging element, electronic device, and method for controlling solid-state imaging element
JPWO2017094300A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JPWO2017099199A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN110073652B (zh) 成像装置以及控制成像装置的方法
JP2015207278A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP2014026396A (ja) 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
JP2019176334A (ja) 固体撮像素子、テストシステム、および、固体撮像素子の制御方法
JP2021190848A (ja) 検出装置、検出システム及び検出方法
WO2021100593A1 (ja) 測距装置及び測距方法
JP2017049666A (ja) 飛び出し物体検知装置および飛び出し物体検知方法
CN115136026A (zh) 感测系统和距离测量系统
KR20200006066A (ko) 고체 촬상 장치, 구동 방법, 및 전자 기기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant