CN113574409A - 分析部、飞行时间成像装置和方法 - Google Patents

分析部、飞行时间成像装置和方法 Download PDF

Info

Publication number
CN113574409A
CN113574409A CN202080021305.4A CN202080021305A CN113574409A CN 113574409 A CN113574409 A CN 113574409A CN 202080021305 A CN202080021305 A CN 202080021305A CN 113574409 A CN113574409 A CN 113574409A
Authority
CN
China
Prior art keywords
imaging
data
imaging element
type
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080021305.4A
Other languages
English (en)
Inventor
瓦莱里奥·坎巴雷里
卢卡·卡特赖内利
拉基·莫汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113574409A publication Critical patent/CN113574409A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及用于飞行时间成像部的分析部，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，该分析部被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。

Description

分析部、飞行时间成像装置和方法
技术领域
本公开总体上涉及用于飞行时间成像部的分析部、飞行时间成像装置和用于控制飞行时间成像部的方法。
背景技术
通常，飞行时间(ToF)装置已知用于例如成像或创建诸如对象、人等的场景的深度图。可以通过测量发射光和反射光的运行时间(dToF)或通过测量发射光和反射光的一个或多个相移(iToF)来区分直接ToF(dToF)和间接ToF(iToF)以测量距离。
为了测量距离，已知飞行时间装置需要遍历数千或数百万个测量周期，这可以导致耗时的过程。此外，为了减少测量周期的数量，同时保持还能够获取除深度/距离信息之外的信息(诸如颜色信息)的复杂成像芯片，必须找到复杂的算法来对原始成像数据进行去马赛克处理。
因此，通常期望提供用于飞行时间成像部的分析部、飞行时间成像装置和用于控制用于飞行时间成像部的分析部的方法。
发明内容
根据第一方面，本公开提供一种用于飞行时间成像部的分析部，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，其中，分析部被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
根据第二方面，本公开提供一种飞行时间成像装置，包括：飞行时间成像部，包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置；以及用于飞行时间成像部的分析部，被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
根据第三方面，本公开提供一种用于控制用于飞行时间成像部的分析部的方法，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，该方法包括：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
在从属权利要求、以下描述和附图中阐述了进一步的方面。
附图说明
通过关于附图的示例来解释实施例，其中：
图1示出了ToF成像部的六个实施例；
图2示出了ToF成像装置的实施例；
图3示出了用于构造成像数据的方法；
图4示出了马赛克化原始数据的表示；
图5示出了第一成像数据和第二成像数据以及输出数据的第一示例；
图6示出了第一成像数据和第二成像数据以及输出数据的第二示例；
图7是描绘堆叠图像传感器的外部配置的第一示例的透视图；
图8是描绘堆叠图像传感器的外部配置的第二示例的透视图；
图9是描绘外围电路的配置示例的框图；
图10是飞行时间装置的实施例的抽象图；并且
图11示出了根据本公开的方法的实施例的流程图。
具体实施方式
在给出参考图1的实施例的详细描述之前，进行一般性解释。
如开头已经解释的那样，通常期望具有少量(例如，一个)成像周期。因此，已经认识到，必须找到复杂的算法以便能够对以少量成像周期获取的原始成像数据进行去马赛克处理。
因此，一些实施例涉及用于飞行时间成像部的分析部，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，其中，分析部被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
通常，分析部可以由被配置为执行如本文所述的方法的(任何)电路系统(诸如可以被配置为分析(成像)数据等的任何装置、芯片等)提供，并且该部分可以包括一个或多个处理器、电路、电路系统等，它们也可以分布在飞行时间装置或成像部中。例如，分析部(电路系统)可以是处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等，或者CPU、GPU、FPGA的若干单元(也以组合的方式)。在其他实施例中，分析部(电路系统)是(个人)计算机、服务器、AI加速器等。
飞行时间成像部可以实现为相机，例如，实现为独立装置，或者它可以与其他相机技术结合以创建深度图。飞行时间设备还可以包括或集成在另一装置中，诸如智能电话、平板电脑、手持计算机、相机系统等。
通常，本技术还可以在使用飞行时间技术的任何技术领域(诸如汽车技术、交通系统等)实现。
飞行时间成像部的实施例可以基于不同的飞行时间(ToF)技术。通常，ToF装置可以分为两种主要技术，即间接ToF(iToF)和直接ToF(dToF)，如上所述。
可以基于iToF技术的飞行时间成像部通过恢复相关波的相位来间接获得深度测量，该相关波的相位表示所调制的发射光与从由场景反射接收的光之间的相移。分析部(例如，被配置在iToF像素传感器中或被配置为从iToF像素传感器读取信号的部分)解调从场景反射的照明调制周期以采样相关波(在所发射的调制光信号与所接收的解调光信号或指示所发射的调制光信号和所接收的解调光信号的信号之间)，这是基于通过使发射光和检测光相关而获得的相关性。
在一些实施例中，基于dToF技术的飞行时间成像部通过测量由光源发射并从场景反射的光子的飞行时间(例如，基于所发射的数百个短照明脉冲)直接获得深度测量。
通常，成像元件可以基于用于飞行时间系统的任何类型的已知感测技术并且可以基于例如互补金属氧化物半导体(CMOS)、电荷耦合装置(CCD)、单光子雪崩二极管(SPAD)、电流辅助光电二极管(CAPD)技术等，其中，SPAD可以用于基于dToF的技术，并且CAPD可以用于基于iToF的技术。
此外，飞行时间成像部可以包括成像元件(例如，单个像素)或多个成像元件(例如，多个像素)，如通常所知，该成像元件(例如，单个像素)或多个成像元件(例如，多个像素)可以以阵列、图案等布置。具体地，ToF成像部可以具有少量成像元件(像素)(例如，64×64像素)，但是在其他实施例中，像素的数量可以更小(例如，32×32、16×16、16×32等)或更大(例如，128×128像素、128×256、256×256等)。
成像元件还可以被分组为例如预定的成像元件组(例如，四个、八个等)，这些成像元件组具体地例如以行、列、正方形、矩形等布置。
在一些实施例中，预定的成像元件组可以共享电路系统，例如，该电路系统被配置为读出由成像元件(诸如，分析部)产生的信息。此外，在一些实施例中，一个成像元件包括两个或更多个像素，这些像素可以共享用于读出像素信息的电路系统。
第一类型的成像元件和第二类型的成像元件通常可以是用于相同目的的成像元件。例如，如上所述，两个成像元件都可以用于测量相关波的相位。在这些实施例中，第一类型的成像元件和第二类型的成像元件可以各自是指示相位信息的iToF像素传感器，其中，由第一类型的成像元件引起的信号(即，第一成像元件数据)可以指示第一相位信息并且由第二类型的成像元件引起的信号(即，第二成像元件数据)可以指示第二相位信息。在其他实施例中，第一类型的成像元件和第二类型的成像元件用于不同的目的。例如，第一类型的成像元件可以提供指示相位的信息(第一成像元件数据)，而第二类型的成像元件可以提供指示颜色或来自光谱的任何其他信号(诸如红外线、紫外线等)的信息(第二成像元件数据)。
如上所述，在一些实施例中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置。
该布置可以基于制造过程，诸如用于飞行时间成像部的芯片的生产等。在其他实施例中，可以在制造过程之后规定布置。例如，在包括指示相位的成像元件的实施例中，可以在制造之后例如通过成像元件的布线或编程确定哪个成像元件被分配给哪个相位。
在该上下文中，可以预先确定所布置的图案。该图案可以是两个或多个相位、颜色等的行式排列，两个相位、颜色等的棋盘式排列，两个或多个相位、颜色等的网格状排列(诸如梅花形网格)，至少两个相位、颜色等的随机图案(例如，用随机发生器等生成的)或任何其他规则或不规则图案。
可以根据成像情况(例如，暗、亮等)或根据场景(例如，大量移动)(动态地)选择图案。
第一成像数据的构造可以指处理成像数据以生成新的成像数据的算法、程序等。在该上下文中，在一些实施例中，交替地驱动至少一个第一类型的成像元件和至少一个第二类型的成像元件，即，当至少一个第二类型的成像元件被接通或调制并且获取第二成像元件数据时，至少一个第一类型的成像元件被关断。这导致缺失的第一成像数据，这进而导致例如具有缺失像素的图像，即缺失来自其他类型的像素的信息。因此，基于第二成像元件数据构造第一成像数据。
从而，可以获取缺失的成像数据。
该构造基于机器学习算法。在一些实施例中，源自机器学习过程的算法被应用于第二成像元件数据以构造第一成像数据。可以应用不同的机器学习算法(诸如监督学习、半监督学习、无监督学习、强化学习、特征学习、稀疏字典学习、异常检测学习、决策树学习、关联规则学习等)来构造第一成像数据。
机器学习算法可以进一步基于以下中的至少一个：特征提取技术、分类器技术和深度学习技术。特征提取可以基于以下中的至少一个：尺寸不变特征变换(SIFT)、灰度共生矩阵(GLCM)、Gaboo特征、Tubeness等。分类器可以基于以下中的至少一个：随机森林、支持向量机、神经网络、贝叶斯网络等。深度学习可以基于以下中的至少一个：自编码器、生成对抗网络、弱监督学习、自举方法(Boot-Strapping)等。
从而可以找到一种用于构造“缺失的其他类型的像素”的第一/第二成像数据的方法。
在一些实施例中，算法可以被硬编码在分析部上，即，机器学习算法可以提供图像处理算法、函数等，然后在芯片(诸如GPU、FPGA、CPU等)处提供该图像处理算法、函数等，这可以节省处理能力而不是将人工智能存储在飞行时间成像部上。
然而，在其他实施例中，机器学习算法可以由构造第一成像数据的(强或弱)人工智能(诸如神经网络、支持向量机、贝叶斯网络、遗传算法等)开发和/或使用，在一些实施例中，这使算法可以适用于情况、场景等。
在一些实施例中，分析部被进一步配置为基于至少一个第一类型的成像元件的第一成像元件数据构造至少一个第二类型的成像元件的第二成像数据，其中，第一成像元件数据对应于第一调制相位的成像数据，并且第二成像元件数据对应于第二调制相位的成像数据，如上所述。调制相位可以指如上所讨论且如技术人员通常已知的间接ToF。
可以与构造第一成像数据类似地构造第二成像数据，其中，在驱动至少一个第一类型的成像元件的同时关断至少一个第二类型的成像元件，如本文已经描述的(对于第一类型的成像元件和第二类型的成像元件指不同的调制相位的情况)。然而，在一些实施例中，元件被同时驱动，并且相移(即不同的调制相位)可以由其他测量(例如，相应地控制不同成像元件的光源和快门)引起。
然而，除了用于构造第一成像数据的算法或参数之外，还可以使用其他算法或其他参数来构造第二成像数据。
在一些实施例中，飞行时间成像部包括至少一个第三类型的成像元件，该至少一个第三类型的成像元件包括在预定图案中，分析部被进一步配置为：基于第一成像元件数据和第二成像元件数据中的任一个构造至少一个第三类型的成像元件的第三成像数据，其中，第三成像数据指示颜色信息。
如以上已经描述的，至少一个第三类型的成像元件可以指颜色信息。因此，第三类型可以正好指对应于特定颜色(例如红色或多种(至少两种)颜色)的一种类型(注意，本文的颜色可以指电磁谱的任何波长，而不管其对人眼的可见性，诸如红外光、紫外光或任何其他种类的电磁辐射)。例如，可以存在获取相应颜色的成像数据的诸如红色、蓝色和绿色的第三类型的成像元件、第四类型的成像元件和第五类型的成像元件。另外，可以存在多光谱图像传感器等。
在其他实施例中，可以存在至少一个第三类型的成像元件和至少一个第四类型的成像元件，两者都获取额外的相位信息。
通过提供至少一个第三类型的成像元件，可以提高图像质量和/或获取更复杂的图像。例如，通过提供至少一个第三类型的成像元件和至少一个第四类型的成像元件，可以增加信噪比。另一方面，图像复杂性可以通过具有额外的颜色信息而增加。
在其他实施例中，获取相位信息的多个成像元件与获取颜色信息的多个成像元件组合(例如，两个相位和三个颜色、四个相位和三个颜色等)。
在该上下文中，第三成像数据可以是不同成像数据(诸如第三相位信息和第四相位信息、第三相位信息和第四相位信息以及第一颜色信息到第三颜色信息等)的汇总。
第三成像数据的构造可以类似于第一成像数据和第二成像数据的构造，因此第三成像数据可以由第一成像元件数据和/或第二成像元件数据构造。另外，在一些实施例中，可以基于第二成像元件数据和/或第三成像元件数据构造第一成像数据，并且可以基于第一成像元件数据和/或第三成像元件数据构造第二成像数据。具体地，可以基于相位信息构造颜色信息，或者可以基于颜色信息构造相位信息。
在一些实施例中，机器学习算法应用于神经网络，如已经描述的。
在一些实施例中，基于预定图案训练神经网络。预定图案可以在机器学习算法中被硬编码。另外，可以将地面实况数据(即，用于机器学习算法的参考数据)提供给机器学习算法，诸如具有期望属性(例如低噪声、高分辨率等)的ToF图像，以学习构造第一成像数据/第二成像数据。
在一些实施例中，在分析部处提供由机器学习算法获得的用于构造第一(或第二或第三)成像数据的函数或算法，如以上已经描述的。
在一些实施例中，响应于飞行时间成像部的一次曝光构造第一成像数据和第二成像数据。在该上下文中，飞行时间成像部可以仅被调制一个成像周期，并且例如仅获取第一成像数据，而基于第一成像数据构造第二成像数据和/或第三成像数据。
另外，在一些实施例中，可以通过在一次曝光内具有两个(三个)调制周期来在一次曝光内获取第一和第二(和第三)成像数据，从而实现最少数量的曝光(例如，一次)。
一些实施例涉及飞行时间成像装置，包括：飞行时间成像部，包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，如本文所述；以及用于飞行时间成像部的分析部，被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据，如本文所述。
在一些实施例中，飞行时间成像部和分析部彼此堆叠。此外，在一些实施例中，如果不包括在飞行时间成像部或分析部中，则存储器可以另外堆叠在分析部上、飞行时间成像部上或分析部与飞行时间成像部之间。
通过提供堆叠配置，与并排配置相比，可以减小所生产的芯片的尺寸，可以缩短信号通路等。
在一些实施例中，预定图案对应于至少一个第一类型的成像元件和至少一个第二类型的成像元件的交替布置。如以上已经描述的，根据情况或场景，交替布置可以是行式、棋盘状、网格状布置等。
在一些实施例中，预定图案是随机图案，如本文所述。
在一些实施例中，飞行时间成像装置进一步包括指示颜色信息的、包括在预定图案中的至少一个第三类型的成像部，如本文所述。
一些实施例涉及用于控制用于飞行时间成像部(或者如本文所述的电路系统、装置等)的分析部的方法，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，该方法包括：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据，如本文所述。
在一些实施例中，该方法进一步包括：基于至少一个第一类型的成像元件的第一成像元件数据构造至少一个第二类型的成像元件的第二成像数据，其中，第一成像元件数据对应于第一调制相位的成像数据，并且其中，第二成像元件数据对应于第二调制相位的成像数据，如本文所述。
在一些实施例中，飞行时间成像部包括至少一个第三类型的成像元件，该至少一个第三类型的成像元件包括在预定图案中，该方法进一步包括：基于第一成像元件数据和第二成像元件数据中的任一个构造至少一个第三类型的成像元件的第三成像数据，其中，至少第三成像数据指示颜色信息，或者其中，基于第三成像元件数据进一步构造第一成像数据和第二成像数据中的任一个，如本文所述。
在一些实施例中，机器学习算法应用于神经网络，如本文所述。
在一些实施例中，基于预定图案训练神经网络，如本文所述。
在一些实施例中，在分析部处提供由机器学习算法获得的用于构造第一成像数据和第二成像数据的函数，如本文所述。
在一些实施例中，响应于飞行时间成像部的一次曝光构造第一成像数据和第二成像数据，如本文所述。
本文描述的方法在一些实施例中也被实现为计算机程序，当在计算机和/或处理器上执行时，该计算机程序使计算机和/或处理器执行该方法。在一些实施例中，还提供了一种存储有计算机程序产品的非暂时性计算机可读记录介质，当由处理器(诸如上述处理器)执行时，该计算机程序产品使本文描述的方法被执行。
返回图1，示出了ToF成像部的六个实施例。在这些实施例的每一个实施例中，以及还在其他实施例中，图案是预定的，即，硬编码到人工智能的训练算法中。
在参考标记1所指的实施例中，示出了用于获取两个相位
Figure BDA0003262441200000101
和
Figure BDA0003262441200000102
的相位信息的第一种类型的成像元件和第二种类型的成像元件的交替的行式布置。
在参考标记2所指的实施例中，示出了用于获取两个相位
Figure BDA0003262441200000103
和
Figure BDA0003262441200000104
的相位信息的第一种类型的成像元件和第二种类型的成像元件的梅花形网格布置。
在其他实施例中，交替布置也指列式布置。另外，交替布置可以指成像元件的其他类型的规则布置，诸如两个第一类型的成像元件和一个第二类型的成像元件(或其他组合)、行式、列式、对角线等。
在参考标记3所指的实施例中，示出了各自获取相位信息
Figure BDA0003262441200000111
和
Figure BDA0003262441200000112
的四种类型的成像元件的网格状布置的重复。
在参考标记4所指的实施例中，示出了两种类型
Figure BDA0003262441200000113
和
Figure BDA0003262441200000114
的成像元件的不规则(随机)图案。
在参考标记为5的实施例中示出了两种类型的相位信息获取成像元件和三个颜色获取成像元件红色(R)、绿色(G)和蓝色(B)的不规则(随机)图案。
在参考标记6所指的实施例中，示出了两个相位获取像素
Figure BDA0003262441200000115
和
Figure BDA0003262441200000116
和三个颜色获取像素R、G和B的规则图案。
图2示出了根据本公开的飞行时间成像装置10的实施例。飞行时间成像装置10包括像素阵列11，其对应于诸如图1的飞行时间成像部中的一个飞行时间成像部的飞行时间成像部。飞行时间成像装置10进一步包括参数存储器12和去马赛克管线13。
在其他实施例中，像素阵列11可以进一步包括辅助成像元件(像素)，诸如获取红外光谱的图像信息的红外像素、其他滤色器等。
参数存储器12存储或计算校准数据和学习超参数。校准数据包括像素阵列11的特性，即像素的分布和类型、偏移数据、增益数据和辅助信息(例如，置信度)。存储器还存储用于去马赛克管线13的操作的参数，诸如用于信号处理以获得深度图的参数。包括在参数存储器12中的参数包括从给定数据集(诸如校准数据)中学习的机器学习参数。
通过训练获得机器学习参数。因此，在与本文所述的操作模式不同并且对应于已知操作模式的校准模式下，在预定条件(诸如使噪声、特定温度等最小化的条件)下，利用飞行时间成像装置10捕获地面实况数据。地面实况数据对应于全分辨率原始ToF图像。然后，飞行时间成像装置10如本文所解释的那样操作，从而获取第一和/或第二和/或第三成像数据(基于像素阵列的预定图案，其被硬编码到训练中)，并且应用机器学习算法以将第一和/或第二和/或第三成像数据映射到地面实况数据，以便找到机器学习参数以从第一、第二和/或第三成像数据构造最终图像，如本文所解释的。
所找到的机器学习参数然后被写入参数存储器12并且在应用机器学习算法时被重新调用以校正参数(取决于情况)。
在本实施例中，去马赛克管线13对应于分析部，如本文所述。然而，在其他实施例中，分析部包括参数存储器12和去马赛克管线13。去马赛克管线13基于能够执行信号处理任务的机器学习引擎。去马赛克管线从像素阵列11接收原始ToF数据，并且从参数存储器12接收辅助数据。
去马赛克管线基于所找到的算法从像素阵列构造成像数据，如本文所解释的。
在参考图3的情况下进一步解释去马赛克管线。
图3示出了用于构造成像数据的方法20。
响应于像素阵列11的获取，在21中，将马赛克化原始数据(包括第一/第二/第三成像数据)从像素阵列11发送到去马赛克管线13。此外，在22中，将校准参数从参数存储器12发送到去马赛克管线。校准参数包括例如像素值偏移和增益。
在23中，将马赛克布局信息(包括预定图案和成像元件的类型)从像素阵列11发送到去马赛克管线13。
在24中，将包括校准参数和马赛克布局信息的校准函数应用于马赛克化原始数据，从而生成在25中输出的马赛克化校准数据。
校准函数进一步包括去除噪声、校正相位响应中的非理想性(诸如增益去除)的函数。
在26中，将包括马赛克布局信息的预处理函数应用于马赛克化校准数据，从而生成在27中输出的预处理数据。
预处理函数进一步包括归一化函数、放大函数、确定中间数据的计算函数，这对于基于学习的函数(诸如输入的最近邻插值、堆叠和归一化)是有用的。
在28中，将基于学习的函数应用于预处理数据。基于学习的函数包括马赛克布局信息和训练的模型参数，该马赛克布局信息和训练的模型参数在29中由参数存储器12发送到去马赛克管线13。通过将基于学习的函数和前向遍历算法(forward-pass algorithm)应用于预处理数据，生成在30中输出的去马赛克数据。
图4示出了在图3的21中发送的马赛克化原始数据40的表示，该马赛克化原始数据40是用图1的参考标记为3的实施例的飞行时间成像部获取的。
因此，马赛克化原始数据对应于成像信号，因为它们是用实施例3的相应成像元件获取的。成像元件的不同晕线表示不同的深度信息。
图5示出了用实施例2的飞行时间成像部获取的第一成像数据51的第一示例，其中，仅成像元件
Figure BDA0003262441200000131
获取信号，并且基于第一成像数据构造第二成像数据，如52所示，其对应于图3的去马赛克数据30。
此外，图5示出了用实施例2的飞行时间成像部获取的第二成像数据53的表示，其中，仅成像元件
Figure BDA0003262441200000132
获取信号，并且基于第二成像数据构造第一成像数据，如54所示，其对应于图3的去马赛克数据30。
在图5中，与在图4一样，不同的晕线对应于不同的深度信息。应该认识到，尽管显示相同的场景，但是51和52的晕线与53和54的晕线不同。原因在于相应深度信息相对于预定参考值，该预定参考值在两种情况下是不同的。然而，两个图像52和54的相位信息的组合允许对参考值进行归一化并生成统一的输出。
图6示出了用实施例1的飞行时间成像部获取的第一成像数据61的第二示例，其中，仅成像元件
Figure BDA0003262441200000133
获取信号，并且基于第一成像数据构造第二成像数据，如62所示。
此外，图6示出了用实施例1的飞行时间成像部获取的第二成像数据63的表示，其中，仅成像元件
Figure BDA0003262441200000141
获取信号，并且基于第二成像数据构造第一成像数据，如64所示。
因此，图6主要对应于图5中显示的内容，但是具有另一飞行时间成像部。
图7是描绘应用本技术的堆叠图像传感器70的外部配置的第一示例的透视图。
例如，图像传感器可以是互补金属氧化物半导体(CMOS)图像传感器。这是三层结构的图像传感器。即，图像传感器由以从上到下依次堆叠的(半导体)基板71、72和73构成。
基板71上形成有像素阵列部74。像素阵列部74被配置为执行光电转换并且具有以矩阵图案排列的多个像素(未示出)以分别输出像素信号，如本文所述。
基板72上形成有外围电路75。外围电路75执行各种信号处理，诸如从像素阵列部74输出的像素信号的AD转换。此外，外围电路75包括去马赛克管线，如本文所述。
基板73上形成有存储器76。存储器76用作临时存储由从像素阵列部74输出的像素信号的AD转换产生的像素数据的存储部。此外，存储器76包括参数存储器，如本文所述。
图8描绘了堆叠图像传感器80的第二配置示例。
在图8中的组件中，在图7中找到其相应对应物的组件用相同的参考数字表示，并且在下文中适当省略其解释。
与图7的对应物70一样，图像传感器80具有基板71。然而，应当注意，图像传感器80与图像传感器70的不同之处在于提供基板81来代替基板72和73。
图像传感器80具有两层结构。即，图像传感器具有从上到下依次堆叠的基板71和81。
基板81上形成有外围电路75和存储器76。
图9是描绘图7和图8中的外围电路75的配置示例的框图。
外围电路75包括多个模数(AD)转换器(ADC)91、输入/输出数据控制部92、数据路径93、信号处理部94和输出接口(I/F)95。
存在与构成像素阵列部74的像素的列相同数量的ADC 91。从排列在每行(行)中的像素输出的像素信号经受涉及像素信号的并行AD转换的并行列AD转换。输入/输出数据控制部92被提供有由ADC 91对作为模拟信号的像素信号进行并行列AD转换而在每行获得的数字信号的像素数据。
输入/输出数据控制部92控制从ADC 91向存储器76写入像素数据和从存储器76读取像素数据。输入/输出数据控制部92还控制像素数据到数据路径93的输出。
输入/输出数据控制部92包括寄存器96、数据处理部97和存储器I/F98。
在来自外部装置的指令下，输入/输出数据控制部92用来控制其处理的信息被设置(记录)到寄存器96。根据设置在寄存器96中的信息，输入/输出数据控制部92执行各种处理。
数据处理部97将来自ADC 91的像素数据直接输出到数据路径93。
可选地，数据处理部97可以在经由存储器I/F 98将处理的像素数据写入存储器76之前对从ADC 91提供的像素数据执行必要的处理。
此外，数据处理部97经由存储器I/F 98读取写入存储器76中的像素数据，根据需要处理从存储器76中检索到的像素数据，并且将处理的像素数据输出到数据路径93。
可以通过将适当的信息设置到寄存器96来选择数据处理部97是将来自ADC 91的像素数据直接输出到数据路径93还是将像素数据写入存储器76。
同样，可以通过将适当的信息设置到寄存器96来确定数据处理部97是否处理从ADC 91馈送的像素数据。
存储器I/F 98用作控制向存储器76写入像素数据和从存储器76读取像素数据的I/F。
数据路径93由用作将从输入/输出数据控制部92输出的像素数据馈送到信号处理部97的路径的信号线组成。
在将处理的像素数据输出到输出I/F 95之前，信号处理部94根据需要对从数据路径93馈送的像素数据执行信号处理，诸如黑电平调整、去马赛克、白平衡调整、降噪、显影或其他信号处理，如本文所述。
输出I/F 95用作将从信号处理部95馈送的像素数据输出到图像传感器外部的I/F。
参考图10，示出了飞行时间(ToF)装置100的实施例，该ToF装置可以用于深度感测或提供距离测量，尤其是对于如本文所讨论的技术，其中，ToF装置100被配置为iToF相机。ToF装置100具有电路系统107，该电路系统被配置为执行如本文所讨论的方法并且形成ToF装置100的控制(并且它包括未示出的技术人员通常已知的相应处理器、存储器和存储装置以及如本文所讨论的分析部)。
ToF装置100具有连续光源101，并且该光源包括发光元件(基于激光二极管)，其中，在本实施例中，发光元件是窄带激光元件。
光源101向反射光的场景102(受关注或目标区域)发射光，即调制光，如本文所讨论的。反射光由光学堆叠103聚焦到光检测器104。
如本文所讨论的，光检测器104具有飞行时间成像部和微透镜阵列106，飞行时间成像部基于形成在像素阵列中的多个CAPD来实现，微透镜阵列106将从场景102反射的光聚焦到飞行时间成像部105(聚焦到图像传感器105的每个像素)。
当检测到从场景102反射的光时，光发射时间和调制信息被馈送到包括飞行时间测量单元108的电路系统或控件107，该飞行时间测量单元108还从飞行时间成像部105接收相应的信息。基于从光源101接收的调制光和所执行的解调(以及本文讨论的去马赛克)，飞行时间测量单元108计算所接收的已从光源101发射并被场景102反射的调制光的相移，并基于此计算图像传感器105与场景102之间的距离d(深度信息)，同样如上所述。
深度信息从飞行时间测量单元108馈送到电路系统107的3D图像重构单元109，该3D图像重构单元基于从飞行时间测量单元108接收的深度信息来重构(生成)场景102的3D图像。
图11示出了根据本公开的例如用于控制如本文所讨论的飞行时间装置或成像部(例如，图10的ToF装置100、图2的ToF装置10等)的方法120的实施例的流程图。
在121中，在飞行时间成像部的一次曝光内获取第二成像元件数据。
在122中，基于第二成像元件数据基于机器学习算法构造第一成像数据。为了构造第一成像数据，机器学习算法应用于基于飞行时间成像部的预定图案训练的神经网络。在飞行时间成像装置的分析部处提供训练的结果以构造第一成像数据。
在123中，在飞行时间成像部的相同曝光内但在与第二成像元件数据不同的另一调制相位中获取第一成像元件数据。
在124中，基于第一成像元件数据，用与122的机器学习算法类似的适配机器学习算法构造第二成像数据。
在125中，在飞行时间成像部的相同曝光内但在与第一成像元件数据和第二成像元件数据不同的另一调制相位中获取第三成像元件数据。第三成像元件数据对应于颜色信息。
应当认识到，实施例以方法步骤的示例性顺序描述了方法。然而，方法步骤的特定顺序仅用于说明性目的给出，并且不应被解释为具有约束力。例如，图3的实施例中24和26的顺序可以交换。另外，图3的实施例中26、28和21的顺序可以交换。此外，图9的实施例中的93和94的顺序也可以交换。方法步骤的顺序的其他变化对于技术人员来说是显而易见的。
请注意，将装置10划分为单元12至13仅用于说明性目的，并且本公开不限于特定单元中的任何特定功能划分。例如，装置10可以由相应的编程处理器、现场可编程门阵列(FPGA)等来实现。
如果没有另外说明，本说明书中描述的和所附权利要求中要求保护的所有单元和实体可以被实现为例如芯片上的集成电路逻辑，并且如果没有另外说明，由这样的单元和实体提供的功能可以由软件实现。
就使用软件控制的数据处理设备至少部分地实现以上所描述的本公开的实施例而言，应当理解，提供这种软件控制的计算机程序和提供这种计算机程序的发送、存储或其他介质被设想为本公开的各方面。
注意，本技术也可以如下所述配置。
(1)一种用于飞行时间成像部的分析部，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，其中，分析部被配置为：
基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
(2)根据(1)的分析部，被进一步配置为：
基于至少一个第一类型的成像元件的第一成像元件数据构造至少一个第二类型的成像元件的第二成像数据，其中，第一成像元件数据基于第一调制相位，并且第二成像元件数据基于第二调制相位。
(3)根据(1)或(2)中任一项的分析部，其中，飞行时间成像部包括至少一个第三类型的成像元件，该至少一个第三类型的成像元件包括在预定图案中，并且其中，分析部被进一步配置为：
基于第一成像元件数据和第二成像元件数据中的任一个构造至少一个第三类型的成像元件的第三成像数据，其中，第三成像数据指示颜色信息。
(4)根据(1)至(3)中任一项的分析部，其中，基于第三成像元件数据进一步构造第一成像数据和第二成像数据中的任一个。
(5)根据(1)至(4)中任一项的分析部，其中，机器学习算法应用于神经网络。
(6)根据(1)至(5)中任一项的分析部，其中，基于预定图案训练神经网络。
(7)根据(1)至(6)中任一项的分析部，其中，在分析部处提供由机器学习算法获得的函数。
(8)根据(1)至(7)中任一项的分析部，其中，响应于飞行时间成像部的一次曝光构造第一成像数据。
(9)一种飞行时间成像装置，包括：
飞行时间成像部，包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置；以及
用于飞行时间成像部的分析部，被配置为：
基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
(10)根据(9)的飞行时间成像装置，其中，飞行时间成像部和分析部彼此堆叠。
(11)根据(9)或(10)中任一项的飞行时间成像装置，其中，预定图案对应于至少一个第一类型的成像元件和至少一个第二类型的成像元件的交替布置。
(12)根据(9)至(11)中任一项的飞行时间成像装置，其中，预定图案是随机图案。
(13)根据(9)至(12)中任一项的飞行时间成像装置，进一步包括指示颜色信息的、包括在预定图案中的至少一个第三类型的成像元件。
(14)一种用于控制用于飞行时间成像部的分析部的方法，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，该方法包括：
基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
(15)根据(14)的方法，进一步包括：
基于至少一个第一类型的成像元件的第一成像元件数据构造至少一个第二类型的成像元件的第二成像数据，其中，
第一成像元件数据对应于第一调制相位的成像数据，并且其中，
第二成像元件数据对应于第二调制相位的成像数据。
(16)根据(14)或(15)中任一项的方法，其中，飞行时间成像部包括至少一个第三类型的成像元件，该至少一个第三类型的成像元件包括在预定图案中，该方法进一步包括：
基于第一成像元件数据和第二成像元件数据中的任一个构造至少一个第三类型的成像元件的第三成像数据，其中，至少
第三成像数据指示颜色信息，或者其中，
基于第三成像元件数据进一步构造第一成像数据和第二成像数据中的任一个。
(17)根据(14)至(16)中任一项的方法，其中，机器学习算法应用于神经网络。
(18)根据(14)至(17)中任一项的方法，其中，基于预定图案训练神经网络。
(19)根据(14)至(18)中任一项的方法，其中，在分析部处提供由机器学习算法获得的用于构造第一成像数据和第二成像数据的函数。
(20)根据(14)至(19)中任一项的方法，其中，响应于飞行时间成像部的一次曝光构造第一成像数据。
(21)一种包括程序代码的计算机程序，当在计算机上执行时，该程序代码使计算机执行根据(14)至(20)中任一项的方法。
(22)一种存储有计算机程序产品的非暂时性计算机可读记录介质，当由处理器执行时，该计算机程序产品使根据(14)至(20)中任一项的方法被执行。
(23)一种用于飞行时间成像电路系统的电路系统，其中，飞行时间成像电路系统包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，其中，该电路系统被配置为：
基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
(24)根据(23)的电路系统，被进一步配置为：
基于至少一个第一类型的成像元件的第一成像元件数据构造至少一个第二类型的成像元件的第二成像数据，其中，第一成像元件数据基于第一调制相位，并且第二成像元件数据基于第二调制相位。
(25)根据(23)或(24)中任一项的电路系统，其中，飞行时间成像电路系统包括至少一个第三类型的成像元件，该至少一个第三类型的成像元件包括在预定图案中，并且其中，电路系统被进一步配置为：
基于第一成像元件数据和第二成像元件数据中的任一个构造至少一个第三类型的成像元件的第三成像数据，其中，第三成像数据指示颜色信息。
(26)根据(23)至(25)中任一项的电路系统，其中，基于第三成像元件数据进一步构造第一成像数据和第二成像数据中的任一个。
(27)根据(23)至(26)中任一项的电路系统，其中，机器学习算法应用于神经网络。
(28)根据(23)至(27)中任一项的电路系统，其中，基于预定图案训练神经网络。
(29)根据(23)至(28)中任一项的电路系统，其中，在电路系统处提供由机器学习算法获得的函数。
(30)根据(23)至(29)中任一项的电路系统，其中，响应于飞行时间成像电路系统的一次曝光构造第一成像数据。
(31)一种飞行时间成像装置，包括：
飞行时间成像电路系统，包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置；以及
用于飞行时间成像电路系统的电路系统，尤其是根据(23)至(29)中的任一项的电路系统，被配置为：
基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
(32)根据(31)的飞行时间成像装置，其中，飞行时间成像电路系统和电路系统彼此堆叠。
(33)根据(31)或(32)中任一项的飞行时间成像装置，其中，预定图案对应于至少一个第一类型的成像元件和至少一个第二类型的成像元件的交替布置。
(34)根据(31)至(33)中任一项的飞行时间成像装置，其中，预定图案是随机图案。
(35)根据(9)至(12)中任一项的飞行时间成像装置，进一步包括指示颜色信息的、包括在预定图案中的至少一个第三类型的成像元件。
(36)一种用于控制用于飞行时间成像电路系统的分析电路系统的方法，其中，飞行时间成像电路系统包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，该方法包括：
基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
(37)根据(36)的方法，进一步包括：
基于至少一个第一类型的成像元件的第一成像元件数据构造至少一个第二类型的成像元件的第二成像数据，其中，
第一成像元件数据对应于第一调制相位的成像数据，并且其中，
第二成像元件数据对应于第二调制相位的成像数据。
(38)根据(36)或(37)中任一项的方法，其中，飞行时间成像电路系统包括至少一个第三类型的成像元件，该至少一个第三类型的成像元件包括在预定图案中，该方法进一步包括：
基于第一成像元件数据和第二成像元件数据中的任一个构造至少一个第三类型的成像元件的第三成像数据，其中，至少
第三成像数据指示颜色信息，或者其中，
基于第三成像元件数据进一步构造第一成像数据和第二成像数据中的任一个。
(39)根据(36)至(38)中任一项的方法，其中，机器学习算法应用于神经网络。
(40)根据(36)至(39)中任一项的方法，其中，基于预定图案训练神经网络。
(41)根据(36)至(40)中任一项的方法，其中，在分析电路系统处提供由机器学习算法获得的用于构造第一成像数据和第二成像数据的函数。
(42)根据(36)至(41)中任一项的方法，其中，响应于飞行时间成像电路系统的一次曝光构造第一成像数据。
(43)一种包括程序代码的计算机程序，当在计算机上执行时，该程序代码使计算机执行根据(36)至(42)中任一项的方法。
(44)一种存储有计算机程序产品的非暂时性计算机可读记录介质，当由处理器执行，该计算机程序产品使根据(36)至(42)中任一项的方法被执行。

Claims (20)

1.一种用于飞行时间成像部的分析部，其中，所述飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，所述至少一个第一类型的成像元件和所述至少一个第二类型的成像元件以预定图案布置，其中，所述分析部被配置为：
基于所述至少一个第二类型的成像元件的第二成像元件数据构造所述至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造所述第一成像数据。
2.根据权利要求1所述的分析部，被进一步配置为：
基于所述至少一个第一类型的成像元件的第一成像元件数据构造所述至少一个第二类型的成像元件的第二成像数据，其中，所述第一成像元件数据基于第一调制相位，并且所述第二成像元件数据基于第二调制相位。
3.根据权利要求2所述的分析部，其中，所述飞行时间成像部包括至少一个第三类型的成像元件，所述至少一个第三类型的成像元件包括在所述预定图案中，并且其中，所述分析部被进一步配置为：
基于所述第一成像元件数据和所述第二成像元件数据中的任一个构造所述至少一个第三类型的成像元件的第三成像数据，其中，所述第三成像数据指示颜色信息。
4.根据权利要求3所述的分析部，其中，基于第三成像元件数据进一步构造所述第一成像数据和所述第二成像数据中的任一个。
5.根据权利要求1所述的分析部，其中，所述机器学习算法应用于神经网络。
6.根据权利要求5所述的分析部，其中，基于所述预定图案训练所述神经网络。
7.根据权利要求1所述的分析部，其中，在所述分析部处提供由所述机器学习算法获得的函数。
8.根据权利要求1所述的分析部，其中，响应于所述飞行时间成像部的一次曝光构造所述第一成像数据。
9.一种飞行时间成像装置，包括：
飞行时间成像部，包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，所述至少一个第一类型的成像元件和所述至少一个第二类型的成像元件以预定图案布置；以及
用于所述飞行时间成像部的分析部，被配置为：
基于所述至少一个第二类型的成像元件的第二成像元件数据构造所述至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造所述第一成像数据。
10.根据权利要求9所述的飞行时间成像装置，其中，所述飞行时间成像部和所述分析部彼此堆叠。
11.根据权利要求9所述的飞行时间成像装置，其中，所述预定图案对应于所述至少一个第一类型的成像元件和所述至少一个第二类型的成像元件的交替布置。
12.根据权利要求9所述的飞行时间成像装置，其中，所述预定图案是随机图案。
13.根据权利要求9所述的飞行时间成像装置，进一步包括指示颜色信息的、包括在所述预定图案中的至少一个第三类型的成像元件。
14.一种用于控制用于飞行时间成像部的分析部的方法，其中，所述飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，所述至少一个第一类型的成像元件和所述至少一个第二类型的成像元件以预定图案布置，所述方法包括：
基于所述至少一个第二类型的成像元件的第二成像元件数据构造所述至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造所述第一成像数据。
15.根据权利要求14所述的方法，进一步包括：
基于所述至少一个第一类型的成像元件的第一成像元件数据构造所述至少一个第二类型的成像元件的第二成像数据，其中，
所述第一成像元件数据对应于第一调制相位的成像数据，并且其中，
所述第二成像元件数据对应于第二调制相位的成像数据。
16.根据权利要求15所述的方法，其中，所述飞行时间成像部包括至少一个第三类型的成像元件，所述至少一个第三类型的成像元件包括在所述预定图案中，所述方法进一步包括：
基于所述第一成像元件数据和所述第二成像元件数据中的任一个构造所述至少一个第三类型的成像元件的第三成像数据，其中，至少
所述第三成像数据指示颜色信息，或者其中，
基于第三成像元件数据进一步构造所述第一成像数据和所述第二成像数据中的任一个。
17.根据权利要求14所述的方法，其中，所述机器学习算法应用于神经网络。
18.根据权利要求17所述的方法，其中，基于所述预定图案训练所述神经网络。
19.根据权利要求14所述的方法，其中，在所述分析部处提供由所述机器学习算法获得的用于构造所述第一成像数据和所述第二成像数据的函数。
20.根据权利要求14所述的方法，其中，响应于所述飞行时间成像部的一次曝光构造所述第一成像数据。
CN202080021305.4A 2019-03-22 2020-03-20 分析部、飞行时间成像装置和方法 Pending CN113574409A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19164581.1 2019-03-22
EP19164581 2019-03-22
PCT/EP2020/057796 WO2020193412A1 (en) 2019-03-22 2020-03-20 Analysis portion, time-of-flight imaging device and method

Publications (1)

Publication Number Publication Date
CN113574409A true CN113574409A (zh) 2021-10-29

Family

ID=65904313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080021305.4A Pending CN113574409A (zh) 2019-03-22 2020-03-20 分析部、飞行时间成像装置和方法

Country Status (5)

Country Link
US (1) US20220155454A1 (zh)
EP (1) EP3942328A1 (zh)
KR (1) KR20210141508A (zh)
CN (1) CN113574409A (zh)
WO (1) WO2020193412A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240094400A1 (en) * 2021-02-11 2024-03-21 Sony Semiconductor Solutions Corporation Configuration control circuitry and configuration control method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US11076115B2 (en) * 2015-04-14 2021-07-27 Sony Corporation Solid-state imaging apparatus, imaging system, and distance measurement method
US9760837B1 (en) * 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning

Also Published As

Publication number Publication date
WO2020193412A1 (en) 2020-10-01
KR20210141508A (ko) 2021-11-23
US20220155454A1 (en) 2022-05-19
EP3942328A1 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
US20140198183A1 (en) Sensing pixel and image sensor including same
KR20160065464A (ko) 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
JP6953297B2 (ja) 撮像装置及び撮像システム
US20190139189A1 (en) Image remosaicing
US20220067942A1 (en) Region extraction device, method thereof, object detection apparatus, and method thereof
CN115824410A (zh) 光谱成像恢复方法及装置
CN113574409A (zh) 分析部、飞行时间成像装置和方法
KR20200106854A (ko) 픽셀 교정
Zhu et al. HCNNet: A hybrid convolutional neural network for spatiotemporal image fusion
JP6980492B2 (ja) 撮像装置及び撮像システム
US20210295110A1 (en) Processing apparatus, processing method, learning apparatus, and computer program product
WO2021084832A1 (ja) 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
US11379692B2 (en) Learning method, storage medium and image processing device
KR102083835B1 (ko) 딥 러닝 기반 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체 및 딥 러닝 기반 이미지 센싱장치
KR102614908B1 (ko) 이미지 복원 방법 및 장치
US20220366588A1 (en) Electronic device for generating depth information of region of interest and operation method thereof
US20220405972A1 (en) An imaging sensor, an image processing device and an image processing method
US20230259803A1 (en) Time-multiplexed superpixel-based quantum-array readout system
CN110545390A (zh) 飞行时间传感器及方法
US20220164658A1 (en) Method, device, and computer program
US20220210351A1 (en) Image sensing device and operating method thereof
US20230078828A1 (en) Information processing system, sensor system, information processing method, and program
WO2021004795A1 (en) Time-of-flight sensing circuitry and method for operating a time-of-flight sensing circuitry
JP2019008609A (ja) 情報処理装置、プログラム、および情報処理システム
CN112153311A (zh) 图像信号处理器和包括图像信号处理器的图像传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination