CN111751808A - 用于补偿来自飞行时间相机的盖的光反射的方法和设备 - Google Patents

用于补偿来自飞行时间相机的盖的光反射的方法和设备 Download PDF

Info

Publication number
CN111751808A
CN111751808A CN202010231154.7A CN202010231154A CN111751808A CN 111751808 A CN111751808 A CN 111751808A CN 202010231154 A CN202010231154 A CN 202010231154A CN 111751808 A CN111751808 A CN 111751808A
Authority
CN
China
Prior art keywords
image
scene
time
cover
flight camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010231154.7A
Other languages
English (en)
Inventor
A·施恩莱博
D·卢基特施
H·波兰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN111751808A publication Critical patent/CN111751808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种用于在由飞行时间相机感测的场景的图像中补偿来自飞行时间相机的盖的光反射的方法。该方法从飞行时间相机接收场景的图像。此外，该方法包括使用参考图像修改场景的图像以获得场景的补偿图像。参考图像的像素指示仅与来自飞行时间相机的盖的光反射相关的参考值。另外，该方法包括输出补偿图像。

Description

用于补偿来自飞行时间相机的盖的光反射的方法和设备
技术领域
本公开涉及用于飞行时间(ToF)感测的误差校正。具体地，示例涉及用于补偿来自ToF相机的盖的光反射的方法和设备。
背景技术
ToF相机通常被盖玻璃所覆盖，以保护成像元件和照明元件免受周围环境的影响。然而，由照明元件发出的光部分地被盖玻璃反射。反射引起错误的测量，因为发生被盖玻璃反射的光与被ToF相机感测的场景反射的光会产生不期望的光混合。
发明内容
因此，需要补偿来自ToF相机的盖的光反射。
这种需求可通过所附权利要求的主题来满足。
一个示例涉及一种用于在由ToF相机感测的场景的图像中补偿来自ToF相机的盖的光反射的方法。该方法包括从ToF相机接收场景的图像。此外，该方法包括使用参考图像修改场景的图像以获得场景的补偿图像。参考图像的像素指示仅与来自ToF相机的盖的光反射相关的参考值。另外，该方法包括输出补偿图像。
另一实例涉及用于补偿来自ToF相机的盖的光反射的又一方法。ToF相机的光捕获元件被盖所覆盖，并且包括光子混合器件的阵列。每个光子混合器件分离由到达光子混合器件的光所生成的电荷，以便为相应的光子混合器件提供两个电荷值。该方法包括接收光子混合器件的电荷值。此外，该方法包括使用仅与来自ToF相机的盖的光反射相关的参考值来修改电荷值，以获得补偿电荷值。该方法还包括输出补偿电荷值。
附图说明
下面将仅通过示例并参照附图描述设备和/或方法的一些示例，其中：
图1示出了用于在由ToF相机感测的场景的图像中补偿来自ToF相机的盖的光反射的方法的示例的流程图；
图2示出了ToF相机的示例；
图3示出了ToF相机的两个强度图像之间的示例性比较；
图4示出了ToF相机的两个深度图像之间的示例性比较；
图5示出了用于确定参考图像的测量设置的示例；
图6示出了用于补偿来自ToF相机的盖的光反射的另一方法的示例的流程图；以及
图7示出了用于补偿来自ToF相机的盖的光反射的设备的示例。
具体实施方式
现在将参照示出一些示例的附图来更全面地描述各种示例。在附图中，为了清晰起见，线、层和/或区域的厚度可以被放大。
因此，虽然进一步的示例能够实现各种修改和替代形式，但是图中示出了其中的一些特定示例并且随后将详细进行描述。然而，这种详细描述不将进一步的示例限于所描述的特定形式。进一步的示例可涵盖落入本公开范围内的所有修改、等效和替代。相同或相似的数字在附图的整个描述中表示相同或相似的元素，在提供相同或相似功能的同时，这些元素在相互比较时可以相同或以修改形式实施。
应理解，当一个元件被称为“连接”或“耦合”至另一元件时，元件可以直接连接或耦合，或者经由一个或多个中间元件。如果使用“或”组合两个元素A和B，如果另外没有明示或暗示，则这将被理解为公开所有可能的组合，即，仅A、仅B以及A和B。相同组合的替代措词是“A和B中的至少一个”或“A和/或B”。加上细节的变更，这同样适用于两个以上元素的组合。
本文用于描述特定示例的术语无意限制进一步示例。每当使用诸如“一个”和“该”的单数形式并且仅使用单个元素既不显式也不隐式限定为强制性时，进一步的示例也可以使用多个元素来实现相同的功能。类似地，当随后将功能描述为使用多个元素实施时，进一步的示例可使用单个元素或处理实体来实现相同的功能。将进一步理解，术语“包括”和/或“包含”在使用时指定所提特征、整数、步骤、操作、处理、动作、元素和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、处理、动作、元素、部件和/或其任何组的存在或添加。
除非另有定义，否则本文使用的所有术语(包括技术和科学术语)均为示例所属领域的一般含义。
图1示出了用于在由ToF相机感测的场景的图像中补偿来自ToF相机的盖的光反射的方法100的流程图。在详细描述方法100之前，出于与图2相关的教导原因，以下段落将介绍ToF深度测量的一些基础知识。
ToF相机200包括用于用调制光211(例如，红外光)照射场景的照明元件210。照明元件210基于(电)调制射频信号(诸如连续波调制信号)生成调制光211(例如，通过基于调制信号控制一个或多个发光二极管LED或者一个或多个激光二极管)。被调制光211照射的场景中的对象230将调制光211的至少一部分反射回ToF相机200的光捕获元件220(例如，包括光学元件、图像传感器和驱动器电子元件)。换句话说，光捕获元件220接收来自对象230的反射光231。例如，如果ToF相机200被用于安全面部识别，则对象230可以是人脸。
光捕获元件220的图像传感器被像素化，并且每个像素测量反射光231的一小部分。相应地，生成基于来自场景的反射光231的(电)测量信号。例如，每个像素可包括用于测量反射光231的光子混合器件(PMD)。
根据ToF相机200和对象230之间的距离dobj，即，根据深度，反射光231相对于调制光211的发射显示出延迟。因此，测量信号相对于调制射频信号经历与距离相关(与深度相关)的相移。
根据(自)相关函数
Figure BDA0002429316170000041
使各个像素的调制信号和测量信号相关，以获得用于每个像素的相关值L。相关函数
Figure BDA0002429316170000042
模拟相位-距离函数，描述由ToF相机200的每个像素测量的距离dobj和相位值之间的关系。
相关函数
Figure BDA0002429316170000043
的输出是每个像素的相关值L。然后，确定的相关值L被组合到原始图像(有时也被称为“相位图像”)。即，原始图像包括多个像素，每个像素都表示对应的相关值L。
为了对相关函数
Figure BDA0002429316170000044
进行采样，生成多个原始图像。用于相关性的调制信号与测量信号之间的相移δ在各个原始图像之间变化。换句话说，不同的相移δ被用于使调制信号和测量信号相关，以获得对应的原始图像。
以相同的距离对相同对象进行采样并显示出相同的反射率能够对相关函数
Figure BDA0002429316170000045
进行采样。例如，0°、90°、180°和270°的相移可用于生成四个原始图像，每个原始图像都包括表示对应相关值L0°、L90°、L180°和L270°的多个像素。
对于相位相关值L0°，相关函数
Figure BDA0002429316170000046
相对于函数参数的零值通过像素的测量信号和调制信号之间的距离相关的相移
Figure BDA0002429316170000047
进行移位。
使用对相关函数
Figure BDA0002429316170000048
进行采样的四个相关值L0°、L90°、L180°和L270°，可以如下确定相移(相位角)
Figure BDA0002429316170000049
Figure BDA00024293161700000410
考虑到光速c和发射光211的调制频率fp(即，调制信号的调制频率)，可如下计算与对象230的距离dobj，即深度：
Figure BDA0002429316170000051
照明元件210和光捕获元件220被布置(容纳)在由盖240覆盖的公共腔250中，以保护照明元件210和光捕获元件220免受周围环境(例如，灰尘或湿气)的影响。例如，盖240可由玻璃、塑料或任何其他适合的材料制成。例如，盖240可以是移动电话或汽车ToF系统的玻璃盖。在一些示例中，盖240可以是OLED(有机发光二极管)显示器。应注意，盖240可以是能够保护照明元件210和光捕获元件220不受周围环境影响并且对于由照明元件210发射的调制光211和将被光捕获元件220接收的反射光231是部分透明的任何元件。
如图2所示，由照明元件210发射的调制光211被盖240部分反射。因此，除了来自对象230的想要的反射光231之外，光捕获元件220还从盖240接收不想要的反射光241。来自盖240的不需要的反射光241与来自对象230的需要的反射光231混合，从而导致ToF相机的错误测量。对于由ToF相机感测的另一场景，在图3和图4中对此进行了例示。
图3示出了由ToF相机200拍摄的两个强度图像之间的比较。上面的强度图像310由不带盖240的ToF相机200拍摄。换句话说，当ToF相机200拍摄图像310时，移除盖240。作为比较，下面的强度图像320由安装盖240的ToF相机拍摄。
来自盖240的不想要的反射光241与来自感测场景的想要的反射光231混合。从强度图像310和320可以看出，由于来自盖240的不需要的反射光241，强度图像的对比度恶化。
图4示出了与图3所示的强度图像310和320相对应的ToF相机200的两个深度图像410和420。上面的深度图像410由没有盖240的ToF相机200拍摄，而下面的深度图像420由安装盖240的ToF相机拍摄。从深度图像410和420可以看出，来自盖240的不需要的反射光241影响ToF相机200的深度测量。
回到图1，方法100可允许在由ToF相机感测的场景的图像中补偿来自ToF相机的盖的光反射。方法100包括从ToF相机接收场景的图像(102)。场景的图像可以是可以由ToF相机提供的任何类型的图像，诸如原始图像、从原始图像导出的图像、强度图像、从强度图像导出的图像、深度图像或从深度图像导出的图像。例如，从原始图像导出的图像可以是相位角图像，其包括表示从照明元件的相应像素的一个或多个相关值导出的相移(相位角)的像素。在其他示例中，从上面列出的图像之一导出的图像可以是基于相应图像和针对ToF相机的一个或多个错误校正的错误的图像。在一些示例中，从上面列出的图像之一导出的图像可以是基于相应图像和另一图像的组合的图像(例如，使用不同频率的调制信号捕获的两个深度图像的组合)。
此外，方法100包括使用参考图像修改场景的图像以获得场景的补偿图像(104)。参考图像的像素指示(表示)仅与来自ToF相机的盖的光反射相关的参考值。换句话说，参考图像的像素指示(基本上)仅由来自ToF相机的盖的光反射而不是来自任何其他对象(诸如ToF相机的周围环境)的光反射引起的值。例如，参考图像可以是参考原始图像、参考深度图像或参考强度图像。例如，参考深度图像的像素仅指示与来自ToF相机的盖的光反射相关/由来自ToF相机的盖的光反射引起的深度值。因此，参考图像表征来自盖的光反射对由ToF相机拍摄的图像的影响。因此，参考图像允许在场景的图像中补偿来自盖的光反射的影响。
当修改100场景的图像时，由场景的图像的像素指示的值被由参考图像的像素指示的参考值修改。例如，可以使用参考图像逐像素地修改场景的图像。换句话说，由场景的图像的像素指示的值通过由位于参考图像中的相同像素位置处的像素指示的参考值进行修改。例如，可以从由场景的图像的像素指示的值中减去由参考图像的像素指示的参考值。然而，所提出的概念不限于从由场景的图像的像素指示的值中减去参考值。通常，场景的图像的像素可基于参考图像的像素以任何合适的方式被修改/调整/改变。
此外，方法100包括输出场景的补偿图像(106)。与上面针对场景的接收图像所描述的类似，场景的补偿图像可例如是原始图像、从原始图像导出的图像、强度图像、从强度图像导出的图像、深度图像或从深度图像导出的图像。
针对来自ToF相机的盖的光反射的影响来校正场景的补偿图像。因此，由场景的图像的像素表示的由ToF相机进行的错误测量可至少在场景的补偿图像中被缓解。在一些示例中，场景的补偿图像可以不受来自ToF相机的盖的光反射的影响。
如上所述，在一些示例中，参考图像可以是参考原始图像。为了感测场景，ToF相机可使用连续波调制信号来照射场景，并且如上所述基于来自场景的反射光生成测量信号。因此，根据上述ToF感测的一般概念，根据相关函数
Figure BDA0002429316170000071
场景的原始图像基于连续波调制信号与测量信号的相关性。为了正确地校正场景的原始图像，可基于连续波调制信号和用于相关性的测量信号之间的相移δ从多个参考原始图像中选择参考原始图像。多个参考原始图像可对应于不同的相移。因此，对于每个所使用的相移δ，可以选择用于校正来自ToF相机的盖的光反射的适当(相应的)参考原始图像。
类似地，可以基于连续波调制信号的频率从多个参考原始图像中选择参考原始图像。多个参考原始图像可对应于连续波调制信号的不同频率。因此，对于连续波调制信号的每个频率，可以选择用于校正来自ToF相机的盖的光反射的(相应)参考原始图像。
例如，如果通过ToF相机拍摄使用四个不同相移的四个原始图像，则可以提供四个参考原始图像来校正原始图像。如果针对连续波调制信号的另一频率拍摄使用四个不同相移的四个附加原始图像，则可以提供四个附加参考原始图像来针对连续波调制信号的另一频率校正四个附加原始图像。换句话说，对于每个参数(相位和频率)，可以提供单独的参考图像。
例如，参考原始图像可基于工厂校准。即，可以在ToF相机的生产处理期间生成或提供参考原始图像。例如，可以在不包含任何反射对象的限定生产(校准)环境中由ToF相机捕获参考原始图像。例如，ToF相机可感测白色墙壁，使得只有ToF相机的盖引起反射。如上所述，可以保存参考原始图像，并从随后拍摄的场景图像中减去该参考原始图像。这种方法是可行的，因为光捕获元件将所有入射光集合到相关值(或相位值)中。
在一些示例中，参考原始图像可以在ToF相机的操作期间生成或(例如，偶发地)更新。例如，编码调制可用于将ToF相机的测量范围固定到ToF相机的盖，以便表征ToF相机的盖。对于编码调制，使用编码调制信号而不是连续波调制信号来照明。在编码调制信号中，脉冲的序列被改变。换句话说，当连续波调制信号显示出等长(持续时间)的高脉冲和低脉冲的交替序列时，编码调制信号显示出可变长度的脉冲。例如，Kasami码序列或m序列可用于编码调制信号。
用于照明的编码调制信号的结果是：相关函数仅不同于相对于ToF相机源于特定距离范围的反射光的恒定值。换句话说，只有从特定距离范围内的对象反射的光才使得相关函数的值不同于恒定值。就数学表达式而言，这可以如下表示为：
Figure BDA0002429316170000081
其中c(d)表示相关函数，d表示反射光的对象到ToF相机的距离，a表示常数，f(d)表示距离相关函数，dmin表示反射光的对象到相关函数对反射光敏感的ToF相机的最小距离，以及dmax表示反射光的对象到相关函数对反射光敏感的ToF相机的最大距离。
换句话说，与连续波调制信号相比，对于码调制信号，相关函数的相关范围是有限的。相关函数对来自由ToF相机感测的对象的反射光敏感的相关范围定义了ToF相机的测量范围。即，ToF相机的测量范围对应于相关函数的相关范围，相关函数为其输出距离相关输出值。
因此，在一些示例中，方法100可包括控制ToF相机200使用用于照明的码调制信号，使得如图5所示，ToF相机200的测量范围在盖240之后立即结束。即，使用设计的码调制信号，以实现期望的码相关。因此，基于编码调制信号由ToF相机200捕获的原始图像仅包括指示只与来自ToF相机200的盖240的光反射相关的值的像素。换句话说，该原始图像仅表征ToF相机200的盖240。因此，该原始图像可用于参考原始图像。编码调制能够在操作期间表征ToF相机200的盖。此外，可以检测到盖240的反射率的变化(例如，由指纹、污垢、划痕、保护膜、雾、雨等引起)。
在其他示例中，可以使用连续波调制信号代替编码调制信号来表征ToF相机的盖。例如，方法100可包括从ToF相机接收深度图像，并且确定深度图像中绘制的最靠近的反射对象。此外，方法100可包括确定ToF相机的曝光时间，使得ToF相机的测量范围在最靠近的反射对象之前结束。反射光的功率随着反射对象与ToF相机的距离而减小。因此，通过调整ToF相机的曝光时间，只有来自显示出与ToF相机的曝光时间相关最大距离的对象的反射光才将有助于测量信号。来自显示出较大距离的对象的反射光将只在光捕获元件的本底噪声中显著。因此，通过适当地设置ToF相机的曝光时间，可以确保最靠近的反射对象的反射光将只对光捕获元件的本底噪声有贡献。因此，方法100还可以包括控制ToF相机以使用确定(设置)的曝光时间来捕获辅助原始图像。辅助原始图像可相应地用作参考图像，因为其仅包括指示只由ToF相机的盖引起的值的像素。
在更进一步的示例中，方法100可包括从ToF相机接收深度图像，并且确定在深度图像中是否绘制了距离大于ToF相机的盖的任何反射对象。如果深度图像中没有绘制距离大于盖的反射对象，则方法100可包括控制ToF相机以捕获辅助原始图像。辅助原始图像可相应地用作参考图像，因为其仅包括指示只由ToF相机的盖引起的值的像素。
在一些示例中，参考图像可以是如上所述的参考深度图像。为了生成或更新参考深度图像，方法100可例如包括从ToF相机接收深度图像，并且确定深度图像中是否绘制了距离大于盖的任何反射对象。如果深度图像中没有绘制距离大于盖的反射对象，则深度图像可用作参考深度图像，因为其仅包括指示只由ToF相机的盖引起的值的像素。
备选地，在一些示例中，参考图像可以是参考强度图像(例如，灰度图像)。参考强度图像可用于校正ToF的强度图像以及ToF相机的其他图像，诸如原始图像。例如，如果ToF相机的光捕获元件使用PMD来检测反射光，则在常规操作期间对PMD的栅极进行调制，使得由入射光引起的电荷被分离(例如，收集在两个单独的电容器中)。在灰度模式下，所有电荷相加(例如，收集在一个电容器中)。可以使用缩放因子来考虑不同的操作原理。因此，使用参考强度图像修改104场景的相位图像可包括通过缩放因子来缩放由参考强度图像的像素指示的参考值，以获得缩放参考强度图像。此外，使用参考强度图像修改104场景的相位图像可包括与上似类似使用缩放参考强度图像修改场景的图像，以获得补偿图像。
在一些示例中，场景图像和参考图像的曝光时间可以相等。换句话说，用于拍摄场景图像和参考图像的曝光时间可以相同。
备选地，用于拍摄场景图像和参考图像的曝光时间可以不同。场景图像和参考图像的不同曝光时间可通过缩放因子来补偿。例如，如果场景图像和参考图像的曝光时间不同，则使用参考图像修改104场景图像可包括通过缩放因子缩放由参考图像的像素指示的参考值，以获得缩放参考图像。缩放因子基于场景图像和参考图像的曝光时间的比率(例如，与其相同或与其成比例)。此外，使用参考图像修改104场景的图像可包括如上所述使用缩放参考图像修改场景的图像，以获得场景的补偿图像。因此，使用第一曝光时间由ToF相机捕获的场景的图像可以使用利用不同的第二曝光时间捕获的参考图像来校正。例如，这可以允许省略为ToF相机支持的每个曝光时间保存参考图像。
在前面的描述中，描述为在图像级校正来自ToF相机的盖的光反射。然而，所提出的概念不限于图像级的误差校正。在一些示例中，来自ToF相机的盖的光反射的补偿可以在光捕获元件的电荷等级处进行。这将结合图6更详细地进行描述。
图6示出了用于补偿来自ToF相机的盖的光反射的方法600的流程图。如上所述(例如，图2)，ToF相机的光捕获元件被盖所覆盖。在图6的示例中，光捕获元件包括PMD的阵列，使得每个PMD测量到达光捕获元件的光的一小部分(例如，光捕获元件的每个像素可包括PMD)。这样的PMD是已知的，使得将不再本公开中详细描述PMD的结构。每个PMD基于用于照明的调制信号分离由到达PMD的光生成的电荷，使得为相应PMD(即，PMD阵列的每个PMD)提供(至少)两个电荷值。
方法600包括接收(602)PMD的电荷值。例如，PMD的电荷值可以由PMD或连接电路装置(例如，模数转换器，ADC)提供的模拟或数字值来表示。
与上面针对图像级所描述的类似，方法600还包括使用仅与来自ToF相机的盖的光反射相关的参考(电荷)值来修改(604)电荷值，以获得补偿电荷值。换句话说，参考值(基本上)仅由来自ToF相机的盖的光反射引起，而不是由任何其他对象(诸如ToF相机的周围环境中的对象)的光反射引起。因此，参考值表征来自盖的光反射对PMD生成的电荷的影响。因此，参考值允许在由PMD生成的电荷中补偿来自盖的光反射的影响。
例如，可以使用参考值修改每个PMD的电荷值。在一些示例中，可以为每个PMD提供单独的参考值。在其他示例中，可以为PMD阵列的不同子集合提供单独的参考值。在进一步的示例中，可以为所有PMD提供相同的参考值。
例如，可以从PMD的电荷值中减去参考值。然而，所提出的概念不限于从PMD的电荷值中减去参考值。一般来说，PMD的电荷值可基于参考值以任何合适的方式进行修改/调整/改变。
此外，方法600还包括输出(606)补偿电荷值。例如，可基于补偿电荷值来确定原始图像。
与上面描述的图像级类似，补偿电荷值针对来自ToF相机的盖的光反射的影响进行校正。因此，由PMD的电荷值表示的ToF相机进行的错误测量可至少在补偿电荷值中缓解。在一些示例中，补偿电荷值可以不受来自ToF相机的盖的光反射的影响。
用于修改PMD的电荷值的参考值可类似于上面针对参考图像的描述来确定。例如，如果在ToF相机的深度图像中没有绘制出距离大于盖的反射对象，则可以控制ToF相机来捕获辅助图像。在拍摄辅助图像时获得的PMD的电荷值可以被用作参考值，因为它们仅由ToF相机的盖引起。备选地，当拍摄深度图像时获得的PMD的电荷值可以被用作参考值，因为它们仅由ToF相机的盖引起。类似地，当拍摄用于如上所述将ToF相机的测量范围基本限于盖的编码调制信号的图像时获得的PMD的电荷值可以被用作参考值。
还可以使用缩放来补偿参考值和PMD的电荷值的不同曝光时间。即，使用参考值修改(604)PMD的电荷值可以包括通过缩放因子缩放参考值以获得缩放参考值。例如，缩放因子可基于用于生成参考值的曝光时间与用于生成PMD的电荷值的曝光时间的比率(例如，与其相同或与其成比例)。此外，使用参考值修改(604)PMD的电荷值可包括如上所述使用缩放参考值修改PMD的电荷值，以获得补偿电荷值。
此外，与上面针对图像级所描述的类似，缩放可用于使用在捕获强度(灰度)图像时获得的参考值来校正PMD的电荷值。
在图7中进一步示出了根据所提出的概念用于补偿来自ToF相机的盖的光反射的设备700的示例。设备700包括处理电路720。例如，处理电路720可以是单个专用处理器、单个共享处理器或多个单独的处理器(其中一些或所有可共享)、数字信号处理器(DSP)硬件、专用集成电路(ASIC)或现场可编程门阵列(FPGA)。处理电路720可以可选地耦合至例如用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和/或非易失性存储器。设备700还可以包括其他传统和/或定制的硬件。
设备700包括输入电路710，其被配置为接收表示来自ToF相机的场景图像或者ToF相机的光子混合器件的电荷值的输入数据701。处理电路720根据上述用于补偿来自ToF相机的盖的光反射的概念来处理输入数据701。因此，设备的输出电路730输出表示场景的补偿图像或补偿电荷值的输出数据702。
例如，设备700的功能可以在耦合至提供图像的ToF相机模块或ToF相机模块本身的应用处理器中实施。
本文所描述的示例可总结如下：
一些示例涉及一种用于在由ToF相机感测的场景的图像中补偿来自ToF相机的盖的光反射的方法。该方法包括从ToF相机接收场景的图像。此外，该方法包括使用参考图像修改场景的图像，以获得场景的补偿图像。参考图像的像素指示仅与来自ToF相机的盖的光反射相关的参考值。另外，该方法包括输出补偿图像。
根据一些示例，ToF相机的用于照射场景的照明元件和ToF相机的用于接收来自场景的反射光的光捕获元件被布置在被盖所覆盖的公共腔中。
在一些示例中，场景的图像是原始图像、从原始图像导出的图像、强度图像、从强度图像导出的图像、深度图像或从深度图像导出的图像中的一个。
根据一些示例，参考图像是参考原始图像。
在一些示例中，ToF相机使用连续波调制信号来照射场景，并且基于来自场景的反射光生成测量信号。场景的图像是根据相关函数基于连续波调制信号和测量信号之间的相关性的原始图像。参考原始图像是基于相关性所使用的连续波调制信号和测量信号之间的相移而从多个参考原始图像中选择的。
根据一些示例，ToF相机使用连续波调制信号来照射场景。参考原始图像是基于连续波调制信号的频率而从多个参考原始图像中选择的。
在一些示例中，参考原始图像基于工厂校准。
根据一些实例，该方法还包括：控制ToF相机使用编码调制信号进行照明，使得ToF相机的测量范围在盖之后立即结束。通过ToF相机基于编码调制信号捕获的原始图像被用作参考原始图像。
在一些示例中，该方法还包括：从ToF相机接收深度图像，以及确定深度图像中绘制的最靠近的反射对象。此外，该方法包括：确定ToF相机的曝光时间，使得ToF相机的测量范围在最靠近的反射对象之前结束。此外，该方法包括：控制ToF相机使用曝光时间来捕获辅助原始图像，其中辅助原始图像被用作参考图像。
根据一些示例，该方法还包括：从ToF相机接收深度图像，以及确定深度图像中是否绘制了距离大于盖的任何反射对象。如果深度图像中没有绘制距离大于盖的反射对象，则该方法还包括控制ToF相机以捕获辅助原始图像，其中，辅助原始图像被用作参考图像。
在一些示例中，参考图像是参考深度图像。
根据一些示例，该方法还包括：从ToF相机接收深度图像，以及确定深度图像中是否绘制了距离大于盖的任何反射对象。如果深度图像中没有绘制距离大于盖的反射对象，则深度图像被用作参考深度图像。
在一些示例中，参考图像是参考强度图像。
根据一些示例，使用参考强度图像修改场景的相位图像包括：通过缩放因子缩放由参考强度图像的像素指示的参考值，以获得缩放参考强度图像。此外，使用参考强度图像修改场景的相位图像包括：使用缩放参考强度图像修改场景的图像，以获得补偿图像。
在一些示例中，场景的图像和参考图像的曝光时间相等。
如果场景的图像和参考图像的曝光时间不同，则根据一些示例，使用参考图像修改场景的图像包括通过缩放因子缩放由参考图像的像素指示的参考值，以获得缩放参考图像。缩放因子基于场景的图像和参考图像的曝光时间的比率。此外，使用参考图像修改场景的图像包括使用缩放参考图像修改场景的图像，以获得补偿图像。
进一步的示例涉及用于在由ToF相机感测的场景的图像中补偿来自ToF相机的盖的光反射的设备。该设备包括被配置为从ToF相机接收场景的相位图像的输入电路。此外，该设备包括被配置为使用参考图像修改场景的图像以获得场景的补偿图像的处理电路。参考图像的像素指示仅与来自ToF相机的盖的光反射相关的参考值。该设备还包括被配置为输出补偿图像的输出电路。
更进一步的示例涉及另一设备，用于在由ToF相机感测的场景的图像中补偿来自ToF相机的盖的光反射。该设备包括用于从ToF相机接收场景的相位图像的装置。此外，该设备包括用于使用参考图像修改场景的图像以获得场景的补偿图像的装置。参考图像的像素指示仅与来自ToF相机的盖的光反射相关的参考值。该设备还包括用于输出补偿图像的装置。
其他示例涉及用于补偿来自ToF相机的盖的光反射的进一步方法。ToF相机的光捕获元件被盖所覆盖，并且包括光子混合器件的阵列。每个光子混合器件分离由到达光子混合器件的光所生成的电荷，以便为相应的光子混合器件提供两个电荷值。该方法包括接收光子混合器件的电荷值。此外，该方法包括使用仅与来自ToF相机的盖的光反射相关的参考值来修改电荷值，以获得补偿电荷值。该方法还包括输出补偿电荷值。
进一步的其他示例涉及用于补偿来自ToF相机的盖的光反射的设备。ToF相机的光捕获元件被盖所覆盖，并且包括光子混合器件的阵列。每个光子混合器件分离光到达光子混合器件的光所生成的电荷，使得为相应的光子混合器件提供两个电荷值。该设备包括被配置为接收光子混合器件的电荷值的输入电路。此外，该设备包括被配置为使用仅与来自ToF相机的盖的光反射相关的参考值来修改电荷值以获得补偿电荷值的处理电路。该设备还包括被配置为输出补偿电荷值的输出电路。
进一步的示例涉及用于补偿来自ToF相机的盖的光反射的设备。ToF相机的光捕获元件被盖所覆盖，并且包括光子混合器件的阵列。每个光子混合器件分离到达光子混合器件的光所生成的电荷，使得为相应的光子混合器件提供两个电荷值。该设备包括用于接收光子混合器件的电荷值的装置。此外，该设备包括用于使用仅与来自ToF相机的盖的光反射相关的参考值来修改电荷值以获得补偿电荷值的装置。该设备还包括用于输出补偿电荷值的装置。
示例涉及一种其上存储有程序的非暂态机器可读介质，当程序在处理器或可编程硬件上执行时，具有用于如本文所述补偿来自ToF相机的盖的光反射的程序代码。
其他示例涉及一种程序，当程序在处理器或可编程硬件上执行时，具有用于执行如本文所述补偿来自ToF相机的盖的光反射的任何方法的程序代码。
根据所提议概念的示例可允许ToF相机的盖玻璃误差校正(例如，使用连续波或编码调制测量)。
说明书和附图仅示出了本公开的原理。此外，本文所提到的所有示例仅明确地用于说明性目的，以帮助读者理解本公开的原理和发明人为促进本领域的发展而贡献的概念。本文中详述本公开的原理、方面和示例及其具体示例的所有陈述意在包含其等效物。
例如，框图可示出实施本公开的原理的高级电路图。类似地，流程图、状态转换图、伪代码等可表示各种处理、操作或步骤，这些过程、操作或步骤例如可基本上在计算机可读介质中表示，并且由计算机或处理器执行，而无论是否显式地示出这种计算机或处理器。说明书或权利要求中公开的方法可通过具有执行这些方法的每个相应动作的装置的设备来实施。
应当理解，除非另有明确或暗示的说明(例如，出于技术原因)，否则说明书或权利要求书中公开的多个动作、处理、操作、步骤或功能的披露不得被理解为在特定顺序内。因此，多个动作或功能的公开不将它们限于特定顺序，除非出于技术原因，这些动作或功能不能互换。此外，在一些示例中，单个动作、功能、处理、操作或步骤可包括或者可以分解成多个子动作、子功能、子处理、子操作或子步骤。除非特别排除，否则这种子动作可包括在这种单个动作的公开中或者作为其一部分。
此外，以下权利要求在此并入详细描述中，其中，每一权利要求可作为单独的示例独立存在。虽然每项权利要求可作为单独示例而单独存在，但应当注意，尽管从属权利要求可以在权利要求中提及与一项或多项其他权利要求的特定组合，但其他示例也可以包括该从属权利要求与彼此从属或独立的权利要求的主题的组合。除非说明不打算进行特定组合，否则本文明确提出这种组合。此外，还打算包括从属于任何其他独立权利要求的权利要求的特征，即使该权利要求并非直接从属于该独立权利要求。

Claims (23)

1.一种用于在由飞行时间相机感测的场景的图像中补偿光反射的方法(100)，所述光反射来自所述飞行时间相机的盖，所述方法(100)包括：
从所述飞行时间相机接收(102)所述场景的图像；
使用参考图像修改(104)所述场景的图像，以获得所述场景的补偿图像，其中所述参考图像的像素指示仅与来自所述飞行时间相机的所述盖的光反射相关的参考值；以及
输出(106)所述补偿图像。
2.根据权利要求1所述的方法，其中所述飞行时间相机的用于照射所述场景的照明元件和所述飞行时间相机的用于接收来自所述场景的反射光的光捕获元件被布置在由所述盖覆盖的公共腔中。
3.根据权利要求1或2所述的方法，其中所述场景的图像是原始图像、从所述原始图像导出的图像、强度图像、从所述强度图像导出的图像、深度图像或从所述深度图像导出的图像中的一个图像。
4.根据权利要求1至3中任一项所述的方法，其中所述参考图像是参考原始图像。
5.根据权利要求4所述的方法，其中所述飞行时间相机使用连续波调制信号来照射所述场景，并且基于来自所述场景的反射光生成测量信号，其中所述场景的图像是根据相关函数基于所述连续波调制信号和所述测量信号之间的相关性的原始图像，并且其中所述参考原始图像是基于所述相关性所使用的所述连续波调制信号和所述测量信号之间的相移而从多个参考原始图像中选择的。
6.根据权利要求4或5所述的方法，其中所述飞行时间相机使用连续波调制信号来照射所述场景，并且其中所述参考原始图像是基于所述连续波调制信号的频率而从多个参考原始图像中选择的。
7.根据权利要求4至6中任一项所述的方法，其中所述参考原始图像基于工厂校准。
8.根据权利要求4至6中任一项所述的方法，其中所述方法(100)还包括：控制所述飞行时间相机以使用编码调制信号进行照明，使得所述飞行时间相机的测量范围在所述盖之后立即结束，其中通过所述飞行时间相机基于所述编码调制信号捕获的原始图像被用作所述参考原始图像。
9.根据前述权利要求中任一项所述的方法，还包括：
从所述飞行时间相机接收深度图像；
确定所述深度图像中绘制的最靠近的反射对象；
确定所述飞行时间相机的曝光时间，使得所述飞行时间相机的测量范围在所述最靠近的反射对象之前结束；以及
控制所述飞行时间相机以使用所述曝光时间来捕获辅助原始图像，其中所述辅助原始图像被用作所述参考图像。
10.根据前述权利要求中任一项所述的方法，还包括：
从所述飞行时间相机接收深度图像；
确定所述深度图像中是否绘制了距离大于所述盖的任何反射对象；
如果所述深度图像中没有绘制距离大于所述盖的反射对象，则控制所述飞行时间相机以捕获辅助原始图像，其中所述辅助原始图像被用作所述参考图像。
11.根据权利要求1至3中任一项所述的方法，其中所述参考图像是参考深度图像。
12.根据权利要求11所述的方法，还包括：
从所述飞行时间相机接收深度图像；以及
确定所述深度图像中是否绘制了距离大于所述盖的任何反射对象，其中如果所述深度图像中没有绘制距离大于所述盖的反射对象，则所述深度图像被用作所述参考深度图像。
13.根据权利要求1至3中任一项所述的方法，其中所述参考图像是参考强度图像。
14.根据权利要求13所述的方法，其中使用所述参考强度图像修改(104)所述场景的相位图像包括：
通过缩放因子缩放由所述参考强度图像的像素指示的所述参考值，以获得缩放参考强度图像；以及
使用所述缩放参考强度图像修改所述场景的图像，以获得所述补偿图像。
15.根据权利要求1至14中任一项所述的方法，其中所述场景的图像和所述参考图像的曝光时间相等。
16.根据权利要求1至14中任一项所述的方法，其中如果所述场景的图像和所述参考图像的曝光时间不同，则使用所述参考图像修改(104)所述场景的图像包括：
通过缩放因子缩放由所述参考图像的像素指示的所述参考值，以获得缩放参考图像，其中所述缩放因子基于所述场景的图像和所述参考图像的曝光时间的比率；以及
使用所述缩放参考图像修改所述场景的图像，以获得所述补偿图像。
17.一种用于在由飞行时间相机感测的场景的图像中补偿光反射的设备(700)，所述光反射来自所述飞行时间相机的盖，所述设备(700)包括：
输入电路(710)，被配置为从所述飞行时间相机接收所述场景的相位图像；
处理电路(720)，被配置为使用参考图像修改所述场景的图像，以获得所述场景的补偿图像，其中所述参考图像的像素指示仅与来自所述飞行时间相机的所述盖的光反射相关的参考值；以及
输出电路(730)，被配置为输出所述补偿图像。
18.一种用于在由飞行时间相机感测的场景的图像中补偿光反射的设备，所述光反射来自所述飞行时间相机的盖，所述设备包括：
用于从所述飞行时间相机接收所述场景的相位图像的装置；
用于使用参考图像修改所述场景的图像以获得所述场景的补偿图像的装置，其中所述参考图像的像素指示仅与来自所述飞行时间相机的所述盖的光反射相关的参考值；以及
用于输出所述补偿图像的装置。
19.一种用于补偿来自飞行时间相机的盖的光反射的方法(600)，其中所述飞行时间相机的光捕获元件被所述盖覆盖，并且包括光子混合器件的阵列，其中每个光子混合器件分离由到达所述光子混合器件的光所生成的电荷，以便为相应的光子混合器件提供两个电荷值，所述方法(600)包括：
接收(602)所述光子混合器件的电荷值；
使用仅与来自所述飞行时间相机的所述盖的光反射相关的参考值来修改(604)所述电荷值，以获得补偿电荷值；以及
输出(606)所述补偿电荷值。
20.一种用于补偿来自飞行时间相机的盖的光反射的设备(700)，其中所述飞行时间相机的光捕获元件被所述盖覆盖，并且包括光子混合器件的阵列，其中每个光子混合器件分离由到达所述光子混合器件的光所生成的电荷，以便为相应的光子混合器件提供两个电荷值，所述设备(700)包括：
被配置为接收所述光子混合器件的电荷值的输入电路(710)；
被配置为使用仅与来自所述飞行时间相机的所述盖的光反射相关的参考值来修改所述电荷值以获得补偿电荷值的处理电路(720)；以及
被配置为输出所述补偿电荷值的输出电路(730)。
21.一种用于补偿来自飞行时间相机的盖的光反射的设备，其中所述飞行时间相机的光捕获元件被所述盖覆盖，并且包括光子混合器件的阵列，其中每个光子混合器件分离由到达所述光子混合器件的光所生成的电荷，以便为相应的光子混合器件提供两个电荷值，所述该设备包括：
用于接收所述光子混合器件的电荷值的装置；
用于使用仅与来自所述飞行时间相机的所述盖的光反射相关的参考值来修改所述电荷值以获得补偿电荷值的装置；以及
用于输出所述补偿电荷值的装置。
22.一种其上存储有程序的非暂态机器可读介质，具有当所述程序在处理器或可编程硬件上执行时用于执行权利要求1至16或19中任一项所述的方法的程序代码。
23.一种程序，具有当所述程序在处理器或可编程硬件上执行时用于执行权利要求1至16或19中任一项所述的方法的程序代码。
CN202010231154.7A 2019-03-27 2020-03-27 用于补偿来自飞行时间相机的盖的光反射的方法和设备 Pending CN111751808A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19165400.3A EP3715907B1 (en) 2019-03-27 2019-03-27 Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
EP19165400.3 2019-03-27

Publications (1)

Publication Number Publication Date
CN111751808A true CN111751808A (zh) 2020-10-09

Family

ID=65991709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010231154.7A Pending CN111751808A (zh) 2019-03-27 2020-03-27 用于补偿来自飞行时间相机的盖的光反射的方法和设备

Country Status (3)

Country Link
US (1) US11758078B2 (zh)
EP (1) EP3715907B1 (zh)
CN (1) CN111751808A (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US10514483B2 (en) * 2016-10-13 2019-12-24 Massachusetts Institute Of Technology Time-of-flight camera for imaging through optical cavity
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
US10908383B1 (en) 2017-11-19 2021-02-02 Apple Inc. Local control loop for projection system focus adjustment
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
KR102604902B1 (ko) 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11600010B2 (en) * 2020-06-03 2023-03-07 Lucid Vision Labs, Inc. Time-of-flight camera having improved dynamic range and method of generating a depth map
EP4266693A4 (en) 2021-07-06 2024-07-17 Samsung Electronics Co Ltd ELECTRONIC IMAGE PROCESSING DEVICE AND OPERATING METHOD THEREFOR
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
DE19704496C2 (de) * 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
EP1988389B1 (de) * 2007-05-04 2011-07-20 Sick Ag Überwachung eines Raumbereichs mit Bestimmung des Verschmutzungsgrads einer transparenter Grenzfläche anhand des Bildkontrasts
JP5655133B2 (ja) * 2011-02-21 2015-01-14 パナソニックＩｐマネジメント株式会社 空間情報検出装置
DE102011081561B4 (de) * 2011-08-25 2024-06-13 pmdtechnologies ag Lichtlaufzeitkamerasystem mit Signalpfadüberwachung
WO2018140522A2 (en) * 2017-01-25 2018-08-02 Apple Inc. Spad detector having modulated sensitivity
JP7109906B2 (ja) * 2017-11-14 2022-08-01 シャープ株式会社 光センサ及び電子機器

Also Published As

Publication number Publication date
US20200314294A1 (en) 2020-10-01
EP3715907B1 (en) 2024-02-28
US11758078B2 (en) 2023-09-12
EP3715907A1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
CN111751808A (zh) 用于补偿来自飞行时间相机的盖的光反射的方法和设备
US11575843B2 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
US11595602B2 (en) Image sensor post processing
EP2451150B1 (en) Color sensor insensitive to distance variations
KR100822053B1 (ko) 영상획득장치와 영상획득방법
US20190007592A1 (en) Imaging device and solid-state imaging element used in same
US7733391B2 (en) Method and system for black-level correction on digital image data
CN110596727B (zh) 输出精度信息的测距装置
CN111352120B (zh) 飞行时间测距系统及其测距方法
US20200036914A1 (en) Use of ir pre-flash for rgb camera's automatic algorithms
KR20090047657A (ko) 적설량 관측 시스템 및 적설량 원격 측정 방법
US10712146B2 (en) Distance measuring system and method using thereof
US20210382153A1 (en) Method and apparatus for characterizing a time-of-flight sensor and/or a cover covering the time-of-flight sensor
WO2021059698A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
JP2001264622A (ja) 自動合焦装置、デジタルカメラ、携帯情報入力装置、合焦位置検出方法、およびコンピュータが読取可能な記録媒体
CN114365189A (zh) 影像配准装置、图像生成系统、影像配准方法及影像配准程序
CN114521241A (zh) 信息处理装置、校正方法以及程序
JP4247547B2 (ja) カメラ用露光量制御方法および装置
US20220018965A1 (en) Apparatus comprising a time-of-flight sensor and method for characterizing a time-of-flight sensor
US11686828B2 (en) Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera
CN114152592A (zh) 用于确定指示对象的反射率的反射率值的方法和装置
CN110068307B (zh) 测距系统及测量距离的方法
US20150116500A1 (en) Image pickup apparatus
WO2021104648A1 (en) Illumination measurement with distance based weighting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination