CN105026955A - 用于对来自距离感应相机的数据进行降噪的方法和装置 - Google Patents

用于对来自距离感应相机的数据进行降噪的方法和装置 Download PDF

Info

Publication number
CN105026955A
CN105026955A CN201280078236.6A CN201280078236A CN105026955A CN 105026955 A CN105026955 A CN 105026955A CN 201280078236 A CN201280078236 A CN 201280078236A CN 105026955 A CN105026955 A CN 105026955A
Authority
CN
China
Prior art keywords
element sensor
noise reduction
phase differential
amplitude
sensor described
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280078236.6A
Other languages
English (en)
Other versions
CN105026955B (zh
Inventor
M·格奥尔基耶夫
A·戈奇夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN105026955A publication Critical patent/CN105026955A/zh
Application granted granted Critical
Publication of CN105026955B publication Critical patent/CN105026955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

除其他之外，公开了确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的(301)；确定被所述至少一个像素传感器所接收的反射光信号的振幅(301)；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数(307)；并且通过利用滤波器对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪(309)。

Description

用于对来自距离感应相机的数据进行降噪的方法和装置
技术领域
本申请设计飞行时间相机系统，尤其涉及减少来自所述飞行时间相机系统的距离图像中的噪声。
背景技术
飞行时间(ToF)相机能够通过发射调制光信号的脉冲并且测量返回的波前端的时差来感应到物体的距离或范围。
ToF相机可以包括诸如一组发光二极管(LED)的光源，由此能够发射连续调制的谐波光信号。从光源到物体的距离或范围能够通过测量所发射和反射的光子之间的相位平移(或时间差)来确定。所反射的光子可以由相机利用电荷耦合设备等进行感应。
所发射和反射的光子之间的相移(或相位延迟)并非直接测量。相反，ToF相机系统能够采用像素结构，因此执行所接收的光学信号和电气基准源之间的关联以便确定相位延迟的测量。
所产生的距离(或范围)映射能够将到物体的距离表示为距离映射图像内的相对像素强度。
然而，距离映射图像会由于噪声影响而损坏，而无论所述噪声是作为电荷耦合设备中的热噪声的结果的随机噪声，还是作为到所观察物体的距离的测量的系统误差的结果的噪声。特别地，ToF相机系统的操作性能会受到源自于相机的操作模式的内部因素以及所感应场景和感应环境的特性所导致的外部因素的影响。
例如，能够对ToF相机系统的性能有所限制的内部因素可以包括所使用传感器的物理局限，诸如相干噪声和分辨率。能够对ToF相机系统的性能有所限制的其他内部因素可以包括所发射信号的功率，以及用于形成反射信号样本的积分时间。
会对ToF相机系统的性能有所限制的外部因素可以包括照明光入射到所感应物体上的角度、所感应物体的颜色和材料的反光性、ToF相机系统的感应范围，以及多重反射所形成的返回光信号。
这些因素能够对ToF相机系统的距离(或范围)测量的精确性和操作效率造成严重影响。特别是对于低功率ToF系统设备而言，噪声的影响会限制距离感应能力。
发明内容
以下实施例旨在解决上述问题。
根据本申请的一个方面，提供了一种方法，包括：确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
所述方法可以进一步包括以下至少一种：通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
所述滤波可以进一步包括利用非局部空间变换滤波器进行滤波。
所述非局部空间变换滤波器可以是非局部均值滤波器。
所述方法可以进一步包括通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
所述组合信号参数可以是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
所述飞行时间相机系统的图像传感器可以至少部分基于光子混频器设备。
根据本申请的另外方面，提供了一种装置，其被配置为：确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
所述装置可以进一步被配置为以下至少一种：通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
所述滤波可以包括利用非局部空间变换滤波器进行滤波。
所述非局部空间变换滤波器可以是非局部均值滤波器。
所述装置可以进一步被配置为通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
所述组合信号参数可以是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
所述飞行时间相机系统的图像传感器可以至少部分基于光子混频器设备。
根据本申请的另一个方面，提供了一种装置，包括至少一个处理器和至少一个包括一个或多个程序的计算机代码的存储器，所述至少一个存储器和计算机代码利用所述至少一个处理器而被配置为使得所述装置至少：确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
利用所述至少一个处理器进行配置的所述至少一个存储器和计算机代码进一步被配置为以下至少一种：通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
所述滤波可以进一步包括利用非局部空间变换滤波器进行滤波。
所述非局部空间变换滤波器可以是非局部均值滤波器。
利用所述至少一个处理器进行配置的所述至少一个存储器和计算机代码进一步被配置为通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。所述组合信号参数可以是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
所述飞行时间相机系统的图像传感器可以至少部分基于光子混频器设备。
根据本申请的另一个方面，提供了一种计算机程序代码，其在被处理器执行时实现：确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
所述计算机程序代码在被处理器所执行时可以进一步实现以下至少一种：通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
所述计算机程序代码在被处理器所执行时实现滤波，所述计算机程序代码可以进一步利用非局部空间变换滤波器实现滤波。
所述非局部空间变换滤波器可以是非局部均值滤波器。
所述计算机程序代码在被处理器所执行时可以进一步实现通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
所述组合信号参数可以是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
所述飞行时间相机系统的图像传感器可以至少部分基于光子混频器设备。
附图说明
为了更好地理解本发明，现在将作为示例对附图加以参考，其中：
图1示意性示出了适于采用一些实施例的装置；
图2示意性示出了适于采用一些实施例的ToF相机系统；
图3示意性示出了图示图2的ToF相机系统的操作的流程图；和
图4示意性示出了图2的ToF相机系统的信号参数的复杂参数表示形式。
具体实施方式
以下更为详细地描述了具有用于对距离(或范围)映射的配置的可能ToF相机系统。就此而言，首先参考图1，其示出了可以整合根据本申请实施例的ToF相机系统的示例性电子设备或装置10的框图。
装置10例如可以是无线通信系统的移动终端或用户设备。在其他实施方式中，装置10可以是音视频设备，诸如视频相机，诸如mp3录制器/播放器的音频录制器或音频播放器，媒体录制器(也被称作mp4录制器/播放器)，或者适于处理音频信号的任意计算机。
在其他实施方式中，装置10例如可以是较大计算机系统的子组件，因此装置10被配置为与其他电子组件或计算机系统一起进行操作。在这样的实施例中，装置10可以被配置为具有控制并对接至ToF相机模块并且还对来自ToF相机模块的信息进行处理的功能的应用特定集成电路(ASIC)。
在一些实施例中，装置10可以被部署为个体模块，其能够被配置为集成到诸如个人计算机或膝上计算机的一般计算机之中。
在一些实施例中，装置10可以包括能够耦合至处理器21的ToF相机系统或模块11。处理器21能够被配置为执行各种程序代码。所实施的程序代码在一些实施例中能够包括用于处理来自ToF相机模块11的深度映射图像的代码。特别地，所实施的程序代码可以有利于被处理的距离图像中的降噪。
在一些实施例中，所述装置进一步包括存储器22。在一些实施例中，所述处理器耦合至存储器22。所述存储器可以是任意适当的存储器件。在一些实施例中，存储器22包括用于存储能够在处理器21上实施的程序代码的程序代码区段23。此外，在一些实施例中，存储器22可以进一步包括用于存储数据的存储数据区段24，上述数据是例如已经针对其从ToF相机模块11进行检索对距离映射图像进行后续处理的数据，随后将描述对距离映射图像的后续处理。存储在程序代码区段23中的所实施程序代码以及存储在存储数据区段24中的数据能够被处理器21在任何需要的时候经由存储器-处理器的耦合进行检索。
在一些另外的实施例中，装置10可以包括用户接口15。用户接口15在一些实施例中可以耦合至处理器21。在一些实施例中，所述处理器能够控制用户接口的操作并且从用户接口15接收输入。在一些实施例中，用户接口15能够使得用户能够例如经由小键盘而向电子设备或装置10输入命令，和/或例如经由作为用户接口15的一部分的显示器而从装置10获得信息。在一些实施例中，用户接口15可以包括能够使得信息能够被输入到装置10中并且进一步向装置10的用户显示信息的触摸屏或触摸界面。
作为用户接口15的一部分的显示器可以被用于显示这样的深度映射图像，并且可以是液晶显示器(LCD)或发光二极管(LED)显示器，或者是有机LED(OLED)显示器或等离子屏幕。此外，用户接口15还可以包括指示设备，诸如鼠标、轨迹球、光标指向按键或运动传感器，其用于控制呈现在显示器上的小光标图像的位置并且用于发出与呈现在显示器上的图形要素相关联的命令。
在一些实施例中，所述装置进一步包括收发器13，所述收发器在这样的实施例中能够耦合至处理器，并且被配置为使得能够例如经由无线通信网络而与其他装置或电子设备进行通信。收发器13或任意适当收发器或者发射器和/或接收器器件在一些实施例中能够被配置为经由连线或有线耦合而与其他电子设备或装置进行通信。
收发器13可以通过任意已知的适当通信协议与另外的设备进行通信，例如在一些实施例中，收发器13或收发器器件能够使用适当的通用移动电信系统(UMTS)协议、例如IEEE 802.X的无线局域网(WLAN)协议、诸如蓝牙的适当短距离射频通信协议，或者红外数据通信路径(IRDA)。
同样可以理解的是，装置10的结构可以以许多方式进行补充和变化。
将要意识到的是，图2和4中所描述的示意性结构以及图3中所描绘的流程图仅表示被示例性的示为在图1所示的装置中实施的ToF相机系统的操作的一部分。
图2示出了根据一些实施例的ToF相机模块11的一些组件。
在一些实施例中，ToF相机模块11可以是光子混频器设备(PMD)相机模块。在这样的实施例中，可能存在光发射器201，其可以被配置为发射调制光的圆柱体由此照亮用于距离检测的场景。在实施例中，所述光发射器可以由发光二极管(LED)的阵列所形成，后者被配置为以近红外(NIR)光谱区域中的波长进行工作。每个LED可以配备以各自的光学器件以便辅助从所述LED进行的发光。
从光发射器所发射的光可以通过来自调制器203的电基准信号进行振幅调制。
被反射的光信号可以被接收光学器件205所接收并且经通道输送至PMD传感器阵列207。PMD传感器阵列207可以包括像素传感器元件的阵列，因此每个像素传感器元件可以为对于所接收的光进行传导且透明的两个光敏光栅的形式。每个像素传感器可以进一步包括读出二极管以便使得电信号能够经由像素读出电路而被读取。
PMD传感器阵列207的功能可以是将所接收的每个像素传感器的光学信号与电基准信号进行关联并且将关联结果(经由每个像素传感器的读出电路)发送至模数转换器209。为了使得能够在每个像素传感器内进行关联，PMD传感器阵列207还可以被配置为从振荡器205接收电基准信号。在实施例中，用来在PMD传感器阵列207内执行交叉关联功能的电基准信号可以是用来在对光发射器201处的LED阵列进行调制的原始基准信号的相位变化形式。
可以意识到的是，ToF系统采用信号传播的时间原则以便确定到物体的范围。对于PMD类型的ToF系统而言，所述可以通过使用连续波调制而表现所述原则，由此所发射和接收的光信号之间的相位延迟对应于ToF并且因此对应于到物体的距离。
当所发射的光信号利用特定频率进行连续振幅调制时，所接收到的反射光信号将具有相同的频率但是会具有不同的相位和振幅。所发射的光信号和所接收的光信号之间的相位差或相位延迟可以被用来确定到物体的距离。所述距离可以由以下表达式进行表达：
其中D是到物体的距离，φ是所确定的所接收和发射的光信号之间的相位延迟，cs是光速并且f是调制频率。在实施例中，调制频率f可以为20MHz的量级。
所反射的接收信号的相位和振幅可以通过将所反射的接收信号与来自调制器203的原始调制信号(电基准信号)进行交叉关联而确定。如上所述，所述交叉关联可以针对PMD传感器阵列207内的每个像素传感器执行。
在实施例中，所述交叉关联功能可以在多个预先选择的相位位置执行以便使得能够计算所发射的光信号和所接收的反射光信号之间的相位差(或延迟)。
在第一组实施例中，所接收到的反射光信号S(t)和调制信号g(t)之间的交叉关联函数C(τ)可以针对四个不同的相位延迟进行计算，例如在τ0＝0°、τ1＝90°、τ2＝180°、τ3＝270°进行计算。
可以理解的是，其他实施例可以采用一般方法来确定交叉关联函数C(τ)。所述一般方法可以针对大于四个的多个不同相位位置计算所述交叉关联函数C(τ)。
所接收到的反射光信号S(t)和调制信号g(t)之间的交叉关联函数C(τ)可以被表达为：
C ( τ ) = s ( t ) ⊗ g ( t ) - - - ( 2 )
在一些实施例中，所接收到的反射光信号S(t)能够以以下形式表达
并且调制信号能够以以下形式表达
g(t)＝cos(ωt)  (4)
其中A表示调制振幅并且φ表示所接收到的反射信号的相位。
在一些实施例中，τ0＝0°、τ1＝90°、τ2＝180°、τ3＝270°的四个不同相位延迟的交叉关联信号可以被简化为
其中K是调制偏移量。
可以理解的是，交叉关联函数C(τ)能够由PMD在多个不同的等距间隔的相位位置τ进行确定，也就是τ＝τ0,τ1,...τN-1。在第一组实施例中，交叉关联函数C(τ)能够针对以下相位位置τ0＝0°、τ1＝90°、τ2＝180°、τ3＝270°进行计算。
来自PMD设备的输出，换句话说每个像素传感器的交叉关联函数C(τ)，随后可以以通道送至模数转换器209。
模数(A/D)转换器209可以将每个交叉关联函数信号从模拟信号转换为数字信号，以便使得能够对所述信号进一步进行处理。可以意识到的是，(A/D)转换器209可以以像素为基础(on a pixel wise basis)对每个相位位置τ的交叉关联函数信号进行转换。
来自模数转换器209的数字输出随后可以被送至信号参数确定器211。
信号参数确定器211能够以逐个像素为基础确定形成所照亮场景的距离(或范围)映射所需的参数。
信号参数确定器211所确定的参数可以是所调制的信号g(t)和所反射的接收信号s(t)之间的相位延迟φ、所反射的接收信号的振幅A，以及调制偏移量K。
在实施例中，相位差φ可以通过使用以下表达式来确定
所接收的反射光学信号的振幅A可以通过以下而确定
A = 2 N | Σ n = 0 N - 1 C n e - 2 π n N | - - - ( 7 )
调制偏移量K可以由以下确定
K = 1 N ( Σ n = 0 N - 1 C n ) - - - ( 8 )
可以意识到的是，在以上表达式中，N指示在其上确定交叉关联函数的相位位置的数量，并且Cn表示每个相位位置τn的交叉关联函数。在第一组实施例中，N被确定为四以便考虑不同的相位位置τ0＝0°、τ1＝90°、τ2＝180°、τ3＝270°。对于所述具体实施例，相位差φ可以使用以下表达式确定：
所接收的反射光学信号的振幅A可以通过以下而确定
A = ( C ( τ 3 ) - C ( τ 1 ) ) 2 + ( c ( τ 0 ) - c ( τ 2 ) ) 2 2 - - - ( 10 )
调制偏移量K可以如等式(8)中所确定。
换句话说，在实施例中可以有多种手段来确定飞行时间相机系统所发射的光信号与所述飞行时间相机系统的图像传感器中的像素阵列中的像素光传感器所接收到的反射光信号之间的相位差，其中像素光传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的。此外，实施例还可以包括用于确定被像素光传感器所接收的反射光信号的振幅的手段。
要进一步意识到的是，进而可以针对每个像素确定以上参数。
这里所要理解的是，术语信号参数映射可以被用来总体地表示映射图像的所有像素的参数φ、A和K。
信号参数确定器211的输出，换句话说信号参数映射，可以被连接至降噪处理器213的输入。
降噪处理器213可以被配置为提供滤波架构以便对信号采纳数映射中的参数进行降噪，换句话说，所述滤波架构提供了与每个像素相关联的参数φ、A和K的降噪。
参考图3，示出了至少部分描绘根据本发明实施例的信号参数确定器211和降噪处理器213的一些操作的流程图。
因此，在图3中描绘了针对每个像素根据交叉关联函数C(τ)确定信号参数(φ、A和K)的处理步骤301。
在实施例中，信号参数φ、A和K的降噪通过采用非局部空间变换滤波的技术来执行。这样的方式的实质在于使得要被滤波的像素集中在相邻像素的窗口之内。需要注意的是，像素的窗口在本领域中也可以被称作补丁(patch)，并且包含所要滤波的像素的补丁被称作基准补丁。随后扫描所述图像，寻找与包含要滤波的像素的补丁(换句话说，基准补丁)非常相似的其他补丁所述。随后可以通过确定其补丁被认为与基准补丁相似的图像内的所有像素值上的平均像素值来执行像素降噪。
在实施例中，基准补丁和图像内另外的补丁之间的相似性可以通过利用基于欧几里得几何(Euclidean)的距离量度进行量化。
可以以像素为基础对每个像素的信号参数执行非局部空间变换滤波。
在第一组实施例中，被称作非局部均值滤波的一种非局部空间变换滤波的形式可以被用来对与每个像素相关联的信号参数进行滤波。
非局部均值滤波可以被表达为
N L ( x ) = 1 N n ( x ) ∫ Ω exp G a * | u ( x + . ) - u ( y + . ) | 2 ( 0 ) h 2 u ( y ) d y - - - ( 11 )
其中Nn是滤波器规范化因子，Ga是高斯内核，Ω表示搜索图像的范围，u表示结合至一个位置的像素的数值，x是被滤波的像素的指标并且是基准补丁的中心像素，y是处于另外补丁(可能与基准补丁相似的补丁)的中心的像素的指标，h可以是管理与噪声变化相关地调谐的滤波器参数，*.(0)可以表示中心卷积算子，并且(+.)可以表示相对应的补丁的中心像素周围的像素指标。
在第一组实施例中，信号参数φ和A均可以使用上述非局部均值滤波器进行单独滤波，以便产生降噪信号参数φD和AD。进而可以针对每个像素位置执行参数φ和A的降噪。
换句话说，上述非局部均值滤波器进而可以被应用于每个信号参数φ和A，而以上等式中的变量u则可以表示任一个参数φ或A。
可以要理解的是，来自非局部均值滤波器NL(x)的输出是像素位置x的降噪参数φD和AD。换句话说，当输入变量u表示像素位置x处的相位差信号参数φ时，来自非局部均值滤波器NL(x)的输出是经降噪的相位延迟信号参数φD，并且当输入变量u表示振幅信号参数A时，来自非局部均值滤波器NL(x)的输出是经降噪的振幅参数AD。
在一些实施例中，利用上述非局部均值滤波器对信号参数φ和A进行单独处理以产生单独的降噪信号参数φD和AD的步骤可以被视为可选的预先滤波步骤。
换句话说，在一些操作模式中可以并不执行对信号参数φ和A进行单独处理的步骤。执行上述预先滤波步骤的决策可以被配置为降噪处理器213的一种操作模式。
因此，图3描绘了将上述预先滤波步骤作为决策步骤303包括到降噪处理器的操作模式之中的选项。
上述预先滤波步骤具有的优势是降低物体表面反光性不佳，或者物体被入射角度小的光信号所照亮，或者返回的光信号中存在多路径反射效应的影响。
上述的效果能够使得相位差φ被封装(wrapping)，因此具有入射光的波长限制附近的范围的物体可以导致反射光的相位延迟被封装至下一个波形周期。所述当噪声对于相位延迟φ的数值有影响时，当相位延迟φ位于封装边界附近时，所述封装效应可能会发生。
预先滤波通过以个体为基础对信号参数A和φ降噪，可以具有以下效果：在后续降噪滤波阶段的操作期间改善所搜索补丁的相似性权重置信度。
在其他实施例中，由降噪滤波器NL(x)所进行的预先滤波可以仅对振幅信号参数A或相位延迟信号参数φ来执行。与进而向每个信号参数单独应用降噪滤波相比，这具有降低预先滤波阶段的计算复杂度的效果。
在以上实施例群组的一种变化形式中，降噪滤波器NL(x)可以仅被应用于振幅信号参数A而提供经降噪的振幅信号参数AD。在实施例中，这样可以具有改善最终距离映射中的降噪和边缘保存的优势，然而，由于诸如以上所列出的那些的结构伪像(artefact)所导致的影响可能仍然被保留。
在上述实施例群组的另一种变化形式中，降噪滤波器NL(x)可以仅被应用于相位延迟信号参数φ。这可以具有抑制诸如以上所列出的那些的伪像的优势，然而在最终的距离图像中边缘保存将不会明显。
换句话说，实施例可以包括以下至少一种：用于对像素光传感器所接收的反射光信号和所发射的光信号之间的相位差进行降噪的手段，相位差的降噪是预先滤波步骤；以及用于对像素光传感器所接收的反射光信号的振幅进行降噪的手段，相位差的降噪也是预先滤波步骤。
针对每个像素的每个信号参数φ和A执行降噪的步骤在图3中被示为处理步骤305。
针对每个像素的所接收的反射光信号的相位差φ和振幅A可以被组合成单个组合参数。
在一些实施例中，针对每个像素传感器的所接收反射光信号的相位差φ和振幅A可以被组合成单个复杂参数Z。每个像素的所述复杂信号参数可以被表达为：
其中j是虚构单位。可以理解的是，在采用了上述预先滤波步骤305的操作模式中，所述复杂信号参数可以被表达为
参考图4，示出了包括四个像素的复杂信号参数映射的图形表示形式。
参考图4，图形401描绘了所述信号参数映射的振幅A，并且图形403描绘了相同信号参数映射的相位差φ。
再次参考图4，图形405描绘了所述信号参数映射的每个像素位置的复杂信号参数Z。能够从图形405看出，每个像素位置的复杂信号参数是承载与所接收到的反射信号的振幅A和相位差φ二者相关的信息的矢量。
换句话说，实施例可以包括用于将每个像素光传感器的振幅和相位差组合成每个像素光传感器的组合信号参数的手段。
确定每个像素的复杂信号参数的步骤在图3中被示为处理步骤307。
在实施例中，降噪滤波器可以被应用于信号参数映射内的每个像素的复杂信号Z。
在第一组实施例中，每个像素的复杂信号参数Z可以通过应用以上的非局部均值滤波器进行降噪。换句话说，以上的非局部均值滤波器可以根据所述复杂信号参数进行修改。所述非局部均值滤波器可以根据Z而被表达为
NL c m p l x ( x ) = 1 N n ( x ) ∫ Ω exp G a * | Z ( x + . ) - Z ( y + . ) | ( 0 ) h 2 Z ( y ) d y - - - ( 14 )
来自以上非局部均值滤波器NLcmplx(x)的输出可以是像素位置x处经降噪的信号参数ZDeN。
换句话说，实施例可以包括用于通过对像素光传感器的组合信号参数进行滤波而对所述组合信号参数进行降噪的手段。
在一些实施例中，所述组合信号参数可以是通过将像素光传感器的振幅和相位差进行组合而形成的复杂信号参数。
对每个像素的复杂信号参数进行降噪的步骤在图3中被示为处理步骤309。
可以从经降噪的信号参数ZDeN获得每个像素位置x的经降噪的信号参数ADeN和φDeN。换句话说，能够分别通过ADeN＝|ZDeN|和φDeN＝arg(ZDeN)而获得经降噪的振幅AN和相位差φN。
从经降噪的信号参数ZDeN获得每个像素位置x的经降噪的信号参数ADeN和φDeN的步骤在图3中被示为处理步骤311。
在一些实施例中，处理步骤303至311可以为了多次迭代而进行重复。在这样的实施例中，每个像素位置x的经降噪的信号参数ADeN和φDeN可以形成处理步骤305的进一步迭代的输入，因此信号参数ADeN和φDeN随后可以单独应用于上述的非局部均值滤波器NL(x)。
另外，在信号参数ADeN和φDeN形成非局部均值滤波器NL(x)的输入的情况下，进一步降噪的信号参数可以被表示为AD2和φD2，其中“2”表示第二次或进一步的迭代。
如前所述，非局部均值滤波器NL(x)的输出，也就是每个像素位置x被单独降噪的振幅和相位差信号参数AD2和φD2，随后可以被组合成单个组合参数。在第一组实施例中，所述单个组合参数可以是单个复杂参数Z2。
所述单个复杂参数Z2随后可以形成非局部均值滤波器NLcmplx(x)的复杂修改形式的输入。
所述非局部均值滤波器NLcmplx(x)的复杂修改形式的输出随后可以作为每个像素位置x的进一步降噪的复杂参数ZDeN2。
能够通过应用等式ADeN2＝|ZDeN2|和φDeN2＝arg(ZDeN2)而获得经降噪的振幅ADeN2和相位差φDeN2。
换句话说，实施例可以包括从经降噪的组合信号参数为像素光感应器确定经降噪的相位差的手段。
确定是否迭代处理步骤303至311的步骤在图3中被示为决策步骤313。
参考图3，如果在处理步骤313确定应当进一步迭代处理步骤303至311，则采用返回分支313a并且所述处理循环回去以开始新的迭代。
在实施例中，非局部空间变换滤波器的参数可以针对每次处理循环进行调整。例如，在第一组实施例中，非局部均值滤波器中的滤波器参数h能够针对处理循环的每次迭代进行改变。
针对处理循环的进一步迭代而调整非局部空间变换滤波器的参数的步骤在附图3中被示为返回分支313a中的处理步骤315。
可以意识到的是，在实施例中，循环回去的分支313a返回决策分支303。因此，可以针对处理循环的每次迭代作出是否包括预先滤波步骤305的决策。
如果在处理步骤313确定无需进一步迭代，则采用决策分支313b，并且降噪处理器211随后可以针对每个像素位置确定到所照亮物体的距离数值D。
在实施例中，距离值D可以通过取得如处理步骤311所提供的经降噪的相位差信号参数φDeN并且将所述数值应用于上述等式(1)而被确定。
距离值D可以依据映射内的每个像素位置的相位延迟而以每个像素为基础进行确定。
换句话说，实施例可以包括用于使用针对像素光传感器所计算的降噪相位延迟来计算所述像素光传感器到物体的距离范围的手段。
针对每个像素确定到所照亮物体的距离值D的步骤在图3中被示为处理步骤317。
以下示出了针对上述用于对信号参数数据进行降噪的迭代方法的可能伪代码实施方式
来自ToF相机系统11的输出可以是PMD传感器阵列207内的每个像素的距离值D。
每个像素的距离值D随后可以被送至处理器11以便进一步处理。
在一些实施例中，每个像素的距离值D可以在UI 15被显示为距离或深度映射图像。
可以意识到的是，在以上实施例中，已经对非局部均值滤波器的降噪处理进行了描述。然而，其他实施例可以使用其他形式的降噪，诸如高斯平滑、双(多)横向滤波、小波收缩、滑动局部变换滤波(例如，滑动DCT)和区块匹配3D协同变换域滤波BM3D。
此外，其他实施例可以采用诸如雷达、声纳和激光雷达之类的其他ToF相机系统。
此外，其他实施例可以采用不同的距离测量系统，其中测量数据可以在诸如基于结构光的系统、基于立体结构的系统以及热图像相机的复杂域中进行解释。
虽然以上示例描述了装置10内进行操作的本发明实施例，但是可以意识到的是，以上所述的本发明可以被实施为支持ToF相机系统的任意计算机或电子装置的一部分。
总体上，本发明的各个实施例可以以硬件或专用电路、软件、逻辑或者它们的任意组合来实施。例如，一些方面可以以硬件实施，而其他方面则可以以固件或者可以由控制器、微处理器或其他计算设备执行的软件来实施，然而本发明并不局限于此。虽然本发明的各个方面可以被图示和描述为框图、流程图，或者使用其他一些图示表示来图示，但是要妥善理解的是，作为非限制性示例，这里所描述的这些模块、装置、系统、技术或方法可以被实施为硬件、软件、固件、专用电路或逻辑、通用硬件或控制器、其他计算设备和/或其一些组合。
因此，至少一些实施例可以是一种装置，其包括至少一个处理器和至少一个包括计算机程序代码的存储器，所述至少一个存储器和计算机程序代码配置为，利用所述至少一个处理器使得所述装置至少执行：确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体被反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
本发明的实施例可以由计算机软件来实现，所述计算机软件诸如在处理器实体中可由移动设备的数据处理器来执行，或者可由通过硬件或者软件和硬件的组合来实现。此外，在这方面应当注意到，以上附图中所示的逻辑流程图的任何框图可以表示程序步骤，或者互连的逻辑电路、模块和功能，或者程序步骤以及逻辑电路、模块和功能的组合。
因此，编码器的至少一些实施例可以是具有存储于其上的计算机可读代码的非瞬态计算机可读存储介质，当被计算装置执行时，上述计算机可读代码使得所述计算装置执行一种方法，包括：确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体被反射的；确定被所述至少一个像素传感器所接收的反射光信号的振幅；将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
所述存储器可以是适于本地技术环境的任意类型并且可以使用任意适当的数据存储技术来实施，诸如基于半导体的存储器设备、磁性存储器设备和系统、光学存储器设备和系统、固定存储器和可移动存储器，换句话说，非瞬态计算机可读存储介质。所述数据处理器可以是适于本地技术环境的任意类型，并且作为非限制性示例，可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、应用特定集成电路(ASIC)、门级电路以及基于多核处理器架构的处理器中的一个或多个。
本发明的示例性实施例可以以诸如集成电路模块的各种组件进行实践。集成电路的设计总体上而言是高度自动化的过程。复杂且有力的软件工具可以被用于将逻辑层面的设计转换为准备蚀刻并形成在半导体衬底上的半导体电路的设计。
诸如加利福尼亚Mountain View的Synopsys公司以及加利福尼亚SanJose的Cadence Design所提供的那些软件使用良好建立的设计规则以及预先存储的设计模块库集自动在半导体芯片上规划导线路线并且定位组件。一旦完成了半导体电路的设计，标准化电子格式(例如，Opus、GDSII等)的结果设计就可以被发射至半导体制作机构或“fab”以便进行制作。
如本申请中所使用的，术语“电路”是指以下全部内容：
(a)仅硬件的电路实施方式实现(诸如仅以模拟和/或数字电路的实施方式)；
(b)电路和软件(和/或固件)的组合，诸如：(i)(多个)处理器的组合或者(ii)共同工作以使得诸如移动电话或服务器的装置执行各种功能的(多个)处理器/软件(包括(多个)数字信号处理器)、软件和(多个存储器)的多个部分；
(c)电路，诸如(多个)微处理器或者(多个)微处理器的一部分，其需要软件或固件进行操作，即使所述软件或固件并非物理存在。
“电路”的这个定义应用于本申请中使用所述术语的所有情况，包括任意权利要求。作为另一个示例，如在本申请中所使用的，术语“电路”还将覆盖仅为处理器(或多个处理器)及其伴随的软件和/或固件的实施方式。例如以及如果可应用于特定索赔要素(claimelement)，则术语“电路”还将覆盖作移动电话中的基带集成电路或应用处理器集成电路，或者服务器、蜂窝网络设备或其他网络设备中类似的集成电路。
以上利用示例性和非限制性示例所提供的描述是本发明的示例性实施例的全面且信息性的描述。然而，当结合附图和所附权利要求阅读时，考虑到以上描述，各种修改和改变对于本领域技术人员将变为显而易见的。然而，本发明教导的所有这样和类似的修改仍然将落入所附的权利要求限定的本发明的范围之内。

Claims (28)

1.一种方法，包括：
确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；
确定所述至少一个像素传感器所接收的反射光信号的振幅；
将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且
通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
2.根据权利要求1所述的方法，进一步包括以下至少一种：
通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且
通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的所述振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
3.根据权利要求1或2所述的方法，其中所述滤波进一步包括：
利用非局部空间变换滤波器进行滤波。
4.根据权利要求3所述的方法，其中所述非局部空间变换滤波器是非局部均值滤波器。
5.根据权利要求1至4中任一项所述的方法，进一步包括通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：
根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且
使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
6.根据权利要求1至5中任一项所述的方法，其中所述组合信号参数是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
7.根据权利要求1至6中任一项所述的方法，其中所述飞行时间相机系统的图像传感器至少部分基于光子混频器设备。
8.一种装置，被配置为：
确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；
确定被所述至少一个像素传感器所接收的反射光信号的振幅；
将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且
通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
9.根据权利要求8所述的装置，其进一步被配置为以下至少一种：
通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且
通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
10.根据权利要求8或9所述的装置，其中滤波包括利用非局部空间变换滤波器进行滤波。
11.根据权利要求10所述的装置，其中所述非局部空间变换滤波器是非局部均值滤波器。
12.根据权利要求8至11中任一项所述的装置，其进一步被配置为通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：
根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且
使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
13.根据权利要求8至12中任一项所述的装置，其中所述组合信号参数是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
14.根据权利要求8至12中任一项所述的装置，其中所述飞行时间相机系统的图像传感器至少部分基于光子混频器设备。
15.一种装置，包括至少一个处理器和包括一个或多个程序的计算机代码的至少一个存储器，所述至少一个存储器和计算机代码利用所述至少一个处理器而被配置为使得所述装置至少：
确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号是从被所发射的光信号照亮的物体反射的；
确定被所述至少一个像素传感器所接收的反射光信号的振幅；
将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且
通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
16.根据权利要求15所述的装置，其中利用所述至少一个处理器进行配置的所述至少一个存储器和计算机代码进一步被配置为以下至少一种：
通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且
通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
17.根据权利要求15或16所述的装置，其中滤波包括利用非局部空间变换滤波器进行滤波。
18.根据权利要求17所述的装置，其中所述非局部空间变换滤波器是非局部均值滤波器。
19.根据权利要求15至18中任一项所述的装置，其中利用所述至少一个处理器进行配置的所述至少一个存储器和计算机代码进一步被配置为通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：
根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且
使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
20.根据权利要求15至19中任一项所述的装置，其中所述组合信号参数是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
21.根据权利要求15至20中任一项所述的装置，其中所述飞行时间相机系统的图像传感器至少部分基于光子混频器设备。
22.一种计算机程序代码，其在被处理器执行时实现：
确定飞行时间相机系统所发射的光信号和所述飞行时间相机系统的图像传感器中的像素传感器阵列的至少一个像素传感器所接收的反射光信号之间的相位差，其中被所述至少一个像素传感器所接收的反射光信号从是被所发射的光信号照亮的物体反射的；
确定被所述至少一个像素传感器所接收的反射光信号的振幅；
将所述至少一个像素传感器的振幅和相位差组合成所述至少一个像素传感器的组合信号参数；并且
通过对所述至少一个像素传感器的组合参数进行滤波而对所述至少一个像素传感器的组合信号参数进行降噪。
23.根据权利要求22所述的计算机程序代码，其中所述计算机程序代码在被处理器所执行时进一步实现以下至少一种：
通过对所述至少一个像素传感器的相位差进行滤波而对所述至少一个像素传感器的相位差进行降噪，其中对相位差进行降噪在组合振幅和相位差之前进行；并且
通过对所述至少一个像素传感器的振幅进行滤波而对所述至少一个像素传感器的振幅进行降噪，其中对振幅进行降噪在组合振幅和相位差之前进行。
24.根据权利要求22或23所述的计算机程序代码，其中所述计算机程序代码在被处理器所执行时实现滤波，所述计算机程序代码进一步：
利用非局部空间变换滤波器实现滤波。
25.根据权利要求24所述的计算机程序代码，其中所述非局部空间变换滤波器是非局部均值滤波器。
26.根据权利要求22至25中任一项所述的计算机程序代码，其中所述计算机程序代码在被处理器所执行时可以进一步实现通过以下而根据至少一个像素传感器经降噪的组合信号参数计算到所述物体的距离范围：
根据所述至少一个像素传感器经降噪的组合信号参数确定所述至少一个像素传感器经降噪的相位差；并且
使用所述至少一个像素传感器经降噪的相位差而计算所述至少一个像素传感器到所述物体的距离范围。
27.根据权利要求22至26中任一项所述的计算机程序代码，其中所述组合信号参数是通过组合至少一个像素传感器的振幅和相位差而形成的复杂信号参数。
28.根据权利要求22至27中任一项所述的计算机程序代码，其中所述飞行时间相机系统的图像传感器至少部分基于光子混频器设备。
CN201280078236.6A 2012-12-28 2012-12-28 用于对来自距离感应相机的数据进行降噪的方法和装置 Active CN105026955B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2012/051304 WO2014102442A1 (en) 2012-12-28 2012-12-28 A method and apparatus for de-noising data from a distance sensing camera

Publications (2)

Publication Number Publication Date
CN105026955A true CN105026955A (zh) 2015-11-04
CN105026955B CN105026955B (zh) 2018-12-18

Family

ID=51019941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280078236.6A Active CN105026955B (zh) 2012-12-28 2012-12-28 用于对来自距离感应相机的数据进行降噪的方法和装置

Country Status (6)

Country Link
US (1) US10003757B2 (zh)
EP (1) EP2939049B1 (zh)
JP (1) JP6367827B2 (zh)
KR (1) KR101862914B1 (zh)
CN (1) CN105026955B (zh)
WO (1) WO2014102442A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9998721B2 (en) 2015-05-01 2018-06-12 Duelight Llc Systems and methods for generating a digital image
US10178300B2 (en) 2016-09-01 2019-01-08 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10182197B2 (en) 2013-03-15 2019-01-15 Duelight Llc Systems and methods for a digital image sensor
CN110062894A (zh) * 2016-12-07 2019-07-26 索尼半导体解决方案公司 设备与方法
US10372971B2 (en) 2017-10-05 2019-08-06 Duelight Llc System, method, and computer program for determining an exposure based on skin tone
US10382702B2 (en) 2012-09-04 2019-08-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
CN111308482A (zh) * 2018-11-27 2020-06-19 英飞凌科技股份有限公司 基于编码调制图像的滤波连续波飞行时间测量
CN111340723A (zh) * 2020-02-23 2020-06-26 武汉大学 一种地形自适应的机载LiDAR点云正则化薄板样条插值滤波方法
CN111417867A (zh) * 2017-10-02 2020-07-14 安全堡垒有限责任公司 针对传感器的网络物理攻击的检测和预防
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
CN113364936A (zh) * 2020-03-05 2021-09-07 三星电子株式会社 成像设备和包括成像设备的电子设备
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3792662A1 (en) 2014-01-13 2021-03-17 Sony Depthsensing Solutions SA/NV Time-of-flight system for use with an illumination system
US9439040B2 (en) 2014-08-15 2016-09-06 Wensheng Hua System and method of time of flight detection
LU92688B1 (en) * 2015-04-01 2016-10-03 Iee Int Electronics & Eng Sa Method and system for real-time motion artifact handling and noise removal for tof sensor images
US9864048B2 (en) 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
KR101720881B1 (ko) * 2015-12-03 2017-03-28 한양대학교 산학협력단 주성분 분석을 이용한 비지역적 평균 알고리즘 기반의 영상 잡음제거 방법 및 이를 이용하는 영상 처리 장치
WO2017169782A1 (ja) * 2016-03-31 2017-10-05 富士フイルム株式会社 距離画像処理装置、距離画像取得装置、及び距離画像処理方法
US9788770B1 (en) * 2016-04-14 2017-10-17 Verily Life Sciences Llc Continuous monitoring of tumor hypoxia using near-infrared spectroscopy and tomography with a photonic mixer device
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
WO2019044571A1 (ja) 2017-09-01 2019-03-07 ソニー株式会社 画像処理装置、および画像処理方法、プログラム、並びに移動体
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
US11849223B2 (en) 2018-12-21 2023-12-19 Chronoptics Limited Time of flight camera data processing system
US11402477B2 (en) * 2019-03-01 2022-08-02 Beijing Voyager Technology Co., Ltd System and methods for ranging operations using modulated signals
CN110501691B (zh) * 2019-08-13 2022-03-08 Oppo广东移动通信有限公司 Tof模组的噪声滤除方法、tof模组及装置
CN110954921B (zh) * 2019-12-03 2022-01-04 浙江大学 一种基于块匹配3d协同滤波的激光雷达回波信号信噪比提升方法
US12033305B2 (en) * 2019-12-17 2024-07-09 Stmicroelectronics (Grenoble 2) Sas Filtering device, associated system and method
KR102491028B1 (ko) * 2020-09-25 2023-01-20 주식회사 포스코 기계부품 교정장치
US11927673B1 (en) * 2023-05-16 2024-03-12 Wireless Photonics, Llc Method and system for vehicular lidar and communication utilizing a vehicle head light and/or taillight

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Recording of 3D images of a scene
US20090190007A1 (en) * 2008-01-30 2009-07-30 Mesa Imaging Ag Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras
US20100046802A1 (en) * 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
US20120121162A1 (en) * 2010-11-11 2012-05-17 Samsung Electronics Co., Ltd. Filtering apparatus and method for high precision restoration of depth image
CN102520574A (zh) * 2010-10-04 2012-06-27 微软公司 飞行时间深度成像

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5311271A (en) * 1992-01-21 1994-05-10 Dme/Golf, Inc. Golf course range finder
US5841522A (en) * 1996-08-01 1998-11-24 Lumen Laboratories, Inc. Phase detector
JP4543904B2 (ja) * 2004-11-30 2010-09-15 パナソニック電工株式会社 距離画像センサ
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
EP2026246A1 (en) 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
EP2238742B1 (en) 2007-12-25 2014-05-14 Medic Vision - Brain Technologies Ltd. Noise reduction of images
JP2009258006A (ja) 2008-04-18 2009-11-05 Sokkia Topcon Co Ltd 光波距離計
EP2148212B1 (en) * 2008-07-24 2019-08-21 Toshiba Medical Systems Corporation Magnetic resonance imaging apparatus for contrast enhancement of images
JP5426344B2 (ja) 2009-12-04 2014-02-26 アズビル株式会社 物体検出センサおよび物体検出方法
WO2012014077A2 (en) 2010-07-29 2012-02-02 Waikatolink Limited Apparatus and method for measuring the distance and/or intensity characteristics of objects
KR20120057216A (ko) * 2010-11-26 2012-06-05 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
WO2014177750A1 (en) * 2013-04-29 2014-11-06 Nokia Corporation A method and apparatus for fusing distance data from a distance sensing camera with an image
KR102061699B1 (ko) * 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
CN106603942B (zh) * 2016-12-15 2019-12-03 杭州艾芯智能科技有限公司 一种tof相机降噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Recording of 3D images of a scene
US20090190007A1 (en) * 2008-01-30 2009-07-30 Mesa Imaging Ag Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras
US20100046802A1 (en) * 2008-08-19 2010-02-25 Tatsumi Watanabe Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
CN102520574A (zh) * 2010-10-04 2012-06-27 微软公司 飞行时间深度成像
US20120121162A1 (en) * 2010-11-11 2012-05-17 Samsung Electronics Co., Ltd. Filtering apparatus and method for high precision restoration of depth image

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12003864B2 (en) 2012-09-04 2024-06-04 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10652478B2 (en) 2012-09-04 2020-05-12 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US11025831B2 (en) 2012-09-04 2021-06-01 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10382702B2 (en) 2012-09-04 2019-08-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10498982B2 (en) 2013-03-15 2019-12-03 Duelight Llc Systems and methods for a digital image sensor
US10182197B2 (en) 2013-03-15 2019-01-15 Duelight Llc Systems and methods for a digital image sensor
US10931897B2 (en) 2013-03-15 2021-02-23 Duelight Llc Systems and methods for a digital image sensor
US11394894B2 (en) 2014-11-06 2022-07-19 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US10375369B2 (en) 2015-05-01 2019-08-06 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US10129514B2 (en) 2015-05-01 2018-11-13 Duelight Llc Systems and methods for generating a digital image
US11356647B2 (en) 2015-05-01 2022-06-07 Duelight Llc Systems and methods for generating a digital image
US10110870B2 (en) 2015-05-01 2018-10-23 Duelight Llc Systems and methods for generating a digital image
US10904505B2 (en) 2015-05-01 2021-01-26 Duelight Llc Systems and methods for generating a digital image
US9998721B2 (en) 2015-05-01 2018-06-12 Duelight Llc Systems and methods for generating a digital image
US11375085B2 (en) 2016-07-01 2022-06-28 Duelight Llc Systems and methods for capturing digital images
US10477077B2 (en) 2016-07-01 2019-11-12 Duelight Llc Systems and methods for capturing digital images
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10469714B2 (en) 2016-07-01 2019-11-05 Duelight Llc Systems and methods for capturing digital images
US12003853B2 (en) 2016-09-01 2024-06-04 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10785401B2 (en) 2016-09-01 2020-09-22 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10178300B2 (en) 2016-09-01 2019-01-08 Duelight Llc Systems and methods for adjusting focus based on focus target information
CN110062894B (zh) * 2016-12-07 2023-09-01 索尼半导体解决方案公司 设备与方法
CN110062894A (zh) * 2016-12-07 2019-07-26 索尼半导体解决方案公司 设备与方法
CN111417867B (zh) * 2017-10-02 2023-10-03 安全堡垒有限责任公司 针对传感器的网络物理攻击的检测和预防
CN111417867A (zh) * 2017-10-02 2020-07-14 安全堡垒有限责任公司 针对传感器的网络物理攻击的检测和预防
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10586097B2 (en) 2017-10-05 2020-03-10 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10372971B2 (en) 2017-10-05 2019-08-06 Duelight Llc System, method, and computer program for determining an exposure based on skin tone
US11455829B2 (en) 2017-10-05 2022-09-27 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US11699219B2 (en) 2017-10-05 2023-07-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
CN111308482B (zh) * 2018-11-27 2024-05-10 英飞凌科技股份有限公司 基于编码调制图像的滤波连续波飞行时间测量
CN111308482A (zh) * 2018-11-27 2020-06-19 英飞凌科技股份有限公司 基于编码调制图像的滤波连续波飞行时间测量
CN111340723B (zh) * 2020-02-23 2022-04-15 武汉大学 一种地形自适应的机载LiDAR点云正则化薄板样条插值滤波方法
CN111340723A (zh) * 2020-02-23 2020-06-26 武汉大学 一种地形自适应的机载LiDAR点云正则化薄板样条插值滤波方法
CN113364936A (zh) * 2020-03-05 2021-09-07 三星电子株式会社 成像设备和包括成像设备的电子设备

Also Published As

Publication number Publication date
JP6367827B2 (ja) 2018-08-01
EP2939049A1 (en) 2015-11-04
WO2014102442A1 (en) 2014-07-03
CN105026955B (zh) 2018-12-18
US20150334318A1 (en) 2015-11-19
KR101862914B1 (ko) 2018-05-31
KR20150103154A (ko) 2015-09-09
JP2016509208A (ja) 2016-03-24
EP2939049A4 (en) 2016-08-10
US10003757B2 (en) 2018-06-19
EP2939049B1 (en) 2018-02-28

Similar Documents

Publication Publication Date Title
CN105026955A (zh) 用于对来自距离感应相机的数据进行降噪的方法和装置
US10269104B2 (en) Method and apparatus for fusing distance data from a distance sensing camera with an image
WO2023126914A2 (en) METHOD AND SYSTEM FOR SEMANTIC APPEARANCE TRANSFER USING SPLICING ViT FEATURES
CN108027441A (zh) 混合模式深度检测
US10290107B1 (en) Transform domain regression convolutional neural network for image segmentation
CN105894492A (zh) 渲染对象的深度图像的t-o-f深度成像装置及其方法
CN108681726B (zh) 3d芯片模组、身份识别装置及电子设备
US9940701B2 (en) Device and method for depth image dequantization
EP2791904A1 (en) Techniques for efficient stereo block matching for gesture recognition
CN208782911U (zh) 镜头组件、传感装置及成像系统
EP3791209A1 (en) Phase wrapping determination for time-of-flight camera
EP2843938B1 (en) Method, apparatus and computer program product for sensing of visible spectrum and near infrared spectrum
CN113160210B (zh) 基于深度相机的排水管道缺陷检测方法及装置
CN104680478A (zh) 一种目标图像数据的选取方法和装置
US20210333400A1 (en) Method and apparatus for generating image using lidar
US10838487B2 (en) Mixed pixel unwrapping error mitigation by filtering optimization
Chang et al. New interpolation algorithm for image inpainting
CN102163325A (zh) 一种多光谱图像边缘特征检测方法
US20190340776A1 (en) Depth map interpolation using generalized likelihood ratio test parameter estimation of a coded image
Awan et al. Composite filtering strategy for improving distortion invariance in object recognition
US11435455B2 (en) Multi-phase correlation vector synthesis ranging method and apparatus
CN117480408A (zh) 一种物体测距方法及装置
US11651503B2 (en) Determining depth in a depth image
Schönlieb et al. Stray-light mitigation for under-display time-of-flight imagers
CN115131756A (zh) 一种目标检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant