CN110956657A - 深度图像获取方法及装置、电子设备及可读存储介质 - Google Patents

深度图像获取方法及装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110956657A
CN110956657A CN201811124929.XA CN201811124929A CN110956657A CN 110956657 A CN110956657 A CN 110956657A CN 201811124929 A CN201811124929 A CN 201811124929A CN 110956657 A CN110956657 A CN 110956657A
Authority
CN
China
Prior art keywords
map
phase
depth image
filtering
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811124929.XA
Other languages
English (en)
Other versions
CN110956657B (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811124929.XA priority Critical patent/CN110956657B/zh
Priority to PCT/CN2019/099647 priority patent/WO2020063124A1/en
Priority to US16/535,841 priority patent/US20200096638A1/en
Priority to EP19194567.4A priority patent/EP3629055B1/en
Publication of CN110956657A publication Critical patent/CN110956657A/zh
Application granted granted Critical
Publication of CN110956657B publication Critical patent/CN110956657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Abstract

本发明公开了一种深度图像获取方法、深度图像获取装置、电子设备和计算机可读存储介质。深度图像获取方法包括：发射光线至目标物体；接收经所述目标物体反射回的光线并进行多次采样以获得多帧相位图；对所述相位图进行滤波；和根据滤波后的所述相位图形成深度图像。本发明实施方式的深度图像获取方法、深度图像获取装置、电子设备和计算机可读存储介质对相位图进行滤波，从而根据滤波后的相位图所形成的深度图像的精度更高，进而可以获得更高精度的深度信息。

Description

深度图像获取方法及装置、电子设备及可读存储介质
技术领域
本发明涉及成像技术领域，特别涉及一种深度图像获取方法、深度图像获取装置、电子设备和计算机可读存储介质。
背景技术
在相关技术中，TOF(Time of Flight，TOF)深度相机形成的深度图像存在精度不足、分辨率低、图像质量差等问题，从而使得难以获得高精度的深度信息。
发明内容
本发明的实施例提供了一种深度图像获取方法、深度图像获取装置、电子设备和计算机可读存储介质。
本发明实施方式的深度图像获取方法包括：发射光线至目标物体；接收经所述目标物体反射回的光线并进行多次采样以获得多帧相位图；对所述相位图进行滤波；和根据滤波后的所述相位图形成深度图像。
本发明实施方式的深度图像获取装置包括光发射器、光接收器和处理器。所述光发射器用于发射光线至目标物体。所述光接收器用于接收经所述目标物体反射回的光线并进行多次采样以获得多帧相位图。所述处理器用于对所述相位图进行滤波、及根据滤波后的所述相位图形成深度图像。
本发明实施方式的电子设备包括壳体和上述深度图像获取装置，所述深度图像获取装置安装在所述壳体上。
本发明实施方式的计算机可读存储介质包括与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的深度图像获取方法。
本发明实施方式的深度图像获取方法、深度图像获取装置、电子设备和计算机可读存储介质对相位图进行滤波，从而根据滤波后的相位图所形成的深度图像的精度更高，进而可以获得更高精度的深度信息。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明某些实施方式的深度图像获取方法的流程示意图。
图2是本发明某些实施方式的深度图像获取装置的示意图。
图3是本发明某些实施方式的相位图和幅度图的示意图。
图4至图7是本发明某些实施方式的深度图像获取方法的流程示意图。
图8和图9是本发明某些实施方式的深度图像获取方法的应用示意图。
图10是本发明某些实施方式的深度图像获取方法的流程示意图。
图11是本发明某些实施方式的电子设备的平面示意图。
图12是本发明某些实施方式的计算机可读存储介质与电子设备的连接示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1，本发明实施方式的深度图像获取方法包括：
步骤02：发射光线至目标物体；
步骤04：接收经目标物体反射回的光线并进行多次采样以获得多帧相位图；
步骤06：对相位图进行滤波；和
步骤08：根据滤波后的相位图形成深度图像。
请参阅图2，本发明实施方式的深度图像获取装置100包括光发射器10、光接收器20和处理器30。光发射器10用于发射光线至目标物体。光接收器20用于接收经目标物体反射回的光线并进行多次采样以获得多帧相位图。处理器30用于对相位图进行滤波、及根据滤波后的相位图形成深度图像。
也即是说，本发明实施方式的深度图像获取方法可以由本发明实施方式的深度图像获取装置100实现，其中，步骤02可以由光发射器10实现，步骤04可以由光接收器20实现，步骤06和步骤08可以由处理器30实现。
在某些实施方式中，深度图像获取装置100具体例如为飞行时间深度相机。TOF深度相机可以通过两次采样或者四次采样的方式来计算获得深度图像，对应地，多帧相位图可以是至少两帧相位图，例如两帧相位图、四帧相位图等。本发明实施方式以四次采样获得四帧相位图的方式作为示例。具体地，在光发射器10向场景中发射激光后，光接收器200可以接收反射光线并通过四次采样以获得四帧相位图，每隔90度的相位进行一次采样，例如四帧相位图对应的相位为0度、90度、180度和270度，四帧相位图的像素点一一对应，请参阅图3，四帧相位图分别称为第一相位图、第二相位图、第三相位图和第四相位图，则发射光线与反射光线的相位差
Figure BDA0001812169980000031
其中，Q1可以是第一相位图的其中一个像素点的像素值，Q2可以是第二相位图的对应像素点的像素值，Q3可以是第三相位图的对应像素点的像素值，Q4可以是第四相位图的对应像素点的像素值，该像素点对应的场景的深度信息
Figure BDA0001812169980000032
其中，c为光速，f为激光的发光频率。
然而，TOF深度相机形成的深度图像存在精度不足分辨率低、图像质量差等问题，从而使得难以获得高精度的深度信息。因此，本发明实施方式的深度图像获取方法和深度图像获取装置100对相位图进行滤波，从而根据滤波后的相位图所形成的深度图像的精度更高，进而可以获得更高精度的深度信息。另外，本发明实施方式的深度图像获取方法和深度图像获取装置100对相位图进行滤波，由于相位图包含更多的原始数据，因此，该滤波方式更加接近硬件层，根据滤波后的相位图形成的深度图像更加精确。
在某些实施方式中，对相位图进行滤波，可以通过联合双边滤波算法、三边滤波算法、导向滤波算法等对相位图进行滤波，在本发明实施方式中，以联合双边滤波算法为例进行说明。
请参阅图4，在某些实施方式中，步骤06包括：
步骤061：根据多帧相位图获得幅度图；和
步骤062：采用联合双边滤波算法并将幅度图作为导向图对相位图进行滤波。
请再次参阅图2，在某些实施方式中，处理器30用于根据多帧相位图获得幅度图、及采用联合双边滤波算法并将幅度图作为导向图对相位图进行滤波。
也即是说，步骤061和步骤062可以由处理器30实现。
具体地，采用联合双边滤波算法对相位图进行滤波时，联合双边滤波算法会通过导向图来确定滤波的权重，因此，本发明实施方式通过多帧相位图获得幅度图，并将幅度图作为联合双边滤波算法的导向图。采用联合双边滤波算法能够有效地滤除相位图中的噪声(例如高斯白噪声)，从而使得生成的深度图的像素点在深度方向上分布准确。
请参阅图5，在某些实施方式中，步骤06包括：
步骤061：根据多帧相位图获得幅度图；
步骤063：对幅度图滤波以获得置信度图；和
步骤064：采用联合双边滤波算法并将置信度图作为导向图对相位图进行滤波。
请再次参阅图2，在某些实施方式中，处理器30用于根据多帧相位图获得幅度图、对幅度图滤波以获得置信度图、及采用联合双边滤波算法并将置信度图作为导向图对相位图进行滤波。
也即是说，步骤061、步骤063和步骤064可以由处理器30实现。
具体地，由于相位图中可能存在噪声，导致根据相位图获得的幅度图也可能存在噪声，因此，可以对幅度图进行滤波以获得置信度图，如此，置信度图更加准确，利用更加准确的置信度图作为导向图能够使得联合双边滤波算法对相位图的滤波效果更佳。其中，对幅度图进行滤波以获得置信度图时，可以采用高斯滤波实现。
请参阅图6，在某些实施方式中，步骤061包括：
步骤0612：获取多帧相位图的对应像素点的平均像素值；和
步骤0614：根据多个像素点的平均像素值获得幅度图。
请再次参阅图2，在某些实施方式中，处理器30用于获取多帧相位图的对应像素点的平均像素值、及根据多个像素点的平均像素值获得幅度图。
也即是说，步骤0612和步骤0614可以由处理器30实现。
请再次参阅图3，具体地，多帧相位图是一一对应的，可以获取四帧相位图的对应像素点的像素值的平均值作为平均像素值，例如平均像素值
Figure BDA0001812169980000041
幅度图与相位图也是一一对应的关系，平均像素值作为幅度图对应的像素点的像素值，根据上述步骤0612和步骤0616获取幅度图的所有像素点的像素值即可获得幅度图。
请参阅图7，在某些实施方式中，步骤064包括：
步骤0642：根据置信度图将每帧相位图分割成低置信度图像和高置信度图像；
步骤0644：利用联合双边滤波算法对高置信度图像进行滤波；和
步骤0646：处理低置信度图像和滤波后的高置信度图像以获得滤波后的相位图。
请再次参阅图2，在某些实施方式中，处理器30用于根据置信度图将每帧相位图分割成低置信度图像和高置信度图像、利用联合双边滤波算法对高置信度图像进行滤波、及处理低置信度图像和滤波后的高置信度图像以获得滤波后的相位图。
也即是说，步骤0642、步骤0644和步骤0646可以由处理器30实现。
具体地，可以设置一个置信度阈值，利用置信度图的每个像素值与该置信度阈值进行比较，在置信度图的像素值大于或等于该置信度阈值时，确定对应像素点的置信度比较高，在置信度图的像素值小于该置信度阈值时，确定对应像素点的置信度比较低，其中，置信度比较低的像素点的混叠现象(在实际距离大于深度图像获取装置100能够测量的最大距离时，会重复出现能够测量的距离，例如深度图像获取装置100能够测量的最大距离为1.5米，在实际距离为1.6米时，深度图像获取装置测量到的距离为0.1米)比较严重。请参阅图8，由于混叠现象容易导致滤波后的相位图仍存在较大的误差，因此，可以通过置信度图将置信度比较低的像素点对应的相位图的图像区域划分为低置信度图像，将置信度比较高的像素点对应的相位图的图像区域划分为高置信度图像，利用联合双边滤波算法对高置信度图像进行滤波，再通过拼接低置信度图像和高置信度图像获得滤波后的相位图。如此，通过分割出混叠现象比较严重的低置信度图像，可以使得对高置信度图像的滤波更加精确，从而使得低置信度图像和滤波后的高置信度图像所形成的相位图也更加精确。
请参阅图9，在某些实施方式中，联合双边滤波算法为
Figure BDA0001812169980000051
Figure BDA0001812169980000052
其中kp＝q∈Ωf(||p-q||)g(||Ip′-Iq′||)，Jp为输出像素值，kp为权重总和，Ω为滤波窗口，p为待滤波像素点在相位图中的坐标，q为滤波窗口内的像素点在相位图中的坐标，Iq为q点对应的像素值，Ip′为导向图中与待滤波像素点对应的像素值，Iq′为导向图中与q点对应的像素值，f、g均为权重分布函数，权重分布函数包括高斯函数。
具体地，联合双边滤波算法通过待滤波像素点p的坐标与滤波窗口内的一个像素点q的坐标的差值确定第一权重(f(||p-q||))，图中示例的p点和q点的坐标差值可以为2，通过导向图中与p点对应的像素值Ip′和与q点对应的像素值Iq′的差值确定第二权重(g(||Ip′-Iq′||))，根据滤波窗口内的每个像素点的第一权重、第二权重、相位图中q点对应的像素值Iq以及权重总和kp确定输出像素值Jp。
在某些实施方式中，f和g可以为任意的权重分布函数，两者可以相同或者不同，在本发明实施方式中，f和g均为高斯函数，高斯函数例如为
Figure BDA0001812169980000053
a、b和c为调节系数。
请参阅图10，在某些实施方式中，步骤06包括：
步骤065：并行处理多帧相位图以对多帧相位图同时进行滤波。
请再次参阅图2，在某些实施方式中，处理器30用于并行处理多帧相位图以对多帧相位图同时进行滤波。
也即是说，步骤065可以由处理器30实现。
由于相位图为多帧，因此为了提高相位图的滤波效率，可以对多帧相位图并行处理以同时对多帧相位图进行滤波，其中，并行处理多帧相位图可以通过opencl实现，也可以通过图像处理器(DSP)等实现，在此不做具体限定。
在某些实施方式中，在形成深度图像后，还可以对深度图像进行抗混叠、均值滤波等处理，其中，均值滤波可以滤除深度图像中的椒盐噪声，从而使得深度图像的深度信息更加准确。
请参阅图11，本发明实施方式的电子设备1000可以包括上述任意一种实施方式的深度图像获取装置100。另外，电子设备1000还包括壳体200。深度图像获取装置100安装在壳体200上。壳体200可以给深度图像获取装置100提供防尘、防水、防摔等保护，壳体200上开设有与深度图像获取装置100对应的孔，以使光线从孔中穿出或穿入壳体200。在其他实施方式中，深度图像获取装置100收容在壳体200内并能够从壳体200内伸出，此时，壳体200上不需要开设与深度图像获取装置100的进出光方向对应的孔。当需要使用深度图像获取装置100时，深度图像获取装置100从壳体200内伸出到壳体200外；当不需要使用深度图像获取装置100时，深度图像获取装置100从壳体200外收容至壳体200内。在又一实施方式中，深度图像获取装置100收容在壳体200内并位于显示屏的下方，此时，壳体200上也不需要开设与深度图像获取装置100的进出光方向对应的孔。
电子设备1000可以是手机、平板电脑、智能穿戴设备(智能手表、智能手环、智能眼镜、智能头盔)、无人机等，在此不作限制。
请参阅图12，本发明还提供一种计算机可读存储介质300。计算机可读存储介质300包括与电子设备1000结合使用的计算机程序320。计算机程序320可被处理器30执行以完成上述任意一项实施方式所述的深度图像获取方法。
例如，请结合图1及图12，计算机程序320可被处理器30执行以完成以下步骤：
步骤02：发射光线至目标物体；
步骤04：接收经目标物体反射回的光线并进行多次采样以获得多帧相位图；
步骤06：对相位图进行滤波；和
步骤08：根据滤波后的相位图形成深度图像。
再例如，请结合图4及图12，计算机程序320还可被处理器30执行以完成以下步骤：
步骤061：根据多帧相位图获得幅度图；和
步骤062：采用联合双边滤波算法并将幅度图作为导向图对相位图进行滤波。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种深度图像获取方法，其特征在于，包括：
发射光线至目标物体；
接收经所述目标物体反射回的光线并进行多次采样以获得多帧相位图；
对所述相位图进行滤波；和
根据滤波后的所述相位图形成深度图像。
2.根据权利要求1所述的深度图像获取方法，其特征在于，所述对所述相位图进行滤波，包括：
根据多帧所述相位图获得幅度图；和
采用联合双边滤波算法并将所述幅度图作为导向图对所述相位图进行滤波。
3.根据权利要求2所述的深度图像获取方法，其特征在于，所述根据多帧所述相位图获得幅度图包括：
获取多帧所述相位图的对应像素点的平均像素值；和
根据多个所述像素点的所述平均像素值获得所述幅度图。
4.根据权利要求1所述的深度图像获取方法，其特征在于，所述对所述相位图进行滤波，包括：
根据多帧所述相位图获得幅度图；
对所述幅度图滤波以获得置信度图；和
采用联合双边滤波算法并将所述置信度图作为导向图对所述相位图进行滤波。
5.根据权利要求4所述的深度图像获取方法，其特征在于，所述采用联合双边滤波算法并将所述置信度图作为导向图对所述相位图进行滤波，包括：
根据所述置信度图将每帧所述相位图分割成低置信度图像和高置信度图像；
利用所述联合双边滤波算法对所述高置信度图像进行滤波；和
处理所述低置信度图像和滤波后的所述高置信度图像以获得滤波后的所述相位图。
6.根据权利要求2至5任意一项所述的深度图像获取方法，其特征在于，所述联合双边滤波算法为
Figure FDA0001812169970000011
其中kp＝∑q∈Ωf(||p-q||)g(||Ip′-Iq′||)，Jp为输出像素值，kp为权重总和，Ω为滤波窗口，p为待滤波像素点在所述相位图中的坐标，q为滤波窗口内的像素点在所述相位图中的坐标，Iq为q点对应的像素值，Ip′为所述导向图中与所述待滤波像素点对应的像素值，Iq′为所述导向图中与所述q点对应的像素值，f、g均为权重分布函数，所述权重分布函数包括高斯函数。
7.根据权利要求1所述的深度图像获取方法，其特征在于，所述对所述相位图进行滤波，包括：
并行处理多帧所述相位图以对多帧所述相位图同时进行滤波。
8.一种深度图像获取装置，其特征在于，包括：
光发射器，所述光发射器用于发射光线至目标物体；
光接收器，所述光接收器用于接收经所述目标物体反射回的光线并进行多次采样以获得多帧相位图；
处理器，所述处理器用于对所述相位图进行滤波、及根据滤波后的所述相位图形成深度图像。
9.一种电子设备，其特征在于，所述电子设备包括壳体和权利要求8所述的深度图像获取装置，所述深度图像获取装置安装在所述壳体上。
10.一种计算机可读存储介质，其特征在于，包括与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1至7任意一项所述的深度图像获取方法。
CN201811124929.XA 2018-09-26 2018-09-26 深度图像获取方法及装置、电子设备及可读存储介质 Active CN110956657B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811124929.XA CN110956657B (zh) 2018-09-26 2018-09-26 深度图像获取方法及装置、电子设备及可读存储介质
PCT/CN2019/099647 WO2020063124A1 (en) 2018-09-26 2019-08-07 Method and apparatus for acquiring depth image, and electronic device
US16/535,841 US20200096638A1 (en) 2018-09-26 2019-08-08 Method and apparatus for acquiring depth image, and electronic device
EP19194567.4A EP3629055B1 (en) 2018-09-26 2019-08-30 Method and apparatus for acquiring depth image, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811124929.XA CN110956657B (zh) 2018-09-26 2018-09-26 深度图像获取方法及装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110956657A true CN110956657A (zh) 2020-04-03
CN110956657B CN110956657B (zh) 2023-06-30

Family

ID=67810446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124929.XA Active CN110956657B (zh) 2018-09-26 2018-09-26 深度图像获取方法及装置、电子设备及可读存储介质

Country Status (4)

Country Link
US (1) US20200096638A1 (zh)
EP (1) EP3629055B1 (zh)
CN (1) CN110956657B (zh)
WO (1) WO2020063124A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669232A (zh) * 2020-12-24 2021-04-16 浙江大华技术股份有限公司 一种深度图像增强处理方法及装置
CN114727085A (zh) * 2021-01-05 2022-07-08 浙江舜宇智能光学技术有限公司 深度图像成像方法及其装置
WO2023103622A1 (zh) * 2021-12-10 2023-06-15 浙江舜宇智能光学技术有限公司 iToF深度计算装置、方法、iToF相机模组和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270418B1 (en) * 2020-11-19 2022-03-08 VPIX Medical Incorporation Method and system for correcting phase of image reconstruction signal
US20240005758A1 (en) * 2020-11-26 2024-01-04 Sony Semiconductor Solutions Corporation Electronic device, method and computer program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274366A1 (en) * 2010-05-07 2011-11-10 Microsoft Corporation Depth map confidence filtering
US20110285910A1 (en) * 2006-06-01 2011-11-24 Canesta, Inc. Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
WO2014102442A1 (en) * 2012-12-28 2014-07-03 Nokia Corporation A method and apparatus for de-noising data from a distance sensing camera
US20150334376A1 (en) * 2014-05-19 2015-11-19 Samsung Electronics Co., Ltd. Of Suwon-Si Method of acquiring depth image and image acquiring apparatus using thereof
KR101763376B1 (ko) * 2016-03-11 2017-07-31 광주과학기술원 신뢰 기반 재귀적 깊이 영상 필터링 방법
US20180068424A1 (en) * 2016-09-07 2018-03-08 Samsung Electronics Co., Ltd. Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein
WO2018042887A1 (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
KR101554241B1 (ko) * 2011-06-24 2015-09-18 소프트키네틱 소프트웨어 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
KR101862199B1 (ko) * 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
KR101871235B1 (ko) * 2012-06-05 2018-06-27 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
KR101896301B1 (ko) * 2013-01-03 2018-09-07 삼성전자주식회사 깊이 영상 처리 장치 및 방법
EP2992357A4 (en) * 2013-04-29 2017-01-18 Nokia Technologies OY A method and apparatus for fusing distance data from a distance sensing camera with an image
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN105354805B (zh) * 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
CN107169933B (zh) * 2017-04-14 2020-08-18 浙江光珀智能科技有限公司 一种基于tof深度相机的边缘反射像素校正方法
US11818462B2 (en) * 2019-08-30 2023-11-14 Qualcomm Incorporated Phase detection autofocus sensor apparatus and method for depth sensing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285910A1 (en) * 2006-06-01 2011-11-24 Canesta, Inc. Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US20110274366A1 (en) * 2010-05-07 2011-11-10 Microsoft Corporation Depth map confidence filtering
WO2014102442A1 (en) * 2012-12-28 2014-07-03 Nokia Corporation A method and apparatus for de-noising data from a distance sensing camera
US20150334376A1 (en) * 2014-05-19 2015-11-19 Samsung Electronics Co., Ltd. Of Suwon-Si Method of acquiring depth image and image acquiring apparatus using thereof
KR101763376B1 (ko) * 2016-03-11 2017-07-31 광주과학기술원 신뢰 기반 재귀적 깊이 영상 필터링 방법
WO2018042887A1 (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US20180068424A1 (en) * 2016-09-07 2018-03-08 Samsung Electronics Co., Ltd. Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JAESIK PARK等: "High quality depth map upsampling for 3D-TOF cameras", 2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION *
JI-HO CHO等: "Depth map up-sampling using cost-volume filtering", IVMSP 2013 *
JIJI CAI等: "Boundary-Preserving Depth Upsampling Without Texture Copying Artifacts and Holes", 《2017 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》 *
JIJI CAI等: "Boundary-Preserving Depth Upsampling Without Texture Copying Artifacts and Holes", 《2017 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》, 31 December 2017 (2017-12-31) *
JIJI CAI等: "Boundary-Preserving Depth Upsampling Without Texture Copying Artifacts and Holes", 2017 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA (ISM) *
吴翔骅;吴永忠;: "基于置信度和非局部自相似滤波的超分辨率重建", 电脑知识与技术, no. 09 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669232A (zh) * 2020-12-24 2021-04-16 浙江大华技术股份有限公司 一种深度图像增强处理方法及装置
CN114727085A (zh) * 2021-01-05 2022-07-08 浙江舜宇智能光学技术有限公司 深度图像成像方法及其装置
WO2023103622A1 (zh) * 2021-12-10 2023-06-15 浙江舜宇智能光学技术有限公司 iToF深度计算装置、方法、iToF相机模组和系统

Also Published As

Publication number Publication date
US20200096638A1 (en) 2020-03-26
EP3629055B1 (en) 2022-08-03
WO2020063124A1 (en) 2020-04-02
EP3629055A2 (en) 2020-04-01
EP3629055A3 (en) 2020-07-22
CN110956657B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110956657B (zh) 深度图像获取方法及装置、电子设备及可读存储介质
GB2546140B (en) UAV detection
US8139142B2 (en) Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
EP2072947B1 (en) Image processing device and image processing method
US10237532B2 (en) Scan colorization with an uncalibrated camera
US9068831B2 (en) Image processing apparatus and image processing method
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
CN111091592B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
EP2901236B1 (en) Video-assisted target location
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
JP2009139995A (ja) ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
CN112184828A (zh) 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆
US10591300B2 (en) Fixing magnetometer based azimuth according to sun positioning
CN107845108B (zh) 一种光流值计算方法、装置及电子设备
US10321069B2 (en) System and method for photographic effects
JP2014160405A (ja) 撮影位置決定装置、プログラム、および方法
CN111833370A (zh) 一种飞行像素滤除方法及系统
JP5409451B2 (ja) ３次元変化検出装置
WO2023095375A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
Kim et al. Multiview ToF sensor fusion technique for high-quality depth map
CN116363156A (zh) 一种图像测距的方法、装置、设备及存储介质
CN114120415A (zh) 人脸检测方法、装置和电子设备
CN114514735A (zh) 电子设备和控制电子设备的方法
JP2023001950A (ja) 情報処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024975

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant