CN111445404A - 一种基于双频和概率模型的相位去模糊方法 - Google Patents

一种基于双频和概率模型的相位去模糊方法 Download PDF

Info

Publication number
CN111445404A
CN111445404A CN202010209852.7A CN202010209852A CN111445404A CN 111445404 A CN111445404 A CN 111445404A CN 202010209852 A CN202010209852 A CN 202010209852A CN 111445404 A CN111445404 A CN 111445404A
Authority
CN
China
Prior art keywords
ambiguity
depth
constraint
pixel point
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010209852.7A
Other languages
English (en)
Other versions
CN111445404B (zh
Inventor
王俊
刘佩林
邹耀
应忍冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Data Miracle Intelligent Technology Co ltd
Original Assignee
Shanghai Data Miracle Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Data Miracle Intelligent Technology Co ltd filed Critical Shanghai Data Miracle Intelligent Technology Co ltd
Priority to CN202010209852.7A priority Critical patent/CN111445404B/zh
Publication of CN111445404A publication Critical patent/CN111445404A/zh
Application granted granted Critical
Publication of CN111445404B publication Critical patent/CN111445404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双频和概率模型的相位去模糊方法，包括如下步骤：S1：读取深度图像，获取需要处理的双频深度数据；S2：根据双频测量数据，对每一个像素点构建不同频率的约束项；S3：根据幅值特征，对每一个像素点构建基于幅值的约束；S4：根据相邻像素深度连续特征，对每一个像素点构建邻域像素约束；S5：在所有可能的模糊度备选组合中，选出上述概率最高的时候对应的模糊度组合，并恢复最终深度值；本申请采用对多频测量数据进行概率建模的方法，分别对像素的噪声、邻域像素约束、同位置像素不同频率的约束进行建模，提高了该方法的鲁棒性。

Description

一种基于双频和概率模型的相位去模糊方法
技术领域
本发明涉及3D成像技术技术领域，具体为一种基于双频和概率模型的相位去模糊方法。
背景技术
3D成像技术是近年来逐渐火热的研究方向之一，3D相机也在许多领域得到了应用，比如手势识别、机器人等。其中，ToF相机由于其工作原理简单、测量范围广等优点，在众多3D相机中脱颖而出。
ToF相机的传感器发出调制后的红外光，接收来自物体的反射光，通过计算入射光与反射光的相位差得到目标物体的距离。相位差通常是利用反正切函数获得，由于反正切函数的周期性，当入射光与反射光之间的实际相位差超过2π时，会发生相位模糊现象，从而导致深度测量存在误差。
目前已有的ToF相位去模糊方案不是很多，一种是基于差分进化算法的相位解包裹算法，其核心是利用有限正交多项式全局逼近真实相位，并利用差分进化算法求解待定系数；还有一种是对于每一个像素点，根据若干不同频率的反射光获取对应的距离，然后两两相减，得到绝对差值的最大值，不断迭代直至最大值满足一个阈值。但是，上述算法在求解过程中要么忽略了ToF各种噪声的影响，要么忽略了邻域像素之间的约束性，实用性都不高。
发明内容
本发明的目的在于提供一种基于双频和概率模型的相位去模糊方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于双频和概率模型的相位去模糊方法，包括如下步骤：
S1：读取深度图像，获取需要处理的双频深度数据；；
S2：根据双频测量数据，对每一个像素点构建不同频率的约束项；
S3：根据幅值特征，对每一个像素点构建基于幅值的约束；
S4：根据相邻像素深度连续特征，对每一个像素点构建邻域像素约束；
S5：在所有可能的模糊度备选组合中，选出上述概率最高的时候对应的模糊度组合，并恢复最终深度值。
优选的，步骤S2包括以下子步骤：
S21：计算出两个频率分别对应的极大模糊度，即相位包裹的次数.
S22：两个频率对应的模糊度分别有m和n个候选项，则一共有m×n组解，计算每一组候选解下，去相位模糊之后的深度差为：
Δd＝d1+m1*dmax1-(d2+n1*dmax2)；
其中，dmax1，dmax2是两个频率对应的极大模糊距离，m1，n1是两个频率对应的候选模糊度。
S23：根据每一组候选组合的深度差计算关于不同频率下的约束项，即p(m，n|f1，f2)。
其中，对读取的深度图像，由于测量距离是一个有限值，可以根据极大测量距离计算出每个频率对应的极大模糊度，也就是相位包裹的次数。
优选的，步骤S23中，采用高斯函数拟合不同频率下模糊度的概率密度函数。
优选的，步骤S3包括以下子步骤：
S31：确定深度值、幅值以及积分时间的关系；
根据ToF的原理，每一个像素的幅值和积分时间成正比，和深度值的平方成反比，即
Figure BDA0002422443380000021
即深度值受幅值和积分时间约束；
S32：判定模糊度概率影响因素；积分时间固定的情况下，每个像素点的幅值越小，深度值也越小，模糊度＞0的概率越高；
S33：得到模糊度关于幅值的约束项为p(m，n|a1，a2)。
优选的，步骤S33中，采用高斯函数拟合幅值约束下模糊度的概率密度函数。
优选的，步骤S4包括以下子步骤：
S41：判定深度图像中，在非物体边界的区域，每一个像素点和其邻域像素点的深度值的关系；其中，在非物体边界的区域，深度图像中的每一个像素点和其邻域像素点的深度值是相近的；
S42：根据步骤S41，对每一个非边界的像素点，构建邻域约束项；即p(d，x|x∈N)，其中N表示邻域，x表示邻域像素。
优选的，步骤S42中，采用高斯函数拟合邻域约束项。
优选的，步骤S5包括以下子步骤：
S51：根据步骤S2-步骤S4，构建关于双频模糊度的联合概率分布；
S52：根据步骤S51，找到概率最高的一组模糊度组合；
S53：根据步骤S52，恢复得到去模糊之后的深度值。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于双频和概率模型的相位去模糊方法，本申请采用对多频测量数据进行概率建模的方法，分别对像素的噪声、邻域像素约束、同位置像素不同频率的约束进行建模，提高了该方法的鲁棒性；
相比较其他去模糊的算法，能够极大地减小噪声带来的影响，其他迭代的算法在迭代的过程中，噪声误差也会不断迭代并累计。同时，还考虑了幅值的约束，幅值和深度值之间具有一定的关系，幅值约束能够辅助深度值修正。此外，还考虑了邻域像素约束，一方面能够减小计算量，一方面能够提高准确率。
附图说明
图1为本发明实施例流程框架结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：
一种基于双频和概率模型的相位去模糊方法，包括如下步骤：
S1：读取深度图像，获取需要处理的双频深度数据；
S2：根据双频测量数据，对每一个像素点构建不同频率的约束项；
S3：根据幅值特征，对每一个像素点构建基于幅值的约束；
S4：根据相邻像素深度连续特征，对每一个像素点构建邻域像素约束；
S5：在所有可能的模糊度备选组合中，选出上述概率最高的时候对应的模糊度组合，并恢复最终深度值。
具体的：步骤S2包括以下子步骤：
S21：计算出两个频率分别对应的极大模糊度，即相位包裹的次数；
S22：两个频率对应的模糊度分别有m和n个候选项，则一共有m×n组解，计算每一组候选解下，去相位模糊之后的深度差为：
Ad＝d1+m1，dmax1-(d2+n1*dmax2)；
其中，dmax1，dmax2是两个频率对应的极大模糊距离，m1，n1是两个频率对应的候选模糊度。
S23：根据每一组候选组合的深度差计算关于不同频率下的约束项，即p(m，n|f1，f2)。
其中，对读取的深度图像，由于测量距离是一个有限值，可以根据极大测量距离计算出每个频率对应的极大模糊度，也就是相位包裹的次数。步骤S23中，采用高斯函数拟合不同频率下模糊度的概率密度函数。
步骤S3包括以下子步骤：
S31：确定深度值、幅值以及积分时间的关系；
根据ToF的原理，每一个像素的幅值和积分时间成正比，和深度值的平方成反比，即
Figure BDA0002422443380000051
即深度值受幅值和积分时间约束；
S32：判定模糊度概率影响因素；积分时间固定的情况下，每个像素点的幅值越小，深度值也越小，模糊度>0的概率越高；
S33：得到模糊度关于幅值的约束项为p(m，n|a1，a2)。步骤S33中，采用高斯函数拟合幅值约束下模糊度的概率密度函数。
步骤S4包括以下子步骤：
S41：判定深度图像中，在非物体边界的区域，每一个像素点和其邻域像素点的深度值的关系；其中，在非物体边界的区域，深度图像中的每一个像素点和其邻域像素点的深度值是相近的；
S42：根据步骤S41，对每一个非边界的像素点，构建邻域约束项；即p(d，x|x∈N)，其中N表示邻域，x表示邻域像素。步骤S42中，采用高斯函数拟合邻域约束项。
步骤S5包括以下子步骤：
S51：根据步骤S2-步骤S4，构建关于双频模糊度的联合概率分布；
S52：根据步骤S51，找到概率最高的一组模糊度组合；S53：根据步骤S52，恢复得到去模糊之后的深度值。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于双频和概率模型的相位去模糊方法，其特征在于：包括如下步骤：
S1：读取深度图像，获取需要处理的双频深度数据；
S2：根据双频测量数据，对每一个像素点构建不同频率的约束项；
S3：根据幅值特征，对每一个像素点构建基于幅值的约束；
S4：根据相邻像素深度连续特征，对每一个像素点构建邻域像素约束；
S5：在所有可能的模糊度备选组合中，选出上述概率最高的时候对应的模糊度组合，并恢复最终深度值。
2.根据权利要求1所述的一种基于双频和概率模型的相位去模糊方法，其特征在于：步骤S2包括以下子步骤：
S21：计算出两个频率分别对应的极大模糊度，即相位包裹的次数；
S22：两个频率对应的模糊度分别有m和n个候选项，则一共有m×n组解，计算每一组候选解下，去相位模糊之后的深度差为：
Δd＝d1+m1*dmax1-(d2+m1*dmax2)；
其中，dmax1，dmax2是两个频率对应的极大模糊距离，m1，n1是两个频率对应的候选模糊度。
S23：根据每一组候选组合的深度差计算关于不同频率下的约束项，即p(m，n|f1，f2)。
3.根据权利要求2所述的一种基于双频和概率模型的相位去模糊方法，其特征在于：步骤S23中，采用高斯函数拟合不同频率下模糊度的概率密度函数。
4.根据权利要求1所述的一种基于双频和概率模型的相位去模糊方法，其特征在于：步骤S3包括以下子步骤：
S31：确定深度值、幅值以及积分时间的关系；
根据ToF的原理，每一个像素的幅值和积分时间成正比，和深度值的平方成反比，即
Figure FDA0002422443370000021
即深度值受幅值和积分时间约束；
S32：判定模糊度概率影响因素；积分时间固定的情况下，每个像素点的幅值越小，深度值也越小，模糊度>0的概率越高；
S33：得到模糊度关于幅值的约束项为p(m，n|a1，a2)。
5.根据权利要求4所述的一种基于双频和概率模型的相位去模糊方法，其特征在于：步骤S33中，采用高斯函数拟合幅值约束下模糊度的概率密度函数。
6.根据权利要求1所述的一种基于双频和概率模型的相位去模糊方法，其特征在于：步骤S4包括以下子步骤：
S41：判定深度图像中，在非物体边界的区域，每一个像素点和其邻域像素点的深度值的关系；其中，在非物体边界的区域，深度图像中的每一个像素点和其邻域像素点的深度值是相近的；
S42：根据步骤S41，对每一个非边界的像素点，构建邻域约束项；即p(d，x|x∈N)，其中N表示邻域，x表示邻域像素。
7.根据权利要求6所述的一种基于双频和概率模型的相位去模糊方法，其特征在于：步骤S42中，采用高斯函数拟合邻域约束项。
8.根据权利要求1所述的一种基于双频和概率模型的相位去模糊方法，其特征在于：步骤S5包括以下子步骤：
S51：根据步骤S2-步骤S4，构建关于双频模糊度的联合概率分布；
S52：根据步骤S51，找到概率最高的一组模糊度组合；
S53：根据步骤S52，恢复得到去模糊之后的深度值。
CN202010209852.7A 2020-03-23 2020-03-23 一种基于双频和概率模型的相位去模糊方法 Active CN111445404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010209852.7A CN111445404B (zh) 2020-03-23 2020-03-23 一种基于双频和概率模型的相位去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010209852.7A CN111445404B (zh) 2020-03-23 2020-03-23 一种基于双频和概率模型的相位去模糊方法

Publications (2)

Publication Number Publication Date
CN111445404A true CN111445404A (zh) 2020-07-24
CN111445404B CN111445404B (zh) 2024-06-25

Family

ID=71629678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010209852.7A Active CN111445404B (zh) 2020-03-23 2020-03-23 一种基于双频和概率模型的相位去模糊方法

Country Status (1)

Country Link
CN (1) CN111445404B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487655A (zh) * 2020-12-09 2021-03-12 上海数迹智能科技有限公司 针对tof相机中的相位折叠优化方法、装置、介质及设备
CN113238215A (zh) * 2021-07-09 2021-08-10 武汉市聚芯微电子有限责任公司 一种测距方法及ToF测距装置、存储介质
CN112487655B (zh) * 2020-12-09 2024-10-22 上海数迹智能科技有限公司 针对tof相机中的相位折叠优化方法、装置、介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
CN103400345A (zh) * 2013-07-18 2013-11-20 西南交通大学 一种降低tdi-ccd相机图像模糊度的方法
US20130321657A1 (en) * 2009-09-14 2013-12-05 Cognex Corporation System and method for acquiring a still image from a moving image
CN103473794A (zh) * 2012-06-05 2013-12-25 三星电子株式会社 深度图像产生方法及设备和深度图像处理方法及设备
EP2733928A2 (en) * 2011-07-12 2014-05-21 Samsung Electronics Co., Ltd. Device and method for blur processing
US20160093028A1 (en) * 2014-09-25 2016-03-31 Lenovo (Beijing) Co., Ltd. Image processing method, image processing apparatus and electronic device
CN107743638A (zh) * 2015-04-01 2018-02-27 Iee国际电子工程股份公司 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统
CN110599429A (zh) * 2019-09-26 2019-12-20 河海大学常州校区 一种高能x射线图像非盲去模糊方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321657A1 (en) * 2009-09-14 2013-12-05 Cognex Corporation System and method for acquiring a still image from a moving image
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
EP2733928A2 (en) * 2011-07-12 2014-05-21 Samsung Electronics Co., Ltd. Device and method for blur processing
CN103473794A (zh) * 2012-06-05 2013-12-25 三星电子株式会社 深度图像产生方法及设备和深度图像处理方法及设备
CN103400345A (zh) * 2013-07-18 2013-11-20 西南交通大学 一种降低tdi-ccd相机图像模糊度的方法
US20160093028A1 (en) * 2014-09-25 2016-03-31 Lenovo (Beijing) Co., Ltd. Image processing method, image processing apparatus and electronic device
CN107743638A (zh) * 2015-04-01 2018-02-27 Iee国际电子工程股份公司 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统
CN110599429A (zh) * 2019-09-26 2019-12-20 河海大学常州校区 一种高能x射线图像非盲去模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯威;黄丁发;严丽;李萌;: "GNSS双频整周关系约束模糊度算法研究", no. 08 *
常晓茹;郑寇全;李娜;王萌;: "基于邻域信息约束的模糊聚类图像分割方法", 电子设计工程, no. 21, 5 November 2017 (2017-11-05) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487655A (zh) * 2020-12-09 2021-03-12 上海数迹智能科技有限公司 针对tof相机中的相位折叠优化方法、装置、介质及设备
CN112487655B (zh) * 2020-12-09 2024-10-22 上海数迹智能科技有限公司 针对tof相机中的相位折叠优化方法、装置、介质及设备
CN113238215A (zh) * 2021-07-09 2021-08-10 武汉市聚芯微电子有限责任公司 一种测距方法及ToF测距装置、存储介质

Also Published As

Publication number Publication date
CN111445404B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
US9754377B2 (en) Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
Jordt-Sedlazeck et al. Refractive structure-from-motion on underwater images
US10366501B2 (en) Method and apparatus for performing background image registration
US11783457B2 (en) Multispectral camera dynamic stereo calibration algorithm based on saliency features
CN111144213B (zh) 一种对象检测方法和相关设备
CN108399627B (zh) 视频帧间目标运动估计方法、装置和实现装置
Lin et al. Optimizing ZNCC calculation in binocular stereo matching
CN112991420A (zh) 一种视差图的立体匹配特征提取及后处理方法
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN111445404A (zh) 一种基于双频和概率模型的相位去模糊方法
CN117541537B (zh) 基于全景点云融合技术的时空差异检测方法及其系统
CN103337080A (zh) 基于梯度方向Hausdorff 距离的红外图像和可见光图像配准技术
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法
CN113284176B (zh) 一种结合几何和纹理的在线匹配优化方法和三维扫描系统
Esquivel et al. Reconstruction of sewer shaft profiles from fisheye-lens camera images
Mondal et al. Performance review of the stereo matching algorithms
Zhong et al. Real-Time Depth Map Estimation from Infrared Stereo Images of RGB-D Cameras
Keller et al. A stereo algorithm for thin obstacles and reflective objects
Zhang et al. Binocular Depth Estimation Based on Diffractive Optical Elements and the Semiglobal Matching Algorithm
Wen et al. 3D inspection technology combining passive stereo matching and active structured light for steel plate surface sample
Kim et al. A high quality depth map upsampling method robust to misalignment of depth and color boundaries
Luan et al. A robust Local Census-based Stereo matching insensitive to Illumination changes
CN114120146A (zh) 一种基于局部三角网相似性的遥感影像密集匹配方法
Hongjin et al. Matching cost function analysis and disparity optimization for low-quality binocular images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant