CN116152119B - 用于条纹结构光的相位去噪方法、装置、设备及介质 - Google Patents
用于条纹结构光的相位去噪方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116152119B CN116152119B CN202310418682.7A CN202310418682A CN116152119B CN 116152119 B CN116152119 B CN 116152119B CN 202310418682 A CN202310418682 A CN 202310418682A CN 116152119 B CN116152119 B CN 116152119B
- Authority
- CN
- China
- Prior art keywords
- phase
- points
- dimensional
- monotonic
- subsequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000000819 phase cycle Methods 0.000 claims abstract description 100
- 238000010587 phase diagram Methods 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000001965 increasing effect Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请是关于一种用于条纹结构光的相位去噪方法、装置、设备及介质,具体涉及结构光三维成像领域。该方法包括:计算条纹图像对应的相位图,所述条纹图像是投影机构投射条纹结构光后,由数字相机采集到的图像,所述相位图用于表征所述条纹图像中像素点的相位;对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点;去除所述相位图的所有一维相位序列中被识别出的噪声点,得到去噪后的所述相位图。基于本申请提供的技术方案,可以保障相位去噪效果,使得基于去噪后的相位图进行三维重建的物体表面更加完整和连续,重建效果更真实。
Description
技术领域
本发明涉及结构光三维成像领域,具体涉及一种用于条纹结构光的相位去噪方法、装置、设备及介质。
背景技术
结构光三维成像技术是一种通过投射图案并观察图案变形来生成三维图像的技术,在制造、设计、医疗和虚拟现实等领域有广泛应用。
在基于条纹结构光进行结构光三维成像时,投影机构投射条纹结构光图案的同时,采用数字相机采集条纹图像,根据条纹图像中条纹的变化计算相位图,使用相位图进行三维重建。根据条纹图像计算出的相位图会有各种噪声点,进而影响三维重建的质量,因此相位的去噪是三维重建中的重要问题。
相关技术中,一般采用滤波的方法去除相位噪声,此方法难以识别正常点和噪声点,在去噪的同时可能破坏正常点的相位,去噪效果不好。
发明内容
本申请提供了一种用于条纹结构光的相位去噪方法、装置、设备及介质,该技术方案如下。
一方面,提供了用于条纹结构光的相位去噪方法,所述方法包括:
计算条纹图像对应的相位图,所述条纹图像是投影机构投射条纹结构光后,由数字相机采集到的图像,所述相位图用于表征所述条纹图像中像素点的相位;
对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点;
去除所述相位图的所有一维相位序列中被识别出的噪声点,得到去噪后的所述相位图。
又一方面,提供了一种用于条纹结构光的相位去噪装置,所述装置包括:
相位图计算模块,用于计算条纹图像对应的相位图,所述条纹图像是投影机构投射条纹结构光后,由数字相机采集到的图像,所述相位图用于表征所述条纹图像中像素点的相位;
噪声点识别模块,用于对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点;
噪声点去除模块,用于去除所述相位图的所有一维相位序列中被识别出的噪声点,得到去噪后的所述相位图。
又一方面,提供了一种计算机设备,所述计算机设备中包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述的用于条纹结构光的相位去噪方法。
又一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的用于条纹结构光的相位去噪方法。
再一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的用于条纹结构光的相位去噪方法。
本申请提供的技术方案可以包括以下有益效果:
根据条纹图像计算相位图,在相位图中,对于每个一维相位序列,基于一维相位序列的单调变化特性,将一维相位序列中不符合单调变化特性的相位点识别为噪声点,将识别出的噪声点进行去除,可以准确地识别出噪声点并去除,避免了滤波的方法在噪声点补充的伪点以及对正常点的破坏,且可以得到尽可能多的正常点,从而保障了相位去噪效果,使得基于去噪后的相位图进行三维重建的物体表面更加完整和连续,重建效果更真实。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是根据一示例性实施例示出的格雷码条纹图案的示意图。
图2是根据一示例性实施例示出的用于条纹结构光的相位去噪方法的方法流程图。
图3是根据一示例性实施例示出的条纹结构光的三维重建系统的示意图。
图4是根据一示例性实施例示出的条纹结构光的三维重建系统的示意图。
图5是根据一示例性实施例示出的用于条纹结构光的相位去噪方法的方法流程图。
图6是根据一示例性实施例示出的一维相位序列的示意图。
图7是根据一示例性实施例示出的一维相位序列的示意图。
图8是根据一示例性实施例示出的一维相位序列的示意图。
图9是根据一示例性实施例示出的用于条纹结构光的相位去噪方法的方法流程图。
图10是根据一示例性实施例示出的一种用于条纹结构光的相位去噪装置的结构方框图。
图11是根据一示例性实施例提供的一种计算机设备的示意图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
应理解,在本申请的实施例中提到的“指示”可以是直接指示,也可以是间接指示,还可以是表示具有关联关系。举例说明,A指示B,可以表示A直接指示B,例如B可以通过A获取;也可以表示A间接指示B,例如A指示C,B可以通过C获取;还可以表示A和B之间具有关联关系。
在本申请实施例的描述中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。
本申请实施例中,“预定义”可以通过在设备(例如,包括终端设备和网络设备)中预先保存相应的代码、表格或其它可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
结构光三维成像技术在制造、设计、医疗和虚拟现实等领域有广泛应用,其是一种通过投射图案并观察图案变形来生成三维图像的技术。结构光三维成像技术通常采用光栅或数字投影等投影机构投射图案,当这种图案照射到物体表面上时会发生变形,变形的形状取决于物体表面的形状。通过观察这种变形,可以计算出物体表面的三维形状。
投影条纹图案的三维结构光成像是一种常见的结构光三维成像技术。所谓条纹图案,即图案的所有行或列具有相同的波形的图案。以竖直方向的条纹图案为例,正弦波条纹图案的每一行都是具有相同波形的正弦波曲线,而二进制条纹如格雷码条纹的每一行都是具有相同波形的方波曲线,图1所示为一组由4幅图像组成的格雷码条纹图案。
实际中,投影机构投射条纹图案的同时,采用数字相机采集图像,根据图像中条纹的变化重建三维信息。假设采用的是正弦波条纹图案,根据相机采集的条纹图像,可以计算出每个像素位置的相位,得到一幅连续数值的相位图;假设采用的是二进制条纹图案,根据条纹图像可以计算出每个像素位置对应的投影光线的序号,得到一幅离散数值的光线序号图。二进制条纹解码得到的投影光线序号,可以根据正弦波的周期变换为相位,因此可以认为投影光线的序号是一种特殊的相位。经过标定的三维结构光成像系统,可以根据相位计算每个点对应的三维坐标。
由于图像噪声、光线遮挡、低对比度、图像过曝、光线多次反射等因素的干扰,根据条纹图像计算出的相位图会有各种噪点,进而影响三维重建的质量,因此相位的去噪是三维重建中的重要问题。
相关技术中,一般提供有如下两种相位去噪方案:
一、采用滤波的方法去除相位噪声,滤波的方法分为局部滤波和全局滤波。理论上,对于高度变化连续的物体表面,从条纹图像解码得到的相位也是连续和缓慢变化的,可以采用低通滤波如均值滤波、高斯滤波等局部滤波算法去除相位中的高频噪声。局部滤波算法适用于滤波窗口尺寸较小的场景,当滤波窗口尺寸较大时,可能会导致滤波结果出现模糊现象,去噪的同时也破坏了正常的相位,因此不适用于去除大面积的低频噪声。为了解决局部滤波算法的问题,可以采用全局滤波算法对相位图进行滤波。全局滤波算法能够利用全局像素之间的关系进行滤波,因此可以更好地保留图像的结构信息,在滤波过程中可以加入一些先验知识,例如平滑项、边缘保持项等,可以更好地控制滤波结果。局部滤波和全局滤波都不能区分正常点和噪声点,正常点的相位受噪声点的影响可能被破坏。同时,在投影光线遮挡、图像过曝等应该没有正常点的地方,滤波的方法会强行补充一些伪点而不是去掉这些点,表现在三维重建的点云上会出现一些与物体表面的情况不符合的点,降低了成像质量。
因此,滤波方法用于相位去噪存在的问题包括:(1)在去噪的同时可能破坏正常点的相位;(2)不能识别和排除噪声点。
二、采用基于像素分类的方法去除相位噪声。对于场景中的任一点,根据光线的来源可以分为:被投影机构直接照亮的像素,和未被直接照亮但经过其它像素反射的光线照亮的像素。基于像素分类的方法,首先确定照亮像素和未照亮像素可能的强度值的下限和上限,然后基于这两个间隔将所有像素分为照亮的像素、未照亮的像素和不确定的像素,其中不确定的像素可以认为是噪声。
基于像素的分类的方法的缺点倾向于将像素分类为不确定的像素,因此解码得到的正常相位偏少,造成重建的表面不连续。
针对如上缺陷,本申请实施例旨在针对条纹图案的三维结构光成像,提供一种可以有效地去除相位噪声,从而提高三维重建的质量的方法。下面,对本申请提供的技术方案进行进一步说明。
图2是根据一示例性实施例示出的用于条纹结构光的相位去噪方法的方法流程图。该方法应用于计算机设备中。如图2所示,该用于条纹结构光的相位去噪方法可以包括如下步骤:
步骤210:计算条纹图像对应的相位图。
其中,条纹图像是投影机构投射条纹结构光后,由数字相机采集到的图像,相位图用于表征条纹图像中像素点的相位。
在本申请实施例中,使用投影机构投射条纹结构光,并用数字相机采集投射后的情况,得到条纹图像,对条纹图像进行解码计算,得到条纹图像对应的相位图。
根据以上四个公式可以推导出:
由于相位的周期性,上述解码过程得到的相位值的范围为/>,为了得到全局唯一的相位,还需要做相位展开。一种常见的方法是,在相移条纹的基础上,增加若干个二进制编码的图案,如格雷码图案,对应二进制图案的条纹图像解码后可得到每个正弦波周期的全局唯一编号/>,进而得到全局唯一的相位/>。还可以采用多频相移的方法,即采用包含多个频率的正弦波的图案,解码后直接得到全局相位。
步骤220:对于相位图中的每个一维相位序列,将一维相位序列中不符合单调变化特性的相位点识别为噪声点。
在本申请实施例中,按照与条纹方向垂直的方向,将相位图划分为多个一维相位序列,每个一维相位序列原本应该服从单调递增或递减分布,具体递增或递减取决于投影机构和数字相机安装的方向,因此,将不符合单调变化特性的相位点识别为噪声点。
示例性的,结合参考图3,A表示投影,B表示相机,带箭头的实线表示由投影机构发出的光线,虚线表示进入到相机的光线,对应标号1、2、3、4、5的光线的相位关系为。在图3的情况下,进入数字相机的光线顺序不变,因此解码得到的相位理应保持单调递增的关系。
可以理解的是,本申请实施例提供的技术方案只针对场景中没有因细的物体遮挡而破坏相位单调性的大多数情况,即图3所示的情况。
示例性的,结合参考图4,A表示投影,B表示相机,C表示场景中细的可从下方透光的物体,在图4的情况下,物体上方有细的物体遮挡,光线3从遮挡物体下方穿过,光线4经遮挡物体反射后进入相机,光线3和光线4在相机中的先后位置发生了交换,解码得到的相位不再是单调递增的关系。
步骤230:去除相位图的所有一维相位序列中被识别出的噪声点,得到去噪后的相位图。
在本申请实施例中,对所有一维相位序列中被识别出的噪声点进行去除,从而完成相位去噪,得到去噪后的相位图。
综上所述,本实施例提供的用于条纹结构光的相位去噪方法,根据条纹图像计算相位图,在相位图中,对于每个一维相位序列,基于一维相位序列的单调变化特性,将一维相位序列中不符合单调变化特性的相位点识别为噪声点,将识别出的噪声点进行去除,可以准确地识别出噪声点并去除,避免了滤波的方法在噪声点补充的伪点以及对正常点的破坏,且可以得到尽可能多的正常点,从而保障了相位去噪效果,使得基于去噪后的相位图进行三维重建的物体表面更加完整和连续,重建效果更真实。
在示意性实施例中,从一维相位序列中任意抽取若干个点组成一个子序列,通过抽取最长单调子序列,基于最长单调子序列识别出噪声点。
图5是根据一示例性实施例示出的用于条纹结构光的相位去噪方法的方法流程图。该方法应用于计算机设备中。如图5所示,该用于条纹结构光的相位去噪方法可以包括如下步骤:
步骤510:计算条纹图像对应的相位图。
在一种可能的实现方式中,在步骤510之后,对相位图进行如下预处理:使用预设窗口尺寸的中值滤波,去除相位图中的局部相位误差点,预设窗口尺寸小于窗口尺寸阈值。
可以理解的是,在实际中,由于光线干扰造成的数据波动,以及在相位展开的边界处等,容易造成局部的相位误差,这些相位误差点不符合相位的单调性分布。如果不加纠正,这些相位误差也会被识别为相位噪声,这些相位误差点作为无效点无法通过三维重建得到三维点坐标,降低了三维重建后物体表面的完整性。
因此,在本实现方式中,在计算得到相位图之后,对相位图先做预处理,如进行小窗口的中值滤波,以纠正局部的错误相位,使其符合相位的单调性分布,从而提高三维重建结果的完整性。由于这里的滤波只针对局部的相位误差,所以一般采用较小的窗口,即预设窗口尺寸小于窗口尺寸阈值,以避免对原始相位数据的破坏。
示例性的,图6中所示的一维相位序列,经过窗口尺寸为5x5的中值滤波后,得到图7所示的一维相位序列。在滤波后的一维相位序列中,纠正了展开相位时在正弦波边界处出现的相位错位。
步骤520:对于相位图中的每个一维相位序列,确定一维相位序列对应的最长单调子序列。
其中,最长单调子序列是相位点的数量最多的单调子序列,单调子序列是由一维相位序列中的相位点组成的、满足单调变换特性的子序列。
在本申请实施例中,对于相位图中的每个一维相位序列,对其中的相位点进行抽取组成子序列,从子序列中确定出满足单调变换特性的子序列作为单调子序列,从单调子序列中确定出相位点的数量最多的子序列作为最长单调子序列。
步骤530:将一维相位序列中除最长单调子序列之外的相位点,识别为噪声点。
在本申请实施例中,对于每个一维相位序列,将一维相位序列中最长单调子序列之外的其余点标记为噪声点。
可以理解的是,相位噪声的来源主要有图像噪声、光线遮挡、低对比度、图像过曝、多次反射等。一般地,相位图中相位噪声占总的像素数的少部分,可以假设一维相位序列中相位噪声也占少数,即一维相位序列中大多数属于正常点,少部分点是噪声点。排除掉少数噪声点后,其它点符合相位的单调变化特性。从一维相位序列中任意抽取若干个点组成一个子序列,如果该子序列满足相位单调性,称之为单调子序列,包含点数最多的单调子序列称为最长单调子序列。利用前述定义,一维相位序列可以分为三部分:(1)最长单调子序列中所有正常点组成的子序列;(2)最长单调子序列中所有噪声点组成的子序列;(3)不属于最长单调子序列的所有点组成的子序列。实践中,大多数相位噪声属于(3)中的子序列,因此,通过抽取最长单调子序列,可以有效识别出大部分噪声点,从而达到相位去噪的目的。
示例性的,图8示出了一个包含20个相位点(从a到t编号)的一维相位序列,竖线的长度表示相位值的相对大小,其中符合单调递增特性的子序列有:
(1)a,b,c,d,g,h,i,j,m,n,p,q,r,s,t;
(2)e,f,g,h,i,j,m,n,p,q,r,s,t;
(3)e,f,k,m,n,p,q,r,s,t;
(4)e,f,l,m,n,p,q,r,s,t;
(5)e,f,o,f,p,q,r,s,t;
(6)l,m,n,p,q,r,s,t;
(7)o,p,q,r,s,t。
可以看出,第一个子序列是最长单调子序列,因此,不属于最长单调子序列的相位点e、f、k、l、o属于噪声点。
步骤540:去除相位图的所有一维相位序列中被识别出的噪声点,得到去噪后的相位图。
综上所述,本实施例提供的用于条纹结构光的相位去噪方法,对于每个一维相位序列,找出包含点数最多的符合单调性的子序列记为最长单调子序列,将其余点标记为噪声点,从而基于单调性,快速且准确地识别出噪声点。
此外,通过小窗口的中值滤波对相位图进行预处理,可以纠正数据波动、相位展开错误等造成的局部相位误差,进而提高去噪后相位图的完整性。
在示意性实施例中,使用相位质量图提高基于相位单调性的去噪方法的可靠性。
图9是根据一示例性实施例示出的用于条纹结构光的相位去噪方法的方法流程图。该方法应用于计算机设备中。如图9所示,上述步骤520可以替换实现为如下步骤:
步骤910:计算条纹图像对应的相位质量图,相位质量图用于表征条纹图像中像素点的相位质量。
在本申请实施例中,计算条纹图像中每个像素点对应的相位质量,得到相位质量图。
在一种可能的实现方式中,步骤910包括:对于条纹图像中的第一类型像素点,将第一类型像素点的相位质量记为0;对于条纹图像中的第二类型像素点,计算条纹图像对应的像素调制强度幅值与像素强度值之间的比例,将第二类型像素点的相位质量记为比例,像素强度值等于条纹图像对应的平均强度加一;其中,第一类型像素点是亮度值大于亮度阈值的像素点,第二类型像素点是除第一类型像素点之外的其它像素点。
示例性的,以上文中所述的四步相移结构光为例,为了评价解码得到的相位的可靠性,用下面的规则计算每个点的相位质量,得到相位质量图:
可以理解的是,除了上文示例之外,还可以采用其它连续的或者二进制的条纹结构光编码方案,和其它合理的评价相位质量的方法,经过投影、图像采集、图像解码得到相位图和相位质量图,本申请对此不加以限制。
步骤920:对于相位图中的每个一维相位序列,结合相位质量图,确定一维相位序列对应的最长单调子序列。
可以理解的是,当噪声点占比较大时,正常点对应点数最多的单调子序列的假设可能不成立。在投影光线被遮挡区域,或者图像低对比度区域,或者图像产生过曝的区域,或者投影光线产生多次反射的区域,一般容易产生大面积的相位噪点。因此,在本申请实施例中,结合相位质量图优化最长单调子序列的确定过程,进而提高基于相位单调性的去噪方法的可靠性。
在一种可能的实现方式中,步骤920包括:在一维相位序列中,将相位质量图指示的相位质量低于质量阈值的相位点标注为噪声点;使用一维相位序列中除噪声点之外的其它相位点,确定一维相位序列对应的单调子序列;在一维相位序列对应的单调子序列中,将相位点的数量最多的单调子序列作为最长单调子序列。
在本实现方式中,结合相位质量图,将相位质量低于质量阈值的相位点提前标记为噪声点,这些噪声点不参与单调子序列的查找,这样正常点的数目依然占优,仍然可以通过查找包含点数最多的单调性子序列的方法识别噪声点。
其中,质量阈值可以是固定的,也可以是自适应计算得到的。示例性的,一种自适应计算阈值的方法是:假设相位图中噪声点低于固定的比例,通过建立相位直方图找到该比例对应的质量阈值。
在一种可能的实现方式中,步骤920包括:确定一维相位序列对应的单调子序列;使用相位质量图指示的相位质量,对各个单调子序列的相位点的数量进行加权计算;在一维相位序列对应的单调子序列中,将加权计算后相位点的数量最多的单调子序列作为最长单调子序列。
在本实现方式中,在确定好单调子序列,统计各单调子序列的相位点数时,使用相位质量进行加权,将加权后点数最多的单调子序列作为最长单调子序列。
示例性的,共有2个单调子序列:单调子序列1和单调子序列2。单调子序列1中的相位点的实际数量为10,对各相位点使用相位质量进行加权,加权后的点数为5;单调子序列2中的相位点的实际数量为8,对各相位点使用相位质量进行加权,加权后的点数为6。单调子序列2加权后的点数大于单调子序列1加权后的点数,最长单调子序列为单调子序列2。
综上所述,本实施例提供的用于条纹结构光的相位去噪方法,在相位噪声占比较大时,可以计算相位质量图,将相位质量图用于基于最长单调子序列的噪点识别中,一种方法是,将质量低于阈值的相位点提前标记为噪声点,不参与单调子序列的查找,另一种方法是,将单调子序列的点数用相位质量加权,从而通过相位质量图的运用,提高基于相位单调性进行去噪的方法的可靠性。
需要说明的是,在上文实施例中,描述了一种由一个投影机构和一个数字相机组成的,投影单方向条纹图案的三维重建系统,实际中还可以使用其它的系统配置。例如,采用两个数字相机和一个投影机构组成主动式双目成像系统,与只有两个数字相机组成的被动式双目成像系统相比,通过投影提供的纹理图案,能够在光照不足、纹理缺乏的表面进行准确的双目匹配,进而获取三维信息。再比如,有的系统虽然由一个投影机构和一个数字相机组成,但投射两个正交方向的条纹图案,以将投影按数字照相机的方式进行参数标定。这些不同的三维重建系统,都需要解决相位噪点对三维重建的影响的问题,因此本申请描述的方法同样适用于这些系统。
此外,上述方法实施例可以单独实施例,也可以组合实施,本申请对此不加以限制。
图10是根据一示例性实施例示出的一种用于条纹结构光的相位去噪装置的结构方框图。所述装置包括:
相位图计算模块1001,用于计算条纹图像对应的相位图,所述条纹图像是投影机构投射条纹结构光后,由数字相机采集到的图像,所述相位图用于表征所述条纹图像中像素点的相位;
噪声点识别模块1002,用于对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点;
噪声点去除模块1003,用于去除所述相位图的所有一维相位序列中被识别出的噪声点,得到去噪后的所述相位图。
在一种可能的实现方式中,所述噪声点识别模块1002,用于:
对于所述相位图中的每个一维相位序列,确定所述一维相位序列对应的最长单调子序列,所述最长单调子序列是相位点的数量最多的单调子序列,所述单调子序列是由所述一维相位序列中的相位点组成的、满足单调变换特性的子序列;
将所述一维相位序列中除所述最长单调子序列之外的相位点,识别为所述噪声点。
在一种可能的实现方式中,所述噪声点识别模块1002,用于:
计算所述条纹图像对应的相位质量图,所述相位质量图用于表征所述条纹图像中像素点的相位质量;
对于所述相位图中的每个一维相位序列,结合所述相位质量图,确定所述一维相位序列对应的最长单调子序列。
在一种可能的实现方式中,所述噪声点识别模块1002,用于:
在所述一维相位序列中,将所述相位质量图指示的相位质量低于质量阈值的相位点标注为噪声点;
使用所述一维相位序列中除所述噪声点之外的其它相位点,确定所述一维相位序列对应的单调子序列;
在所述一维相位序列对应的单调子序列中,将相位点的数量最多的单调子序列作为所述最长单调子序列。
在一种可能的实现方式中,所述噪声点识别模块1002,用于:
确定所述一维相位序列对应的单调子序列;
使用所述相位质量图指示的相位质量,对各个单调子序列的相位点的数量进行加权计算;
在所述一维相位序列对应的单调子序列中,将加权计算后相位点的数量最多的单调子序列作为所述最长单调子序列。
在一种可能的实现方式中,所述噪声点识别模块1002,用于:
对于所述条纹图像中的第一类型像素点,将所述第一类型像素点的相位质量记为0;
对于所述条纹图像中的第二类型像素点,计算所述条纹图像对应的像素调制强度幅值与像素强度值之间的比例,将所述第一类型像素点的相位质量记为所述比例,所述像素强度值等于所述条纹图像对应的平均强度加一;
其中,第一类型像素点是亮度值大于亮度阈值的像素点,所述第二类型像素点是除所述第一类型像素点之外的其它像素点。
在一种可能的实现方式,所述装置还包括:相位图预处理模块,所述相位图预处理模块,用于:
在对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点之前,使用预设窗口尺寸的中值滤波,去除所述相位图中的局部相位误差点,所述预设窗口尺寸小于窗口尺寸阈值。
需要说明的是:上述实施例提供的用于条纹结构光的相位去噪装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参阅图11,其是根据本申请一示例性实施例提供的一种计算机设备的示意图,所述计算机设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的用于条纹结构光的相位去噪方法。
其中,处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其它非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种用于条纹结构光的相位去噪方法,其特征在于,所述方法包括:
计算条纹图像对应的相位图,所述条纹图像是投影机构投射条纹结构光后,由数字相机采集到的图像,所述相位图用于表征所述条纹图像中像素点的相位;
对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点;
去除所述相位图的所有一维相位序列中被识别出的噪声点,得到去噪后的所述相位图;其中,
所述对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点,包括:
对于所述相位图中的每个一维相位序列,确定所述一维相位序列对应的最长单调子序列,所述最长单调子序列是相位点的数量最多的单调子序列,所述单调子序列是由所述一维相位序列中的相位点组成的、满足单调变换特性的子序列;
将所述一维相位序列中除所述最长单调子序列之外的相位点,识别为所述噪声点;
所述一维相位序列是按照与条纹方向垂直的方向,将所述相位图进行划分得到;
所述单调变化特性表征单调递增或递减特性。
2.根据权利要求1所述的方法,其特征在于,所述对于所述相位图中的每个一维相位序列,确定所述一维相位序列对应的最长单调子序列,包括:
计算所述条纹图像对应的相位质量图,所述相位质量图用于表征所述条纹图像中像素点的相位质量;
对于所述相位图中的每个一维相位序列,结合所述相位质量图,确定所述一维相位序列对应的最长单调子序列。
3.根据权利要求2所述的方法,其特征在于,所述结合所述相位质量图,确定所述一维相位序列对应的最长单调子序列,包括:
在所述一维相位序列中,将所述相位质量图指示的相位质量低于质量阈值的相位点标注为噪声点;
使用所述一维相位序列中除所述噪声点之外的其它相位点,确定所述一维相位序列对应的单调子序列;
在所述一维相位序列对应的单调子序列中,将相位点的数量最多的单调子序列作为所述最长单调子序列。
4.根据权利要求2所述的方法,其特征在于,所述结合所述相位质量图,确定所述一维相位序列对应的最长单调子序列,包括:
确定所述一维相位序列对应的单调子序列;
使用所述相位质量图指示的相位质量,对各个单调子序列的相位点的数量进行加权计算;
在所述一维相位序列对应的单调子序列中,将加权计算后相位点的数量最多的单调子序列作为所述最长单调子序列。
5.根据权利要求2所述的方法,其特征在于,所述计算所述条纹图像对应的相位质量图,包括:
对于所述条纹图像中的第一类型像素点,将所述第一类型像素点的相位质量记为0;
对于所述条纹图像中的第二类型像素点,计算所述条纹图像对应的像素调制强度幅值与像素强度值之间的比例,将所述第二类型像素点的相位质量记为所述比例,所述像素强度值等于所述条纹图像对应的平均强度加一;
其中,所述第一类型像素点是亮度值大于亮度阈值的像素点,所述第二类型像素点是除所述第一类型像素点之外的其它像素点。
6.根据权利要求1所述的方法,其特征在于,在对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点之前,所述方法还包括:
使用预设窗口尺寸的中值滤波,去除所述相位图中的局部相位误差点,所述预设窗口尺寸小于窗口尺寸阈值。
7.一种用于条纹结构光的相位去噪装置,其特征在于,所述装置包括:
相位图计算模块,用于计算条纹图像对应的相位图,所述条纹图像是投影机构投射条纹结构光后,由数字相机采集到的图像,所述相位图用于表征所述条纹图像中像素点的相位;
噪声点识别模块,用于对于所述相位图中的每个一维相位序列,将所述一维相位序列中不符合单调变化特性的相位点识别为噪声点;
噪声点去除模块,用于去除所述相位图的所有一维相位序列中被识别出的噪声点,得到去噪后的所述相位图;其中,
所述噪声点识别模块具体用于对于所述相位图中的每个一维相位序列,确定所述一维相位序列对应的最长单调子序列,所述最长单调子序列是相位点的数量最多的单调子序列,所述单调子序列是由所述一维相位序列中的相位点组成的、满足单调变换特性的子序列,以及将所述一维相位序列中除所述最长单调子序列之外的相位点,识别为所述噪声点;
所述一维相位序列是按照与条纹方向垂直的方向,将所述相位图进行划分得到;
所述单调变化特性表征单调递增或递减特性。
8.一种计算机设备,其特征在于,所述计算机设备中包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一所述的用于条纹结构光的相位去噪方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至6任一所述的用于条纹结构光的相位去噪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310418682.7A CN116152119B (zh) | 2023-04-19 | 2023-04-19 | 用于条纹结构光的相位去噪方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310418682.7A CN116152119B (zh) | 2023-04-19 | 2023-04-19 | 用于条纹结构光的相位去噪方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116152119A CN116152119A (zh) | 2023-05-23 |
CN116152119B true CN116152119B (zh) | 2023-07-14 |
Family
ID=86350939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310418682.7A Active CN116152119B (zh) | 2023-04-19 | 2023-04-19 | 用于条纹结构光的相位去噪方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116152119B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117437149B (zh) * | 2023-11-23 | 2024-07-09 | 北京迁移科技有限公司 | 图像处理方法、点云生成方法、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955573A (zh) * | 2018-06-05 | 2018-12-07 | 天津大学 | 一种编码结构光的阶次无损校正方法 |
CN114170109A (zh) * | 2021-12-14 | 2022-03-11 | 中国科学院苏州纳米技术与纳米仿生研究所 | 基于mems的条纹结构光的图像降噪方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11605172B2 (en) * | 2017-12-08 | 2023-03-14 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Digital fringe projection and multi-spectral polarization imaging for rapid 3D reconstruction |
CN110230997B (zh) * | 2019-06-04 | 2020-04-21 | 江南大学 | 一种基于改进单调法的阴影区相位噪声校正方法 |
CN112766256B (zh) * | 2021-01-25 | 2023-05-30 | 北京淳中科技股份有限公司 | 光栅相位图处理方法、装置、电子设备及存储介质 |
KR20230022062A (ko) * | 2021-08-06 | 2023-02-14 | 삼성전자주식회사 | 메타 광학 소자 및 이를 포함하는 전자 장치 |
-
2023
- 2023-04-19 CN CN202310418682.7A patent/CN116152119B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955573A (zh) * | 2018-06-05 | 2018-12-07 | 天津大学 | 一种编码结构光的阶次无损校正方法 |
CN114170109A (zh) * | 2021-12-14 | 2022-03-11 | 中国科学院苏州纳米技术与纳米仿生研究所 | 基于mems的条纹结构光的图像降噪方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116152119A (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103400366B (zh) | 基于条纹结构光的动态场景深度获取方法 | |
US10417786B2 (en) | Markers in 3D data capture | |
CN107452034B (zh) | 图像处理方法及其装置 | |
CN101326549B (zh) | 检测数字图像中的条纹的方法 | |
CN110264573B (zh) | 基于结构光的三维重建方法、装置、终端设备及存储介质 | |
CN116152119B (zh) | 用于条纹结构光的相位去噪方法、装置、设备及介质 | |
CN108830907B (zh) | 基于单目系统的投影标定方法及系统 | |
CN110400338B (zh) | 深度图处理方法、装置和电子设备 | |
CN111220235B (zh) | 水位监测方法及装置 | |
CN109631797B (zh) | 一种基于相移技术的三维重构无效区域快速定位方法 | |
KR102187211B1 (ko) | 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치 | |
CN117496359B (zh) | 基于三维点云的植物种植布局监测方法及系统 | |
CN109405735B (zh) | 三维扫描系统和三维扫描方法 | |
CN116109772A (zh) | 点云重建方法、装置、设备及可读存储介质 | |
Zhou et al. | High-dynamic-range 3-D shape measurement with adaptive speckle projection through segmentation-based mapping | |
CN112530020B (zh) | 三维数据的重建方法、装置、处理器和电子装置 | |
Zeglazi et al. | Accurate dense stereo matching for road scenes | |
KR20110048829A (ko) | 레인지 영상의 노이즈 제거장치 및 방법 | |
CN111178111A (zh) | 二维码检测方法、电子设备、存储介质及系统 | |
CN112183526B (zh) | 可见光定位方法、装置、设备及介质 | |
Chen et al. | Fast quality-guided flood-fill phase unwrapping algorithm for three-dimensional fringe pattern profilometry | |
Fernandez et al. | One-shot absolute pattern for dense reconstruction using DeBruijn coding and windowed Fourier transform | |
CN111445400B (zh) | 存在投影盲区去除绝对相位噪声方法、装置及存储介质 | |
Schmalz et al. | A graph-based approach for robust single-shot structured light | |
CN112102335A (zh) | 基于新型散斑特征编码的双目三维成像方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230523 Assignee: Huzhou Xianlong Intelligent Manufacturing Co.,Ltd. Assignor: Beijing Xianlong Technology Co.,Ltd. Contract record no.: X2024980007386 Denomination of invention: Phase denoising method, device, equipment, and medium for stripe structured light Granted publication date: 20230714 License type: Common License Record date: 20240619 |