CN113218337B - 条纹图像能量提取方法、存储介质和能量提取系统 - Google Patents
条纹图像能量提取方法、存储介质和能量提取系统 Download PDFInfo
- Publication number
- CN113218337B CN113218337B CN202110473150.4A CN202110473150A CN113218337B CN 113218337 B CN113218337 B CN 113218337B CN 202110473150 A CN202110473150 A CN 202110473150A CN 113218337 B CN113218337 B CN 113218337B
- Authority
- CN
- China
- Prior art keywords
- phase
- image
- energy
- formula
- fringe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
Abstract
Description
技术领域
本发明属于3D图像数据生成及处理技术,涉及面结构光技术中的条纹投射技术,具体公开了一种条纹图像能量提取方法、存储介质和能量提取系统。
背景技术
条纹投射技术作为光学三维成像和测量中的重要分支,由于其具有极高的空间分辨能力,和极强的鲁棒性,广泛被用在工业高精度高度或者轮廓测量领域。条纹投射是将一组具有特定时间域,空间域,或者频率编码信息的条纹,通过计算机生成,或者光刻蚀到例如光栅上,然后通过特定的光源将其形态投射到物体表面,由于物体表面具有形貌信息,在空间域上会对条纹原来的形态进行调制,而载波即为物体的三维信息。继而再通过光强探测器例如相机来捕捉到被调制的条纹光。通过分析调制信号,来最终得到物体的三维形貌。
为了获得亚像素级的分辨能力,周期性正弦条纹由于其具有较好的单频特性,且通过投射前端添加物理透镜,可实现单频率的条纹投射,被广泛应用在高精度的3D传感器中。通过FTP(Fourier Transformation Profilometry)傅里叶变换轮廓术,来获得被调制信号的截断相位(wrapped phase)信息。再通过截断相位展开算法(phase unwrapping)获得解包相位,从而得到物体表面连续的相位分布图。但该方法由于使用了傅里叶变换,主要用来全貌的形状测量,对局部的高频信号提取较为困难。为了解决这个问题,学者们提出了小波变换轮廓术WTP(Wavelet Transformation Profilometry),利用可由尺度伸缩变换的小波基作为积分项,从而实现了对局部信息的定位功能。但无论是傅里叶变换,还是小波变换,其假设前提为物体表面连续,如果物体出现阶段,例如阶梯,那么将会是毁灭性的,因为阶段会产生丰富的频率,导致整体频率被污染,从而无法获得准确的相位信息。
为了解决FTP和WTP存在对突变区域无法准确获得相位图的难题。学者们又提出了基于时间域的正弦相移信号编码算法(Sinusoidal Phase-shifting)。该算法建议投射N帧条纹图,帧间也满足正弦编码规则,然后根据帧间的光强信息,来恢复每个像素的相位。由于该算法没有涉及到空间域的FTP或者WTP操作,故其对物体形貌不敏感,即使在台阶下,依旧可以求解准确的相位信息。
虽然时间域编码对物体形貌具有较高的鲁棒性,但由于投影端投射多帧图像,且帧间需要满足光强正弦变化,要求投影对光强具有较好的线性响应特性。遗憾的是,大部分光源的线性度并不理想。从而导致高阶谐波的影响,发射的光强并非是单频信号。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种条纹图像能量提取方法、存储介质和能量提取系统,其能解决上述问题。
一种基于交叉功率谱的条纹图像能量提取方法,方法包括以下步骤:
步骤S1、通过投影仪将条纹光强为I(x,y)条纹投射到漫反射白板上,并用相机拍摄条纹图像,(x,y)为像素坐标;
步骤S2、求解条纹图像的包裹相位图;
本发明还提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令运行时执行前述方法。
本发明还提供了一种三维成像中条纹投射能量提取系统,系统包括计算机、相机、投影仪和漫反射白板,所述相机和投影仪与计算机电讯连接;所述计算机包括预存储模块、中继存储模块、图像处理模块和图像输出模块;其中,在所述预存储模块中存储带有特征信息的条纹图像和系统参数,并将条纹图像发送给投影仪投影,将系统参数发送给图像处理模块;其中,在所述中继存储模块中存储由相机采集漫反射白板经投射图像后的图像;其中,图像处理模块对经漫反射白板后的条纹图像进行图像数据处理,运行前述法提取各极次谐波的能量。
相比现有技术,本发明的有益效果在于:本发明通过计算各极次的能量,就可知道条纹投射系统者整体的非线性响应主要被哪一极次的谐波影响,从而有助于系统设计者优化系统,减少谐波项的影响,提升相位求解精度。
附图说明
图1为本发明基于交叉功率谱的条纹图像能量提取方法流程示意图;
图2为线性系统下交叉功率谱;
图3为三次谐波系统的交叉功率谱;
图4为三维成像中条纹投射能量提取系统示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
第一实施例
一种基于交叉功率谱的条纹图像能量提取方法,参见图1,提取方法包括以下步骤。
步骤S1、步骤S1、通过投影仪将条纹光强为I(x,y)条纹投射到漫反射白板上,并用相机拍摄条纹图像,(x,y)为像素坐标;。所述条纹光强I(x,y)用N帧相移算法表示为:
步骤S2、求解条纹图像的包裹相位图;步骤S2中的包裹相位步骤包括:
S22、根据式2求取相位和调制度,获得包裹相位:
式中,c1、c2求解公式为:
步骤S3具体包括:
S31、将式3的包裹相位用包裹展开算法得到去包裹相位,带入式1获得初始相位的光强I’:
S32、欧拉简化,根据欧拉公式,将坐标(x,y)省略变换为:
F(ξ,η)=A(ξ,η)+C1(ξ-fx,η-fy)+C1(ξ+fx,η+fy)+…Ci(ξ-fx,η-fy)+Ci(ξ+fx,η+fy)+…式7;
如果只采用傅里叶变换得到频谱,其频谱信号是混叠在一起的,并无法直接获得各次谐波的能量分布,也就无从知晓条纹投射系统的响应情况。故为了克服这个问题,出了一种基于交叉功率谱的条纹投射系统非线性响应特性评估算法,可以直接求得各次谐波的能量。
式中,n表示谐波次数。
说明:根据傅里叶级数其存在正交性,如果想单独看谐波的能量,那么只需将其乘以响应谐波的极次即可。除了和其极次相同的会被保留,其他谐波项积分后均为零。且和具有相同的相位角,而该相位角又是(x,y)的函数,故其和空间频率对应。根据cis公式定义式8的交叉功率谱,共轭的目的是为了使得能量用实数表示。
具体的,以3次为例,线性系统参见图2,存在三次谐波情况下的交叉功率谱如图3。
图2中,线性系统下交叉功率谱,不存在谐波项。第一行从左到右为:阶段相位图,cis相位图,傅里叶变换后的cis相位。第二行从左到右:cis 3倍相位图,傅里叶变换后的cis 3倍相位图,cis 1倍相位和3倍相位的交叉功率谱。
图3中,三次谐波系统的交叉功率谱。第一行从左到右为:阶段相位图,cis相位图,傅里叶变换后的cis相位。第二行从左到右:cis3倍相位图,傅里叶变换后的cis 3倍相位图,cis1倍相位和3倍相位的交叉功率谱。
两图对比看到,对于一个线性系统,与其自身3倍相位做交叉功率谱,其频谱能量较弱;而如果存在3次谐波,则其能量较高。具体看见图2和图3第二行第三列。
通过计算各极次的能量,就可知道条纹投射系统者整体的非线性响应主要被哪一极次的谐波影响,从而有助于系统设计者优化系统,减少谐波项的影响,提升相位求解精度。
第二实施例
本发明还提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令运行时执行前述方法的步骤。其中,所述方法请参见前述部分的详细介绍,此处不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
第三实施例
一种三维成像中条纹投射能量提取系统,系统包括计算机1、相机2、投影仪3和漫反射白板4,所述相机2和投影仪3与计算机1电讯连接。
所述计算机1包括预存储模块、中继存储模块、图像处理模块和图像输出模块;
其中,在所述预存储模块中存储带有特征信息的条纹图像和系统参数,并将条纹图像发送给投影仪3投影,将系统参数发送给图像处理模块;
其中,在所述中继存储模块中存储由相机2采集漫反射白板4经投射图像后的图像;
其中,图像处理模块对经漫反射白板4后的条纹图像进行图像数据处理,运行前述方法提取各极次谐波的能量。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
4.根据权利要求1所述的条纹图像能量提取方法,其特征在于:步骤S3包括:
S31、将式3的包裹相位用包裹展开算法得到去包裹相位,带入式1获得初始相位的光强I’:
S32、欧拉简化,根据欧拉公式,将坐标(x,y)省略变换为:
F(ξ,η)=A(ξ,η)+C1(ξ-fx,η-fy)+C1(ξ+fx,η+fy)+…Ci(ξ-fx,η-fy)+Ci(ξ+fx,η+fy)+…式7;
6.一种计算机可读存储介质,其上存储有计算机指令,其特征在于:所述计算机指令运行时执行权利要求1-5任一项所述的方法。
7.一种三维成像中条纹投射能量提取系统,其特征在于:系统包括计算机(1)、相机(2)、投影仪(3)和漫反射白板(4),所述相机(2)和投影仪(3)与计算机(1)电讯连接;
所述计算机(1)包括预存储模块、中继存储模块、图像处理模块和图像输出模块;
其中,在所述预存储模块中存储带有特征信息的条纹图像和系统参数,并将条纹图像发送给投影仪(3)投影,将系统参数发送给图像处理模块;
其中,在所述中继存储模块中存储由相机(2)采集漫反射白板(4)经投射图像后的图像;
其中,图像处理模块对经漫反射白板(4)后的条纹图像进行图像数据处理,运行权利要求1-5任一项所述的方法提取各极次谐波的能量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110473150.4A CN113218337B (zh) | 2021-04-29 | 2021-04-29 | 条纹图像能量提取方法、存储介质和能量提取系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110473150.4A CN113218337B (zh) | 2021-04-29 | 2021-04-29 | 条纹图像能量提取方法、存储介质和能量提取系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113218337A CN113218337A (zh) | 2021-08-06 |
CN113218337B true CN113218337B (zh) | 2022-08-19 |
Family
ID=77090043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110473150.4A Active CN113218337B (zh) | 2021-04-29 | 2021-04-29 | 条纹图像能量提取方法、存储介质和能量提取系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113218337B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102032877A (zh) * | 2010-11-30 | 2011-04-27 | 东南大学 | 基于小波变换的三维测量方法 |
CN109307483A (zh) * | 2018-11-20 | 2019-02-05 | 西南石油大学 | 一种基于结构光系统几何约束的相位展开方法 |
CN111156925A (zh) * | 2019-12-19 | 2020-05-15 | 南京理工大学 | 基于线结构光和工业机器人的大构件三维测量方法 |
CN112097682A (zh) * | 2020-09-22 | 2020-12-18 | 中国科学院长春光学精密机械与物理研究所 | 凸透镜的凸面面形检测方法、装置及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009141838A1 (en) * | 2008-05-19 | 2009-11-26 | Zhermack S.P.A. | Method for contactless measurement of surface shape objects, particularly for dental arch portions or teeth portions |
CN103234461A (zh) * | 2013-05-07 | 2013-08-07 | 北京交通大学 | 一种新的激光干涉测长方法 |
CN103940371A (zh) * | 2014-05-12 | 2014-07-23 | 电子科技大学 | 一种用于跃变物体的高精度三维面形测量的方法 |
CN106949968B (zh) * | 2017-03-23 | 2019-01-22 | 中国石油大学(华东) | 一种基于频谱能量的数字全息图谐波探测与消除方法 |
CN108253907B (zh) * | 2018-02-01 | 2020-07-21 | 深圳市易尚展示股份有限公司 | 基于希尔伯特变换相位误差校正的三维测量方法和装置 |
CN110954524B (zh) * | 2019-12-18 | 2022-07-08 | 深圳大学 | 一种非线性结构光超分辨显微成像装置及方法 |
-
2021
- 2021-04-29 CN CN202110473150.4A patent/CN113218337B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102032877A (zh) * | 2010-11-30 | 2011-04-27 | 东南大学 | 基于小波变换的三维测量方法 |
CN109307483A (zh) * | 2018-11-20 | 2019-02-05 | 西南石油大学 | 一种基于结构光系统几何约束的相位展开方法 |
CN111156925A (zh) * | 2019-12-19 | 2020-05-15 | 南京理工大学 | 基于线结构光和工业机器人的大构件三维测量方法 |
CN112097682A (zh) * | 2020-09-22 | 2020-12-18 | 中国科学院长春光学精密机械与物理研究所 | 凸透镜的凸面面形检测方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113218337A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Generic nonsinusoidal fringe model and gamma calibration in phase measuring profilometry | |
Xing et al. | Correction of projector nonlinearity in multi-frequency phase-shifting fringe projection profilometry | |
Su et al. | Phase unwrapping algorithm based on fringe frequency analysis in Fourier-transform profilometry | |
Liu et al. | A flexible phase error compensation method based on probability distribution functions in phase measuring profilometry | |
Hu et al. | A combined binary defocusing technique with multi-frequency phase error compensation in 3D shape measurement | |
Lu et al. | Correction of illumination fluctuations in phase-shifting technique by use of fringe histograms | |
An et al. | An accuracy improving method for composite grating phase measuring profilometry | |
Zuo et al. | Optimized three-step phase-shifting profilometry using the third harmonic injection. | |
Xiao et al. | Single orthogonal sinusoidal grating for gamma correction in digital projection phase measuring profilometry | |
Ye et al. | Gamma correction for three-dimensional object measurement by phase measuring profilometry | |
Wang et al. | Single-shot phase measuring profilometry based on color binary grating with intervals | |
Long et al. | Accurate identification of saturated pixels for high dynamic range measurement | |
Zhu et al. | Alternate iterative least-squares algorithm based on nonuniform phase shifting for suppressing nonlinearity errors in fringe projection profilometry | |
Gdeisat et al. | Fast fringe pattern phase demodulation using FIR Hilbert transformers | |
Zhao et al. | Accurate fringe projection profilometry using instable projection light source | |
Fu et al. | Real-time three-dimensional shape measurement based on color binary fringe projection | |
Wang et al. | Noise-induced phase error comparison in multi-frequency phase-shifting profilometry based on few fringes | |
CN113218337B (zh) | 条纹图像能量提取方法、存储介质和能量提取系统 | |
Wang et al. | Nonlinear high-order harmonics correction for phase measuring profilometry | |
Wu et al. | An inverse error compensation method for color-fringe pattern profilometry | |
Kang et al. | Determination of optimal binary defocusing based on digital correlation for fringe projection profilometry | |
Lin et al. | Harmonics elimination in phase-shifting fringe projection profilometry by use of a non-filtering algorithm in frequency domain | |
Cai et al. | Gamma error correction algorithm for phase shift profilometry based on polar angle average | |
US10904415B2 (en) | Electromagnetic wave phase/amplitude generation device, electromagnetic wave phase/amplitude generation method, and electromagnetic wave phase/amplitude generation program | |
Chen et al. | Improving Fourier transform profilometry based on bicolor fringe pattern |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |