CN112465756A - 一种子区内像点初值估计方法、装置、介质及计算机设备 - Google Patents
一种子区内像点初值估计方法、装置、介质及计算机设备 Download PDFInfo
- Publication number
- CN112465756A CN112465756A CN202011298614.4A CN202011298614A CN112465756A CN 112465756 A CN112465756 A CN 112465756A CN 202011298614 A CN202011298614 A CN 202011298614A CN 112465756 A CN112465756 A CN 112465756A
- Authority
- CN
- China
- Prior art keywords
- sub
- image
- deformation
- state image
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
- G01B11/161—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by interferometric means
- G01B11/162—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by interferometric means by speckle- or shearing interferometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
本发明公开了一种子区内像点初值估计方法、装置、存储介质及计算机设备,包括:获取被测件的图像集合,将图像集合中的图像划分为多个图像对(Fi,Fi+1),其中,0≤i<m,Fi为当前状态图像,Fi+1为下一状态图像,从当前状态图像为变形前图像FO开始,依照变形发生先后顺序,对每个图像对(Fi,Fi+1)执行如下步骤,直至下一状态图像为终态变形图像Fm:将每个当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区,其中,当前状态图像Fi的子区为第一类子区,下一状态图像Fi+1的子区为第二类子区;基于子区划分结果,以当前状态图像为初始状态,对下一状态图像进行初值估计,可快速准确的实现子区内像点初值估计,满足持续变形、有变形过程分析需求以及大变形场景下的估值需求。
Description
技术领域
本发明涉及散斑应变测量技术,特别涉及一种子区内像点初值估计方法、装置、介质及计算机设备。
背景技术
三维数字图像相关技术(Three Digital Image Correlation,3D-DIC),三维散斑应变测量方法由于具有非接触、非干涉、高精度、可三维建模、可全场测量等诸多优点,从其问世伊始,就逐渐从传统的材料力学测量扩展到建筑工程、生命科学、航空航天、工业检测等诸多领域。
长久以来,如何进一步提高散斑应变测量的精度、计算速度、测量的实时性,并保证测量结果的鲁棒性一直都是研究的热点。针对被测对象变形前后对应像点的匹配问题,学者们先后提出了多种不同的匹配算法。这些算法基本都符合先进行粗略的匹配初值估计,然后再用各种迭代算法进行精确匹配的流程。
初值估计过程中,具有代表性的有:传统变形子区全像素搜索方法、主流的种子点扩散匹配方法以及利用仿射变换进行整像素搜索方法。
其中,传统变形子区全像素搜索方法是假定参考子区的形状保持不变,仅发生刚体位移,通过在指定的搜索区域内逐像素移动参考子区并计算相关系数,找到相关系数最大的子区作为整位移初值,这种方法难以适应子区发生较大旋转的场景,且计算量大,难以满足实时性测量的需求。
当前主流的初值估计算法是种子点扩散算法以及基于此的改进算法。该方法先通过对图像某一点或某一子区通过整像素搜索和亚像素迭代计算,完成变形前后的匹配,然后将这一点或者子区作为种子点,依据连续变形理论,按照像素相邻关系进行扩散匹配。这种算法虽然高效,但若要进行并行计算,仍需预先匹配计算多个种子点。且若种子点匹配失败或者存在较大误差,将直接影响后续扩散算法的匹配结果。
此外,还有通过仿射变换提高整像素搜索速度的方法,该方法虽然可以提高整像素搜索的速度,但匹配的精度较差。且当子区内像素点对应位置变形的方向差异性较大时无法满足。
发明内容
本发明的目的是提供一种子区内像点初值估计的方法,以解决现有技术存在的问题,尤其适合持续变形、有变形过程分析需求以及大变形等场景下初值估计。
为实现上述目的,本发明提供一种子区内像点初值估计的方法,包括如下步骤:
S1获取被测件的图像集合,将所述图像集合中的图像划分为多个图像对(Fi,Fi+1),其中,0≤i<m,Fi为当前状态图像,Fi+1为下一状态图像,FO为变形前图像,Fm为终态变形图像;
S2从所述当前状态图像为变形前图像FO开始,依照变形发生先后顺序,对每个图像对(Fi,Fi+1)执行如下步骤,直至所述下一状态图像为终态变形图像Fm:
S21将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区,其中,所述当前状态图像Fi的子区为第一类子区,所述下一状态图像Fi+1的子区为第二类子区;
S22基于所述子区划分结果,以所述当前状态图像为初始状态,对下一状态图像进行初值估计。
优选的,所述当前状态图像为变形前图像FO,所述下一状态图像为第一组中间变形图像F1,所述第一类子区与所述第二类子区为四边形网格,所述步骤S22中,以所述当前状态图像为初始状态,对下一状态图像进行初值估计包括如下步骤:
S221对于任意一个第一类子区,获取所述第一类子区的四个子区顶点ABCD的坐标值(xa,,ya)、(xb,,yb)、(xc,,yc)、(xd,,yd),以及顶点ABCD形变向量在x轴上的分量ax,bx,cx,dx,与所述顶点ABCD形变向量在y轴上的分ay,by,cy,dy;
S222对于第二类子区任意一个像点P′(x′,y′),获取所述像点P′(x′,y′)第一类子区上对应的点P(x,y);
S223基于如下公式确定所述P′(x′,y′)估值:
优选的,所述当前状态图像与所述下一状态图像均为变形图像,所述第一类子区与所述第二类子区为四边形网格,所述步骤S22中,以所述当前状态图像为初始状态,对下一状态图像进行初值估计包括如下步骤:
S221’对于任意一个第一类子区,获取所述第一类子区的四个子区顶点ABCD的坐标值(xa,,ya)、(xb,,yb)、(xc,,yc)、(xd,,yd),以及顶点ABCD形变向量在x轴上的分量ax,bx,cx,dx,与所述顶点ABCD形变向量在y轴上的分ay,by,cy,dy;
S222’对于第二类子区任意一个像点P′(x′,y′),获取所述像点P′(x′,y′)第一类子区上对应的点P(x,y);
S223’基于如下公式确定所述P′(x′,y′)估值:
其中:
优选的,所述被测件表面设有带标记点的散斑图案,将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区包括下步骤:
S211分别识别所述当前状态图像与所述下一状态图像上的标记点;
S212依据所述标记点将所述当前状态图像、下一状态图像初步划分为若干子区;
S213匹配所述第一类子区与所述第二类子区以形成多个子区对,并确定每个所述子区对的误差估计特征值Pk;
S214比较所述误差估计特征值Pk与预设的特征值阈值大小,判断对应的子区对的划分是否达标;若所述子区对的误差估计特征值Pk小于所述特征值阈值,则判断相应的子区对的划分已达标;若所述子区对的误差估计特征值Pk大于所述特征值阈值,则将相应的子区对分别再次细化后转入步骤S3,直至判断全部的所述子区对划分达标。
更进一步的,所述误差估计特征值Pk的计算公式为:
dk为第k个子区对的大小度量参数;
ρ1,ρ2为平衡子区形变误差和兴趣场的权值。
其中:κ为均一化参数;
ηij—表示向量i和向量j的模大小之和;
M—为ηij中的最大值。
本发明还公开一种子区内像点初值估计装置,包括:
图像获取及配对模块,用于获取被测件的图像集合,将所述图像集合中的图像划分为多个图像对(Fi,Fi+1),其中,0≤i<m,Fi为当前状态图像,Fi+1为下一状态图像,FO为变形前图像,Fm为终态变形图像;
初值估计模块,用于从所述当前状态图像为变形前图像FO开始,依照变形发生先后顺序,对每个图像对(Fi,Fi+1)执行如下步骤,直至所述下一状态图像为终态变形图像Fm:其包括:
子区划分子模块,用于将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区,其中,所述当前状态图像Fi的子区为第一类子区,所述下一状态图像Fi+1的子区为第二类子区;
初值估计子模块,用于基于所述子区划分结果,以所述当前状态图像为初始状态,对下一状态图像进行初值估计。
本发明还提供了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本发明公开了一种子区内像点初值估计的方法、装置、存储介质及计算机设备,利用细分子区的顶点形变向量,快速完成子区内像点的初值估计过程,精度可达到亚像素级别,尤其适合持续变形、有变形过程分析需求以及大变形等场景下初值估计。
(1)在进行初值估计时,其利用子区顶点形变向量进行双线性插值完成,在像点的估值过程中,持续以前一形变结果为初始状态,对后一形变状态进行初值估计,配合子区细分结果,可有效满足持续变形、有变形过程分析需求以及大变形的场景下的估值需求。
(2)在进行子区划分时,结合连续变形理论,充分考虑了子区各位置差异性可能造成的匹配误差,并提出采用子区顶点形变向量差异来衡量这种误差,指导子区细分过程。同时,兼顾考虑了实际工程测量过程中对于零件各部分关注度不同的状况,并结合模拟仿真等现有预测方法,提出了兴趣场函数对子区细分过程产生影响。此外,还添加了权衡因子,平衡子区顶点形变向量差异和兴趣场函数对子区细分的影响权重。
(3)此外,通过标记点的引入,可以快速进行图像子区划分。由于标记点可以被系统轻易识别,因此相比种子点扩散算法等技术中的初始子区划分,不需经过复杂的计算过程,且由于标记点位置的确定性,这些点具有绝对的匹配正确率,精度较其他方法高。标记点的像点匹配、立体匹配等都具有绝对意义,可指导非标记点位置散斑的快速初值估计过程。
附图说明
图1为本发明所示的子区内像点初值估计方法一实施例的工作流程示意图;
图2为子区内像点初值估计方法另一实施例的工作流程示意图
图3为初始子区细分一实施例的工作流程示意图;
图4为制斑流程示意图;
图5为图2所示实施例中标记点的位置示意图;
图6为实现发明所示的快速初值估计方法的硬件设备的结构示意图;
图7(a)为第一类子区的结构示意图;图7(b)为第二类子区的结构示意图;图7(c)为
形变向量的示意图;
图8为兴趣场函数的形成示意图;
图9为子区细分示意图;
图10(a)为当前状态图像为变形前图像的形变向量双线性插值示意图;图10(b)为图10(a)所示实施例中像点初值估计结果示意图
图11(a)为当前状态图像为变形后图像的形变向量双线性插值示意图;图11(b)为图11(a)所示实施例中像点初值估计结果示意图;
图12为图1为本发明所示的子区内像点初值估计装置一实施例的结构示意图;
图13为是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,而非以任何方式限制本发明的保护范围。
在说明书的全文中,相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列相目中的一个或多个的任何和全部组合。在附图中,为了便于说明,已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例而非严格按比例绘制。
还应理解的是,用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”,当在本说明书中使用时表示存在所陈述的特征、步骤、整体、操作、元件和/或部件,但不排除存在或附加有一个或多个其它特征、步骤、整体、操作、元件、部件和/或它们的组合。
如在说明书中使用的用语“基本上”、“大约”以及类似的用于用作表示近似的用语,而不用作表示程度的用语,并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。
除非另有限定,否则本文中使用的所有用语(包括技术用语和科学用语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是,用语(例如在常用词典中定义的用语)应被解释为具有与它们在相关技术的上下文中的含义一致的含义,并且将不被以理想化或过度正式意义解释,除非本文中明确如此限定。
实施例一
如图1所示,本发明公开了一种子区内像点初值估计方法,包括如下步骤:
S1获取被测件的图像集合,将所述图像集合中的图像划分为多个图像对(Fi,Fi+1),其中,0≤i<m,Fi为当前状态图像,Fi+1为下一状态图像,FO为变形前图像,Fm为终态变形图像;
S2从所述当前状态图像为变形前图像FO开始,依照变形发生先后顺序,对每个图像对(Fi,Fi+1)执行如下步骤,直至所述下一状态图像为终态变形图像Fm:
S21将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区,其中,所述当前状态图像Fi的子区为第一类子区,所述下一状态图像Fi+1的子区为第二类子区;
S22基于所述子区划分,以所述当前状态图像为初始状态,对下一状态图像进行初值估计。
本发明所示的一种子区内像点初值估计方法在进行初值估计时,其利用子区顶点形变向量进行双线性插值完成,在像点的估值过程中,持续以前一形变结果为初始状态,对后一形变状态进行初值估计,配合子区细分结果,可有效满足持续变形、有变形过程分析需求以及大变形的场景下的估值需求。
步骤S1中,对被测件在发生形变的不同时刻分别进行拍摄,获取被测件的图像集合,所述多个图像对(Fi,Fi+1)包括(F0,F1)、(F1,F2)、(F2,F3)、…(Fi,Fi+1)…(Fm-1,Fm);对应的,如图2所示,步骤S2从所述当前状态图像为变形前图像FO开始,依照变形发生先后顺序,对每个图像对(Fi,Fi+1)执行如下步骤,直至所述下一状态图像为终态变形图像Fm包括:
步骤S201将所述变形前图像FO与中间形变图像F1分别划分为若干子区;以变形前图像FO为初始状态,对中间形变图像F1的形变状态进行初值估计,获取中间形变图像F1的初值;
步骤S202将所述中间形变图像F1与中间形变图像F2分别划分为若干子区;以中间形变图像F1的形变结果为初始状态,对中间形变图像F2的形变状态进行初值估计,获取中间形变图像F2的初值;
步骤S203将所述中间形变图像F2与中间形变图像F3分别划分为若干子区;以中间形变图像F3的形变结果为初始状态,对中间形变图像F3的形变状态进行初值估计,获取中间形变图像F3的初值;
步骤S20i,将所述中间形变图像Fn-1与中间形变图像Fn分别划分为若干子区;以中间形变图像Fn-1的形变结果为初始状态,对中间形变图像Fn的形变状态进行初值估计,获取中间形变图像Fn的初值;
依次类推,直至步骤S20m,下一状态图像Fi+1为终态变形图像Fm,此时将所述中间形变图像Fm-1与终态变形图像Fm分别划分为若干子区;以中间形变图像Fm-1的形变结果为初始状态,对终态变形图像Fm的形变状态进行初值估计,从而最终获取终态变形图像Fm的初值。
作为一优选方案,步骤S201至步骤中S20m中,如图3所示,所述被测件表面设有带标记点的散斑图案,将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区,其中,所述当前状态图像Fi的子区为第一类子区,所述下一状态图像Fi+1的子区为第二类子区包括:
S211分别识别所述当前状态图像与所述下一状态图像上的标记点;
S212依据所述标记点将所述当前状态图像、下一状态图像初步划分为若干子区;
S213匹配所述第一类子区与所述第二类子区以形成多个子区对,并确定每个所述子区对的误差估计特征值Pk。
S214比较所述误差估计特征值Pk与预设的特征值阈值大小,判断对应的子区对的划分是否达标;
S2141若所述子区对的误差估计特征值Pk小于所述特征值阈值,则判断相应的子区对的划分已达标;
S2142若所述子区对的误差估计特征值Pk大于所述特征值阈值,则将相应的子区对分别再次细化后转入步骤S213,直至判断全部的所述子区对划分达标。
本发明通过将标记点引入到了子区划分中,由于标记点可以被系统轻易识别,因此相比现有的种子点扩散算法等技术中的初始子区划分,不需经过复杂的计算过程,且由于标记点位置的确定性,这些点具有绝对的匹配正确率,精度较其他方法高。
如图4所示,为保证标记点不被遮盖或破坏,可先对被测件表面制斑,然后进行标记点喷涂,喷涂方法可选用水转印、喷墨打印等。
标记点的样式和密度、排布方式等可根据实际测量需求决定。标记点不宜过密,否则将给标记点在被测件的喷涂过程造成一定的困扰。如图5所示,标记点可由任意具备尺度不变性、旋转不变性、受光照强度影响较小中一个或多个性质的图案组成,也可通过颜色区别等手段达到识别的目的。选定所需的标记点图案后,通过计算机控制带标记点的散斑图案生成,并将其喷涂在已经制斑的被测件表面即可。
完成被测件的制斑流程后,采用图6所示相机系统对变形前后的被测件进行图像采集。相机系统的硬件组成如图6所示,其包括两个或多个相机[1-1、1-2]、光照灯[2]、计算机及控制逻辑单元[3]和带标记点散斑图案的被测件[4]。相机可在被测件发生形变前后动态采集被测件表面的图像信息,光照灯用以提高光照质量。计算机及控制逻辑通过控制光照灯、相机来完成整个图像采集过程,以及对采集的散斑图像进行处理。
要完成快速初值估计,就需要将相机拍摄图像划分为若干个子区,这些子区内的像点具有相似的形变趋势,从而利用连续变形理论,通过像点的对应关系完成子区内所有像点的快速匹配。
步骤S211中,被测件通过表面制斑,从而被测件的不同区域位置可以被轻易识别。所不同的是,涂敷在被测件表面的散斑被人为的添加了可轻易被系统识别的标记图案或标记点(以下将标记图案或标记点统称为标记点),从而通过简单的图像处理就可定位识别这些标记位置。根据本步骤中所添加的标记点类型的不同,可以依据颜色识别、模式识别等方法进行标记点的快速识别变形前后图像中的各个标记点。标记点作为可快速识别的单元,在形变前后的初值估计及后续的立体匹配过程中可作为具有绝对匹配精度的位置点。
步骤S212中,当变形前后图像的标记点识别出来之后,可经由网格划分技术将识别到的标记点连接成特定形状的网络(即将对应的标记点连接),如划分为多个三角形网格、四边形网格或六边形网格等,从而以将进行变形前后的图像初步划分为若干子区,其中当前状态图像的各个子区记为第一类子区,下一状态图像中的各个子区记为第二类子区,其中有多种方法可实现网格划分,如可采用有限元进行网格划分。
S213匹配所述第一类子区与所述第二类子区以形成多个子区对,并确定每个所述子区对的误差估计特征值Pk。
依据连续变形理论,在同一方向上,任何两个标记点在变形前后都不可能交叠错位,因此,虽然变形前后标记点位置发生了改变,但可以根据标记点的相邻分布关系,确定变形后的标记点和变形前的哪一个标记点对应。此外,也可以通过深度学习方法将变形前后图像中的子区一一匹配对应。
子区匹配完毕之后,继续确定每个子区对的误差估计特征值Pk,以度量子区是否需要再细分。确定每个子区形变误差估计特征值Pk时,本实施例结合实际工程测量经验方法,引入兴趣场函数,将子区顶点形变向量差异评估函数和兴趣场函数δ(x,y)结合来控制子区细分过程。
作为一优选方案,步骤S13中,误差估计特征值Pk的计算公式为
dk为第k个子区对的大小度量参数;
ρ1,ρ2为平衡子区形变误差和兴趣场的权值。
本实施例中,dk为第k个子区对中对应的第一类子区或第二类子区的边长、半径或者面积,其中,若选择第一类子区的边长、半径或者面积作为dk的取值,后续计算时,则一直沿用第一类子区的参数;同理,若选择第二类子区的边长、半径或者面积作为dk的取值,后续计算时,则一直沿用第二类子区中的参数。
ρ1,ρ2权值大小取决于对子区形变误差和对于某一区域的感兴趣程度。更进一步的,可使两者之和为1,且两者均不小于0。
其中:
κ为均一化参数;
ηij—表示向量i和向量j的模大小之和;
M—为ηij中的最大值。
如图7所示,顶点ABCD为第一类子区的顶点,顶点A’B’C’D’为第二类子区对应的顶点,上述公式中表示向量与向量之间所夹的角;表示向量与向量之间所夹的角;表示向量与向量之间所夹的角;表示向量与向量之间所夹的角;表示向量与向量之间所夹的角;表示向量与向量之间所夹的角;
M为每两个向量模大小之和的最大值,即M=Max(ηab,ηac,ηbd,ηcd,ηad,ηbc)
当初步划分的子区判断不达标被再次细化后,根据选择的子区划分方法不同,子区的顶点可以是标记点,也可以是细分位置点。
如图8所示,兴趣场函数标志了对测量件不同区域的关注程度,可由实际测量环境和先验知识决定。比如,在一些场景下,测量件的大致变形趋势可由以往经验或软件模拟获得。此时,可通过兴趣场函数对测量件可能发生较大变形的区域设置较大的值以提高关注度。再如,有时对工件测量过程中会比较关注工件的某一部分的变形情况。此时同样可以通过兴趣场函数对这些部分设置较大的值。兴趣场函数的值越大,窗口细化等级也就越高,初值估计的结果就越精确。
其中,兴趣场函数可以是任意合理的函数,如二维高斯分布函数或二维分段函数,此外,在不清楚变形分布情况或无需设置特别关注区域时,可将兴趣函数规定为恒定值。
作为一优选方案,当兴趣场函数为二维高斯分布函数时,计算公式如下所示:
x,y是指图像卡迪尔坐标的两个轴向。
作为一优选方案,当兴趣场函数为二维分段函数时,计算公式如下所示:
如图9所示,S214比较所述误差估计特征值Pk与预设的特征值阈值大小,判断对应的子区对的划分是否达标;
S2141若所述子区对的误差估计特征值Pk小于所述特征值阈值,则判断相应的子区对的划分已达标;
S2142若所述子区对的误差估计特征值Pk大于所述特征值阈值,则将相应的子区对分别再次细化后转入步骤S213,直至判断全部的所述子区对划分达标。
子区窗口划分太过稀疏,则子区内初值估计难度越大,初值估计误差越大;子区窗口划分太过密集,则需要精确匹配的初始点太多,计算速度降低。本步骤中,对子区初步划分结果进行评估,比较每个所述子区对的误差估计特征值Pk与预设的特征值阈值大小,判断对应的子区对是否需要细化,其中特征值阈值为一个预设的数值,对不同的待测件,根据实际经验设置不同的数值。若所述误差估计特征值Pk大于所述特征值阈值,则依据所述标记点将对应的子区对别划分为若干子区后转入步骤S213,直至判断全部的所述子区对误差估计特征值Pk小于特征值阈值。
本步骤中,作为一优选方案,经由精确匹配算法(插值算法)对误差估计特征值Pk大于特征值阈值的子区进行划分(包括对变形前后的子区均进行划分),即利用插值算法计算子区内某点变形前后位置的方法,将相应的子区对分别细化。
上述子区内像点初值估计方法,并结合实际工程测量经验方法,引入兴趣场函数。将子区顶点形变向量差异评估函数和兴趣场函数结合来控制子区细分过程,为各像点的快速、准确初值估计提供了基础。
当子区划分完毕后,转入步骤S22基于子区划分的结果,以所述当前状态图像为初始状态,对下一状态图像进行初值估计。
首先执行步骤S201,对中间形变图像F1初值估计,如图10(a)和图10(b)所示,当前状态图像为变形前图像FO,所述下一状态图像为中间变形图像F1时,作为一优选方案,所述第一类子区与所述第二类子区为四边形网格,所述步骤S201中,对第二类子区中任意一点P’,以所述当前状态图像为初始状态,对下一状态图像进行初值估计包括如下步骤:
S221对于任意一个第一类子区,获取所述第一类子区的四个子区顶点ABCD的坐标值(xa,,ya)、(xb,,yb)、(xc,,yc)、(xd,,yd),以及顶点ABCD形变向量在x轴上的分量ax,bx,cx,dx,与所述顶点ABCD形变向量在y轴上的分ay,by,cy,dy;
S222对于第二类子区任意一个像点P′(x′,y′),获取所述像点P′(x′,y′)第一类子区上对应的点P(x,y);
S223基于如下公式确定所述P′(x′,y′)估值:
待步骤201执行完毕,确定F1的初值估计,然后依次执行步骤S202、步骤S203直至步骤S20m。
如图11(a)和图11(b)所示,在步骤S202至步骤S20m的估值过程中,即当前状态图像与所述下一状态图像均为发生变形图像时,均基于前一次的形变估值结果确定后一次的形变估值。
作为一优选方案,所述第一类子区与所述第二类子区为四边形网格,所述步骤S202至步骤S20m中,对第二类子区中任意一点P’以所述当前状态图像为初始状态,对下一状态图像进行初值估计包括如下步骤:
S221’对于任意一个第一类子区,获取所述第一类子区的四个子区顶点ABCD的坐标值(xa,,ya)、(xb,,yb)、(xc,,yc)、(xd,,yd),以及顶点ABCD形变向量在x轴上的分量ax,bx,cx,dx,与所述顶点ABCD形变向量在y轴上的分ay,by,cy,dy;
S222’对于第二类子区任意一个像点P′(x′,y′),获取所述像点P′(x′,y′)第一类子区上对应的点P(x,y);
S223’基于如下公式确定所述P′(x′,y′)估值:
其中:
实施例二
如图12所示,本发明还公开了一种子区内像点初值估计装置10,包括:
图像获取及配对模块11,用于获取被测件的图像集合,将所述图像集合中的图像划分为多个图像对(Fi,Fi+1),其中,0≤i<m,Fi为当前状态图像,Fi+1为下一状态图像,FO为变形前图像,Fm为终态变形图像;
初值估计模块12,用于从所述当前状态图像为变形前图像FO开始,依照变形发生先后顺序,对每个图像对(Fi,Fi+1)执行如下步骤,直至所述下一状态图像为终态变形图像Fm:
子区划分子模块,用于将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区,其中,所述当前状态图像Fi的子区为第一类子区,所述下一状态图像Fi+1的子区为第二类子区;
初值估计子模块,永不基于所述子区划分结果,以所述当前状态图像为初始状态,对下一状态图像进行初值估计。
本发明所示的一种子区内像点初值估计装置10在进行初值估计时,其利用子区顶点形变向量进行双线性插值完成,在像点的估值过程中,持续以前一形变结果为初始状态,对后一形变状态进行初值估计,配合子区细分结果,可有效满足持续变形、有变形过程分析需求以及大变形的场景下的估值需求。
作为一优选方案,所述初值估计子模块包括第一初值估计单元,用于所述当前状态图像为变形前图像FO,所述下一状态图像为中间变形图像F1,所述第一类子区与所述第二类子区为四边形网格时的初值预估,包括:
第一参数获取子单元,用于对于任意一个第一类子区,获取所述第一类子区的四个子区顶点ABCD的坐标值(xa,,ya)、(xb,,yb)、(xc,,yc)、(xd,,yd),以及顶点ABCD形变向量在x轴上的分量ax,bx,cx,dx,与所述顶点ABCD形变向量在y轴上的分ay,by,cy,dy;
第一配对子单元,用于对于第二类子区任意一个像点P′(x′,y′),获取所述像点P′(x′,y′)第一类子区上对应的点P(x,y);
第一初值预估子单元,用于基于如下公式确定所述P′(x′,y′)估值:
作为一优选方案,所述初值估计子模块还包括第二初值估计子单元,用于所述当前状态图像与所述下一状态图像均为变形图像,所述第一类子区与所述第二类子区为四边形网格时的初值估计,包括:
第二参数获取子单元,用于对于任意一个第一类子区,获取所述第一类子区的四个子区顶点ABCD的坐标值(xa,,ya)、(xb,,yb)、(xc,,yc)、(xd,,yd),以及顶点ABCD形变向量在x轴上的分量ax,bx,cx,dx,与所述顶点ABCD形变向量在y轴上的分ay,by,cy,dy;
第二配对子单元,对于第二类子区任意一个像点P′(x′,y′),获取所述像点P′(x′,y′)第一类子区上对应的点P(x,y);
第二初值预估子单元,用于基于如下公式确定所述P′(x′,y′)估值:
其中:
作为一优选方案,所述被测件表面设有带标记点的散斑图案,所述子区划分子模块包括:
标记点识别子单元,用于分别识别所述当前状态图像与所述下一状态图像上的标记点;
子区初步划分子单元,用于依据所述标记点将所述当前状态图像、下一状态图像初步划分为若干子区;
误差估计特征值获取子单元,用于匹配所述第一类子区与所述第二类子区以形成多个子区对,并确定每个所述子区对的误差估计特征值Pk;
子区细分子单元,用于比较所述误差估计特征值Pk与预设的特征值阈值大小,判断对应的子区对的划分是否达标;若所述子区对的误差估计特征值Pk小于所述特征值阈值,则判断相应的子区对的划分已达标;若所述子区对的误差估计特征值Pk大于所述特征值阈值,则将相应的子区对分别再次细化后转入步骤S3,直至判断全部的所述子区对划分达标。
更进一步的,所述误差估计特征值Pk的计算公式为:
dk为第k个子区对的大小度量参数;
ρ1,ρ2为平衡子区形变误差和兴趣场的权值。
其中:
κ为均一化参数;
ηij—表示向量i和向量j的模大小之和;
M—为ηij中的最大值。
实施例三
图13所示是本发明实施例提供的一种计算机设备的结构示意图,如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于:可通过系统总线相互通信连接的存储器21、处理器22,如图13所示。需要指出的是,图13仅示出了具有组件21-22的计算机设备20,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM),存储器21也可以是计算机设备20的外部存储设备,例如该计算机设备20上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中,存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件,例如方法实施例中的子区内像点初值估计方法的程序代码等。此外,存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中,处理器22用于运行存储器21中存储的程序代码或者处理数据,例如运行子区内像点初值估计装置10,以实现方法实施例中的子区内像点初值估计方法。
实施例四
本申请还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储子区内像点初值估计装置的程序代码,被处理器执行时实现方法实施例中的子区内像点初值估计方法。
需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种子区内像点初值估计方法,其特征在于,包括如下步骤:
S1获取被测件的图像集合,将所述图像集合中的图像划分为多个图像对(Fi,Fi+1),其中,0≤i<m,Fi为当前状态图像,Fi+1为下一状态图像,FO为变形前图像,Fm为终态变形图像;
S2从所述当前状态图像为变形前图像FO开始,依照变形发生先后顺序,对每个图像对(Fi,Fi+1)执行如下步骤,直至所述下一状态图像为终态变形图像Fm;
S21将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区,其中,所述当前状态图像Fi的子区为第一类子区,所述下一状态图像Fi+1的子区为第二类子区;
S22基于所述子区划分结果,以所述当前状态图像为初始状态,对下一状态图像进行初值估计。
2.根据权利要求1所述的子区内像点初值估计方法,其特征在于,
所述当前状态图像为变形前图像FO,所述下一状态图像为第一组中间变形图像F1,所述第一类子区与所述第二类子区为四边形网格,所述步骤S22中,以所述当前状态图像为初始状态,对下一状态图像进行初值估计包括如下步骤:
S221对于任意一个第一类子区,获取所述第一类子区的四个子区顶点ABCD的坐标值(xa,,ya)、(xb,,yb)、(xc,,yc)、(xd,,yd),以及顶点ABCD形变向量在x轴上的分量ax,bx,cx,dx,与所述顶点ABCD形变向量在y轴上的分ay,by,cy,dy;
S222对于第二类子区任意一个像点P′(x′,y′),获取所述像点P′(x′,y′)第一类子区上对应的点P(x,y);
S223基于如下公式确定所述P′(x′,y′)估值:
3.跟据权利要求1所述的子区内像点初值估计方法,其特征在于,所述当前状态图像与所述下一状态图像均为变形图像,所述第一类子区与所述第二类子区为四边形网格,所述步骤S22中,以所述当前状态图像为初始状态,对下一状态图像进行初值估计包括如下步骤:
S221’对于任意一个第一类子区,获取所述第一类子区的四个子区顶点ABCD的坐标值(xa,,ya)、(xb,,yb)、(xc,,yc)、(xd,,yd),以及顶点ABCD形变向量在x轴上的分量ax,bx,cx,dx,与所述顶点ABCD形变向量在y轴上的分ay,by,cy,dy;
S222’对于第二类子区任意一个像点P′(x′,y′),获取所述像点P′(x′,y′)第一类子区上对应的点P(x,y);
S223’基于如下公式确定所述P′(x′,y′)估值:
其中:
4.根据权利要求1所述的一种子区内像点初值估计方法,其特征在于:所述被测件表面设有带标记点的散斑图案,将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区包括下步骤:
S211分别识别所述当前状态图像与所述下一状态图像上的标记点;
S212依据所述标记点将所述当前状态图像、下一状态图像初步划分为若干子区;
S213匹配所述第一类子区与所述第二类子区以形成多个子区对,并确定每个所述子区对的误差估计特征值Pk;
S214比较所述误差估计特征值Pk与预设的特征值阈值大小,判断对应的子区对的划分是否达标;若所述子区对的误差估计特征值Pk小于所述特征值阈值,则判断相应的子区对的划分已达标;若所述子区对的误差估计特征值Pk大于所述特征值阈值,则将相应的子区对分别再次细化后转入步骤S3,直至判断全部的所述子区对划分达标。
8.一种子区内像点初值估计装置,其特征在于,包括:
图像获取及配对模块,用于获取被测件的图像集合,将所述图像集合中的图像划分为多个图像对(Fi,Fi+1),其中,0≤i<m,Fi为当前状态图像,Fi+1为下一状态图像,FO为变形前图像,Fm为终态变形图像;
初值估计模块,用于从所述当前状态图像为变形前图像FO开始,依照变形发生先后顺序,对每个图像对(Fi,Fi+1)执行如下步骤,直至所述下一状态图像为终态变形图像Fm:其包括:
子区划分子模块,用于将每个所述当前状态图像Fi与下一状态图像Fi+1分别划分为若干子区,其中,所述当前状态图像Fi的子区为第一类子区,所述下一状态图像Fi+1的子区为第二类子区;
初值估计子模块,用于基于所述子区划分结果,以所述当前状态图像为初始状态,对下一状态图像进行初值估计。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011298614.4A CN112465756B (zh) | 2020-11-18 | 2020-11-18 | 一种子区内像点初值估计方法、装置、介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011298614.4A CN112465756B (zh) | 2020-11-18 | 2020-11-18 | 一种子区内像点初值估计方法、装置、介质及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112465756A true CN112465756A (zh) | 2021-03-09 |
CN112465756B CN112465756B (zh) | 2021-09-10 |
Family
ID=74836151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011298614.4A Active CN112465756B (zh) | 2020-11-18 | 2020-11-18 | 一种子区内像点初值估计方法、装置、介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112465756B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729849A (zh) * | 2013-12-31 | 2014-04-16 | 南京航空航天大学 | 一种数字图像变形初值的计算方法 |
CN104236457A (zh) * | 2014-09-09 | 2014-12-24 | 中国电子科技集团公司第三十八研究所 | 以红外光源作为散斑靶标的数字散斑测量装置及测量方法 |
CN104316978A (zh) * | 2014-10-29 | 2015-01-28 | 中国石油天然气股份有限公司 | 地球物理的近地表三维速度场研究方法和装置 |
CN104657955A (zh) * | 2015-03-06 | 2015-05-27 | 南京大树智能科技股份有限公司 | 基于核函数的数字图像相关方法的位移场迭代平滑方法 |
CN105469398A (zh) * | 2015-11-23 | 2016-04-06 | 南京航空航天大学 | 一种基于反向映射法的变形散斑生成方法 |
CN107883889A (zh) * | 2017-10-31 | 2018-04-06 | 北京航天计量测试技术研究所 | 基于激光散斑干涉的振动试验三维变形测量装置及方法 |
CN110188759A (zh) * | 2019-06-21 | 2019-08-30 | 江苏开放大学(江苏城市职业学院) | 一种在数字图像相关法中应变场子区动态选择方法 |
CN110207606A (zh) * | 2019-06-27 | 2019-09-06 | 航天神舟飞行器有限公司 | 基于数字图像关联性的面外应变测量方法 |
CN112634443A (zh) * | 2020-12-31 | 2021-04-09 | 南京理工大学智能计算成像研究院有限公司 | 一种用于三维人头测量的数字散斑相关快速实现方法 |
-
2020
- 2020-11-18 CN CN202011298614.4A patent/CN112465756B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729849A (zh) * | 2013-12-31 | 2014-04-16 | 南京航空航天大学 | 一种数字图像变形初值的计算方法 |
CN104236457A (zh) * | 2014-09-09 | 2014-12-24 | 中国电子科技集团公司第三十八研究所 | 以红外光源作为散斑靶标的数字散斑测量装置及测量方法 |
CN104316978A (zh) * | 2014-10-29 | 2015-01-28 | 中国石油天然气股份有限公司 | 地球物理的近地表三维速度场研究方法和装置 |
CN104657955A (zh) * | 2015-03-06 | 2015-05-27 | 南京大树智能科技股份有限公司 | 基于核函数的数字图像相关方法的位移场迭代平滑方法 |
CN105469398A (zh) * | 2015-11-23 | 2016-04-06 | 南京航空航天大学 | 一种基于反向映射法的变形散斑生成方法 |
CN107883889A (zh) * | 2017-10-31 | 2018-04-06 | 北京航天计量测试技术研究所 | 基于激光散斑干涉的振动试验三维变形测量装置及方法 |
CN110188759A (zh) * | 2019-06-21 | 2019-08-30 | 江苏开放大学(江苏城市职业学院) | 一种在数字图像相关法中应变场子区动态选择方法 |
CN110207606A (zh) * | 2019-06-27 | 2019-09-06 | 航天神舟飞行器有限公司 | 基于数字图像关联性的面外应变测量方法 |
CN112634443A (zh) * | 2020-12-31 | 2021-04-09 | 南京理工大学智能计算成像研究院有限公司 | 一种用于三维人头测量的数字散斑相关快速实现方法 |
Non-Patent Citations (1)
Title |
---|
苏勇 等: ""数字图像相关技术中插值偏差的理论估计"", 《力学学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112465756B (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
CN102169581A (zh) | 一种基于特征向量的快速高精度鲁棒性匹配方法 | |
CN110070096B (zh) | 针对非刚性形状匹配的局部频域描述子生成方法及装置 | |
CN114743259A (zh) | 位姿估计方法、位姿估计系统、终端、存储介质及应用 | |
Cheng et al. | Real-time and efficient 6-D pose estimation from a single RGB image | |
CN109766752B (zh) | 一种基于深度学习的目标匹配和定位方法及系统、计算机 | |
CN111768447A (zh) | 一种基于模板匹配的单目相机物体位姿估计方法及系统 | |
CN110704652A (zh) | 基于多重注意力机制的车辆图像细粒度检索方法及装置 | |
CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
CN110598711B (zh) | 一种结合分类任务的目标分割方法 | |
CN115457195A (zh) | 一种配网工程图纸二三维转换方法、系统、设备及介质 | |
CN109993728B (zh) | 一种热转印胶水偏位自动检测方法和系统 | |
Xing et al. | Efficient MSPSO sampling for object detection and 6-D pose estimation in 3-D scenes | |
CN112465756B (zh) | 一种子区内像点初值估计方法、装置、介质及计算机设备 | |
CN113191281A (zh) | 基于感兴趣区域及自适应半径的orb特征提取方法 | |
CN112465757B (zh) | 一种子区内像点初值估计方法、装置、介质及计算机设备 | |
CN115205558B (zh) | 一种具有旋转和尺度不变性的多模态影像匹配方法及装置 | |
CN112465755B (zh) | 一种初始子区细分方法、装置、计算机设备及存储介质 | |
Molnár et al. | ToFNest: Efficient normal estimation for time-of-flight depth cameras | |
CN113033578B (zh) | 基于多尺度特征匹配的图像校准方法、系统、终端及介质 | |
Zhang et al. | A YOLOv3-Based Industrial Instrument Classification and Reading Recognition Method | |
JP6725310B2 (ja) | 画像処理装置及びプログラム | |
Wan et al. | A performance comparison of feature detectors for planetary rover mapping and localization | |
CN115331021A (zh) | 基于多层特征自身差异融合的动态特征提取与描述方法 | |
CN114511631A (zh) | 摄像机视觉物体高度测量方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |