CN107452024B - 一种用于旋转物体全场运动追踪的视觉测量方法 - Google Patents

一种用于旋转物体全场运动追踪的视觉测量方法 Download PDF

Info

Publication number
CN107452024B
CN107452024B CN201710606900.4A CN201710606900A CN107452024B CN 107452024 B CN107452024 B CN 107452024B CN 201710606900 A CN201710606900 A CN 201710606900A CN 107452024 B CN107452024 B CN 107452024B
Authority
CN
China
Prior art keywords
image
rotation
state
camera
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710606900.4A
Other languages
English (en)
Other versions
CN107452024A (zh
Inventor
梁晋
千勃兴
李文攀
徐劲澜
孟繁昌
赵鹏亮
张桁维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201710606900.4A priority Critical patent/CN107452024B/zh
Publication of CN107452024A publication Critical patent/CN107452024A/zh
Application granted granted Critical
Publication of CN107452024B publication Critical patent/CN107452024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/86—Investigating moving sheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/86—Investigating moving sheets
    • G01N2021/8645—Investigating moving sheets using multidetectors, detector array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及一种用于旋转物体全场运动追踪的视觉测量方法，所述方法将双目视觉和数字图像相关法结合起来，在被测物体表面喷涂散斑并粘贴少量标志点。利用标志点像的中心坐标求解前后状态的旋转参数，将前后采集的散斑图像或子区集进行相应旋转变换，再进行相似子区的搜索匹配，解决了子区旋转角度过大难以匹配的问题。本公开方法能够准确得到特征表面任意位置每个状态下的空间坐标，实现跟踪与变形测量的目的。

Description

一种用于旋转物体全场运动追踪的视觉测量方法
技术领域
本公开涉及三维测量领域中的全场运动追踪与变形测量问题，特别涉及一种旋转物体的双目视觉测量方法。
背景技术
旋转物体的运动跟踪与变形测量是一个值得关注的问题，如在大型风力叶片或螺旋桨等旋转机械的故障检测中，对于大扭矩、高速作用下叶片材料性能的判断有着重要意义。然而现阶段普遍采用的接触式传感器难以有效应对这种测量需求。一方面，由于引线的问题，传感器在大型或高速旋转叶片上不好布置；另一方面，传感器建立的观测点有限，不能对整个叶片任意位置的全场位移与变形进行测量。
数字图像相关法通过搜索前后图像相似子区来确定位移，已经被广泛使用在非接触式全场变形与应变测量中。然而，这种方法构建的变形映射函数只考虑了子区微观的小角度旋转，对于宏观上绕轴旋转，通过相关函数直接进行搜索，很可能找不到变形前后的相似子区，导致匹配失败。为此，一般使用高的图像采集频率，并基于相邻状态变形的连续性,使每个状态都与它前一张状态进行匹配。但是这种匹配方式会产生累计误差，且对相机的采集速度提出了严格的要求。
发明内容
为克服传统测量手段的缺陷，实现旋转运动物体的变形追踪，本公开提出一种用于旋转物体全场运动追踪的视觉测量方法，在被测物体表面喷涂散斑并粘贴少量标志点。利用检测的标志点，对前后采集到的散斑图像或散斑子区进行旋转变换，旋转矫正后再进行相似子区的搜索匹配，解决了子区旋转角度过大难以匹配的问题。最终得到特征表面任意位置的空间坐标，实现跟踪与变形测量的目的。在这种测量方式下，由于使用标志点对后一状态的旋转角度进行矫正，散斑匹配因此可以在任意两个状态下实现，不再依赖相邻两个状态的连续性，即：任意两个状态都能实现散斑匹配。
本发明的特征是提供一种用于旋转物体全场运动追踪的视觉测量方法，所述方法包括下述步骤：
S100、在制作好散斑的旋转物体上，粘贴至少2个标志点；
S200、使用第一相机和第二相机同时连续采集旋转物体旋转时的图像，对采集到的每个旋转状态分别获取第一图像和第二图像；
S300、选择某个旋转状态作为基准状态，将其它状态作为变形状态；
S400、将基准状态的第一图像和第二图像进行散斑匹配,重建出三维点，获取观测点的初始位置；
S500、选择一个变形状态，对该变形状态与基准状态两个状态的第一图像，利用两个图像中的标志点像进行相似性匹配，获取观测点在该变形状态的第一图像中的对应子区；
S600、在该变形状态的第二图像中搜索所述对应子区，利用散斑匹配重建三维点，获取所述观测点在该变形状态中的变形位置。
具体地，所述标志点为环形；所述环形内圆的直径大小满足下式要求：
Figure BDA0001358542370000021
式中：
l为直径，单位为毫米(mm)；
d为镜头焦距，单位为毫米(mm)；
D为第一相机或第二相机的镜头到测量表面的距离，单位为毫米(mm)；
μ为像元大小，单位为μm。
具体地，所述步骤S300之前还包括下述步骤：
S201、对每个旋转状态中的第一图像和第二图像，利用所述第一图像和第二图像上的标志点像，判断第一图像和第二图像是否是同一时刻。
具体地，所述步骤S201包括下述步骤：
S2011、在每个旋转状态中的第一图像和第二图像，对第一图像上的每个标志点像，利用相机标定信息，确定该标志点像在第二图像上的理论核线，获取第二图像上的标志点像到该理论核线的最近距离；
S2022、对每个旋转状态，将所获取的最近距离进行求和后对标志点数目求平均，得到在该旋转状态下的平均最近距离；
S2023、确定平均最近距离的分布区间，将不属于该分布区间的平均最距离所对应的旋转状态删除，保留具有同步性的旋转状态。
具体地，所述相似性匹配之前包括下述步骤：
S501、获取每个标志点在两个图像中的标志点像的中心点坐标；
S502、对每个图像，获取其上所有标志点像的几何中心；
S503、求每个标志点像到所述几何中心的距离，根据所述距离判断两个图像中标志点像的对应关系；
S504、利用所述对应关系，获取旋转参数；
所述旋转参数包括旋转角度、旋转中心；
所述对应关系指两个标志点像的原像为相同标志点。
具体地，所述相似性匹配包括下述步骤：
S511、在基准状态的第一图像上建立散斑子区集；
S512、基于旋转参数，将所述散斑子集区进行旋转变换；
S513、在变形状态的第一图像上搜索旋转变换后的散斑子集区进行匹配。
具体地，所述相似性匹配包括下述步骤：
S521、在基准状态的第一图像上建立散斑子区集；
S522、基于旋转参数，将变形状态的第一图像进行旋转变换；
S523、在旋转后图像上搜索基准状态第一图像上的散斑子区集进行匹配。
具体地，所述第一相机和第二相机关于所述旋转物体对称；
所述旋转物体的中心与所述第一相机镜头中心、第二相机镜头中心的连线的夹角，在标定前范围为20～30度。
具体地，所述第一相机或第二相机的采集频率与所述旋转物体的转速存在下述关系：
Figure BDA0001358542370000031
式中：
f为第一相机或第二相机的采集频率；
r为旋转物体的转速，单位为r/min；
k为考虑了曝光时间的比例系数；
n为一个周期中采集一个旋转状态间隔的角度，单位为度。
具体地，所述步骤S200中采集到的图像使用下式计算图像清晰度评价指标：
Figure BDA0001358542370000041
式中：
G为图像清晰度评价指标，G值越大，图像越清晰；
w×h为相机的分辨率；
Fx(i,j)和Fy(i,j)分别为图像在坐标(i,j)处的灰度值F(i,j)在x方向与y方向上的一阶中心差分；
所述坐标(i,j)所在的坐标系的原点为标定板的中心，标定板所在的平面为xOy平面。
与现有技术相比，本公开方法能够准确测量得到特征表面任意位置每个状态下的空间坐标，进而计算得到运动过程中各个采集时刻的位移，速度和加速度，以及特征区域的全场变形与应变。
附图说明
图1本公开一个实施例中关于旋转追踪的测量流程示意图；
图2本公开一个实施例中的测量系统方案示意图；
图3本公开一个实施例中根据投影原理计算标定板到镜头距离示意图；
图4本公开一个实施例中关于标定板和相机位置关系示意图；
图5本公开一个实施例中关于标定板及坐标系示意图；
图6本公开一个实施例中关于极线距离约束示意图；
图7本公开一个实施例中关于变形状态匹配过程示意图；
图8本公开一个实施例中关于标志点平面绕定轴旋转示意；
图9本公开一个实施例中关于求解旋转中心的示意图；
图10本公开一个实施例中关于特征区域上每个散斑子区中心的位移矢量示意图；
图11本公开一个实施例中关于特征曲面上的全场位移示意图；
图12本公开一个实施例中关于不同半径处子区中心的运动追踪曲线示意图；
图13本公开一个实施例中关于物体旋转同时产生平移的示意图。
具体实施方式
对于本公开中涉及的方法，一个重要的应用场合为测量风力叶片，螺旋桨，旋翼等气动类叶片转动过程中的振动及变形，因此本公开的实施例以换气扇为测量对象，叙述整个测量的实施过程。
在一个实施例中，提供了一个旋转追踪的测量流程，依次经过的步骤包括测量系统搭建->双目相机标定->制作特征标记->图像采集与同步校验->变形匹配计算，如图1所示。其中：
在进行测量系统搭建时，图2示意了一种测量系统方案。测量对象为螺旋桨(1)，采用的外部硬件主要包括大功率LED(5，6)，两个工业相机或高速相机(3,4)，同步触发控制器(7)以及数据处理设备(8)，比如计算机。由于旋转运动的物体一般转速较快，需要使用高速相机采集图像，为了保证较高的采集频率，快门设置得很小，并且为了保证足够的景深，光圈开启的孔径较小，这样采集的图像会很暗，因此需要大功率直流LED或者频闪仪为被测物体补光。同步触发控制器用于控制两个相机同时采集图像。
相机的采集频率根据被测对象的旋转速度选择。按照一个旋转周期采样的次数，可计算出相机的最小帧频。设一个周期每隔n度(角度制)需要采集一个测量状态，被测物转动的速度为r(单位为r/min)，则相机的最小采集频率为：
Figure BDA0001358542370000051
其中k为考虑了曝光时间的比例系数，转速越快取值越大，一般取值为1.2。比如，若风扇转动的速度为1380r/min，要求至少每间隔10度采集一个状态，按照上式计算，相机的最小帧频为994fps。
两个相机的间距和相机到被测表面之间的距离，根据被测物体的大小布置。设测量幅面宽高为W×H，单位为mm×mm；相机的分辨率为w×h；像元大小为μ,单位为μm；镜头焦距为d,单位为mm,一般可取60～80mm；第一相机或第二相机的镜头到测量表面的距离为D,单位为毫米(mm)，如图3所示为相机芯片与测量幅面的成像关系，由相似三角形可得：
Figure BDA0001358542370000061
由双目相机与被测物体构成的三角关系如图4所示，可计算测量幅面到基线M(两相机连线)的距离：
N＝(D+d)cos(θ/2)，
式中：N为测量幅面到摄影基线的距离，θ为第一相机和第二相机的夹角，在标定前的角度值一般取为20°～30°之间。夹角的具体值在相机标定时确定。
两相机之间的距离为：M＝2×N×tan(θ/2)，
式中，M为第一相机和第二相机之间的摄影基线长度。
按照计算出的这两个距离布置好相机，使两个相机水平正视物体，尽量关于被测物体左右对称。调节光圈保证运动物体的景深，调节焦距使图像最清楚。焦距的调整可以使用图像清晰度函数进行实时评价。
优选地，使用图像灰度的一阶中心差分描述图像的清晰度。设F(i,j)为图像在(i,j)坐标处的灰度值，则x方向与y方向上的一阶中心差分Fx(i,j)和Fy(i,j)为：
Figure BDA0001358542370000062
图像清晰度评价指标，记作G，其可通过下式计算：
Figure BDA0001358542370000063
图像越清楚，G的值越大。图像调节清楚后，再连接两个相机的同步触发信号。
在双目相机标定中，选择与测量幅面大小相当的标定板，将标定板放置在被测物体的位置，保证标定板的初始位置与被测物体的基准面平行。微调相机的空间位置，使两相机的中心线与标定板对正。使用基于摄影测量的相机自标定方法计算出左右相机的内外方位元素，标定完成后世界坐标系的原点将被定义在标定板初始位置的中心处，标定板所在的平面为xOy平面，如图5所示。
在制作特征标记中，在待测转动物体表面用黑白油漆，漏板，记号笔制作随机散斑。在制作好散斑的旋转物体上，粘贴若干标志点。由于数字图像相关法是寻找变形前后相同的灰度子区，因此采集得到的散斑图像，对于数据计算的精度有着很大的影响。图像质量除了来源于图像的清晰度外，还要考虑散斑喷涂的效果。一般散斑颗粒的大小占3～6个像素为宜。对于小的测量幅面，可直接使用黑白油漆喷涂，而当测量幅面较大时，需要使用漏板和记号笔共同制斑。漏板孔洞的大小可根据图3所示的比例关系计算得出。
好的散斑图像应具有明显的纹理特征，即图像的对比度强，这在一定程度上可视为图像的清晰度，于是仍然可以使用上述图像清晰度评价指标来判断散斑喷涂的质量。更为全面则可以考虑从灰度共生矩阵中导出能量，对比度，相关，熵，逆差距等参数进行评价。
优选地，标志点为环形，直径太小影响准确定位，过大的直径会造成误匹配。由于散斑子区的尺寸一般是散斑颗粒大小的3倍左右，而一个散斑颗粒的大小一般占3～6个像素，故内小圆的直径要求在图像上占10～18个像素。它的实际直径大小l可按照图3的比例关系计算得出，单位为毫米(mm)：
Figure BDA0001358542370000071
具体地，标识点的数目至少为2个。
在图像采集与同步校验中，当被测对象，比如换气扇，转动开始后，使用双目相机同时连续采集转动物体的图像，对采集到的每个旋转状态分别获取第一图像和第二图像。同步信号同时触发两个相机采集照片，但是有时可能会发生左右相机采集延迟的情况。当物体转动较快时，这种延迟导致左右相机采集到的图像很有可能在空间中已经产生了很大的位移，这样的状态是无效的，不能用于散斑匹配，应当予以移除。因此，对采集到的每个旋转状态中的第一图像和第二图像，利用第一图像和第二图像中标志点像的对应关系进行同步性校验。优选利用核线约束进行同步性校验。
前述或以下实施方案/特征/方面中任一项的方法，其中所述对应关系指两个标志点像的原像为相同标志点。
在变形匹配计算中，对基准状态和变形状态下的第一图像，计算出各个标志点在图像中的坐标。根据各个标志点像的对应关系以及标志点像的中心坐标，可以求出两个状态的旋转中心和旋转角度。变形状态与基准状态的第一图像进行相似性匹配后，再将变形状态的第二图像与第一图像进行散斑匹配。其中，在相似性匹配中可以对基准状态的第一图像上的散斑子区集进行旋转后，在变形状态的第一图像上进行相似性搜索；也可以将变形状态的第一图像进行旋转后，在旋转后图像上对基准图像上的子区集进行相似性搜索。这样可以避免大角度旋转造成的直接匹配失败，同时使散斑子区的追踪更快速更准确。
在一个实施例中，提供了一种计算标志点像的中心坐标的方法：通过边缘提取和椭圆拟合，获取图像上所有标志点的中心坐标。
在一个实施例中，提供一种用于旋转物体全场运动追踪的视觉测量方法，所述方法包括下述步骤：
S100、在制作好散斑的旋转物体上，粘贴至少2个标志点；
S200、使用第一相机和第二相机同时连续采集旋转物体旋转时的图像，对采集到的每个旋转状态分别获取第一图像和第二图像；
S300、选择某个旋转状态作为基准状态，将其它状态作为变形状态；
S400、将基准状态的第一图像和第二图像进行散斑匹配,重建出三维点，获取观测点的初始位置；
S500、选择一个变形状态，对该变形状态与基准状态两个状态的第一图像，利用两个图像中的标志点像进行相似性匹配，获取观测点在该变形状态的第一图像中的对应子区；
S600、在该变形状态的第二图像中搜索所述对应子区，利用散斑匹配重建三维点，获取所述观测点在该变形状态中的变形位置。
在这个实施例中，测量系统已被搭建好，使用的第一相机和第二相机均按照前述相机标定部分进行标定。旋转物体已制作好散斑，且做上了标记。这个实施例通过将双目视觉和数字图像相关法结合起来，在被测物体表面喷涂散斑并粘贴少量标志点。利用检测的标志点求解出旋转参数，并对图像或子区旋转变换后再进行散斑匹配，解决了子区旋转角度过大难以匹配的问题。最终得到特征表面任意位置的空间坐标，实现跟踪与变形测量的目的。这种方法由于使用标志点对后一状态的旋转角度进行矫正，因此不再依赖相邻两个状态的连续性，任意两个状态都能实现散斑匹配，进而获得任意位置每个状态下的空间坐标，进而计算得到运动过程中各个采集时刻的位移，速度和加速度，以及特征区域的全场变形与应变。
前述或以下实施方案/特征/方面中任一项的方法，其中所述步骤S201采用核线约束来判断每个旋转状态中的第一图像和第二图像的同步性。具体包括下述步骤：
S2011、在每个旋转状态中的第一图像和第二图像，对第一图像上的每个标志点像，利用相机标定信息，确定该标志点像在第二图像上的理论核线，获取第二图像上的标志点像到该理论核线的最近距离；
S2022、对每个旋转状态，将所获取的最近距离进行求和后对标志点数目求平均，得到在该旋转状态下的平均最近距离；
S2023、确定平均最近距离的分布区间，将不属于该分布区间的平均最距离所对应的旋转状态删除，保留具有同步性的旋转状态。
图6为极线距离约束示意图。以左图像上的标志点像uLi为例，利用视觉理论中对极几何的概念可确定其在右图像上的理论核线(图中的Epipolar)，进而根据最近距离判断出对应右图上的标志点像uRi。在右图上计算所有标志点像到相应核线距离的平均值，将其记作Er，则：
Figure BDA0001358542370000091
式中：m为被测物体上粘贴的标志点数目，Di为标志点像uRi到核线Epi的距离。对所有状态的Er值进行计算。确定平均最近距离的分布区间，可以事先指定平均最近距离的分布区间，也可以根据统计原理，比如3σ准则结合标定的精度，计算一个平均最近距离的分布区间，然后删除不属于该区间的Er值所对应的旋转状态。假设采集了10个状态，计算结果为0.03，0.04，0.03，0.02，0.04，0.03，0.08，0.04，0.03，0.03，0.08不在根据3σ准则确定的区间范围内，因此删除0.08所对应的旋转状态。
前述或以下实施方案/特征/方面中任一项的方法，其中所述相似性匹配之前包括下述步骤：
S501、获取每个标志点在两个图像中的标志点像的中心点坐标；
S502、对每个图像，获取其上所有标志点像的几何中心；
S503、求每个标志点像到所述几何中心的距离，根据所述距离判断两个图像中标志点像的对应关系；
S504、利用所述对应关系，获取旋转参数；
所述旋转参数包括旋转角度、旋转中心、平移分量。
其中，若旋转物体在转动的过程中，转轴的跳动量较小，可以忽略不计，则在步骤S504中求得的平移分量可以认为为0。
在进行相似性匹配时，本公开优选下述两种方式。
方式一：旋转子区
在这种方式中，所述相似性匹配包括下述步骤：
S511、在基准状态的第一图像上建立散斑子区集；
S512、基于旋转参数，将所述散斑子集区进行旋转变换；
S513、在变形状态的第一图像上搜索旋转变换后的散斑子集区进行匹配。
方式二：旋转图像
在这种方式中，所述相似性匹配包括下述步骤：
S521、在基准状态的第一图像上建立散斑子区集；
S522、基于旋转参数，将变形状态的第一图像进行旋转变换；
S523、在旋转后图像上搜索基准状态第一图像上的散斑子区集进行匹配。
上述两种方式，具有利于获得比较准确的匹配初值，有利于两个状态的对应子区能够稳定快速地实现匹配。
在一个实施例中，具体匹配过程如图7所示：
(1.1)将第一个状态作为基准状态，在其第一图像上划定散斑子区集，与第二图像匹配重建出三维点作为观测点的初始位置。
(1.2)对接下来的每个状态，先将第一图像与基准状态的第一图像，利用标志点像进行相似性匹配，确定对应子区，即确定前后相同的观测点，在这个过程中可以得到一个跟踪序列；
(1.3)对每个变形状态，将其第一图像上确定的对应子区与第二图像进行匹配，将观测点的空间坐标求出，在这个过程中可以获得一个重建序列。
采用上述匹配方式，可以避免大角度旋转造成的直接匹配失败，同时使散斑子区的追踪更快速更准确。
在一个实施例中，为了便于观察，在旋转物体的刚性位置上粘贴四个非编码标志点，粘贴在同一个叶片上或者分散在各个叶片上均可，且保证四个标志在左图像上构成不规则四边形，边长各不相等。
具体匹配过程如下：
(2.1)任选一个状态作为基准状态，在其第一图像上划定散斑子区集，与第二图像匹配重建出三维点作为观测点的初始位置。
(2.2)再选一个状态作为变形状态，确定这四个标志点在变形状态和基准状态中的标志点像的对应关系，求出两个状态转换时的旋转角度和旋转中心。利用这两个参数，将基准状态的第一图像的散斑子区集进行正向旋转，或者将变形状态的第一图像进行逆向旋转，然后进行子区相似性匹配。所述正向旋转为由基准状态旋转后得到变形状态，所述逆向旋转为由变形状态旋转后得到基准状态。
对于本实施例中，在四个标志点下，求解旋转角度和旋转中心的过程如下。
标志点在图像上绕定轴旋转如图8所示，事实上只需已知平面上A，B两点旋转前后的坐标，通过求解中垂线的交点就可以确定旋转中心。由于不能保证标志点为刚性运动，粘贴四个标志点可以使求解出的旋转中心和角度更稳定。
首先需要确定前后状态标志点的对应关系。由于叶片旋转类运动时表面的变形量不大，粘贴的标志点构成的几何图形可认为近似做刚性运动。所述对应关系优选通过上述步骤S501-S503确定。
对于本实施例中，可求出四边形的几何中心，利用几何中心到各顶点的距离可判断出前后状态标志点的同名关系。若在不同图像中标志点像的原像相同，则它们同名。
其次，确定旋转中心。如图9所示，四边形A1B1C1D1做旋转运动至A2B2C2D2。由点斜式直线方程可得线段A1A2中垂线的方程为：
Figure BDA0001358542370000121
整理后，四个中垂线的交点可表示为：
Figure BDA0001358542370000122
上式为二元线性非齐次超定方程组，形如：
Figure BDA0001358542370000123
其最小二乘解为旋转中心：
Figure BDA0001358542370000124
旋转角度为：
Figure BDA0001358542370000125
其中∠A1OA2可通过向量夹角求得：
Figure BDA0001358542370000126
其余夹角以此类推。
最后，利用旋转中心和旋转角度对后一个状态的第一图像进行逆向旋转，第一图像子区匹配完成后，再将图像连同子区集合旋转复原进行状态内第一图像和第二图像的散斑匹配。
在进行相似性匹配时，上述为旋转图像的方式进行相似性匹配。在知道前一状态中第一图像内的观察点所在的子区的情况下，也可以采用旋转子区的方式进行相似性匹配。
具体地，将前一个状态的第一图像中的子区集合进行整体旋转，然后与后一个状态中的第一图像中的子区进行匹配。有了比较准确的匹配初值，前后状态的第一图像能够稳定快速地实现匹配。
图10-12是测量完成后散斑子区中心在某个状态下的位移矢量图，特征表面变形图，和叶片不同半径处两点随时间的位移曲线。
在一个实施例中，旋转物体在转动的过程中，转轴的跳动量很大，则在步骤S502中求得的平移分量不为0，如图13所示。在旋转存在平移分量时，本实施例提供了一种求解方法。
具体地，设平移分量为T＝(tx,ty)，令
Figure BDA0001358542370000131
先对后一个状态的标志点坐标平移，然后代入上述求旋转中心的线性方程组中，整理可得
Figure BDA0001358542370000132
上式为四元二次非线性方程组，可使用牛顿法等方法求解。求出平移分量，旋转中心和旋转角度后，后面的处理方法与前述方法相同。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本公开方法中的一些内容可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。对于以软件产品的形式体现出来的内容，可以存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例中方法的相关内容。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (9)

1.一种用于旋转物体全场运动追踪的视觉测量方法，其特征在于，所述方法包括下述步骤：
S100、在制作好散斑的旋转物体上，粘贴至少2个标志点；
S200、使用第一相机和第二相机同时连续采集旋转物体旋转时的图像，对采集到的每个旋转状态分别获取第一图像和第二图像；
S300、选择某个旋转状态作为基准状态，将其它状态作为变形状态；
S400、将基准状态的第一图像和第二图像进行散斑匹配，重建出三维点，获取观测点的初始位置；
S500、选择一个变形状态，对该变形状态与基准状态两个状态的第一图像，利用两个图像中的标志点像进行相似性匹配，获取观测点在该变形状态的第一图像中的对应子区；
S600、在该变形状态的第二图像中搜索所述对应子区，利用散斑匹配重建三维点，获取所述观测点在该变形状态中的变形位置；
所述标志点为环形；
所述环形内圆的直径大小满足下式要求：
Figure FDA0002127596300000011
式中：
l为直径，单位为毫米(mm)；
d为镜头焦距，单位为毫米(mm)；
D为第一相机或第二相机的镜头到测量表面的距离，单位为毫米(mm)；
μ为像元大小，单位为μm。
2.根据权利要求1所述的方法，其特征在于，所述步骤S300之前还包括下述步骤：
S201、对每个旋转状态中的第一图像和第二图像，利用所述第一图像和第二图像上的标志点像，判断第一图像和第二图像是否是同一时刻。
3.根据权利要求2所述的方法，其特征在于，所述步骤S201包括下述步骤：
S2011、在每个旋转状态中的第一图像和第二图像，对第一图像上的每个标志点像，利用相机标定信息，确定该标志点像在第二图像上的理论核线，获取第二图像上的标志点像到该理论核线的最近距离；
S2022、对每个旋转状态，将所获取的最近距离进行求和后对标志点数目求平均，得到在该旋转状态下的平均最近距离；
S2023、确定平均最近距离的分布区间，将不属于该分布区间的平均最近距离所对应的旋转状态删除，保留具有同步性的旋转状态。
4.根据权利要求1所述的方法，其特征在于，所述相似性匹配之前包括下述步骤：
S501、获取每个标志点在两个图像中的标志点像的中心点坐标；S502、对每个图像，获取其上所有标志点像的几何中心；S503、求每个标志点像到所述几何中心的距离，根据所述距离判断两个图像中标志点像的对应关系；S504、利用所述对应关系，获取旋转参数；
所述旋转参数包括旋转角度、旋转中心；
所述对应关系指两个标志点像的原像为相同标志点。
5.根据权利要求4所述的方法，其特征在于，所述相似性匹配包括下述步骤：
S511、在基准状态的第一图像上建立散斑子区集；
S512、基于旋转参数，将所述散斑子集区进行旋转变换；
S513、在变形状态的第一图像上搜索旋转变换后的散斑子集区进行匹配。
6.根据权利要求4所述的方法，其特征在于，所述相似性匹配包括下述步骤：
S521、在基准状态的第一图像上建立散斑子区集；
S522、基于旋转参数，将变形状态的第一图像进行旋转变换；
S523、在旋转后图像上搜索基准状态第一图像上的散斑子区集进行匹配。
7.根据权利要求1所述的方法，其特征在于：
所述第一相机和第二相机关于所述旋转物体对称；
所述旋转物体的中心与所述第一相机镜头中心、第二相机镜头中心连线的夹角，在标定前范围为20～30度。
8.根据权利要求1所述的方法，其特征在于，所述第一相机或第二相机的采集频率与所述旋转物体的转速存在下述关系：
Figure FDA0002127596300000031
式中：
f为第一相机或第二相机的采集频率；
r为旋转物体的转速，单位为r/min；
k为考虑了曝光时间的比例系数；
n为一个周期中采集一个旋转状态间隔的角度，单位为度。
9.根据权利要求1所述的方法，其特征在于，所述步骤S200中采集到的图像使用下式计算图像清晰度评价指标：
Figure FDA0002127596300000032
式中：
G为图像清晰度评价指标，G值越大，图像越清晰；
w×h为相机的分辨率；
Fx(i，j)和Fy(i，j)分别为图像在坐标(i，j)处的灰度值F(i，j)在x方向与y方向上的一阶中心差分；
所述坐标(i，j)所在的坐标系的原点为标定板的中心，标定板所在的平面为xOy平面。
CN201710606900.4A 2017-07-24 2017-07-24 一种用于旋转物体全场运动追踪的视觉测量方法 Active CN107452024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710606900.4A CN107452024B (zh) 2017-07-24 2017-07-24 一种用于旋转物体全场运动追踪的视觉测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710606900.4A CN107452024B (zh) 2017-07-24 2017-07-24 一种用于旋转物体全场运动追踪的视觉测量方法

Publications (2)

Publication Number Publication Date
CN107452024A CN107452024A (zh) 2017-12-08
CN107452024B true CN107452024B (zh) 2020-03-27

Family

ID=60488026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710606900.4A Active CN107452024B (zh) 2017-07-24 2017-07-24 一种用于旋转物体全场运动追踪的视觉测量方法

Country Status (1)

Country Link
CN (1) CN107452024B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2749654C1 (ru) * 2020-10-28 2021-06-16 Федеральное государственное унитарное предприятие "Центральный аэрогидродинамический институт имени профессора Н.Е. Жуковского" (ФГУП "ЦАГИ") Способ измерений координат точек объекта в пространстве

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460788A (zh) * 2018-03-20 2018-08-28 西安新拓三维光测科技有限公司 一种用于大型风力叶片运动追踪的视频测量方法
CN108254063B (zh) * 2018-03-20 2020-03-17 南京凯奥思数据技术有限公司 追踪旋转叶片的振动测量装置及方法
CN109186947B (zh) * 2018-09-26 2019-11-12 福州大学 一种电器三维动态特性自动测试系统及方法
CN109060286B (zh) * 2018-09-30 2024-02-06 华南理工大学 基于数字散斑的无人机低频振动检测装置及方法
CN110375679B (zh) * 2019-07-17 2021-04-06 朱承智 一种回转窑托轮组动态轴线空间位置测量方法
CN110672040B (zh) * 2019-09-24 2021-07-30 中国计量科学研究院 一种基于视觉的高精度旋转角度测量方法
CN110553716B (zh) * 2019-10-12 2020-07-10 西安交通大学 一种基于计算机视觉的成圈叶片结构振动固有频率的测量方法
CN110807828B (zh) * 2019-10-28 2020-05-08 北京林业大学 一种倾斜摄影三维重建匹配方法
CN111369627B (zh) * 2020-03-05 2023-04-07 电子科技大学 一种非侵入式散斑定向成像方法
CN111652906B (zh) * 2020-05-11 2021-04-20 中国科学院空间应用工程与技术中心 卫星视频地面动态目标旋转的自适应追踪方法、装置和设备
CN111854632B (zh) * 2020-06-22 2021-12-14 新拓三维技术(深圳)有限公司 一种高速运动物体的图像测量方法及计算机可读存储介质
JP6898684B1 (ja) * 2020-11-17 2021-07-07 株式会社シンカ・アウトフィットＮｑ 解析装置
CN112991270B (zh) 2021-02-10 2021-11-02 南京航空航天大学 一种大尺寸旋转体模具形变动态测量方法
CN113516622B (zh) * 2021-04-23 2023-02-17 天津大学 集数字散斑、网格线和编码标记点的视觉检测图样及方法
CN113108712A (zh) * 2021-04-23 2021-07-13 天津大学 测量大型结构件表面变形应变的视觉测量系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292722A (zh) * 2013-06-07 2013-09-11 温州大学 一种非接触式风电叶片全场三维变形测量方法
CN103323461A (zh) * 2013-06-14 2013-09-25 上海大学 一种非接触式的风力发电机叶片运动在线检测方法
CN103335604A (zh) * 2013-07-05 2013-10-02 温州大学 一种工作状态下风轮叶片全场三维变形在线监测方法
CN104748696A (zh) * 2015-04-13 2015-07-01 西安交通大学 一种大倾角机翼全场变形测量方法
CN104864819A (zh) * 2015-01-19 2015-08-26 华中科技大学 一种基于数字散斑的高速三维应变测量方法
CN105973161A (zh) * 2016-06-17 2016-09-28 西安交通大学 一种桨叶的三维全场变形测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103292722A (zh) * 2013-06-07 2013-09-11 温州大学 一种非接触式风电叶片全场三维变形测量方法
CN103323461A (zh) * 2013-06-14 2013-09-25 上海大学 一种非接触式的风力发电机叶片运动在线检测方法
CN103335604A (zh) * 2013-07-05 2013-10-02 温州大学 一种工作状态下风轮叶片全场三维变形在线监测方法
CN104864819A (zh) * 2015-01-19 2015-08-26 华中科技大学 一种基于数字散斑的高速三维应变测量方法
CN104748696A (zh) * 2015-04-13 2015-07-01 西安交通大学 一种大倾角机翼全场变形测量方法
CN105973161A (zh) * 2016-06-17 2016-09-28 西安交通大学 一种桨叶的三维全场变形测量方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A four-camera videogrammetric system for 3-D motion measurement of deformable object;Hao Hu et al.;《Optics and Lasers in Engineering》;20120120;第800-811页 *
Accurate three-dimensional shape and deformation measurement at microscale using digital image correlation;Maodong Ren et al.;《REVIEW OF SCIENTIFIC INSTRUMENTS》;20150720;第1-12页 *
Application of the speckle technique for three-dimensional deformation measurement;Zhixin Chen et al.;《Optical Engineering》;20120131;第51卷(第1期);第1-7页 *
Large deformation measurement scheme for 3D digital image correlation method;Zhengzong Tang et al.;《Optics and Lasers in Engineering》;20111017;第122-130页 *
Non-intrusive In-flight Propeller Blade Deformation Measurements by Means of a Rotating Camera;F. Boden et al.;《Ama Service Gmbh》;20141231;第58-63页 *
数字散斑相关法在变形测量中的应用;陈志新等;《光学精密工程》;20110731;第19卷(第7期);第1480-1485页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2749654C1 (ru) * 2020-10-28 2021-06-16 Федеральное государственное унитарное предприятие "Центральный аэрогидродинамический институт имени профессора Н.Е. Жуковского" (ФГУП "ЦАГИ") Способ измерений координат точек объекта в пространстве

Also Published As

Publication number Publication date
CN107452024A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107452024B (zh) 一种用于旋转物体全场运动追踪的视觉测量方法
CN113379822B (zh) 一种基于采集设备位姿信息获取目标物3d信息的方法
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
US10008005B2 (en) Measurement system and method for measuring multi-dimensions
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN110246124B (zh) 基于深度学习的目标尺寸测量方法及系统
WO2018142496A1 (ja) 三次元計測装置
Ellmauthaler et al. A novel iterative calibration approach for thermal infrared cameras
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN108362205B (zh) 基于条纹投影的空间测距方法
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN110047111A (zh) 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN109308714A (zh) 基于分类惩罚的摄像头和激光雷达信息配准方法
JP2009229439A (ja) ３次元形状測定システム、及び、３次元形状測定方法
Siddique et al. 3d object localization using 2d estimates for computer vision applications
CN113674353B (zh) 一种空间非合作目标精确位姿测量方法
CN114511498A (zh) 基于单目视觉的螺旋桨振动测量方法
CN109308706B (zh) 一种通过图像处理得到三维曲面面积的方法
Sosa et al. 3D surface reconstruction of entomological specimens from uniform multi-view image datasets
JP5461377B2 (ja) 角度測定装置、角度の測定方法、及びプログラム
Zhang et al. Recent reviews on machine vision-based 3D reconstruction
CN116518881B (zh) 一种基于单目视觉的气动舵面零位校准系统
CN112945120B (zh) 一种利用三维数字图像技术测量注塑制品收缩率的方法
Boas et al. A benchmark dataset for RGB-D sphere based calibration
CN112669384A (zh) 一种工业相机与深度相机结合的三维定位方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant