CN110751677A - 一种基于改进cmt算法的视觉振动测量方法和设备 - Google Patents

一种基于改进cmt算法的视觉振动测量方法和设备 Download PDF

Info

Publication number
CN110751677A
CN110751677A CN201911037571.1A CN201911037571A CN110751677A CN 110751677 A CN110751677 A CN 110751677A CN 201911037571 A CN201911037571 A CN 201911037571A CN 110751677 A CN110751677 A CN 110751677A
Authority
CN
China
Prior art keywords
tracked
vibration
algorithm
video image
displacement information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911037571.1A
Other languages
English (en)
Inventor
汪友明
幕晓阳
纪峰
李永超
王清艺
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Environmental Protection Industry Research Institute Co Ltd
Xian University of Posts and Telecommunications
Original Assignee
Shaanxi Environmental Protection Industry Research Institute Co Ltd
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Environmental Protection Industry Research Institute Co Ltd, Xian University of Posts and Telecommunications filed Critical Shaanxi Environmental Protection Industry Research Institute Co Ltd
Priority to CN201911037571.1A priority Critical patent/CN110751677A/zh
Publication of CN110751677A publication Critical patent/CN110751677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进CMT算法的视觉振动测量方法和设备，该方法包括：获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物；基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的；对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息；根据所述第二像素位移信息确定所述待测物体的振动信息，从而实现快速对被测物体的远距离、高精度、实时振动测量。

Description

一种基于改进CMT算法的视觉振动测量方法和设备
技术领域
本申请涉及视觉振动监测技术领域，更具体地，涉及一种基于改进CMT算法的视觉振动测量方法和设备。
背景技术
振动是自然界中普遍存在的物理现象，同时也广泛存在于机械、车辆、建筑、航空航天等各类工程应用中。工程结构和设备在运行过程中产生大量振动信号，其中蕴含着丰富的结构内在特性和设备运行状况信息，是反映系统状态及其变化规律的重要信息表征，直接影响着工程结构和设备的安全运行。传统的接触式测量方法在测量过程中传感器要与被测对象有直接接触，以致产生负载效应，会改变振动对象的质量、刚度、频率等物理属性，从而影响测量的准确性和客观性。同时，对于高架桥之类的大型结构，接触式测量将难以找寻便于仪器安装的测量位置点，而且仪器安装时势必会影响桥梁的正常通行，这在实际中是不允许的。
视觉测量作为一种新型的测量技术，它可以在不接触被测物体的情况下，完成对目标位置、尺寸、形状、方位和目标间相互关系参数的测量，不受电磁场干扰，具有高精度、高灵敏度、远距离遥测、表面无损伤等优点。然而现有技术中的基于模板匹配的视觉测量手段虽然可以顺利完成振动视频的位移提取与振动分析，但是算法的计算量较大，受环境的影响较大，准确率不能保证，测量时还需要在待测物体表面张贴人工标靶，测量过程复杂。
发明内容
本发明提供一种基于改进CMT算法的视觉振动测量方法，用以解决现有技术中视觉振动测量时计算量大，受环境影响大，测量精度不高，测量过程复杂的技术问题，该方法包括：
获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物；
基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的；
对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息；
根据所述第二像素位移信息确定所述待测物体的振动信息。
优选的，在获取所述待跟踪对象的振动视频图像之后，还包括对所述振动视频图像进行同态滤波，为：
对所述振动视频图像进行对数变换获取对数图像；
获取所述对数图像的傅里叶变换；
基于高通滤波器对所述傅里叶变换进行频域滤波；
获取所述频域滤波的结果的傅里叶反变换；
对所述傅里叶反变换取指数，获取所述同态滤波的结果。
优选的，基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，具体为：
将所述振动视频图像中的第一帧图像作为模板图像；
根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，确定所述第一像素位移信息。
优选的，根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，具体为：
基于ORB算法提取所述模板图像的特征点和特征描述子；
根据所述特征点和所述特征描述子利用Kalman滤波器依次预测所述振动视频图像中下一帧的检测区域；
基于光流法在所述检测区域内进行特征点跟踪。
优选的，根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，还包括：
判断所述检测区域内的特征点匹配量是否大于预设阈值；
若是，在所述检测区域内进行特征点跟踪；
若否，在所述检测区域之外的区域继续基于所述ORB算法搜索。
优选的，所述亚像素精度提升处理，具体为：
利用归一化函数确定所述特征点的周围像素点的匹配度；
基于曲面拟合确定所述匹配度对应曲面的极值点。
优选的，根据所述第二像素位移信息确定所述待测物体的振动信息，具体为：
确定所述第二像素位移信息对应的转化因子，其中所述转化因子具体为所述待跟踪对象的实际位移与对应的像素位移的比例；
根据所述第二像素位移信息和所述转化因子确定所述振动信息。
相应地，本发明还提出了一种基于改进CMT算法的视觉振动测量设备，包括：
获取模块，用于获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物；
第一确定模块，用于基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的；
处理模块，用于对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息；
第二确定模块，用于根据所述第二像素位移信息确定所述待测物体的振动信息。
相应地，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的基于改进CMT算法的视觉振动测量方法。
相应地，本发明还提出了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如上所述的基于改进CMT算法的视觉振动测量方法。
与现有技术对比，本发明具备以下有益效果：
本发明公开了一种基于改进CMT算法的视觉振动测量方法和设备，该方法包括：获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物；基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的；对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息；根据所述第二像素位移信息确定所述待测物体的振动信息，从而由于不需要在待测物体表面张贴人工标靶，降低了测量的复杂度，基于改进CMT算法使得算法的匹配精度与运算速度进一步提升，从而可以实现对振动情况的实时快速监测，通过亚像素精度提升，可以在测量距离非常远或者振幅很小的情况下，依然能够保持良好的测量精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提出的一种基于改进CMT算法的视觉振动测量方法的流程示意图；
图2为CMT算法的简要示意图；
图3为基于改进CMT算法进行特征点跟踪流程示意图；
图4为物体平面与图像平面平行时的关系图：
图5为物体平面与图像平面不平行时的关系图；
图6为本发明实施例提出的一种基于改进CMT算法的视觉振动测量设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如背景技术所述，现有技术中视觉振动测量时计算量大，受环境影响大，测量精度不高，测量过程复杂。
为解决上述问题，本申请实施例提出了一种基于改进CMT算法的视觉振动测量方法，通过对CMT算法进行改进，实现快速对被测物体的远距离、高精度、实时振动测量。
如图1所示本发明实施例提出的一种基于改进CMT算法的视觉振动测量方法的流程示意图，该方法包括以下步骤：
S101，获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物。
具体的，本申请实施例中不需要在待测物体表面张贴人工标靶，而是选择待测物体表面的合适自然参照物作为待跟踪对象，如待测物体表面的螺钉、污渍等，获取待跟踪对象的振动视频图像。在本申请的具体应用场景中，可利用高速摄像机等拍摄设备获取振动视频图像，本领域技术人员还可根据实际情况灵活选取待跟踪对象，不同的待跟踪对象并不影响本申请的保护范围。
为提升振动视频图像的识别率及应付实际当中复杂的测量环境，可对振动视频图像进行预处理，以提高图像的识别精度，在本申请的优选实施例中，在获取待测物体表面的待跟踪对象的振动视频图像之后，还包括对所述振动视频图像进行同态滤波，为：
对所述振动视频图像进行对数变换获取对数图像；
获取所述对数图像的傅里叶变换；
基于高通滤波器对所述傅里叶变换进行频域滤波；
获取所述频域滤波的结果的傅里叶反变换；
对所述傅里叶反变换取指数，获取所述同态滤波的结果。
具体的，通过对跟踪对象的振动视频图像进行同态滤波处理，提高了图像的对比度，便于对图像的识别。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，在获取待测物体表面的待跟踪对象的振动视频图像之后进行的其他图像预处理的操作均属于本申请的保护范围。
S102，基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的。
具体的，改进CMT算法是对CMT算法进行相应改进，具体为对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化，在本申请的具体应用场景中为提高特征点提取和特征点描述速度，以及对检测区域进行优化，避免全图检测，从而大大减轻计算量。
需要说明的是，本领域技术人员可根据实际需要灵活选用进行上述优化的算法，不同的进行优化的算法均属于本申请的保护范围。
为准确获取待跟踪对象的第一像素位移信息，在本申请的优选实施例中，基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，具体为：
将所述振动视频图像中的第一帧图像作为模板图像；
根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，确定所述第一像素位移信息。
具体的，在本申请的具体应用场景中，将预处理后的振动视频图像的第一帧图像中包含待跟踪对象的部分截下，作为模板图像，将该模板图像与预处理后的振动视频图像输入改进CMT算法，确定出像素位移信息。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他基于改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息的方式均属于本申请的保护范围。
为快速准确进行特征点跟踪，在本申请的优选实施例中，根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，具体为：
基于ORB算法提取所述模板图像的特征点和特征描述子；
根据所述特征点和所述特征描述子利用Kalman滤波器依次预测所述振动视频图像中下一帧的检测区域。
基于光流法在所述检测区域内进行特征点跟踪。
具体的，ORB算法可实现快速提取模板图像的特征点和特征描述子，并利用Kalman滤波器依次预测振动视频图像中下一帧的检测区域，在本申请的具体应用场景中，Kalman滤波算法依据系统运动方程对特征点位置进行预测，再预测出可能的特征点位置上，给出一个可能出现的矩形区域，此区域的宽和高分别取模板图像矩形框的3倍，避免了算法全图检测特征点。最后，基于光流法在检测区域内进行特征点跟踪，从而快速准确进行特征点跟踪。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，本领域技术人员还可选取其他的算法进行特征点跟踪，其他根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪的方式均属于本申请的保护范围。
为进一步提高特征点跟踪的准确性，在本申请的优选实施例中，根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，还包括：
判断所述检测区域内的特征点匹配量是否大于预设阈值；
若是，在所述检测区域内进行特征点跟踪；
若否，在所述检测区域之外的区域继续基于所述ORB算法搜索。
具体的，在本申请的具体应用场景中，如果在Kalman滤波预测的检测区域中提取的特征点中只有很少量能与目标特征点匹配，即小于预设阈值，则应扩大预测区域，在扩大后的区域进行基于ORB算法搜索。否则，在所述检测区域内进行特征点跟踪。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他在进一步提高特征点跟踪的准确性的方式均属于本申请的保护范围。
S103，对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息。
具体的，经步骤S101和S102得到的是整像素精度的匹配值，但在实际中问题中最匹配的位置不一定是整像素位置，因而为了得到更精确的匹配位置需要对结果做进一步的亚像素精度提升，获取第二像素位移信息。
为准确进行亚像素精度提升处理，在本申请的优选实施例中，所述亚像素精度提升处理，具体为：
利用归一化函数确定所述特征点的周围像素点的匹配度；
基于曲面拟合确定所述匹配度对应曲面的极值点。
具体的，在本申请的具体应用场景中，曲面拟合法拥有不错的计算精度以及较快的计算速度、对噪声以及干扰的抑制能力强。它的原理是认为用改进CMT算法所得到的特征点周围存在一个光滑的曲面，整像素的位置是对这个曲面进行采样得到的值，利用归一化函数确定所述特征点的周围像素点的匹配度，基于曲面拟合可确定所述匹配度对应曲面的极值点，从而实现亚像素提升。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他进行亚像素精度提升处理的方式均属于本申请的保护范围。
S104，根据所述第二像素位移信息确定所述待测物体的振动信息。
具体的，经步骤S103处理后获取第二像素位移信息，根据第二像素位移信息可确定所述待测物体的振动信息。
为准确确定待测物体的振动信息，在本申请的优选实施例中，根据所述第二像素位移信息确定所述待测物体的振动信息，具体为：
确定所述第二像素位移信息对应的转化因子，其中所述转化因子具体为所述待跟踪对象的实际位移与对应的像素位移的比例；
根据所述第二像素位移信息和所述转化因子确定所述振动信息。
具体的，转化因子具体为所述待跟踪对象的实际位移与对应的像素位移的比例，在本申请的具体应用场景中，根据像素尺寸dpixel，相机到待测物体的水平距离D，焦距f确定转化因子，将第二像素位移信息中的像素位移与转化因子相乘，确定待测物体的振动信息。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他根据所述第二像素位移信息确定所述待测物体的振动信息的方式均属于本申请的保护范围。
通过应用以上技术方案，获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物；基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的；对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息；根据所述第二像素位移信息确定所述待测物体的振动信息，从而由于不需要在待测物体表面张贴人工标靶，降低了测量的复杂度，基于改进CMT算法使得算法的匹配精度与运算速度进一步提升，从而可以实现对振动情况的实时快速监测，通过亚像素精度提升，可以在测量距离非常远或者振幅很小的情况下，依然能够保持良好的测量精度。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本发明实施例提出了一种基于改进CMT算法的视觉振动测量方法，CMT算法(Consensus-based Tracking and Matching of Keypoints for Object Tracking，基于特征点跟踪和匹配的目标跟踪算法)是一种跟踪算法，它基于物体的特征点来进行跟踪，具有跟踪效果良好，运算速度快的特点，本发明对CMT算法的不足进行了改良，设计了一种新的视觉振动测量方法。从而实现不需要在待测物体表面张贴人工标靶，可以实现快速对待测物体的高精度、实时振动监测。
上述方法具体步骤如下：
步骤一、硬件系统的搭建
根据待测物体与测量点的距离，选择所使用镜头的型号，使用三脚架将高速摄像机稳定，调整摄像机的角度及位置，选择待测物体表面的合适自然参照物作为待跟踪对象，如待测物体表面的螺钉、污渍等。将摄像机与计算机连接，测量系统的图像传感器采用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)芯片，图像采集卡则采用以FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)为核心的嵌入式系统，图像传感器和图像采集卡被集成在了高速摄像机内部。实际测量时，需要测出摄像机的仰角以及从摄像机到物体的水平距离，获取待测物体表面的待跟踪对象的振动视频图像。
步骤二、图像预处理
为了提升识别率以及应付实际当中复杂的测量环境，需要首先对输入的振动视频图像进行预处理，以提高图像的识别精度。对此，引入了同态滤波的方式，来对图像进行预处理，以提高图像的对比度。
一幅图像可看成由两部分组成，即：
f(x,y)＝fi(x,y)fr(x,y)
其中，fi代表随空间位置不同的光强分量，其特点是缓慢变化，集中在图像的低频部分。fr代表景物反射到人眼的反射分量。其特点包含了景物各种信息，高频成分丰富。
同态滤波过程，分为以下5个基本步骤：
1)原图做对数变换，得到如下两个加性分量，即
lnf(x,y)＝lnfi(x,y)+lnfr(x,y)
2)对数图像做傅里叶变换，得到其对应的频域表示为：
DFT[lnf(x,y)]＝DFT[lnfi(x,y)]+DFT[lnfr(x,y)]
3)使用高通滤波器H(u,v)，进行对数图像的频域滤波。
4)傅里叶反变换，返回空域对数图像。
5)取指数，得空域滤波结果。
步骤三、基于改进CMT算法进行特征点跟踪
将预处理后的振动视频图像的第一帧图像中包含待跟踪对象的部分截下，作为模板图像。将该模板图像与预处理后的振动视频图像输入改进CMT算法，确定出像素位移信息。
CMT算法是一种基于特征的跟踪方法，使用了经典的光流法作为算法的一部分，核心是对特征点进行匹配，原理如图2所示。CMT算法兼顾了实时性和鲁棒性，跟踪效果令人满意，适用于多种场合，特别是对于静态物体跟踪效果趋于完美。
传统的CMT跟踪算法中，采用了FAST(Features from Accelerated SegmentTest，一种角点检测方法)特征点与BRISK(Binary Robust Invariant ScalableKeypoints，一种二进制的特征描述算子)特征描述相结合的方式，首先通过FAST对当前帧进行特征检测，用BRISK进行特征描述提取，并与初始帧提取的所有特征点进行全局匹配，然后使用上一帧输出的特征点进行LK金字塔光流法跟踪预测其在当前帧中的位置，最后将全局匹配得到的特征点和光流法跟踪到的特征点按索引进行无重复的融合，对于索引相同的点，保留光流法跟踪得到的特征点，在此，引入ORB算法和Kalman滤波器对CMT算法进行优化。
ORB(Oriented FAST and Rotated BRIEF，一种快速特征点提取和描述的算法)分为两部分，分别是特征点提取和特征点描述。特征点提取是由FAST发展来的，特征点描述是根据BRIEF(Binary Robust Independent Elementary Features，一种特征描述子提取算法)特征描述算法改进的。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化，具有以下优势：增加快速、准确的定向点到FAST；有向性的BRIEF特征有效计算；有向性的BRIEF特征方差和相关性分析；是一种具有旋转不变性的去相关BRIEF特征方法，能在最近邻应用中实现最好的性能。ORB相比于FAST与BRIEF有计算速度与准确性上的优势，因此引入ORB算法来完成CMT当中的特征点提取和特征点描述部分。
Kalman滤波算法依据系统运动方程对特征点位置进行预测，再预测出可能的特征点位置上，给出一个可能出现的矩形区域，此区域的宽和高分别取模板图像矩形框的3倍。在此区域进行特征点检测，这样避免了算法全图检测特征点，大大减轻了算法的计算量。
Kalman滤波系统可以用一个线性随机微分方程来描述：
X(t)＝AX(t-1)+W(t)
其中为A状态转移矩阵，X(t)为系统在t时刻的状态，W(t)为系统过程噪声，这里可以假设为高斯白噪声。
跟踪目标点的状态包含在t时刻点的位置和速度，因此系统状态定义为：
X(t)＝(Px(t),Py(t),Vx(t),Vy(t))T
式中，Px(t)和Py(t)分别是目标中心点在t时刻的x，y轴坐标，Vx(t)和Vy(t)分别是目标中心点t时刻在x，y方向上的速度。
因在实际视频序列中，相邻两帧间隔时间很短，所以可近似认为目标在相邻帧中是匀速运动，系统为线性模型。则
Figure BDA0002251956300000111
如果在Kalman滤波预测的检测区域中提取的特征点中只有很少量能与目标特征点匹配，即小于预设阈值，则应扩大预测区域，在扩大后的区域进行ORB搜索，扩大后的预测区域尺寸为：
dx＝dx+Δd
dy＝dy+Δd
dx和dy分别为预测区域的x和y轴的尺寸，Δd为预测区域尺寸调整间隔。
如图3所示，基于改进CMT算法进行特征点跟踪，具体包括：
步骤S301，计算第一帧中的ORB特征点和特征点描述；
步骤S302，读取下一帧图像，并且通过前/后向光流跟踪；
步骤S303，Kalman滤波确定检测区域；
步骤S304，提取检测区域的ORB特征点和特征点描述；
步骤S305，判断检测区域中的特征点匹配量是否大于预设阈值，若否，执行步骤S306，若是，执行步骤S307；
步骤S306，扩大检测区域搜索，执行步骤S304；
步骤S307，找到特征点对应的中心坐标，输出当前帧的像素位移信息，执行步骤S302。
步骤四、亚像素精度提升。
由以上过程得到的是整像素精度的匹配值，但在实际中问题中最匹配的位置不一定是整像素位置，因而为了得到更精确的匹配位置需要对结果做进一步的亚像素精度提升。曲面拟合法是一种简单有效且易于实现的亚像素提升算法，拥有不错的计算精度以及较快的计算速度、对噪声以及干扰的抑制能力强。它的原理是认为用改进CMT算法所得到的特征点周围存在一个光滑的曲面，整像素的位置是对这个曲面进行采样得到的值，假设模板T的尺寸为m×n，S(x,y)与T(x,y)分别表示图像和模板在(x,y)处的图像灰度值，假设待匹配图像的某处子图中心点坐标为(x0,y0)，尺寸为m×n，则该子图与模板图像的相似度可以用以下的归一化互相关公式表示：
Figure BDA0002251956300000121
因而利用以上归一化互相关公式可以计算出该位置和它周围位置的相关系数，假设用改良CMT算法找到的坐标为(xm,ym)，利用(xm,ym)点和它周围八个像素点的相关系数进行曲面拟合，简单的二次多项式拟合形式为：
C(x,y)＝a0+a1x+a2y+a3x2+a4xy+a5y2 (9)
将九个点处的灰度值及其坐标代入，即可求出式中的所有参数。而我们所要求的坐标(xs,ys)为该曲面的极值点处，满足：
Figure BDA0002251956300000122
因此，极值点(xs,ys)的坐标为：
Figure BDA0002251956300000123
步骤五、输出振动信息
为了从图像中获得实际物体的振动信息，我们需要建立像素距离到实际距离的联系，如图4所示，当图像平面与物体平面平行时，实际坐标与像素坐标的转化因子SF为：
其中，dknown是待测物体的已知尺寸，是待测物体投影到图像平面上的尺寸，Iknown是待测物体的像素长度，
Figure BDA0002251956300000126
dpixel是像素尺寸，是相机的固有参数，D是相机到待测物体的水平距离，f是焦距。
实际测量当中，相机很难与待测物体保持同一个平面，因此相机的仰角也很难保持为0。图5展示了这种更为一般的情况，其中θ是光轴与水平轴的夹角，则存在以下转化关系：
Figure BDA0002251956300000131
Figure BDA0002251956300000133
根据以上转化关系，将之前得到的像素距离转化为实际距离，从而得到待测物体的振动信息。
通过应用以上技术方案，通过亚像素精度提升，可以在测量距离非常远或者振幅很小的情况下，依然能够保持良好的测量精度。由于所采用的CMT算法基于特征点匹配，本身具有很好的运算速度和匹配精度，在此基础上融合了ORB算法与Kalman滤波器，使得算法的匹配精度与运算速度进一步提升，从而可以实现对振动情况的实时监测。
为了达到以上技术目的，本申请实施例还提出了一种基于改进CMT算法的视觉振动测量设备，如图6所示，所述设备包括：
获取模块601，用于获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物；
第一确定模块602，用于基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的；
处理模块603，用于对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息；
第二确定模块604，用于根据所述第二像素位移信息确定所述待测物体的振动信息。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于改进CMT算法的视觉振动测量方法，其特征在于，所述方法包括：
获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物；
基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的；
对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息；
根据所述第二像素位移信息确定所述待测物体的振动信息。
2.如权利要求1所述的方法，其特征在于，在获取待测物体表面的待跟踪对象的振动视频图像之后，还包括对所述振动视频图像进行同态滤波，为：
对所述振动视频图像进行对数变换获取对数图像；
获取所述对数图像的傅里叶变换；
基于高通滤波器对所述傅里叶变换进行频域滤波；
获取所述频域滤波的结果的傅里叶反变换；
对所述傅里叶反变换取指数，获取所述同态滤波的结果。
3.如权利要求1所述的方法，其特征在于，基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，具体为：
将所述振动视频图像中的第一帧图像作为模板图像；
根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，确定所述第一像素位移信息。
4.如权利要求3所述的方法，其特征在于，根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，具体为：
基于ORB算法提取所述模板图像的特征点和特征描述子；
根据所述特征点和所述特征描述子利用Kalman滤波器依次预测所述振动视频图像中下一帧的检测区域；
基于光流法在所述检测区域内进行特征点跟踪。
5.如权利要求4所述的方法，其特征在于，根据所述模板图像和所述振动视频图像利用所述改进CMT算法进行特征点跟踪，还包括：
判断所述检测区域内的特征点匹配量是否大于预设阈值；
若是，在所述检测区域内进行特征点跟踪；
若否，在所述检测区域之外的区域继续基于所述ORB算法搜索。
6.如权利要求1所述的方法，其特征在于，所述亚像素精度提升处理，具体为：
利用归一化函数确定所述特征点的周围像素点的匹配度；
基于曲面拟合确定所述匹配度对应曲面的极值点。
7.如权利要求1所述的方法，其特征在于，根据所述第二像素位移信息确定所述待测物体的振动信息，具体为：
确定所述第二像素位移信息对应的转化因子，其中所述转化因子具体为所述待跟踪对象的实际位移与对应的像素位移的比例；
根据所述第二像素位移信息和所述转化因子确定所述振动信息。
8.一种基于改进CMT算法的视觉振动测量设备，其特征在于，包括：
获取模块，用于获取待测物体表面的待跟踪对象的振动视频图像，所述待跟踪对象具体为所述待测物体表面的自然参照物；
第一确定模块，用于基于所述改进CMT算法确定所述振动视频图像中所述待跟踪对象的第一像素位移信息，所述改进CMT算法是对CMT算法进行所述待跟踪对象的特征点检测优化和检测区域优化得到的；
处理模块，用于对所述第一像素位移信息进行亚像素精度提升处理获取第二像素位移信息；
第二确定模块，用于根据所述第二像素位移信息确定所述待测物体的振动信息。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-7任一项所述的基于改进CMT算法的视觉振动测量方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如权利要求1-7任一项所述的基于改进CMT算法的视觉振动测量方法。
CN201911037571.1A 2019-10-29 2019-10-29 一种基于改进cmt算法的视觉振动测量方法和设备 Pending CN110751677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911037571.1A CN110751677A (zh) 2019-10-29 2019-10-29 一种基于改进cmt算法的视觉振动测量方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911037571.1A CN110751677A (zh) 2019-10-29 2019-10-29 一种基于改进cmt算法的视觉振动测量方法和设备

Publications (1)

Publication Number Publication Date
CN110751677A true CN110751677A (zh) 2020-02-04

Family

ID=69280726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911037571.1A Pending CN110751677A (zh) 2019-10-29 2019-10-29 一种基于改进cmt算法的视觉振动测量方法和设备

Country Status (1)

Country Link
CN (1) CN110751677A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111289087A (zh) * 2020-03-06 2020-06-16 兰州理工大学 一种远距离机器视觉振动测量方法及装置
CN112733759A (zh) * 2021-01-15 2021-04-30 中国电力科学研究院有限公司 基于视觉图像局部二值化处理的结构振动测量方法及系统
CN114295058A (zh) * 2021-11-29 2022-04-08 清华大学 一种建筑结构的整面动位移的测量方法
CN114518161A (zh) * 2022-01-11 2022-05-20 武汉理工大学 基于计算机视觉的圆柱简支梁端部横向振动的测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883533A (zh) * 2019-01-21 2019-06-14 哈尔滨工业大学（深圳） 基于机器视觉的低频振动测量方法
CN110211151A (zh) * 2019-04-29 2019-09-06 华为技术有限公司 一种运动物体的追踪方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883533A (zh) * 2019-01-21 2019-06-14 哈尔滨工业大学（深圳） 基于机器视觉的低频振动测量方法
CN110211151A (zh) * 2019-04-29 2019-09-06 华为技术有限公司 一种运动物体的追踪方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIJUN HU ET AL.: "A High-Speed Target-Free Vision-Based Sensor for Bus Rapid Transit Viaduct Vibration Measurements Using CMT and ORB Algorithms", 《SENSORS》 *
冯威: "基于高速视觉系统的振动及位移场测量", 《中国优秀博硕士学位论文全文数据库（博士） 信息科技辑》 *
袁峻等: "一种基于CMT 框架的目标跟踪算法研究", 《计算机与数字工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111289087A (zh) * 2020-03-06 2020-06-16 兰州理工大学 一种远距离机器视觉振动测量方法及装置
CN112733759A (zh) * 2021-01-15 2021-04-30 中国电力科学研究院有限公司 基于视觉图像局部二值化处理的结构振动测量方法及系统
CN112733759B (zh) * 2021-01-15 2022-03-08 中国电力科学研究院有限公司 基于视觉图像局部二值化处理的结构振动测量方法及系统
CN114295058A (zh) * 2021-11-29 2022-04-08 清华大学 一种建筑结构的整面动位移的测量方法
CN114295058B (zh) * 2021-11-29 2023-01-17 清华大学 一种建筑结构的整面动位移的测量方法
CN114518161A (zh) * 2022-01-11 2022-05-20 武汉理工大学 基于计算机视觉的圆柱简支梁端部横向振动的测量方法
CN114518161B (zh) * 2022-01-11 2023-02-24 武汉理工大学 基于计算机视觉的圆柱简支梁端部横向振动的测量方法

Similar Documents

Publication Publication Date Title
CN110751677A (zh) 一种基于改进cmt算法的视觉振动测量方法和设备
KR102581429B1 (ko) 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN109059895B (zh) 一种基于手机摄像头和传感器的多模态室内测距及定位方法
CN113159151B (zh) 面向自动驾驶的多传感器深度融合3d目标检测方法
Yu et al. Fast bridge deflection monitoring through an improved feature tracing algorithm
CN107516322B (zh) 一种基于对数极空间的图像物体大小和旋转估计计算方法
US11625454B2 (en) Method and device for 3D shape matching based on local reference frame
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN114993452B (zh) 基于宽带相位运动放大的结构微小振动测量方法与系统
CN115619780B (zh) 一种激光扫描图像质量评估方法及系统
CN113705375A (zh) 一种船舶航行环境视觉感知设备及方法
WO2022111682A1 (zh) 移动行人检测方法、电子设备及机器人
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
Songhui et al. Objects detection and location based on mask RCNN and stereo vision
CN112200303A (zh) 基于上下文相关编码器的激光雷达点云3d目标检测方法
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN110706288A (zh) 目标检测的方法、装置、设备及可读存储介质
CN113129332A (zh) 执行目标对象跟踪的方法和装置
Goshin et al. Parallel implementation of the multi-view image segmentation algorithm using the Hough transform
Huang et al. Methods on visual positioning based on basketball shooting direction standardisation
CN114092850A (zh) 重识别方法、装置、计算机设备和存储介质
CN114417946A (zh) 目标检测方法及装置
Peng et al. Full-field visual vibration measurement of rotating machine under complex conditions via unsupervised retinex model
Cao et al. Human Body Movement Velocity Estimation Based on Binocular Video Streams
Ding et al. Research on optimization of SURF algorithm based on embedded CUDA platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200204

RJ01 Rejection of invention patent application after publication