CN114862809A - 一种基于移动终端与图像处理的振动监测方法和装置 - Google Patents

一种基于移动终端与图像处理的振动监测方法和装置 Download PDF

Info

Publication number
CN114862809A
CN114862809A CN202210544482.1A CN202210544482A CN114862809A CN 114862809 A CN114862809 A CN 114862809A CN 202210544482 A CN202210544482 A CN 202210544482A CN 114862809 A CN114862809 A CN 114862809A
Authority
CN
China
Prior art keywords
image
vibration
mobile terminal
detected
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210544482.1A
Other languages
English (en)
Inventor
王天宇
苏烨
张江丰
郑可轲
丁俊宏
华丽云
张新胜
蔡钧宇
陈巍文
蔡萍萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Hangzhou E Energy Electric Power Technology Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Hangzhou E Energy Electric Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd, Hangzhou E Energy Electric Power Technology Co Ltd filed Critical Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202210544482.1A priority Critical patent/CN114862809A/zh
Publication of CN114862809A publication Critical patent/CN114862809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Abstract

本发明公开了一种基于移动终端与图像处理的振动监测方法和装置，属于振动设备监测技术领域。本发明的一种基于移动终端与图像处理的振动监测方法，构建图像相似度及频谱校正模型，预估待测图像和模板图像之间的旋转角度；以汉明距离为基准，对待测图像和模板图像中的特征点进行对应匹配，并对匹配成功的特征点对进行数据拟合，求得待测图像与模板图像之间的位置变化，实现旋转部件的振动监测，方案科学、合理，具有普遍适用性，解决了现有传感器布点布线困难的问题，在保证能够获得连续有效的振动信息的同时，提高传感器的抗干扰能力、动态响应能力、稳定性和可靠性，减少维修和校准成本。

Description

一种基于移动终端与图像处理的振动监测方法和装置
技术领域
本发明涉及一种基于移动终端与图像处理的振动监测方法和装置，属于振动设备监测技术领域。
背景技术
振动监测技术广泛应用于工业生产过程中，例如对一些重要的机械设备的状态监测，如发电机、电动机、磨煤机、风力涡轮机等。振动是反映旋转机械运行状况的重要参数之一。实时、准确的振动监测，不仅有助于及时掌握旋转机械的运行状态，而且为设备检修、故障诊断提供关键信息。据统计，利用振动特征可以诊断旋转机械70％以上的故障状况。现有的振动检测传感器包括压电式加速度传感器、电涡流传感器、激光多普勒仪电磁式速度传感器等。尽管这些传感器在实际应用中都取得了一定的效果，但在精度、量程、适用性等方面均存在一定的局限性。
压电式加速度传感器受安装方式的限制，无法实现旋转部件的非接触式测量，长期使用易产生磨损。另外，拟测量的对象需和它保持机械形式的相互接触，相应地限制测量对象的安装布局，同时也使被测对象承受额外的质量，可能会对其动态特性和最终测量结果造成不利影响。特别是，对于轻质机械结构与精细微小设备，如微机电系统、转子轴承等器件，该类装置的影响尤为严重。
激光多普勒仪、电子散斑干涉等非接触式监测方法，在一定程度上克服了接触式测量技术的缺陷，但是该类设备价格昂贵，系统复杂，往往需要配备复杂的光路及辅助装置。
电涡流位移传感器和电磁式速度传感器受其测量原理的制约，对环境要求苛刻，特别是对磁干扰敏感，无法实现非金属或合金材料的直接测量。另外，该类装置一般需要固定安装在被测旋转部件周边，尽管能够保证测量的准确性和可靠性，但会造成额外的装配成本，便携性差，无法进行远场测量。这些装置的现场布线也不利于工业场合的广泛应用。
近年来，国内外很多学者开始研究基于图像的非接触式振动监测方法。其研究思路是在被测对象上预设标记，通过相机跟踪标记的位置变化信息来推算出运动学参数。现有的视觉测量系统一般需要采用价格昂贵的高速相机，设置极小的曝光时间，以获取清晰的图像，减少运动模糊对图像质量的影响。该类方法对图像分辨率和帧率要求高，并且容易受到目标遮挡和噪声等不利因素的影响。鉴于移动终端所携带摄像头一般帧率和分辨率较低，现有的视觉监测方法很难克服运动模糊带来的不利影响，不能应用于移动终端这类便携式设备。
发明内容
针对现有技术的缺陷，本发明的目的一在于提供一种将基于移动终端拍摄的旋转部件的若干图像，进行筛选：选择若干图像中的一张图像作为模板图像，选择除模板图像之外的一张或多张图像，作为待测图像；然后构建图像相似度及频谱校正模型，利用归一化互相关系数和能量重心校正方法，预估待测图像和模板图像之间的旋转角度；再根据旋转角度，将待测图像旋转复位，形成复位图像，以减少旋转对振动测量的不利影响；进而构建非线性扩散滤波模型，对复位图像以及模板图像进行特征点提取，并形成特征点描述符；从而可根据特征描述符，以汉明距离为基准，对待测图像和模板图像中的特征点进行对应匹配，并对匹配成功的特征点对进行数据拟合，求得待测图像相比模板图像的位置变化；最后根据图像像素与实际位移之间的标定系数，将位置变化转化为旋转部件的实际振动位移，实现旋转部件的振动监测，方案科学、合理，具有普遍适用性，解决了现有传感器布点布线困难的问题，在保证能够获得连续有效的振动信息的同时，提高传感器的抗干扰能力、动态响应能力、稳定性和可靠性，减少维修和校准成本的基于移动终端与图像处理的振动监测方法。
针对现有技术的缺陷，本发明的目的二在于提供一种非接触式的振动监测手段，不会影响被测对象的动态性能，能够满足随时随地的振动远距离监测需求，给工业现场操作带来极大的便利性；对于发生模糊、亮度及旋转变化的图像序列，具有较高的测量性能，优于现有视觉测量装置的基于移动终端与图像处理的振动监测装置。
为实现上述目的之一，本发明的第一种技术方案为：
一种基于移动终端与图像处理的振动监测方法，
包括以下步骤：
步骤1：获取基于移动终端拍摄的旋转部件的若干图像；
所述图像，用于记录旋转部件在不同时刻的位姿状态；
步骤2：对步骤1中的若干图像进行筛选；
所述筛选过程如下：
选择若干图像中的一张图像作为模板图像，
选择除模板图像之外的一张或多张图像，作为待测图像；
步骤3：构建图像相似度及频谱校正模型；
所述图像相似度及频谱校正模型，利用归一化互相关系数和能量重心校正方法，预估步骤2中的待测图像和模板图像之间的旋转角度；
步骤4：根据步骤3计算的旋转角度，将待测图像旋转复位，形成复位图像，以减少旋转对振动测量的不利影响；
步骤5：构建非线性扩散滤波模型，对步骤4中的复位图像以及步骤2中的模板图像进行滤波，得到非线性尺度空间；
之后在非线性尺度空间中提取复位图像及模板图像的特征点，并对提取的特征点，根据其尺度、方向信息，生成特征点描述符；
步骤6：根据步骤5中的特征描述符，以汉明距离为基准，对待测图像和模板图像中的特征点进行对应匹配，并对匹配成功的特征点对进行数据拟合，求得待测图像相对于模板图像的位置变化；
步骤7：根据图像像素与实际位移之间的标定系数，将步骤6中的位置变化转化为旋转部件的实际振动位移，实现旋转部件的振动监测。
本发明经过不断探索以及试验，将基于移动终端拍摄的旋转部件的若干图像，进行筛选：
选择若干图像中的一张图像作为模板图像，选择除模板图像之外的一张或多张图像，作为待测图像；然后构建图像相似度及频谱校正模型，利用归一化互相关系数和能量重心校正方法，预估待测图像和模板图像之间的旋转角度；再根据旋转角度，将待测图像旋转复位，形成复位图像，以减少旋转对振动测量的不利影响；进而构建非线性扩散滤波模型，对复位图像以及模板图像进行特征点提取，得到特征点描述符；从而可根据特征描述符，以汉明距离为基准，对待测图像和模板图像中的特征点进行对应匹配，并对匹配成功的特征点对进行数据拟合，求得待测图像相比模板图像的位置变化；最后根据图像像素与实际位移之间的标定系数，将位置变化转化为旋转部件的实际振动位移，实现旋转部件的振动监测，方案科学、合理，具有普遍适用性，解决了现有传感器布点布线困难的问题，在保证能够获得连续有效的振动信息的同时，提高传感器的抗干扰能力、动态响应能力、稳定性和可靠性，减少维修和校准成本。
进一步，本发明的振动监测方法作为一种非接触式的振动监测手段，不会影响被测对象的动态性能，能够满足随时随地的振动远距离监测需求，给工业现场操作带来极大的便利性。
再进一步，本发明采用图像相似度以及重心校正模型计算模板图像与待测图像之间的旋转角度，使得待测图像旋转复位，能够减小图像旋转对振动测量的影响。
更进一步，本发明采用汉明距离对局部AKAZE特征进行图像匹配和目标监测，可以对发生模糊、亮度及旋转变化等不利影响的图像序列进行振动监测，进而本发明具有较高的测量性能，优于现有视觉测量方法。
作为优选技术措施：
所述步骤1中，图像获取的方法如下：
利用移动终端的摄像头拍摄旋转部件在不同工作状态下的振动视频，并将其存储到数据存储模块，之后对振动视频进行处理，得到若干图像；
拍摄过程中，摄像头的拍摄帧率保持不变，摄像头的光轴垂直于旋转部件的横截面；
所述旋转部件为发动机转轴或电机转子或汽轮机叶片。
作为优选技术措施：
所述步骤3中，图像相似度及频谱校正模型的构建方法如下：
S31：采用归一化互相关算法计算待测图像中每一张图像与模板图像的归一化互相关系数，将待测图像转化为表征图像相似度的一维信号S(k)；
所述归一化互相关系数的计算公式如下：
Figure BDA0003651512350000041
Figure BDA0003651512350000042
Figure BDA0003651512350000043
Figure BDA0003651512350000044
Figure BDA0003651512350000045
其中，f(xi,yj)为模板图像，g(x′i,y′j)为待测图像，m×n为分辨率；
S32：采用能量重心校正方法对S31中的表征图像相似度的一维信号S(k)，进行频谱校正，提取高精度的旋转频率f；
根据重心特性，相似度信号校正后的旋转频率f的计算公式如下：
Figure BDA0003651512350000046
式中，Gi为表征图像相似度的一维信号S(k)功率谱第i条峰值谱线的幅值，
Gk对应主瓣内功率谱最大振幅对应的主频率分量，
k为幅值最大点对应的谱线号，
N为相似度信号的长度，
fs为摄像头的采样频率，
S33：根据S32中的旋转频率f与待测图像的采集时刻T的关系，求得待测图像相对于模板图像的旋转角度，所述旋转角度的计算公式如下：
θ＝f×T×360°。
作为优选技术措施：
所述步骤5中，非线性扩散滤波模型的构建方法如下：
S51:引入尺度参数，利用非线性扩散滤波方程对复位图像以及模板图像进行滤波，构建尺度空间，用于减少图像像素的振幅变化；
非线性扩散滤波方程的计算公式如下：
Figure BDA0003651512350000051
其中，(x，y)是图像点的像素坐标，
div表示散度，
Figure BDA0003651512350000052
是梯度，
L表征图像亮度，
t是尺度参数，
c是传导扩散函数；
所述传导扩散函数的计算公式如下：
Figure BDA0003651512350000053
Figure BDA0003651512350000054
其中，
Figure BDA0003651512350000055
表示高斯平滑运算，δ表示标准差，λ表示图像对比度因子；
S52:根据S51中的尺度空间，建立金字塔图像模型；
金字塔图像模型的建立过程如下：
确定金字塔总的层数O以及每一层的模糊图像数S；
对于金字塔第o层中第s幅图像，确定相应的模糊尺度参数；
所述模糊尺度参数的计算公式如下：
σi(o,s)＝σ02o+s/S,o∈[0,1,…,O-1],s∈[0,1,…,S-1],i∈[0,1,…,M-1] (10)
其中，σ0是尺度空间参数的基准值，M＝O×S是尺度空间包括的全部图像总数；
把模糊尺度参数映射为时间单元，其映射公式如下：
Figure BDA0003651512350000061
S53：利用非极大值抑制法计算S52中的金字塔图像模型中每个像素点的Hessian矩阵值，并进行尺度归一化处理，得到归一化Hessian矩阵值；
S54：将S53中的归一化Hessian矩阵值与其同层以及上下邻层的26个像素点进行比较，寻找Hessian矩阵极大值，将其选择为特征点；
S55：以S54中的特征点为中心，以半径6σ为统计范围，取特征点邻域的一阶微分Lx和Ly进行高斯赋权运算；并用60°的扇形区域绕中心旋转，并计算该区域内向量和，取最长方向为特征点主方向；
S56：采用局部差分描述符M-LDB把S55中的特征点邻域分成若干个子格网，在子格网中以尺度σ为间隔重采样得到离散点；
S57：计算S56中的离散点亮度值、水平和竖直方向的导数均值，并让两者的导数均值构成一个3bit长度的特征描述符。
作为优选技术措施：
所述步骤6中，匹配方法如下：
使用汉明距离对具有相同长度的特征描述符进行匹配，找到同一空间点分别在待测图像和模板图像中的像素坐标，得到特征匹配点对，并进行模板图像和待测图像之间的几何变换；
所述几何变换为全仿射变换，其计算公式如下：
Figure BDA0003651512350000062
其中，(x1,y1),(x2,y2),…,(xq,yq)(q≥3)为参考图像f(xi,yj)特征点的像素坐标，(x′1,y′1),(x′2,y′2),…,(x′q,y′q)为待测图像g(x′i,y′j)中与之匹配的像素坐标，
a，b，c，d为数据拟合得到的参数，
tx和ty分别为旋转部件在x轴和y轴上的位移量，表征旋转部件的振动；
对特征匹配点对进行数据拟合，实现tx和ty的求解。
作为优选技术措施：
所述步骤7中，实际振动位移是根据像素位置与实际位移的标定系数K，将tx和ty转化为在实际空间中的振动位移，其计算公式如下：
Figure BDA0003651512350000063
为实现上述目的之一，本发明的第二种技术方案为：
一种基于移动终端与图像处理的振动监测装置，
应用上述的一种基于移动终端与图像处理的振动监测方法；
其具备能布置在被测旋转部件一侧的移动终端设备；
移动终端包括摄像头、图像采集模块、数据存储模块以及图像及信号处理与模块；
所述摄像头，用于拍摄旋转部件的运动表面；
所述图像采集模块，用于根据实际工况设置摄像头的帧率、分辨率、曝光时间、拍摄角度，控制摄像头对旋转部件的表面进行拍摄，并将采集的图像序列传输到数据存储模块；
所述数据存储模块，用于存储图像序列；
所述图像及信号处理模块，用于对图像序列进行相似度计算、能量重心校正和局部特征AKAZE检测及匹配运算，求得旋转部件实际的振动位移。
本发明的移动终端是一种新型的便携式、非接触式振动监测装置，可为振动监测提供一种全新的技术手段，具有广阔的应用前景。相比于已有基于高分辨率高速相机的视觉监测系统，具有低成本、便携性强、测量精度高的优点。
本发明的振动监测装置作为一种非接触式的振动监测手段，不会影响被测对象的动态性能，能够满足随时随地的振动远距离监测需求，给工业现场操作带来极大的便利性。
本发明采用图像相似度及频谱校正模型计算模板图像与待测图像之间的旋转角度，使得待测图像旋转复位，能够减小图像旋转对振动测量的影响。
本发明采用汉明距离对AKAZE特征进行图像匹配和目标监测，对于发生模糊、亮度及旋转变化的图像序列，该装置具有较高的测量性能，优于现有视觉测量方法。
作为优选技术措施：
所述摄像头以固定的帧率拍照，帧率的设置根据旋转部件振动频率的范围而定，以防止采样混淆导致测量失效；一般应设定较高的拍摄帧率，以获得较高的测量精度，帧率应不小于30帧/秒；
旋转部件在图像中所占的区域大于或等于204800(640×480)像素，以便提供充分的纹理信息进行图像序列的相似度计算和图像局部特征检测。
作为优选技术措施：
所述摄像头的曝光时间小于1000μs，以避免程度过大的运动模糊，从而保证能够提取到足够的图像特征；
光照强度大于300Lux，以保证较好的成像质量；
摄像头的拍摄角度为-10度到10度，以保证较小的图像畸变和失真；
摄像头的拍摄距离大于或等于20厘米，具体值需要根据实际旋转部件大小和摄像头分辨率进行设定，以保证图像正常对焦。
作为优选技术措施：
所述移动终端可为配备摄像头的无人机、智能手机或树莓派。
与现有技术相比，本发明具有以下有益效果：
本发明经过不断探索以及试验，将基于移动终端拍摄的旋转部件的若干图像，进行筛选：
选择若干图像中的一张图像作为模板图像，选择除模板图像之外的一张或多张图像，作为待测图像；然后构建图像相似度及频谱校正模型，利用归一化互相关系数和能量重心校正方法，预估待测图像和模板图像之间的旋转角度；再根据旋转角度，将待测图像旋转复位，形成复位图像，以减少旋转对振动测量的不利影响；进而构建非线性扩散滤波模型，对复位图像以及步骤2中的模板图像进行滤波，之后进行特征点提取，并得到特征点描述符；从而可根据特征描述符，以汉明距离为基准，对待测图像和模板图像中的特征点进行对应匹配，并对匹配成功的特征点对进行数据拟合，求得待测图像相比模板图像的位置变化；最后根据图像像素与实际位移之间的标定系数，将位置变化转化为旋转部件的实际振动位移，实现旋转部件的振动监测，方案科学、合理，具有普遍适用性，解决了现有传感器布点布线困难的问题，在保证能够获得连续有效的振动信息的同时，提高传感器的抗干扰能力、动态响应能力、稳定性和可靠性，减少维修和校准成本。
进一步，本发明的振动监测方法作为一种非接触式的振动监测手段，不会影响被测对象的动态性能，能够满足随时随地的振动远距离监测需求，给工业现场操作带来极大的便利性。
再进一步，本发明采用图像相似度及频谱校正模型计算模板图像与待测图像之间的旋转角度，使得待测图像旋转复位，能够减小图像旋转对振动测量的影响。
更进一步，本发明采用汉明距离对局部特征AKAZE进行图像匹配和目标监测，对于发生模糊、亮度及旋转变化的图像序列，本发明具有较高的测量性能，优于现有视觉测量方法。
进而，本发明的振动监测装置作为一种非接触式的振动监测手段，不会影响被测对象的动态性能，能够满足随时随地的振动远距离监测需求，给工业现场操作带来极大的便利性。
附图说明
附图1为本发明基于移动终端和图像处理的振动监测方法流程图；
附图2为本发明基于移动终端和图像处理的振动监测装置结构示意图。
附图标记：
1、被测转子；2、移动终端；3、图像采集模块；4、数据存储模块；5、图像和信号处理模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
本发明基于移动终端和图像处理的振动监测方法的第一种具体实施例：
一种基于移动终端与图像处理的振动监测方法，
包括以下步骤：
步骤1：获取基于移动终端拍摄的旋转部件的若干图像；
所述图像，用于记录旋转部件在不同时刻的位姿状态；
步骤2：对步骤1中的若干图像进行筛选；
所述筛选过程如下：
选择若干图像中的一张图像作为模板图像，
选择除模板图像之外的一张或多张图像，作为待测图像；
步骤3：构建图像相似度及频谱校正模型；
所述图像相似度及频谱校正模型，利用归一化互相关系数和能量重心校正方法，预估步骤2中的待测图像和模板图像之间的旋转角度
步骤4：根据步骤3计算的旋转角度，将待测图像旋转复位，形成复位图像，以减少旋转对振动测量的不利影响；
步骤5：构建非线性扩散滤波模型，对步骤4中的复位图像以及步骤2中的模板图像进行滤波，得到非线性尺度空间；
所述滤波的过程如下：
提取复位图像以模板图像的特征点，并对提取的特征点，根据其尺度、方向信息，生成特征点描述符；
步骤6：根据步骤5中的特征描述符，以汉明距离为基准，对待测图像和模板图像中的特征点进行对应匹配，并对匹配成功的特征点对进行数据拟合，求得待测图像相比模板图像的位置变化；
步骤7：根据图像像素与实际位移之间的标定系数，将步骤6中的位置变化转化为旋转部件的实际振动位移，实现旋转部件的振动监测。
本发明基于移动终端和图像处理的振动监测方法的第二种具体实施例：
一种基于移动终端与图像处理的振动监测方法，具体包括以下步骤：
步骤S1：利用移动终端的摄像头拍摄旋转部件(比如发动机转轴，汽轮机叶片等)在不同工作状态下的振动视频，并将其存储到数据存储模块，之后调用图像和信号处理模块对图像进行处理；
步骤S2：将拍摄的第一张图像作为模板图像，其余图像为待测图像；采用图像相似度计算和能量重心校正技术预估待测图像和模板图像之间的旋转角度，将待测图像旋转复位，以减少旋转对后续特征提取和匹配的不利影响；
步骤S3：采用非线性扩散滤波器引入尺度参数，对获取的图像进行非线性扩散滤波，构建尺度空间；提取每一张图像的AKAZE特征，对提取的每一个特征点，根据其尺度、方向等信息，生成特征点描述符；
步骤S4：以汉明距离为基准，对待测图像和模板图像的AKAZE特征描述符进行匹配；对匹配成功的特征点对进行数据拟合，求解标记在待测图像中的位置变化；根据图像像素与实际位移之间的标定系数，将标记图像中的位置变化转化为旋转部件的实际振动位移。
如图1所示，本发明基于移动终端和图像处理的振动监测方法的一种最佳实施例：
基于移动终端和图像处理的振动监测方法采用图像和信号处理技术获得振动位移，通过图像相似度评价、重心校正方法和局部特征AKAZE算法来检测旋转部件的位置变化，其具体包括以下步骤：
步骤S1：利用移动终端的摄像头拍摄旋转部件(比如发动机转轴，汽轮机叶片等)在不同工作状态下的振动视频，并将其存储到数据存储模块，之后调用图像和信号处理模块对图像进行处理；
所述步骤S1中，旋转部件图像采集过程中，摄像头的拍摄帧率保持不变，摄像头的光轴垂直于转子部件横截面；
步骤S2：以拍摄的第一张图像作为模板图像，采用图像相似度计算和重心校正技术预估后续图像和模板图像之间的旋转角度，将待测图像旋转复位。
所述步骤2中，具体包括：
S21：首先，采用归一化互相关算法计算图像序列中每一张图像与第一张图像的归一化互相关系数，将图像序列转化为表征图像相似度的一维信号S(k)；假设模板图像f(xi,yj)和待测图像g(x′i,y′j)的分辨率大小为m×n，图像f(xi,yj)和图像g(x′i,y′j)的归一化互相关系数计算公式为：
Figure BDA0003651512350000111
Figure BDA0003651512350000112
Figure BDA0003651512350000113
Figure BDA0003651512350000114
Figure BDA0003651512350000115
S22：得到表征图像相似度的一维信号S(k)后，采用能量重心校正方法对重构的图像相似度信号进行频谱校正，提取高精度的旋转频率f。根据重心特性，相似度信号校正后的真实频率f为：
Figure BDA0003651512350000116
式中，Gi为相似信号S(k)功率谱第i条峰值谱线的幅值，Gk对应主瓣内功率谱最大振幅对应的主频率分量，k为幅值最大点对应的谱线号，N为相似度信号的长度；fs为摄像头的采样频率。最终，根据待测图像的采集时刻T与旋转频率的关系，求得待测图像相对于模板图像的旋转角度θ＝f×T×360°；
步骤S3:采用局部特征AKAZE检测算法提取每一张图像的局部特征，对每一个特征点，根据其尺度、方向等信息，生成特征点描述符，用于后续的图像匹配。
其具体包括:
S31:采用非线性扩散滤波器引入尺度参数，对原图像进行滤波，构建尺度空间。非线性扩散滤波方程为：
Figure BDA0003651512350000117
其中，(x，y)代表图像点的像素坐标，div表示散度，
Figure BDA0003651512350000118
是梯度，L表征图像亮度，t表示尺度参数。c表示传导扩散函数，采用以下公式：
Figure BDA0003651512350000121
Figure BDA0003651512350000122
其中，
Figure BDA0003651512350000123
表示高斯平滑运算，δ表示标准差，λ表示图像对比度因子。
在建立金字塔图像时，确定金字塔总的层数O以及每一层的模糊图像数S。对于金字塔第o层中第s幅图像，其相应的模糊尺度参数为
σi(o,s)＝σ02o+s/S,o∈[0,1,…,O-1],s∈[0,1,…,S-1],i∈[0,1,…,M-1] (10)
其中，σ0是尺度空间参数的基准值，M＝O×S是全部尺度空间包含的图像总数。
把尺度参数替换为时间单元的映射公式表示为
Figure BDA0003651512350000124
S32：利用非极大值抑制法计算图像金字塔中每个像素点的Hessian矩阵值，将其与同层以及上下邻层的26个像素点比较；寻找尺度归一化后的Hessian矩阵极大值，将其选择为特征点。
在梯度图像上以特征点为中心，以半径6σ为统计范围，取特征点邻域的一阶微分Lx和Ly进行高斯赋权运算。然后用60°的扇形区域绕原点旋转，并计算该区域内向量和，取最长方向为特征点主方向。采用局部差分描述符(M-LDB)把特征点邻域分成若干个格网，在子格网中以尺度σ为间隔重采样得到离散点，计算离散点亮度值、水平和竖直方向的导数均值，使二值测试的结果构成了一个3bit长度的描述符。
步骤S4:以汉明距离为基准，对待测图像和模板图像的局部特征AKAZE描述符进行匹配；对匹配成功的特征点对进行数据拟合，求解标记在待测图像中的位置变化；根据图像像素与实际位移之间的标定系数，将标记图像中的位置变化转化为旋转部件的实际振动位移。具体包括:
S41:使用Hamming距离对具有相同长度的局部特征AKAZE描述符进行匹配，找到同一空间点分别在待测图像和模板图像中的像素坐标。
通过局部特征AKAZE匹配，可得到特征匹配点对，其中(x1,y1),(x2,y2),…,(xq,yq)(q≥3)为参考图像f(xi,yj)特征点的坐标，(x′1,y′1),(x′2,y′2),…,(x′q,y′q)为待测图像g(x′i,y′j)中与之匹配的特征点坐标。
S42:转子图像间的几何变换为全仿射变换，可表示如下：
Figure BDA0003651512350000131
其中，tx和ty分别为旋转部件在x轴和y轴上的位移量，可表征旋转部件的振动。对特征匹配点对进行数据拟合，求解tx和ty。根据像素位置与实际位移的标定系数K，将tx和ty转化为在实际空间中的振动位移。
Figure BDA0003651512350000132
如图2所示，应用本发明基于移动终端和图像处理的振动监测装置的一种具体实施例：
在被测旋转部件1的一侧布置无人机、智能手机或树莓派等配备摄像头的移动终端设备2。
移动终端具备顺序连接的摄像头、图像采集模块3、数据存储模块4以及图像及信号处理与模块5。
移动终端的图像采集模块3根据实际工况设置摄像头的帧率、分辨率、曝光时间、拍摄角度等参数，控制摄像头对被测旋转部件表面成像，并将采集的图像序列传输到数据存储模块4；数据存储模块4将采集到的图像序列传输到图像及信号处理模块5，对图像序列进行相似度计算、相似度信号频谱细化和局部特征AKAZE检测及匹配等运算，输出旋转部件的振动位移。
移动终端的摄像头以固定的帧率拍照，帧率的设置根据旋转部件振动频率的范围而定，一般应设定较高的拍摄帧率，以获得较高的测量精度，帧率应不小于30帧/秒，以防止采样混淆导致测量失效。
旋转部件所占图像区域大于204800(640×480)像素，以便提供充分的纹理信息进行图像序列的相似度计算和图像局部特征检测。
移动终端的摄像头的曝光时间应控制在1000μs以下，以避免程度过大的运动模糊，从而保证能够提取到足够的图像特征；拍摄环境的光照强度在300lux以上，以保证图像良好的质量，以防止不利光照条件导致的低对比度，一般无需附加额外的照明条件。
移动终端的摄像头的拍摄角度可选，一般以-10度到10度为宜，以保证较小的图像畸变和失真；摄像头的拍摄距离根据实际旋转部件大小和摄像头分辨率进行设定，一般不小于20厘米，以保证图像正常对焦。
应用本发明方法的一种装置实施例：
一种计算机设备，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的一种基于移动终端与图像处理的振动监测方法。
应用本发明方法的一种计算机介质实施例：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种基于移动终端与图像处理的振动监测方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于移动终端与图像处理的振动监测方法，其特征在于，
包括以下步骤：
步骤1：获取基于移动终端拍摄的旋转部件的若干图像；
所述图像，用于记录旋转部件在不同时刻的位姿状态；
步骤2：对步骤1中的若干图像进行筛选；
所述筛选过程如下：
选择若干图像中的一张图像作为模板图像，
选择除模板图像之外的一张或多张图像，作为待测图像；
步骤3：构建图像相似度及频谱校正模型；
所述图像相似度及频谱校正模型，利用归一化互相关系数和能量重心校正方法，预估步骤2中的待测图像和模板图像之间的旋转角度；
步骤4：根据步骤3计算的旋转角度，将待测图像旋转复位，形成复位图像；
步骤5：构建非线性扩散滤波模型，对步骤4中的复位图像以及步骤2中的模板图像进行滤波，得到非线性尺度空间；
之后在非线性尺度空间提取复位图像及模板图像的特征点，并对提取的特征点，根据其尺度、方向信息，生成特征点描述符；
步骤6：根据步骤5中的特征描述符，以汉明距离为基准，对待测图像和模板图像中的特征点进行对应匹配，并对匹配成功的特征点对进行数据拟合，求得待测图像相对于模板图像的位置变化；
步骤7：根据图像像素与实际位移之间的标定系数，将步骤6中的位置变化转化为旋转部件的实际振动位移，实现旋转部件的振动监测。
2.如权利要求1所述的一种基于移动终端与图像处理的振动监测方法，
其特征在于，
所述步骤1中，图像获取的方法如下：
利用移动终端的摄像头拍摄旋转部件在不同工作状态下的振动视频，并将其存储到数据存储模块，之后对振动视频进行处理，得到若干图像；
拍摄过程中，摄像头的拍摄帧率保持不变，摄像头的光轴垂直于旋转部件的横截面；所述旋转部件为发动机转轴或电机转子或汽轮机叶片。
3.如权利要求1所述的一种基于移动终端与图像处理的振动监测方法，
其特征在于，
所述步骤3中，图像相似度及频谱校正模型的构建方法如下：
S31：采用归一化互相关算法计算待测图像中每一张图像与模板图像的归一化互相关系数，将待测图像转化为表征图像相似度的一维信号S(k)；
所述归一化互相关系数的计算公式如下：
Figure FDA0003651512340000021
Figure FDA0003651512340000022
Figure FDA0003651512340000023
Figure FDA0003651512340000024
Figure FDA0003651512340000025
其中，f(xi,yj)为模板图像，g(x′i,y′j)为待测图像，m×n为分辨率；
S32：采用能量重心校正方法对S31中的表征图像相似度的一维信号S(k)，进行频谱校正，提取高精度的旋转频率f；
校正后旋转频率f的计算公式如下：
Figure FDA0003651512340000026
式中，Gi为表征图像相似度的一维信号S(k)功率谱第i条峰值谱线的幅值，
k为幅值最大点对应的谱线号，
N为相似度信号的长度，
fs为摄像头的采样频率；
S33：根据S32中的旋转频率f与待测图像的采集时刻T的关系，求得待测图像相对于模板图像的旋转角度，所述旋转角度的计算公式如下：
θ＝f×T×360°。
4.如权利要求1所述的一种基于移动终端与图像处理的振动监测方法，
其特征在于，
所述步骤5中，非线性扩散滤波模型的构建方法如下：
S51:引入尺度参数，利用非线性扩散滤波方程对复位图像以及模板图像进行滤波，构建尺度空间；
非线性扩散滤波方程的计算公式如下：
Figure FDA0003651512340000031
其中，(x，y)是图像点的像素坐标，
div表示散度，
Figure FDA0003651512340000035
是梯度，
L表征图像亮度，
t是尺度参数，
c是传导扩散函数；
所述传导扩散函数的计算公式如下：
Figure FDA0003651512340000033
Figure FDA0003651512340000032
其中，
Figure FDA0003651512340000034
表示高斯平滑运算，δ表示标准差，λ表示图像对比度因子；
S52:根据S51中的尺度空间，建立金字塔图像模型；
金字塔图像模型的建立过程如下：
确定金字塔总的层数O以及每一层的模糊图像数S；
对于金字塔第o层中第s幅图像，确定相应的模糊尺度参数；
所述模糊尺度参数的计算公式如下：
σi(o,s)＝σ02o+s/S,o∈[0,1,…,O-1],s∈[0,1,…,S-1],i∈[0,1,…,M-1] (10)
其中，σ0是尺度空间参数的基准值，M＝O×S是尺度空间包括的全部图像总数；
把模糊尺度参数映射为时间单元，其映射公式如下：
Figure FDA0003651512340000041
S53：利用非极大值抑制法计算S52中的金字塔图像模型中每个像素点的Hessian矩阵值，并进行尺度归一化处理，得到归一化Hessian矩阵值；
S54：将S53中的归一化Hessian矩阵值与其同层以及上下邻层的26个像素点进行比较，寻找Hessian矩阵极大值，将其选择为特征点；
S55：以S54中的特征点为中心，以半径6σ为统计范围，取特征点邻域的一阶微分Lx和Ly进行高斯赋权运算；并用60°的扇形区域绕中心旋转，并计算该区域内向量和，取最长方向为特征点主方向；
S56：采用局部差分描述符M-LDB把S55中的特征点邻域分成若干个子格网，在子格网中以尺度σ为间隔重采样得到离散点；
S57：计算S56中的离散点亮度值、水平和竖直方向的导数均值，并让两者的导数均值构成一个3bit长度的特征描述符。
5.如权利要求4所述的一种基于移动终端与图像处理的振动监测方法，
其特征在于，
所述步骤6中，匹配方法如下：
使用汉明距离对具有相同长度的特征描述符进行匹配，找到同一空间点分别在待测图像和模板图像中的像素坐标，得到特征匹配点对，并进行模板图像和待测图像之间的几何变换；
所述几何变换为全仿射变换，其计算公式如下：
Figure FDA0003651512340000042
其中，(x1,y1),(x2,y2),…,(xq,yq)(q≥3)为参考图像f(xi,yj)特征点的像素坐标，(x′1,y′1),(x′2,y′2),…,(x′q,y′q)为待测图像g(x′i,y′j)中与之匹配的像素坐标，
tx和ty分别为旋转部件在x轴和y轴上的位移量，表征旋转部件的振动；
对特征匹配点对进行数据拟合，实现tx和ty的求解。
6.如权利要求5所述的一种基于移动终端与图像处理的振动监测方法，
其特征在于，
所述步骤7中，实际振动位移是根据像素位置与实际位移的标定系数K，将tx和ty转化为在实际空间中的振动位移，其计算公式如下：
Figure FDA0003651512340000051
7.一种基于移动终端与图像处理的振动监测装置，其特征在于，
应用如权利要求1-6任一所述的一种基于移动终端与图像处理的振动监测方法；
其具备能布置在被测旋转部件(1)一侧的移动终端设备(2)；
移动终端包括摄像头、图像采集模块(3)、数据存储模块(4)以及图像及信号处理与模块(5)；
所述摄像头，用于拍摄旋转部件的运动表面；
所述图像采集模块(3)，用于根据实际工况设置摄像头的帧率、分辨率、曝光时间、拍摄角度，控制摄像头对旋转部件的表面进行拍摄，并将采集的图像序列传输到数据存储模块(4)；
所述数据存储模块(4)，用于存储图像序列；
所述图像及信号处理模块(5)，用于对图像序列进行相似度计算、能量重心校正和局部特征AKAZE检测及匹配运算，求得旋转部件实际的振动位移。
8.如权利要求7所述的一种基于移动终端与图像处理的振动监测装置，
其特征在于，
所述摄像头以固定的帧率拍照，帧率的设置根据旋转部件振动频率的范围而定；
旋转部件在图像中所占的区域大于或等于204800像素。
9.如权利要求7所述的一种基于移动终端与图像处理的振动监测装置，
其特征在于，
所述摄像头的曝光时间小于1000μs；
光照强度大于300Lux；
摄像头的拍摄角度为-10度到10度；
摄像头的拍摄距离大于或等于20厘米。
10.如权利要求7所述的一种基于移动终端与图像处理的振动监测装置，
其特征在于，
所述移动终端为配备摄像头的无人机、智能手机或树莓派。
CN202210544482.1A 2022-05-19 2022-05-19 一种基于移动终端与图像处理的振动监测方法和装置 Pending CN114862809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210544482.1A CN114862809A (zh) 2022-05-19 2022-05-19 一种基于移动终端与图像处理的振动监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210544482.1A CN114862809A (zh) 2022-05-19 2022-05-19 一种基于移动终端与图像处理的振动监测方法和装置

Publications (1)

Publication Number Publication Date
CN114862809A true CN114862809A (zh) 2022-08-05

Family

ID=82640176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210544482.1A Pending CN114862809A (zh) 2022-05-19 2022-05-19 一种基于移动终端与图像处理的振动监测方法和装置

Country Status (1)

Country Link
CN (1) CN114862809A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115015942A (zh) * 2022-08-09 2022-09-06 中国人民解放军军事科学院国防科技创新研究院 一种自适应水下目标声学测速装置及方法
CN116232123A (zh) * 2023-05-06 2023-06-06 太原理工大学 一种基于矿用风筒振动频谱的能量自适应转换装置及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115015942A (zh) * 2022-08-09 2022-09-06 中国人民解放军军事科学院国防科技创新研究院 一种自适应水下目标声学测速装置及方法
CN115015942B (zh) * 2022-08-09 2022-11-01 中国人民解放军军事科学院国防科技创新研究院 一种自适应水下目标声学测速装置及方法
CN116232123A (zh) * 2023-05-06 2023-06-06 太原理工大学 一种基于矿用风筒振动频谱的能量自适应转换装置及方法
CN116232123B (zh) * 2023-05-06 2023-08-08 太原理工大学 一种基于矿用风筒振动频谱的能量自适应转换装置及方法

Similar Documents

Publication Publication Date Title
CN114862809A (zh) 一种基于移动终端与图像处理的振动监测方法和装置
CN107229930B (zh) 一种指针式仪表数值智能识别方法
Chen et al. Modal identification of simple structures with high-speed video using motion magnification
US11579162B2 (en) Apparatus and method for measuring rotational speed of rotary shaft based on variable density sinusoidal fringe
CN108592950B (zh) 一种单目相机和惯性测量单元相对安装角标定方法
CN109931878A (zh) 一种基于数字散斑标记的建筑幕墙地震变形监测方法
CN110400315A (zh) 一种缺陷检测方法、装置及系统
Peng et al. Phase-based noncontact vibration measurement of high-speed magnetically suspended rotor
CN109587475B (zh) 数字相机动态分辨率测量方法
CN110866892B (zh) 一种基于视觉的离线振动测量分析方法及系统
Wang et al. Rotational speed measurement through image similarity evaluation and spectral analysis
Huang et al. A pre-processing method for digital image correlation on rotating structures
CN115375924A (zh) 一种基于图像识别的桥梁健康监测方法与系统
Zhu et al. A visual measurement method of structural body vibration displacement combined with image deblurring
Lv et al. A point tracking method of TDDM for vibration measurement and large-scale rotational motion tracking
Chen et al. Video camera-based vibration measurement for Condition Assessment of Civil Infrastructure
CN112526154A (zh) 一种计算机视觉下的圆模板匹配旋转结构运动无标记测量方法
CN108333383B (zh) 基于智能手机与图像处理的转速测量系统
Zhang et al. High-speed vision extraction based on the CamShift algorithm
CN114119670A (zh) 一种基于智能手机获取河流视频的流速测量方法
Gao et al. Development of a high-speed videogrammetric measurement system with application in large-scale shaking table test
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
Peng et al. Full-field visual vibration measurement of rotating machine under complex conditions via unsupervised retinex model
CN117146727B (zh) 基于机器视觉的塔筒焊缝监测方法及系统
Zhong et al. Three-dimensional translation vibration measurement system based on linear array sensor and composite fringe pattern

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination