CN113870323A - 一种基于光流信息熵的结构表面微小裂纹识别方法 - Google Patents
一种基于光流信息熵的结构表面微小裂纹识别方法 Download PDFInfo
- Publication number
- CN113870323A CN113870323A CN202111157910.7A CN202111157910A CN113870323A CN 113870323 A CN113870323 A CN 113870323A CN 202111157910 A CN202111157910 A CN 202111157910A CN 113870323 A CN113870323 A CN 113870323A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- flow information
- area
- virtual feature
- entropy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
针对当前基于颜色特征的计算机视觉裂纹辨识方法精度低的问题,本发明公开一种基于光流信息熵的结构表面微小裂纹识别方法。该方法将图像划分成若干个大小相同的区域,利用结构表面裂纹区域和完整区域的运动特征差异,结合光流算法与信息熵理论,计算得到图像中不同区域的光流信息熵,通过对比不同区域间光流信息熵的差异,实现结构表面微小裂纹的高精度辨识。本发明设计的方法测量装置安装简单,适用于多种结构的裂纹识别问题。
Description
技术领域
本发明属于机械结构健康检测技术领域,特别涉及一种基于光流信息熵的结构表面微小裂纹识别方法。
背景技术
裂纹是影响结构完整性的主要因素之一,裂纹初期会影响结构的服役效率,随着结构的进一步使用,会直接威胁到结构的服役性能,严重时会带来巨大的经济损失。发展新的微小裂纹辨识方法,实现结构从定期维修到智能维护,可以很大程度上提高结构的使用周期,降低损耗成本。
目前,基于计算机视觉的结构表面裂纹识别主要有两种形式。第一,利用裂纹区域和完好区域表面颜色特征的不同对裂纹进行识别,该测量方法实施步骤简单,但对结构表面真假裂纹的区分精度低,尤其对于服役较久的结构,若难以区分与裂纹颜色相近的锈迹、油迹等特征,容易造成误判。第二,采用图像处理技术获取结构运动,获取结构模态信息,通过对比完整结构与裂纹结构模态信息的前后变化从而对结构表面的裂纹进行识别,由于微小裂纹往往影响结构高频模态,需要帧率较高的高速摄影机对结构运动图像进行捕捉,因此对测量设备的要求较高,成本较大。基于此,本发明提出一种基于光流信息熵的结构表面微小裂纹识别方法。
发明内容
为了克服上述现有技术的缺点,本发明提供一种基于光流信息熵的结构表面微小裂纹识别方法,能够利用普通相机对结构表面微小裂纹进行高精度识别,旨在解决现有基于计算机视觉的结构裂纹识别方法精度低、成本高等问题,所提方法充分利用了结构表面裂纹和完整区域运动的差异,对裂纹进行识别,且测量装置安装简单,适用于多种结构的裂纹识别问题。
为了实现上述目的,本发明采用的技术方案是:
步骤1),利用高速相机对带有潜在裂纹的结构运动进行视频采集;
步骤2),对初始帧图像进行区域划分,计算不同区域内像素灰度梯度,利用像素灰度梯度筛选不同区域内的虚拟特征点;
步骤3),根据短时亮度恒定理论,建立基于虚拟特征点的光流方程,对不同区域内虚拟特征点的光流进行计算;
步骤4),将图像所在平面按照角度0°,45°,90°,135°,180°,225°,270°,315°划分成八个区间,统计图像某一区域内虚拟特征点的光流矢量在不同区间内的数目,计算光流矢量位于不同区间的概率;
步骤5),利用光流矢量在不同区间的概率,计算该区域的光流信息熵;
步骤6),对图像的不同区域重复步骤4)和5),计算不同区域的光流信息熵,通过对比不同区域间光流信息熵的大小,对裂纹进行辨识,信息熵最大的区域即为裂纹存在的区域。
进一步的,所述步骤2具体为,将初始帧图像划分成若干个大小相同的区域,对同一区域内像素灰度梯度进行计算,建立像素灰度梯度矩阵,利用梯度矩阵特征值获得特征系数F:
式中:λ1和λ2为灰度梯度矩阵的特征值。
对图像的同一区域内全部像素的特征系数F进行计算,并对其大小进行排序,筛选特征系数F处在前20%的像素作为该区域的虚拟特征点。
进一步的,所述步骤3,设初始帧图像划分的n个区域集合为Ω=Ω1+Ω2+...+Ωn,对区域Ωi,根据短时亮度恒定理论,建立基于虚拟特征点的光流方程:
Ixu+Iyv+It=0
式中:u,v分别为虚拟特征点在水平和竖直方上的光流,Ix和Iy分别表示虚拟特征点在x和y方向上的梯度;It表示虚拟特征点的灰度关于时间t的导数。
采用最小二乘法对所述超静定方程进行求解,获得虚拟特征点的光流。
将平面按照角度0°、45°、90°、135°、180°、225°、270°、315°划分成八个区间,记为{Πr|r=1,2,...,8},统计区域Ωi内虚拟特征点光流矢量运动夹角在不同区间内的数目,计算光流矢量运动夹角位于不同区间∏r的概率p(i),即:
式中:h(i)为区域Ωi中位于区间Πr的光流矢量数目,m为区域Ωi所有的虚拟特征点数目。
进一步的,所述步骤5具体为,设区域Ωi内虚拟特征点光流矢量运动夹角位于不同区间Πr的概率为p(i),则区域Ωi的光流信息熵为:
进一步的,所述步骤6,设不同区域的光流信息熵集合为W={Hi|i=1,2,...,n},则光流信息熵最大的区域,即裂纹区域为:
Region=max(Hi)
与现有基于计算机视觉裂纹识别方法相比,本发明具有的优点如下:
1)测量成本低,仅利用普通相机对结构表面裂纹进行识别。
2)测量精度高,能够高精度区分结构表面真假裂纹。
附图说明
图1为基于运动信息熵的结构裂纹辨识方法流程示意图。
图2为裂纹区域和完整区域运动状态示意图。
图3为时间段内像素位置变化及亮度矩阵变化示意图。
图4为虚拟特征点光流运动矢量计算示意图。
图5为平面分区示意图。
图6为验证所提方法所获得的裂纹图像。其中(a)为所获得的裂纹图像,(b)结构位移测量结果。
图7为基于区域内像素灰度梯度特征的虚拟特征点筛选结果。其中(a)为图像分区结果,(b)为某一区域虚拟特征点检测结果。
图8为利用本发明所提方法裂纹辨识结果。其中(a)为图像分区编号,(b)不同区域光流信息熵计算结果。
具体实施方式
本发明所提方法的流程图如图1所示,所提方法原理如图2所示,下面结合附图和实施例详细说明本发明的实施方式。
步骤1:利用高速相机对带有潜在裂纹的结构运动进行视频采集。
步骤2:将初始帧图像划分成若干个大小相同的区域,对同一区域内像素灰度梯度进行计算,建立像素灰度梯度矩阵,利用梯度矩阵特征值获得特征系数F:
式中:λ1和λ2为灰度梯度矩阵的特征值。
对图像的同一区域内全部像素的特征系数F进行计算,并对其大小进行排序,筛选特征系数F处在前20%的像素作为该区域的虚拟特征点。
步骤3:如图3,根据短时亮度恒定理论建立基于虚拟特征点的光流方程。
设初始帧图像划分的n个区域集合为Ω=Ω1+Ω2+...+Ωn,对区域Ωi,根据短时亮度恒定理论,建立基于虚拟特征点的光流方程:
Ixu+Iyv+It=0 (2)
式中:u,v分别为虚拟特征点在水平和竖直方上的光流,Ix和Iy分别表示虚拟特征点在x和y方向上的梯度;It表示虚拟特征点的灰度关于时间t的导数。
采用最小二乘法对所述超静定方程进行求解,获得虚拟特征点的光流。
如图5所示,将平面按照角度0°、45°、90°、135°、180°、225°、270°、315°划分成八个区间,记为{Πr|r=1,2,...,8},统计区域Ωi内虚拟特征点光流矢量运动夹角在不同区间内的数目,计算光流矢量运动夹角位于不同区间Πr的概率p(i),即:
式中:h(i)为区域Ωi中位于区间Πr的光流矢量数目,m为区域Ωi所有的虚拟特征点数目。
步骤5:设区域Ωi内虚拟特征点光流矢量运动夹角位于不同区间Πr的概率为p(i),则区域Ωi的光流信息熵为:
步骤6:计算不同区域的光流信息熵,通过对比不同区域间光流信息熵的大小,对裂纹进行辨识,信息熵最大的区域即为裂纹存在的区域。
设不同区域的光流信息熵集合为W={Hi|i=1,2,...,n},则光流信息熵最大的区域,即裂纹区域为:
Region=max(Hi) (6)
为验证本发明所提出的裂纹辨识方法,如图6中(a)所示,对带有预制裂纹的结构在拉伸机上进行循环加载,基于光流算法所测量的结构运动如图6中(b)所示。对图像危险区域进行分区,分区结果如图7中(a)所示,利用本发明所提的虚拟特征点检测方法,对不同区域内的虚拟特征点进行筛选,其中一个区域内的虚拟特征点的检测结果如图7中(b)所示。图8为不同区域光流信息熵的计算结果,从图8中(a)和(b)可以看出,本发明所提方法能够对结构表面微小裂纹进行高精度辨识。
Claims (6)
1.一种基于光流信息熵的结构表面微小裂纹识别方法,其特征在于,包括以下步骤:
步骤1),利用高速相机对带有潜在裂纹的结构运动进行视频采集;
步骤2),对初始帧图像进行区域划分,计算不同区域内像素灰度梯度,利用像素灰度梯度筛选不同区域内的虚拟特征点;
步骤3),根据短时亮度恒定理论,建立基于虚拟特征点的光流方程,对不同区域内虚拟特征点的光流进行计算;
步骤4),将图像所在平面按照角度0°,45°,90°,135°,180°,225°,270°,315°划分成八个区间,统计图像某一区域内虚拟特征点的光流矢量在不同区间内的数目,计算光流矢量位于不同区间的概率;
步骤5),利用光流矢量在不同区间的概率,计算该区域的光流信息熵;
步骤6),对图像的不同区域重复步骤4)和5),计算不同区域的光流信息熵,通过对比不同区域间光流信息熵的大小,对裂纹进行辨识,信息熵最大的区域即为裂纹存在的区域。
3.根据权利要求1所述基于光流信息熵的结构表面微小裂纹识别方法,其特征在于,所述步骤3)中,设初始帧图像划分的n个区域集合为Ω=Ω1+Ω2+...+Ωn,对区域Ωi,根据短时亮度恒定理论,建立基于虚拟特征点的光流方程:
Ixu+Iyv+It=0
式中:u,v分别为虚拟特征点在水平和竖直方上的光流,Ix和Iy分别表示虚拟特征点在x和y方向上的梯度;It表示虚拟特征点的灰度关于时间t的导数;
采用最小二乘法对所述超静定方程进行求解,获得虚拟特征点的光流。
将平面按照角度0°、45°、90°、135°、180°、225°、270°、315°划分成八个区间,记为{Пr|r=1,2,...,8},统计区域Ωi内虚拟特征点光流矢量运动夹角在不同区间内的数目,计算光流矢量运动夹角位于不同区间Пr的概率p(i),即:
式中:h(i)为区域Ωi中位于区间Пr的光流矢量数目,m为区域Ωi所有的虚拟特征点数目。
6.根据权利要求1所述基于光流信息熵的结构表面微小裂纹识别方法,其特征在于,所述步骤6)中,设不同区域的光流信息熵集合为W={Hi|i=1,2,...,n},则光流信息熵最大的区域,即裂纹区域为:
Region=max(Hi) 。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111157910.7A CN113870323B (zh) | 2021-09-30 | 2021-09-30 | 一种基于光流信息熵的结构表面微小裂纹识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111157910.7A CN113870323B (zh) | 2021-09-30 | 2021-09-30 | 一种基于光流信息熵的结构表面微小裂纹识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113870323A true CN113870323A (zh) | 2021-12-31 |
CN113870323B CN113870323B (zh) | 2024-04-02 |
Family
ID=79000835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111157910.7A Active CN113870323B (zh) | 2021-09-30 | 2021-09-30 | 一种基于光流信息熵的结构表面微小裂纹识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113870323B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130107124A1 (en) * | 2011-10-27 | 2013-05-02 | Toshiba Alpine Automotive Technology Corporation | Motion vector computing device and motion vector computing method |
CN106548142A (zh) * | 2016-11-01 | 2017-03-29 | 浙江大学 | 一种基于信息熵的视频中人群突发事件检测与评估方法 |
WO2018048265A1 (ko) * | 2016-09-11 | 2018-03-15 | 엘지전자 주식회사 | 향상된 옵티컬 플로우 움직임 백터를 이용하여 비디오 신호를 처리하는 방법 및 장치 |
CN112364680A (zh) * | 2020-09-18 | 2021-02-12 | 西安工程大学 | 一种基于光流算法的异常行为检测方法 |
CN112380905A (zh) * | 2020-10-15 | 2021-02-19 | 西安工程大学 | 一种基于监控视频的直方图结合熵的异常行为检测方法 |
-
2021
- 2021-09-30 CN CN202111157910.7A patent/CN113870323B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130107124A1 (en) * | 2011-10-27 | 2013-05-02 | Toshiba Alpine Automotive Technology Corporation | Motion vector computing device and motion vector computing method |
WO2018048265A1 (ko) * | 2016-09-11 | 2018-03-15 | 엘지전자 주식회사 | 향상된 옵티컬 플로우 움직임 백터를 이용하여 비디오 신호를 처리하는 방법 및 장치 |
CN106548142A (zh) * | 2016-11-01 | 2017-03-29 | 浙江大学 | 一种基于信息熵的视频中人群突发事件检测与评估方法 |
CN112364680A (zh) * | 2020-09-18 | 2021-02-12 | 西安工程大学 | 一种基于光流算法的异常行为检测方法 |
CN112380905A (zh) * | 2020-10-15 | 2021-02-19 | 西安工程大学 | 一种基于监控视频的直方图结合熵的异常行为检测方法 |
Non-Patent Citations (2)
Title |
---|
李丹;解仑;卢婷;韩晶;胡波;王志良;任福继;: "基于光流方向信息熵统计的微表情捕捉", 工程科学学报, no. 11 * |
袁红春;王丹;陈冠奇;张天蛟;吴若有;: "基于LightGBM模型的鱼类异常行为检测", 渔业现代化, no. 01 * |
Also Published As
Publication number | Publication date |
---|---|
CN113870323B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106023185B (zh) | 一种输电设备故障诊断方法 | |
CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
CN109472822A (zh) | 基于深度图像处理的物体尺寸测量方法 | |
CN111047655B (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
CN102799883B (zh) | 一种从视频图像中提取运动目标的方法及装置 | |
CN103471910B (zh) | 一种基于随机点跟踪的金属材料断裂伸长率智能测试方法 | |
CN111814711A (zh) | 一种应用于矿井机器视觉的图像特征快速匹配方法及系统 | |
CN111060442B (zh) | 一种基于图像处理的油液颗粒检测方法 | |
CN108956614A (zh) | 一种基于机器视觉的矿用钢丝绳动态探伤检测方法和装置 | |
CN111814686A (zh) | 一种基于视觉的输电线路识别及异物入侵在线检测方法 | |
CN106780483B (zh) | 多根连铸坯端面视觉识别系统及中心坐标求取方法 | |
CN111259770B (zh) | 基于无人机平台和深度学习的复杂背景下索力快速测试方法 | |
CN110766683B (zh) | 一种珍珠光洁度等级检测方法及系统 | |
CN116524017B (zh) | 一种用于矿山井下检测识别定位系统 | |
CN106651837A (zh) | 白玻璃板表面崩边缺陷检测方法 | |
CN104749801B (zh) | 高精度自动光学检测方法和系统 | |
CN111833347A (zh) | 一种输电线路防振锤缺陷检测方法及相关装置 | |
CN110009601A (zh) | 基于hog的大型装备不规则外形表面缺陷检测方法 | |
CN102384726A (zh) | 一种含动态裂隙材料的数字散斑相关变形分析方法 | |
CN110458809B (zh) | 一种基于亚像素边缘检测的纱线条干均匀度检测方法 | |
CN113870323B (zh) | 一种基于光流信息熵的结构表面微小裂纹识别方法 | |
CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
CN104349125B (zh) | 一种区域监控方法及设备 | |
CN111161264B (zh) | 一种对含有缺陷的tft电路图像的分割方法 | |
CN114022415B (zh) | 一种基于单像素特征聚类建立集群的液晶屏缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |