CN115436488B - 一种基于视觉与声纹融合的自引导自调适移动检测系统及方法 - Google Patents
一种基于视觉与声纹融合的自引导自调适移动检测系统及方法 Download PDFInfo
- Publication number
- CN115436488B CN115436488B CN202211054669.XA CN202211054669A CN115436488B CN 115436488 B CN115436488 B CN 115436488B CN 202211054669 A CN202211054669 A CN 202211054669A CN 115436488 B CN115436488 B CN 115436488B
- Authority
- CN
- China
- Prior art keywords
- detection
- vision
- self
- voiceprint
- guiding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 200
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 36
- 230000006378 damage Effects 0.000 claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 230000005236 sound signal Effects 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000005856 abnormality Effects 0.000 claims abstract description 9
- 238000003708 edge detection Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000007635 classification algorithm Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 3
- 229910000831 Steel Inorganic materials 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 239000010959 steel Substances 0.000 description 6
- 239000004567 concrete Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000011150 reinforced concrete Substances 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/045—Analysing solids by imparting shocks to the workpiece and detecting the vibrations or the acoustic waves caused by the shocks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8874—Taking dimensions of defect into account
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于视觉与声纹融合的自引导自调适移动检测系统包括视觉异常检测模块、音频异常检测模块和视觉场景复原模块，所述视觉异常检测模块搭载于巡检机器人的前端摄像装置，所述音频异常检测模块搭载于巡检机器人的前端敲击检测装置，所述视觉场景复原模块搭载于后台控制端，其中：所述视觉异常检测模块包括：图像信号采集单元，图像信号分析单元，图像信号二级检测单元，边缘检测识别单元；所述音频异常检测模块包括：声音信号接收单元，声音信号分析单元，声音信号匹配单元；所述视觉场景复原模块包括：复原信息接收单元，复原信息融合单元。该检测系统完美融合了视觉与声纹信息,极大提升损伤检测的准确度和检测效率。
Description
技术领域
本发明涉及一种基于视觉与声纹融合的自引导自调适移动检测系统及方法，可广泛应用于钢结构和混凝土结构的表面和内部损伤检测等技术领域。
背景技术
在建筑、桥梁、高速公路、隧道、大坝、核电站、机场、矿山等各方面的建设中，都要大量采用各种钢结构或钢筋混凝土结构作为基本的受力构件。由于钢结构、钢筋混凝土在长期使用过程中，受到各种外力和内部缺陷的长期作用，容易开裂，产生安全隐患。特别需要对结构进行连续检测、确保其不发生安全事故就显得尤为重要。一般检测技术受检测方法和装备限制主要以结构表面裂缝为主。另外，在外在因素的影响下结构会出现混凝土开裂、钢筋腐蚀等内部损伤，并逐渐导致结构整体倾斜、偏移甚至倒塌。结构安全是关系到国家建设、人民生命财产安全的重要内容，一直以来受到工程管理及建设人员的高度重视。在未来，城市建设将持续向高层和超高层发展，如何有效检测和评价结构的安全性、耐久性，已成为主管部门和工程技术人员需要解决的主要问题之一。
对于混凝土结构表面的裂缝，目前国内外主要检测方法是人工检测。人工检测方法的实现方式主要是通过望远镜远距离观察结构裂缝，或者通过搭建检测平台，近距离用肉眼观察结构表面的裂缝，记录裂缝的长度、宽度等数值，并通过多次检测来判断裂缝的生长情况。常见的检测平台有脚手架和检测车。在难以搭建脚手架的情况下，主要采用的是检测车。检测人员在检测车的桁架臂上行走，对结构表面裂缝进行检测。
对于裂缝数据的检测，目前市场上存在的主要是手持式裂缝测宽仪。该表面裂缝测宽仪，主要由手持式液晶屏主机、显微放大探头构成。测量时将探头紧靠被测裂缝，即可在液晶显示屏上看到被放大的裂缝图像，微调探头使裂缝与电子刻度标尺基本垂直，根据裂缝所占刻度线的多少判读出裂缝宽度。这种仪器的局限性在于：只有在人眼锁定裂缝目标后，才能利用仪器进行后续的测量。不具备自动识别裂缝的能力。
采用人工检测方法对结构表面裂缝进行检测存在以下缺陷：（1)人员耗费大。需要有经验的检测人员全程参与工作现场，借助一定的交通工具平台，在检测路径移动，用肉眼观察分辨，完成对整段结构的检测。而许多结构如高架桥梁长达数百米，甚至上千米长，需要耗费相当数量的人力，但一个工作平台上搭载的人员数量非常有限，因此工作强度相当大。（2)效率、精确度低。检测的效率，取决于检测路径缺陷的复杂程度及检测人员的经验和体力。对裂缝的判断主要依靠人的经验，因此主观因素影响较大。不同的人，经验不同，判断结果也不一样。长时间的检测工作容易造成检测人员的疲惫，进而影响工作效率。（3)不安全因素存在。检测对象的结构可能经过公路、河流、山涧、沟壑等复杂地形，检测人员要通过特制的输送平台近距离到达检测路径进行空中作业。特别是在灾害发生后，结构存在潜在的不安全因素，不宜安排检测人员在现场执行检测。
针对人工检测方法的缺陷，国内外提出了几种解决办法。例如采用爬行式机器人附着在钢铁桥梁的底面对裂缝进行检测，以及采用液压伸臂机构装载工业相机对结构表面裂缝进行检测的。专利CN201U6427提出使用航模飞机搭载相机对结构表面裂缝进行检测。这种方法难以保证采集到图像的质量，所能检测出的裂缝精度也不高。以上方法存在着适用范围不广，造价成本高等缺点，存在盲目检测和安全隐患的问题。
发明内容
本发明目的在于提供一种基于视觉与声纹融合的自引导自调适移动检测系统及方法,以解决损伤检测准确度低，检测效率低下的技术问题。
为解决上述技术问题，本发明的一种基于视觉与声纹融合的自引导自调适移动检测系统及方法的具体技术方案如下：
一种基于视觉与声纹融合的自引导自调适移动检测系统，包括视觉异常检测模块、音频异常检测模块和视觉场景复原模块，所述视觉异常检测模块搭载于巡检机器人的前端摄像装置，所述音频异常检测模块搭载于巡检机器人的前端敲击检测装置，所述视觉场景复原模块搭载于后台控制端，其中：
所述视觉异常检测模块包括：
图像信号采集单元，用于将检测路径上的各个检测点的图像信号和多光源下的图像信号采集下来；
图像信号分析单元，用于分析图像信号的像素特征来获得图像信息；
图像信号二级检测单元，用于将多光源下的图像信号的法向量作为输入，通过视觉算法实现恢复结构表面的表面梯度、曲率信息；
边缘检测识别单元，用于通过输入表面梯度与曲率信息，将结构表面的损伤转换成边缘梯度图，引导敲击系统对损伤区域位置进行敲击检测，进而获得损伤的深度信息；
所述音频异常检测模块包括：
声音信号接收单元，用于将系统采集的连续声音信号依据检测的时间序列依次导入；
声音信号分析单元，用于分析不同时间段的声音信号组的声纹特征，并对比各项声纹特征是否发生变化；
声音信号匹配单元，用于通过调整敲击检测的频率和冲击度激发相匹配的损伤的声纹特征，进而通过机器学习分类算法获得深度损伤的损伤深度信息；
所述视觉场景复原模块包括：
复原信息接收单元，用于将损伤深度信息和通过视觉算法得到的表面梯度、曲率信息导入该模块中；
复原信息融合单元，用于将损伤深度信息和通过视觉算法得到的表面梯度、曲率信息进行融合。
进一步，所述图像信号分析单元获得的图像信息根据结构检测划分为多个敲击检测区域，并引导敲击检测区域，以实现自引导功能。
进一步，所述图像信号二级检测单元中使用的视觉算法为光度立体法。
进一步，所述声音信号分析单元中获得的声纹特征包括波长、强度、衰减特性和声波频谱。
进一步，所述声音信号匹配单元中采用的机器学习分类方法为聚类算法和分类算法。
一种基于视觉与声纹融合的自引导自调适移动检测方法，包括：
S1、图像检测步骤：
S1.1通过巡检机器人的前端摄像装置，在检测路径的各个检测点上采集图像信号和多光源下的图像信号，将采集的图像信号导入视觉异常检测模块；
S1.2通过分析步骤S1.1中的图像信号的像素特征，并对比各项像素特征，如果发生变化，则执行步骤S1.3，否则，重复步骤S1.1；
S1.3将多光源下的图像信号的法向量作为输入，通过光度立体法恢复结构表面的表面梯度、曲率信息，同时，将结构表面的损伤通过边缘检测识别单元转换成边缘梯度图；
S2、声音检测步骤：
S2.1根据步骤S1.3中获得的边缘梯度图的引导来进行敲击检测，收集敲击检测过程中产生的连续声音信号，根据采集时间序列依次导入音频异常检测模块；
S2.2分析不同时间段的声音信号组的波长、强度、衰减特性、声波频谱等声纹特征，并对比各项声纹特征，如果发生变化，则执行步骤S2.3，否则，重复步骤S2.1；
S2.3调整敲击检测的频率、强度，将各项声纹特征所构成的特征向量作为输 入，导入音频异常检测模块，通过机器学习分类方法输出损伤深度信息，所述机器学习分类方法为聚类算法和分类算法；
S3、复原步骤：
S3.1将步骤S1.3中通过光度立体法得到的表面梯度、曲率信息与步骤S2.3中通过聚类算法得到的损伤深度信息进行融合；
S3.2根据步骤S3.1中融合的信息复原出整个检测过程中损伤的三维信息。
进一步，所述步骤S2.1中声音信号的采集与所述步骤S1.1中多光源的图像信号采集同时进行。
进一步，所述步骤S2与所述步骤S1同时触发二级检测，视觉异常检测模块的图像信息反馈至音频异常检测模块用于调整检测输出，提高整个检测系统对复杂耦合的检测精度，以实现检测系统的自调适功能。
进一步，所述步骤S2与所述步骤S1通过事先设定的路径依次检测各个检测点，并在检测过程中通过视觉引导对检测点周边一定区域内进行检测，以实现移动检测功能。
本发明的一种基于视觉与声纹融合的自引导自调适移动检测系统及方法，具有以下优点：
1、本发明提供的自引导自调试移动检测系统在检测过程中，以图像信息作为引导，避免了盲目检测的问题，提高了检测系统的工作效率。
2、本发明提供的自引导自调试移动检测系统将视觉异常检测模块检测出的损伤实时反馈至现场敲击检测系统，调整至当前损伤最敏感的敲击频率与强度获取损伤的深度信息，同时针对表面的易破裂损伤调整敲击检测的频率与强度，对大面积易破裂表面损伤亦可重新规划敲击路径避免对结构造成二次破坏，而且有效地提高了检测智能化程度，实现了复杂耦合损伤检测需求。
3、本发明提供的自引导自调试移动检测系统针对各个检测区域，将视觉与声纹的检测融合为一体，提高了检测的效率，减少了传统检测现场数据采集后复杂分析的过程，可进一步实现大范围结构的快速移动检测要求。
附图说明
图1为本发明一种基于视觉与声纹融合的自引导自调适移动检测系统的结构示意图；
图2为本发明一种基于视觉与声纹融合的自引导自调适移动检测方法原理图；
图3为本发明图像检测步骤流程图；
图4为本发明声音检测步骤流程图。
具体实施方式
实施例1
如图1所示，一种基于视觉与声纹融合的自引导自调适移动检测系统，包括视觉异常检测模块、音频异常检测模块和视觉场景复原模块，所述视觉异常检测模块搭载于巡检机器人的前端摄像装置，所述音频异常检测模块搭载于巡检机器人的前端敲击检测装置，所述视觉场景复原模块搭载于后台控制端，其中：
所述视觉异常检测模块包括：
图像信号采集单元，用于将检测路径上的各个检测点的图像信号和多光源下的图像信号采集下来；
图像信号分析单元，用于分析图像信号的像素特征来获得图像信息，对比各项像素特征来判断结构表面是否存在裂缝、错位损伤；
图像信号二级检测单元，用于将多光源下的图像信号的法向量作为输入，通过视觉算法实现恢复结构表面的表面梯度、曲率信息；
边缘检测识别单元，用于通过输入表面梯度与曲率信息，计算检测区域表面的高斯曲率，得到高斯曲率图像，缺陷处高斯曲率易发生波动，通过预设表面损伤的阈值确定损伤的边缘，在图中标记损伤的像素位置生成边缘梯度图，并实时传递至敲击系统中，引导敲击系统对损伤区域位置进行敲击检测，进而获得损伤的深度信息；
所述音频异常检测模块包括：
声音信号接收单元，用于将系统采集的连续声音信号依据检测的时间序列依次导入；
声音信号分析单元，用于分析不同时间段的声音信号组的声纹特征，并对比各项声纹特征是否发生变化；
声音信号匹配单元，用于通过调整敲击检测的频率和冲击度激发相匹配的损伤的声纹特征，由于不同的损伤对应不同的声纹特征，不同的敲击检测频率与冲击度可以激发不同的声学信息，进而通过机器学习分类算法获得深度损伤的损伤深度信息；
所述视觉场景复原模块包括：
复原信息接收单元，用于将损伤深度信息和通过视觉算法得到的表面梯度、曲率信息导入该模块中；
复原信息融合单元，用于将损伤深度信息和通过视觉算法得到的表面梯度、曲率信息进行融合，从表面梯度，与曲率信息可知损伤表面的高度场，提取至各个像素的坐标，形成以单个像素为网格精度的物体表面的多面体模型，从而复原整个检测过程中损伤的三维信息。
另外，所述图像信号分析单元获得的图像信息根据结构检测划分为多个敲击检测区域，并引导敲击检测区域，以实现自引导功能。
另外，所述图像信号二级检测单元中使用的视觉算法为光度立体法。
另外，所述声音信号分析单元中获得的声纹特征包括波长、强度、衰减特性和声波频谱。
另外，所述声音信号匹配单元中采用的机器学习分类方法为聚类算法和分类算法。
如图2所示，本发明还提供了一种基于视觉与声纹融合的自引导自调适移动检测方法，包括：
S1、图像检测步骤如图3所示：
S1.1通过巡检机器人的前端摄像装置，在检测路径的各个检测点上采集图像信号和多光源下的图像信号，将采集的图像信号导入视觉异常检测模块；
S1.2通过分析步骤S1.1中的图像信号的像素特征，并对比各项像素特征，如果发生变化，则执行步骤S1.3，否则，重复步骤S1.1；
S1.3将多光源下的图像信号的法向量作为输入，通过光度立体法恢复结构表面的表面梯度、曲率信息，同时，将结构表面的损伤通过边缘检测识别单元转换成边缘梯度图；
S2、声音检测步骤如图4所示：
S2.1根据步骤S1.3中获得的边缘梯度图的引导来进行敲击检测，收集敲击检测过程中产生的连续声音信号，根据采集时间序列依次导入音频异常检测模块；
S2.2分析不同时间段的声音信号组的波长、强度、衰减特性、声波频谱等声纹特征，并对比各项声纹特征，如果发生变化，则执行步骤S2.3，否则，重复步骤S2.1；
S2.3调整敲击检测的频率、强度，将各项声纹特征所构成的特征向量作为输 入，导入音频异常检测模块，通过机器学习分类方法输出损伤深度信息，所述机器学习分类方法为聚类算法和分类算法；
S3、复原步骤：
S3.1将步骤S1.3中通过光度立体法得到的表面梯度、曲率信息与步骤S2.3中通过聚类算法得到的损伤深度信息进行融合；
S3.2根据步骤S3.1中融合的信息复原出整个检测过程中损伤的三维信息。
另外，所述步骤S2.1中声音信号的采集与所述步骤S1.1中多光源的图像信号采集同时进行。
另外，所述步骤S2与所述步骤S1同时触发二级检测，视觉异常检测模块的图像信息反馈至音频异常检测模块用于调整检测输出，提高整个检测系统对复杂耦合的检测精度，以实现检测系统的自调适功能。
另外，所述步骤S2与所述步骤S1通过事先设定的路径依次检测各个检测点，并在检测过程中通过视觉引导对检测点周边一定区域内进行检测，以实现移动检测功能。
除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
Claims (9)
1.一种基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，包括视觉异常检测模块、音频异常检测模块和视觉场景复原模块，所述视觉异常检测模块搭载于巡检机器人的前端摄像装置，所述音频异常检测模块搭载于巡检机器人的前端敲击检测装置，所述视觉场景复原模块搭载于后台控制端，其中：
所述视觉异常检测模块包括：
图像信号采集单元，用于将检测路径上的各个检测点的图像信号和多光源下的图像信号采集下来；
图像信号分析单元，用于分析图像信号的像素特征来获得图像信息；
图像信号二级检测单元，用于将多光源下的图像信号的法向量作为输入，通过视觉算法实现恢复结构表面的表面梯度、曲率信息；
边缘检测识别单元，用于通过输入表面梯度与曲率信息，将结构表面的损伤转换成边缘梯度图，利用所述边缘梯度图引导敲击系统对损伤区域位置进行敲击检测，进而获得损伤的深度信息；
所述音频异常检测模块包括：
声音信号接收单元，用于将系统采集的连续声音信号依据检测的时间序列依次导入；
声音信号分析单元，用于分析不同时间段的声音信号组的声纹特征，并对比各项声纹特征是否发生变化；
声音信号匹配单元，用于通过调整敲击检测的频率和冲击度激发相匹配的损伤的声纹特征，进而通过机器学习分类算法获得深度损伤的损伤深度信息；
所述视觉场景复原模块包括：
复原信息接收单元，用于将损伤深度信息和通过视觉算法得到的表面梯度、曲率信息导入该模块中；
复原信息融合单元，用于将损伤深度信息和通过视觉算法得到的表面梯度、曲率信息进行图像-敲击声检测的信息融合。
2.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，所述图像信号分析单元获得的图像信息根据结构检测划分为多个敲击检测区域，并引导敲击检测区域，以实现自引导功能。
3.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，所述图像信号二级检测单元中使用的视觉算法为光度立体法。
4.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，所述声音信号分析单元中获得的声纹特征包括波长、强度、衰减特性和声波频谱。
5.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，所述声音信号匹配单元中采用的机器学习分类方法为聚类算法和分类算法。
6.一种基于视觉与声纹融合的自引导自调适移动检测方法，其特征在于，包括：
S1、图像检测步骤：
S1.1通过巡检机器人的前端摄像装置，在检测路径的各个检测点上采集图像信号和多光源下的图像信号，将采集的图像信号导入视觉异常检测模块；
S1.2通过分析步骤S1.1中的图像信号的像素特征，并对比各项像素特征，如果发生变化，则执行步骤S1.3，否则，重复步骤S1.1；
S1.3将多光源下的图像信号的法向量作为输入，通过光度立体法恢复结构表面的表面梯度、曲率信息，同时，将结构表面的损伤通过边缘检测识别单元转换成边缘梯度图；
S2、声音检测步骤：
S2.1根据步骤S1.3中获得的边缘梯度图的引导来进行敲击检测，收集敲击检测过程中产生的连续声音信号，根据采集时间序列依次导入音频异常检测模块；
S2.2分析不同时间段的声音信号组的波长、强度、衰减特性、声波频谱等声纹特征，并对比各项声纹特征，如果发生变化，则执行步骤S2.3，否则，重复步骤S2.1；
S2.3调整敲击检测的频率、强度，将各项声纹特征所构成的特征向量作为输 入，导入音频异常检测模块，通过机器学习分类方法输出损伤深度信息，所述机器学习分类方法为聚类算法和分类算法；
S3、复原步骤：
S3.1将步骤S1.3中通过光度立体法得到的表面梯度、曲率信息与步骤S2.3中通过聚类算法得到的损伤深度信息进行融合；
S3.2根据步骤S3.1中融合的信息复原出整个检测过程中损伤的三维信息。
7.根据权利要求6所述的基于视觉与声纹融合的自引导自调适移动检测方法，其特征在于，所述步骤S2.1中声音信号的采集与所述步骤S1.1中多光源的图像信号采集同时进行。
8.根据权利要求6所述的基于视觉与声纹融合的自引导自调适移动检测方法，其特征在于，所述步骤S2与所述步骤S1同时触发二级检测，视觉异常检测模块的图像信息反馈至音频异常检测模块用于调整检测输出，提高整个检测系统对复杂耦合的检测精度，以实现检测系统的自调适功能。
9.根据权利要求6所述的基于视觉与声纹融合的自引导自调适移动检测方法，其特征在于，所述步骤S2与所述步骤S1通过事先设定的路径依次检测各个检测点，并在检测过程中通过视觉引导对检测点周边一定区域内进行检测，以实现移动检测功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211054669.XA CN115436488B (zh) | 2022-08-31 | 2022-08-31 | 一种基于视觉与声纹融合的自引导自调适移动检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211054669.XA CN115436488B (zh) | 2022-08-31 | 2022-08-31 | 一种基于视觉与声纹融合的自引导自调适移动检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115436488A CN115436488A (zh) | 2022-12-06 |
| CN115436488B true CN115436488B (zh) | 2023-12-15 |
Family
ID=84245094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211054669.XA Active CN115436488B (zh) | 2022-08-31 | 2022-08-31 | 一种基于视觉与声纹融合的自引导自调适移动检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115436488B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1804620A (zh) * | 2005-12-30 | 2006-07-19 | 南京农业大学 | 一种禽蛋表面品质检测的方法和装置 |
| CN109523541A (zh) * | 2018-11-23 | 2019-03-26 | 五邑大学 | 一种基于视觉的金属表面细微缺陷检测方法 |
| CN111024728A (zh) * | 2019-12-26 | 2020-04-17 | 江西交通职业技术学院 | 一种基于计算机视觉与超声波探伤的铁路检测方法和系统 |
| CN113125556A (zh) * | 2021-03-05 | 2021-07-16 | 南京智慧基础设施技术研究院有限公司 | 一种基于声纹识别的结构损伤检测系统及方法 |
| CN113192015A (zh) * | 2021-04-13 | 2021-07-30 | 广西师范大学 | 基于深度信息的表面缺陷检测方法和系统 |
| CN113484328A (zh) * | 2021-08-04 | 2021-10-08 | 湖南铁路科技职业技术学院 | 一种机器视觉结合超声波技术的新型钢轨探伤仪 |
| CN113947569A (zh) * | 2021-09-30 | 2022-01-18 | 西安交通大学 | 一种基于计算机视觉的梁型结构多尺度微弱损伤定位方法 |
| CN114137085A (zh) * | 2021-12-01 | 2022-03-04 | 仲恺农业工程学院 | 一种基于视觉辅助定位的超声波探伤机器人及其检测方法 |
| WO2022052782A1 (zh) * | 2020-09-10 | 2022-03-17 | 华为技术有限公司 | 图像的处理方法及相关设备 |
| CN114563420A (zh) * | 2022-01-26 | 2022-05-31 | 南京智慧基础设施技术研究院有限公司 | 一种融合视声技术的水下结构超声检测方法及装备 |
| CN114740482A (zh) * | 2022-03-08 | 2022-07-12 | 西北工业大学 | 一种基于声学和视觉联合的水下爆炸定位方法 |
-
2022
- 2022-08-31 CN CN202211054669.XA patent/CN115436488B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1804620A (zh) * | 2005-12-30 | 2006-07-19 | 南京农业大学 | 一种禽蛋表面品质检测的方法和装置 |
| CN109523541A (zh) * | 2018-11-23 | 2019-03-26 | 五邑大学 | 一种基于视觉的金属表面细微缺陷检测方法 |
| CN111024728A (zh) * | 2019-12-26 | 2020-04-17 | 江西交通职业技术学院 | 一种基于计算机视觉与超声波探伤的铁路检测方法和系统 |
| WO2022052782A1 (zh) * | 2020-09-10 | 2022-03-17 | 华为技术有限公司 | 图像的处理方法及相关设备 |
| CN113125556A (zh) * | 2021-03-05 | 2021-07-16 | 南京智慧基础设施技术研究院有限公司 | 一种基于声纹识别的结构损伤检测系统及方法 |
| CN113192015A (zh) * | 2021-04-13 | 2021-07-30 | 广西师范大学 | 基于深度信息的表面缺陷检测方法和系统 |
| CN113484328A (zh) * | 2021-08-04 | 2021-10-08 | 湖南铁路科技职业技术学院 | 一种机器视觉结合超声波技术的新型钢轨探伤仪 |
| CN113947569A (zh) * | 2021-09-30 | 2022-01-18 | 西安交通大学 | 一种基于计算机视觉的梁型结构多尺度微弱损伤定位方法 |
| CN114137085A (zh) * | 2021-12-01 | 2022-03-04 | 仲恺农业工程学院 | 一种基于视觉辅助定位的超声波探伤机器人及其检测方法 |
| CN114563420A (zh) * | 2022-01-26 | 2022-05-31 | 南京智慧基础设施技术研究院有限公司 | 一种融合视声技术的水下结构超声检测方法及装备 |
| CN114740482A (zh) * | 2022-03-08 | 2022-07-12 | 西北工业大学 | 一种基于声学和视觉联合的水下爆炸定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115436488A (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108051450B (zh) | 一种基于无人机的桥梁健康检测系统及方法 | |
| CN114485570B (zh) | 一种用于在建隧道施工安全智慧监控量测预警系统及方法 | |
| CN110889455B (zh) | 一种化工园巡检机器人的故障检测定位及安全评估方法 | |
| CN105716814B (zh) | 一种评估桁架结构损伤的实时监测系统及其方法 | |
| CN113295312B (zh) | 基于bim的桥梁施工应力检测方法及系统 | |
| CN112729370A (zh) | 桥梁动态应变监测系统校准方法 | |
| CN114812403B (zh) | 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 | |
| CN107421586B (zh) | 一种核电站安全壳打压试验强度监测系统及监测方法 | |
| CN110821560A (zh) | 隧道巡检系统 | |
| CN115096268B (zh) | 基于无人机航拍及超声波探测的桥梁损伤深度检测方法 | |
| CN110631682A (zh) | 一种电缆隧道承重体应变安全监测方法 | |
| Mustapha et al. | Pattern recognition based on time series analysis using vibration data for structural health monitoring in civil structures | |
| CN118097436B (zh) | 一种建筑体表面缺陷检测系统及检测方法 | |
| CN117057671A (zh) | 一种基于人工智能的矿山生态修复工程验收系统和方法 | |
| CN115436488B (zh) | 一种基于视觉与声纹融合的自引导自调适移动检测系统及方法 | |
| CN114662619A (zh) | 基于多源数据融合的桥梁监测系统 | |
| CN112432694B (zh) | 基于分布式光纤传感器的工业厂房动力监测方法 | |
| CN115597901B (zh) | 一种桥梁伸缩缝损伤的监测方法 | |
| CN116642840A (zh) | 一种水体污染源无人机高光谱遥感排查方法 | |
| KR102397419B1 (ko) | 균열 센서 기반의 콘크리트 구조물 임계시점 감지 시스템 및 방법 | |
| CN114137072B (zh) | 一种潜在滑坡体岩体的弹性模量的远距离无损评估方法 | |
| CN117607019B (zh) | 电力金具表面智能检测方法和检测系统 | |
| CN117517179A (zh) | 一种基于时空信息识别的腐蚀环境混凝土耐久性检测方法 | |
| CN118133603A (zh) | 基于机器视觉与传感器混合的运行期老旧桥梁检查与评估方法及系统 | |
| Hao | Virtual Assembly Technology on Steel Bridge Members of Bolt Connection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |