CN106650831A - 基于特征融合的损伤检测方法及装置 - Google Patents

基于特征融合的损伤检测方法及装置 Download PDF

Info

Publication number
CN106650831A
CN106650831A CN201710018581.5A CN201710018581A CN106650831A CN 106650831 A CN106650831 A CN 106650831A CN 201710018581 A CN201710018581 A CN 201710018581A CN 106650831 A CN106650831 A CN 106650831A
Authority
CN
China
Prior art keywords
sample
neural network
detected
vector
impairment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710018581.5A
Other languages
English (en)
Other versions
CN106650831B (zh
Inventor
明悦
李永
范春晓
张润清
张雅姝
尹文泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Boeing China Co Ltd
Original Assignee
Beijing University of Posts and Telecommunications
Boeing China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications, Boeing China Co Ltd filed Critical Beijing University of Posts and Telecommunications
Priority to CN201710018581.5A priority Critical patent/CN106650831B/zh
Publication of CN106650831A publication Critical patent/CN106650831A/zh
Application granted granted Critical
Publication of CN106650831B publication Critical patent/CN106650831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于特征融合的损伤检测方法及装置。本发明的基于特征融合的损伤检测方法,包括:提取待检测样本的多个基础特征,得到待检测样本的各基础特征对应的向量;根据待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对待检测样本进行学习,得到待检测样本的损伤类型标签,其中,BP神经网络模型是BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征得到的;根据待检测样本的损伤类型标签,确定待检测样本的损伤类型。本发明的基于特征融合的损伤检测方法及装置,可以快速准确检测不同的损伤类型,还可以对同时具有多种损伤类型的结构进行损伤类型的确定。

Description

基于特征融合的损伤检测方法及装置
技术领域
本发明涉及损伤检测技术,尤其涉及一种基于特征融合的损伤检测方法及装置。
背景技术
近年来,自动化的损伤检测方法在工程上起到了非常大的作用,在各行各业有着非常广泛的应用。目前广泛应用的自动化损伤检测均是基于物理的损伤检测方法,例如,对输电线的超声检测定位方法、对混凝土表面的红外热像损伤检测、高压输电线损伤的电磁检测方法。但是这些基于物理的损伤检测方法大多需要昂贵的检伤设备,虽然对损伤的检测精度很高,但是在分析损伤类型的智能化和自动化方面有所欠缺。为了解决上述问题,出现了基于机器学习的图像分析技术。
现有技术中的基于机器学习的图像分析技术多采用单一特征进行损伤检测及分析,具体为:通过提取具有损伤的结构的伤痕图像的单一特征,精炼出伤痕的有效信息,通过有效信息依赖于分类器程序产生学习模型,实现对的损伤结构的自动化检测以及分析。但是该种基于机器学习的图像分析技术对具有多种类型的损伤的结构的检测及分析准确度较低。
发明内容
本发明提供一种基于特征融合的损伤检测方法及装置,以克服现有技术中基于机器学习的图像分析技术对具有多种类型的损伤的结构的检测及分析准确度较低的技术问题。
本发明提供一种基于特征融合的损伤检测方法,包括:
提取待检测样本的多个基础特征,得到所述待检测样本的各基础特征对应的向量;
根据所述待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对所述待检测样本进行学习,得到所述待检测样本的损伤类型标签,其中,所述BP神经网络模型是所述BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征对训练样本学习得到的;
根据所述待检测样本的损伤类型标签,确定所述待检测样本的损伤类型。
如上所述的方法,在所述提取待检测样本的多个基础特征,得到所述待检测样本的各基础特征对应的向量之前,还包括:
获取各损伤类型的标签;
相应地,所述根据所述待检测样本的损伤类型标签,确定所述待检测样本的损伤类型包括:
对比所述述待检测样本的损伤类型标签和所述各损伤类型的标签,确定所述待检测样本的损伤类型。
如上所述的方法,在所述根据所述待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对所述待检测样本进行学习,得到所述待检测样本的标签之前,还包括:
根据所述各损伤类型的标签,对所述对训练集中的各训练样本的损伤类型进行标签标注,并提取每个训练样本的多个基础特征,得到训练样本的各基础特征对应的向量;
根据训练样本的各基础特征对应的向量获取BP神经网络分类器的第一输入向量,将训练样本的损伤类型的标签作为期望输出向量,根据所述第一输入向量和所述期望输出向量,在BP神经网络分类器中采用梯度下降法对各训练样本学习,得到BP神经网络模型。
如上所述的方法,所述根据训练样本的各基础特征对应的向量获取BP神经网络分类器的第一输入向量,将训练样本的损伤类型的标签作为期望输出向量,根据所述第一输入向量和所述期望输出向量,在BP神经网络分类器中采用梯度下降法对各训练样本学习,得到BP神经网络模型,包括:
根据第k个训练样本的各基础特征对应的向量获取BP神经网络分类器的第p次学习的第一输入向量,将第k个训练样本的损伤类型的标签作为BP神经网络分类器第p次学习的期望输出向量,根据第p-1次学习得到的隐藏层和输出层的校正误差以及第p-1次学习的连接权值,采用梯度下降法调整第p次学习的连接权值;
根据第p次学习第一输入向量、第p次学习期望输出向量和第p次学习的连接权值,采用所述BP神经网络分类器对第k个训练样本学习;
根据第k+1个训练样本的各基础特征对应的向量获取BP神经网络分类器的第p+1次学习的第一输入向量,将第k+1个训练样本的损伤类型的标签作为BP神经网络分类器第p+1次学习的期望输出向量,根据第p次学习得到的隐藏层和输出层的校正误差以及第p次学习的连接权值,采用梯度下降法调整第p+1次学习时的连接权值,以对第k+1个训练样本学习;
当达到预设学习次数或期望误差和小于等于预设值时,停止学习,得到BP神经网络模型;
其中,每个训练样本被学习的次数大于等于1次,p、k为正整数。
如上所述的方法,所述基础特征包括:线特征、斑点特征、角点特征、整体特征、纹理特征和尺度不变特征。
如上所述的方法,所述线特征为hough变换线特征,所述斑点特征为LoG斑点特征,所述角点特征为Harris角点特征,所述整体特征为矩特征,所述纹理特征为LBP特征,所述尺度不变特征为SURF特征;
相应地,所述提取每个训练样本的多个基础特征,得到训练样本的各基础特征对应的向量,包括:
对所述hough变换线特征进行聚类,得到a个hough变换线特征聚类单词,将所述a个hough变换线特征聚类单词作为所述hough变换线特征对应的向量;
对所述LoG斑点特征进行聚类,得到b个LoG斑点特征聚类单词,将所述b个LoG斑点特征聚类单词作为所述LoG斑点特征对应的向量;
对所述Harris角点特征进行聚类,得到c个Harris角点特征聚类单词,将所述c个Harris角点特征聚类单词作为所述Harris角点特征对应的向量;
获取h阶不变矩特征向量,将所述h阶矩特征向量作为矩特征对应的向量;
获取所述LBP特征中包含的d个词汇出现的次数,将所述LBP特征中每个词汇出现的次数组成第一向量,将所述第一向量即作为所述LBP特征对应的向量;
获取所述SURF特征中g个词汇出现的次数,将所述SURF特征中每个词汇出现的次数组成第二向量,将所述第二向量作为所述SURF特征对应的向量。
如上所述的方法,所述根据第k个训练样本的各基础特征对应的向量获取BP神经网络分类器的第p次学习的第一输入向量,包括:
获取第k个训练样本的每个hough变换线特征聚类单词的维数、每个LoG斑点特征聚类单词的维数、每个Harris角点特征聚类单词的维数、矩特征对应的向量的每一维分量、LBP特征对应的向量的每一维分量、SURF特征对应的向量的每一维分量,将所述每个hough变换线特征聚类单词的维数、每个LoG斑点特征聚类单词的维数、每个Harris角点特征聚类单词的维数、矩特征对应的向量的每一维分量、LBP特征对应的向量的每一维分量、SURF特征对应的向量的每一维分量组成所述第p次学习的第一输入向量,所述第p次学习的第一输入向量采用公式一表示为:
X(k)=(x1(k),x2(k).……,xN(k)) 公式一;
其中,X(k)表示第p次学习的第一输入向量,N=a+b+c+h+d+g。
如上所述的方法,所述BP神经网络模型z采用公式二表示为:
z=(α1x1(P),α2x2(P).……,αnxn(P),……,αNxN(P)) 公式二;
其中,xn(P)表示所述BP神经网络模型的获取过程中最后一次学习对应的训练样本的第一输入向量的第n个分量,αn所述BP神经网络模型的获取过程中最后一次学习对应的训练样本的第一输入向量的第n个分量对应的连接权值。
如上所述的方法,所述根据所述待检测样本的各基础特征对应的向量和所述BP神经网络模型,采用BP神经网络分类器对所述待检测样本学习,得到所述待检测样本的损伤类型标签,包括:
根据所述待检测样本的各基础特征对应的向量获取BP神经网络分类器的第二输入向量;
将所述BP神经网络模型中的各连接权值(α1,α2……αn,……αN)作为BP神经网络分类器对所述待检测样本学习时输入的连接权值;
根据所述第二输入向量和所述BP神经网络模型中的各连接权值(α1,α2……αn,……αN),采用BP神经网络分类器对所述待检测样本学习,得到待检测样本的损伤类型标签。
本发明还提供一种基于特征融合的损伤检测装置,包括:
特征提取模块,所述特征提取模块用于待检测样本的多个基础特征,得到所述待检测样本的各基础特征对应的向量;
标签获取模块,所述标签获取模块用于根据所述待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对所述待检测样本进行学习,得到所述待检测样本的损伤类型标签,其中,所述BP神经网络模型是所述BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征对训练样本学习得到的;
损伤类型确定模块,所述损伤类型确定模块用于根据所述待检测样本的损伤类型标签,确定所述待检测样本的损伤类型。
本发明提供一种基于特征融合的损伤检测方法及装置。本发明的基于特征融合的损伤检测方法,包括:提取待检测样本的多个基础特征,得到待检测样本的各基础特征对应的向量;根据待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对待检测样本进行学习,得到待检测样本的损伤类型标签,其中,BP神经网络模型是BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征得到的;根据待检测样本的损伤类型标签,确定待检测样本的损伤类型。本发明的基于特征融合的损伤检测方法及装置,可以快速准确检测不同的损伤类型,还可以对同时具有多种损伤类型的结构进行损伤类型的确定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的基于特征融合的损伤检测方法实施例一的流程图;
图2为本发明提供的基于特征融合的损伤检测方法实施例二的流程图;
图3为本发明提供的基于特征融合的损伤检测装置结构示意图一。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在实际的应用中,结构会随着时间的推移出现损伤,如何快速的识别结构是否出现了损伤和确定损伤类型具有重要的意义。现有技术中的基于机器学习的图像分析技术多采用单一特征进行损伤检测及分析,该种基于机器学习的图像分析技术仅仅分析一种损伤类型比较有效,对具有多种类型的损伤的结构或者分析不同的损伤类型的结构时检测和分析的准确度较低。为了克服以上缺陷,本发明提出了一种基于特征融合的损伤检测方法及装置,下面结合具体实施例对本发明的基于特征融合的损伤检测方法及装置进行详细说明。
图1为本发明提供的基于特征融合的损伤检测方法实施例一的流程图,该方法可以通过基于特征融合的损伤检测装置实现,该装置可通过硬件或软件实现,如图1所示,本实施例的方法可以包括:
S101、提取待检测样本的多个基础特征,得到待检测样本的各基础特征对应的向量;
具体地,本实施例中基础特征包括线特征、斑点特征、角点特征、整体特征、纹理特征和尺度不变特征。但是本发明并不限于仅包括这几种基础特征,还可以在包括这几种特征的基础上,包括其它种类的基础特征。
更为具体地,线特征选用hough变换线特征,斑点特征选用LoG斑点特征,角点特征选用Harris角点特征,整体特征选用矩特征,纹理特征选用LBP特征,尺度不变特征选用SURF特征;
提取待检测样本的多个基础特征,得到训练样本的各基础特征对应的向量,具体包括:
首先对hough变换线特征对应的向量、LoG斑点特征对应的向量、Harris角点特征对应的向量的获取方法进行说明。
对hough变换线特征进行聚类,得到a个hough变换线特征聚类单词,将a个hough变换线特征聚类单词作为hough变换线特征对应的向量;对LoG斑点特征进行聚类,得到b个LoG斑点特征聚类单词,将b个LoG斑点特征聚类单词作为LoG斑点特征对应的向量;对Harris角点特征进行聚类,得到c个Harris角点特征聚类单词,将c个Harris角点特征聚类单词作为Harris角点特征对应的向量。本实施例中的聚类方法优选K-means聚类方法。
接着对矩特征对应的向量、LBP特征对应的向量,SURF特征对应的向量的获取方法进行说明。
获取h阶不变矩特征向量,将h阶不变矩特征向量作为矩特征对应的向量;获取LBP特征中包含的d个词汇出现的次数,将LBP特征中每个词汇出现的次数组成第一向量,将第一向量作为LBP特征对应的向量;获取SURF特征中g个词汇出现的次数,将SURF特征中每个词汇出现的次数组成第二向量,将第二向量作为SURF特征对应的向量。在本实施例矩特征对应的向量为8维向量,LBP特征对应的向量为128维向量,SURF特征对应的向量为128维向量。
S102、根据待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对待检测样本进行学习,得到待检测样本的损伤类型标签;其中,BP神经网络模型是BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征对训练样本学习得到的;
具体地,BP神经网络模型采用公式二表示为:
z=(α1x1(P),α2x2(P).……,αnxn(P),……,αNxN(P)) 公式二;
其中,xn(P)表示获取BP神经网络模型的过程中最后一次学习对应的训练样本的第一输入向量的第n个分量,αn表示获取BP神经网络模型的过程中最后一次学习对应的训练样本的第一输入向量的第n个分量对应的连接权值。
该步骤中的“根据待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对待检测样本学习,得到待检测样本的标签”,包括:
根据待检测样本的各基础特征对应的向量获取BP神经网络分类器的第二输入向量;将BP神经网络模型中的各连接权值(α1,α2……αn,……αN)作为BP神经网络分类器对待检测样本学习时输入的连接权值;根据第二输入向量和BP神经网络模型中的连接权值(α1,α2……αn,……αN),采用BP神经网络分类器对待检测样本学习,得到待检测样本的损伤类型标签。
其中,根据待检测样本的各基础特征对应的向量获取BP神经网络分类器的第二输入向量,具体为:
获取待检测样本的每个hough变换线特征聚类单词的维数、每个LoG斑点特征聚类单词的维数、每个Harris角点特征聚类单词的维数、矩特征对应的向量的每一维分量、LBP特征对应的向量的每一维分量、SURF特征对应的向量的每一维分量;将每个hough变换线特征聚类单词的维数、每个LoG斑点特征聚类单词的维数、每个Harris角点特征聚类单词的维数、矩特征对应的向量的每一维分量、LBP特征对应的向量的每一维分量、SURF特征对应的向量的每一维分量组成第二输入向量的各分量,第二输入向量Y采用公式三表示为:
Y=(y1,y2.…yn…,yN) 公式三;
其中,yn表示第二输入向量的各分量,N=a+b+c+h+d+g。也就是说第二输入向量的维数为N维。
将多个基础特征融合在一起作为BP神经网络分类器的输入,得到的BP神经网络模型,可以检测不同的损伤类型,还可以对同时具有多种损伤类型的结构进行损伤类型的确定。
下面举例说明第二输入向量。
在本实施例中,每个hough变换线特征聚类单词的维数均为10,每个LoG斑点特征聚类单词的维数也均为10、每个Harris角点特征聚类单词的维数也均为10,10即为第二输入向量的一个分量,因为hough变换线特征聚类单词具有a个,LoG斑点特征聚类单词具有b个,Harris角点特征聚类单词具有c个,那么第二输入向量至少有a+b+c个分量均为10。又比如LBP特征中的A词汇现了50次,B词汇出现了24次,那么50、24为LBP特征对应的向量中的两个分量,也为第二输入向量中的两个分量。
将BP神经网络模型中的连接权值(α1,……αn,……αN)作为BP神经网络对待检测样本学习时输入的连接权值。
第二输入向量和输入的连接权值均获取后,便可以根据第二输入向量和输入的连接权值采用BP神经网络分类器进行学习,得到待检测样本的损伤类型标签。
在本实施例中,待检测样本的损伤类型标签与训练样本的损伤类型标签的形式相同,比如均为8个二进制数,8个二进制数可为(00000000)。其中,训练集中训练样本的损伤类型的标签是根据训练样本的损伤类型决定的,不同的损伤类型对应不同的标签,也就是说每个训练样本对应一个标签,每个训练样本的标签可能相同可能不同,若训练样本的损伤类型相同,则标签相同。
S103、根据待检测样本的损伤类型,确定待检测样本的损伤类型。
具体地,在进行检测待检测样本的损伤类型之前,需要将各损伤类型进行标签标注,根据标注好的各损伤类型的标签获取各损伤类型对应的标签,具体为:将损伤类型分为9种,分别为:正常、腐蚀、凹坑、烧蚀、裂纹、起泡脱胶、划痕、穿孔、磨损。损伤类型为正常,则该损伤类型的标签为(00000000),其它的损伤类型的标签为在正常的标签的不同的位上采用1替换0,比如,若损伤类型为腐蚀,则将其标签标注为(00000001),若损伤类型为凹坑,则将其标签标注为(00000010),若损伤类型为穿孔,则将其标签标注为(00000100),若损伤类型为凹坑和腐蚀,则将其标签标注为(00000011),若损伤类型为凹坑、腐蚀和穿孔,则将其标签标注为(00000111)。当然本发明并不限于上述标签的标注形式,只要将不同类型的损伤在正常的标签(00000000)的不同的位数上采用1替换0即可;比如损伤类型为腐蚀的标签还可以标注为(00000010),此时损伤类型为凹坑的标签可以标注为(00100000)。
接着,将待检测样本的损伤类型标签与获取的各损伤类型标签的对比,将标签与将待检测样本的损伤类型标签相同的损伤类型确定为待检测样本的损伤类型;若学习得到的待检测样本的损伤类型标签为(00100000),磨损的损伤类型的标签为(00100000),则待检测样本的损伤类型为磨损。
本实施例的基于特征融合的损伤检测方法,包括:提取待检测样本的多个基础特征,得到待检测样本的各基础特征对应的向量;根据待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对待检测样本进行学习,得到待检测样本的损伤类型标签,其中,BP神经网络模型是BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征得到的;根据待检测样本的损伤类型标签,确定待检测样本的损伤类型。本实施例的基于特征融合的损伤检测方法,可以快速准确检测不同的损伤类型,还可以对同时具有多种损伤类型的结构进行损伤类型的确定。
图2为本发明提供的基于特征融合的损伤检测方法实施例二的流程图,该方法可以通过基于特征融合的损伤检测装置实现,该装置可通过硬件或软件实现,如图2所示,本实施例的方法是在上一实施例中的步骤“根据待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对待检测样本进行学习,得到待检测样本的损伤类型标签”之前进行的,本实施例的方法可以包括:
S201、根据各损伤类型的标签,对训练集中的各训练样本的损伤类型进行标签标注,并提取每个训练样本的多个基础特征,得到训练样本的各基础特征对应的向量;
具体的,获取训练集中的训练样本的方法如下:采集训练用的大量伤痕图片,将每张图片尺寸归一化,统一到同一大小,并且根据采集图片选用的摄像设备不同对图片进行畸变矫正、去噪。
接着,根据上一实施例中损伤类型的标签,对训练集中的各训练样本的损伤类型进行标签标注,比如,若第k个训练样本的损伤类型为正常,则第k个训练样本的标签为(00000000),若第k+1个训练样本的损伤类型为腐蚀,则将其标签标注为(00000001),若第k+2个训练样本的损伤类型为凹坑,则将其标签标注为(00000010),若第k+3个训练样本的损伤类型为穿孔,则将其标签标注为(00000100),若第k+4个训练样本的损伤类型为凹坑和腐蚀,则将其标签标注为(00000011),若第k+5个训练样本的损伤类型为凹坑、腐蚀和穿孔,则将其标签标注为(00000111)。本发明并不限于上述标签的标注形式,只要与上一实施例中损伤类型的标签相对应即可,也就是若将凹坑损伤类型标注为(00000010),则训练集中所有损伤类型仅为凹坑的训练样本的标签均标注为(00000010)。
其中,提取每个训练样本的多个基础特征,得到训练样本的各基础特征对应的向量的过程与上一实施例中“提取待检测样本的多个基础特征,得到待检测样本的各基础特征对应的向量”的方法相同,此处不再赘述。
S202、根据训练样本的各基础特征对应的向量获取BP神经网络分类器的第一输入向量,将训练样本的损伤类型的标签作为期望输出向量,根据第一输入向量和期望输出向量,在BP神经网络分类器中采用梯度下降法对各训练样本学习,得到BP神经网络模型。
具体地,在本实施例中,“根据训练样本的各基础特征对应的向量获取BP神经网络分类器的第一输入向量”与上一实施例中“根据待检测样本的各基础特征对应的向量获取BP神经网络分类器的第二输入向量”的方法相同,此处不再赘述。
“根据第一输入向量和期望输出向量,在BP神经网络分类器中采用梯度下降法对各训练样本学习,得到BP神经网络模型”具体为:
设定训练样本具有K个,最大学习次数为P,其中,K、P为正整数。
初始化过程为现有技术中的过程,本实施例中不再赘述。初始化后,根据第k个训练样本的各基础特征对应的向量获取BP神经网络分类器的第p次学习的第一输入向量,将第k个训练样本的损伤类型的标签作为BP神经网络分类器第p次学习的期望输出向量,根据第p-1次学习得到的隐藏层和输出层的校正误差以及第p-1次学习的连接权值,采用梯度下降法调整第p次学习的连接权值;
根据第p次学习第一输入向量、第p次学习期望输出向量和第p次学习的连接权值,采用BP神经网络分类器对第k个训练样本学习;
根据第k+1个训练样本的各基础特征对应的向量获取BP神经网络分类器的第p+1次学习的第一输入向量,将第k+1个训练样本的损伤类型的标签作为BP神经网络分类器第p+1次学习的期望输出向量,根据第p次学习得到的隐藏层和输出层的校正误差以及第p次学习的连接权值,采用梯度下降法调整第p+1次学习时的连接权值,以对第k+1个训练样本学习;
当达到预设学习次数P或期望误差和小于等于预设值时,停止学习,得到BP神经网络模型;
其中,每个训练样本被学习的次数大于等于1次;P≥K,比如若设定的最大学习次数为1000次,训练样本具有300个,则有的训练样本被训练3次,有的训练样本被训练4次。
在分析待检测样本时,只需要对待检测样本拍张伤痕图片,通过提取图片的多种基础特征信息,结合BP神经网络模型,采用BP神经网络分类器学便可以确定待检测样本的损伤类型。
本实施例的基于特征融合的损伤检测方法,通过对训练样本学习得到了BP神经网络模型,实现了快速的对待检测样本的损伤类型的检测与分析。
图3为本发明提供的基于特征融合的损伤检测装置结构示意图一,如图3所示,本实施例的装置可以包括:特征提取模块31、标签获取模块32和损伤类型确定模块33;其中特征提取模块31,用于待检测样本的多个基础特征,得到待检测样本的各基础特征对应的向量;标签获取模块32,用于根据待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对待检测样本进行学习,得到待检测样本的损伤类型标签,其中,BP神经网络模型是BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征对训练样本学习得到的;损伤类型确定模块33,用于根据待检测样本的损伤类型标签,确定待检测样本的损伤类型。
本实施例的装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于特征融合的损伤检测方法,其特征在于,包括:
提取待检测样本的多个基础特征,得到所述待检测样本的各基础特征对应的向量;
根据所述待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对所述待检测样本进行学习,得到所述待检测样本的损伤类型标签,其中,所述BP神经网络模型是所述BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征对训练样本学习得到的;
根据所述待检测样本的损伤类型标签,确定所述待检测样本的损伤类型。
2.根据权利要求1所述的方法,其特征在于,在所述提取待检测样本的多个基础特征,得到所述待检测样本的各基础特征对应的向量之前,还包括:
获取各损伤类型的标签;
相应地,所述根据所述待检测样本的损伤类型标签,确定所述待检测样本的损伤类型,包括:
对比所述待检测样本的损伤类型标签和所述各损伤类型的标签,确定所述待检测样本的损伤类型。
3.根据权利要求2所述的方法,其特征在于,在所述根据所述待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对所述待检测样本进行学习,得到所述待检测样本的标签之前,还包括:
根据所述各损伤类型的标签,对所述对训练集中的各训练样本的损伤类型进行标签标注,并提取每个训练样本的多个基础特征,得到训练样本的各基础特征对应的向量;
根据训练样本的各基础特征对应的向量获取BP神经网络分类器的第一输入向量,将训练样本的损伤类型的标签作为期望输出向量,根据所述第一输入向量和所述期望输出向量,在BP神经网络分类器中采用梯度下降法对各训练样本学习,得到BP神经网络模型。
4.根据权利要求3所述的方法,其特征在于,所述根据训练样本的各基础特征对应的向量获取BP神经网络分类器的第一输入向量,将训练样本的损伤类型的标签作为期望输出向量,根据所述第一输入向量和所述期望输出向量,在BP神经网络分类器中采用梯度下降法对各训练样本学习,得到BP神经网络模型,包括:
根据第k个训练样本的各基础特征对应的向量获取BP神经网络分类器的第p次学习的第一输入向量,将第k个训练样本的损伤类型的标签作为BP神经网络分类器第p次学习的期望输出向量,根据第p-1次学习得到的隐藏层和输出层的校正误差以及第p-1次学习的连接权值,采用梯度下降法调整第p次学习的连接权值;
根据第p次学习第一输入向量、第p次学习期望输出向量和第p次学习的连接权值,采用所述BP神经网络分类器对第k个训练样本学习;
根据第k+1个训练样本的各基础特征对应的向量获取BP神经网络分类器的第p+1次学习的第一输入向量,将第k+1个训练样本的损伤类型的标签作为BP神经网络分类器第p+1次学习的期望输出向量,根据第p次学习得到的隐藏层和输出层的校正误差以及第p次学习的连接权值,采用梯度下降法调整第p+1次学习时的连接权值,以对第k+1个训练样本学习;
当达到预设学习次数或期望误差和小于等于预设值时,停止学习,得到BP神经网络模型;
其中,每个训练样本被学习的次数大于等于1次,p、k为正整数。
5.根据权利要求3所述的方法,其特征在于,所述基础特征包括:线特征、斑点特征、角点特征、整体特征、纹理特征和尺度不变特征。
6.根据权利要求5所述的方法,其特征在于,所述线特征为hough变换线特征,所述斑点特征为LoG斑点特征,所述角点特征为Harris角点特征,所述整体特征为矩特征,所述纹理特征为LBP特征,所述尺度不变特征为SURF特征;
相应地,所述提取每个训练样本的多个基础特征,得到训练样本的各基础特征对应的向量,包括:
对所述hough变换线特征进行聚类,得到a个hough变换线特征聚类单词,将所述a个hough变换线特征聚类单词作为所述hough变换线特征对应的向量;
对所述LoG斑点特征进行聚类,得到b个LoG斑点特征聚类单词,将所述b个LoG斑点特征聚类单词作为所述LoG斑点特征对应的向量;
对所述Harris角点特征进行聚类,得到c个Harris角点特征聚类单词,将所述c个Harris角点特征聚类单词作为所述Harris角点特征对应的向量;
获取h阶不变矩特征向量,将所述h阶矩特征向量作为矩特征对应的向量;
获取所述LBP特征中包含的d个词汇出现的次数,将所述LBP特征中每个词汇出现的次数组成第一向量,将所述第一向量即作为所述LBP特征对应的向量;
获取所述SURF特征中g个词汇出现的次数,将所述SURF特征中每个词汇出现的次数组成第二向量,将所述第二向量作为所述SURF特征对应的向量。
7.根据权利要求6所述的方法,其特征在于,所述根据第k个训练样本的各基础特征对应的向量获取BP神经网络分类器的第p次学习的第一输入向量,包括:
获取第k个训练样本的每个hough变换线特征聚类单词的维数、每个LoG斑点特征聚类单词的维数、每个Harris角点特征聚类单词的维数、矩特征对应的向量的每一维分量、LBP特征对应的向量的每一维分量、SURF特征对应的向量的每一维分量,将所述每个hough变换线特征聚类单词的维数、每个LoG斑点特征聚类单词的维数、每个Harris角点特征聚类单词的维数、矩特征对应的向量的每一维分量、LBP特征对应的向量的每一维分量、SURF特征对应的向量的每一维分量组成所述第p次学习的第一输入向量,所述第p次学习的第一输入向量采用公式一表示为:
X(k)=(x1(k),x2(k).……,xN(k)) 公式一;
其中,X(k)表示第p次学习的第一输入向量,N=a+b+c+h+d+g。
8.根据权利要求4所述的方法,其特征在于,所述BP神经网络模型z采用公式二表示为:
z=(α1x1(P),α2x2(P).……,αnxn(P),……,αNxN(P)) 公式二;
其中,xn(P)表示所述BP神经网络模型的获取过程中最后一次学习对应的训练样本的第一输入向量的第n个分量,αn所述BP神经网络模型的获取过程中最后一次学习对应的训练样本的第一输入向量的第n个分量对应的连接权值。
9.根据权利要求8所述的方法,其特征在于,所述根据所述待检测样本的各基础特征对应的向量和所述BP神经网络模型,采用BP神经网络分类器对所述待检测样本学习,得到所述待检测样本的损伤类型标签,包括:
根据所述待检测样本的各基础特征对应的向量获取BP神经网络分类器的第二输入向量;
将所述BP神经网络模型中的各连接权值(α1,α2……αn,……αN)作为BP神经网络分类器对所述待检测样本学习时输入的连接权值;
根据所述第二输入向量和所述BP神经网络模型中的各连接权值(α1,α2……αn,……αN),采用BP神经网络分类器对所述待检测样本学习,得到待检测样本的损伤类型标签。
10.一种基于特征融合的损伤检测装置,其特征在于,包括:
特征提取模块,所述特征提取模块用于待检测样本的多个基础特征,得到所述待检测样本的各基础特征对应的向量;
标签获取模块,所述标签获取模块用于根据所述待检测样本的各基础特征对应的向量和BP神经网络模型,采用BP神经网络分类器对所述待检测样本进行学习,得到所述待检测样本的损伤类型标签,其中,所述BP神经网络模型是所述BP神经网络分类器基于训练样本的损伤类型的标签和每个训练样本的多个基础特征对训练样本学习得到的;
损伤类型确定模块,所述损伤类型确定模块用于根据所述待检测样本的损伤类型标签,确定所述待检测样本的损伤类型。
CN201710018581.5A 2017-01-10 2017-01-10 基于特征融合的损伤检测方法及装置 Active CN106650831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710018581.5A CN106650831B (zh) 2017-01-10 2017-01-10 基于特征融合的损伤检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710018581.5A CN106650831B (zh) 2017-01-10 2017-01-10 基于特征融合的损伤检测方法及装置

Publications (2)

Publication Number Publication Date
CN106650831A true CN106650831A (zh) 2017-05-10
CN106650831B CN106650831B (zh) 2020-04-28

Family

ID=58844008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710018581.5A Active CN106650831B (zh) 2017-01-10 2017-01-10 基于特征融合的损伤检测方法及装置

Country Status (1)

Country Link
CN (1) CN106650831B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410218A (zh) * 2018-10-08 2019-03-01 百度在线网络技术(北京)有限公司 用于生成车辆损伤信息的方法和装置
CN110136009A (zh) * 2019-04-17 2019-08-16 阿里巴巴集团控股有限公司 事故车辆理赔方法和装置、电子设备
CN111444864A (zh) * 2020-03-30 2020-07-24 北京旷视科技有限公司 目标对象的磨损程度检测方法及装置
CN112580264A (zh) * 2020-12-25 2021-03-30 中国人民解放军国防科技大学 基于bp神经网络算法的损伤点尺寸分布预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101670533A (zh) * 2009-09-25 2010-03-17 南京信息工程大学 基于工件加工表面图像分析的刀具磨损状态评价方法
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN106127747A (zh) * 2016-06-17 2016-11-16 史方 基于深度学习的汽车表面损伤分类方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101670533A (zh) * 2009-09-25 2010-03-17 南京信息工程大学 基于工件加工表面图像分析的刀具磨损状态评价方法
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN106127747A (zh) * 2016-06-17 2016-11-16 史方 基于深度学习的汽车表面损伤分类方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUO LIN等: "《Structural Damage Detection Based on BP Neural Network Technique》", 《2010 INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTATION TECHNOLOGY AND AUTOMATION》 *
倪国强等: "《基于神经网络的数据融合技术的新进展》", 《北京理工大学学报》 *
胡甫: "《基于多传感器数据融合的输油管道检测技术研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410218A (zh) * 2018-10-08 2019-03-01 百度在线网络技术(北京)有限公司 用于生成车辆损伤信息的方法和装置
CN109410218B (zh) * 2018-10-08 2020-08-11 百度在线网络技术(北京)有限公司 用于生成车辆损伤信息的方法和装置
CN110136009A (zh) * 2019-04-17 2019-08-16 阿里巴巴集团控股有限公司 事故车辆理赔方法和装置、电子设备
CN111444864A (zh) * 2020-03-30 2020-07-24 北京旷视科技有限公司 目标对象的磨损程度检测方法及装置
CN111444864B (zh) * 2020-03-30 2023-11-17 北京旷视科技有限公司 目标对象的磨损程度检测方法及装置
CN112580264A (zh) * 2020-12-25 2021-03-30 中国人民解放军国防科技大学 基于bp神经网络算法的损伤点尺寸分布预测方法及系统
CN112580264B (zh) * 2020-12-25 2023-07-07 中国人民解放军国防科技大学 基于bp神经网络算法的损伤点尺寸分布预测方法及系统

Also Published As

Publication number Publication date
CN106650831B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN110555399B (zh) 手指静脉识别方法、装置、计算机设备及可读存储介质
CN104008384B (zh) 字符识别方法和字符识别装置
CN106650831A (zh) 基于特征融合的损伤检测方法及装置
CN101576956B (zh) 基于机器视觉的在线字符检测方法和系统
CN107403130A (zh) 一种字符识别方法及字符识别装置
CN108830213A (zh) 基于深度学习的车牌检测与识别方法和装置
CN109858476B (zh) 标签的扩充方法和电子设备
CN108460415A (zh) 伪标签生成模型训练方法及伪标签生成方法
CN104463101A (zh) 用于文字性试题的答案识别方法及系统
CN110287806A (zh) 一种基于改进ssd网络的交通标志识别方法
CN109034155A (zh) 一种文字检测及识别的方法及系统
CN104867225A (zh) 一种纸币的面向识别方法及装置
CN106650670A (zh) 活体人脸视频的检测方法及装置
CN110059677A (zh) 基于深度学习的数字表识别方法及设备
CN109146873A (zh) 一种基于学习的显示屏缺陷智能检测方法及装置
CN112966685B (zh) 用于场景文本识别的攻击网络训练方法、装置及相关设备
CN110135225A (zh) 样本标注方法及计算机存储介质
CN111144270B (zh) 基于神经网络的手写文本工整度的评测方法与评测装置
CN117173568A (zh) 目标检测模型训练方法和目标检测方法
CN110223340B (zh) 一种机器人识别图书所在架位的方法、装置
CN114692750A (zh) 一种细粒度图像分类方法、装置、电子设备及存储介质
CN117372854A (zh) 一种大坝深水结构隐患病害实时检测方法
CN110309825A (zh) 一种复杂背景下的维吾尔文检测方法、系统及电子设备
CN109492684A (zh) 数据处理方法及装置
CN111062385A (zh) 一种用于图像文本信息检测的网络模型构建方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant