CN115273044B - 基于改进后的图卷积网络的车门破损故障识别检测方法 - Google Patents

基于改进后的图卷积网络的车门破损故障识别检测方法 Download PDF

Info

Publication number
CN115273044B
CN115273044B CN202210836616.7A CN202210836616A CN115273044B CN 115273044 B CN115273044 B CN 115273044B CN 202210836616 A CN202210836616 A CN 202210836616A CN 115273044 B CN115273044 B CN 115273044B
Authority
CN
China
Prior art keywords
network
sampling
graph
vehicle door
graph convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210836616.7A
Other languages
English (en)
Other versions
CN115273044A (zh
Inventor
王璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202210836616.7A priority Critical patent/CN115273044B/zh
Publication of CN115273044A publication Critical patent/CN115273044A/zh
Application granted granted Critical
Publication of CN115273044B publication Critical patent/CN115273044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

基于改进后的图卷积网络的车门破损故障识别检测方法,涉及铁路货车故障检测技术领域。本发明是为了解决现有利用人工对货车车门进行识别检测的方式错误率高且效率低下的问题。本发明基于改进后的图卷积网络的车门破损故障识别检测方法,将被测车门图像作为目标图像输入至训练好的深度学习网络模型中进行故障识别,获得车门故障识别结果,在将目标图像输入至训练好的深度学习网络模型前,先将目标图像转化为图结构,然后将所述图结构输入至训练好的深度学习网络模型中,所述深度学习网络模型为图卷积网络模型,所述图卷积网络模型采用UNet网络结构。本发明适用于对铁路货车的车门进行故障检测。

Description

基于改进后的图卷积网络的车门破损故障识别检测方法
技术领域
本发明属于铁路货车故障检测技术领域,尤其涉及用于故障检测的卷积网络。
背景技术
车门在铁路货车的车体侧面具有较大的覆盖面积。若车门发生破损,容易使货车内部的货物脱出,进而造成一定的经济损失。此外,在列车高速行驶过程中,由车门破损造成的货物脱出还可能会危及行车安全,造成更严重的后果。在实际应用中,由于装卸货物的过程中,车门需要多次开合导致连接件磨损,同时运行过程中还易受货物撞击发生破损,尤其在车门与墙板接缝处的故障更易发生。
为保证列车能够平稳、安全的运行,就需要经常对车门破损故障进行识别检测,一旦发现车门出现破损变形,就立即处理,避免事故发生。目前识别检测的方式均是人工检查图像的方式对车门进行故障检查,而检车人员在工作过程中极易出现疲劳、遗漏等情况,因而造成漏检、错检的情况出现,严重影响行车安全;且车门在车体侧面覆盖面积大、分布较广,人工查验效率低下,因此故障检查需要耗费大量的时间。
综上所述,现有利用人工对货车车门进行识别检测的方式,由于检测和人员的疏漏会导致检测的错误率升高,同时由于车门面积大而导致人工查验效率低下,最终严重影响行车安全。
发明内容
本发明是为了解决现有利用人工对货车车门进行识别检测的方式错误率高且效率低下的问题,现提供基于改进后的图卷积网络的车门破损故障识别检测方法。
基于改进后的图卷积网络的车门破损故障识别检测方法,将被测车门图像作为目标图像输入至训练好的深度学习网络模型中进行故障识别,获得车门故障识别结果,
在将目标图像输入至训练好的深度学习网络模型前,先将目标图像转化为图结构,然后将所述图结构输入至训练好的深度学习网络模型中,
所述深度学习网络模型为图卷积网络模型,所述图卷积网络模型采用UNet网络结构。
进一步的,上述基于改进后的图卷积网络的车门破损故障识别检测方法利用ViGBlock将所述目标图像转化为图结构。
进一步的,上述利用ViG Block将目标图像转化为图结构的具体方法为:
将目标图像划分为N个块,将所有块的特征聚合获得特征集X=[x1,x2,...,xN],并将该特征集X作为无序节点组V0={v1,v2,...,vN},
对无序节点组V0中的节点进行下采样缩减节点个数,获得缩减后的新节点组V={v1,v2,...,vn},其中n为缩减后的新节点组中节点总数,
查找新节点组V中与第i个节点vi相邻的所有节点N(vi),其中i=1,2,...,n,
从N(vi)中选取距离节点vi距离最近的k1个临近节点,
将每一个临近节点拆分为m个临近子节点,进而获得k2个临近子节点,其中m为正整数,k2=mk1
计算第j个临近子节点vj至节点vi的向量,并将该向量记为临近子节点vj至节点vi的有向边eji,j=1,2,...k2
将所有节点的所有有向边聚合为有向边组E,
将所述新节点组V和所述有向边组E构成目标图像的图结构G=(V,E)。
进一步的,上述图卷积网络模型包括上采样部分和下采样部分,所述上采样部分和所述下采样部分均包括四层网络,所述上采样部分的每层网络中均进行两次图卷积操作和一次上采样操作,所述下采样部分的第一层网络中均进行两次图卷积操作和一次下采样操作,所述下采样部分的后三层网络中均进行一次点卷积操作和一次下采样操作。
进一步的,上述图结构作为上采样部分第一层网络的输入,所述上采样部分第一层网络对图结构进行两次图卷积后的结果输入至下采样部分第四层网络、还通过上采样操作输入至上采样部分第二层网络,所述上采样部分第二层网络对其输入进行两次图卷积后的结果输入至下采样部分第三层网络,还通过上采样操作输入至上采样部分第三层网络,所述上采样部分第三层网络对其输入进行两次图卷积后的结果输入至下采样部分第二层网络,还通过上采样操作输入至上采样部分第四层网络,所述上采样部分第四层网络对其输入进行两次图卷积后的结果输入至下采样部分第一层网络;
所述下采样部分第一层网络对其输入进行两次图卷积后的结果通过下采样操作输入至下采样部分第二层网络,所述下采样部分第二层网络对其两个输入进行点卷积后的结果通过下采样操作输入至下采样部分第三层网络,所述下采样部分第三层网络对其两个输入进行点卷积后的结果通过下采样操作输入至下采样部分第四层网络,所述下采样部分第四层网络对其两个输入进行点卷积后的结果作为所述图卷积网络模型的输出。
进一步的,在每次对数据进行下采样操作前,先对数据进行向上取整操作。
进一步的,在对数据进行向上取整操作的同时还要记录数据的原始尺寸,并在上采样结果中截取原始尺寸的数据作为采样输出。
进一步的,上述图卷积网络模型的输出首先经过一次图卷积操作进行特征提取,提取结果再经过一次图卷积操作使其维数转化为分类目标的特征数,调整维数转化结果的行列数之后再进行最大池化和归一化,获得分类结果。
进一步的,上述获得目标图像的具体方法为:
采集被测车辆各个部位的线阵灰度图像,并将所述线阵灰度图像拼接出含有被测车辆侧部和底部的完整图像,
根据被测车门的起止位置在含有被测车辆侧部和底部的完整图像中截取被测车门的部分,
缩小截取后的图像尺寸,获得目标图像。
进一步的,上述在对深度学习网络模型进行训练前,先对采集样本进行扩增获得训练样本集,所述扩增的方式包括图像平移、缩放及锐化中的一种或多种。
本发明的基于改进后的图卷积网络的车门破损故障识别检测方法有益效果如下:
1、利用图像自动识别的方式代替人工检测,降低人工成本。
2、将深度学习网络模型应用到车门破损故障的自动识别中,提高整体检测的稳定性及精度,并有效缩短故障检测的时间。
3、对GCN图卷积网络模型进行改进,将其与UNet网络结合,应用于故障目标检测,通过多尺度特征提取,对大目标和小目标均实现了较好的检测效果。
附图说明
图1为改进后的图卷积网络的结构示意图;
图2为对深度学习网络模型输出结果的处理原理图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,都属于本发明保护的范围。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
具体实施方式一:本实施方式所述的基于改进后的图卷积网络的车门破损故障识别检测方法,将被测车门图像作为目标图像输入至训练好的深度学习网络模型中进行故障识别,获得车门故障识别结果。
在将目标图像输入至训练好的深度学习网络模型前,先将目标图像转化为图结构,然后将所述图结构输入至训练好的深度学习网络模型中。
所述深度学习网络模型为图卷积网络模型,所述图卷积网络模型采用UNet网络结构。
本实施方式在实际使用时,采集列车侧部的完整图片并截取出待检测的目标图像,通过深度学习网络模型得到检测结果,对检测结果进行分类,判断是否存在故障,若存在,则需要进行报警。本实施方式使用深度学习网络模型识别车门状态,实现故障报警,从而提高检测效率、提高列车运行的稳定性和安全性。
由于GCN图卷积网络近似一种单层卷积网络,因此本实施方式与现有网络模型结合,如Unet。图1为结合GCN图卷积网络的Unet网络结构。
具体实施方式二:图卷积网络中的图(Graph)主要由节点(V)和边(E)两部分组成,其相关定义如下:
对于图G=(V,E),V为节点的集合,E为边的集合,对于每个节点vi均对应有其特征xi,可以用矩阵XN*D表示。其中N表示节点总数,D表示每个节点的特征数(特征向量的维度也用特征数表征)。
GCN图卷积网络的原理是学习一个函数映射f(·),通过映射图中的节点vi可以聚合它自己的特征xi与它邻居节点vj的特征xj,来生成节点vi的新表示。其具体实现过程可表示为:
Hl+1=σ(LHlWl),
其中,l表示图卷积网络的第l层,Hl和Hl+1分别表示第l层的输入与输出特征,Wl为第l层的权重参数矩阵,σ(·)表示非线性激活函数,如ReLU。L为拉普拉斯矩阵,L=D-A。其中,D为图的度矩阵。假设图的节点数为n,则度矩阵D的大小为n×n,其仅在对角元素上有值,代表对应节点的度,即相邻节点总数,其他位置0。A为定义的邻接矩阵,其大小同样也为n×n,其中每一个元素所在的行(R)和列(C)代表图中第R个节点与第C个节点是否相邻,若相邻,则改元素为1,否则为0。以一个6节点的图为例,其度矩阵D、邻接矩阵A和拉普拉斯矩阵L如表1所示。
表1度矩阵D、邻接矩阵A和拉普拉斯矩阵L的对应表
Figure GDA0004023313440000051
上述GCN图卷积网络模型的输入是由节点和边组成的图(图结构),而非图像,因此需要将待识别的目标图像通过一定的方式进行转化,使之能输入给GCN图卷积网络模型。
本实施方式是对具体实施方式一所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明,本实施方式中,利用ViG Block将所述目标图像转化为图结构。
本实施方式中的ViG Block(Vision GNN,ViG,视觉图卷积),用于提取视觉任务的图形特征。其中,首先将图像分割成许多块,这些块被视为节点,并通过连接最近的邻居来构造一个图,构建ViG模型在所有节点之间转换(transform)和交换(exchange)信息。
具体实施方式三:本实施方式是对具体实施方式二所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明,本实施方式中,利用ViG Block将目标图像转化为图结构的具体方法为:
将目标图像划分为N个块(patch),将所有块的特征聚合获得特征集X=[x1,x2,...,xN],并将该特征集X作为无序节点组V0={v1,v2,...,vN}。
由于初次划分时块的数量过多,因此需要对无序节点组V0中的节点进行下采样(将每m个节点合并成一个节点,其中m为正整数,常见取值范围为2~16,一般情况取9)缩减节点个数,获得缩减后的新节点组V={v1,v2,...,vn},其中n为缩减后的新节点组中节点总数。
查找新节点组V中与第i个节点vi相邻的所有节点N(vi),其中i=1,2,...,n。
从N(vi)中选取距离节点vi距离最近的k1个临近节点。
将每一个临近节点拆分为m个临近子节点,进而获得k2个临近子节点,k2=mk1
计算第j个临近子节点vj至节点vi的向量,并将该向量记为临近子节点vj至节点vi的有向边eji,j=1,2,...k2
将所有节点的所有有向边聚合为有向边组E。再将所述新节点组V和所述有向边组E构成目标图像的图结构G=(V,E)。至此实现由图像向图结构的转化。
为便于说明,此处以大小为224×224×3的图片为例。输入图卷积网络模型的图像依次经过两次卷积和BatchNorm层(加速神经网络训练),其中第一层卷积的卷积核大小为3×3,步长大小为2,输入维数为3,输出维数为64,因此其结果为使原图224×224×3的数据大小变为112×112×64。第二层卷积的参数类似,输入和输出维数分别变为64和128,因此图像最终被转换为56×56×128的图结构(节点数据),其中节点数为56×56=3136,图结构维数为128。
具体实施方式四:由于被测车辆车型较多,不同车型的车门分布差异较大,因此截取到的目标图像的尺寸、比例差距较大,就需要深度学习网络模型能够处理大小可变的输入。普通的CNN网络,由于其网络结构中一般具有全连接层,而全连接层的输入输出固定,因此无法处理不同大小的输入,即对待检测图像的尺寸有一定要求。且每张待检测的图像,长度最多可达到30000像素,而高度却仅有1000像素,图片的长宽比较大,传统的神经网络在网络结构设计和训练上均存在一定困难。
为了解决这一问题,本实施方式对GCN图卷积网络(Graph ConvolutionNetworks)进行改进,使网络能检测不同尺寸的目标图像,并且网络的训练效果不受目标图像的长宽比影响。参照图1具体说明本实施方式,本实施方式是对具体实施方式一所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明,本实施方式中,所述图卷积网络模型包括上采样部分和下采样部分,分别对由原图像所获得的图结构进行多次下采样和上采样,并对同维数据进行数据交换,以进行更完善的信息提取。
所述上采样部分和所述下采样部分均包括四层网络,所述上采样部分的每层网络中均进行两次图卷积操作和一次上采样操作,所述下采样部分的第一层网络中均进行两次图卷积操作和一次下采样操作,所述下采样部分的后三层网络中均进行一次点卷积操作和一次下采样操作。
具体实施方式五:本实施方式是对具体实施方式四所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明,本实施方式中,
所述图结构作为上采样部分第一层网络的输入,
所述上采样部分第一层网络对图结构进行两次图卷积后的结果输入至下采样部分第四层网络、还通过上采样操作输入至上采样部分第二层网络,
所述上采样部分第二层网络对其输入进行两次图卷积后的结果输入至下采样部分第三层网络,还通过上采样操作输入至上采样部分第三层网络,
所述上采样部分第三层网络对其输入进行两次图卷积后的结果输入至下采样部分第二层网络,还通过上采样操作输入至上采样部分第四层网络,
所述上采样部分第四层网络对其输入进行两次图卷积后的结果输入至下采样部分第一层网络;
所述下采样部分第一层网络对其输入进行两次图卷积后的结果通过下采样操作输入至下采样部分第二层网络,
所述下采样部分第二层网络对其两个输入进行点卷积后的结果通过下采样操作输入至下采样部分第三层网络,
所述下采样部分第三层网络对其两个输入进行点卷积后的结果通过下采样操作输入至下采样部分第四层网络,
所述下采样部分第四层网络对其两个输入进行点卷积后的结果作为所述图卷积网络模型的输出。
以56×56×128的图结构为输入进行说明。在下采样部分的网络中,大小为56×56×128的图结构经过两层GCN图卷积网络后,再利用CNN进行一次下采样,将图结构数据转换为28×28×256大小,即图节点数量为28×28=784,每个节点数据为256维向量。之后使用不同尺寸的GCN图卷积网络重复上述步骤,直到通过GCN和CNN进行总计三次下采样特征提取后,图结构的尺寸在下采样部分第四层网络转化为7×7×1024,也就是总共7×7=49个图节点,每个节点包含1024维的特征。对7×7×1024的图结构利用GCN和CNN进行上采样操作后,与第三层网络得到的图结构对逐个图节点进行点卷积操作,完成数据交换和信息抽取。依次重复上述上采样数据处理过程,得到尺寸为56×56×128的图结构。
至此,结合具体实施方式二采用ViG Block的方式,将图片转化为可供图卷积网络处理的图结构。在图卷积网络中避免使用全连接层,保证了输入图片大小可变,由此可以满足实际应用中待检测的车体侧部图片尺寸不固定的识别需要,对不同长宽比的图片均有良好的识别效果。
具体实施方式六:为避免在下采样过程中出现无法被整除的情况,本实施方式是对具体实施方式一、四或五所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明,本实施方式中,在每次对数据进行下采样操作前,先对数据进行padding操作向上取整。
具体实施方式七:本实施方式是对具体实施方式六所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明,本实施方式中,在对数据进行向上取整操作的同时,还要记录数据的原始尺寸,并在后续上采样操作中从采样结果里截取原图尺寸作为采样输出,以保证数据大小不发生变化。
具体实施方式八:参照图2具体说明本实施方式,本实施方式是对具体实施方式一、四或五所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明,本实施方式中,所述图卷积网络模型的输出首先经过一次图卷积操作进行特征提取,提取结果再经过一次图卷积操作使其维数转化为分类目标的特征数,调整维数转化结果的行列数之后再进行最大池化和归一化,获得分类结果。
为对上述输出结果处理的过程进行说明,以224x224x3的图为例。由于经过ViGBlock的处理后,得到的图结构的高度H和宽度W参数均变为原图的1/4,即图结构大小为56×56×128,而图卷积网络模型的输出不会改变维度,因此传递给输出的图结构尺寸仍为56×56×128。将得到的上述图结构经过两层GCN网络,第一层提取特征,第二层将数据维数转化为待分类的特征数k,将得到的数据reshape(调整矩阵的行数、列数、维数)之后,使用maxpooling(最大池化)和softmax(归一化)激活函数,得到分类结果。
在现有图像处理过程中,在得到最后的输出结果之前,为了对图像中的对象进行分类,通常要将最后一个卷积层的输出展平为一个长向量。该长向量就是FC层(全连接层)的输入,不包含空间信息,FC层仅对该输入进行加权求和。FC层的输出再经过激活函数,即可得到分类结果。但是,由于FC层的输入必须是固定维度的,该维度一旦固定,所有前向网络的输入输出也均被固定,由此网络只能接受固定大小的输入。为此,在前述实施方式中已经使用GCN图网络替代输出结构中的FC部分。由于图网络可以处理任意节点个数的数据,又加之本实施方式对图网络输出结果采取的reshape过程同样对维度没有固定要求,因此经过上述变化后的网络可以处理不同维度的输入数据。
具体实施方式九:本实施方式是对具体实施方式一所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明,本实施方式中,获得目标图像的具体方法为:
搭建高速成像设备,采集被测车辆各个部位的线阵灰度图像。
将所述线阵灰度图像拼接出含有被测车辆侧部和底部的完整图像。
由于检测的车门目标只分布在列车侧部,且在车身上的位置基本固定,因此根据其轴距信息等先验知识就能够确定车门的起止位置。根据被测车门的起止位置在含有被测车辆侧部和底部的完整图像中截取目标区域(被测车门的部分)。
缩小截取后的图像尺寸,增加目标在识别图像中的相对占比,减少干扰,最终获得目标图像。
具体实施方式十:本实施方式是对具体实施方式一所述的基于改进后的图卷积网络的车门破损故障识别检测方法进行进一步说明。
铁道货车关乎人命、财产安全,其安全标准十分严格,使得其在运行过程中稳定性高、故障率低,故障图像不易收集,故障样本较少,导致在模型训练时出现数据及不平衡的问题。因此需要在收集真实故障图像的基础上,模拟故障图像,并对故障图像进行扩增。为此,本实施方式中,在对深度学习网络模型进行训练前需要建立训练样本集,训练样本集的建立方法为:
搭建高速成像设备,采集被测车辆在各种状态(不同环境、不同时段)下各个部位的线阵灰度图像作为采集样本。然后对采集样本进行扩增获得训练样本集,保证数据样本中存在各种自然干扰,如光照、雨水、泥渍等,增强算法的鲁棒性,保证算法能适用于列车的不同工况。
对采集样本进行扩增的方式包括图像平移、缩放及锐化中的一种或多种。
之后将训练样本集中的样本进行拼接,获得含有被测车辆侧部和底部的完整图像。再根据被测车门的起止位置在含有被测车辆侧部和底部的完整图像中截取目标区域(被测车门的部分)。缩小截取后的图像尺寸,增加目标在识别图像中的相对占比,减少干扰,便于模型的训练,并且可以提高识别率。
虽然在本文中参照了特定的实施方式来描述本发明,但是应该理解的是,这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是,可以对示例性的实施例进行许多修改,并且可以设计出其他的布置,只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是,可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是,结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (8)

1.基于改进后的图卷积网络的车门破损故障识别检测方法,将被测车门图像作为目标图像输入至训练好的深度学习网络模型中进行故障识别,获得车门故障识别结果,
其特征在于,
在将目标图像输入至训练好的深度学习网络模型前,先将目标图像转化为图结构,然后将所述图结构输入至训练好的深度学习网络模型中,
所述深度学习网络模型为图卷积网络模型,所述图卷积网络模型采用UNet网络结构;
利用ViG Block将所述目标图像转化为图结构;
利用ViG Block将目标图像转化为图结构的具体方法为:
将目标图像划分为N个块,将所有块的特征聚合获得特征集X=[x1,x2,...,xN],并将该特征集X作为无序节点组V0={v1,v2,...,vN},
对无序节点组V0中的节点进行下采样缩减节点个数,获得缩减后的新节点组V={v1,v2,...,vn},其中n为缩减后的新节点组中节点总数,
查找新节点组V中与第i个节点vi相邻的所有节点N(vi),其中i=1,2,...,n,
从N(vi)中选取距离节点vi距离最近的k1个临近节点,
将每一个临近节点拆分为m个临近子节点,进而获得k2个临近子节点,其中m为正整数,k2=mk1
计算第j个临近子节点vj至节点vi的向量,并将该向量记为临近子节点vj至节点vi的有向边eji,j=1,2,...k2
将所有节点的所有有向边聚合为有向边组E,
将所述新节点组V和所述有向边组E构成目标图像的图结构G=(V,E)。
2.根据权利要求1所述的基于改进后的图卷积网络的车门破损故障识别检测方法,其特征在于,所述图卷积网络模型包括上采样部分和下采样部分,所述上采样部分和所述下采样部分均包括四层网络,所述上采样部分的每层网络中均进行两次图卷积操作和一次上采样操作,所述下采样部分的第一层网络中均进行两次图卷积操作和一次下采样操作,所述下采样部分的后三层网络中均进行一次点卷积操作和一次下采样操作。
3.根据权利要求2所述的基于改进后的图卷积网络的车门破损故障识别检测方法,其特征在于,
所述图结构作为上采样部分第一层网络的输入,
所述上采样部分第一层网络对图结构进行两次图卷积后的结果输入至下采样部分第四层网络、还通过上采样操作输入至上采样部分第二层网络,
所述上采样部分第二层网络对其输入进行两次图卷积后的结果输入至下采样部分第三层网络,还通过上采样操作输入至上采样部分第三层网络,
所述上采样部分第三层网络对其输入进行两次图卷积后的结果输入至下采样部分第二层网络,还通过上采样操作输入至上采样部分第四层网络,
所述上采样部分第四层网络对其输入进行两次图卷积后的结果输入至下采样部分第一层网络;
所述下采样部分第一层网络对其输入进行两次图卷积后的结果通过下采样操作输入至下采样部分第二层网络,
所述下采样部分第二层网络对其两个输入进行点卷积后的结果通过下采样操作输入至下采样部分第三层网络,
所述下采样部分第三层网络对其两个输入进行点卷积后的结果通过下采样操作输入至下采样部分第四层网络,
所述下采样部分第四层网络对其两个输入进行点卷积后的结果作为所述图卷积网络模型的输出。
4.根据权利要求1、2或3所述的基于改进后的图卷积网络的车门破损故障识别检测方法,其特征在于,在每次对数据进行下采样操作前,先对数据进行向上取整操作。
5.根据权利要求4所述的基于改进后的图卷积网络的车门破损故障识别检测方法,其特征在于,在对数据进行向上取整操作的同时还要记录数据的原始尺寸,并在上采样结果中截取原始尺寸的数据作为采样输出。
6.根据权利要求1、2或3所述的基于改进后的图卷积网络的车门破损故障识别检测方法,其特征在于,所述图卷积网络模型的输出首先经过一次图卷积操作进行特征提取,提取结果再经过一次图卷积操作使其维数转化为分类目标的特征数,调整维数转化结果的行列数之后再进行最大池化和归一化,获得分类结果。
7.根据权利要求1所述的基于改进后的图卷积网络的车门破损故障识别检测方法,其特征在于,获得目标图像的具体方法为:
采集被测车辆各个部位的线阵灰度图像,并将所述线阵灰度图像拼接出含有被测车辆侧部和底部的完整图像,
根据被测车门的起止位置在含有被测车辆侧部和底部的完整图像中截取被测车门的部分,
缩小截取后的图像尺寸,获得目标图像。
8.根据权利要求1所述的基于改进后的图卷积网络的车门破损故障识别检测方法,其特征在于,在对深度学习网络模型进行训练前,先对采集样本进行扩增获得训练样本集,所述扩增的方式包括图像平移、缩放及锐化中的一种或多种。
CN202210836616.7A 2022-07-15 2022-07-15 基于改进后的图卷积网络的车门破损故障识别检测方法 Active CN115273044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210836616.7A CN115273044B (zh) 2022-07-15 2022-07-15 基于改进后的图卷积网络的车门破损故障识别检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210836616.7A CN115273044B (zh) 2022-07-15 2022-07-15 基于改进后的图卷积网络的车门破损故障识别检测方法

Publications (2)

Publication Number Publication Date
CN115273044A CN115273044A (zh) 2022-11-01
CN115273044B true CN115273044B (zh) 2023-04-07

Family

ID=83764503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210836616.7A Active CN115273044B (zh) 2022-07-15 2022-07-15 基于改进后的图卷积网络的车门破损故障识别检测方法

Country Status (1)

Country Link
CN (1) CN115273044B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112906534A (zh) * 2021-02-07 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种基于改进后Faster R-CNN网络的锁扣丢失故障检测方法
CN112907532A (zh) * 2021-02-10 2021-06-04 哈尔滨市科佳通用机电股份有限公司 基于Faster RCNN改进的货车车门脱落检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666995B (zh) * 2020-05-29 2024-04-09 平安科技(深圳)有限公司 基于深度学习模型的车辆定损方法、装置、设备及介质
CN112541912B (zh) * 2020-12-23 2024-03-12 中国矿业大学 矿井突发灾害场景中显著性目标的快速检测方法及装置
US11837354B2 (en) * 2020-12-30 2023-12-05 London Health Sciences Centre Research Inc. Contrast-agent-free medical diagnostic imaging
CN112733742B (zh) * 2021-01-14 2022-02-01 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的铁路货车下拉杆圆销故障检测方法
CN112700460B (zh) * 2021-01-14 2024-05-24 北京工业大学 图像分割方法及系统
CN112926452B (zh) * 2021-02-25 2022-06-14 东北林业大学 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统
CN113362277A (zh) * 2021-04-26 2021-09-07 辛米尔视觉科技(上海)有限公司 一种基于深度学习的工件表面缺陷检测和分割方法
CN114549555A (zh) * 2022-02-25 2022-05-27 北京科技大学 一种基于语义分割网络的人耳图像解刨学分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112906534A (zh) * 2021-02-07 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种基于改进后Faster R-CNN网络的锁扣丢失故障检测方法
CN112907532A (zh) * 2021-02-10 2021-06-04 哈尔滨市科佳通用机电股份有限公司 基于Faster RCNN改进的货车车门脱落检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李瑞荣 ; 温志强 ; .深圳地铁3号线列车控制与诊断系统评价.城市轨道交通研究.2016,(第07期),114-118. *

Also Published As

Publication number Publication date
CN115273044A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN110827251B (zh) 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
CN104036323B (zh) 一种基于卷积神经网络的车辆检测方法
CN111079631A (zh) 一种铁路货车钩提杆脱落故障识别方法及系统
CN112950576B (zh) 基于深度学习的输电线路缺陷智能识别方法及系统
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN110648316B (zh) 一种基于深度学习的钢卷端面边缘检测方法
CN111079821A (zh) 一种脱轨自动制动拉环脱落故障图像识别方法
CN109886200B (zh) 一种基于生成式对抗网络的无人驾驶车道线检测方法
CN111091543B (zh) 铁路货车摇枕弹簧丢失故障目标检测方法
CN112308826A (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN111080600A (zh) 一种铁路货车弹簧托板上开口销的故障识别方法
CN113506239B (zh) 一种基于跨阶段局部网络的带钢表面缺陷检测方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN112257711B (zh) 一种铁路货车地板破损故障检测方法
CN108932471B (zh) 一种车辆检测方法
CN113205039A (zh) 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法
CN116703812A (zh) 一种基于深度学习的光伏组件裂纹检测方法与系统
CN114862812B (zh) 基于先验知识的两阶段轨道交通车辆缺陷检测方法和系统
CN114092478B (zh) 一种异常检测方法
CN115965915A (zh) 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统
CN115424128A (zh) 一种货车转向架下拉杆故障图像检测方法及系统
CN106407975A (zh) 基于空间‑光谱结构约束的多尺度分层目标检测方法
CN115273044B (zh) 基于改进后的图卷积网络的车门破损故障识别检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant