CN111126416A - 基于关键点检测的发动机链轮识别系统及识别方法 - Google Patents
基于关键点检测的发动机链轮识别系统及识别方法 Download PDFInfo
- Publication number
- CN111126416A CN111126416A CN201911273561.8A CN201911273561A CN111126416A CN 111126416 A CN111126416 A CN 111126416A CN 201911273561 A CN201911273561 A CN 201911273561A CN 111126416 A CN111126416 A CN 111126416A
- Authority
- CN
- China
- Prior art keywords
- key point
- sprocket
- engine
- chain wheel
- thermodynamic diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 110
- 238000012549 training Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于关键点检测的发动机链轮识别系统、方法,其中,系统包括:链轮图像采集模块,用于采集待检测的发动机链轮图像并存储;关键点识别模块,用于对发动机链轮图像进行关键点检测,得到发动机链轮图像对应的关键点热力图;链轮关键点位置确定模块,用于根据关键点热力图上的各关键点的像素值,确定各链轮关键点在关键点热力图上的具体所处位置;链轮关键点指标计算模块,用于根据各链轮关键点在关键点热力图上分别所处的位置,计算出可用于确定发动机链轮类型的多个链轮关键点指标;发动机链轮类型判断模块,用于根据计算的各链轮关键点指标判断出发动机链轮的类型,本发明提高了链轮类型识别的准确率。
Description
技术领域
本发明涉及质量检验技术领域,具体涉及一种基于关键点检测的发动机链轮识别系统及识别方法。
背景技术
在发动机组装过程中,需要对多个部位的零件进行检测与识别,比如需要对安装在发动机上的链轮类型进行识别。链轮的类型多种多样,外观非常相似。目前,对于链轮类型的识别还普遍采用肉眼识别方式,这种识别方式效率低下,识别准确率因人而异。
近些年随着计算机识别技术和深度学习技术的发展,机器识别链轮图像的方法开始出现。从表面上看,对于链轮类型的识别问题可以看做是对链轮图像进行分类的问题。对于图像分类问题,目前有很多基于卷积神经网络的算法可以简单、快速地解决。然而在实际应用中,仅仅对链轮图像进行识别分类是远远不够的,主要有以下几点不足:
1、现有的基于卷积神经网络的链轮图像识别方法仅能够识别输出链轮类型信息,并不能获得其他如链轮中心位置、链轮齿数、链轮相邻齿夹角等对判断链轮类型具有重要意义的信息,所作出的识别结果准确性不高。
2、识别链轮类型的指标单一,不能使用多项指标进行交叉验证,导致识别算法的鲁棒性较低。
发明内容
本发明的目的在于提供一种基于关键点检测的发动机链轮识别系统、方法,以解决上述技术问题。
为达此目的,本发明采用以下技术方案:
提供一种基于关键点检测的发动机链轮识别系统,用于对发动机链轮的类型进行识别检测,包括:
链轮图像采集模块,用于采集待检测的发动机链轮图像并存储;
关键点识别模块,连接所述链轮图像采集模块,用于根据一预设的关键点识别模型对所述发动机链轮图像进行关键点检测,得到所述发动机链轮图像对应的关键点热力图;
链轮关键点位置确定模块,连接所述关键点识别模块,用于根据所述关键点热力图上的各关键点的像素值,确定各链轮关键点在所述关键点热力图上的具体所处位置;
链轮关键点指标计算模块,连接所述链轮关键点位置确定模块,用于根据所识别的各所述链轮关键点在所述关键点热力图上分别所处的位置,计算出可用于确定所述发动机链轮类型的多个链轮关键点指标;
发动机链轮类型判断模块,连接所述链轮关键点指标计算模块,用于根据计算的各所述链轮关键点指标判断出所述发动机链轮的类型。
作为本发明的一种优选方案,所述发动机链轮识别系统还包括:
识别模型训练模块,分别连接所述链轮图像采集模块和所述关键点识别模块,用于以多张所述发动机链轮图像和各所述发动机链轮图像对应的多张所述关键点热力图为训练样本,训练形成所述关键点识别模型,
所述识别模型训练模块中具体包括:
训练数据获取单元,用于获取所述训练样本;
图像标注单元,连接所述训练数据获取单元,用于将作为训练样本的各所述发动机链轮图像提供给检测人员对图像上的各所述链轮关键点进行人工标注;
关键点热力图生成单元,连接所述图像标注单元,用于以经人工标注后的各所述发动机链轮图像作为输入,输出各所述发动机链轮图像对应的多张所述关键点热力图;
关键点热力图处理单元,连接所述关键点热力图生成单元,用于对各所述关键点热力图进行图像处理,得到经图像处理后的多张所述关键点热力图;
识别模型训练单元,分别连接所述关键点热力图处理单元和所述训练数据获取单元,用于以经图像处理后的各所述关键点热力图和所采集的各所述发动机链轮图像为所述训练样本,训练形成所述关键点识别模型。
作为本发明的一种优选方案,训练所述关键点识别模型采用的神经网络结构为堆叠沙漏网络结构。
作为本发明的一种优选方案,所述链轮关键点位置确定模块中具体包括:
候选点筛选单元,用于将所述关键点热力图上的像素值大于一预设阈值的各所述关键点作为候选点,并将各所述候选点从各所述关键点中筛选出来;
候选点聚类单元,连接所述候选点筛选单元,用于对所筛选的所有所述候选点进行聚类形成多个聚类区域;
链轮关键点位置确定单元,连接所述候选点聚类单元,用于将各所述聚类区域中的中心点作为所述链轮关键点,以最终确定各所述链轮关键点在所述关键点热力图上的具体所处位置。
作为本发明的一种优选方案,预设的所述阈值为0.6。
作为本发明的一种优选方案,所述链轮关键点指标计算模块中具体包括:
链轮关键点数量计算单元,用于计算各所述链轮关键点的数量;
链轮中心位置计算单元,用于根据坐标定位法,确定各所述链轮关键点在所述关键点热力图上的坐标位置,并根据各所述链轮关键点在所述关键点热力图上的坐标位置计算得到所述发动机链轮的圆心的坐标位置和链轮半径;
相邻关键点夹角计算单元,连接所述链轮中心位置计算单元,用于根据所述圆心的坐标位置以及各所述链轮关键点的坐标位置,计算得到各相邻的所述链轮关键点之间的夹角。
作为本发明的一种优选方案,所述发动机链轮类型判断模块中具体包括:
第一发动机链轮类型判断单元,用于根据所述链轮关键点的数量判断所述发动机链轮的类型,并输出第一类型判断结果;
第二发动机链轮类型判断单元,用于根据各相邻的所述链轮关键点之间的所述夹角判断所述发动机链轮的类型,并输出第二类型判断结果。
作为本发明的一种优选方案,所述发动机链轮识别系统还包括:
报警模块,连接所述发动机链轮类型判断模块,用于在所述第一类型判断结果和所述第二类型判断结果不一致时进行提示报警。
本发明还提供了一种基于关键点检测的发动机链轮识别方法,通过应用所述发动机链轮识别系统实现,包括如下步骤:
步骤S1,所述发动机链轮识别系统采集待检测的所述发动机链轮图像;
步骤S2,所述发动机链轮识别系统根据一预设的所述关键点识别模型对所述发动机链轮图像进行关键点检测,得到所述发动机链轮图像对应的关键点热力图;
步骤S3,所述发动机链轮识别系统根据所述关键点热力图上的各关键点的像素值,确定各所述链轮关键点在所述关键点热力图上的具体所处位置;
步骤S4,所述发动机链轮识别系统根据所识别的各所述链轮关键点在所述关键点热力图上分别所处的位置,计算出可用于确定所述发动机链轮类型的多个链轮关键点指标;
步骤S5,所述发动机链轮识别系统根据计算的各所述链轮关键点指标判断出所述发动机链轮的类型。
作为本发明的一种优选方案,所述步骤S2中,所述发动机链轮识别系统训练所述关键点识别模型的具体过程包括如下步骤:
步骤S21,所述发动机链轮识别系统获取多张所述发动机链轮图像;
步骤S22,所述发动机链轮识别系统将各所述发动机链轮图像提供给检测人员对图像上的各所述链轮关键点进行人工标注;
步骤S23,所述发动机链轮识别系统生成经人工标注后的各所述发动机链轮图像分别对应的多张所述关键点热力图;
步骤S24,所述发动机链轮识别系统对各所述关键点热力图进行图像处理,得到经图像处理后的多张所述关键点热力图;
步骤S25,所述发动机链轮识别系统以经图像处理后的各所述关键点热力图和所采集的各所述发动机链轮图像为训练样本,并通过堆叠沙漏网络,最终训练形成所述关键点识别模型。
本发明的有益效果是:
1、通过应用关键点检测技术获取链轮的多个链轮关键点指标,并通过计算各链轮关键点指标对应的指标值,进而判断出链轮类型,所作出的链轮类型判断结果更加准确;
2、本发明通过堆叠沙漏网络训练的关键点识别模型识别链轮类型的准确度更高;
3、本发明通过计算链轮齿数量和相邻链轮齿夹角,交叉验证链轮类型,所作出的识别结果准确率更高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例所述的基于关键点检测的发动机链轮识别系统的结构示意图;
图2是本发明一实施例所述的基于关键点检测的发动机链轮识别系统中的识别模型训练模块的内部结构示意图;
图3是本发明一实施例所述的基于关键点检测的发动机链轮识别系统中的链轮关键点位置确定模块的结构示意图;
图4是本发明一实施例所述的基于关键点检测的发动机链轮识别系统中的链轮关键点指标计算模块的结构示意图;
图5是本发明一实施例所述的基于关键点检测的发动机链轮识别系统中的发动机链轮类型判断模块的结构示意图;
图6是本发明一实施例所述的基于关键点检测的发动机链轮识别方法的方法步骤图;
图7是本发明一实施例所述的基于关键点检测的发动机链轮识别系统训练所述关键点识别模型的方法步骤图;
图8是训练所述关键点识别模型采用的堆叠沙漏网络的结构示意图;
图9是本发明一实施例所述的基于关键点检测的发动机链轮识别系统识别发动机链轮类型的流程框图;
图10是本发明一实施例所述的基于关键点检测的发动机链轮识别系统对发动机链轮类型的识别结果示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本专利的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在本发明的描述中,除非另有明确的规定和限定,若出现术语“连接”等指示部件之间的连接关系,该术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的基于关键点检测的发动机链轮识别系统,用于对发动机链轮的类型进行识别检测,请参照图1,该发动机链轮识别系统包括:
链轮图像采集模块1,用于采集待检测的发动机链轮图像并存储;
关键点识别模块2,连接链轮图像采集模块1,用于根据一预设的关键点识别模型对发动机链轮图像进行关键点检测,得到发动机链轮图像对应的关键点热力图;
链轮关键点位置确定模块3,连接关键点识别模块2,用于根据关键点热力图上的各关键点的像素值,确定各链轮关键点在关键点热力图上的具体所处位置;
链轮关键点识别指标计算模块4,连接链轮关键点位置确定模块3,用于根据所识别的各链轮关键点在关键点热力图上分别所处的位置,计算出可用于确定发动机链轮类型的多个链轮关键点指标;
发动机链轮类型判断模块5,连接链轮关键点指标计算模块4,用于根据计算的各链轮关键点指标判断出发动机链轮的类型。
上述的链轮关键点包括链轮所有齿的顶点。关键点包括关键点热力图上的链轮关键点以及各链轮关键点附近的与链轮关键点的像素值相近的各像素点。
优选地,预设的关键点识别模型由发动机链轮识别系统自己训练而得。请继续参照图1,发动机链轮识别系统还包括:
识别模型训练模块6,分别连接链轮图像采集模块1和关键点识别模块2,用于以多张发动机链轮图像和各发动机链轮图像对应的多张关键点热力图为训练样本,训练形成关键点识别模型,
请参照图2,识别模型训练模块6中具体包括:
训练数据获取单元61,用于获取训练样本;
图像标注单元62,连接训练数据获取单元61,用于将作为训练样本的各发动机链轮图像提供给检测人员对图像上的各链轮关键点进行人工标注;
关键点热力图生成单元63,连接图像标注单元62,用于以经人工标注后的各发动机链轮图像作为输入,输出各发动机链轮图像对应的多张关键点热力图;
关键点热力图处理单元64,连接关键点热力图生成单元63,用于对各关键点热力图进行图像处理,得到经图像处理后的多张关键点热力图;
识别模型训练单元65,分别连接关键点热力图处理单元64和训练数据获取单元61,用于以经图像处理后的各关键点热力图和所采集的各发动机链轮图像为训练样本,训练形成关键点识别模型。
具体而言,本实施例提供的发动机链轮识别系统训练关键点识别模型的过程如下:
首先,对于每个已知类型的链轮,拍摄一定数量的图像(图像尺寸优选为512*512),图像的背景、光照与链轮的位置、大小都可以不同,但链轮必须针对镜头,不能被遮挡或裁剪。
接着,人工对每一幅训练图像进行链轮关键点标注,标注出链轮所有齿的顶点位置,并在此基础上生成大小为128*128的关键点热力图。关键点热力图的生成方法是现有技术,在此不作阐述。关键点热力图是一幅像素值介于0~1之间的黑白图像。初始时,所标注的各链轮关键点对应的像素点的像素值为1.0,其他像素点的像素值为0。
为了减少识别误差,增加算法的鲁棒性,在初始关键点热力图中,以每个链轮关键点为中心,半径为R的范围内进行一次高斯模糊操作,以得到经图像处理后的关键点热力图。半径R的具体数值根据实验数据而得。
接下来,发动机链轮识别系统根据预先构建的关键点识别模型训练网络对关键点识别模型进行训练。训练网络优选采用深度神经网络中的堆叠沙漏网络(StackedHourglass Network)。本发明通过3层堆叠沙漏网络来训练关键点识别模型。每层沙漏网络的网络结构请参照图8,在每一个单层沙漏网络中,输入图像(优选为经人工标注后的发动机链轮图像)先经过一个卷积核大小为7*7、步长为2的卷积层,并下采样至128*128图像尺寸,之后继续对下采样后的图像进行4次下采样,每次下采样前都保存原尺度的图像特征,然后再对称地进行4次上采样,每次上采样的特征与原尺度的特征相加,相加后的特征最终连续经过两个卷积核大小均为1*1的的卷积层之后,即可得到关键点热力图。每个单层沙漏网络生成的关键点热力图再次经过1*1卷积层的特征卷积提取后与其最终特征相加,作为输入进入下一层的沙漏网络。最后以发动机链轮图像与生成的关键点热力图为训练样本,并基于上述的堆叠沙漏网络训练形成关键点识别模型。在具体训练过程中,识别模型训练单元可以随机对输入图像(原始输入的发动机链轮图像和关键点热力图)进行图像平移、旋转、缩放与亮度变化,但是必须保证整个链轮不能超过图像边界。训练的循环次数可以设定为100次,采用的优化器优选为Adam优化器,初始学习率为0.001,在第50次与80次循环后分别将学习率乘以0.1。在训练结束后保存最终输出的关键点识别模型。
请参照图9,本实施例提供的发动机链轮识别系统识别发动机链轮的过程简述如下:
首先,拍摄待检测的发动机链轮图像。待检测的发动机链轮图像的图像格式要求与训练样本的图像格式相同,并将其作为关键点识别模型的输入,通过关键点识别模型输出发动机链轮图像对应的关键点热力图。
然后,需要从关键点热力图中找出链轮关键点的具体所处位置。为了能够找出关键点热力图上的各链轮关键点(通常为链轮齿的顶点),请参照图3,链轮关键点位置确定模块3中具体包括:
候选点筛选单元31,用于将关键点热力图上的像素值大于一预设阈值的各关键点作为候选点,并将各候选点从各关键点中筛选出来;
候选点聚类单元32,连接候选点筛选单元31,用于对所筛选的所有候选点进行聚类,形成多个聚类区域;
链轮关键点位置确定单元33,连接候选点聚类单元32,用于将各聚类区域中的中心点作为链轮关键点,以最终确定各链轮关键点在关键点热力图上的具体所处位置。
具体而言,从关键点热力图中找出链轮关键点的具体所处位置的方法为:
由于关键点热力图中像素值越接近1的像素点为链轮关键点的概率最大,因此可以将关键点热力图上像素值大于预设阈值的像素点初步确定为疑似链轮关键点,也就是上述的候选点。根据行业经验,将该阈值设置为0.6,也就是将像素值大于0.6的像素点初步确定为候选点。
另外由于链轮关键点附近的比如与链轮关键点相邻的像素点的像素值与链轮关键点的像素值比较接近,为了进一步明确链轮关键点的具体所处位置,本发明还通过对所有的候选点进行聚类,形成多个聚类区域,并将每个聚类区域中的中心点作为链轮关键点,最终确定链轮关键点在关键点热力图上的具体所处位置。对候选点进行聚类的方法为现有的聚类方法,该聚类方法也并非被发明要求权利保护的范围,所有具体聚类过程在此不作阐述。
另外,对聚类区域确定中心点的方法可以是现有的坐标定位法或其他中心点确定方法,中心点具体确定过程在此也不作阐述。
在确定链轮关键点后,要最终得到对发动机链轮类型的识别结果还需要借助多个链轮关键点指标。链轮关键点指标包括但不限于链轮关键点的数量(也就是链轮齿的数量)、相邻的链轮关键点间的夹角以及链轮中心位置坐标。
为了计算得到所需的链轮关键点指标,请继续参照图4,发动机链轮识别系统中的链轮关键点指标计算模块4中具体包括:
链轮关键点数量计算单元41,用于计算各链轮关键点的数量;
链轮中心位置计算单元42,用于根据坐标定位法,确定各链轮关键点在关键点热力图上的坐标位置,并根据各链轮关键点在关键点热力图上的坐标位置计算得到发动机链轮的圆心的坐标位置和链轮半径,链轮圆心位置即为链轮中心位置;
相邻关键点夹角计算单元43,连接链轮中心位置计算单元42,用于根据圆心的坐标位置以及各链轮关键点的坐标位置,计算得到各相邻的链轮关键点之间的夹角。
计算各链轮关键点指标的过程简述如下:
1、对于链轮关键点数量的计算只需要简单的统计识别到的链轮关键点的数量即可。
2、对于链轮中心位置(链轮圆心)的计算。由于链轮为圆形形状,所以所有的链轮关键点(链轮齿顶点)都处在同一个圆周上,设圆心坐标为(xc,yc),链轮半径为R,则任意链轮关键点(xi,yi)都满足以下公式:
(xi-xc)2+(yi-yc)2=R2
所以圆心坐标(链轮中心点位置)和链轮半径R可通过以上公式计算而得。
3、对于相邻关键点夹角的计算过程为:
在知道链轮中心位置坐标后,理论上可以计算出任意相邻的链轮关键点A与链轮关键点B相对圆心C的夹角∠ACB,但是此时并不知道哪些链轮关键点在圆周上相邻。为了便于计算,可以首先计算所有链轮关键点X与坐标原点O=(0,0)相对圆心C之间的夹角∠XCO(此夹角使用反正切计算,因此带有符号,表示其方向),从而得到一个序列,之后将该序列顺序排列,如果在此序列中,∠ACO与∠BCO相邻,则链轮关键点A与链轮关键点B在圆周上也相邻,链轮关键点A与链轮关键点B之间的夹角即为∠ACB=|∠ACO-∠BCO|。
通常情况下,不同类型的链轮具有不同数量的链轮关键点(链轮齿)或者相邻的链轮关键点之间具有不同的夹角度数,所以系统可根据判断链轮关键点的数量或判断链轮关键点之间的夹角,进而判断链轮的类型。所以请继续参照图5,发动机链轮类型判断模块5中具体包括:
第一发动机链轮类型判断单元51,用于根据链轮关键点的数量判断发动机链轮的类型,并输出第一类型判断结果;
第二发动机链轮类型判断单元52,用于根据各相邻的链轮关键点之间的夹角判断发动机链轮的类型,并输出第二类型判断结果。
为了提高对链轮类型判断的准确率,优选情况下,本实施例提供的发动机链轮识别系统综合第一类型判断结果和第二类型判断结果,最终识别出发动机链轮的具体类型。具体为,当第一类型判断结果和第二类型判断结果的结果一致时,才最终确定得到发动机链轮的类型;当第一类型判断结果和第二类型判断结果不一致时,系统将进行报警,以提示用户判断结果可能有误。
所以更优选地,请继续参照图1,发动机链轮识别系统还包括:
报警模块7,连接发动机链轮类型判断模块5,用于在第一类型判断结果和第二类型判断结果不一致时进行提示报警。
本实施例提供的发动机链轮识别系统对链轮类型的判断结果请参照图10。由图10可见,对于图10中的最左侧的发动机链轮图像,通过关键点识别模型预测得到的关键点热力图中,最下方的链轮关键点出现漏检,最终模型识别的链轮关键点(链轮齿数量)为13,出现错误;但是系统计算的所有相邻的链轮关键点之间的夹角中位数为0.443,该夹角中位数对应的发动机链轮类型为14齿链轮,因此系统最终输出为14齿链轮,同时输出误检报警。
根据各相邻链轮关键点夹角计算链轮的夹角中位数的方法为现有技术,具体计算过程在此不作阐述。至于夹角中位数与链轮类型之间的关系由行业经验总结而得,两者的逻辑关系预存在本实施例提供的发动机链轮识别系统中。系统可根据该逻辑关系,并根据计算的夹角中位数分析得到对应的链轮类型。
本发明还提供了一种基于关键点检测的发动机链轮识别方法,通过应用上述的发动机链轮识别系统实现,请参照图6,包括如下步骤:
步骤S1,发动机链轮识别系统采集待检测的发动机链轮图像;
步骤S2,发动机链轮识别系统根据一预设的关键点识别模型对发动机链轮图像进行关键点检测,得到发动机链轮图像对应的关键点热力图;
步骤S3,发动机链轮识别系统根据关键点热力图上的各关键点的像素值,确定各链轮关键点在关键点热力图上的具体所处位置;
步骤S4,发动机链轮识别系统根据所识别的各链轮关键点在关键点热力图上分别所处的位置,计算出可用于确定发动机链轮类型的多个链轮关键点指标;
步骤S5,发动机链轮识别系统根据计算的各链轮关键点指标判断出发动机链轮的类型。
请参照图7,步骤S2中,发动机链轮识别系统训练关键点识别模型的具体过程包括如下步骤:
步骤S21,发动机链轮识别系统获取多张发动机链轮图像;
步骤S22,发动机链轮识别系统将各发动机链轮图像提供给检测人员对图像上的各链轮关键点进行人工标注;
步骤S23,发动机链轮识别系统生成经人工标注后的各发动机链轮图像分别对应的多张关键点热力图;
步骤S24,发动机链轮识别系统对各关键点热力图进行图像处理,得到经图像处理后的多张关键点热力图;
步骤S25,发动机链轮识别系统以经图像处理后的各关键点热力图和所采集的各发动机链轮图像为训练样本,并通过堆叠沙漏网络,最终训练形成关键点识别模型。
需要声明的是,上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白,还可以对本发明做各种修改、等同替换、变化等等。但是,这些变换只要未背离本发明的精神,都应在本发明的保护范围之内。另外,本申请说明书和权利要求书所使用的一些术语并不是限制,仅仅是为了便于描述。
Claims (10)
1.一种基于关键点检测的发动机链轮识别系统,用于对发动机链轮的类型进行识别检测,其特征在于,包括:
链轮图像采集模块,用于采集待检测的发动机链轮图像并存储;
关键点识别模块,连接所述链轮图像采集模块,用于根据一预设的关键点识别模型对所述发动机链轮图像进行关键点检测,得到所述发动机链轮图像对应的关键点热力图;
链轮关键点位置确定模块,连接所述关键点识别模块,用于根据所述关键点热力图上的各关键点的像素值,确定各链轮关键点在所述关键点热力图上的具体所处位置;
链轮关键点指标计算模块,连接所述链轮关键点位置确定模块,用于根据所识别的各所述链轮关键点在所述关键点热力图上分别所处的位置,计算出可用于确定所述发动机链轮类型的多个链轮关键点指标;
发动机链轮类型判断模块,连接所述链轮关键点指标计算模块,用于根据计算的各所述链轮关键点指标判断出所述发动机链轮的类型。
2.如权利要求1所述的发动机链轮识别系统,其特征在于,还包括:
识别模型训练模块,分别连接所述链轮图像采集模块和所述关键点识别模块,用于以多张所述发动机链轮图像和各所述发动机链轮图像对应的多张所述关键点热力图为训练样本,训练形成所述关键点识别模型,
所述识别模型训练模块中具体包括:
训练数据获取单元,用于获取所述训练样本;
图像标注单元,连接所述训练数据获取单元,用于将作为训练样本的各所述发动机链轮图像提供给检测人员对图像上的各所述链轮关键点进行人工标注;
关键点热力图生成单元,连接所述图像标注单元,用于以经人工标注后的各所述发动机链轮图像作为输入,输出各所述发动机链轮图像对应的多张所述关键点热力图;
关键点热力图处理单元,连接所述关键点热力图生成单元,用于对各所述关键点热力图进行图像处理,得到经图像处理后的多张所述关键点热力图;
识别模型训练单元,分别连接所述关键点热力图处理单元和所述训练数据获取单元,用于以经图像处理后的各所述关键点热力图和所采集的各所述发动机链轮图像为所述训练样本,训练形成所述关键点识别模型。
3.如权利要求2所述的发动机链轮识别系统,其特征在于,训练所述关键点识别模型采用的神经网络结构为堆叠沙漏网络结构。
4.如权利要求1所述的发动机链轮识别系统,其特征在于,所述链轮关键点位置确定模块中具体包括:
候选点筛选单元,用于将所述关键点热力图上的像素值大于一预设阈值的各所述关键点作为候选点,并将各所述候选点从各所述关键点中筛选出来;
候选点聚类单元,连接所述候选点筛选单元,用于对所筛选的所有所述候选点进行聚类形成多个聚类区域;
链轮关键点位置确定单元,连接所述候选点聚类单元,用于将各所述聚类区域中的中心点作为所述链轮关键点,以最终确定各所述链轮关键点在所述关键点热力图上的具体所处位置。
5.如权利要求4所述的发动机链轮识别系统,其特征在于,预设的所述阈值为0.6。
6.如权利要求1所述的发动机链轮识别系统,其特征在于,所述链轮关键点指标计算模块中具体包括:
链轮关键点数量计算单元,用于计算各所述链轮关键点的数量;
链轮中心位置计算单元,用于根据坐标定位法,确定各所述链轮关键点在所述关键点热力图上的坐标位置,并根据各所述链轮关键点在所述关键点热力图上的坐标位置计算得到所述发动机链轮的圆心的坐标位置和链轮半径;
相邻关键点夹角计算单元,连接所述链轮中心位置计算单元,用于根据所述圆心的坐标位置以及各所述链轮关键点的坐标位置,计算得到各相邻的所述链轮关键点之间的夹角。
7.如权利要求6所述的发动机链轮识别系统,其特征在于,所述发动机链轮类型判断模块中具体包括:
第一发动机链轮类型判断单元,用于根据所述链轮关键点的数量判断所述发动机链轮的类型,并输出第一类型判断结果;
第二发动机链轮类型判断单元,用于根据各相邻的所述链轮关键点之间的所述夹角判断所述发动机链轮的类型,并输出第二类型判断结果。
8.如权利要求7所述的发动机链轮识别系统,其特征在于,还包括:
报警模块,连接所述发动机链轮类型判断模块,用于在所述第一类型判断结果和所述第二类型判断结果不一致时进行提示报警。
9.一种基于关键点检测的发动机链轮识别方法,通过应用如权1-8任意一项的所述发动机链轮识别系统实现,其特征在于,包括如下步骤:
步骤S1,所述发动机链轮识别系统采集待检测的所述发动机链轮图像;
步骤S2,所述发动机链轮识别系统根据一预设的所述关键点识别模型对所述发动机链轮图像进行关键点检测,得到所述发动机链轮图像对应的关键点热力图;
步骤S3,所述发动机链轮识别系统根据所述关键点热力图上的各关键点的像素值,确定各所述链轮关键点在所述关键点热力图上的具体所处位置;
步骤S4,所述发动机链轮识别系统根据所识别的各所述链轮关键点在所述关键点热力图上分别所处的位置,计算出可用于确定所述发动机链轮类型的多个链轮关键点指标;
步骤S5,所述发动机链轮识别系统根据计算的各所述链轮关键点指标判断出所述发动机链轮的类型。
10.如权利要求9所述的发动机链轮识别方法,其特征在于,所述步骤S2中,所述发动机链轮识别系统训练所述关键点识别模型的具体过程包括如下步骤:
步骤S21,所述发动机链轮识别系统获取多张所述发动机链轮图像;
步骤S22,所述发动机链轮识别系统将各所述发动机链轮图像提供给检测人员对图像上的各所述链轮关键点进行人工标注;
步骤S23,所述发动机链轮识别系统生成经人工标注后的各所述发动机链轮图像分别对应的多张所述关键点热力图;
步骤S24,所述发动机链轮识别系统对各所述关键点热力图进行图像处理,得到经图像处理后的多张所述关键点热力图;
步骤S25,所述发动机链轮识别系统以经图像处理后的各所述关键点热力图和所采集的各所述发动机链轮图像为训练样本,并通过堆叠沙漏网络,最终训练形成所述关键点识别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911273561.8A CN111126416A (zh) | 2019-12-12 | 2019-12-12 | 基于关键点检测的发动机链轮识别系统及识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911273561.8A CN111126416A (zh) | 2019-12-12 | 2019-12-12 | 基于关键点检测的发动机链轮识别系统及识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111126416A true CN111126416A (zh) | 2020-05-08 |
Family
ID=70499853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911273561.8A Pending CN111126416A (zh) | 2019-12-12 | 2019-12-12 | 基于关键点检测的发动机链轮识别系统及识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126416A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882531A (zh) * | 2020-07-15 | 2020-11-03 | 中国科学技术大学 | 髋关节超声图像自动分析方法 |
CN113702083A (zh) * | 2021-10-27 | 2021-11-26 | 江苏思克赛斯机械制造有限公司 | 一种传动载物平台的性能评估方法及系统 |
CN113706506A (zh) * | 2021-08-27 | 2021-11-26 | 创新奇智(重庆)科技有限公司 | 一种装配状态检测的方法、装置、电子设备及存储介质 |
CN118570284A (zh) * | 2024-08-05 | 2024-08-30 | 广州市易鸿智能装备股份有限公司 | 一种转接片焊盘检测方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709909A (zh) * | 2016-12-13 | 2017-05-24 | 重庆理工大学 | 一种基于深度学习的柔性机器人视觉识别与定位系统 |
CN106897995A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种面向机械装配过程的零部件自动识别方法 |
US20180322656A1 (en) * | 2015-11-30 | 2018-11-08 | Delphi Technologies, Llc | Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern |
CN109508681A (zh) * | 2018-11-20 | 2019-03-22 | 北京京东尚科信息技术有限公司 | 生成人体关键点检测模型的方法和装置 |
CN109657595A (zh) * | 2018-12-12 | 2019-04-19 | 中山大学 | 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 |
CN109726659A (zh) * | 2018-12-21 | 2019-05-07 | 北京达佳互联信息技术有限公司 | 人体骨骼关键点的检测方法、装置、电子设备和可读介质 |
CN109801335A (zh) * | 2019-01-08 | 2019-05-24 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
US20190188530A1 (en) * | 2017-12-20 | 2019-06-20 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method and apparatus for processing image |
CN110426112A (zh) * | 2019-07-04 | 2019-11-08 | 平安科技(深圳)有限公司 | 一种生猪体重测量方法及装置 |
CN110516643A (zh) * | 2019-08-30 | 2019-11-29 | 电子科技大学 | 一种基于联合热力图的人脸3d关键点检测方法及系统 |
-
2019
- 2019-12-12 CN CN201911273561.8A patent/CN111126416A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180322656A1 (en) * | 2015-11-30 | 2018-11-08 | Delphi Technologies, Llc | Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern |
CN106709909A (zh) * | 2016-12-13 | 2017-05-24 | 重庆理工大学 | 一种基于深度学习的柔性机器人视觉识别与定位系统 |
CN106897995A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种面向机械装配过程的零部件自动识别方法 |
US20190188530A1 (en) * | 2017-12-20 | 2019-06-20 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method and apparatus for processing image |
CN109508681A (zh) * | 2018-11-20 | 2019-03-22 | 北京京东尚科信息技术有限公司 | 生成人体关键点检测模型的方法和装置 |
CN109657595A (zh) * | 2018-12-12 | 2019-04-19 | 中山大学 | 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 |
CN109726659A (zh) * | 2018-12-21 | 2019-05-07 | 北京达佳互联信息技术有限公司 | 人体骨骼关键点的检测方法、装置、电子设备和可读介质 |
CN109801335A (zh) * | 2019-01-08 | 2019-05-24 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
CN110426112A (zh) * | 2019-07-04 | 2019-11-08 | 平安科技(深圳)有限公司 | 一种生猪体重测量方法及装置 |
CN110516643A (zh) * | 2019-08-30 | 2019-11-29 | 电子科技大学 | 一种基于联合热力图的人脸3d关键点检测方法及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882531A (zh) * | 2020-07-15 | 2020-11-03 | 中国科学技术大学 | 髋关节超声图像自动分析方法 |
CN111882531B (zh) * | 2020-07-15 | 2021-08-17 | 中国科学技术大学 | 髋关节超声图像自动分析方法 |
CN113706506A (zh) * | 2021-08-27 | 2021-11-26 | 创新奇智(重庆)科技有限公司 | 一种装配状态检测的方法、装置、电子设备及存储介质 |
CN113702083A (zh) * | 2021-10-27 | 2021-11-26 | 江苏思克赛斯机械制造有限公司 | 一种传动载物平台的性能评估方法及系统 |
CN118570284A (zh) * | 2024-08-05 | 2024-08-30 | 广州市易鸿智能装备股份有限公司 | 一种转接片焊盘检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126416A (zh) | 基于关键点检测的发动机链轮识别系统及识别方法 | |
JP5155886B2 (ja) | デジタル画像において目を検出する方法および装置 | |
KR100830523B1 (ko) | 검사 시스템에 이용하기 위한 이미지 처리 시스템 | |
CN105453153B (zh) | 交通灯检测 | |
WO2017190574A1 (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
CN103390164B (zh) | 基于深度图像的对象检测方法及其实现装置 | |
CN113822247B (zh) | 基于航拍影像的违章建筑识别方法及系统 | |
US20130136307A1 (en) | Method for counting objects and apparatus using a plurality of sensors | |
CN112534470A (zh) | 用于基于图像的目标对象检验的系统及方法 | |
CN108681693A (zh) | 基于可信区域的车牌识别方法 | |
JP2002056387A (ja) | 状態表示器の認識処理装置および認識処理方法 | |
CN112270310A (zh) | 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置 | |
CN102867195B (zh) | 一种遥感图像多类目标检测和识别方法 | |
JP6079948B1 (ja) | 表面欠陥検出装置および表面欠陥検出方法 | |
TWI669519B (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
CN108960081A (zh) | 一种手掌图像识别方法、装置及计算机可读存储介质 | |
JP2011002919A (ja) | 物体検出方法、物体検出装置 | |
JP5530530B2 (ja) | 車両の周辺監視装置 | |
CN111798408B (zh) | 一种内窥镜干扰图像检测与分级系统及方法 | |
CN109190742A (zh) | 一种基于灰度特征的编码特征点的解码方法 | |
CN113192013A (zh) | 一种反光表面缺陷检测方法、系统及电子设备 | |
Xu et al. | A defect inspection for explosive cartridge using an improved visual attention and image-weighted eigenvalue | |
CN114399799A (zh) | 一种基于YOLOv5网络的口罩佩戴检测方法 | |
CN116823840B (zh) | 一种基于图像处理的复合材料缺陷检测方法及系统 | |
CN112036391B (zh) | 一种基于页岩气田生产站场的电子巡检方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |