CN114373122A - 设备识别方法、装置、计算机设备和存储介质 - Google Patents
设备识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114373122A CN114373122A CN202111435599.8A CN202111435599A CN114373122A CN 114373122 A CN114373122 A CN 114373122A CN 202111435599 A CN202111435599 A CN 202111435599A CN 114373122 A CN114373122 A CN 114373122A
- Authority
- CN
- China
- Prior art keywords
- feature map
- signboard
- equipment
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种设备识别方法、装置、计算机设备和存储介质。所述方法包括：通过接收终端发送的包含设备标识牌的待识别图像，采用区域检测模型对待识别图像进行识别，得到设备标识牌的目标标识牌信息，并判断数据库中是否存在与目标标识牌信息相同的标识牌信息，若数据库中存在与目标标识牌信息相同的标识牌信息，则确定目标标识牌信息对应的设备为待维护设备，采用本方法后无需人工识别标识牌信息，实现通过区域检测模型识别待识别图像得到标识牌信息，从而提高了标识牌信息的识别准确性。
Description
技术领域
本申请涉及人工智能识别技术领域，特别是涉及一种设备识别方法、装置、计算机设备和存储介质。
背景技术
目前，在电力现场作业中，在施工人员对用电设备进行操作或检修时，需要确认施工现场设备是否与指定的待维护设备一致，就需要对施工现场设备的标识牌进行识别。
传统技术中，是施工人员人工识别出标识牌信息，以判断标识牌信息对应的设备是否是指定的待维护设备。
然而，目前的人工识别待维护设备的方法存在识别准确性较低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高待维护设备的识别准确性的设备识别方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种设备识别方法。所述方法包括：
接收终端发送的包含设备标识牌的待识别图像；
采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
在其中一个实施例中，所述多层卷积神经网络包括你只需要看一次卷积神经网络第四版YOLOv4。
在其中一个实施例中，所述采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，包括：
采用所述区域检测模型提取所述待识别图像的特征，得到第一特征图；
对所述第一特征图进行卷积处理，得到第二特征图；
对所述第二特征图进行卷积处理，得到第三特征图；
根据所述第一特征图、所述第二特征图以及所述第三特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
在其中一个实施例中，所述根据所述第一特征图、所述第二特征图以及所述第三特征图，对所述待识别图像进行识别，得到所述目标标识牌信息，包括：
对所述第二特征图和所述第三特征图进行融合处理，得到第一融合特征图；
对所述第一融合特征图进行卷积处理，得到第四特征图；
对所述第四特征图进行上采样处理，得到第五特征图；
对所述第一特征图和所述第五特征图进行融合处理，得到第二融合特征图；
根据所述第二融合特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
在其中一个实施例中，所述对所述第二特征图和所述第三特征图进行融合处理，得到第一融合特征图，包括：
对所述第三特征图进行卷积处理，得到第六特征图；
对所述第二特征图和所述第六特征图进行融合处理，得到所述第一融合特征图。
在其中一个实施例中，所述对所述第二特征图和所述第六特征图进行融合处理，得到所述第一融合特征图，包括：
对所述第六特征图进行上采样处理，得到上采样处理后的第六特征图；
对所述第二特征图和所述上采样处理后的第六特征图进行融合处理，得到所述第一融合特征图。
在其中一个实施例中，所述方法还包括：
获取包含设备标识牌的样本图像；
对所述样本图像中的设备标识牌进行标注，得到标注后的样本图像；
基于标注后的样本图像，对多层卷积神经网络进行训练，得到所述区域检测模型。
第二方面，本申请还提供了一种设备识别装置。所述装置包括：
接收模块，用于接收终端发送的包含设备标识牌的待识别图像；
识别模块，用于采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断模块，用于判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
确定模块，用于若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收终端发送的包含设备标识牌的待识别图像；
采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收终端发送的包含设备标识牌的待识别图像；
采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
接收终端发送的包含设备标识牌的待识别图像；
采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
上述设备识别方法、装置、计算机设备和存储介质，通过接收终端发送的包含设备标识牌的待识别图像，采用区域检测模型对待识别图像进行识别，得到设备标识牌的目标标识牌信息，并判断数据库中是否存在与目标标识牌信息相同的标识牌信息，若数据库中存在与目标标识牌信息相同的标识牌信息，则确定目标标识牌信息对应的设备为待维护设备，从而无需人工识别标识牌信息，实现通过区域检测模型识别待识别图像得到标识牌信息，从而提高了标识牌信息的识别准确性。
附图说明
图1为一个实施例中设备识别方法的应用环境图；
图2是本申请实施例提供的一种设备识别方法的流程示意图；
图3是本申请实施例提供的一种标识牌信息识别方法的流程示意图；
图4是本申请实施例提供的一种区域检测模型的结构示意图；
图5是本申请实施例提供的一种标识牌信息识别方法的流程示意图；
图6是本申请实施例提供的一种第一融合特征图获得方法的流程示意图；
图7是本申请实施例提供的另一种第一融合特征图获得方法的流程示意图；
图8是本申请实施例提供的一种区域检测模型训练方法的流程示意图；
图9是本申请实施例提供的一种设备识别装置的结构示意图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的设备识别方法，可以应用于如图1所示的应用环境中，图1为一个实施例中设备识别方法的应用环境图。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器接收终端发送的包含设备标识牌的待识别图像，采用区域检测模型对待识别图像进行识别，得到设备标识牌的目标标识牌信息，并判断数据库中是否存在与目标标识牌信息相同的标识牌信息，若数据库中存在与目标标识牌信息相同的标识牌信息，则确定目标标识牌信息对应的设备为待维护设备，从而无需人工识别标识牌信息，实现通过区域检测模型识别待识别图像得到标识牌信息，从而提高了标识牌信息的识别准确性。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，图2是本申请实施例提供的一种设备识别方法的流程示意图。以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S201、接收终端发送的包含设备标识牌的待识别图像。
本实施例中，施工人员到达现场后，可以通过终端拍摄设备标识牌的图像，终端将该图像发送给服务器，相应的，服务器接收终端发送的该图像，该图像即为待识别图像。
S202、采用区域检测模型对待识别图像进行识别，得到设备标识牌的目标标识牌信息，其中，区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型。
目标标识牌信息可以包括目标标识牌所标识的设备的名称、编号等信息。名称例如为宝安区税务局九公用断路器柜，编号例如为06191600245。区域检测模型卷积神经网络模型，卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。具体的，本实施例中的区域检测模型可以为轻量级检测模型。
S203、判断数据库中是否存在与目标标识牌信息相同的标识牌信息。
数据库中存储有待维护设备的名称、编号等信息。服务器识别出待识别图像中的目标标识牌信息后，可以将目标标识牌信息与数据库中的标识牌信息进行比对，若数据库中存在与目标标识牌信息相同的标识牌信息，则确定施工人员所处的位置是正确的，该位置对应的设备为待维护设备。
S204、若数据库中存在与目标标识牌信息相同的标识牌信息，则确定目标标识牌信息对应的设备为待维护设备。
传统技术中采用人工识别标识牌信息，存在施工人员可能识别错误、误识别的概率较高的问题。而本实施例中采用区域检测模型对待识别图像进行识别，得到设备标识牌的目标标识牌信息，避免人工识别错误以及误识别概率较高的问题。
本实施例提供的设备识别方法，通过接收终端发送的包含设备标识牌的待识别图像，采用区域检测模型对待识别图像进行识别，得到设备标识牌的目标标识牌信息，并判断数据库中是否存在与目标标识牌信息相同的标识牌信息，若数据库中存在与目标标识牌信息相同的标识牌信息，则确定目标标识牌信息对应的设备为待维护设备，从而无需人工识别标识牌信息，实现通过区域检测模型识别待识别图像得到标识牌信息，从而提高了标识牌信息的识别准确性。
需要说明的是，可以通过区域检测模型对待识别图像进行图片分类、轮廓识别，以切割出包括字符信息的区域图像，对区域图像进行校正，例如对于不规则的区域图像，将不规则的区域图像校正为规则的例如长方形的区域图像，之后对该区域图像进行直线检测、文字识别，以得到目标标识牌信息。
服务器识别出目标标识牌信息，并确定目标标识牌信息对应的设备为待维护设备后，可以向终端发送第一确认信息，以由终端显示第一确认信息，第一确认信息用于指示目标标识牌信息对应的设备为待维护设备，施工人员看到终端上显示的该第一确认信息后，可以确定自己所处的位置是正确的施工位置，并且所处的位置为安全的施工位置，从而可以进行作业，例如验证设备是否真的已经断电等作业。
需要说明的是，若数据库中不存在与目标标识牌信息相同的标识牌信息，则服务器确定识别出的目标标识牌信息对应的设备不为待维护设备，并向终端发送第二确认信息，以由终端显示第二确认信息，第二确认信息用于指示目标标识牌信息对应的设备不为待维护设备，施工人员看到终端上显示的第二确认信息后，可以确定自己所处的位置是不正确的施工位置，从而不进行作业，保证工人的人身安全。
可选的，多层卷积神经网络包括你只需要看一次卷积神经网络第四版(You onlylook once Version 4，YOLOv4)。YOLOv4是一种轻量而高性能的深度学习算法，继承了yolo系列算法巧妙的网络设计方式，采用端到端的推理方式，算法泛化性强，性能高，准确性高。因此，通过训练后的YOLOv4模型能够得到准确的设备标识牌的目标标识牌信息。
需要说明的是，也可以采用你只需要看一次卷积神经网络第三版(You only lookonce Version 3，YOLOv3)，也即通过训练后的YOLOv3识别待识别图像中的目标标识牌信息。
参照图3，图3是本申请实施例提供的一种标识牌信息识别方法的流程示意图。本实施例涉及的是如何采用区域检测模型对待识别图像进行识别，得到设备标识牌的目标标识牌信息的一种可选的实现方式。在上述实施例的基础上，上述的S202可以通过如下步骤实现：
S301、采用区域检测模型提取待识别图像的特征，得到第一特征图。
参照图4，图4是本申请实施例提供的一种区域检测模型的结构示意图。该区域检测模型包括Darknet-53网络、卷积模块1、上采样模块1、融合模块1、卷积模块2、上采样模块2、融合模块2以及卷积模块3。其中，Darknet是一个较为轻型的完全基于C与CUDA的开源深度学习框架，其主要特点就是容易安装，没有任何依赖项(OpenCV都可以不用)，移植性非常好，支持CPU与GPU两种计算方式。Darknet的优势：(1)darknet完全由C语言实现，没有任何依赖项，可以使用OpenCV，但只是用其来显示图片、为了更好的可视化；(2)darknet支持CPU与GPU(CUDA/cuDNN，使用GPU当然更快更好了)；(3)正是因为其较为轻量型，没有像TensorFlow那般强大的API，所以使用灵活，适合用来研究底层，可以更为方便的从底层对其进行改进与扩展；(4)darknet的实现与caffe的实现存在相似的地方，熟悉了darknet，相信对上手caffe有帮助。
本实施例中的Darknet-53网络包括卷积模块4、Residual Block模块1(残差模块1)、Residual Block模块2、Residual Block模块3、Residual Block模块4以及ResidualBlock模块5。其中，待输入图像的尺寸为416×416×3，将待输入图像输入至卷积模块4，卷积模块4的卷积核数量为32，卷积核尺寸为3×3，输出的特征图的大小为416×416×32。Residual Block模块1为1×64，其中，1为通道数量，64表示特征向量的数量，输出的特征图大小为208×208×64。Residual Block模块2为2×128，输出的特征图大小为104×104×128。Residual Block模块3为8×256，输出的特征图大小为52×52×256。Residual Block模块4为8×512，输出的特征图大小为26×26×512。Residual Block模块5为4×1024，输出的特征图大小为13×13×1024。
参照图4，Residual Block模块3输出的特征图为第一特征图。
S302、对第一特征图进行卷积处理，得到第二特征图。
如图4所示，第一特征图输入到Residual Block模块4，经Residual Block模块4处理后输出的特征图为第二特征图。第二特征图的大小为26×26×512。
S303、对第二特征图进行卷积处理，得到第三特征图。
第二特征图输入到Residual Block模块5，经Residual Block模块5处理后输出的特征图为第三特征图。
S304、根据第一特征图、第二特征图以及第三特征图，对待识别图像进行识别，得到目标标识牌信息。
本实施例中，可以将第一特征图、第二特征图和第三特征图进行融合，得到融合后的特征图，之后基于融合后的特征图对待识别图像进行识别，得到目标标识牌信息。因为融合后的特征图能够融合更多的细节信息，因此，能够基于更多的细节信息识别出目标标识牌信息，从而保证识别出的目标标识牌信息的准确性。
本实施例中，通过采用区域检测模型提取待识别图像的特征，得到第一特征图，对第一特征图进行卷积处理，得到第二特征图，对第二特征图进行卷积处理，得到第三特征图，根据第一特征图、第二特征图以及第三特征图，对待识别图像进行识别，得到目标标识牌信息，能够保证识别出的目标标识牌信息的准确性。
参照图5，图5是本申请实施例提供的一种标识牌信息识别方法的流程示意图。本实施例涉及的是如何根据第一特征图、第二特征图以及第三特征图，对待识别图像进行识别，得到目标标识牌信息的一种可选的实现方式。在上述实施例的基础上，上述的S304可以通过如下步骤实现：
S501、对第二特征图和第三特征图进行融合处理，得到第一融合特征图。
本实施例中，可以对第二特征图和第三特征图进行融合处理，得到第一融合特征图。
S502、对第一融合特征图进行卷积处理，得到第四特征图。
可以由如图4中的卷积模块2对第一融合特征图进行卷积处理，得到第四特征图。其中，卷积模块2为5×256，卷积模块2输出的特征图大小为26×26×256。即第四特征图大小为26×26×256。
S503、对第四特征图进行上采样处理，得到第五特征图。
对第四特征图进行上采样处理，得到第五特征图，上采样层可以为通过插值算法实现，以放大第四特征图的分辨率，以进一步提高识别出的目标标识牌信息的准确性。
本实施例中，可以由上采样模块2对第四特征图进行上采样处理，得到第五特征图。上采样模块2输出的特征图大小为52×52×128。
S504、对第一特征图和第五特征图进行融合处理，得到第二融合特征图。
可以由融合模块2对第一特征图和第五特征图进行融合处理，得到第二融合特征图。融合模块2输出的特征图大小为52×52×384。
S505、根据第二融合特征图，对待识别图像进行识别，得到目标标识牌信息。
其中，根据第二融合特征图，对待识别图像进行识别，得到目标标识牌信息可以通过如下方式实现：
对第二融合特征图进行卷积处理，得到卷积处理后的第二融合特征图，之后再对卷积处理后的第二融合特征图再次进行卷积处理，得到目标融合特征图，根据目标融合特征图，对待识别图像进行识别，得到目标标识牌信息。
其中，可以由卷积模块5对卷积处理后的第二融合特征图再次进行卷积处理，得到目标融合特征图。目标融合特征图的大小为52×52×75。其中，卷积模块5可以包括两个卷积层，其中一个卷积层的卷积核大小为3×3，另一个卷积层的卷积核大小为1×1。
本实施例中，通过对第二特征图和第三特征图进行融合处理，得到第一融合特征图，对第一融合特征图进行卷积处理，得到第四特征图，并对第四特征图进行上采样处理，得到第五特征图，进而对第一特征图和第五特征图进行融合处理，得到第二融合特征图，根据第二融合特征图，对待识别图像进行识别，得到目标标识牌信息，从而能够进一步提高识别出的目标标识牌信息的准确性。
参照图6，图6是本申请实施例提供的一种第一融合特征图获得方法的流程示意图。本实施例涉及的是如何对第二特征图和第三特征图进行融合处理，得到第一融合特征图的一种可选的实现方式。在上述实施例的基础上，上述的S501可以包括如下步骤：
S601、对第三特征图进行卷积处理，得到第六特征图。
如图4所示，可以由卷积模块1对第三特征图进行卷积处理，得到第六特征图。第六特征图为卷积模块1输出的特征图。卷积模块1为5×1024，输出的特征图大小为13×13×1024。
S602、对第二特征图和第六特征图进行融合处理，得到第一融合特征图。
第六特征图输入至上采样模块1，由上采样模块1对第六特特征图进行上采样处理，上采样模块1将输出的特征图输入至融合模块1，融合模块1对第二特征图和第六特征图进行融合处理，得到第一融合特征图。
其中，上采样模块1输出的特征图大小为26×26×256。第二特征图大小26×26×512，因此，融合模块1输出的特征图大小为26×26×768。
本实施例中，通过对第三特征图进行卷积处理，得到第六特征图，并对第二特征图和第六特征图进行融合处理，得到第一融合特征图，能够使得到的第一融合特征图包含更多的细节信息，从而进一步提高识别出的目标标识牌信息的准确性。
参照图7，图7是本申请实施例提供的另一种第一融合特征图获得方法的流程示意图。本实施例涉及的是如何对第二特征图和第六特征图进行融合处理，得到第一融合特征图的一种可选的实现方式。在上述实施例的基础上，上述的S602可以包括如下步骤：
S701、对第六特征图进行上采样处理，得到上采样处理后的第六特征图。
如图4所示，可以由上采样模块1对卷积模块1输出的第六特征图进行上采样处理，以放大第六特征图的分辨率，得到上采样处理后的第六特征图。
S702、对第二特征图和上采样处理后的第六特征图进行融合处理，得到第一融合特征图。
本实施例中，由融合模块1对第二特征图和上采样处理后的第六特征图进行融合处理，得到第一融合特征图，从而进一步提高识别出的目标标识牌信息的准确性。
需要说明的是，可选的，也可以基于卷积模块2输出的特征图对待识别图像进行识别，以得到目标标识牌信息。如图4所示，由卷积模块6对卷积模块2输出的大小为26×26×256的第四特征图进行卷积处理，得到卷积处理后的第四特征图，基于卷积处理后的第四特征图识别出目标标识牌信息。卷积模块6可以包括两个卷积层，其中一个卷积层的卷积核大小为3×3，另一个卷积层的卷积核大小为1×1。其中，卷积处理后的第四特征图大小为26×26×75。
可选的，也可以由卷积模块7对卷积模块1输出的大小为13×13×1024的第六特征图进行卷积处理，得到卷积处理后的第六特征图，基于卷积处理后的第六特征图得到目标标识牌信息。卷积处理后的第六特征图大小为13×13×75。
其中，卷积模块7可以包括两个卷积层，其中一个卷积层的卷积核大小为3×3，另一个卷积层的卷积核大小为1×1。
参照图8，图8是本申请实施例提供的一种区域检测模型训练方法的流程示意图。该方法包括如下步骤：
S801、获取包含设备标识牌的样本图像。
本实施例中，采用yolov4算法对大量设备标识牌的数据集进行训练，实现高准确度的设备标识牌信息识别。
S802、对样本图像中的设备标识牌进行标注，得到标注后的样本图像。
S803、基于标注后的样本图像，对多层卷积神经网络进行训练，得到区域检测模型。
由于在现场施工安全管控领域，传统技术中，如果人工识别出的标识牌信息不准确，施工人员所处的位置不是待维护设备所处的位置的情况下，工人所处的位置可能是未停电的设备的位置，可能会存在触电风险。而本方法采用基于yolov4算法对大量设备标识牌数据集进行训练，获得准确性高，鲁棒性强的区域检测模型，运行于深度学习服务器上，实现高准确度的设备标识牌识别，可以替代传统人工核实标识牌的情况，提高工作效率，以确保标识牌信息对应的设备为待维护设备的情况下才进行施工，以保障工人人身安全。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的设备识别方法的设备识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个设备识别装置实施例中的具体限定可以参见上文中对于设备识别方法的限定，在此不再赘述。
参照图9，图9是本申请实施例提供的一种设备识别装置的结构示意图，该装置900包括：
接收模块901，用于接收终端发送的包含设备标识牌的待识别图像；
识别模块902，用于采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断模块903，用于判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
确定模块904，用于若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
本实施例提供的设备识别装置，通过接收终端发送的包含设备标识牌的待识别图像，采用区域检测模型对待识别图像进行识别，得到设备标识牌的目标标识牌信息，并判断数据库中是否存在与目标标识牌信息相同的标识牌信息，若数据库中存在与目标标识牌信息相同的标识牌信息，则确定目标标识牌信息对应的设备为待维护设备，从而无需人工识别标识牌信息，实现通过区域检测模型识别待识别图像得到标识牌信息，从而提高了标识牌信息的识别准确性。
在其中一个实施例中，所述多层卷积神经网络包括你只需要看一次卷积神经网络第四版YOLOv4。
在其中一个实施例中，识别模块902包括：
提取子模块，用于采用所述区域检测模型提取所述待识别图像的特征，得到第一特征图；
第一处理子模块，用于对所述第一特征图进行卷积处理，得到第二特征图；
第二处理子模块，用于对所述第二特征图进行卷积处理，得到第三特征图；
识别子模块，用于根据所述第一特征图、所述第二特征图以及所述第三特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
在其中一个实施例中，识别子模块包括：
第一融合单元，用于对所述第二特征图和所述第三特征图进行融合处理，得到第一融合特征图；
第一处理单元，用于对所述第一融合特征图进行卷积处理，得到第四特征图；
上采样处理单元，用于对所述第四特征图进行上采样处理，得到第五特征图；
第二融合单元，用于对所述第一特征图和所述第五特征图进行融合处理，得到第二融合特征图；
识别单元，用于根据所述第二融合特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
在其中一个实施例中，第一融合单元，包括：
处理子单元，用于对所述第三特征图进行卷积处理，得到第六特征图；
融合子单元，用于对所述第二特征图和所述第六特征图进行融合处理，得到所述第一融合特征图。
在其中一个实施例中，融合子单元，具体用于对所述第六特征图进行上采样处理，得到上采样处理后的第六特征图；对所述第二特征图和所述上采样处理后的第六特征图进行融合处理，得到所述第一融合特征图。
在其中一个实施例中，装置900还可以包括：
获取模块，用于获取包含设备标识牌的样本图像；
标注模块，用于对所述样本图像中的设备标识牌进行标注，得到标注后的样本图像；
训练模块，用于基于标注后的样本图像，对多层卷积神经网络进行训练，得到所述区域检测模型。
上述设备识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示，图10为一个实施例中计算机设备的内部结构图。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储XX数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种设备识别方法。
本领域技术人员可以理解，图Y中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收终端发送的包含设备标识牌的待识别图像；
采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用所述区域检测模型提取所述待识别图像的特征，得到第一特征图；
对所述第一特征图进行卷积处理，得到第二特征图；
对所述第二特征图进行卷积处理，得到第三特征图；
根据所述第一特征图、所述第二特征图以及所述第三特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述第二特征图和所述第三特征图进行融合处理，得到第一融合特征图；
对所述第一融合特征图进行卷积处理，得到第四特征图；
对所述第四特征图进行上采样处理，得到第五特征图；
对所述第一特征图和所述第五特征图进行融合处理，得到第二融合特征图；
根据所述第二融合特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述第三特征图进行卷积处理，得到第六特征图；
对所述第二特征图和所述第六特征图进行融合处理，得到所述第一融合特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述第六特征图进行上采样处理，得到上采样处理后的第六特征图；
对所述第二特征图和所述上采样处理后的第六特征图进行融合处理，得到所述第一融合特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取包含设备标识牌的样本图像；
对所述样本图像中的设备标识牌进行标注，得到标注后的样本图像；
基于标注后的样本图像，对多层卷积神经网络进行训练，得到所述区域检测模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收终端发送的包含设备标识牌的待识别图像；
采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
在一个实施例中，所述多层卷积神经网络包括你只需要看一次卷积神经网络第四版YOLOv4。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用所述区域检测模型提取所述待识别图像的特征，得到第一特征图；
对所述第一特征图进行卷积处理，得到第二特征图；
对所述第二特征图进行卷积处理，得到第三特征图；
根据所述第一特征图、所述第二特征图以及所述第三特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述第二特征图和所述第三特征图进行融合处理，得到第一融合特征图；
对所述第一融合特征图进行卷积处理，得到第四特征图；
对所述第四特征图进行上采样处理，得到第五特征图；
对所述第一特征图和所述第五特征图进行融合处理，得到第二融合特征图；
根据所述第二融合特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述第三特征图进行卷积处理，得到第六特征图；
对所述第二特征图和所述第六特征图进行融合处理，得到所述第一融合特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述第六特征图进行上采样处理，得到上采样处理后的第六特征图；
对所述第二特征图和所述上采样处理后的第六特征图进行融合处理，得到所述第一融合特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取包含设备标识牌的样本图像；
对所述样本图像中的设备标识牌进行标注，得到标注后的样本图像；
基于标注后的样本图像，对多层卷积神经网络进行训练，得到所述区域检测模型。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述所述的方法的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种设备识别方法，其特征在于，所述方法包括：
接收终端发送的包含设备标识牌的待识别图像；
采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
2.根据权利要求1所述的方法，其特征在于，所述多层卷积神经网络包括你只需要看一次卷积神经网络第四版YOLOv4。
3.根据权利要求1所述的方法，其特征在于，所述采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，包括：
采用所述区域检测模型提取所述待识别图像的特征，得到第一特征图；
对所述第一特征图进行卷积处理，得到第二特征图；
对所述第二特征图进行卷积处理，得到第三特征图；
根据所述第一特征图、所述第二特征图以及所述第三特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一特征图、所述第二特征图以及所述第三特征图，对所述待识别图像进行识别，得到所述目标标识牌信息，包括：
对所述第二特征图和所述第三特征图进行融合处理，得到第一融合特征图；
对所述第一融合特征图进行卷积处理，得到第四特征图；
对所述第四特征图进行上采样处理，得到第五特征图；
对所述第一特征图和所述第五特征图进行融合处理，得到第二融合特征图；
根据所述第二融合特征图，对所述待识别图像进行识别，得到所述目标标识牌信息。
5.根据权利要求4所述的方法，其特征在于，所述对所述第二特征图和所述第三特征图进行融合处理，得到第一融合特征图，包括：
对所述第三特征图进行卷积处理，得到第六特征图；
对所述第二特征图和所述第六特征图进行融合处理，得到所述第一融合特征图。
6.根据权利要求5所述的方法，其特征在于，所述对所述第二特征图和所述第六特征图进行融合处理，得到所述第一融合特征图，包括：
对所述第六特征图进行上采样处理，得到上采样处理后的第六特征图；
对所述第二特征图和所述上采样处理后的第六特征图进行融合处理，得到所述第一融合特征图。
7.根据权利要求1-6任一所述的方法，其特征在于，所述方法还包括：
获取包含设备标识牌的样本图像；
对所述样本图像中的设备标识牌进行标注，得到标注后的样本图像；
基于标注后的样本图像，对多层卷积神经网络进行训练，得到所述区域检测模型。
8.一种设备识别装置，其特征在于，所述装置包括：
接收模块，用于接收终端发送的包含设备标识牌的待识别图像；
识别模块，用于采用区域检测模型对所述待识别图像进行识别，得到所述设备标识牌的目标标识牌信息，其中，所述区域检测模型为基于包含设备标识牌的样本图像，对多层卷积神经网络进行训练后得到的模型；
判断模块，用于判断数据库中是否存在与所述目标标识牌信息相同的标识牌信息；
确定模块，用于若所述数据库中存在与所述目标标识牌信息相同的标识牌信息，则确定所述目标标识牌信息对应的设备为待维护设备。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111435599.8A CN114373122A (zh) | 2021-11-29 | 2021-11-29 | 设备识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111435599.8A CN114373122A (zh) | 2021-11-29 | 2021-11-29 | 设备识别方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114373122A true CN114373122A (zh) | 2022-04-19 |
Family
ID=81141000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111435599.8A Pending CN114373122A (zh) | 2021-11-29 | 2021-11-29 | 设备识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114373122A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115132339A (zh) * | 2022-09-01 | 2022-09-30 | 南京易联阳光信息技术股份有限公司 | 一种医疗器械区块链标识数据的验证系统及方法 |
-
2021
- 2021-11-29 CN CN202111435599.8A patent/CN114373122A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115132339A (zh) * | 2022-09-01 | 2022-09-30 | 南京易联阳光信息技术股份有限公司 | 一种医疗器械区块链标识数据的验证系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110046600B (zh) | 用于人体检测的方法和装置 | |
| US20220253631A1 (en) | Image processing method, electronic device and storage medium | |
| US9165206B2 (en) | Updating point of interest data based on an image | |
| EP3968286A2 (en) | Method, apparatus, electronic device and storage medium for detecting change of building | |
| US11983903B2 (en) | Processing images using self-attention based neural networks | |
| US20220139096A1 (en) | Character recognition method, model training method, related apparatus and electronic device | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN111091182A (zh) | 数据处理方法、电子设备及存储介质 | |
| CN114373122A (zh) | 设备识别方法、装置、计算机设备和存储介质 | |
| EP2930632A1 (en) | Method for sorting media content and electronic device implementing same | |
| CN116703598A (zh) | 交易行为检测方法、装置、计算机设备和存储介质 | |
| CN115713769A (zh) | 文本检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN115758271A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN112990046B (zh) | 差异信息获取方法、相关装置及计算机程序产品 | |
| CN113361536A (zh) | 图像语义分割模型训练、图像语义分割方法及相关装置 | |
| CN111198926B (zh) | 业务办理管理方法、装置、电子设备及存储介质 | |
| CN109657523B (zh) | 一种可行驶区域检测方法和装置 | |
| CN114625984B (zh) | 兴趣点验证方法、装置、电子设备及存储介质 | |
| CN116453222B (zh) | 目标对象姿态确定方法、训练方法、装置以及存储介质 | |
| CN116991919B (zh) | 结合平台数据库的业务数据检索方法及人工智能系统 | |
| CN111652226B (zh) | 基于图片的目标识别方法、装置及可读存储介质 | |
| CN115909384A (zh) | 用于配电网基建项目勘察现场的文本识别方法和装置 | |
| CN115658899A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| CN114358328A (zh) | 变电站设备的开关状态检测方法、装置和计算机设备 | |
| CN117390461A (zh) | 数据处理方法、装置、设备、介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |