CN110688977B - 一种工业图像识别方法、装置、服务器及存储介质 - Google Patents

一种工业图像识别方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN110688977B
CN110688977B CN201910954819.4A CN201910954819A CN110688977B CN 110688977 B CN110688977 B CN 110688977B CN 201910954819 A CN201910954819 A CN 201910954819A CN 110688977 B CN110688977 B CN 110688977B
Authority
CN
China
Prior art keywords
image
state
layer
current
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910954819.4A
Other languages
English (en)
Other versions
CN110688977A (zh
Inventor
刘志勇
赵浴阳
周曼
王得磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Supcon Technology Co Ltd
Original Assignee
Zhejiang Supcon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Supcon Technology Co Ltd filed Critical Zhejiang Supcon Technology Co Ltd
Priority to CN201910954819.4A priority Critical patent/CN110688977B/zh
Publication of CN110688977A publication Critical patent/CN110688977A/zh
Application granted granted Critical
Publication of CN110688977B publication Critical patent/CN110688977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种工业图像识别方法、装置、服务器及存储介质，通过获取待识别的图像，图像的图像内容表征当前工业生产过程，确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则，并根据预处理规则对图像进行预处理得到目标图像，对目标图像进行识别得到图像的识别结果，识别结果表征当前工业生产过程的生产状态。本发明提供的技术方案，通过根据与当前工业生产过程处理的物体的当前属性匹配的预处理规则对所获取的待识别图像进行预处理得到目标图像，再对目标图像进行识别，便能得到该图像的当前工业生成过程的生产状态，不仅能够降低成本，还能够提高监控结果的准确性。

Description

一种工业图像识别方法、装置、服务器及存储介质
技术领域
本发明涉及图像识别技术领域，更具体地说，涉及一种工业图像识别方法、装置、服务器及存储介质。
背景技术
现有工业生产过程需要由人工监控工业生产过程的当前生产状态以为工业生产过程提供控制依据。比如，在煤料下料的过程中，由人工监控当前煤料的下料斗中的煤的量，来确定当前煤料的下料斗中煤量的状态，若监控到当前煤料的下料斗中的煤量的状态为缺料状态，将缺料状态作为控制依据，控制DCI系统的开关开启，进而向煤料的下料斗中下料，即向煤料的下料斗中加煤。
但是，通过人工监控工业生产过程的当前生产状态以为工业生产过程提供控制依据，不仅成本高，而且监控人员的监控水平参差不齐，导致监控结果可能存在不准确的情况。
发明内容
有鉴于此，本发明的目的在于提供一种工业图像识别方法、装置、服务器及存储介质，以降低成本、提高监控结果的准确性。
为了实现上述目的，现提出的方案如下：
本发明第一方面公开了一种工业图像识别方法，包括：
获取待识别的图像，所述图像的图像内容表征当前工业生产过程；
确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则；
根据所述预处理规则对所述图像进行预处理得到目标图像；
对所述目标图像进行识别得到所述图像的识别结果，所述识别结果表征所述当前工业生产过程的生产状态。
可选的，所述确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则，包括：
获取所述当前工业生产过程处理的物体的当前属性；
检测所述物体的当前属性是否表征所述物体处于第一状态，所述第一状态为静态或固体离散状态；
若所述物体的当前属性表征所述物体处于所述第一状态，确定预处理规则为第一预处理规则；
若所述物体的当前属性表征所述物体不处于所述第一状态，检测所述物体的当前属性是否表征所述物体处于第二状态，所述第二状态为运动状态或流体连续状态；
若所述物体的当前属性表征所述物体处于所述第二状态，确定预处理规则为第二预处理规则。
可选的，所述对所述目标图像进行识别得到所述图像的识别结果，包括：
调用预训练的图像识别模型，所述图像识别模型是以待训练图像识别模型预测出的目标图像样本的生产状态趋近于所述目标图像样本的标定生产状态为训练目标对所述待训练图像识别模型进行训练得到的；
将所述目标图像输入至所述图像识别模型得到所述图像的识别结果。
可选的，所述待训练图像识别模型的模型结构由至少一层构成，所述至少一层包括：第一可分离卷积层、第一归一化层和第一激活层、第一最大池化层、第二可分离卷积层、第二归一化层和第二激活层、第二最大池化层、第三可分离卷积层、第三激活层、第四可分离卷积层、第四激活层、第五可分离卷积层、第三归一化层和第五激活层，以及全连接层。
可选的，所述待训练图像识别模型预测目标图像样本的生产状态的过程包括：
将所述目标图像样本输入至所述第一可分离卷积层，并依次经过所述第一归一化层和第一激活层、第一最大池化层、第二可分离卷积层、第二归一化层和第二激活层、第二最大池化层、第三可分离卷积层、第三激活层、第四可分离卷积层、第四激活层、第五可分离卷积层、第三归一化层和第五激活层，以及全连接层预测得到所述目标图像样本的生产状态。
可选的，还包括：
确定待识别视频中最近预设数量个图像的识别结果；
检测所确定的识别结果中表征同一生产状态最多的目标识别结果；
将所述目标识别结果确定为所述预设数量个图像中每个所述图像的识别结果。
本发明第二方面公开了一种工业图像识别装置，包括：
第一获取单元，获取待识别的图像，所述图像的图像内容表征当前工业生产过程；
第一确定单元，用于确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则；
预处理单元，用于根据所述预处理规则对所述图像进行预处理得到目标图像；
识别单元，用于所述目标图像进行识别得到所述图像的识别结果，所述识别结果表征所述当前工业生产过程的生产状态。
可选的，所述第一确定单元，包括：
第二获取单元，用于获取所述当前工业生产过程处理的物体的当前属性；
第一检测单元，检测所述物体的当前属性是否表征所述物体属于第一状态，所述第一状态为静态或固体离散状态；
第二确定单元，用于若所述物体的当前属性表征所述物体处于第一状态，确定预处理规则为第一预处理规则；
第二检测单元，用于若所述物体的当前属性表征所述物体不处于所述第一状态，检测所述物体的当前属性是否表征所述物体处于第二状态，所述第二状态为运动状态或流体连续状态；
第三确定单元，用于若所述物体的当前属性表征所述物体处于所述第二状态，确定预处理规则为第二预处理规则。
本发明第三方面公开一种服务器，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如上述本发明第一方面任意一项公开的工业图像识别方法。
本发明第四方面公开一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本发明第一方面任意一项公开的工业图像识别方法。
本发明提供了一种工业图像识别方法、装置、服务器及存储介质，通过获取待识别的图像，所述图像的图像内容表征当前工业生产过程，确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则，并根据所述预处理规则对所述图像进行预处理得到目标图像，对所述目标图像进行识别得到所述图像的识别结果，所述识别结果表征所述当前工业生产过程的生产状态。本发明提供的技术方案，通过根据与当前工业生产过程处理的物体的当前属性匹配的预处理规则对所获取的待识别图像进行预处理得到目标图像，再对目标图像进行图像识别，便能得到该图像的当前工业生成过程的生产状态，不仅能够降低成本，还能够提高监控结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种工业图像识别方法的流程示意图；
图2为本发明实施例提供的一种确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则的方法的流程示意图；
图3为本发明实施例提供的一种对目标图像进行识别得到图像的识别结果的方法的流程示意图；
图4为本发明实施例提供的一种分别利用传统卷积技术以及可分离卷积技术得到轻量级网络模型的结构示意图；
图5为本发明实施例提供的一种待训练图像识别模型的结构示意图；
图6为本发明实施例提供的另一种工业图像识别方法的流程示意图；
图7为本发明实施例提供的一种工业图像识别装置的结构示意图；
图8为本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由上述背景技术可知，现有的工业生产过程需要由人工监控工业生产过程的当前生产状态以为工业生产过程提供控制依据。但是，通过人工监控工业生产过程的当前生产状态以为工业生产过程提供控制依据，不仅成本高，而且监控人员的监控水平参差不齐，导致监控结果可能存在不准确的情况。因此。本发明实施例提供了一种工业图像识别方法、装置、服务器及存储介质，通过根据与当前工业生产过程处理的物体的当前属性匹配的预处理规则对所获取的待识别图像进行预处理得到目标图像，再对目标图像进行图像识别，便能得到该图像的当前工业生成过程的生产状态，不仅能够降低成本，还能够提高监控结果的准确性。
参见图1，示出了本发明实施例提供的一种工业图像识别方法的流程示意图，该工业图像识别方法包括以下步骤：
S101：获取待识别的图像。
需要说明的是，待识别的图像的图像内容表征当前工业生产过程。
需要说明的是，工业可以为化工厂、水泥厂等等，可根据实际应用进行设定，本发明实施例不加以限定。
在具体执行步骤S101的过程中，待识别的图像为采集工业生产过程中的视频的图像。比如，当工业生产过程为煤料的下料过程时，待识别的图像为采集煤料的下料斗中煤量的视频的图像。
S102：确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则。
需要说明的是，工业生产过程处理的物体的当前属性包括静态、固体离散、运动以及流体连续，预处理规则可以为第一预处理规则和第二预处理规则。其中，第一预处理规则为与物体的当前属性为静态或者固体离散时匹配的预处理规则，第二预处理规则为与物体的当前属性为动态或流体连续时匹配的预处理规则。
需要说明的是，第一预处理规则可以为图像均衡化法，第二预处理规则可以为光流法。可根据实际应用进行设定，本发明实施例不加以限定。
在具体执行步骤S102的过程中，若当前工业生产过程处理的物体的当前属性为静态或固体离散，则确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则为第一预处理规则，若当前工业生产过程处理的物体的当前属性为动态或流体连续，则确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则为第二预处理规则。
S103：根据预处理规则对图像进行预处理得到目标图像。
在具体执行步骤S103的过程中，当确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则为第一预处理规则时，根据第一预处理规则对图像进行预处理得到目标图像；当确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则为第二预处理规则时，根据第二预处理规则对图像进行预处理得到目标图像。
S104：对目标图像进行识别得到图像的识别结果。
需要说明的，识别结果表征当前工业生产过程的生产状态。
需要说明的是，当前工业生产过程的生产状态可以为无料状态、缺料状态、或者满料状态等等。其中，无料状态指的是煤料的下料斗中煤料的量为零，或者在运输水泥的过程中传送带上没有水泥；缺料状态指的是煤料的下料斗中煤料的量为少量，或者在运输水泥的过程中传送带上的水泥量为少量；满料状态指的是煤料的下料斗中煤料的量为满量，或者在运输水泥的过程中传送带上的水泥量为满量。本发明实施例中无料状态、缺料状态和满料状态可根据实际应用进行设定，本发明实施例不加限定。
在具体执行步骤S104的过程中，将目标图像输入图像识别模型中，通过图像识别模型对目标图像进行识别，得到图像的识别结果，即得到图像所属的物体在当前工业生产过程的生产状态。
需要说明的是，图像识别模型是以待训练图像识别模型预测出的目标图像样本的生产状态趋近于目标图像样本的标定生产状态为训练目标对待训练图像识别系统进行训练得到的。
需要说明的是，目标图像的标定生产状态为预先设定的。
还需要说明的是，图像识别模型可以为新轻量级网络模型。可根据实际应用进行设定，本发明实施例不加以限定。
本发明提供了一种工业图像识别方法，通过获取待识别的图像，图像的图像内容表征当前工业生产过程，确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则，并根据预处理规则对图像进行预处理得到目标图像，对目标图像进行识别得到图像的识别结果，识别结果表征当前工业生产过程的生产状态。本发明提供的技术方案，通过根据与当前工业生产过程处理的物体的当前属性匹配的预处理规则对所获取的待识别图像进行预处理得到目标图像，再对目标图像进行图像识别，便能得到该图像的当前工业生成过程的生产状态，不仅能够降低成本，还能够提高监控结果的准确性。
上述本发明实施例图1公开的步骤S102确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则，如图2所示，包括以下步骤：
S201：获取当前工业生产过程处理的物体的当前属性。
需要说明的是，工业生产过程处理的物体的当前属性可以为静态、固体离散、动态以及流体连续，可根据实际应用进行设定，本发明实施例不加以限定。
S202：检测物体的当前属性是否表征物体处于第一状态。
需要说明的是，第一状态为静态或固态离散状态。
需要说明的是，若检测物体的当前属性表征物体处于第一状态，执行步骤S203，若检测物体的当前属性表征物体不处于第一状态，执行步骤S204。
S203：确定预处理规则为第一预处理规则。
需要说明的是，第一预处理规则可以为图像均衡化法，可根据实际应用进行设定，本发明实施例不加以限定。
在具体执行步骤S203的过程中，当检测物体的当前属性表征物体处于第一状态时，确定预处理规则为第一预处理规则。比如，当检测物体的当前属性表征物体属于固体离散状态时，确定预处理规则为第一预处理规则，且第一预处理规则为图像均衡化法。
需要说明的是，图像均衡化法是通过对图像的像素灰度进行映射变换，以使得变换后的图像的灰度的概率密度呈均匀分布，进而提高图像的对比度。
进一步的，需要说明的是，对于一张图像而言，每个像素灰度级在[0,1]之间，当像素灰度级为0时，表示图像的颜色为白，当像素灰度级为1时，表示图像的颜色为黑，当可通过概率密度函数来表示图像灰度级的分布，该概率密度函数的具体计算公式如下所示：
Figure BDA0002226937510000081
其中，Pr(rk)为概率密度函数，rk为离散灰度级，且0≤rk≤1，k为灰度级数，k＝0,1,2,...,n-1，nk为图像中出现rk这种灰度级的像素数，n为图像中的像素总数。
进一步的，由上述公式(1)可得到图像均衡化的函数，该图像均衡化的函数的具体计算公式如下所示：
Figure BDA0002226937510000082
其中，Si为图像均衡化的函数，，rk为离散灰度级，且0≤rk≤1，k为灰度级数，k＝0,1,2,...,n-1，
Figure BDA0002226937510000083
为概率中的频数，nk为图像中出现rk这种灰度级的像素数，n为图像中的像素总数。
S204：检测物体的当前属性是否表征物体处于第二状态。
需要说明的是，第二状态为运动状态或流体连续状态。
需要说明的是，若检测物体的当前属性表征物体处于第二状态，执行步骤S205，若检测物体的当前属性表征物体不处于第二状态，执行步骤S206。
在具体执行步骤S204的过程中，通过检测物体的当前属性，来确定物体当前所处的状态。
S205：确定预处理规则为第二预处理规则。
需要说明的是，第二预处理规则可以为光流法。在具体执行步骤S205的过程中，当检测物体的当前属性表征物体处于第二状态时，确定预处理规则为第二预处理规则。比如，当检测物体的当前属性表征物体属于运动状态时，确定预处理规则为第二预处理规则，且第二预处理规则可以为光流法。
需要说明的是，光流法是通过利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，计算出相邻帧之间的运动信息，能够有效捕捉到运动物体的轮廓和运动特征。
比如，当光流法为卢卡斯-卡纳德方法(Lucas-Kanade Method，L-K)时，将研究点设置为P，且两个相邻帧的图像内容位移都很小时，两个相邻帧的图像内容位移在研究点P的领域内为常数，因此，可认为光流方程在以研究点p为中心的窗口内对所有像素都成立，也就是说，局部图像流(速度V)、向量(Vx,Vy)应满足以下公式：
Figure BDA0002226937510000093
其中，qi为窗口中的像素，Ix(qi)、Iy(qi)、It(qi)为图像在点qi和当前时间对位置x，y和时间t的偏导。
进一步的，可将公式(3)记为AV＝b，其中
Figure BDA0002226937510000091
Figure BDA0002226937510000092
bT＝[-It(q1) -It(q2) ... -It(qn)] (6)
进一步的，由上述公式(4)、(5)和(6)可得到V的，该V的计算公式如下所示，
V＝(ATA)-1ATb (7)
从上述公式可看出，结合窗口内几个相邻的像素点的信息，通过L-K算法进行计算，能够更好的捕捉到运动物体的轮廓和运动特征。
在本发明实施例中，通过检测当前工业生产过程处理的物体的当前属性所表征物体所处的状态，来确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则，若检测到物体的当前属性表征物体处于所述第一状态，确定预处理规则为第一预处理规则，若检测到物体的当前属性表征物体处于所述第二状态，确定预处理规则为第二预处理规则。在确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则后，根据确定的预处理规则对图像进行预处理得到目标图像，进而对目标图像进行识别得到图像的识别结果，进而得到该图像的当前工业生成过程的生产状态，不仅能够降低成本，还能够提高监控结果的准确性。
上述本发明实施例图1公开的步骤S104对目标图像进行识别得到图像的识别结果，如图3所示，具体包括以下步骤：
S301：调用预训练的图像识别模型。
需要说明的是，图像识别模型是以待训练图像识别模型预测出的目标图像的样本生产状态趋近于目标图像样本的标定状态为训练目标对待训练图像识别模型进行训练得到的。
需要说明的，目标图像样本的标定状态为预先设置的。比如，当目标图像样本为煤料的下料斗中的煤量的目标图像时，目标图像样本的标定状态可以设置为满料状态，可根据实际应用进行设定，本发明实施例不加以限定。
在具体执行步骤S301的过程中，获取目标图像的样本，将目标图像的样本输入待训练图像识别模型进行预测，得到目标图像样本的生产状态，将目标图像的样本的生产状态趋近于目标图像样本在标定状态为训练目标，更新待训练图像识别模型中的参数，对待训练图像识别模型进行训练，直至待训练图像识别模型达到收敛，得到图像识别模型。
需要说明的是，图像识别模型为新轻量级网络模型。其中，新轻量级网络模型是利用可分离卷积技术实现卷积层得到的。
本申请人发现，利用传统的卷积技术来实现轻量级网络模型的卷积层的参数量要远远大于利用可分离卷积技术来实现轻量级网络模型的卷积层的参数量。例如，如图4所示，图4a为传统的卷积技术，图4b为深度卷积的可分离卷积技术，图4c为点卷积的可分离卷积技术，在传统的卷积技术中，当输入特征的通道数为M，输出特征的通道数为N，每个卷积核的维度为Dk*Dk*M时，卷积核的大小为Dk*Dk*M*N，输出结果为Df*Df*N，则这个卷积技术的参数量为Dk*Dk*M*N*Df*Df。在深度卷积的可分离卷积技术中，当输入特征的通道数为M，输出特征的通道数为N，每个卷积核的维度为Dk*Dk*M，输出特征图层为Df*Df*N，利用M个Dk*Dk*1的卷积核对与其对应的输入特征图层进行卷积，得到的参数量Dk*Dk*M*Df*Df，因此，利用深度卷积的可分离卷积技术得到的输出结果应该为Df*Df*M，再利用点卷积的可分离卷积技术对深度卷积的可分离卷积技术得到的输出结果进行卷积，即利用N个维度为1*1*M的卷积核对Df*Df*M进行卷积，得到输出特征图层为Df*Df*N，进而得到参数量N*M*Df*Df。
将可分离卷积技术与传统卷积技术的参数量相比，得到的比值具体如下公式所示：
Figure BDA0002226937510000111
其中，N为输出特征的通道数，Dk*Dk为一个卷积核的大小，Dk*Dk*M*Df*Df为利用深度卷积的可分离卷积技术进行卷积的参数量，N*M*Df*Df为利用点卷积的可分离卷积技术对深度卷积的可分离卷积技术进行卷积的输出结果进行卷积的参数量，Dk*Dk*M*N*Df*Df为利用传统卷积技术进行卷积的参数量，
从上述公式(8)可看出，由于N的数值通常较大因此可忽略不计，而当
Figure BDA0002226937510000112
为5*5，即采用5*5的卷积核时，采用可分离卷积技术能够比采用传统的卷积技术减少25倍。
S302：将目标图像输入至图像识别模型得到图像的识别结果。
在具体执行步骤S302的过程中，将根据预处理规则对图像进行预处理得到的目标图像作为图像识别模型的输入，利用图像识别模型对目标图形进行识别，得到图像的识别结果。
在本发明实施例中，在根据预处理规则对图像进行预处理得到目标图像后，将目标图像输入至调用的预训练的图像识别模型中，对目标图像进行识别，不仅能够提高计算速度，还能够得到准确性更高的识别结果。
基于上述本发明实施例中涉及的待训练图像识别模型，如图5所示，示出了本发明实施例提供的待训练图像识别模型的结构示意图。
本申请中，待训练的图像识别模型的模型结构有至少一层构成，至少一层包括第一可分离卷积层Spconv1、第一归一化层BN1和第一激活层Relu1、第一最大池化层Max_pool1、第二可分离卷积层Spconv2、第二归一化层BN2和第二激活层Relu2、第二最大池化层Max_pool2、第三可分离卷积层Spconv3、第三激活层Relu3、第四可分离卷积层Spconv4、第四激活层Relu4、第五可分离卷积层Spconv5、第三归一化层BN3和第五激活层Relu5，以及全连接层FC。
进一步的，可通过待训练图像识别模型对目标图像样本的生产过状态进行预测。该训练图像识别模型预测目标图像样本的生产状态的过程，具体为：获取目标图像样本，将获取到的目标图像样本输入第一可分离卷积层Spconv1，得到第一卷积层结果，将第一卷积层结果输入第一归一化层BN1和第一激活层Relu1进行处理，得到处理后的第一卷积层结果，将处理后的第一卷积层结果输入第一最大池化层Max_pool1进行处理，得到第一最大池化层处理结果，将第一最大池化层结果输入第二可分离卷积层Spconv2，得到第二卷积层结果，将第二可卷积层结果输入第二归一化层BN2和第二激活层Relu2进行处理，得到处理后的第二卷积层结果，并将处理后的第二卷积层结果输入第二最大池化层Max_pool2进行处理，得到第二最大化池化层结果，将第二最大化池化层结果输入第三可分离卷积层Spconv3，得到第三卷积层结果，并将第三卷积层结果输入第三激活层Relu3进行处理，得到处理后的第三卷积层结果，将处理后的第三卷积层结果输入第四可分离卷积层Spconv4，得到第四卷积层结果，并将第四卷积层结果输入第四激活层Relu4进行处理，得到处理后的第四卷积层结果，将处理后的第四卷积层结果输入第五可分离卷积层Spconv5，得到第五卷积层结果，并将第二卷积层结果输入第三归一化层BN3和第五激活层Relu5进行处理，得到处理后的第五卷积层结果，最后将处理后的第五卷积层结果输入全连接层FC，通过全连接层FC进行挑选输出最准确的目标图像样本的生产状态。
在上述本发明实施例公开的一种工业图像识别方法的基础上，如图6所示，具体还包括以下步骤：
S601：确定待识别视频中最近预设数量的图像的识别结果。
需要说明的，可将预设数量设置为15或20。可根据实际情况进行设定，本发明实施例不加以限定。
在具体执行步骤S601的过程中，当对待识别视频中的待识别的图像进行图像识别得到待识别的图像的识别结果后，选取待识别视频中与待识别的图像的获取时间最近的预设数量的图像的识别结果。其中，待识别视频中与待识别的图像的获取时间最近的预设数量个图像可以为待识别视频中位于待识别图像之前与待识别图像相邻的预设数量个图像。比如，当预设数量为15时，待识别图像为待识别视频中的第18张图像时，待视频视频中与待识别图像的获取时间最近的预设数量个图像可以为待识别视频中的第3张-第17张图像，以获取第3张-第17张图像中每张图像的识别结果。
S602：检测所确定的识别结果中表征同一生产状态最多的目标识别结果。
在具体执行步骤S602的过程中，在确定待识别视频中最近预设数量的图像的识别结果后，将出现次数最多的表征同一生产状态的识别结果最为目标识别结果。比如，选取待识别视频中与待识别的图像的获取时间最近的15张图像的识别结果，若识别结果表征生产状态为满料的图像有13张，则将表征生产状态为满料的识别结果作为目标识别结果。
S603：将目标识别结果确定为预设数量个图像中每个图像的识别结果。
在具体执行步骤S603的过程中，在确定目标识别结果后，可以将识别结果不为目标识别结果的图像的识别结果确定为目标识别结果，比如选取待识别视频中与待识别的图像的时间最近的15张图像的识别结果，若识别结果表征生产状态为满料状态的图像有13张，而识别结果表征生产状态为缺料状态的图像仅有两张，则将表征生产状态为满料的识别结果作为目标识别结果，并将目标识别结果也确定为识别结果表征生产状态为缺料状态的图像的最终的识别结果。
进一步的，在本发明实施例中，在确定目标识别结果后，可采用均值滤波法将识别结果不为目标识别结果的图像滤除。
在本发明实施例中，当确定目标识别结果后，将目标识别结果确定为预设数量个图像中每个图像的识别结果，能够得到更加准确的监控结果。
基于上述本发明实施例公开的工业图像识别方法，本发明实施例还对应公开了一种工业图像识别装置，参考图7，该工业图像识别装置700包括：
第一获取单元701，获取待识别的图像，图像的图像内容表征当前工业生产过程。
第一确定单元702，用于确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则。
预处理单元703，用于根据预处理规则对图像进行预处理得到目标图像。
识别单元704，用于目标图像进行识别得到图像的识别结果，识别结果表征所述当前工业生产过程的生产状态。
上述本发明实施例公开的工业图像识别装置中各个单元具体的原理和执行过程，与上述本发明实施例公开的工业图像识别方法相同，可参见上述本发明实施例公开的工业图像识别方法中相应的部分，这里不再进行赘述。
本发明提供了一种工业图像识别装置，通过第一获取单元获取待识别的图像，图像的图像内容表征当前工业生产过程，通过第一确定单元确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则，通过预处理单元根据预处理规则对图像进行预处理得到目标图像，通过识别单元对目标图像进行识别得到图像的识别结果，识别结果表征当前工业生产过程的生产状态。本发明提供的技术方案，通过根据与当前工业生产过程处理的物体的当前属性匹配的预处理规则对所获取的待识别图像进行预处理得到目标图像，再对目标图像进行识别，便能得到该图像的当前工业生成过程的生产状态，不仅能够降低成本，还能够提高监控结果的准确性。
优选的，第一确定单元702，包括：第二获取单元、第一检测单元、第二确定单元、第二检测单元和第三确定单元。
第二获取单元，用于获取当前工业生产过程处理的物体的当前属性。
第一检测单元，检测物体的当前属性是否表征物体属于第一状态，第一状态为静态或固体离散状态。
需要说明的是，若物体的当前属性表征所述物体处于第一状态，执行第二确定单元，若物体的当前属性不表征所述物体处于第一状态，执行第二检测单元。
第二确定单元，用于确定预处理规则为第一预处理规则。
第二检测单元，用于检测所述物体的当前属性是否表征物体处于第二状态，第二状态为运动状态或流体连续状态。
第三确定单元，用于若物体的当前属性表征物体处于第二状态，确定预处理规则为第二预处理规则。
在本发明实施例中，通过检测当前工业生产过程处理的物体的当前属性所表征物体所处的状态，来确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则，若检测到物体的当前属性表征物体处于所述第一状态，确定预处理规则为第一预处理规则，若检测到物体的当前属性表征物体处于所述第二状态，确定预处理规则为第二预处理规则。在确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则后，根据确定的预处理规则对图像进行预处理得到目标图像，进而对目标图像进行识别得到图像的识别结果，进而得到该图像的当前工业生成过程的生产状态，不仅能够降低成本，还能够提高监控结果的准确性。
优选的，识别单元704，包括：调用单元和识别子单元。
调用单元，用于调用预训练的图像识别模型，图像识别模型是以待训练图像识别模型预测出的目标图像样本的生产状态趋近于目标图像样本的标定生产状态为训练目标对待训练图像识别模型进行训练得到的。
识别子单元，用于将目标图像输入至图像识别模型得到图像的识别结果。
在本发明实施例中，在根据预处理规则对图像进行预处理得到目标图像后，将目标图像输入至调用的预训练的图像识别模型中，对目标图像进行识别，不仅能够提高计算速度，还能够得到准确性更高的识别结果。
优选的，待训练图像识别模型的模型结构由至少一层构成，至少一层包括：第一可分离卷积层、第一归一化层和第一激活层、第一最大池化层、第二可分离卷积层、第二归一化层和第二激活层、第二最大池化层、第三可分离卷积层、第三激活层、第四可分离卷积层、第四激活层、第五可分离卷积层、第三归一化层和第五激活层，以及全连接层。
优选的，调用单元，包括：预测单元。
预测单元，用于将目标图像样本输入至第一可分离卷积层，并依次经过第一归一化层和第一激活层、第一最大池化层、第二可分离卷积层、第二归一化层和第二激活层、第二最大池化层、第三可分离卷积层、第三激活层、第四可分离卷积层、第四激活层、第五可分离卷积层、第三归一化层和第五激活层，以及全连接层预测得到所述目标图像样本的生产状态。
优选的，该工业图像识别装置700，还包括：第四确定单元、第三检测单元和第五确定单元。
第四确定单元，用于确定待识别视频中最近预设数量个图像的识别结果。
第三检测单元，用于检测所确定的识别结果中表征同一生产状态最多的目标识别结果。
第五确定单元，用于将目标识别结果确定为预设数量个图像中每个图像的识别结果。
在本发明实施例中，当确定目标识别结果后，将目标识别结果确定为预设数量个图像中每个图像的识别结果，能够得到更加准确的监控结果。
本发明实施例提供了一种服务器，参考图8，包括存储器801和处理器802，其中：
存储器801存储有程序；处理器802用于执行存储器存储的程序，具体执行如本发明任一实施例提供的工业图像识别方法。
本发明实施例提供了一种存储介质，该存储介质存储有计算机可执行指令，用于实现如本发明任一实施例提供的工业图像识别方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种工业图像识别方法，其特征在于，包括：
获取待识别的图像，所述图像的图像内容表征当前工业生产过程；
确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则；根据所述预处理规则对所述图像进行预处理得到目标图像；
其中，若所述预处理规则为第一处理规则，所述第一处理规则为：图像均衡化法；
所述图像均衡化法具体为：
通过概率密度函数表示图像灰度级分布，所述概率密度函数为：
Figure FDA0003741812730000011
其中，Pr(rk)为概率密度函数，rk为离散灰度级，且0≤rk≤1，k为像素灰度级数，像素灰度级在[0,1]之间，当像素灰度级数为0时，，表示所述图像的颜色为白，当像素灰度级数为1时，表示所述图像的颜色为黑，k＝0,1,2,...,n-1，nk为图像中出现rk灰度级的像素数，n为所述图像中的像素总数；
由公式(1)得到图像均衡化的函数，所述图像均衡化的函数的具体计算公式如下：
Figure FDA0003741812730000012
其中，Si为所述图像均衡化的函数，，rk为离散灰度级，且0≤rk≤1，k为像素灰度级数数，k＝0,1,2,...,n-1，
Figure FDA0003741812730000013
为概率中的频数，nk为所述图像中出现rk灰度级的像素数，n为所述图像中的像素总数；
对所述目标图像进行识别得到所述图像的识别结果，所述识别结果表征所述当前工业生产过程的生产状态；
所述对所述目标图像进行识别得到所述图像的识别结果，包括：
调用预训练的图像识别模型，所述图像识别模型是以待训练图像识别模型预测出的目标图像样本的生产状态趋近于所述目标图像样本的标定生产状态为训练目标对所述待训练图像识别模型进行训练得到的；
所述图像识别模型为新轻量级网络模型，其中，利用可分离卷积技术实现卷积层得到所述新轻量级网络模型；
将所述目标图像输入至所述图像识别模型得到所述图像的识别结果；
所述确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则，包括：
获取所述当前工业生产过程处理的物体的当前属性；
检测所述物体的当前属性是否表征所述物体处于第一状态，所述第一状态为静态或固体离散状态；
若所述物体的当前属性表征所述物体处于所述第一状态，确定预处理规则为第一预处理规则；
若所述物体的当前属性表征所述物体不处于所述第一状态，检测所述物体的当前属性是否表征所述物体处于第二状态，所述第二状态为运动状态或流体连续状态；
若所述物体的当前属性表征所述物体处于所述第二状态，确定预处理规则为第二预处理规则；
所述第二预处理规则为光流法。
2.根据权利要求1所述的方法，其特征在于，所述待训练图像识别模型的模型结构由至少一层构成，所述至少一层包括：第一可分离卷积层、第一归一化层和第一激活层、第一最大池化层、第二可分离卷积层、第二归一化层和第二激活层、第二最大池化层、第三可分离卷积层、第三激活层、第四可分离卷积层、第四激活层、第五可分离卷积层、第三归一化层和第五激活层，以及全连接层。
3.根据权利要求2所述的方法，其特征在于，所述待训练图像识别模型预测目标图像样本的生产状态的过程包括：
将所述目标图像样本输入至所述第一可分离卷积层，并依次经过所述第一归一化层和第一激活层、第一最大池化层、第二可分离卷积层、第二归一化层和第二激活层、第二最大池化层、第三可分离卷积层、第三激活层、第四可分离卷积层、第四激活层、第五可分离卷积层、第三归一化层和第五激活层，以及全连接层预测得到所述目标图像样本的生产状态。
4.根据权利要求1所述的方法，其特征在于，还包括：：
确定待识别视频中最近预设数量个图像的识别结果；
检测所确定的识别结果中表征同一生产状态最多的目标识别结果；
将所述目标识别结果确定为所述预设数量个图像中每个所述图像的识别结果。
5.一种工业图像识别装置，其特征在于，包括：
第一获取单元，获取待识别的图像，所述图像的图像内容表征当前工业生产过程；
第一确定单元，用于确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则；
预处理单元，用于根据所述预处理规则对所述图像进行预处理得到目标图像；识别单元，用于所述目标图像进行识别得到所述图像的识别结果，所述识别结果表征所述当前工业生产过程的生产状态；
其中，若所述预处理规则为第一处理规则，所述第一处理规则为：图像均衡化法；
所述图像均衡化法具体为：
通过概率密度函数表示图像灰度级分布，所述概率密度函数为：
Figure FDA0003741812730000031
其中，Pr(rk)为概率密度函数，rk为离散灰度级，且0≤rk≤1，k为像素灰度级数，像素灰度级在[0,1]之间，当像素灰度级数为0时，，表示所述图像的颜色为白，当像素灰度级数为1时，表示所述图像的颜色为黑，k＝0,1,2,...,n-1，nk为图像中出现rk灰度级的像素数，n为所述图像中的像素总数；
由公式(1)得到图像均衡化的函数，所述图像均衡化的函数的具体计算公式如下：
Figure FDA0003741812730000032
其中，Si为所述图像均衡化的函数，，rk为离散灰度级，且0≤rk≤1，k为像素灰度级数数，k＝0,1,2,...,n-1，
Figure FDA0003741812730000033
为概率中的频数，nk为所述图像中出现rk灰度级的像素数，n为所述图像中的像素总数；
所述对所述目标图像进行识别得到所述图像的识别结果，包括：
调用预训练的图像识别模型，所述图像识别模型是以待训练图像识别模型预测出的目标图像样本的生产状态趋近于所述目标图像样本的标定生产状态为训练目标对所述待训练图像识别模型进行训练得到的；
所述图像识别模型为新轻量级网络模型，其中，利用可分离卷积技术实现卷积层得到所述新轻量级网络模型；
将所述目标图像输入至所述图像识别模型得到所述图像的识别结果；
第二获取单元，用于获取所述当前工业生产过程处理的物体的当前属性；
第一检测单元，检测所述物体的当前属性是否表征所述物体属于第一状态，所述第一状态为静态或固体离散状态；
第二确定单元，用于若所述物体的当前属性表征所述物体处于第一状态，确定预处理规则为第一预处理规则；
第二检测单元，用于若所述物体的当前属性表征所述物体不处于所述第一状态，检测所述物体的当前属性是否表征所述物体处于第二状态，所述第二状态为运动状态或流体连续状态；
第三确定单元，用于若所述物体的当前属性表征所述物体处于所述第二状态，确定预处理规则为第二预处理规则；
所述第二预处理规则为光流法。
6.一种服务器，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求1-4任意一项所述的工业图像识别方法。
7.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-4任意一项所述的工业图像识别方法。
CN201910954819.4A 2019-10-09 2019-10-09 一种工业图像识别方法、装置、服务器及存储介质 Active CN110688977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910954819.4A CN110688977B (zh) 2019-10-09 2019-10-09 一种工业图像识别方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910954819.4A CN110688977B (zh) 2019-10-09 2019-10-09 一种工业图像识别方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN110688977A CN110688977A (zh) 2020-01-14
CN110688977B true CN110688977B (zh) 2022-09-20

Family

ID=69111707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910954819.4A Active CN110688977B (zh) 2019-10-09 2019-10-09 一种工业图像识别方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN110688977B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369527A (zh) * 2020-03-03 2020-07-03 浙江中控技术股份有限公司 一种药物制造工段的控制方法及装置
CN116128272B (zh) * 2023-04-13 2023-07-07 北京意胜生物科技有限公司 一种药物的生产流程监管平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN104346626A (zh) * 2014-10-30 2015-02-11 国家电网公司 基于图像识别的sf6气体泄漏在线模式识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968133B (zh) * 2012-11-14 2015-06-10 中联重科股份有限公司 一种补料的控制方法、设备和系统
US9811755B2 (en) * 2013-03-29 2017-11-07 Nec Corporation Object monitoring system, object monitoring method, and monitoring target extraction program
JP6930283B2 (ja) * 2017-08-18 2021-09-01 コニカミノルタ株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN108229422A (zh) * 2018-01-25 2018-06-29 浙江中控技术股份有限公司 一种图像识别的方法和装置
CN109002766B (zh) * 2018-06-22 2021-07-09 北京邮电大学 一种表情识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360421A (zh) * 2011-10-19 2012-02-22 苏州大学 一种基于视频流的人脸识别方法及系统
CN104346626A (zh) * 2014-10-30 2015-02-11 国家电网公司 基于图像识别的sf6气体泄漏在线模式识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
巧克力精磨车间生产状态监控系统;王建;《中国优秀硕士论文全文数据库（电子期刊）》;20120315;第五章 *

Also Published As

Publication number Publication date
CN110688977A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN108399362B (zh) 一种快速行人检测方法及装置
WO2020239015A1 (zh) 一种图像识别、分类方法、装置、电子设备及存储介质
US20200234141A1 (en) Image Quality Assessment Using Similar Scenes as Reference
CN108304775B (zh) 遥感图像识别方法、装置、存储介质以及电子设备
CN110163842B (zh) 建筑裂缝检测方法、装置、计算机设备和存储介质
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
US10228360B2 (en) System and method for determining the quality of concrete
CN110688977B (zh) 一种工业图像识别方法、装置、服务器及存储介质
CN110956225A (zh) 一种违禁品检测方法及系统、一种计算设备及存储介质
US11055841B2 (en) System and method for determining the quality of concrete from construction site images
US8811750B2 (en) Apparatus and method for extracting edge in image
CN111210399A (zh) 一种成像质量评价方法、装置及设备
CN112749645A (zh) 基于监控视频的服装颜色检测方法、装置和设备
CN111814776B (zh) 一种图像处理方法、设备、服务器及存储介质
CN110503600B (zh) 特征点检测方法、装置、电子设备和可读存储介质
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN111027508A (zh) 一种基于深层神经网络的遥感图像覆被变化检测方法
CN112804522B (zh) 一种对摄像头异常状况的检测方法及装置
CN113469025A (zh) 应用于车路协同的目标检测方法、装置、路侧设备和车辆
CN116091389A (zh) 基于分类模型的图像检测方法、电子设备及介质
CN113516328B (zh) 数据处理方法、服务提供方法、装置、设备和存储介质
CN115457373A (zh) 无锚框的一阶段虫害图像检测方法、装置及存储介质
CN113705672A (zh) 图像目标检测的阈值选取方法、系统、装置及存储介质
CN114373081A (zh) 图像处理方法及装置、电子设备及存储介质
CN113793343A (zh) 基于图像的缺陷定位分割方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant