CN111738153B - 一种图像识别分析方法、装置、电子设备及存储介质 - Google Patents

一种图像识别分析方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111738153B
CN111738153B CN202010577781.6A CN202010577781A CN111738153B CN 111738153 B CN111738153 B CN 111738153B CN 202010577781 A CN202010577781 A CN 202010577781A CN 111738153 B CN111738153 B CN 111738153B
Authority
CN
China
Prior art keywords
target
defect
image
detection
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010577781.6A
Other languages
English (en)
Other versions
CN111738153A (zh
Inventor
张发恩
秦树鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Wisdom Shanghai Technology Co ltd
Original Assignee
Innovation Wisdom Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Wisdom Shanghai Technology Co ltd filed Critical Innovation Wisdom Shanghai Technology Co ltd
Priority to CN202010577781.6A priority Critical patent/CN111738153B/zh
Publication of CN111738153A publication Critical patent/CN111738153A/zh
Application granted granted Critical
Publication of CN111738153B publication Critical patent/CN111738153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像识别分析方法、装置、电子设备及存储介质，用于改善很难提高以肉眼观测的方式发现产品缺陷的效率的问题。该方法包括：获得多个待识别图像，待识别图像为采集目标对象的图像；使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征；使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，检测结果包括目标类别，目标类别表征目标对象在生产过程中出现缺陷的具体类别；对多个检测结果对应的目标类别进行统计分析，获得报警信号，报警信号表征目标对象的类别为多个检测结果对应的目标类别时触发报警。

Description

一种图像识别分析方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能、深度学习和图像识别的技术领域，具体而言，涉及一种图像识别分析方法、装置、电子设备及存储介质。
背景技术
目前的自动化机器可以实现全面快速地机械自动化生产产品，在制造行业中的自动化机器生产产品的过程中，仅仅是机械地重复生产操作，无法感知生产的产品是否出现了缺陷以及出现的缺陷类别，这里的制造行业中的产品缺陷例如：在塑胶制造行业中的塑料膜在生产过程中出现颗粒状、气泡和薄厚不均等缺陷类别，这里的塑料膜按照用途分可以包括：保鲜膜和大棚膜等等；在金属板材加工行业中的金属板材出现凹凸不平、粗糙不光滑、博厚不均和杂质颗粒状等缺陷类别；在造纸行业中生产的纸张出现裂痕、褶皱和凹处等等缺陷类别；在纺织行业中的织布机器生产布料过程中出现的缺陷具体例如：经线绷断，经线是指织布过程中穿梭于两层上下交叠的纬线中间的线，通过经线和纬线的相互交织形成布料。
现在仍然是依靠人工发现缺陷并修复缺陷，由于修复缺陷的过程在各个细分制造行业中的差异非常大，为了便于理解和说明，这里仅以纺织行业中的修复缺陷为例进行说明：在发现缺陷的过程中，需要大量工人在车间进行巡视检查缺陷，通过肉眼观测的方式去发现缺陷，并手动暂停对应的织布机器后，再让维修工人对缺陷布料进行修复，以避免生产缺陷布料从而浪费线料。在具体的实践过程中发现，由于布料背景环境较为复杂，且有很多干扰噪声，这里的干扰噪声例如：布料背景颜色和经线绷断的背景颜色类似或相似、工厂工人用手拍打布料上的灰尘或异物、工人感受布料质感而按压布料使布料变形、布料上有一条线条状的轮子或金属杆的边缘看起来和断开的经线很相似的情况等等。
综上所述，在复杂的产品背景环境和干扰噪声的情况下，很难提高以肉眼观测的方式发现产品缺陷的效率。
发明内容
本申请实施例的目的在于提供一种图像识别分析方法、装置、电子设备及存储介质，用于改善很难提高以肉眼观测的方式发现产品缺陷的效率的问题。
本申请实施例提供了一种图像识别分析方法，包括：获得多个待识别图像，待识别图像为采集目标对象的图像；使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征；使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，检测结果包括目标类别，目标类别表征目标对象在生产过程中出现缺陷的具体类别；对多个检测结果对应的目标类别进行统计分析，获得报警信号，报警信号表征目标对象的类别为多个检测结果对应的目标类别时触发报警。在上述的实现过程中，通过获得多个待识别图像，使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征；使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，并对多个检测结果对应的目标类别进行统计分析，获得报警信号；也就是说，通过对待识别图像进行识别分析出的目标对象满足报警条件，则发出报警，这里的目标对象例如：经线绷断；即在图像中发现经线绷断时，就发出报警，从而有效地提高发现产品缺陷的效率。
可选地，在本申请实施例中，特征提取网络模型包括：骨干神经网络和尺度提取网络；使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征，包括：使用骨干神经网络对待识别图像进行特征计算，获得第一特征图；使用尺度提取网络提取第一特征图的多尺度特征，获得图像特征。在上述的实现过程中，通过使用骨干神经网络和尺度提取网络对待识别图像分别进行特征计算和提取多尺度特征，从而有效地提高了对待识别图像的识别准确率。
可选地，在本申请实施例中，目标检测网络模型包括：边框回归分支和分类分支，检测结果还包括检测框，以及检测框对应目标对象的类别为目标类别的概率；使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，包括：使用边框回归分支预测图像特征中所有的检测框，检测框表征对应的待识别图像中包含目标对象的区域；使用分类分支对检测框进行分类，获得检测框对应的目标对象的目标类别和目标类别对应的概率。
可选地，在本申请实施例中，目标类别包括缺陷目标，缺陷目标表征待识别图像中存在缺陷；对多个检测结果对应的目标类别进行统计分析，获得报警信号，包括：判断在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数是否满足预设条件，预设条件为总次数大于第一预设阈值或者连续出现次数大于第二预设阈值，第一预设阈值大于第二预设阈值；若是，则将报警信号确定为触发缺陷报警，缺陷报警用于警示待识别图像中出现缺陷。在上述的实现过程中，通过判断在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数是否满足预设条件；若是，则将报警信号确定为触发缺陷报警，缺陷报警用于警示待识别图像中出现缺陷；从而能够及时地在待识别图像中出现缺陷时发出报警信号。
可选地，在本申请实施例中，目标类别还包括假缺陷目标，假缺陷目标表征图像背景与缺陷目标的背景相似度超过预设阈值造成待识别图像被识别为存在缺陷；在判断在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数是否满足预设条件之前，还包括：判断检测结果对应的目标类别是否为假缺陷目标；若是，从多个检测结果中删除假缺陷目标对应的检测结果。在上述的实现过程中，通过判断检测结果对应的目标类别是否为假缺陷目标；若是，从多个检测结果中删除假缺陷目标对应的检测结果；有效地排查假缺陷目标的情况，从而提高识别缺陷目标的正确率。
可选地，在本申请实施例中，多个检测结果包括：第一检测结果和第二检测结果，检测结果还包括检测框；判断检测结果对应的目标类别是否为假缺陷目标，包括：计算第一检测结果对应的所有检测框与第二检测结果对应的所有检测框的交并比值，交并比值表征集合与集合之间的交集和并集的比例值；判断交并比值是否大于预设阈值；若是，则确定检测结果对应的目标类别为假缺陷目标；若否，则确定检测结果对应的目标类别不为假缺陷目标。在上述的实现过程中，通过计算第一检测结果对应的所有检测框与第二检测结果对应的所有检测框的交并比值，来确定检测结果对应的目标类别为假缺陷目标；有效地排查假缺陷目标的情况，从而提高识别缺陷目标的正确率。
可选地，在本申请实施例中，缺陷目标包括经线绷断；获得多个待识别图像，包括：接收终端设备发送的多个待识别图像，待识别图像为织布机器生产的布料图像；在获得报警信号之后，还包括：向终端设备发送报警信号，报警信号用于使终端设备触发报警，报警信号表征在布料图像中出现经线绷断的现象。在上述的实现过程中，通过向终端设备发送报警信号，报警信号用于使终端设备触发报警，报警信号表征在布料图像中出现经线绷断的现象；从而能够及时地在待识别图像中出现缺陷时发出报警信号。
可选地，在本申请实施例中，目标类别包括：干扰目标，干扰目标表征人为干扰造成待识别图像被识别为存在缺陷；对多个检测结果对应的目标类别进行统计分析，获得报警信号，包括：判断在多个检测结果中干扰目标出现的总次数和干扰目标连续出现次数是否满足预设条件，预设条件为总次数大于第一预设阈值或者连续出现次数大于第二预设阈值，第一预设阈值大于第二预设阈值；若是，则将报警信号确定为触发干扰报警，干扰报警用于警示在待识别图像中存在人为干扰。在上述的实现过程中，通过判断在多个检测结果中干扰目标出现的总次数和干扰目标连续出现次数是否满足预设条件，来确定是否将报警信号确定为触发干扰报警，从而能够及时地在待识别图像中出现干扰时发出报警信号。
本申请实施例还提供了一种图像识别分析装置，包括：识别图像获得模块，用于获得多个待识别图像，待识别图像为采集目标对象的图像；图像特征获得模块，用于使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征；检测结果获得模块，用于使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，检测结果包括目标类别，目标类别表征目标对象在生产过程中出现缺陷的具体类别；报警信号获得模块，用于对多个检测结果对应的目标类别进行统计分析，获得报警信号，报警信号表征目标对象的类别为多个检测结果对应的目标类别时触发报警。
可选地，在本申请实施例中，特征提取网络模型包括：骨干神经网络和尺度提取网络；图像特征获得模块，包括：图像特征计算模块，用于使用骨干神经网络对待识别图像进行特征计算，获得第一特征图；尺度特征提取模块，用于使用尺度提取网络提取第一特征图的多尺度特征，获得图像特征。
可选地，在本申请实施例中，目标检测网络模型包括：边框回归分支和分类分支，检测结果还包括检测框，以及检测框对应目标对象的类别为目标类别的概率；检测结果获得模块，包括：检测框预测模块，用于使用边框回归分支预测图像特征中所有的检测框，检测框表征对应的待识别图像中包含目标对象的区域；检测框分类模块，用于使用分类分支对检测框进行分类，获得检测框对应的目标对象的目标类别和目标类别对应的概率。
可选地，在本申请实施例中，目标类别包括缺陷目标，缺陷目标表征待识别图像中存在缺陷；报警信号获得模块，包括：第一条件判断模块，用于判断在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数是否满足预设条件，预设条件为总次数大于第一预设阈值或者连续出现次数大于第二预设阈值，第一预设阈值大于第二预设阈值；第一触发报警模块，用于若在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数满足预设条件，则将报警信号确定为触发缺陷报警，缺陷报警用于警示待识别图像中出现缺陷。
可选地，在本申请实施例中，目标类别还包括假缺陷目标，假缺陷目标表征图像背景与缺陷目标的背景相似度超过预设阈值造成待识别图像被识别为存在缺陷；报警信号获得模块，还包括：假缺陷目标判断模块，用于判断检测结果对应的目标类别是否为假缺陷目标；假缺陷目标删除模块，用于若检测结果对应的目标类别为假缺陷目标，从多个检测结果中删除假缺陷目标对应的检测结果。
可选地，在本申请实施例中，多个检测结果包括：第一检测结果和第二检测结果，检测结果还包括检测框；假缺陷目标判断模块，包括：交并比值计算模块，用于计算第一检测结果对应的所有检测框与第二检测结果对应的所有检测框的交并比值，交并比值表征集合与集合之间的交集和并集的比例值；交并比值判断模块，用于判断交并比值是否大于预设阈值；假缺陷目标确定模块，用于若交并比值大于预设阈值，则确定检测结果对应的目标类别为假缺陷目标；假缺陷目标否定模块，用于若交并比值不大于预设阈值，则确定检测结果对应的目标类别不为假缺陷目标。
可选地，在本申请实施例中，缺陷目标包括经线绷断；图像识别分析装置，还包括：识别图像接收模块，用于接收终端设备发送的多个待识别图像，待识别图像为织布机器生产的布料图像；报警信号发送模块，用于向终端设备发送报警信号，报警信号用于使终端设备触发报警，报警信号表征在布料图像中出现经线绷断的现象。
可选地，在本申请实施例中，目标类别包括：干扰目标，干扰目标表征人为干扰造成待识别图像被识别为存在缺陷；报警信号获得模块，包括：第二条件判断模块，用于判断在多个检测结果中干扰目标出现的总次数和干扰目标连续出现次数是否满足预设条件，预设条件为总次数大于第一预设阈值或者连续出现次数大于第二预设阈值，第一预设阈值大于第二预设阈值；第二触发报警模块，用于若在多个检测结果中干扰目标出现的总次数和干扰目标连续出现次数满足预设条件，则将报警信号确定为触发干扰报警，干扰报警用于警示在待识别图像中存在人为干扰。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的图像识别分析方法的流程示意图；
图2示出的本申请实施例提供的特征提取网络和目标检测网络的网络结构示意图；
图3示出的本申请实施例提供的目标检测网络训练流程示意图；
图4示出的本申请实施例提供的图像识别分析方法的另一种实施方式的流程示意图；
图5示出的本申请实施例提供的电子设备与终端设备进行交互的流程示意图；
图6示出的本申请实施例提供的图像识别分析装置的结构示意图；
图7示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的图像识别分析方法之前，先介绍本申请实施例所涉及的一些概念：
人工智能(Artificial Intelligence，AI)，是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
深度学习(Deep Learning)，是指学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助；深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据，深度学习包括但不限于使用更深层次的神经网络模型提取文字、图像和声音等数据的特征。
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术；其中，图像识别相关的任务例如：字符识别、目标检测和语义分割图像等等。
神经网络模型，是指使用预设的训练数据对未经训练的神经网络进行训练后获得的神经网络模型，这里的预设的训练数据可以根据具体实际情况进行设置，例如：在图像识别的任务中，预设的训练数据是指需要识别的图像，在有监督学习训练过程中，需要对训练数据设置正确的标签。
卷积神经网络(Convolutional Neural Networks，CNN)，是一种人工神经网络，人工神经网络的人工神经元可以响应周围单元，可以进行大型图像处理；卷积神经网络可以包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。
残差网络(Residual Network，ResNet)，又被称为残差神经网络，是指微软研究院的学者提出的卷积神经网络，ResNet的特点是容易优化，并且能够通过增加相当的深度来提高准确率；ResNet内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
图像增强，是指将原来不清晰的图像变得清晰或者强调某些关注的特征，抑制非关注的特征，进而改善图像质量、丰富信息量，加强图像判读和识别效果的图像处理方法，具体例如：采用反转、旋转、平移、裁切、对比度调整、噪声添加、图像缩放等方式。
区域卷积神经网络(Region Convolutional Neural Network，RCNN)，是第一个成功将深度学习应用到目标检测上的算法；RCNN基于卷积神经网络、线性回归和支持向量机等算法，来实现目标检测的目的。RCNN的基本原理为：可以在图片上使用穷举法选出所有物体可能出现的区域框，对这些区域框提取特征并使用图像识别方法分类，得到所有分类成功的区域后，通过非极大值抑制输出结果。由RCNN演化出来的fast RCNN和faster RCNN，这里的fast RCNN和faster RCNN均是在RCNN上作出的改进。
归一化指数函数(Softmax)，又被称为softmax分类器、softmax层或Softmax函数，实际上是有限项离散概率分布的梯度对数归一化；在数学中，尤其是概率论和相关领域中，归一化指数函数，或称Softmax函数，是逻辑函数的一种推广；归一化指数函数能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。
服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。当然在具体的实施过程中，上述的服务器可以具体选择大型机或者小型机，这里的小型机是指采用精简指令集计算(ReducedInstruction Set Computing，RISC)、单字长定点指令平均执行速度(MillionInstructions Per Second，MIPS)等专用处理器，主要支持UNIX操作系统的封闭且专用的提供计算服务的设备；这里的大型机，又名大型主机，是指使用专用的处理器指令集、操作系统和应用软件来提供计算服务的设备。
需要说明的是，本申请实施例提供的图像识别分析方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personaldigital assistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由器等。
在介绍本申请实施例提供的图像识别分析方法之前，先介绍该图像识别分析方法适用的应用场景，这里的应用场景包括但不限于：将该图像识别方法应用于包括：塑胶制造、金属板材加工、造纸和纺织等等制造行业中，使用该图像识别方法识别制造行业中生产出来的产品是否存在缺陷以及缺陷的具体类别，这里的产品缺陷的具体类别例如：在塑胶制造行业中的塑料膜在生产过程中出现颗粒状、气泡和薄厚不均等缺陷类别，这里的塑料膜按照用途分可以包括：保鲜膜和大棚膜等等；在金属板材加工行业中的金属板材出现凹凸不平、粗糙不光滑、博厚不均和杂质颗粒状等缺陷类别；在造纸行业中生产的纸张出现裂痕、褶皱和凹处等等缺陷类别；在纺织行业中的织布机器生产布料过程中出现的缺陷具体例如：经线绷断，经线是指织布过程中穿梭于两层上下交叠的纬线中间的线，通过经线和纬线的相互交织形成布料。
由于各个细分制造行业中的缺陷类别和修复缺陷过程的差异均非常大，为了便于理解和说明，本申请实施例仅以纺织行业为例进行说明：在纺织行业中可以使用该图像识别分析方法识别织布机器生产的布料图像中的缺陷目标、假缺陷目标和干扰目标等等，这里的缺陷目标具体例如：在纬线中穿梭的经线突然绷断等现象，这里的假缺陷目标例如：布料上有一条线条状的轮子或金属杆的边缘看起来和断开的经线很相似的情况等情况，这里的干扰目标例如：工厂工人用手拍打布料上的灰尘或异物、工人感受布料质感而按压布料使布料变形。在分析获得缺陷目标、假缺陷目标和干扰目标之后，还可以分别针对缺陷目标、假缺陷目标和干扰目标进行报警，例如：发出缺陷报警和干扰报警等等。
请参见图1示出的本申请实施例提供的图像识别分析方法的流程示意图；该图像识别分析方法通过获得多个待识别图像，使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征；使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，并对多个检测结果对应的目标类别进行统计分析，获得报警信号；也就是说，若对待识别图像进行识别分析出的目标对象满足报警条件，则发出报警，这里的目标对象例如：在编织过程中的布料发生经线绷断现象；即在图像中发现经线绷断时，就发出报警，从而有效地提高发现产品缺陷的效率；上述的图像识别分析方法可以包括如下步骤：
步骤S110：获得多个待识别图像。
待识别图像，是指采集目标对象的图像，这里的目标对象可以是制造行业中的作业流程，这里的作业流程具体例如例如：织布机器在编织布料的过程中，织布机器上的布料发生经线绷断现象，经线是指织布过程中穿梭于上层和下层相互交叠的纬线中间的线，通过经线和纬线的相互交织形成布料。在织布的过程中，如果下层的经线崩断，需要人工地仔细观察才能发觉，从上面往下拍摄的摄像头几乎只能看到布料的表面，无法观察到内部的下层经线发生崩断的情况。
上述步骤S110的实施方式包括：第一种方式，使用摄像机、录像机或彩色照相机等图像采集设备对目标对象进行拍摄，具体例如：使用图像采集设备从两边侧面同时拍摄上层和下层之间中的经线，从而获得待识别图像，通过待识别图像来确认经线是否发生崩断的现象；然后该图像采集设备向电子设备发送待识别图像，然后电子设备接收图像采集设备发送的待识别图像，电子设备可以将待识别图像存储至文件系统、数据库或移动存储设备中，其中，这里的图像采集设备是指对目标进行图像采集的设备，这里的图像采集设备具体例如：单反彩色照相机、黑白照相机、监控摄像机、照相机或带摄像头的终端等，这里的带摄像头的终端例如：手机、智能手环、平板电脑或笔记本等；第二种方式，获取预先存储的待识别图像，具体例如：从文件系统中获取待识别图像，或者从数据库中获取待识别图像，或者从移动存储设备中获取待识别图像；第三种方式，使用浏览器等软件获取互联网上的待识别图像，或者使用其它应用程序访问互联网获得待识别图像。
在步骤S110之后，执行步骤S120：使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征。
特征提取网络模型，是指从图像中提取图像特征的神经网络模型；这里的特征提取网络模型可以包括：骨干神经网络和尺度提取网络；这里骨干神经网络和尺度提取网络的具体定义将在下面进行详细地说明。
上述步骤S120中的使用预先训练的特征提取网络模型提取多个待识别图像的图像特征的实施方式包括：
步骤S121：使用骨干神经网络对待识别图像进行特征计算，获得第一特征图。
骨干神经网络，又被称为主干神经网络，是指在用于提取待检测图像的图像特征的神经网络模型，未经训练的骨干神经网络可以是卷积神经网络(CNN)；在一些实现方式中，可以直接将一些训练好的卷积神经网络模型作为骨干神经网络，具体例如：常用的卷积神经网络：LeNet、AlexNet、VGG和GoogLeNet等等。
上述步骤S121的实施方式例如：采用已经训练的ResNet、DarkNet、DenseNet等通用网络结构中的ResBlock和DenseBlock等卷积模块，可以将这些训练好的卷积神经网络模型作为骨干神经网络；当然也可以对这些卷积模块进行组合构建一个深度神经网络，该满足特征图尺寸(宽和高)逐步缩小、特征图深度逐步放大的基本要求，考虑性能和实时性要求，骨干网络的层数深度可以控制在10至18层之间；将这些组合构建的卷积神经网络模型作为骨干神经网络；然后使用骨干神经网络对待识别图像进行特征计算，即使用骨干神经网络提前待识别图像的多尺度特征，获得多尺度图像特征，将多尺度图像特征作为上述的第一特征图。
步骤S122：使用尺度提取网络提取第一特征图的多尺度特征，获得图像特征。
尺度提取网络，又被称为特征融合网络，是指用于提取待检测图像的多尺度特征的神经网络模型，未经训练的尺度提取网络可以是残差网络(ResNet)，常用的残差网络具体例如：ResNet22、ResNet38、ResNet50、ResNet101和ResNet152等等。
上述步骤S122的实施方式例如：对已经训练的特征金字塔网络进行改造，获得尺度提取网络；改造的过程具体例如：可以在已经训练的特征金字塔网络(Feature PyramidNetwork，FPN)、darknet等神经网络的基础上进行改造，主要增加一个更浅层的尺度特征图，该尺度特征图的宽高可以是原始图像尺寸或者原始图像尺寸的一半，也就是说，尺度特征图的宽是原始图像的宽的一半，尺度特征图的高是原始图像的高的一半，这样的设置属于为了更好地提取小目标表观特征；多尺度提取网络的输出尺度一般采用3至5个尺度。然后再使用尺度提取网络提取第一特征图的多尺度特征，并对多尺度特征进行融合，获得图像特征。在具体的融合过程中，可以采用类别互斥策略，即不同的目标类别结果所在区域不同，同时设置干扰目标优先级较高。
在步骤S120之后，执行步骤S130：使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，检测结果包括目标类别。
目标类别，是指表征目标对象出现缺陷的具体类别，其中，具体的目标类别包括：缺陷目标、假缺陷目标和干扰目标；其中，这里的缺陷目标表征待识别图像中存在缺陷，假缺陷目标表征图像背景与缺陷目标的背景相似度超过预设阈值造成待识别图像被识别为存在缺陷，干扰目标表征人为干扰造成待识别图像被识别为存在缺陷。
检测结果，是指对待识别图像进行特征提取和特征识别检测获得的结果；其中，这里的检测结果包括：检测框和与检测框对应的目标类别，以及检测框对应目标对象的类别为目标类别的概率。
目标检测网络，是指对图像中的目标对象进行检测的网络，即检测出图像中的目标对象，并给出目标对象在图像中的位置范围、分类和概率，位置范围具体可以为检测框的形式标注，分类是指目标对象的具体类别，概率是指检测框中的目标对象为具体类别的概率；这里的目标检测网络可以采用RCNN、fast RCNN和faster RCNN等等网络，这里的目标检测网络模型可以包括：边框回归分支和分类分支。
请参见图2示出的本申请实施例提供的特征提取网络和目标检测网络的网络结构示意图；图中的感兴趣区域(Region Of Interest，ROI)对齐(align)是一种区域特征聚集方式,感兴趣区域对齐被简称为ROIalign，可以解决了ROI池化(Pooling)操作中两次量化造成的区域不匹配(mis-alignment)的问题。需要说明的是，目标检测网络模型的构建方式有很多种，具体例如：目标检测网络可以采用faster RCNN为基础，即在faster RCNN等两阶段目标检测网络基础上进行改造，这里的faster RCNN是一个卷积加全连接的混合网络，具体改造的过程包括：调整目标检测网络模型中的区域生成网络(RegionProposal Network，RPN)和目标检测网络模型中的head网络的特征图通道数，具体例如：将RPN网络的通道数减半等，可以有效地提升计算速度，这里的RPN是指可以直接使用Faster RCNN中的RPN思想构建获得的网络，当然也可以通过其他方式构建获得RPN；调整检测(bbox)框回归和softmax分类的损失(loss)权重，从而使得目标检测网络更关注分类结果；在目标检测网络的训练过程中增加全局损失(loss)分支，提升训练质量和精度；在目标检测网络的训练过程中增加类别互斥约束，即不同类别的两个目标的交并比(Intersection over Union，IOU)值可以小于某个阈值，这里的某个阈值具体可以采用0.3或者0.5。
可以理解的是，上述的在目标检测网络的训练过程中增加全局损失(loss)分支，是指在目标检测网络中，增加一个用于优化RPN网络全局输出结果的损失(loss)分支，也就是说，将RPN网络的输出预选框还原到图像对应位置，形成一张全局预选框特征图，并将预选框标记为1，背景标记为0，然后将预选框特征图与全局标签图进行比对，计算损失(loss)值。
在具体的实践过程中，具体可以采用dice系数来计算损失(loss)值；这里的Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0,1]；dice系数使用公式可以表示为
Figure BDA0002551070180000131
那么采用dice系数来计算损失值可以表示为
Figure BDA0002551070180000132
其中，s表示dice系数，d表示使用dice系数计算的损失值，X和Y分别表示两个样本集合，|X∩Y|是X和Y之间的交集，|X|和|Y|分表表示X中的元素个数和Y中的元素个数，其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素的原因。
请参见图3示出的本申请实施例提供的目标检测网络训练流程示意图；在具体的实践过程中，使用目标检测网络之前，还可以对目标检测网络进行针对性的训练，具体的训练过程例如：获得训练数据和原始标注数据；这里的原始标注数据又可以被称为训练标签，训练标签例如可以是与训练数据对应的经线目标和干扰目标的弱标注信息；这里的弱标注信息是指在训练数据中的图像标注的矩形框、椭圆和不规则框等检测框，这里的检测框用于标注经线目标和干扰目标的具体位置，也就是说，该标注信息不是精确的位置，因此也可以将使用弱标注信息对目标检测网络进行训练的过程理解为弱监督学习，这里的弱监督是指不需要把训练数据中的检测目标精确的标注出来，只是标一个大概的位置即可，可以是矩形框，也可以用椭圆圈起来。
在具体的训练过程中，还可以使用数据增强的方式扩充训练数据，即使用图像增强或者数据增强的方式对训练数据和训练标签进行扩充；然后生成与训练数据对应的训练标签，这里的训练标签可以是根据原始标注数据生成的矩形框标签，这里的矩形框标签可以用于目标检测网络的训练过程中。然后初始化目标检测网络的各层权值，具体例如：使用随机数作为初始值，其中，目标检测网络的骨干神经网络可使用其他数据集上的预训练权值进行初始化，这里的其他数据集可以是ImageNet图像数据集；再次，在训练过程中，计算训练数据的图像特征、计算训练数据的多尺度特征和提取训练数据的预选框，还可以设置目标检测网络的训练超参数和损失函数，根据训练超参数和损失函数对目标检测网络进行迭代训练；再分别使用目标检测网络中的边框回归分支、分类分支和全局损失分支对训练数据进行边框回归、类别回归和全局回归；在训练过程中，还可以对目标检测网络使用单次优化操作，这里的单次优化操作是指通过反向传播来更新模型参数权值，更新模型参数权值的具体算法包括但不限于SGD、RMSProp、Adam和Nesterov Accelerated Gradient，以及这几种权重更新方法的组合。若对目标检测网络的训练情况达到终止条件，则判断是否终止该分支的训练，这里的终止条件可以设置为达到总优化次数，或者是损失(loss)值小于某预设值，这里的某预设值可以根据具体情况进行设置。最后，保存目标检测网络的网络权值，即保存训练更新目标检测网络后的对应网络权值；这里的训练是采用端到端的训练方式，模型不同阶段同步训练、同步更新、同时结束。
在上述的实现过程中，使用弱监督学习方式对目标检测网络进行训练，这种方式对于数据标注精度要求低、数据标注成本低和训练速度更快；能够更加针对性的解决织机运行过程中的断经和受干扰等异常情况的快速检测，在一定程度上提升检测的精度和泛化能力。
上述步骤S130中的使用预先训练的目标检测网络模型对多个图像特征进行识别的实施方式包括：使用边框回归分支预测图像特征中所有的检测框，检测框表征对应的待识别图像中包含目标对象的区域；使用分类分支对检测框进行分类，获得检测框对应的目标对象的目标类别和目标类别对应的概率。可以理解的是，上述的全局损失(loss)分支仅在训练过程中使用，在目标检测网络模型对多个图像特征进行识别时，不需要使用全局损失(loss)分支来计算全局损失。
在步骤S130之后，执行步骤S140：对多个检测结果对应的目标类别进行统计分析，获得报警信号。
报警信号，是指表征目标对象的类别为多个检测结果对应的目标类别时触发报警的信号，上述的目标类别包括缺陷目标和干扰目标，与之对应的，这里的报警信号可以包括：触发缺陷报警和触发干扰报警；其中，触发缺陷报警表征织布机器中的布料在制作过程中出现了缺陷，这里的缺陷具体例如经线崩断的情况，那么可以立即通知工厂工人来修复缺陷，修复缺陷的过程例如：手动暂停对应的织布机器后，再让维修工人对缺陷布料进行修复，以避免生产缺陷布料从而浪费线料；触发干扰报警表征织布机器中的布料在制作过程中被人为干扰，这里的人为干扰具体例如：工厂工人用手拍打布料上的灰尘或异物或者工人感受布料质感而按压布料使布料变形。
可以理解的是，上述的目标检测结果可以包括：缺陷目标(可以理解为真实断经目标)、假缺陷目标(可以理解为疑似断经类别)、干扰目标(可以理解为干扰类别)；缺陷目标与假缺陷目标经常难以分辨，也就是说，在疑似断经类别中包含潜在的真实断经目标，同时包含一些由背景噪声等形成的与断经表征相似的假断经目标，因此，在识别缺陷目标时，可以先排除假缺陷目标的情况，那么上述步骤S140的实施方式可以包括：识别缺陷目标和干扰目标的两种实施方式：
第一种实施方式，上述的目标类别包括：缺陷目标和假缺陷目标；从待识别图像识别出缺陷目标，这里的缺陷目标中可能存在假缺陷目标，那么可以从缺陷目标中排除假缺陷目标的情况，这里的假缺陷目标表征图像背景与缺陷目标的背景相似度超过预设阈值造成待识别图像被识别为存在缺陷，这里的预设阈值可以根据实际情况进行具体设置；在排除假缺陷目标之后，若缺陷目标的出现次数满足预设条件，则可以发出缺陷存在的报警信号，这里的第一种实施方式可以包括如下步骤：
步骤S141：判断检测结果对应的目标类别是否为假缺陷目标。
上述步骤S141的实施方式例如：在具体的实践过程中，上面连续的多帧图像均需要判断检测结果对应的目标类别是否为假缺陷目标，即可以使用连续的多帧图像进行相关性分析，以判断检测结果对应的目标类别是否为假缺陷目标，这里的相关性分析是指对前后帧的检测结果进行矩形框位置重叠性分析，即计算当前帧检测结果的所有检测框与上一帧检测结果的所有检测框的IOU值，当IOU值大于某个阈值(该阈值例如取0.7)时，即认为该位置的检测结果为高相关性目标；当同一位置连续n帧为高相关性目标时，则认为该目标为假断经目标；也就是说，多帧图像是需要综合考虑连续的n帧的检测结果，这里的n可以取10帧；这里的假缺陷目标的情况具体例如：布料背景颜色和经线绷断的背景颜色类似或相似，或者布料上有一条线条状的轮子或金属杆的边缘看起来和断开的经线很相似的情况。
步骤S142：若检测结果对应的目标类别为假缺陷目标，从多个检测结果中删除假缺陷目标对应的检测结果。
上述的步骤S142的实施方式包括：在上述的判断检测结果对应的目标类别是否为假缺陷目标的过程中，通常需要结合多个检测结果来判断，为了便于理解和说明，这里以两个检测结果为例进行说明，这里的两个检测结果分别是前后连续的两帧图像对应检测出的结果。上述的多个检测结果包括：第一检测结果和第二检测结果；判断检测结果对应的目标类别是否为假缺陷目标的实施方式包括：先计算第一检测结果对应的所有检测框与第二检测结果对应的所有检测框的交并比值，交并比值表征集合与集合之间的交集和并集的比例值；再判断交并比值是否大于预设阈值；若交并比值大于预设阈值，则确定检测结果对应的目标类别为假缺陷目标；若交并比值不大于预设阈值，则确定检测结果对应的目标类别不为假缺陷目标；这里的预设阈值可以根据情况具体设置，例如将预设阈值设置为0.3或者0.7等。若检测结果对应的目标类别为假缺陷目标，从多个检测结果中删除假缺陷目标对应的检测结果。
步骤S143：判断在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数是否满足预设条件，预设条件为总次数大于第一预设阈值或者连续出现次数大于第二预设阈值，第一预设阈值大于第二预设阈值。
请参见图4示出的本申请实施例提供的图像识别分析方法的另一种实施方式的流程示意图；上述步骤S143的实施方式例如：对多个检测结果进行滑动窗口分析，这里的滑动窗口分析是指通过对滑动窗口内的断经目标和干扰目标进行统计分析，计算是否出发报警信号；这里的滑动窗口是指在时间维度上取一个滑动窗口，这里的滑动窗口例如设置为10帧图像，也就是说，在滑动窗口分析的检测过程中，该滑动窗口随检测帧的增加而滑动，保持滑动窗口大小为m，即滑动窗口大小可以理解为滑动窗口内的帧数。判断在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数是否满足预设条件的过程，具体例如：分别计算窗口中出现断经目标的总次数k以及连续值a，当总次数k大于第一预设阈值时(例如k>6)或连续值a大于第二预设阈值(例如a>4)时，则触发报警信号，第一预设阈值大于第二预设阈值，上述的总次数k大于第一预设阈值时或连续值a大于第二预设阈值可以理解为上述的预设条件。
步骤S144：若在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数满足预设条件，则将报警信号确定为触发缺陷报警，缺陷报警用于警示待识别图像中出现缺陷。
上述步骤S144的实施方式包括：触发报警的类型包括断经报警，其中，断经报警由在多个检测结果中缺陷目标出现的总次数k或缺陷目标连续出现次数a达到阈值时触发。
第二种实施方式，上述的目标类别还可以包括干扰目标，若从待识别图像识别出干扰目标，则可以发出干扰存在的报警信号，这里的干扰目标表征人为干扰造成待识别图像被识别为存在缺陷，这里的第二种实施方式可以包括如下步骤：
步骤S145：判断在多个检测结果中干扰目标出现的总次数和干扰目标连续出现次数是否满足预设条件，预设条件为总次数大于第一预设阈值或者连续出现次数大于第二预设阈值，第一预设阈值大于第二预设阈值。
其中，该步骤S145的实施原理和实施方式与步骤S143的实施原理和实施方式是相似或类似的，区别仅在于该步骤S145是判断干扰目标次数是否满足预设条件，而步骤S143是判断缺陷目标次数是否满足预设条件，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S143的描述。
步骤S146：若在多个检测结果中干扰目标出现的总次数和干扰目标连续出现次数满足预设条件，则将报警信号确定为触发干扰报警，干扰报警用于警示在待识别图像中存在人为干扰。
上述步骤S146的实施方式包括：触发报警的类型包括干扰报警，其中，干扰报警由在多个检测结果中干扰目标出现的总次数k或干扰目标连续出现次数a达到阈值时触发。
在上述的实现过程中，通过获得多个待识别图像，使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征；使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，并对多个检测结果对应的目标类别进行统计分析，获得报警信号；也就是说，通过对待识别图像进行识别分析出的目标对象满足报警条件，则发出报警，这里的目标对象例如：经线绷断；即在图像中发现经线绷断时，就发出报警，从而有效地提高发现产品缺陷的效率。
请参见图5示出的本申请实施例提供的电子设备与终端设备进行交互的流程示意图；可选的，执行上述图像识别分析方法的电子设备还可以与终端设备进行交互，为终端设备提供缺陷目标或干扰目标识别的服务，即从终端设备发送的待识别图像中识别出缺陷目标或干扰目标，若识别出缺陷目标或干扰目标，则向终端设备发送报警信号，那么电子设备与终端设备进行交互的过程可以包括：
步骤S210：终端设备向电子设备发送多个待识别图像，待识别图像为织布机器生产的布料图像。
步骤S220：电子设备接收终端设备发送的多个待识别图像。
上述步骤S210至步骤S220的实施方式例如：终端设备通过传输控制协议(Transmission Control Protocol，TCP)或者用户数据报协议(User Datagram Protocol，UDP)向电子设备发送多个待识别图像，且电子设备通过TCP协议或者UDP协议接收终端设备发送的多个待识别图像；其中，这里的TCP协议又名网络通讯协议，是一种面向连接的、可靠的、基于字节流的传输层通信协议；在因特网协议族中，TCP层是位于IP层之上，应用层之下的中间层；不同主机的应用层之间经常需要可靠的、像管道一样的连接，但是IP层不提供这样的流机制，而是提供不可靠的包交换；这里的UDP是User Datagram Protocol的简称，中文名是用户数据报协议，UDP协议是开放式系统互联(Open System Interconnection，OSI)参考模型中一种无连接的传输层协议。
步骤S230：电子设备使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征。
步骤S240：电子设备使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果。
步骤S250：电子设备对多个检测结果对应的目标类别进行统计分析，获得报警信号。
其中，上述步骤S230至步骤S250的实施原理和实施方式与步骤S120至步骤S140的实施原理和实施方式是相似或类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S120至步骤S140的描述。
步骤S260：电子设备向终端设备发送报警信号。
步骤S270：终端设备根据电子设备发送的报警信号触发报警，报警信号表征在布料图像中出现经线绷断的现象。
其中，上述步骤S260至步骤S270的实施原理和实施方式与步骤S210至步骤S220的实施原理和实施方式是相似或类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S210至步骤S220的描述。
在上述的实现过程中，通过向终端设备发送报警信号，报警信号用于使终端设备触发报警，报警信号表征在布料图像中出现经线绷断的现象；从而能够及时地在待识别图像中出现缺陷时发出报警信号。
请参见图6示出的本申请实施例提供的图像识别分析装置的结构示意图；本申请实施例提供了一种图像识别分析装置300，包括：
识别图像获得模块310，用于获得多个待识别图像，待识别图像为采集目标对象的图像。
图像特征获得模块320，用于使用预先训练的特征提取网络模型提取多个待识别图像的图像特征，获得多个图像特征。
检测结果获得模块330，用于使用预先训练的目标检测网络模型对多个图像特征进行识别，获得多个检测结果，检测结果包括目标类别，目标类别表征目标对象在生产过程中出现缺陷的具体类别。
报警信号获得模块340，用于对多个检测结果对应的目标类别进行统计分析，获得报警信号，报警信号表征目标对象的类别为多个检测结果对应的目标类别时触发报警。
可选地，在本申请实施例中，特征提取网络模型包括：骨干神经网络和尺度提取网络；图像特征获得模块，包括：
图像特征计算模块，用于使用骨干神经网络对待识别图像进行特征计算，获得第一特征图。
尺度特征提取模块，用于使用尺度提取网络提取第一特征图的多尺度特征，获得图像特征。
可选地，在本申请实施例中，目标检测网络模型包括：边框回归分支和分类分支，检测结果还包括检测框，以及检测框对应目标对象的类别为目标类别的概率；检测结果获得模块，包括：
检测框预测模块，用于使用边框回归分支预测图像特征中所有的检测框，检测框表征对应的待识别图像中包含目标对象的区域。
检测框分类模块，用于使用分类分支对检测框进行分类，获得检测框对应的目标对象的目标类别和目标类别对应的概率。
可选地，在本申请实施例中，目标类别包括缺陷目标，缺陷目标表征待识别图像中存在缺陷；报警信号获得模块，包括：
第一条件判断模块，用于判断在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数是否满足预设条件，预设条件为总次数大于第一预设阈值或者连续出现次数大于第二预设阈值，第一预设阈值大于第二预设阈值。
第一触发报警模块，用于若在多个检测结果中缺陷目标出现的总次数和缺陷目标连续出现次数满足预设条件，则将报警信号确定为触发缺陷报警，缺陷报警用于警示待识别图像中出现缺陷。
可选地，在本申请实施例中，目标类别还包括假缺陷目标，假缺陷目标表征图像背景与缺陷目标的背景相似度超过预设阈值造成待识别图像被识别为存在缺陷；报警信号获得模块，还包括：
假缺陷目标判断模块，用于判断检测结果对应的目标类别是否为假缺陷目标。
假缺陷目标删除模块，用于若检测结果对应的目标类别为假缺陷目标，从多个检测结果中删除假缺陷目标对应的检测结果。
可选地，在本申请实施例中，多个检测结果包括：第一检测结果和第二检测结果，检测结果还包括检测框；假缺陷目标判断模块，包括：
交并比值计算模块，用于计算第一检测结果对应的所有检测框与第二检测结果对应的所有检测框的交并比值，交并比值表征集合与集合之间的交集和并集的比例值。
交并比值判断模块，用于判断交并比值是否大于预设阈值。
假缺陷目标确定模块，用于若交并比值大于预设阈值，则确定检测结果对应的目标类别为假缺陷目标。
假缺陷目标否定模块，用于若交并比值不大于预设阈值，则确定检测结果对应的目标类别不为假缺陷目标。
可选地，在本申请实施例中，缺陷目标包括经线绷断；图像识别分析装置，还包括：
识别图像接收模块，用于接收终端设备发送的多个待识别图像，待识别图像为织布机器生产的布料图像。
报警信号发送模块，用于向终端设备发送报警信号，报警信号用于使终端设备触发报警，报警信号表征在布料图像中出现经线绷断的现象。
可选地，在本申请实施例中，目标类别包括：干扰目标，干扰目标表征人为干扰造成待识别图像被识别为存在缺陷；报警信号获得模块，包括：
第二条件判断模块，用于判断在多个检测结果中干扰目标出现的总次数和干扰目标连续出现次数是否满足预设条件，预设条件为总次数大于第一预设阈值或者连续出现次数大于第二预设阈值，第一预设阈值大于第二预设阈值。
第二触发报警模块，用于若在多个检测结果中干扰目标出现的总次数和干扰目标连续出现次数满足预设条件，则将报警信号确定为触发干扰报警，干扰报警用于警示在待识别图像中存在人为干扰。
应理解的是，该装置与上述的图像识别分析方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图7示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的机器可读指令，机器可读指令被处理器410执行时执行如上的方法。
本申请实施例还提供了一种存储介质430，该存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的方法。
其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (9)

1.一种图像识别分析方法，其特征在于，包括：
获得多个待识别图像，所述待识别图像为采集目标对象的图像，所述目标对象为制造行业中机器生产的产品；
使用预先训练的特征提取网络模型提取所述多个待识别图像的图像特征，获得多个图像特征；
使用预先训练的目标检测网络模型对所述多个图像特征进行识别，获得多个检测结果，所述检测结果包括目标类别，所述目标类别表征所述目标对象在生产过程中出现缺陷的具体类别；
对所述多个检测结果对应的目标类别进行统计分析，获得报警信号，所述报警信号表征所述目标对象的类别为所述多个检测结果对应的目标类别时触发报警；
其中，所述目标类别包括缺陷目标，所述缺陷目标表征所述待识别图像中存在缺陷；所述对所述多个检测结果对应的目标类别进行统计分析，获得报警信号，包括：判断在所述多个检测结果中所述缺陷目标出现的总次数和所述缺陷目标连续出现次数是否满足预设条件，所述预设条件为所述总次数大于第一预设阈值或者所述连续出现次数大于第二预设阈值，所述第一预设阈值大于所述第二预设阈值；若是，则将所述报警信号确定为触发缺陷报警，所述缺陷报警用于警示所述待识别图像中出现缺陷；
所述目标类别还包括假缺陷目标，所述假缺陷目标表征图像背景与缺陷目标的背景相似度超过预设阈值造成所述待识别图像被识别为存在缺陷；在所述判断在所述多个检测结果中所述缺陷目标出现的总次数和所述缺陷目标连续出现次数是否满足预设条件之前，还包括：判断所述检测结果对应的目标类别是否为所述假缺陷目标；若是，从所述多个检测结果中删除所述假缺陷目标对应的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络模型包括：骨干神经网络和尺度提取网络；所述使用预先训练的特征提取网络模型提取所述多个待识别图像的图像特征，获得多个图像特征，包括：
使用所述骨干神经网络对所述待识别图像进行特征计算，获得第一特征图；
使用所述尺度提取网络提取所述第一特征图的多尺度特征，获得所述图像特征。
3.根据权利要求1所述的方法，其特征在于，所述目标检测网络模型包括：边框回归分支和分类分支，所述检测结果还包括检测框，以及所述检测框对应目标对象的类别为目标类别的概率；所述使用预先训练的目标检测网络模型对所述多个图像特征进行识别，获得多个检测结果，包括：
使用所述边框回归分支预测所述图像特征中所有的检测框，所述检测框表征对应的待识别图像中包含目标对象的区域；
使用所述分类分支对所述检测框进行分类，获得所述检测框对应的目标对象的目标类别和所述目标类别对应的概率。
4.根据权利要求1所述的方法，其特征在于，所述多个检测结果包括：第一检测结果和第二检测结果，所述检测结果还包括检测框；所述判断所述检测结果对应的目标类别是否为所述假缺陷目标，包括：
计算所述第一检测结果对应的所有检测框与所述第二检测结果对应的所有检测框的交并比值，所述交并比值表征集合与集合之间的交集和并集的比例值；
判断所述交并比值是否大于预设阈值；
若是，则确定所述检测结果对应的目标类别为所述假缺陷目标；
若否，则确定所述检测结果对应的目标类别不为所述假缺陷目标。
5.根据权利要求4所述的方法，其特征在于，所述缺陷目标包括经线绷断；所述获得多个待识别图像，包括：
接收终端设备发送的所述多个待识别图像，所述待识别图像为织布机器生产的布料图像；
在所述获得报警信号之后，还包括：
向所述终端设备发送所述报警信号，所述报警信号用于使所述终端设备触发报警，所述报警信号表征在所述布料图像中出现所述经线绷断的现象。
6.根据权利要求1所述的方法，其特征在于，所述目标类别包括：干扰目标，所述干扰目标表征人为干扰造成所述待识别图像被识别为存在缺陷；所述对所述多个检测结果对应的目标类别进行统计分析，获得报警信号，包括：
判断在所述多个检测结果中所述干扰目标出现的总次数和所述干扰目标连续出现次数是否满足预设条件，所述预设条件为所述总次数大于第一预设阈值或者所述连续出现次数大于第二预设阈值，所述第一预设阈值大于所述第二预设阈值；
若是，则将所述报警信号确定为触发干扰报警，所述干扰报警用于警示在所述待识别图像中存在人为干扰。
7.一种图像识别分析装置，其特征在于，包括：
识别图像获得模块，用于获得多个待识别图像，所述待识别图像为采集目标对象的图像，所述目标对象为制造行业中机器生产的产品；
图像特征获得模块，用于使用预先训练的特征提取网络模型提取所述多个待识别图像的图像特征，获得多个图像特征；
检测结果获得模块，用于使用预先训练的目标检测网络模型对所述多个图像特征进行识别，获得多个检测结果，所述检测结果包括目标类别，所述目标类别表征所述目标对象在生产过程中出现缺陷的具体类别；
报警信号获得模块，用于对所述多个检测结果对应的目标类别进行统计分析，获得报警信号，所述报警信号表征所述目标对象的类别为所述多个检测结果对应的目标类别时触发报警；
其中，所述目标类别包括缺陷目标，所述缺陷目标表征所述待识别图像中存在缺陷；所述对所述多个检测结果对应的目标类别进行统计分析，获得报警信号，包括：判断在所述多个检测结果中所述缺陷目标出现的总次数和所述缺陷目标连续出现次数是否满足预设条件，所述预设条件为所述总次数大于第一预设阈值或者所述连续出现次数大于第二预设阈值，所述第一预设阈值大于所述第二预设阈值；若是，则将所述报警信号确定为触发缺陷报警，所述缺陷报警用于警示所述待识别图像中出现缺陷；
所述目标类别还包括假缺陷目标，所述假缺陷目标表征图像背景与缺陷目标的背景相似度超过预设阈值造成所述待识别图像被识别为存在缺陷；在所述判断在所述多个检测结果中所述缺陷目标出现的总次数和所述缺陷目标连续出现次数是否满足预设条件之前，还包括：判断所述检测结果对应的目标类别是否为所述假缺陷目标；若是，从所述多个检测结果中删除所述假缺陷目标对应的检测结果。
8.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的方法。
9.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的方法。
CN202010577781.6A 2020-06-22 2020-06-22 一种图像识别分析方法、装置、电子设备及存储介质 Active CN111738153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010577781.6A CN111738153B (zh) 2020-06-22 2020-06-22 一种图像识别分析方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010577781.6A CN111738153B (zh) 2020-06-22 2020-06-22 一种图像识别分析方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111738153A CN111738153A (zh) 2020-10-02
CN111738153B true CN111738153B (zh) 2022-08-09

Family

ID=72650702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010577781.6A Active CN111738153B (zh) 2020-06-22 2020-06-22 一种图像识别分析方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111738153B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344858A (zh) * 2021-05-14 2021-09-03 云从科技集团股份有限公司 特征检测方法、装置及计算机存储介质
CN113628245B (zh) * 2021-07-12 2023-10-31 中国科学院自动化研究所 多目标跟踪方法、装置、电子设备和存储介质
CN114723682A (zh) * 2022-03-22 2022-07-08 厦门微亚智能科技有限公司 产品缺陷管理方法、系统及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320945A (zh) * 2015-10-30 2016-02-10 小米科技有限责任公司 图像分类的方法及装置
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
CN110610123A (zh) * 2019-07-09 2019-12-24 北京邮电大学 一种多目标车辆检测方法、装置、电子设备及存储介质
CN111242900B (zh) * 2019-12-31 2023-04-25 电子科技大学中山学院 一种产品合格确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111738153A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738153B (zh) 一种图像识别分析方法、装置、电子设备及存储介质
CN111754498B (zh) 一种基于YOLOv3的传送带托辊检测方法
CN111368758A (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN111461212A (zh) 一种用于点云目标检测模型的压缩方法
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN115205765B (zh) 一种基于fpga的视频分析方法及系统
CN112417955A (zh) 巡检视频流处理方法及装置
CN116542975A (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN114772208B (zh) 一种基于图像分割的非接触式皮带撕裂检测系统及方法
KR102488789B1 (ko) 인공지능 기반 단일 클래스 이상 탐지 모델을 이용한 예측 분류 방법, 장치 및 프로그램
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
KR20210067606A (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN113239727A (zh) 一种人物的检测和识别方法
CN112836670A (zh) 基于自适应图网络的行人动作检测方法及装置
CN117593890B (zh) 一种道路遗撒物体的检测方法、装置、电子设备及存储介质
CN117474916B (zh) 一种图像检测方法、电子设备及存储介质
CN112307908B (zh) 一种视频语义提取方法及装置
CN117808748A (zh) 基于更丰富卷积特征边缘检测网络的电池缺陷检测方法
WO2022181303A1 (ja) アンサンブル学習システムおよびアンサンブル学習プログラム
CN117423038A (zh) 基于人工智能的晃动视频识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant