CN112464698A - 物料数量变化类别识别方法及装置 - Google Patents

物料数量变化类别识别方法及装置 Download PDF

Info

Publication number
CN112464698A
CN112464698A CN202010735393.6A CN202010735393A CN112464698A CN 112464698 A CN112464698 A CN 112464698A CN 202010735393 A CN202010735393 A CN 202010735393A CN 112464698 A CN112464698 A CN 112464698A
Authority
CN
China
Prior art keywords
image
images
fused
quantity change
adjacent frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010735393.6A
Other languages
English (en)
Inventor
黄星奕
沈飞
赵小伟
刘扬
代晴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengjing Intelligent Technology Jiaxing Co ltd
Original Assignee
Sany Heavy Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Heavy Industry Co Ltd filed Critical Sany Heavy Industry Co Ltd
Priority to CN202010735393.6A priority Critical patent/CN112464698A/zh
Publication of CN112464698A publication Critical patent/CN112464698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供物料数量变化类别识别方法及装置，涉及数量变化类别识别领域。方法包括：对比相邻两帧视频图像的物料检测结果，判断是否发生变化；计算物料状态发生变化的相邻两帧视频图像的灰度图像和差分图像，并且合并成融合图像；利用孪生网络对融合图像中任两张融合图像进行特征提取，得到对应特征；利用孪生网络对对应特征进行训练，得到物料数量变化类别识别模型；将融合任两张相邻两帧视频图像的融合图像输入到该模型，得到物料数量变化类别识别结果。本发明实施例的物料数量变化类别识别方法及装置通过利用孪生网络对任两张融合图像的对应特征进行训练获得物料数量变化类别识别模型，以改善因不同物料类别而无法识别数量变化类别的问题。

Description

物料数量变化类别识别方法及装置
技术领域
本发明涉及数量变化类别识别技术领域，尤其是涉及一种物料数量变 化类别识别方法及装置。
背景技术
现有的方法是基于分类网络对物料变化前后图像进行分类预测，包含 物料增加、物料减少两类。但实际厂房中物料的种类繁多，每种物料的数 量变化特征有着巨大差异，只通过传统的分类方法无法解决因不同物料类 别无法识别数量变化类型的问题。
发明内容
有鉴于此，本发明的目的在于提供一种物料数量变化类别识别方法及 装置，以改善因不同物料类别无法识别数量变化类型的技术问题。
第一方面，本发明实施例提供了一种物料数量变化类别识别方法，所 述方法包括以下步骤：
对比相邻两帧视频图像的物料检测结果，判断所述相邻两帧视频图像 的物料状态是否发生变化；
计算所述物料状态发生变化的所述相邻两帧视频图像的灰度图像和差 分图像，并将所述灰度图像和所述差分图像合并成融合图像；
利用孪生网络对所述融合图像中的任两张融合图像进行特征提取，分 别得到所述任两张融合图像的对应特征；
利用所述孪生网络对所述任两张融合图像的对应特征进行训练，得到 物料数量变化类别识别模型；
将融合任两张相邻两帧视频图像的灰度图像和差分图像的融合图像输 入到所述物料数量变化类别识别模型，得到物料数量变化类别识别结果。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方 式，其中，在对比相邻两帧视频图像的物料检测结果，判断所述相邻两帧 视频图像的物料状态是否发生变化的步骤之前，所述方法还包括：
以预先设定的时间间隔采集物料的多帧视频图像，并提取相邻两帧视 频图像的物料检测结果。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方 式，其中，所述视频图像为三通道彩色图像，三通道包括R通道、G通道 和B通道，所述计算所述物料状态发生变化的所述相邻两帧视频图像的灰 度图像和差分图像，并将所述灰度图像和所述差分图像合并成融合图像的 步骤，包括：
根据灰度图像计算公式利用所述三通道彩色图像分别计算所述物料状 态发生变化的所述相邻两帧视频图像各自的灰度图像，其中，所述灰度图 像计算公式为：灰度图像＝彩色图像R通道*0.299+彩色图像G通道*0.587+ 彩色图像B通道*0.114；
根据差分图像计算公式利用所述相邻两帧视频图像各自的灰度图像计 算所述物料状态发生变化的所述相邻两帧视频图像的差分图像，其中，所 述差分图像计算公式为：差分图像＝(第一灰度图像-第二灰度图像+255)/2；
将所述相邻两帧视频图像各自的灰度图像和差分图像合并成融合图 像。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方 式，其中，所述利用所述孪生网络对所述任两张融合图像的对应特征进行 训练，得到物料数量变化类别识别模型的步骤，包括：
利用所述孪生网络将所述任两张融合图像的对应特征与分类器矩阵相 乘，分别得到所述任两张融合图像中的物料数量变化类别的两个预测向量；
根据所述两个预测向量、所述两个预测向量的物料数量变化类别的第 一真实标签，以及两个预测向量的物料数量变化类别是否一致的第二真实 标签，构建损失函数；
根据所述损失函数的值更新所述孪生网络和分类器中的参数，并当更 新完所述孪生网络和所述分类器中的所有参数之后，进行下一次迭代；
当所述损失函数的值小于预先确定的阈值时迭代终止，将所述孪生网 络和所述分类器中的最终参数组合得到物料数量变化类别识别模型。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方 面的第四种可能的实施方式，其中，所述根据所述损失函数的值更新所述 孪生网络和分类器中的参数的步骤，包括：
根据所述损失函数的值基于随机梯度下降法计算所述损失函数对所述 孪生网络和分类器中的参数的梯度；
将所述梯度再乘以学习率得到所述参数的变化值，并结合更新前的所 述参数，得到更新后的所述参数。
第二方面，本发明实施例还提供一种物料数量变化类别识别装置，所 述装置包括：
判断模块，用于对比相邻两帧视频图像的物料检测结果，判断所述相 邻两帧视频图像的物料状态是否发生变化；
计算模块，用于计算所述物料状态发生变化的所述相邻两帧视频图像 的灰度图像和差分图像，并将所述灰度图像和所述差分图像合并成融合图 像；
特征提取模块，用于利用孪生网络对所述融合图像中的任两张融合图 像进行特征提取，分别得到所述任两张融合图像的对应特征；
训练模块，用于利用所述孪生网络对所述任两张融合图像的对应特征 进行训练，得到物料数量变化类别识别模型；
输入模块，用于将融合任两张相邻两帧视频图像的灰度图像和差分图 像的融合图像输入到所述物料数量变化类别识别模型，得到物料数量变化 类别识别结果。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方 式，其中，所述视频图像为三通道彩色图像，三通道包括R通道、G通道 和B通道，所述计算模块用于：
根据灰度图像计算公式利用所述三通道彩色图像分别计算所述物料状 态发生变化的所述相邻两帧视频图像各自的灰度图像，其中，所述灰度图 像计算公式为：灰度图像＝彩色图像R通道*0.299+彩色图像G通道*0.587+ 彩色图像B通道*0.114；
根据差分图像计算公式利用所述相邻两帧视频图像各自的灰度图像计 算所述物料状态发生变化的所述相邻两帧视频图像的差分图像，其中，所 述差分图像计算公式为：差分图像＝(第一灰度图像-第二灰度图像+255)/2；
将所述相邻两帧视频图像各自的灰度图像和差分图像合并成融合图 像。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方 式，其中，所述训练模块用于：
利用所述孪生网络将所述任两张融合图像的对应特征与分类器矩阵相 乘，分别得到所述任两张融合图像中的物料数量变化类别的两个预测向量；
根据所述两个预测向量、所述两个预测向量的物料数量变化类别的第 一真实标签，以及两个预测向量的物料数量变化类别是否一致的第二真实 标签，构建损失函数；
根据所述损失函数的值更新所述孪生网络和分类器中的参数，并当更 新完所述孪生网络和所述分类器中的所有参数之后，进行下一次迭代；
当所述损失函数的值小于预先确定的阈值时迭代终止，将所述孪生网 络和所述分类器中的最终参数组合得到物料数量变化类别识别模型。
第三方面，本发明实施例还提供一种服务器，所述服务器包括：处理 器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指 令，所述处理器执行所述计算机可执行指令以实现上文所述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算 机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处 理器调用和执行时，所述计算机可执行指令促使处理器实现上文所述的方 法。
本发明实施例带来了以下有益效果：本发明实施例提供的一种物料数 量变化类别识别方法及装置，通过对比相邻两帧视频图像的物料检测结果， 判断是否发生变化；通过计算物料状态发生变化的相邻两帧视频图像的灰 度图像和差分图像，并且合并成融合图像；利用孪生网络对融合图像中任 两张融合图像进行特征提取，得到对应特征；利用孪生网络对对应特征进 行训练，得到物料数量变化类别识别模型；将融合任两张相邻两帧视频图 像的融合图像输入到该模型，得到物料数量变化类别识别结果。本发明实 施例的物料数量变化类别识别方法及装置通过利用孪生网络对任两张融合 图像的对应特征进行训练获得物料数量变化类别识别模型，以改善因不同 物料类别而无法识别数量变化类别的问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且部分地从说 明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他 优点在说明书、权利要求书以及附图中所特别指出的结构中实现和获得。
为使本发明的上述目的、特征和优点能够更加明显易懂，下文特举优 选实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明的具体实施方式或现有技术中的技术方案， 下面将对具体实施方式或现有技术描述中所需要使用的附图进行简单的介 绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领 域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。
图1为本发明实施例提供的一种物料数量变化类别识别方法的流程图；
图2为本发明实施例提供的另一种物料数量变化类别识别方法的流程 图；
图3本发明实施例提供的一种物料数量变化类别识别装置的结构框图；
图4为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附 图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本 领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都 属于本发明保护的范围。
现有的方法是基于分类网络对物料变化前后图像进行分类预测，包含 物料增加、物料减少两类。但实际厂房中物料的种类繁多，每种物料的数 量变化特征有着巨大差异，只通过传统的分类方法无法解决因不同物料类 别无法识别数量变化类型的问题。基于此，本发明实施例提供了一种物料 数量变化类别识别方法及装置，以缓解上述问题。
为了便于对本实施例进行理解，首先对本发明实施例所公开的一种物 料数量变化类别识别方法进行详细介绍。
在一种可能的实施方式中，本发明提供了一种物料数量变化类别识别 方法。如图1所示为本发明实施例提供的一种物料数量变化类别识别方法 的流程图，该方法包括以下步骤：
步骤S102：对比相邻两帧视频图像的物料检测结果，判断所述相邻两 帧视频图像的物料状态是否发生变化。
步骤S104：计算所述物料状态发生变化的所述相邻两帧视频图像的灰 度图像和差分图像，并将所述灰度图像和所述差分图像合并成融合图像。
步骤S106：利用孪生网络对所述融合图像中的任两张融合图像进行特 征提取，分别得到所述任两张融合图像的对应特征。
其中，孪生网络为两个层级结构和参数完全相同的网络，输入成对图 像并且输出成对特征向量，用于对比成对特征向量的距离。
步骤S108：利用所述孪生网络对所述任两张融合图像的对应特征进行 训练，得到物料数量变化类别识别模型。
步骤S110：将融合任两张相邻两帧视频图像的灰度图像和差分图像的 融合图像输入到所述物料数量变化类别识别模型，得到物料数量变化类别 识别结果。
本发明实施例带来了以下有益效果：本发明实施例通过一种物料数量 变化类别识别方法，通过对比相邻两帧视频图像的物料检测结果，判断是 否发生变化；通过计算物料状态发生变化的相邻两帧视频图像的灰度图像 和差分图像，并且合并成融合图像；利用孪生网络对融合图像中任两张融 合图像进行特征提取，得到对应特征；利用孪生网络对对应特征进行训练， 得到物料数量变化类别识别模型；将融合任两张相邻两帧视频图像的融合 图像输入到该模型，得到物料数量变化类别识别结果。本发明实施例的物 料数量变化类别识别方法及装置通过利用孪生网络对任两张融合图像的对 应特征进行训练获得物料数量变化类别识别模型，以改善因不同物料类别 而无法识别数量变化类别的问题。
在实际使用时，为了对图1中的方法的过程进行更加详细的描述，本 发明实施例在图2中示出了本发明实施例提供的另一种物料数量变化类别 识别方法的流程图，该方法包括以下步骤：
步骤S202：以预先设定的时间间隔采集物料的多帧视频图像，并提 取相邻两帧视频图像的物料检测结果。
步骤S204：对比相邻两帧视频图像的物料检测结果，判断所述相邻两 帧视频图像的物料状态是否发生变化。
步骤S206：根据灰度图像计算公式利用所述三通道彩色图像分别计算 所述物料状态发生变化的所述相邻两帧视频图像各自的灰度图像。
其中，所述灰度图像计算公式为：灰度图像＝彩色图像R通道*0.299+ 彩色图像G通道*0.587+彩色图像B通道*0.114。
步骤S208：根据差分图像计算公式利用所述相邻两帧视频图像各自的 灰度图像计算所述物料状态发生变化的所述相邻两帧视频图像的差分图 像。
其中，所述差分图像计算公式为：差分图像＝(第一灰度图像-第二灰度 图像+255)/2。
步骤S210：将所述相邻两帧视频图像各自的灰度图像和差分图像合并 成融合图像。
步骤S212：利用孪生网络对所述融合图像中的任两张融合图像进行特 征提取，分别得到所述任两张融合图像的对应特征。
步骤S214：利用所述孪生网络将所述任两张融合图像的对应特征与分 类器矩阵相乘，分别得到所述任两张融合图像中的物料数量变化类别的两 个预测向量。
其中，根据任两张融合图像的对应特征与分类器矩阵相乘，得到表征 物料数量变化类别的两个预测向量Pc(A)、Pc(B)，其中该两个预测向量为 k维向量，代表k个类别的预测概率值，其中本发明中k＝3，类别分别为物 料增加、减少和无变化三类。
步骤S216：根据所述两个预测向量、所述两个预测向量的物料数量变 化类别的第一真实标签，以及两个预测向量的物料数量变化类别是否一致 的第二真实标签，构建损失函数。
其中，输入两个预测向量的物料数量变化类别的第一真实标签，以及 两个预测向量的物料数量变化类别是否一致的第二真实标签，建立 Softmax-loss函数Lc和Contrastive-loss函数Ls，其中Lc监督单张图像的 预测向量和真实标签，Ls监督成对图像物料数量变化是否一致，由此计算
Figure RE-RE-GDA0002724014420000098
Lc(Pc(B)，Gc(B))和Ls(d(Pc(A)，Pc(B))，Gs(A，B))，即
Figure RE-GDA0002724014420000091
Figure RE-GDA0002724014420000092
其中
Figure RE-GDA0002724014420000093
表示Pc(A)向量中第t类概率，
Figure RE-GDA0002724014420000094
表示Pc(A)向量中类 别为真实标签的概率，
Figure RE-GDA0002724014420000095
和
Figure RE-GDA0002724014420000096
同理。
Figure RE-GDA0002724014420000097
I(Gs(A，B)＝0)*max(1-d(pc(A)，pc(B))2，0)
其中I(x)为示性函数，Gs(A，B)＝1表示两张图像物料数量变化类别相同， Gs(A，B)＝0表示两张图像物料数量变化类别不同。若两张图像物料数量变化 类别相同，特征距离d(Pc(A)，Pc(B))越小，则损失函数值 Ls(d(Pc(A)，Pc(B))，Gs(A，B))越小；若两张图像物料数量变化类别不同，特征距 离d(Pc(A)，Pc(B))越大，则损失函数值Ls(d(Pc(A)，Pc(B))，Gs(A，B))越小。
构建联合损失函数L作为最终损失函数，即
L(θ，)＝Lc(Pc(A)，Gc(A))-Lc(Pc(B)，Gc(B))-Ls(d(Pc(A)，Pc(B))，Gs(A，B))；
计算联合损失函数值L，根据随机梯度下降法，更新孪生网络N和分类 器C中的参数。
步骤S218：根据所述损失函数的值更新所述孪生网络和分类器中的参 数，并当更新完所述孪生网络和所述分类器中的所有参数之后，进行下一 次迭代。
其中，根据所述损失函数的值更新所述孪生网络和分类器中的参数的 步骤通过以下步骤实现：
(1)根据所述损失函数的值基于随机梯度下降法计算所述损失函数对 所述孪生网络和分类器中的参数的梯度。
(2)将所述梯度再乘以学习率得到所述参数的变化值，并结合更新前 的所述参数，得到更新后的所述参数。
步骤S220：当所述损失函数的值小于预先确定的阈值时迭代终止，将 所述孪生网络和所述分类器中的最终参数组合得到物料数量变化类别识别 模型。
步骤S222：将融合任两张相邻两帧视频图像的灰度图像和差分图像的 融合图像输入到所述物料数量变化类别识别模型，得到物料数量变化类别 识别结果。
综上所述，本发明的物料数量变化类别识别方法及装置，通过对比相 邻两帧视频图像的物料检测结果，判断是否发生变化；通过计算物料状态 发生变化的相邻两帧视频图像的灰度图像和差分图像，并且合并成融合图 像；利用孪生网络对融合图像中任两张融合图像进行特征提取，得到对应 特征；利用孪生网络对对应特征进行训练，得到物料数量变化类别识别模 型；将融合任两张相邻两帧视频图像的融合图像输入到该模型，得到物料数量变化类别识别结果。本发明实施例的物料数量变化类别识别方法及装 置通过利用孪生网络对任两张融合图像的对应特征进行训练获得物料数量 变化类别识别模型，以改善因不同物料类别而无法识别数量变化类别的问 题。
在另一种可能的实施方式中，对应于上述实施方式提供的物料数量变 化类别识别方法，本发明实施例还提供了一种物料数量变化类别识别装置， 图3本发明实施例提供的一种物料数量变化类别识别装置的结构框图。如 图3所示，该装置包括：
判断模块301，用于对比相邻两帧视频图像的物料检测结果，判断所述 相邻两帧视频图像的物料状态是否发生变化；
计算模块302，用于计算所述物料状态发生变化的所述相邻两帧视频图 像的灰度图像和差分图像，并将所述灰度图像和所述差分图像合并成融合 图像；
特征提取模块303，用于利用孪生网络对所述融合图像中的任两张融合 图像进行特征提取，分别得到所述任两张融合图像的对应特征；
训练模块304，用于利用所述孪生网络对所述任两张融合图像的对应特 征进行训练，得到物料数量变化类别识别模型；
输入模块305，用于将融合任两张相邻两帧视频图像的灰度图像和差分 图像的融合图像输入到所述物料数量变化类别识别模型，得到物料数量变 化类别识别结果。
在实际使用时，所述视频图像为三通道彩色图像，三通道包括R通道、 G通道和B通道，所述计算模块用于：
根据灰度图像计算公式利用所述三通道彩色图像分别计算所述物料状 态发生变化的所述相邻两帧视频图像各自的灰度图像，其中，所述灰度图 像计算公式302为：灰度图像＝彩色图像R通道*0.299+彩色图像G通 道*0.587+彩色图像B通道*0.114；
根据差分图像计算公式利用所述相邻两帧视频图像各自的灰度图像计 算所述物料状态发生变化的所述相邻两帧视频图像的差分图像，其中，所 述差分图像计算公式为：差分图像＝(第一灰度图像-第二灰度图像+255)/2；
将所述相邻两帧视频图像各自的灰度图像和差分图像合并成融合图像
在实际使用时，所述训练模块用于：
利用所述孪生网络将所述任两张融合图像的对应特征与分类器矩阵相 乘，分别得到所述任两张融合图像中的物料数量变化类别的两个预测向量；
根据所述两个预测向量、所述两个预测向量的物料数量变化类别的第 一真实标签，以及两个预测向量的物料数量变化类别是否一致的第二真实 标签，构建损失函数；
根据所述损失函数的值更新所述孪生网络和分类器中的参数，并当更 新完所述孪生网络和所述分类器中的所有参数之后，进行下一次迭代；
当所述损失函数的值小于预先确定的阈值时迭代终止，将所述孪生网 络和所述分类器中的最终参数组合得到物料数量变化类别识别模型。
在又一种可能的实施方式中，本发明实施例还提供了一种服务器，图4 示出了本发明实施例提供的一种服务器的结构示意图，参见图4，该服务器 包括：处理器400、存储器401、总线402和通信接口403，该处理器400、 存储器401、通信接口403和通过总线402连接；处理器400用于执行存储 器401中存储的可执行模块，例如计算机程序。
其中，存储器401存储有能够被处理器400执行的计算机可执行指令， 处理器400执行计算机可执行指令以实现上文所述的方法。
进一步地，存储器401可能包含高速随机存取存储器(RAM，Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)， 例如至少一个磁盘存储器。通过至少一个通信接口403(可以是有线或者无 线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联 网，广域网，本地网，城域网等。
总线402可以是ISA总线、PCI总线或EISA总线等。该总线可以分为 地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭 头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器401用于存储程序，处理器400在接收到程序执行指令 后，执行所述程序，前述本发明实施例任一实施例揭示的物料数量变化类 别识别方法可以应用于处理器400中，或者由处理器400实现。
此外，处理器400可能是一种集成电路芯片，具有信号的处理能力。 在实现过程中，上述方法的各步骤可以通过处理器400中的硬件的集成逻 辑电路或者软件形式的指令完成。上述的处理器400可以是通用处理器， 包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing， 简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称 ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或 者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可 以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用 处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合 本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完 成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以 位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可 编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器 401，处理器400读取存储器401中的信息，结合其硬件完成上述方法的步 骤。
在又一种可能的实施方式中，本发明实施例还提供了一种计算机可读 存储介质，计算机可读存储介质存储有计算机可执行指令，所述计算机可 执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上 文所述的方法。
本发明实施例提供的物料数量变化类别识别装置，与上述实施例提供 的物料数量变化类别识别方法具有相同的技术特征，所以也能解决相同的 技术问题，达到相同的技术效果。
本发明实施例所提供的物料数量变化类别识别方法及装置的计算机程 序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括 的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实 施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述 描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在 此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可 拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直 接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对 于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含 义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发 明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服 务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，ReaD-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或 者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、 “右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所 示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示 或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作， 因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用 于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说 明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此， 尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理 解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然 可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对 其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在 本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范 围为准。

Claims (10)

1.一种物料数量变化类别识别方法，其特征在于，所述方法包括以下步骤：
对比相邻两帧视频图像的物料检测结果，判断所述相邻两帧视频图像的物料状态是否发生变化；
计算所述物料状态发生变化的所述相邻两帧视频图像的灰度图像和差分图像，并将所述灰度图像和所述差分图像合并成融合图像；
利用孪生网络对所述融合图像中的任两张融合图像进行特征提取，分别得到所述任两张融合图像的对应特征；
利用所述孪生网络对所述任两张融合图像的对应特征进行训练，得到物料数量变化类别识别模型；
将融合任两张相邻两帧视频图像的灰度图像和差分图像的融合图像输入到所述物料数量变化类别识别模型，得到物料数量变化类别识别结果。
2.根据权利要求1所述的方法，其特征在于，在对比相邻两帧视频图像的物料检测结果，判断所述相邻两帧视频图像的物料状态是否发生变化的步骤之前，所述方法还包括：
以预先设定的时间间隔采集物料的多帧视频图像，并提取相邻两帧视频图像的物料检测结果。
3.根据权利要求1所述的方法，其特征在于，所述视频图像为三通道彩色图像，三通道包括R通道、G通道和B通道，所述计算所述物料状态发生变化的所述相邻两帧视频图像的灰度图像和差分图像，并将所述灰度图像和所述差分图像合并成融合图像的步骤，包括：
根据灰度图像计算公式利用所述三通道彩色图像分别计算所述物料状态发生变化的所述相邻两帧视频图像各自的灰度图像，其中，所述灰度图像计算公式为：灰度图像＝彩色图像R通道*0.299+彩色图像G通道*0.587+彩色图像B通道*0.114；
根据差分图像计算公式利用所述相邻两帧视频图像各自的灰度图像计算所述物料状态发生变化的所述相邻两帧视频图像的差分图像，其中，所述差分图像计算公式为：差分图像＝(第一灰度图像-第二灰度图像+255)/2；
将所述相邻两帧视频图像各自的灰度图像和差分图像合并成融合图像。
4.根据权利要求1所述的方法，其特征在于，所述利用所述孪生网络对所述任两张融合图像的对应特征进行训练，得到物料数量变化类别识别模型的步骤，包括：
利用所述孪生网络将所述任两张融合图像的对应特征与分类器矩阵相乘，分别得到所述任两张融合图像中的物料数量变化类别的两个预测向量；
根据所述两个预测向量、所述两个预测向量的物料数量变化类别的第一真实标签，以及任两预测向量的物料数量变化类别是否一致的第二真实标签，构建损失函数；
根据所述损失函数的值更新所述孪生网络和分类器中的参数，并当更新完所述孪生网络和所述分类器中的所有参数之后，进行下一次迭代；
当所述损失函数的值小于预先确定的阈值时迭代终止，将所述孪生网络和所述分类器中的最终参数组合得到物料数量变化类别识别模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述损失函数的值更新所述孪生网络和分类器中的参数的步骤，包括：
根据所述损失函数的值基于随机梯度下降法计算所述损失函数对所述孪生网络和分类器中的参数的梯度；
将所述梯度再乘以学习率得到所述参数的变化值，并结合更新前的所述参数，得到更新后的所述参数。
6.一种物料数量变化类别识别装置，其特征在于，所述装置包括：
判断模块，用于对比相邻两帧视频图像的物料检测结果，判断所述相邻两帧视频图像的物料状态是否发生变化；
计算模块，用于计算所述物料状态发生变化的所述相邻两帧视频图像的灰度图像和差分图像，并将所述灰度图像和所述差分图像合并成融合图像；
特征提取模块，用于利用孪生网络对所述融合图像中的任两张融合图像进行特征提取，分别得到所述任两张融合图像的对应特征；
训练模块，用于利用所述孪生网络对所述任两张融合图像的对应特征进行训练，得到物料数量变化类别识别模型；
输入模块，用于将融合任两张相邻两帧视频图像的灰度图像和差分图像的融合图像输入到所述物料数量变化类别识别模型，得到物料数量变化类别识别结果。
7.根据权利要求6所述的装置，其特征在于，所述视频图像为三通道彩色图像，三通道包括R通道、G通道和B通道，所述计算模块用于：
根据灰度图像计算公式利用所述三通道彩色图像分别计算所述物料状态发生变化的所述相邻两帧视频图像各自的灰度图像，其中，所述灰度图像计算公式为：灰度图像＝彩色图像R通道*0.299+彩色图像G通道*0.587+彩色图像B通道*0.114；
根据差分图像计算公式利用所述相邻两帧视频图像各自的灰度图像计算所述物料状态发生变化的所述相邻两帧视频图像的差分图像，其中，所述差分图像计算公式为：差分图像＝(第一灰度图像-第二灰度图像+255)/2；
将所述相邻两帧视频图像各自的灰度图像和差分图像合并成融合图像。
8.根据权利要求7所述的装置，其特征在于，所述训练模块用于：
利用所述孪生网络将所述任两张融合图像的对应特征与分类器矩阵相乘，分别得到所述任两张融合图像中的物料数量变化类别的两个预测向量；
根据所述两个预测向量、所述两个预测向量的物料数量变化类别的第一真实标签，以及两个预测向量的物料数量变化类别是否一致的第二真实标签，构建损失函数；
根据所述损失函数的值更新所述孪生网络和分类器中的参数，并当更新完所述孪生网络和所述分类器中的所有参数之后，进行下一次迭代；
当所述损失函数的值小于预先确定的阈值时迭代终止，将所述孪生网络和所述分类器中的最终参数组合得到物料数量变化类别识别模型。
9.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至5任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1至5任一项所述的方法。
CN202010735393.6A 2020-07-27 2020-07-27 物料数量变化类别识别方法及装置 Pending CN112464698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010735393.6A CN112464698A (zh) 2020-07-27 2020-07-27 物料数量变化类别识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010735393.6A CN112464698A (zh) 2020-07-27 2020-07-27 物料数量变化类别识别方法及装置

Publications (1)

Publication Number Publication Date
CN112464698A true CN112464698A (zh) 2021-03-09

Family

ID=74834017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010735393.6A Pending CN112464698A (zh) 2020-07-27 2020-07-27 物料数量变化类别识别方法及装置

Country Status (1)

Country Link
CN (1) CN112464698A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723376A (zh) * 2021-11-02 2021-11-30 杭州未名信科科技有限公司 智能屏显数据采集方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815882A (zh) * 2019-01-21 2019-05-28 南京行者易智能交通科技有限公司 一种基于图像识别的地铁车厢客流密度监控系统及方法
CN110555405A (zh) * 2019-08-30 2019-12-10 北京迈格威科技有限公司 目标跟踪方法及装置、存储介质和电子设备
CN110765990A (zh) * 2019-12-30 2020-02-07 浙江啄云智能科技有限公司 一种物品智能检测方法及系统、一种计算设备及存储介质
CN111008561A (zh) * 2019-10-31 2020-04-14 重庆小雨点小额贷款有限公司 一种牲畜的数量确定方法、终端及计算机存储介质
CN111275137A (zh) * 2020-03-26 2020-06-12 南京工业大学 基于专属孪生网络模型的茶叶验真方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815882A (zh) * 2019-01-21 2019-05-28 南京行者易智能交通科技有限公司 一种基于图像识别的地铁车厢客流密度监控系统及方法
CN110555405A (zh) * 2019-08-30 2019-12-10 北京迈格威科技有限公司 目标跟踪方法及装置、存储介质和电子设备
CN111008561A (zh) * 2019-10-31 2020-04-14 重庆小雨点小额贷款有限公司 一种牲畜的数量确定方法、终端及计算机存储介质
CN110765990A (zh) * 2019-12-30 2020-02-07 浙江啄云智能科技有限公司 一种物品智能检测方法及系统、一种计算设备及存储介质
CN111275137A (zh) * 2020-03-26 2020-06-12 南京工业大学 基于专属孪生网络模型的茶叶验真方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723376A (zh) * 2021-11-02 2021-11-30 杭州未名信科科技有限公司 智能屏显数据采集方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108520229B (zh) 图像检测方法、装置、电子设备和计算机可读介质
CN108470354B (zh) 视频目标跟踪方法、装置和实现装置
CN112016438B (zh) 一种基于图神经网络识别证件的方法及系统
CN110211119B (zh) 图像质量评估方法、装置、电子设备及可读存储介质
CN111353549B (zh) 图像标签的核验方法及装置、电子设备、存储介质
TW202013248A (zh) 車輛損壞識別方法及裝置
CN110688893A (zh) 佩戴安全帽的检测方法、模型训练方法及相关装置
CN108579094B (zh) 一种用户界面检测方法及相关装置、系统和存储介质
CN112183672A (zh) 图像分类方法、特征提取网络的训练方法和装置
CN111813997A (zh) 入侵分析方法、装置、设备及存储介质
CN112101300A (zh) 药材识别方法、装置及电子设备
CN113283414A (zh) 行人属性识别方法、相关设备及计算机可读存储介质
CN111401339A (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
CN112464698A (zh) 物料数量变化类别识别方法及装置
CN111967382A (zh) 年龄估计方法、年龄估计模型的训练方法及装置
CN113743378B (zh) 一种基于视频的火情监测方法和装置
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN114398350A (zh) 训练数据集的清洗方法、装置及服务器
CN112989334A (zh) 一种机器学习的数据检测方法及相关设备
CN113222043A (zh) 一种图像分类方法、装置、设备及存储介质
CN116959099A (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN111340139A (zh) 一种图像内容复杂度的判别方法及装置
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN114359796A (zh) 一种目标识别的方法、装置及电子设备
CN113569829A (zh) 集装箱编码数据识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230605

Address after: 314506 room 116, building 4, No. 288, development avenue, Tongxiang Economic Development Zone, Tongxiang City, Jiaxing City, Zhejiang Province

Applicant after: Shengjing Intelligent Technology (Jiaxing) Co.,Ltd.

Address before: 102200 5th floor, building 6, No.8 Beiqing Road, Changping District, Beijing

Applicant before: SANY HEAVY INDUSTRY Co.,Ltd.