CN111210412A - 一种包装检测方法、装置、电子设备及存储介质 - Google Patents

一种包装检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111210412A
CN111210412A CN201911426161.6A CN201911426161A CN111210412A CN 111210412 A CN111210412 A CN 111210412A CN 201911426161 A CN201911426161 A CN 201911426161A CN 111210412 A CN111210412 A CN 111210412A
Authority
CN
China
Prior art keywords
package
image
model
detection
prediction result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911426161.6A
Other languages
English (en)
Other versions
CN111210412B (zh
Inventor
陈晨
董帅
李文生
邹昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN201911426161.6A priority Critical patent/CN111210412B/zh
Publication of CN111210412A publication Critical patent/CN111210412A/zh
Application granted granted Critical
Publication of CN111210412B publication Critical patent/CN111210412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种包装检测方法、装置、电子设备及存储介质，用于改善对产品包装进行检测的准确率较低的问题。该方法包括：获得第一包装图像和第二包装图像，第一包装图像和第二包装图像均是采集目标产品的包装获得的；使用机器视觉模型预测第一包装图像中是否有缺陷，获得第一预测结果；使用神经网络模型预测第二包装图像中是否有候选边框，获得第二预测结果，候选边框表征第二包装图像中存在缺陷的位置范围；根据第一预测结果和第二预测结果确定目标产品的检测结果，检测结果表征目标产品是否合格。

Description

一种包装检测方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能和图像识别的技术领域，具体而言，涉及一种包装检测方法、装置、电子设备及存储介质。
背景技术
目前，在食品加工过程中，食品封口的检测是极其重要的一个环节，对食品封口进行检测的具体方法例如：检测产品包装是否破损、密封是否不良和是否有连在一起的包装等等。目前对产品包装进行检测的方法，主要包括：人工检测方法、超声波检测法、压差法、射线检测法、红外无损检测法等方法；然而在具体的实践的过程中发现，使用这些方法对产品包装进行检测的准确率较低。
发明内容
本申请实施例的目的在于提供一种包装检测方法、装置、电子设备及存储介质，用于改善对产品包装进行检测的准确率较低的问题。
本申请实施例提供了一种包装检测方法，包括：获得第一包装图像和第二包装图像，所述第一包装图像和所述第二包装图像均是采集目标产品的包装获得的；使用机器视觉模型预测所述第一包装图像中是否有缺陷，获得第一预测结果；使用神经网络模型预测所述第二包装图像中是否有候选边框，获得第二预测结果，所述候选边框表征所述第二包装图像中存在缺陷的位置范围；根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，所述检测结果表征目标产品是否合格。在上述的实现过程中，通过使用机器视觉模型预测目标产品的第一包装图像中是否有缺陷，获得第一预测结果；使用神经网络模型预测目标产品的第二包装图像中是否有候选边框，获得第二预测结果；再根据第一预测结果和第二预测结果确定目标产品的检测结果，检测结果表征目标产品是否合格；产品的包装图像是否有缺陷问题，既可以当做分类问题，也可以当做目标检测问题，因此，根据第一预测结果和第二预测结果共同确定目标产品是否合格，可以提高对产品包装进行检测的准确率，即提高了检测产品包装是否有缺陷的准确率。
可选地，在本申请实施例中，所述根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，包括：若所述第一预测结果为无缺陷，且所述第二预测结果为有边框，则确定所述目标产品的检测结果为不合格。在上述的实现过程中，通过若第一预测结果为无缺陷，且第二预测结果为有边框，则确定目标产品的检测结果为不合格；从而提高了检测产品包装是否有缺陷的准确率。
可选地，在本申请实施例中，所述根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，包括：若所述第一预测结果为无缺陷，且所述第二预测结果为无边框，则确定所述目标产品的检测结果为合格。在上述的实现过程中，通过若第一预测结果为无缺陷，且第二预测结果为无边框，则确定目标产品的检测结果为合格；从而提高了检测产品包装是否有缺陷的准确率。
可选地，在本申请实施例中，所述根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，还包括：若所述第一预测结果为有缺陷，则确定所述目标产品的检测结果为不合格。在上述的实现过程中，通过若第一预测结果为有缺陷，则确定目标产品的检测结果为不合格；从而提高了检测产品包装是否有缺陷的准确率。
可选地，在本申请实施例中，所述神经网络模型包括：目标检测模型；在所述使用神经网络模型预测所述第二包装图像中是否有候选边框，获得第二预测结果之前，还包括：获得多个包装图像和多个图像标签，所述包装图像为产品包装的图像，所述图像标签为所述产品包装的分类标签；以所述多个包装图像为训练数据，以所述多个图像标签为训练标签，对目标检测网络进行训练，获得所述目标检测模型。在上述的实现过程中，通过获得多个包装图像和多个图像标签，包装图像为产品包装的图像，图像标签为产品包装的分类标签；以多个包装图像为训练数据，以多个图像标签为训练标签，对目标检测网络进行训练，获得目标检测模型；从而有效地提高了对目标检测模型进行训练的速度。
可选地，在本申请实施例中，在所述对目标检测网络进行训练之前，还包括：获得目标检测神经网络，所述目标检测神经网络包括：定位分支和分类分支；将所述分类分支从所述目标检测神经网络中删除，获得所述目标检测网络。在上述的实现过程中，通过获得目标检测神经网络，目标检测神经网络包括：定位分支和分类分支；将分类分支从目标检测神经网络中删除，获得目标检测网络；使用目标检测网络进行训练，因为减少了分类分支，从而减少了需要训练的权重参数，所以有效地提高了获得目标检测模型的速度。
可选地，在本申请实施例中，所述目标检测模型包括：YOLO模型、RCNN模型、fastRCNN模型或者fasterRCNN模型。在上述的实现过程中，目标检测模型采用YOLO模型、RCNN模型、fastRCNN模型或者fasterRCNN模型，从而提高了对目标检测模型进行训练的速度。
本申请实施例还提供了一种包装检测装置，包括：图像获得模块，用于获得第一包装图像和第二包装图像，所述第一包装图像和所述第二包装图像均是采集目标产品的包装获得的；第一预测模块，用于使用机器视觉模型预测所述第一包装图像中是否有缺陷，获得第一预测结果；第二预测模块，用于使用神经网络模型预测所述第二包装图像中是否有候选边框，获得第二预测结果，所述候选边框表征所述第二包装图像中存在缺陷的位置范围；结果确定模块，用于根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，所述检测结果表征目标产品是否合格。
可选地，在本申请实施例中，所述结果确定模块，包括：第一确定模块，用于若所述第一预测结果为无缺陷，且所述第二预测结果为有边框，则确定所述目标产品的检测结果为不合格。
可选地，在本申请实施例中，所述结果确定模块，包括：第二确定模块，用于若所述第一预测结果为无缺陷，且所述第二预测结果为无边框，则确定所述目标产品的检测结果为合格。
可选地，在本申请实施例中，所述结果确定模块，还包括：第三确定模块，用于若所述第一预测结果为有缺陷，则确定所述目标产品的检测结果为不合格。
可选地，在本申请实施例中，所述神经网络模型包括：目标检测模型；还包括：第一获得模块，用于获得多个包装图像和多个图像标签，所述包装图像为产品包装的图像，所述图像标签为所述产品包装的分类标签；第二获得模块，用于以所述多个包装图像为训练数据，以所述多个图像标签为训练标签，对目标检测网络进行训练，获得所述目标检测模型。
可选地，在本申请实施例中，还包括：第三获得模块，用于获得目标检测神经网络，所述目标检测神经网络包括：定位分支和分类分支；第四获得模块，用于将所述分类分支从所述目标检测神经网络中删除，获得所述目标检测网络。
可选地，在本申请实施例中，所述目标检测模型包括：YOLO模型、RCNN模型、fastRCNN模型或者fasterRCNN模型。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如上所述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的包装检测方法的示意图；
图2示出的本申请实施例提供的模型构造阶段方法和模型训练阶段方法的示意图；
图3示出的本申请实施例提供的包装检测装置示意图；
图4示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的包装检测方法之前，先介绍本申请实施例所涉及的一些概念，本申请实施例所涉及的一些概念如下：
人工智能(Artificial Intelligence，AI)，是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。它是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术；其中，图像识别相关的任务例如：字符识别、目标检测和语义分割图像等等。
包装图像，是指目标产品包装的图像，能够用来确认目标产品是否合格的包装图像；这里的包装是指物件外部的保护层和装饰，不同的物件有不同的包装方式和材质，一些容器如盒子等也是专作为包装之用；这里的合格的标准包括：检测产品包装是否破损、密封是否不良和是否有连在一起的包装等等。
机器视觉(Machine Vision)是配备有感测视觉仪器的检测机器，这里的感测视觉仪器例如可以是自动对焦相机或传感器，其中的光学检测仪器占有比重非常高，可用于检测出各种产品的缺陷，或者用与判断并选择出物体，或者用来测量尺寸等。
模式匹配(pattern matching)，也称为串匹配(string matching)，是指数据结构中字符串的一种基本运算，假设给定一个子字符串，要求在某个字符串中找出与该子字符串相同的所有子字符串，这就是模式匹配；具体例如：给定一组特定的字符串集合P，对于任意的一个字符串T，找出P中的字符串在T中的所有出现位置。
支持向量机(Support Vector Machine，SVM)，是指一种监督式的机器学习算法，即通过将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面，从而实现对样本进行分类或回归分析，那些在间隔区边缘的训练样本点即为支持向量。
神经网络(Neural Networks，NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。
卷积神经网络(Convolutional Neural Networks，CNN)，是一种人工神经网络，人工神经网络的人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。
RCNN的全称是RegionCNN，翻译为区域卷积神经网络，是第一个成功将深度学习应用到目标检测上的算法；R-CNN基于卷积神经网络，线性回归和支持向量机(SVM)等算法，来实现目标检测的目的。RCNN的基本原理为：可以在图片上使用穷举法选出所有物体可能出现的区域框，对这些区域框提取特征并使用图像识别方法分类，得到所有分类成功的区域后，通过非极大值抑制输出结果。由RCNN演化出来的fastRCNN和fasterRCNN，这里的fastRCNN和fasterRCNN均是在RCNN上作出的改进。
YOLO的全称为You only look once，译为你只能看一眼，是指一种实时目标检测(real-time object detection)方法，YOLO将目标区域预测和目标类别预测整合于单个神经网络模型中，实现在准确率较高的情况下快速目标检测与识别；YOLO模型则是指根据上述的目标检测方法使用神经网络训练后的模型。
服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。当然在具体的实施过程中，上述的服务器可以具体选择大型机或者小型机，这里的小型机是指采用精简指令集计算(ReducedInstruction Set Computing，RISC)、单字长定点指令平均执行速度(MillionInstructions Per Second，MIPS)等专用处理器，主要支持UNIX操作系统的封闭且专用的提供计算服务的设备；这里的大型机，又名大型主机，是指使用专用的处理器指令集、操作系统和应用软件来提供计算服务的设备。
需要说明的是，本申请实施例提供的包装检测方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digitalassistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由器等。
在介绍本申请实施例提供的包装检测方法之前，先介绍该包装检测方法适用的应用场景，这里的应用场景包括但不限于：使用该包装检测方法检测产品包装是否有缺陷，或者使用该包装检测方法检测目标产品是否合格等；这里的产品包括但不限于：食品和玩具等，食品例如可以是饼干和果干等。
请参见图1示出的本申请实施例提供的包装检测方法的示意图；该包装检测方法包括：模型应用、模型构造和模型训练这三个阶段的方法，下面首先介绍模型应用阶段的方法，在介绍完模型应用阶段的方法后，再介绍模型构造阶段和模型训练阶段的方法，那么模型应用阶段的方法可以包括如下步骤：
步骤S110：获得第一包装图像和第二包装图像。
第一包装图像，是指产品包装的透射光视图图像。第一包装图像的获得方式例如：可以使用工业检测相机采集目标产品的图像获得；这里的目标产品包括但不限于：食品和玩具等，食品例如可以是饼干和果干等。
第二包装图像，是指产品包装的普通的彩色图像或者黑白图像，这里的彩色图像也可以理解为RGB视图图像。第二包装图像的获得方式例如：可以使用相机采集目标产品的包装获得；这里的相机可以是普通的彩色照相机或黑白照相机。
上述的第一包装图像和第二包装图像的获得方式还可以包括：第一种方式，获取预先存储的包装图像，从文件系统中获取包装图像，或者从数据库中获取包装图像；第二种方式，从其他终端设备接收获得包装图像；第三种方式，使用浏览器等软件获取互联网上的包装图像，或者使用其它应用程序访问互联网获得包装图像；上述的第一包装图像和第二包装图像均是采集同一个目标产品的包装获得的。
需要说明的是，上述的获得第一包装图像和第二包装图像的触发方式例如：目标产品在转盘、传输带或者输送带上时，当传感器检测到目标产品达到预设位置时，使用相机对目标产品进行拍照获得上述的第一包装图像和第二包装图像，因此，这里的目标产品通过转盘、传输带或者输送带达到预设位置可以理解为获得图像的触发方式，这里的预设位置可以根据情况具体设置，这里的相机可以是普通的彩色照相机或黑白照相机，也可以是工业检测相机或者红外照相机。
在步骤S110之后，执行步骤S120：使用机器视觉模型预测第一包装图像中是否有缺陷，获得第一预测结果。
机器视觉模型，是指使用传统的机器视觉技术构造的算法模型，这里的传统的机器视觉技术例如：从颜色的角度去区分该包装图像中是有缺陷还是没有缺陷。
第一预测结果，是指使用机器视觉模型对第一包装图像进行预测的结果，这里的第一预测结果表征第一包装图像是否存在缺陷，存在缺陷的具体情况例如：产品的包装破损、密封不良、连在一起的包装和错误的包装等。
上述的步骤S120的实施方式例如：提供一种颜色的缺陷，使用模式匹配方法来判断包装图像中是否包括这种颜色，若有，则确定该包装图像有缺陷，若无，则确定该包装图像无缺陷。当然，在具体的实施过程中，还可以使用SVM或者最近邻分类算法(k-NearestNeighbor，kNN)等等来预测第一包装图像中是否有缺陷。这里的kNN是指数据挖掘分类技术中的一种方法；这里的kNN就是k个最近的邻居的意思，说的是每个样本都可以用该样本最接近的k个邻居来代表。
在步骤S110之后，执行步骤S130：使用神经网络模型预测第二包装图像中是否有候选边框，获得第二预测结果。
需要说明的是，上述的步骤S120和步骤S130的执行顺序可以不作限制，可以是步骤S120先执行且步骤S130后执行，也可以是步骤S130先执行且步骤S120后执行，当然也可以是步骤S120和步骤S130并行执行，即步骤S120和步骤S130一起执行。
神经网络模型，是指使用预设的训练数据对上述的神经网络进行训练后获得的神经网络模型，这里的预设的训练数据可以根据具体实际情况进行设置，例如：在图像识别的任务中，预设的训练数据是指需要识别的图像，在有监督学习训练过程中，需要对训练数据设置正确的标签。这里的神经网络模型可以是目标检测模型，这里的目标检测模型可以包括：YOLO模型、RCNN模型、fastRCNN模型或者fasterRCNN模型；这里的YOLO模型具体还可以是YOLOv3模型。
候选边框(proposalregion)，是指使用神经网络模型进行目标检测时获得的区域框，具体例如：若神经网络模型为YOLO模型，则可以使用YOLO模型识别出包装图像中是否有缺陷，以及获得缺陷的区域框，即表征缺陷位置范围和大小的候选边框，也就是说，上述的候选边框可以表征第二包装图像中存在缺陷的位置范围。
第二预测结果，是指使用神经网络模型对第二包装图像进行预测，获得的预测结果，这里的第二预测结果表征第二包装图像存在缺陷的位置范围和缺陷大小，存在缺陷的具体情况例如：产品的包装破损、密封不良和错误的包装等。
可以理解的是，在使用神经网络模型预测第二包装图像中是否有候选边框之前，还可以对第二包装图像进行图像预处理，这里的图像预处理包括：图像灰度化、二值化、图像缩放、噪点去除和统一尺寸等等操作，这里对第二包装图像进行图像预处理的作用在于，提高使用神经网络模型预测第二包装图像获得第二预测结果的准确率。在对第二包装图像进行图像预处理之后，还可以对图像中的背景图像进行去除，将背景图像进行去除的具体方法可以使用One-shot前背景分离方法。
上述的步骤S130的实施方式例如：若使用YOLO模型预测第二包装图像包括有缺陷的候选边框，则确定第二包装图像的缺陷位置范围和缺陷大小；若使用YOLO模型不能预测第二包装图像包括缺陷的候选边框，则确定第二包装图像中没有缺陷；因此，这里的第二预测结果可以为第二包装图像中是否有候选边框；当然，在具体的实施过程中，这里在YOLO模型进行预测之前，还可以对YOLO模型进行一定的预设处理，这里的预设处理例如模型构造方法和模型训练方法等等，将在下面进行详细地描述。
在步骤S120以及步骤130执行完成之后，执行步骤S140：根据第一预测结果和第二预测结果确定目标产品的检测结果。
检测结果，是指对目标产品进行检测的结果，这里的检测结果表征目标产品是否合格，这里的目标产品包括但不限于：食品和玩具等，食品例如可以是饼干和果干等。
上述的步骤S140可以包括如下步骤：
步骤S141：若第一预测结果为有缺陷，则确定目标产品的检测结果为不合格。
也就是说，若使用机器视觉模型预测出第一包装图像中有缺陷，则直接可以确定第一包装图像对应的产品是不合格的。在上述的实现过程中，通过若第一预测结果为无缺陷，且第二预测结果为有边框，则确定目标产品的检测结果为不合格；从而提高了检测产品包装是否有缺陷的准确率。
步骤S142：若第一预测结果为无缺陷，且第二预测结果为有边框，则确定目标产品的检测结果为不合格。
也就是说，若使用机器视觉模型预测出第一包装图像中没有缺陷，则还需要使用神经网络模型对第二包装图像进行预测后，才能确定检测结果；若使用神经网络模型预测出第二包装图像有存在缺陷的候选边框，那么就可以确定第二包装图像对应的产品是不合格的。在上述的实现过程中，通过若第一预测结果为无缺陷，且第二预测结果为无边框，则确定目标产品的检测结果为合格；从而提高了检测产品包装是否有缺陷的准确率。
步骤S143：若第一预测结果为无缺陷，且第二预测结果为无边框，则确定目标产品的检测结果为合格。
对应地，若使用机器视觉模型预测出第一包装图像中没有缺陷，则还需要使用神经网络模型对第二包装图像进行预测后，才能确定检测结果；若使用神经网络模型预测出第二包装图像没有存在缺陷的候选边框，那么就可以确定第二包装图像对应的产品是合格的。由于第一包装图像对应的产品和第二包装图像对应的产品是同一个产品，通过两种方法来确定同一个产品是否有缺陷，可以提高识别产品存在缺陷的正确率。
在上述的实现过程中，通过使用机器视觉模型预测目标产品的第一包装图像中是否有缺陷，获得第一预测结果；使用神经网络模型预测目标产品的第二包装图像中是否有候选边框，获得第二预测结果；再根据第一预测结果和第二预测结果确定目标产品的检测结果，检测结果表征目标产品是否合格；产品的包装图像是否有缺陷问题，既可以当做分类问题，也可以当做目标检测问题，因此，根据第一预测结果和第二预测结果共同确定目标产品是否合格，可以提高对产品包装进行检测的准确率，即提高了检测产品包装是否有缺陷的准确率。
可选地，在具体的实施过程中，上述的模型应用阶段方法还可以包括如下步骤：
步骤S150：若目标产品的检测结果为不合格，电子设备向剔除设备发送控制信号，该控制信号用于使该剔除设备剔除该目标产品。
剔除设备，是指剔除不合格产品的设备，这里的剔除设备例如可以是IO(Input/Output)控制卡，使用IO控制卡通知其它执行设备，让执行设备剔除该目标产品；这里的剔除设备也可以是机器人的手臂，这里的机器人是指自动执行工作的机器设备，既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。
上述的步骤S150的实施方式例如：若目标产品的检测结果为不合格，即获知该目标产品是不合格的，那么可以向剔除设备发送控制信号，以使该剔除设备剔除该目标产品。
请参见图2示出的本申请实施例提供的模型构造阶段方法和模型训练阶段方法的示意图；可选地，上面介绍了模型应用阶段方法，下面介绍模型构造阶段方法和模型训练阶段方法，首先介绍模型构造阶段方法，在具体的实施过程中，上述的神经网络模型可以使用目标检测模型，即神经网络模型对应的神经网络可以使用目标检测网络；在步骤S130之前，模型构造阶段方法可以包括如下步骤：
步骤S210：获得目标检测神经网络，目标检测神经网络包括：定位分支和分类分支。
目标检测神经网络，是指用于检测图像中是否有目标物体的神经网络；这里的目标检测神经网络包括：定位分支和分类分支，这里的目标检测神经网络可以为YOLO、RCNN、fastRCNN或者fasterRCNN。在上述的实现过程中，目标检测模型采用YOLO模型、RCNN模型、fastRCNN模型或者fasterRCNN模型，从而提高了对目标检测模型进行训练的速度。
上述的获得目标检测神经网络的实施方式例如：上述的目标检测神经网络可以使用YOLO、RCNN、fastRCNN或者fasterRCNN，因此，获得目标检测神经网络的方式具体例如：将定位分支和分类分支拼接为目标检测神经网络；获得目标检测神经网络的方式又例如：使用浏览器软件或者爬虫软件从互联网下载获得目标检测神经网络；获得目标检测神经网络的方式又例如：获取预先存储的目标检测神经网络，或者接收其它终端设备发送的目标检测神经网络等等。
在步骤S210之后，执行步骤S220：将分类分支从目标检测神经网络中删除，获得目标检测网络。
上述的步骤S220的实施方式例如：若目标检测神经网络采用YOLO，这里的YOLO包括定位分支和分类分支，将分类分支从YOLO中删除，获得只包括分类分支的YOLO，将只包括分类分支的YOLO确定为目标检测网络。在具体的实施过程中，还可以减少候选边框的尺寸种类，具体例如：YOLO具体可以采用YOLO V3，该YOLO V3可以采用9种尺寸的先验框，分别对应不同的感受野(reception field)；9种尺寸的先验包括：13*13特征图、26*26特征图和52*52特征图等等；其中，13*13特征图主要用于检测较大物体，26*26特征图用于检测中等目标，52*52特征图用于检测较小目标。若上述的产品包装为食品包装，那么食品包装绝大部分缺陷尺寸小于2cm，因此，可以根据缺陷真实尺寸缩小13*13特征图和26*26特征图的先验证尺寸。
在上述的实现过程中，通过获得目标检测神经网络，目标检测神经网络包括：定位分支和分类分支；将分类分支从目标检测神经网络中删除，获得目标检测网络；使用目标检测网络进行训练，因为减少了分类分支，从而减少了需要训练的权重参数，所以有效地提高了获得目标检测模型的速度。
上面介绍了模型构造方法，下面介绍模型训练方法，在获得第二预测结果之前，还可以对目标检测模型进行训练；即在步骤S130之前，模型训练方法可以包括如下步骤：
步骤S230：获得多个包装图像和多个图像标签。
图像标签，是指与包装图像对应的产品是否合格的分类标签，例如：这里的产品可以是饼干，那么包括饼干包装袋的图像可以理解为包装图像，若饼干的包装袋如果有破损，那么这里的图像标签为不合格；若饼干的包装袋没有破损，也没有任何缺陷，那么这里的图像标签为合格。
上述的获得多个包装图像的实施原理和实施方式与步骤S110的实施原理和实施方式是相似或类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S110的描述。上述的步骤S230的执行顺序不应该做限制，步骤S230可以是在步骤S210之前执行，也可以在步骤S210之后执行；步骤S230可以是在步骤S220之前执行，也可以在步骤S220之后执行。
上述的获得多个图像标签的实施方式例如：人工地为每个包装图像标记上对应的图像标签，具体例如：若饼干的包装袋如果有破损，那么将图像标签标记为不合格；若饼干的包装袋没有破损，也没有任何缺陷，那么将图像标签标记为合格。
当然，在具体的实施过程中，多个包装图像和多个图像标签可以作为整个数据集的方式获取，例如：整个数据集为一个压缩包，那么该压缩包的获取方式包括：第一种方式，获取预先存储的压缩包，从文件系统中获取压缩包，或者从数据库中获取压缩包；第二种方式，从其他终端设备接收获得压缩包；第三种方式，使用浏览器等软件获取互联网上的压缩包，或者使用其它应用程序访问互联网获得压缩包。
在步骤S230之后，执行步骤S240：以多个包装图像为训练数据，以多个图像标签为训练标签，对目标检测网络进行训练，获得目标检测模型。
上述的步骤S240的实施方式例如：对目标检测网络进行训练方式根据训练数据的情况可以包括：监督式学习(Supervised learning)和无监督学习(unsupervisedlearning)等方式；其中，这里的监督式学习是机器学习的一种方法，可以由训练资料中学到或建立一个学习模式或学习函数，并依此模式推测新的实例；这里的无监督学习是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的数据进行分类或分群；无监督学习的主要包括：聚类分析(cluster analysis)、关系规则(association rule)、维度缩减(dimensionality reduce)等。
在上述的实现过程中，通过获得多个包装图像和多个图像标签，包装图像为产品包装的图像，图像标签为产品包装的分类标签；以多个包装图像为训练数据，以多个图像标签为训练标签，对目标检测网络进行训练，获得目标检测模型；从而有效地提高了对目标检测模型进行训练的速度。
请参见图3示出的本申请实施例提供的包装检测装置示意图；本申请实施例提供了一种包装检测装置300，包括：
图像获得模块310，用于获得第一包装图像和第二包装图像，第一包装图像和第二包装图像均是采集目标产品的包装获得的。
第一预测模块320，用于使用机器视觉模型预测第一包装图像中是否有缺陷，获得第一预测结果。
第二预测模块330，用于使用神经网络模型预测第二包装图像中是否有候选边框，获得第二预测结果，候选边框表征第二包装图像中存在缺陷的位置范围。
结果确定模块340，用于根据第一预测结果和第二预测结果确定目标产品的检测结果，检测结果表征目标产品是否合格。
可选地，在本申请实施例中，结果确定模块，可以包括：
第一确定模块，用于若第一预测结果为无缺陷，且第二预测结果为有边框，则确定目标产品的检测结果为不合格。
可选地，在本申请实施例中，结果确定模块，还可以包括：
第二确定模块，用于若第一预测结果为无缺陷，且第二预测结果为无边框，则确定目标产品的检测结果为合格。
可选地，在本申请实施例中，结果确定模块，还包括：
第三确定模块，用于若第一预测结果为有缺陷，则确定目标产品的检测结果为不合格。
可选地，在本申请实施例中，神经网络模型包括：目标检测模型；还包括：
第一获得模块，用于获得多个包装图像和多个图像标签，包装图像为产品包装的图像，图像标签为产品包装的分类标签。
第二获得模块，用于以多个包装图像为训练数据，以多个图像标签为训练标签，对目标检测网络进行训练，获得目标检测模型。
可选地，在本申请实施例中，还包括：
第三获得模块，用于获得目标检测神经网络，目标检测神经网络包括：定位分支和分类分支。
第四获得模块，用于将分类分支从目标检测神经网络中删除，获得目标检测网络。
可选地，在本申请实施例中，目标检测模型包括：YOLO模型、RCNN模型、fastRCNN模型或者fasterRCNN模型。
应理解的是，该装置与上述的包装检测方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图4示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400，包括：处理器410和存储器420，存储器420存储有处理器410可执行的机器可读指令，机器可读指令被处理器410执行时执行如上的方法。
本申请实施例还提供了一种存储介质430，该存储介质430上存储有计算机程序，该计算机程序被处理器410运行时执行如上的包装检测方法。
其中，存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种包装检测方法，其特征在于，包括：
获得第一包装图像和第二包装图像，所述第一包装图像和所述第二包装图像均是采集目标产品的包装获得的；
使用机器视觉模型预测所述第一包装图像中是否有缺陷，获得第一预测结果；
使用神经网络模型预测所述第二包装图像中是否有候选边框，获得第二预测结果，所述候选边框表征所述第二包装图像中存在缺陷的位置范围；
根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，所述检测结果表征目标产品是否合格。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，包括：
若所述第一预测结果为无缺陷，且所述第二预测结果为有边框，则确定所述目标产品的检测结果为不合格。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，包括：
若所述第一预测结果为无缺陷，且所述第二预测结果为无边框，则确定所述目标产品的检测结果为合格。
4.根据权利要求2-3任一所述的方法，其特征在于，所述根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，还包括：
若所述第一预测结果为有缺陷，则确定所述目标产品的检测结果为不合格。
5.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括：目标检测模型；在所述使用神经网络模型预测所述第二包装图像中是否有候选边框，获得第二预测结果之前，还包括：
获得多个包装图像和多个图像标签，所述包装图像为产品包装的图像，所述图像标签为所述产品包装的分类标签；
以所述多个包装图像为训练数据，以所述多个图像标签为训练标签，对目标检测网络进行训练，获得所述目标检测模型。
6.根据权利要求5所述的方法，其特征在于，在所述对目标检测网络进行训练之前，还包括：
获得目标检测神经网络，所述目标检测神经网络包括：定位分支和分类分支；
将所述分类分支从所述目标检测神经网络中删除，获得所述目标检测网络。
7.根据权利要求5-6任一所述的方法，其特征在于，所述目标检测模型包括：YOLO模型、RCNN模型、fastRCNN模型或者fasterRCNN模型。
8.一种包装检测装置，其特征在于，包括：
图像获得模块，用于获得第一包装图像和第二包装图像，所述第一包装图像和所述第二包装图像均是采集目标产品的包装获得的；
第一预测模块，用于使用机器视觉模型预测所述第一包装图像中是否有缺陷，获得第一预测结果；
第二预测模块，用于使用神经网络模型预测所述第二包装图像中是否有候选边框，获得第二预测结果，所述候选边框表征所述第二包装图像中存在缺陷的位置范围；
结果确定模块，用于根据所述第一预测结果和所述第二预测结果确定所述目标产品的检测结果，所述检测结果表征目标产品是否合格。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。
10.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。
CN201911426161.6A 2019-12-31 2019-12-31 一种包装检测方法、装置、电子设备及存储介质 Active CN111210412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911426161.6A CN111210412B (zh) 2019-12-31 2019-12-31 一种包装检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911426161.6A CN111210412B (zh) 2019-12-31 2019-12-31 一种包装检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111210412A true CN111210412A (zh) 2020-05-29
CN111210412B CN111210412B (zh) 2024-03-15

Family

ID=70789470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911426161.6A Active CN111210412B (zh) 2019-12-31 2019-12-31 一种包装检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111210412B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021806A1 (zh) * 2020-07-30 2022-02-03 冉浩 包装袋大小边缺陷自动检测系统及方法
CN114092396A (zh) * 2021-10-11 2022-02-25 安庆师范大学 一种包装盒撞角瑕疵检测的方法及装置
CN114663340A (zh) * 2020-12-22 2022-06-24 顺丰科技有限公司 包裹破损的检测方法、装置、电子设备及存储介质
CN114723748A (zh) * 2022-06-06 2022-07-08 深圳硅山技术有限公司 电机控制器的检测方法、装置、设备及存储介质
CN117152415A (zh) * 2023-09-01 2023-12-01 北京奥乘智能技术有限公司 药品包装的标记物检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204618A (zh) * 2016-07-20 2016-12-07 南京文采科技有限责任公司 基于机器视觉的产品包装表面缺陷检测与分类方法
CN109839384A (zh) * 2019-01-22 2019-06-04 四川安和精密电子电器有限公司 用于微型振动马达缺陷检测的视觉检测仪及检测方法
CN109978867A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 玩具外表质量检测方法及其相关设备
CN110264447A (zh) * 2019-05-30 2019-09-20 浙江省北大信息技术高等研究院 一种注塑件的表面缺陷检测方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204618A (zh) * 2016-07-20 2016-12-07 南京文采科技有限责任公司 基于机器视觉的产品包装表面缺陷检测与分类方法
CN109839384A (zh) * 2019-01-22 2019-06-04 四川安和精密电子电器有限公司 用于微型振动马达缺陷检测的视觉检测仪及检测方法
CN109978867A (zh) * 2019-03-29 2019-07-05 北京百度网讯科技有限公司 玩具外表质量检测方法及其相关设备
CN110264447A (zh) * 2019-05-30 2019-09-20 浙江省北大信息技术高等研究院 一种注塑件的表面缺陷检测方法、装置、设备和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021806A1 (zh) * 2020-07-30 2022-02-03 冉浩 包装袋大小边缺陷自动检测系统及方法
CN114663340A (zh) * 2020-12-22 2022-06-24 顺丰科技有限公司 包裹破损的检测方法、装置、电子设备及存储介质
CN114663340B (zh) * 2020-12-22 2024-08-23 顺丰科技有限公司 包裹破损的检测方法、装置、电子设备及存储介质
CN114092396A (zh) * 2021-10-11 2022-02-25 安庆师范大学 一种包装盒撞角瑕疵检测的方法及装置
CN114723748A (zh) * 2022-06-06 2022-07-08 深圳硅山技术有限公司 电机控制器的检测方法、装置、设备及存储介质
CN114723748B (zh) * 2022-06-06 2022-09-02 深圳硅山技术有限公司 电机控制器的检测方法、装置、设备及存储介质
CN117152415A (zh) * 2023-09-01 2023-12-01 北京奥乘智能技术有限公司 药品包装的标记物检测方法、装置、设备及存储介质
CN117152415B (zh) * 2023-09-01 2024-04-23 北京奥乘智能技术有限公司 药品包装的标记物检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111210412B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN111210412B (zh) 一种包装检测方法、装置、电子设备及存储介质
US11341626B2 (en) Method and apparatus for outputting information
CN111242900B (zh) 一种产品合格确定方法、装置、电子设备及存储介质
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
KR20200087297A (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
US11435719B2 (en) System and method for identifying manufacturing defects
Adem et al. Defect detection of seals in multilayer aseptic packages using deep learning
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN111310826A (zh) 样本集的标注异常检测方法、装置及电子设备
Geng et al. An improved helmet detection method for YOLOv3 on an unbalanced dataset
CN115690102B (zh) 缺陷检测方法、装置、电子设备、存储介质和程序产品
CN111738153A (zh) 一种图像识别分析方法、装置、电子设备及存储介质
CN117677986A (zh) 采集及检验眼科镜片的图像
US20180268247A1 (en) System and method for detecting change using ontology based saliency
CN116824135A (zh) 基于机器视觉的大气自然环境试验工业产品识别分割方法
CN115690101A (zh) 缺陷检测方法、装置、电子设备、存储介质和程序产品
Jarkas et al. ResNet and Yolov5-enabled non-invasive meat identification for high-accuracy box label verification
CN109598712A (zh) 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质
CN113192017A (zh) 包裹缺陷识别方法、装置、设备及存储介质
CN113077430A (zh) 基于ssd算法的激光器芯片缺陷检测及分类方法与系统
CN117197653A (zh) 基于深度学习的滑坡灾害识别方法及系统
CN115631154A (zh) 一种电力设备状态监控分析方法与系统
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及系统
Yazid et al. Automated system form concrete damage classification identification using pretrained deep learning model
CN113837173A (zh) 目标对象检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant