CN112834518A - 颗粒缺陷检测方法、系统、设备和介质 - Google Patents
颗粒缺陷检测方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN112834518A CN112834518A CN202110011860.5A CN202110011860A CN112834518A CN 112834518 A CN112834518 A CN 112834518A CN 202110011860 A CN202110011860 A CN 202110011860A CN 112834518 A CN112834518 A CN 112834518A
- Authority
- CN
- China
- Prior art keywords
- template
- particle
- image
- particles
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002245 particle Substances 0.000 title claims abstract description 264
- 230000007547 defect Effects 0.000 title claims abstract description 130
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 239000003814 drug Substances 0.000 claims abstract description 137
- 238000000034 method Methods 0.000 claims abstract description 53
- 229940079593 drug Drugs 0.000 claims abstract description 37
- 239000002775 capsule Substances 0.000 claims abstract description 14
- 239000003026 cod liver oil Substances 0.000 claims abstract description 14
- 235000012716 cod liver oil Nutrition 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 24
- 238000005538 encapsulation Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 12
- 230000002950 deficient Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 5
- 238000000513 principal component analysis Methods 0.000 claims description 4
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 3
- 229910052782 aluminium Inorganic materials 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 239000008187 granular material Substances 0.000 description 21
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 239000006187 pill Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000004411 aluminium Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 235000019198 oils Nutrition 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及产品检测技术领域，特别涉及颗粒缺陷检测方法、系统、设备和介质。方法包括：确定多个颗粒中的可能存在缺陷的颗粒；采用卷积神经网络，将该可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到该可能存在缺陷的颗粒与对应的模板之间的差异特征；通过多分支的二分类方法，根据该差异特征确定该可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。大大简化了模板配置过程，降低了工人的学习成本和时间成本，拥有更好的通用性，覆盖了鱼肝油、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊等市面上常见药品，在这些数据上均能够达到稳定的识别效果。
Description
技术领域
本发明涉及产品检测技术领域，特别涉及颗粒缺陷检测方法、系统、设备和介质。
背景技术
在颗粒产品的生产中，特别是在药粒的生产中，药粒缺陷视觉检测系统的应用实现对药粒缺失，多粒、破损、脏污等问题的自动检测，从而帮助生产线剔除问题药粒，减少人工成本，提高检测精度。
目前市面上已经存在一些药粒缺陷视觉检测系统，如德国Laetus公司生产的药品缺陷检测系统，应用于制药产线，实现药粒缺陷的自动检测。但是首先，目前市面上应用较多的药粒缺陷检测系统的模板配置过程复杂，步骤多达十几步，特别是很多系统仍然需要人工调整参数，对于工厂的工人来说，配置模板所需要的学习成本很高。另外，配置过程复杂导致每次进行模板配置时耗时很长，导致产线工人在模板配置上花费较多时间，影响生产进度。
其次，市场上药物种类和样式繁多，基于传统的计算机图像处理技术进行开发的药粒缺陷检测系统，难以对多种类别的药物都做到适用，以鱼肝油等形态较为特殊的药物为例，针对鱼肝油的漏油、脏污等缺陷，就很难达到稳定的识别效果。
针对上述问题，本领域已经出现了一些采用机器学习的药粒缺陷视觉检测方法或系统，但是在准确度、速度、通用性等方面的性能以及性能和耗时之间的平衡还不能完全满足市场需要。
发明内容
本发明的目的在于提供颗粒缺陷检测方法、系统、设备和介质，将深度学习与传统图像处理方法相结合，大大简化了模板配置过程，降低了工人的学习成本和时间成本，拥有更好的通用性，覆盖了鱼肝油、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊等市面上常见药品，在这些数据上均能够达到稳定的识别效果。
本发明的实施方式公开了一种颗粒缺陷检测方法，包括：
确定多个颗粒中的可能存在缺陷的颗粒；
采用卷积神经网络，将该可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到该可能存在缺陷的颗粒与对应的模板之间的差异特征；
通过多分支的二分类方法，根据该差异特征确定该可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。
可选地，确定多个颗粒中可能存在缺陷的颗粒包括：
从多个模板中提取每个模板的图像；
根据模板的图像，获取每个模板的特征；
从多个颗粒中提取每个颗粒的图像；
根据颗粒的图像，获取每个颗粒的特征；
通过将颗粒的特征与对应的模板的特征进行对比，确定可能存在缺陷的颗粒。
可选地，多个模板封装在模板封装中，多个颗粒封装在颗粒封装中，从多个模板中提取每个模板的图像、以及从多个颗粒中提取每个颗粒的图像包括：
采用语义分割模型对模板封装的图像进行分割，得到模板封装的模板分布概率图和模板掩码图像；
根据模板掩码图像，获取模板封装中模板的位置；
根据模板掩码图像和模板的位置，通过投影和聚类，对模板封装的图像进行行列划分，分割出来模板的图像；
根据模板分布概率图，采用全连接条件概率场模型，对模板的图像的分割结果进行优化；
采用语义分割模型对颗粒封装的图像进行分割，得到颗粒封装的颗粒分布概率图和颗粒掩码图像；
根据颗粒掩码图像和相应的模板的位置，通过投影和聚类，对颗粒封装的图像进行行列划分，分割出来颗粒的图像；
根据颗粒分布概率图，采用全连接条件概率场模型，对颗粒的图像的分割结果进行优化。
可选地，多个模板封装在模板封装中，多个颗粒封装在颗粒封装中，从多个模板中提取每个模板的图像、以及从多个颗粒中提取每个颗粒的图像包括：
通过转换颜色通道，得到模板封装的模板掩码图像；
根据模板掩码图像，获取模板封装中模板的位置；
根据模板掩码图像和模板的位置，对模板封装的图像进行行列划分，分割出来模板的图像；
通过转换颜色通道，得到颗粒封装的颗粒掩码图像；
根据颗粒掩码图像和相应的模板的位置，对颗粒封装的图像进行行列划分，分割出来颗粒的图像。
可选地，根据模板的图像，获取每个模板的特征，以及根据颗粒的图像，获取每个颗粒的特征，包括：
根据模板和/或颗粒的图像，通过聚类，获取模板和/或颗粒的颜色分布；
根据模板和/或颗粒的图像，通过最小外接矩形、主成分分析，获取模板和/或颗粒的形状特征。
可选地，颗粒包括药物。
可选地，药物包括鱼肝油药品、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊。
本发明的实施方式公开了一种颗粒缺陷检测系统，包括过滤模块、对比模块、确定模块：
过滤模块确定多个颗粒中的可能存在缺陷的颗粒；
对比模块采用卷积神经网络，将可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到可能存在缺陷的颗粒与对应的模板之间的差异特征；
确定模块通过多分支的二分类方法，根据差异特征确定可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型
本发明的实施方式公开了一种颗粒缺陷检测设备，设备包括存储有计算机可执行指令的存储器和处理器，当指令被处理器执行时，使得设备实施颗粒缺陷检测方法。
本发明的实施方式公开了一种计算机存储介质，在计算机存储介质上存储有指令，当指令在计算机上运行时，使得计算机执行颗粒缺陷检测方法。
本发明实施方式与现有技术相比，主要区别及其效果在于：
在本发明中，首先确定多个颗粒中的可能存在缺陷的颗粒，作为对颗粒缺陷初步的大致识别，提高检测的速度，之后再采用卷积神经网络，将该可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到该可能存在缺陷的颗粒与对应的模板之间的差异特征，通过多分支的二分类方法，根据该差异特征确定该可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型，作为对颗粒缺陷的精确识别，提高检测的准确度。即，本发明兼顾颗粒缺陷检测的速度和准确度。相比多分类方法，多分支的二分类方法能够更好的应对一个颗粒存在多种缺陷的情况，更加准确地完成分类任务。
在本发明中，确定多个颗粒中可能存在缺陷的颗粒包括：从多个模板中提取每个模板的图像；根据模板的图像，获取每个模板的特征；从多个颗粒中提取每个颗粒的图像；根据颗粒的图像，获取每个颗粒的特征；通过将颗粒的特征与对应的模板的特征进行对比，确定可能存在缺陷的颗粒；自动完成模板的配置过程，降低了工人的学习成本和时间成本，自动完成颗粒特征的提取，以及颗粒和模板之间的初步对比，减少人工操作，大大提高了检测效率和准确率。
在本发明中，采用语义分割模型对模板封装的图像进行分割，得到模板封装的模板分布概率图和模板掩码图像；根据模板掩码图像，获取模板封装中模板的位置；根据模板掩码图像和模板的位置，通过投影和聚类，对模板封装的图像进行行列划分，分割出来模板的图像；根据模板分布概率图，采用全连接条件概率场模型，对模板的图像的分割结果进行优化；采用语义分割模型对颗粒封装的图像进行分割，得到颗粒封装的颗粒分布概率图和颗粒掩码图像；根据颗粒掩码图像和相应的模板的位置，通过投影和聚类，对颗粒封装的图像进行行列划分，分割出来颗粒的图像；根据颗粒分布概率图，采用全连接条件概率场模型，对颗粒的图像的分割结果进行优化；只需提供封装好的受测颗粒及其相应封装好的模板的图像，就能自动提取其中单个颗粒的图像，以便快速完成对颗粒缺陷初步的大致识别，无需人工提供单个颗粒的图像，提高检测效率，减少人工操作。
在本发明中，颗粒可以为鱼肝油药物，通过转换颜色通道，得到模板封装的模板掩码图像；根据模板掩码图像，获取模板封装中模板的位置；根据模板掩码图像和模板的位置，对模板封装的图像进行行列划分，分割出来模板的图像；通过转换颜色通道，得到颗粒封装的颗粒掩码图像；根据颗粒掩码图像和相应的模板的位置，对颗粒封装的图像进行行列划分，分割出来颗粒的图像；能够适用于鱼肝油药物的缺陷检测，具有很好的通用性，且只需提供封装好的受测颗粒及其相应封装好的模板的图像，就能自动提取其中单个颗粒的图像，以便快速完成对颗粒缺陷初步的大致识别，无需人工提供单个颗粒的图像，提高检测效率，减少人工操作，且针对鱼肝油药物，采用专门的方法自动提取单个颗粒的图像，进一步提高效率、准确率。
在本发明中，根据模板和/或颗粒的图像，通过聚类，获取模板和/或颗粒的颜色分布；根据模板和/或颗粒的图像，通过最小外接矩形、主成分分析，获取模板和/或颗粒的形状特征；能够自动提取颗粒的特征，相比人工识别，准确率、稳定性、速度都大大提高。
在本发明中，颗粒包括药物；药物包括鱼肝油药品、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊；具有很好的通用性。
附图说明
图1示出根据本发明的实施例的颗粒缺陷检测方法的流程图。
图2示出根据本发明的实施例的颗粒缺陷检测方法中部分步骤的流程图。
图3示出根据本发明的实施例的颗粒缺陷检测方法中部分步骤的流程图。
图4示出根据本发明的实施例的颗粒缺陷检测方法中部分步骤的流程图。
图5示出根据本发明的实施例的颗粒缺陷检测系统框图。
具体实施方式
下面结合具体实施例和附图对本申请做进一步说明。可以理解的是，此处描述的具体实施例仅仅是为了解释本申请，而非对本申请的限定。此外，为了便于描述，附图中仅示出了与本申请相关的部分而非全部的结构或过程。应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项。
应当理解的是，虽然在本文中可能使用了术语“第一”、“第二”等等来描述各个特征，但是这些特征不应当受这些术语限制。使用这些术语仅仅是为了进行区分，而不能理解为指示或暗示相对重要性。举例来说，在不背离示例性实施例的范围的情况下，第一特征可以被称为第二特征，并且类似地第二特征可以被称为第一特征。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实施例中的具体含义。
本申请的说明性实施例包括但不限于颗粒缺陷检测方法、系统、设备和介质。
将使用本领域技术人员通常采用的术语来描述说明性实施例的各个方面，以将他们工作的实质传达给本领域其他技术人员。然而，对于本领域技术人员来说，使用部分所描述的特征来施行一些替代性实施例是显而易见的。出于解释的目的，阐述了具体的数字和配置，以便对说明性实施例进行更加透彻的理解。然而，对于本领域技术人员来说显而易见的是，可以在没有具体细节的情况下实施替代实施例。在一些其他情况下，本文省略或简化了一些众所周知的特征，以避免使本申请的说明性实施例模糊不清。
此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个彼此分离的操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖描述的顺序，其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序也可以被重新安排。当所描述的操作完成时，所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用表示所描述的实施例可以包括特定特征、结构或性质，但是每个实施例也可能或不是必需包括特定的特征、结构或性质。而且，这些短语不一定是针对同一实施例。此外，当结合具体实施例描述特定特征，本领域技术人员的知识能够影响到这些特征与其他实施例的结合，无论这些实施例是否被明确描述。
除非上下文另有规定，否则术语“包含”、“具有”和“包括”是同义词。短语“A和/或B”表示“(A)、(B)或(A和B)”。
如本文所使用的，术语“模块”可以指代，作为其中的一部分，或者包括：用于运行一个或多个软件或固件程序的存储器(共享、专用或组)、专用集成电路(ASIC)、电子电路和/或处理器(共享、专用或组)、组合逻辑电路、和/或提供所述功能的其他合适组件。
在附图中，可能以特定布置和/或顺序示出了一些结构或方法特征。然而，应当理解的是，这样的特定布置和/或排序不是必需的。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来进行说明。另外，特定附图中所包含得结构或方法特征并不意味着所有实施例都需要包含这样的特征，在一些实施例中，可以不包含这些特征或者可以与将这些特征与其他特征进行组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
图1示出根据本发明的实施例的颗粒缺陷检测方法的流程图。
如图1所示，方法100包括：
步骤102，确定多个颗粒中的可能存在缺陷的颗粒；
步骤104，采用卷积神经网络，将该可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到该可能存在缺陷的颗粒与对应的模板之间的差异特征；
步骤106，通过多分支的二分类方法，根据该差异特征确定该可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。
结合图1，例如，在某种药品(例如，带有包装，封装有多个药粒的产品)的生产线上，需要检测所生产的药品是否存在缺失、多粒、破损、脏污等缺陷，可以将经过人工检测为合格的药品配置为模板，在已经配置好模板的情况下，首先对受测药品中的每个药粒(即，颗粒)进行初步检测，筛选出可能存在缺陷的药粒，然后采用卷积神经网络，将该可能存在缺陷的药粒的图像与前述已经配置好的模板药品中与该可能存在缺陷的药粒相对应的模板药粒(例如，该模板药粒在其包装中的位置与该可能存在缺陷的药粒在其包装中的位置相同)的图像进行对比，得到该可能存在缺陷的药粒与对应的模板药粒之间的差异特征，再通过多分支的二分类方法，根据该差异特征确定该可能存在缺陷的药粒是否存在缺陷以及缺陷的类型，作为对药粒缺陷的精确识别。
可以理解的是，上述方法中，对于某一种产品的检测，对模板的配置可以只进行一次，在之后每次对这种产品的检测中都可使用之前配置好的模板而不必反复配置模板。
在本发明中，将对颗粒的缺陷检测分为初步筛选和精确识别两部分，同时提高了颗粒缺陷检测的速度和准确度。相比多分类方法，多分支的二分类方法能够更好的应对一个颗粒存在多种缺陷的情况，更加准确地完成分类任务。
根据本申请的一些实施例，方法还包括：
可以搭建变输入多分支双生网络模型来实现该颗粒缺陷检测方法，该变输入多分支双生网络模型在训练时采用多尺度变输入的模型输入，并通过损失的反向传播来优化模型参数。
在本发明中，采用损失的反向传播，可以不断优化模型参数来使模型能够更好地拟合颗粒特征，在训练时采用多尺度变输入的模型输入，使模型在实际推理时能够应对不同大小的输入图像。
图2示出根据本发明的实施例的颗粒缺陷检测方法中部分步骤的流程图。
如图2所示，方法还包括：
确定多个颗粒中可能存在缺陷的颗粒包括：
步骤202，从多个模板中提取每个模板的图像；
步骤204，根据模板的图像，获取每个模板的特征；
步骤206，从多个颗粒中提取每个颗粒的图像；
步骤208，根据颗粒的图像，获取每个颗粒的特征；
步骤210，通过将颗粒的特征与对应的模板的特征进行对比，确定可能存在缺陷的颗粒。
结合图2，例如，在某种药品(例如，带有包装，封装有多个药粒的产品)的生产线上，需要检测所生产的药品是否存在缺失、多粒、破损、脏污等缺陷。可以在对药粒(即，颗粒)缺陷的精确识别之前，确定多个药粒中可能存在缺陷的药粒，作为对受测药品中的每个药粒进行初步检测，筛选出可能存在缺陷的药粒。具体地，可以在配置模板时，从模板药品中的多个模板药粒中提取每个模板药粒的图像，再根据模板药粒的图像，获取并保存每个模板药粒的特征；而在确定多个药粒中可能存在缺陷的药粒时，从受测药品中的多个受测药粒中提取每个受测药粒的图像，根据受测药粒的图像，获取每个受测药粒的特征，通过将受测药粒的特征与对应的模板药粒的特征进行对比，来确定可能存在缺陷的药粒。
在本发明中，自动完成模板的配置过程，降低了工人的学习成本和时间成本，自动完成颗粒特征的提取，以及颗粒和模板之间的初步对比，减少人工操作，大大提高了检测效率和准确率。
图3示出根据本发明的实施例的颗粒缺陷检测方法中部分步骤的流程图。
如图3所示，方法还包括：
多个模板封装在模板封装中，多个颗粒封装在颗粒封装中，从多个模板中提取每个模板的图像、以及从多个颗粒中提取每个颗粒的图像包括：
步骤302，采用语义分割模型对模板封装的图像进行分割，得到模板封装的模板分布概率图和模板掩码图像；
步骤304，根据模板掩码图像，获取模板封装中模板的位置；
步骤306，根据模板掩码图像和模板的位置，通过投影和聚类，对模板封装的图像进行行列划分，分割出来模板的图像；
步骤308，根据模板分布概率图，采用全连接条件概率场模型，对模板的图像的分割结果进行优化；
步骤310，采用语义分割模型对颗粒封装的图像进行分割，得到颗粒封装的颗粒分布概率图和颗粒掩码图像；
步骤312，根据颗粒掩码图像和相应的模板的位置，通过投影和聚类，对颗粒封装的图像进行行列划分，分割出来颗粒的图像；
步骤314，根据颗粒分布概率图，采用全连接条件概率场模型，对颗粒的图像的分割结果进行优化。
结合图3，例如，在某种药品(例如，带有包装，封装有多个药粒的产品)的生产线上，需要检测所生产的药品是否存在缺失、多粒、破损、脏污等缺陷。可以在对药粒(即，颗粒)缺陷的精确识别之前，确定多个药粒中可能存在缺陷的药粒，作为对受测药品中的每个药粒进行初步检测，筛选出可能存在缺陷的药粒。具体地，在配置模板时，从多个模板药粒中提取每个模板药粒的图像，可以包括：采用语义分割模型对模板药品的图像进行分割，得到模板药品的模板药粒分布概率图和模板药粒掩码图像，根据模板药粒掩码图像，获取模板药品中模板药粒的位置，根据模板药粒掩码图像和模板药粒的位置，通过投影和聚类，对模板药品的图像进行行列划分，分割出来模板药粒的图像，根据模板药粒分布概率图，采用全连接条件概率场模型，对模板药粒的图像的分割结果进行优化；在确定多个药粒中可能存在缺陷的药粒时，从多个受测颗粒中提取每个受测颗粒的图像，可以包括：采用语义分割模型对受测药品的图像进行分割，得到受测药品的受测药粒分布概率图和受测药粒掩码图像，根据受测药粒掩码图像和相应的模板药粒的位置，通过投影和聚类，对受测药品的图像进行行列划分，分割出来受测药粒的图像，根据受测药粒分布概率图，采用全连接条件概率场模型，对受测药粒的图像的分割结果进行优化。
在本发明中，只需提供封装好的待测颗粒及其相应封装好的模板的图像，就能自动提取其中单个颗粒的图像，以便快速完成对颗粒缺陷初步的大致识别，无需人工提供单个颗粒的图像，提高检测效率，减少人工操作。
图4示出根据本发明的实施例的颗粒缺陷检测方法中部分步骤的流程图。
如图4所示，方法还包括：
多个模板封装在模板封装中，多个颗粒封装在颗粒封装中，从多个模板中提取每个模板的图像、以及从多个颗粒中提取每个颗粒的图像包括：
步骤402，通过转换颜色通道，得到模板封装的模板掩码图像；
步骤404，根据模板掩码图像，获取模板封装中模板的位置；
步骤406，根据模板掩码图像和模板的位置，对模板封装的图像进行行列划分，分割出来模板的图像；
步骤408，通过转换颜色通道，得到颗粒封装的颗粒掩码图像；
步骤410，根据颗粒掩码图像和相应的模板的位置，对颗粒封装的图像进行行列划分，分割出来颗粒的图像。
结合图4，例如，在某种药品(例如，带有包装，封装有多个药粒的产品)的生产线上，需要检测所生产的药品是否存在缺失、多粒、破损、脏污等缺陷。可以在对药粒(即，颗粒)缺陷的精确识别之前，确定多个药粒中可能存在缺陷的药粒，作为对受测药品中的每个药粒进行初步检测，筛选出可能存在缺陷的药粒。具体地，在配置模板时，从多个模板药粒中提取每个模板药粒的图像，可以包括：通过转换颜色通道，得到模板药品的模板药粒掩码图像，根据模板药粒掩码图像，获取模板药品中模板药粒的位置，根据模板药粒掩码图像和模板药粒的位置，对模板药品的图像进行行列划分，分割出来模板药粒的图像；在确定多个药粒中可能存在缺陷的药粒时，从多个受测颗粒中提取每个受测颗粒的图像，可以包括：通过转换颜色通道，得到受测药品的受测药粒掩码图像，根据受测药粒掩码图像和相应的模板药粒的位置，对受测药品的图像进行行列划分，分割出来受测药粒的图像。
在本发明中，能够适用于鱼肝油药物的缺陷检测，具有很好的通用性，且只需提供封装好的待测颗粒及其相应封装好的模板的图像，就能自动提取其中单个颗粒的图像，以便快速完成对颗粒缺陷初步的大致识别，无需人工提供单个颗粒的图像，提高检测效率，减少人工操作，且针对鱼肝油药物，采用该专门的方法自动提取单个颗粒的图像，可进一步提高效率、准确率。
根据本申请的一些实施例，方法还包括：
根据模板的图像，获取每个模板的特征，以及根据颗粒的图像，获取每个颗粒的特征，包括：
根据模板和/或颗粒的图像，通过聚类，获取模板和/或颗粒的颜色分布；
根据模板和/或颗粒的图像，通过最小外接矩形、主成分分析，获取模板和/或颗粒的形状特征。
在本发明中，能够自动提取颗粒的特征，相比人工识别，准确率、稳定性、速度都大大提高。
根据本申请的一些实施例，颗粒包括药物。
根据本申请的一些实施例，药物包括鱼肝油药品、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊。
在本发明中，颗粒包括药物；药物包括鱼肝油药品、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊；具有很好的通用性。
图5示出根据本发明的实施例的颗粒缺陷检测系统框图。
如图5所示，系统500包括过滤模块502、对比模块504、确定模块506：
过滤模块502确定多个颗粒中的可能存在缺陷的颗粒；
对比模块504采用卷积神经网络，将可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到可能存在缺陷的颗粒与对应的模板之间的差异特征；
确定模块506通过多分支的二分类方法，根据差异特征确定可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
根据本申请的一些实施例，公开了一种颗粒缺陷检测设备，设备包括存储有计算机可执行指令的存储器和处理器，当指令被处理器执行时，使得设备实施颗粒缺陷检测方法。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
根据本申请的一些实施例，公开了一种计算机存储介质，在计算机存储介质上存储有指令，当指令在计算机上运行时，使得该计算机执行颗粒缺陷检测方法。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合形式来实现。所公开的实施例还可以以承载或储存在一个或多个瞬态或非瞬态的机器可读(例如，计算机可读)存储介质上的指令或程序形式实现，其可以由一个或多个处理器等读取和执行。当指令或程序被机器运行时，机器可以执行前述的各种方法。例如，指令可以通过网络或其他计算机可读介质分发。因此，机器可读介质可以包括但不限于，用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，例如，软盘，光盘，光盘只读存储器(CD-ROMs)，磁光盘，只读存储器(ROM)，随机存取存储器(RAM)，可擦除可编程只读存储器(EPROM)，电子式可清除程序化只读存储器(EEPROM)，磁卡或光卡，或者用于通过电、光、声或其他形式信号(例如，载波、红外信号、数字信号等)传输网络信息的闪存或有形的机器可读存储器。因此，机器可读介质包括任何形式的适合于存储或传输电子指令或机器(例如，计算机)可读信息的机器可读介质。
上面结合附图对本申请的实施例做了详细说明，但本申请技术方案的使用不仅仅局限于本专利实施例中提及的各种应用，各种结构和变型都可以参考本申请技术方案轻易地实施，以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内，在不脱离本申请宗旨的前提下做出的各种变化，均应归属于本申请专利涵盖范围。
Claims (10)
1.一种颗粒缺陷检测方法，其特征在于，包括：
确定多个颗粒中的可能存在缺陷的颗粒；
采用卷积神经网络，将所述可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到所述可能存在缺陷的颗粒与对应的所述模板之间的差异特征；
通过多分支的二分类方法，根据所述差异特征确定所述可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。
2.根据权利要求1所述的方法，其特征在于，所述确定多个颗粒中可能存在缺陷的颗粒包括：
从多个所述模板中提取每个所述模板的图像；
根据所述模板的图像，获取每个所述模板的特征；
从多个所述颗粒中提取每个所述颗粒的图像；
根据所述颗粒的图像，获取每个所述颗粒的特征；
通过将所述颗粒的特征与对应的所述模板的特征进行对比，确定所述可能存在缺陷的颗粒。
3.根据权利要求2所述的方法，其特征在于，多个所述模板封装在模板封装中，多个所述颗粒封装在颗粒封装中，所述从多个所述模板中提取每个所述模板的图像、以及从多个所述颗粒中提取每个所述颗粒的图像包括：
采用语义分割模型对所述模板封装的图像进行分割，得到所述模板封装的模板分布概率图和模板掩码图像；
根据所述模板掩码图像，获取所述模板封装中所述模板的位置；
根据所述模板掩码图像和所述模板的位置，通过投影和聚类，对所述模板封装的图像进行行列划分，分割出来所述模板的图像；
根据所述模板分布概率图，采用全连接条件概率场模型，对所述模板的图像的分割结果进行优化；
采用语义分割模型对所述颗粒封装的图像进行分割，得到所述颗粒封装的颗粒分布概率图和颗粒掩码图像；
根据所述颗粒掩码图像和相应的所述模板的位置，通过投影和聚类，对所述颗粒封装的图像进行行列划分，分割出来所述颗粒的图像；
根据所述颗粒分布概率图，采用全连接条件概率场模型，对所述颗粒的图像的分割结果进行优化。
4.根据权利要求2所述的方法，其特征在于，多个所述模板封装在模板封装中，多个所述颗粒封装在颗粒封装中，所述从多个所述模板中提取每个所述模板的图像、以及从多个所述颗粒中提取每个所述颗粒的图像包括：
通过转换颜色通道，得到所述模板封装的模板掩码图像；
根据所述模板掩码图像，获取所述模板封装中所述模板的位置；
根据所述模板掩码图像和所述模板的位置，对所述模板封装的图像进行行列划分，分割出来所述模板的图像；
通过转换颜色通道，得到所述颗粒封装的颗粒掩码图像；
根据所述颗粒掩码图像和相应的所述模板的位置，对所述颗粒封装的图像进行行列划分，分割出来所述颗粒的图像。
5.根据权利要求2至4中任一项所述的方法，其特征在于，根据所述模板的图像，获取每个所述模板的特征，以及根据所述颗粒的图像，获取每个所述颗粒的特征，包括：
根据所述模板和/或所述颗粒的图像，通过聚类，获取所述模板和/或所述颗粒的颜色分布；
根据所述模板和/或所述颗粒的图像，通过最小外接矩形、主成分分析，获取所述模板和/或所述颗粒的形状特征。
6.根据权利要求5所述的方法，其特征在于，所述颗粒包括药物。
7.根据权利要求6所述的方法，其特征在于，所述药物包括鱼肝油药品、硬双铝包装的药片/胶囊、PVC包装的药片/胶囊。
8.一种颗粒缺陷检测系统，其特征在于，包括过滤模块、对比模块、确定模块：
过滤模块确定多个颗粒中的可能存在缺陷的颗粒；
对比模块采用卷积神经网络，将所述可能存在缺陷的颗粒的图像与对应的模板的图像进行对比，得到所述可能存在缺陷的颗粒与对应的所述模板之间的差异特征；
确定模块通过多分支的二分类方法，根据所述差异特征确定所述可能存在缺陷的颗粒是否存在缺陷以及缺陷的类型。
9.一种颗粒缺陷检测设备，其特征在于，所述设备包括存储有计算机可执行指令的存储器和处理器，当所述指令被所述处理器执行时，使得所述设备实施根据权利要求1-7中任一项所述的颗粒缺陷检测方法。
10.一种计算机存储介质，其特征在于，在所述计算机存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行根据权利要求1-7中任一项所述的颗粒缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110011860.5A CN112834518A (zh) | 2021-01-06 | 2021-01-06 | 颗粒缺陷检测方法、系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110011860.5A CN112834518A (zh) | 2021-01-06 | 2021-01-06 | 颗粒缺陷检测方法、系统、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112834518A true CN112834518A (zh) | 2021-05-25 |
Family
ID=75926110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110011860.5A Pending CN112834518A (zh) | 2021-01-06 | 2021-01-06 | 颗粒缺陷检测方法、系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112834518A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110603567A (zh) * | 2017-05-30 | 2019-12-20 | 富士胶片富山化学株式会社 | 配药监查辅助装置以及配药监查辅助方法 |
| CN113870241A (zh) * | 2021-10-12 | 2021-12-31 | 北京信息科技大学 | 一种基于胶囊神经网络的药片缺陷识别方法和装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477065A (zh) * | 2009-01-08 | 2009-07-08 | 西安电子科技大学 | 基于缺陷边界值变化次数的ic缺陷分类方法 |
| CN205643194U (zh) * | 2016-05-27 | 2016-10-12 | 南京点触智能科技有限公司 | 一种基于机器视觉的触控ito薄膜导电层缺陷检测系统 |
| CN106855520A (zh) * | 2017-02-10 | 2017-06-16 | 南京航空航天大学 | 一种基于机器视觉的工件缺陷检测方法 |
| CN107543828A (zh) * | 2017-08-25 | 2018-01-05 | 广东工业大学 | 一种工件表面缺陷检测方法及系统 |
| CN108229561A (zh) * | 2018-01-03 | 2018-06-29 | 北京先见科技有限公司 | 一种基于深度学习的颗粒产品缺陷检测方法 |
| CN108537264A (zh) * | 2018-03-30 | 2018-09-14 | 西安电子科技大学 | 基于深度学习的异源图像匹配方法 |
| CN108631727A (zh) * | 2018-03-26 | 2018-10-09 | 河北工业大学 | 一种基于卷积神经网络的太阳能电池板缺陷识别方法 |
| CN109297984A (zh) * | 2018-11-13 | 2019-02-01 | 正大天晴药业集团股份有限公司 | 一种泡罩包装缺陷检测方法、装置及设备 |
| CN109598721A (zh) * | 2018-12-10 | 2019-04-09 | 广州市易鸿智能装备有限公司 | 电池极片的缺陷检测方法、装置、检测设备和存储介质 |
| CN109871895A (zh) * | 2019-02-22 | 2019-06-11 | 北京百度网讯科技有限公司 | 电路板的缺陷检测方法和装置 |
| US20190228527A1 (en) * | 2016-08-22 | 2019-07-25 | Iris International, Inc. | System and method of classification of biological particles |
| CN110570393A (zh) * | 2019-07-31 | 2019-12-13 | 华南理工大学 | 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法 |
| CN111445486A (zh) * | 2020-03-25 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN112001218A (zh) * | 2020-06-19 | 2020-11-27 | 中国科学院计算技术研究所 | 一种基于卷积神经网络的三维颗粒类别检测方法及系统 |
| CN112148914A (zh) * | 2020-05-28 | 2020-12-29 | 青岛海尔智能技术研发有限公司 | 用于衣物图像检索的方法及装置、设备 |
-
2021
- 2021-01-06 CN CN202110011860.5A patent/CN112834518A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101477065A (zh) * | 2009-01-08 | 2009-07-08 | 西安电子科技大学 | 基于缺陷边界值变化次数的ic缺陷分类方法 |
| CN205643194U (zh) * | 2016-05-27 | 2016-10-12 | 南京点触智能科技有限公司 | 一种基于机器视觉的触控ito薄膜导电层缺陷检测系统 |
| US20190228527A1 (en) * | 2016-08-22 | 2019-07-25 | Iris International, Inc. | System and method of classification of biological particles |
| CN106855520A (zh) * | 2017-02-10 | 2017-06-16 | 南京航空航天大学 | 一种基于机器视觉的工件缺陷检测方法 |
| CN107543828A (zh) * | 2017-08-25 | 2018-01-05 | 广东工业大学 | 一种工件表面缺陷检测方法及系统 |
| CN108229561A (zh) * | 2018-01-03 | 2018-06-29 | 北京先见科技有限公司 | 一种基于深度学习的颗粒产品缺陷检测方法 |
| CN108631727A (zh) * | 2018-03-26 | 2018-10-09 | 河北工业大学 | 一种基于卷积神经网络的太阳能电池板缺陷识别方法 |
| CN108537264A (zh) * | 2018-03-30 | 2018-09-14 | 西安电子科技大学 | 基于深度学习的异源图像匹配方法 |
| CN109297984A (zh) * | 2018-11-13 | 2019-02-01 | 正大天晴药业集团股份有限公司 | 一种泡罩包装缺陷检测方法、装置及设备 |
| CN109598721A (zh) * | 2018-12-10 | 2019-04-09 | 广州市易鸿智能装备有限公司 | 电池极片的缺陷检测方法、装置、检测设备和存储介质 |
| CN109871895A (zh) * | 2019-02-22 | 2019-06-11 | 北京百度网讯科技有限公司 | 电路板的缺陷检测方法和装置 |
| CN110570393A (zh) * | 2019-07-31 | 2019-12-13 | 华南理工大学 | 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法 |
| CN111445486A (zh) * | 2020-03-25 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN112148914A (zh) * | 2020-05-28 | 2020-12-29 | 青岛海尔智能技术研发有限公司 | 用于衣物图像检索的方法及装置、设备 |
| CN112001218A (zh) * | 2020-06-19 | 2020-11-27 | 中国科学院计算技术研究所 | 一种基于卷积神经网络的三维颗粒类别检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 巩晓云: "《计算机视觉在药品包装检测中的应用》", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110603567A (zh) * | 2017-05-30 | 2019-12-20 | 富士胶片富山化学株式会社 | 配药监查辅助装置以及配药监查辅助方法 |
| CN110603567B (zh) * | 2017-05-30 | 2023-07-28 | 富士胶片富山化学株式会社 | 配药监查辅助装置以及配药监查辅助方法 |
| CN113870241A (zh) * | 2021-10-12 | 2021-12-31 | 北京信息科技大学 | 一种基于胶囊神经网络的药片缺陷识别方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| US11189019B2 (en) | Method for detecting defects, electronic device, and computer readable medium | |
| US11900586B2 (en) | Hot spot defect detecting method and hot spot defect detecting system | |
| CN112834518A (zh) | 颗粒缺陷检测方法、系统、设备和介质 | |
| CN111144282B (zh) | 表格识别方法和装置、计算机可读存储介质 | |
| CN107784660B (zh) | 图像处理方法、图像处理系统及缺陷检测装置 | |
| US20220309765A1 (en) | Method and device for optimizing object-class model based on neural network | |
| CN108918093B (zh) | 一种滤光片镜面缺陷检测方法、装置及终端设备 | |
| CN113379723B (zh) | 不规则溢胶口检测方法、装置、设备和存储介质 | |
| KR20220016245A (ko) | 불량 이미지 생성 장치 및 방법 | |
| CN113160161A (zh) | 目标边缘处缺陷的检测方法和装置 | |
| CN114565558A (zh) | 一种cmos芯片表面缺陷检测方法及系统 | |
| CN117522869B (zh) | 图像处理方法和缺陷检测方法、系统、电子设备 | |
| US6920241B1 (en) | System and method for bundled location and regional inspection | |
| CN105825182A (zh) | 一种在线识别裂颖稻种的双面分析方法 | |
| US11922680B2 (en) | Image determination device, image determination method, and non-transitory computer readable medium storing program | |
| US11501543B2 (en) | System and method for automatic real-time localization of license plate of vehicle from plurality of images of the vehicle | |
| CN115222653B (zh) | 测试方法和装置 | |
| EP4266260A1 (en) | Encoding of training data for training of a neural network | |
| CN113344949A (zh) | 一种基于rgb图像的包裹检测方法、系统、介质及终端 | |
| CN114529912A (zh) | 图形验证码识别方法、装置、电子设备及可读存储介质 | |
| US10679336B2 (en) | Detecting method, detecting apparatus, and computer readable storage medium | |
| CN112308061A (zh) | 一种车牌字符排序方法、识别方法及装置 | |
| US11776249B2 (en) | Method for identifying non-inspectable objects in packaging, and apparatus and storage medium applying method | |
| CN114973394A (zh) | 手势动作识别方法、装置、电子设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210525 |
|
| RJ01 | Rejection of invention patent application after publication |