CN116309597B - 一种药盒混装缺陷的视觉在线检测方法及装置 - Google Patents

一种药盒混装缺陷的视觉在线检测方法及装置 Download PDF

Info

Publication number
CN116309597B
CN116309597B CN202310581442.9A CN202310581442A CN116309597B CN 116309597 B CN116309597 B CN 116309597B CN 202310581442 A CN202310581442 A CN 202310581442A CN 116309597 B CN116309597 B CN 116309597B
Authority
CN
China
Prior art keywords
image
sample
medicine box
gradient
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310581442.9A
Other languages
English (en)
Other versions
CN116309597A (zh
Inventor
王强
丁超
田亚铃
彭悦蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Technological University CDTU
Original Assignee
Chengdu Technological University CDTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Technological University CDTU filed Critical Chengdu Technological University CDTU
Priority to CN202310581442.9A priority Critical patent/CN116309597B/zh
Publication of CN116309597A publication Critical patent/CN116309597A/zh
Application granted granted Critical
Publication of CN116309597B publication Critical patent/CN116309597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种药盒混装缺陷的视觉在线检测方法及装置，属于混装缺陷检测以及图像处理技术领域，通过提取样本药盒图像特征，根据样本药盒图像特征对药盒混装缺陷检测模型进行训练，从而可以提取实时药盒图像特征，并采用训练完成的药盒混装缺陷检测模型对实时药盒图像特征进行识别；只需要少量数据，就能完成图像特征的提取以及识别，且提取的图像特征具有判别性高、识别速度快以及识别准确率高等优点，满足了药企检测精度的要求。

Description

一种药盒混装缺陷的视觉在线检测方法及装置
技术领域
本发明涉及混装缺陷检测以及图像处理技术领域，具体涉及一种药盒混装缺陷的视觉在线检测方法及装置。
背景技术
大型药企每天可以生产数百至几千个批次的药品，而中小型药企每天生产批次也在几十到几百个之间。在现代药品生产包装过程中，每一种药品都是通过自动化生产线自动放入指定的药盒中。在药企生产过程中，尽管同一时段只生产一种药品，但是，同一条生产线需要生产多种药品。因此，容易将不同的药盒混入当前生产线上，导致药品装入错误的药盒中。通常存在两种错误，一种是同一种药品不同含量的药盒混入当前生产线中，另一种是不同药品的药盒混入当前生产线中。不管哪一种情况，都可能导致及其严重的后果，因此，这种混装错误在生产过程中都是不允许出现的。
药盒混装出现的原因有很多，常见的是人为因素，由于工人操作失误，导致错误的将不同的药品放入同一包装盒中；设备故障也将导致药品错装，此外，如果生产过程管理不当，也会出现混装的可能，如果包装比较相似，包装标识不清，作业环境影响等，都可能导致药盒混装。药盒混装可能导致严重的危害，如安全问题，如果服用的混装的药品，将导致严重安全问题，如果企业生产过程中出现了混装药品错误，将面临法律责任和利益损失，此外，混装还将增加企业生产成本，需要花费更多的时间和资源进行重新包装、分类和检测。因此，在药品生产过程中，需要采取有效措施避免药盒混装错误的出现。
当前避免药盒混装的检测方法主要为重量检测方法，药盒重量检测方法是一种常用的避免药盒混装的技术，但也存在一些问题；首先是精度问题，由于不同的药盒可能具有不同的形状和大小，因此称重时容易受到其他因素的干扰（如空气流动、震动等），从而影响称重精度；其次，故障率问题，称重设备需要定期维护以保持正常运转，如果没有得到及时维护，就会出现故障，导致数据不准确或无法使用。此外，检测速度也是常见的问题，重量检测方法需要将每个药盒放置在称重仪上进行检测，这需要较长时间来完成，随着现在药企的生产线工作效率的要求逐渐增高，重量检测方法已经无法满足需求。
发明内容
本发明的目的在于提供一种药盒混装缺陷的视觉在线检测方法及装置，解决了现有技术中存在的问题。
本发明通过下述技术方案实现：
第一方面，本发明提供一种药盒混装缺陷的视觉在线检测方法，包括：
获取药盒混装缺陷的训练数据，所述训练数据包括待检测生产线上的样本药盒图像以及样本药盒图像对应的真值标签；
对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，并提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征；
构建药盒混装缺陷检测模型，并以所述样本药盒图像对应的样本图像特征以及样本药盒图像对应的真值标签为基础，对药盒混装缺陷检测模型进行训练，得到训练完成的药盒混装缺陷检测模型；
采集待检测生产线上的实时药盒图像，并提取所述实时药盒图像的实时图像特征，采用训练完成的药盒混装缺陷检测模型对实时图像特征进行识别，获取药盒混装缺陷的检测结果。
在一种可能的实施方式中，对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，包括：对所述样本药盒图像进行滤波处理，得到预处理后的样本药盒图像，所述滤波处理包括均值滤波或者高斯滤波。
在一种可能的实施方式中，提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征，包括：
将所述预处理后的样本药盒图像均分为N*N个图像块，得到待处理图像块；
针对每个所述待处理图像块，采用M点高斯采样法对待处理图像块进行采样，得到每个待处理图像块对应的采样点，并获取每个采样点的梯度；其中，M为128、256或者512；
针对每个所述待处理图像块，将待处理图像块对应的采样点均分为两个点集，所述两个点集分别为Q点集以及P点集；
将Q点集中的采样点与P点集中的采样点进行一一对应配对，得到配对点集；
根据每个采样点的梯度以及配对点集，获取每个待处理图像块对应的图像块特征；
根述图像块特征，获取预处理后的样本药盒图像中的图像特征，得到样本图像特征。
在一种可能的实施方式中，获取每个采样点的梯度为：
；
其中，表示采样点的坐标，/>表示二维离散函数，/>表示采样点在x方向上的梯度，/>表示采样点在y方向上的梯度。
在一种可能的实施方式中，将Q点集中的采样点与P点集中的采样点进行一一对应配对，得到配对点集，包括：
A1、设置计数器t=1；
A2、针对P点集中的第t个第一采样点，采用高斯分布的随机抽样方法在Q点集中确定与第t个第一采样点/>所对应的第二采样点/>，得到配对点(/>)；并在配对后将第二采样点/>从Q点集中去除；
A3、判断计数器t的计数值是否等于或者大于M/2，若是，则将所有的配对点()组成配对点集，否则令计数器t的值加一，并返回步骤A2。
在一种可能的实施方式中，根据每个采样点的梯度以及配对点集，获取每个待处理图像块对应的图像块特征，包括：
；
其中，f表示待处理图像块对应的图像块特征，表示配对点集中第一对配对点，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>梯度的模，表示点/>梯度的模；/>表示配对点集中第二对配对点，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，表示点/>在y方向上的梯度，/>表示点/>梯度的模，/>表示点/>梯度的模；/>表示配对点集中第/>对配对点，/>，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，表示点/>在y方向上的梯度，/>表示点/>梯度的模，/>表示点梯度的模。
在一种可能的实施方式中，根据图像块特征，获取预处理后的样本药盒图像中的图像特征，得到样本图像特征，包括：
将N*N个图像块特征组成向量，得到样本图像特征；其中，分别表示第1,2,…,N,N+1,…,2N,2N+1,…,N*N个图像块所对应的图像块特征。
在一种可能的实施方式中，所述药盒混装缺陷检测模型设置为SVM模型。
在一种可能的实施方式中，以所述样本药盒图像对应的样本图像特征以及样本药盒图像对应的真值标签为基础，对所述药盒混装缺陷检测模型进行训练，得到训练完成的药盒混装缺陷检测模型，包括：
将所述样本药盒图像对应的样本图像特征按特征维度展开，得到展开后的样本图像特征 ，其中，/>表示第i个样本图像特征，/>分别表示样本图像特征中第1,2,…,n个特征，n=N*N*M/2；
构建药盒混装缺陷检测模型的超平面方程为：
；
其中，，/>，/>表示超平面的法向量，/>表示超平面上的点，/>表示偏移量，/>、/>和/>表示超平面方程的不同系数，/>、/>和/>表示超平面上的不同的点，T表示转置；
以所述超平面方程为基础，获取样本图像特征与药盒混装缺陷检测模型的超平面之间的距离为：
；
其中，表示第i个样本图像特征/>与超平面之间的距离，/>表示第i个样本图像特征中的特征矩阵；
根据样本药盒图像对应的真值标签label以及距离，构建支持向量求解模型：
；
对支持向量求解模型进行求解，得到药盒混装缺陷检测模型的支持向量，所述支持向量包括法向量和偏移量/>，完成药盒混装缺陷检测模型的训练。
第二方面，本发明提供一种药盒混装缺陷的视觉在线检测装置，包括训练数据获取模块、样本图像特征获取模块、训练模块以及实时检测模块；
所述训练数据获取模块用于，获取药盒混装缺陷的训练数据，所述训练数据包括待检测生产线上的样本药盒图像以及样本药盒图像对应的真值标签；
所述样本图像特征获取模块用于，对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，并提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征；
所述训练模块用于，构建药盒混装缺陷检测模型，并以所述样本药盒图像对应的样本图像特征以及样本药盒图像对应的真值标签为基础，对药盒混装缺陷检测模型进行训练，得到训练完成的药盒混装缺陷检测模型；
所述实时检测模块用于，采集待检测生产线上的实时药盒图像，并提取所述实时药盒图像的实时图像特征，采用训练完成的药盒混装缺陷检测模型对实时图像特征进行识别，获取药盒混装缺陷的检测结果。
本发明提供的一种药盒混装缺陷的视觉在线检测方法及装置，通过提取样本药盒图像特征，根据样本药盒图像特征对药盒混装缺陷检测模型进行训练，从而可以提取实时药盒图像特征，并采用训练完成的药盒混装缺陷检测模型对实时药盒图像特征进行识别；只需要少量数据，就能完成图像特征的提取以及识别，且提取的图像特征具有判别性高、识别速度快以及识别准确率高等优点，满足了药企检测精度的要求。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种药盒混装缺陷的视觉在线检测方法的流程图。
图2为本发明实施例提供的一种药盒混装缺陷的视觉在线检测系统的结构示意图。
其中，201-训练数据获取模块、202-样本图像特征获取模块、203-训练模块、204-实时检测模块。
实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，本发明提供一种药盒混装缺陷的视觉在线检测方法，包括：
S101、获取药盒混装缺陷的训练数据，所述训练数据包括待检测生产线上的样本药盒图像以及样本药盒图像对应的真值标签。
可选的，可以针对同一生产线上的不同药盒，分别在运动的产线上采集5到10张样本药盒图像，并且对于每一类样本药盒图像，给定唯一的真值标签，从而可以将样本药盒图像及其对应的真值标签作为训练数据。
S102、对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，并提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征。
为了避免图像可能受到噪声影响，可以采用图像滤波的方式对样本药盒图像进行预处理，以保证更好的提取图像特征。
S103、构建药盒混装缺陷检测模型，并以所述样本药盒图像对应的样本图像特征以及样本药盒图像对应的真值标签为基础，对药盒混装缺陷检测模型进行训练，得到训练完成的药盒混装缺陷检测模型。
可选的，药盒混装缺陷检测模型可以设置为神经网络模型，例如，药盒混装缺陷检测模型可以设置为SVM（Support Vector Machine，支持向量机）模型。
S104、采集待检测生产线上的实时药盒图像，并提取所述实时药盒图像的实时图像特征，采用训练完成的药盒混装缺陷检测模型对实时图像特征进行识别，获取药盒混装缺陷的检测结果。
训练完成的药盒混装缺陷检测模型具有识别图像特征的能力，从而可以将实时药盒图像的实时图像特征提取后，再通过训练完成的药盒混装缺陷检测模型进行特征识别，从而可以识别药盒类型，根据药盒类型从而可以确定该药盒是否为当前生产线上的药盒，得到药盒混装缺陷检测。
本发明通过提取图像中的唯一性特征，结合传统机器学习方法支持向量机对特征进行分类，实现药盒混装的检测。首先，对于不同类别的目标对象，提取的特征是有很大却别的，保证了不同药盒之间的差别，即使对于同一药品不同含量的药盒，也能够用不同的特征进行表达，特征的唯一性保证了分类的准确性；其次，SVM方法只需要少量的训练数据即可实现目标分类和识别，不需要大规模的训练，从而节约训练时间和成本；最后，本发明的分类识别速度快，并且由于提取的特征唯一，训练模型小，可以实现待检测图像的快速分类识别。
在一种可能的实施方式中，对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，包括：对所述样本药盒图像进行滤波处理，得到预处理后的样本药盒图像，所述滤波处理包括均值滤波或者高斯滤波。
可选的，为了避免样本药盒图像受到噪声影响，可以先对样本药盒图像进行滤波处理，滤波方式可以采用均值滤波以及高斯滤波等方式。此处采用高斯滤波以及高斯滤波采用卷积模板实现。值得说明的是，除了本实施例所述的滤波方式，还可以采用其他滤波方式进行图像的滤波处理。
在一种可能的实施方式中，提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征，包括：
将所述预处理后的样本药盒图像均分为N*N个图像块，得到待处理图像块。
可选的，可以对滤波后的每张样本药盒图像进行分块，每张样本药盒图像按照水平和垂直方向平均分为9×9=81块，也可以按照如11×11或者 7×7等其他方式分块，但是对于每一种检测，每张图像都是按照相同的方式分成相同数量的图像块，以保证药盒混装缺陷检测模型能够准确地识别图像类别。
针对每个所述待处理图像块，采用M点高斯采样法对待处理图像块进行采样，得到每个待处理图像块对应的采样点，并获取每个采样点的梯度；其中，M为128、256或者512。
值得说明的是，除了128、256或者512等采样点数之外，还可以设置其他数值的采样点数，本实施例将M设置为256进行具体方案的阐述。
可选的，可以采用二维零均值离散高斯函数进行高斯采样，可以先计算出所有的采样坐标点，对于同一生产线上的每张图像分块后的每块区域，都采用相同的采样坐标点，不需要每次重新计算。二维零均值离散高斯函数如下：
。
其中，表示高斯滤波器，/>表示图像块上当前像素点的坐标，/>表示圆周率，/>表示高斯函数的标准偏差，e表示自然常数。
针对每个所述待处理图像块，将待处理图像块对应的采样点均分为两个点集，所述两个点集分别为Q点集以及P点集。
将Q点集中的采样点与P点集中的采样点进行一一对应配对，得到配对点集。
根据每个采样点的梯度以及配对点集，获取每个待处理图像块对应的图像块特征。
根据图像块特征，获取预处理后的样本药盒图像中的图像特征，得到样本图像特征。
在一种可能的实施方式中，获取每个采样点的梯度为：
。
其中，表示采样点的坐标，/>表示二维离散函数，/>表示采样点在x方向上的梯度，/>表示采样点在y方向上的梯度。
在一种可能的实施方式中，将Q点集中的采样点与P点集中的采样点进行一一对应配对，得到配对点集，包括：
A1、设置计数器t=1。
A2、针对P点集中的第t个第一采样点，采用高斯分布的随机抽样方法在Q点集中确定与第t个第一采样点/>所对应的第二采样点/>，得到配对点(/>)；并在配对后将第二采样点/>从Q点集中去除。
A3、判断计数器t的计数值是否等于或者大于M/2，若是，则将所有的配对点()组成配对点集，否则令计数器t的值加一，并返回步骤A2。
在本实施例中，对于按照高斯分布采样得到的256个点，将其分为两个点集，每个点集128个点，分别用P和Q表示两个点集。即以及。
对于Q点集，利用基于高斯分布的随机抽样方式，依次抽取样本点与点集P中的点进行配对，最后完成两两配对，得到配对点集，其中，/>表示P点集中第一个采样点，/>表示从Q点集中取出的与/>配对的采样点。
可选的，由于Q点集中的每个采样点是具有(x,y)坐标的二维数据。因此，可以得到Q点集的概率密度函数如下：
。
其中，表示概率密度，/>表示数据的期望，/>表示协方差，在Q点集中共有128个观察数据，/>表示每个观察数据发生的概率。
然后采用最大似然法估算的值，具体为：
。
其中，表示似然函数。
由于每个点数据都是独立的，因此似然函数可以由概率密度函数给出：
。
其中，表示Q点集中第/>个点的概率密度，/>表示求积符号。
由于每个点发生的概率很小，因此在似然函数的基础上，在等式两边取对数，得到：
。
最后，通过EM（Expectation-Maximization，期望最大化）算法进行迭代求解，得到Q点集中采样点的出现概率，将出现概率最大的采样点与P点集中未匹配的采样点按顺序进行匹配，并将Q点集已经匹配过的采样点去除。例如，P点集中的前三个采样点已经匹配，则当前应当匹配P点集中的第四个采样点，由于Q点集已经去除匹配过的采样点，那么当前从Q点集选出的出现概率最大的采样点可以直接与P点集中的第四个采样点进行匹配；当P点集中的第四个采样点匹配之后，则继续按顺序为P点集中的采样点进行匹配，直至P点集中所有采样点匹配完成，得到配对点集。
值得说明的是，点集分组的方式在最开始就预先确定哪些点在P点集和Q点集中，高斯分布随机抽取的采样点也在配对之前确定，此后每个图像块中的点集都按照相同的坐标位置进行两两配对。因此只需要最开始时计算一次，后续直接将不同图像中的同名点按照相同的方式进行抽样匹配，而不需要每张图像都进行计算。
在一种可能的实施方式中，根据每个采样点的梯度以及配对点集，获取每个待处理图像块对应的图像块特征，包括：
。
其中，f表示待处理图像块对应的图像块特征，表示配对点集中第一对配对点，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>梯度的模，表示点/>梯度的模；/>表示配对点集中第二对配对点，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，表示点/>在y方向上的梯度，/>表示点/>梯度的模，/>表示点/>梯度的模；/>表示配对点集中第/>对配对点，/>，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，表示点/>在y方向上的梯度，/>表示点/>梯度的模，/>表示点梯度的模。
在一种可能的实施方式中，根据图像块特征，获取预处理后的样本药盒图像中的图像特征，得到样本图像特征，包括：
将N*N个图像块特征组成向量，得到样本图像特征；其中，分别表示第1,2,…,N,N+1,…,2N,2N+1,…,N*N个图像块所对应的图像块特征。
在本实施例中，每个图像块的特征维度为128维，针对每张图像，如果按照9×9的方式分块，将得到共81×128=10368维特征。
在一种可能的实施方式中，所述药盒混装缺陷检测模型设置为SVM模型。值得说明的是，除了采样SVM模型进行分类之外，还可以采用其他类型的分类神经网络进行分类，以完成混装缺陷的检测。
实施例2
如图2所示，本发明提供一种药盒混装缺陷的视觉在线检测装置，包括训练数据获取模块201、样本图像特征获取模块202、训练模块203以及实时检测模块204。
训练数据获取模块201用于，获取药盒混装缺陷的训练数据，所述训练数据包括待检测生产线上的样本药盒图像以及样本药盒图像对应的真值标签。
样本图像特征获取模块202用于，对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，并提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征。
训练模块203用于，构建药盒混装缺陷检测模型，并以所述样本药盒图像对应的样本图像特征以及样本药盒图像对应的真值标签为基础，对药盒混装缺陷检测模型进行训练，得到训练完成的药盒混装缺陷检测模型。
实时检测模块204块用于，采集待检测生产线上的实时药盒图像，并提取所述实时药盒图像的实时图像特征，采用训练完成的药盒混装缺陷检测模型对实时图像特征进行识别，获取药盒混装缺陷的检测结果。
值得说明的是，本实施例提供的一种药盒混装缺陷的视觉在线检测装置可以执行实施例1所述的方法技术方案，其原理和有益效果类似，此处不再赘述。
本发明提供的一种药盒混装缺陷的视觉在线检测方法及装置，通过提取样本药盒图像特征，根据样本药盒图像特征对药盒混装缺陷检测模型进行训练，从而可以提取实时药盒图像特征，并采用训练完成的药盒混装缺陷检测模型对实时药盒图像特征进行识别；只需要少量数据，就能完成图像特征的提取以及识别，且提取的图像特征具有判别性高、识别速度快以及识别准确率高等优点，满足了药企检测精度的要求。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种药盒混装缺陷的视觉在线检测方法，其特征在于，包括：
获取药盒混装缺陷的训练数据，所述训练数据包括待检测生产线上的样本药盒图像以及样本药盒图像对应的真值标签；
对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，并提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征；
构建所述药盒混装缺陷检测模型，并以所述样本药盒图像对应的样本图像特征以及样本药盒图像对应的真值标签为基础，对所述药盒混装缺陷检测模型进行训练，得到训练完成的药盒混装缺陷检测模型；
采集待检测生产线上的实时药盒图像，并提取所述实时药盒图像的实时图像特征，采用训练完成的药盒混装缺陷检测模型对实时图像特征进行识别，获取药盒混装缺陷的检测结果；
提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征，包括：
将所述预处理后的样本药盒图像均分为N*N个图像块，得到待处理图像块；
针对每个所述待处理图像块，采用M点高斯采样法对待处理图像块进行采样，得到每个待处理图像块对应的采样点，并获取每个采样点的梯度；其中，M为128、256或者512；
针对每个所述待处理图像块，将待处理图像块对应的采样点均分为两个点集，所述两个点集分别为Q点集以及P点集；
将Q点集中的采样点与P点集中的采样点进行一一对应配对，得到配对点集；
根据每个采样点的梯度以及配对点集，获取每个待处理图像块对应的图像块特征；
根据图像块特征，获取预处理后的样本药盒图像中的图像特征，得到样本图像特征。
2.根据权利要求1所述的药盒混装缺陷的视觉在线检测方法，其特征在于，对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，包括：对所述样本药盒图像进行滤波处理，得到预处理后的样本药盒图像，所述滤波处理包括均值滤波或者高斯滤波。
3.根据权利要求1所述的药盒混装缺陷的视觉在线检测方法，其特征在于，获取每个采样点的梯度为：
；
其中，表示采样点的坐标，/>表示二维离散函数，/>表示采样点/>在x方向上的梯度，/>表示采样点在y方向上的梯度。
4.根据权利要求3所述的药盒混装缺陷的视觉在线检测方法，其特征在于，将Q点集中的采样点与P点集中的采样点进行一一对应配对，得到配对点集，包括：
A1、设置计数器t=1；
A2、针对P点集中的第t个第一采样点，采用高斯分布的随机抽样方法在Q点集中确定与第t个第一采样点/>所对应的第二采样点/>，得到配对点(/>)；并在配对后将第二采样点/>从Q点集中去除；
A3、判断计数器t的计数值是否等于或者大于M/2，若是，则将所有的配对点()组成配对点集，否则令计数器t的值加一，并返回步骤A2。
5.根据权利要求3或4所述的药盒混装缺陷的视觉在线检测方法，其特征在于，根据所述每个采样点的梯度以及配对点集，获取每个所述待处理图像块对应的图像块特征，包括：；
其中，f表示待处理图像块对应的图像块特征，表示配对点集中第一对配对点，表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>梯度的模，/>表示点/>梯度的模；/>表示配对点集中第二对配对点，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>梯度的模，/>表示点/>梯度的模；/>表示配对点集中第/>对配对点，/>，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>在x方向上的梯度，/>表示点/>在y方向上的梯度，/>表示点/>梯度的模，/>表示点/>梯度的模。
6.根据权利要求5所述的药盒混装缺陷的视觉在线检测方法，其特征在于，根据所述图像块特征，获取预处理后的样本药盒图像中的图像特征，得到样本图像特征，包括：
将N*N个图像块特征组成向量，得到样本图像特征；其中，/>分别表示第1,2,…,N,N+1,…,2N,2N+1,…,N*N个图像块所对应的图像块特征。
7.根据权利要求6所述的药盒混装缺陷的视觉在线检测方法，其特征在于，所述药盒混装缺陷检测模型设置为SVM模型。
8.根据权利要求7所述的药盒混装缺陷的视觉在线检测方法，其特征在于，以所述样本药盒图像对应的样本图像特征以及样本药盒图像对应的真值标签为基础，对所述药盒混装缺陷检测模型进行训练，得到训练完成的药盒混装缺陷检测模型，包括：
将所述样本药盒图像对应的样本图像特征按特征维度展开，得到展开后的样本图像特征 ，其中，/>表示第i个样本图像特征，/>分别表示样本图像特征中第1,2,…,n个特征，n=N*N*M/2；
构建药盒混装缺陷检测模型的超平面方程为：
；
其中，，/>，/>表示超平面的法向量，/>表示超平面上的点，/>表示偏移量，/>、/>和/>表示超平面方程的不同系数，/>、/>和/>表示超平面上的不同的点，T表示转置；
以所述超平面方程为基础，获取样本图像特征与药盒混装缺陷检测模型的超平面之间的距离为：
；
其中，表示第i个样本图像特征/>与超平面之间的距离，/>表示第i个样本图像特征中的特征矩阵；
根据样本药盒图像对应的真值标签label以及距离，构建支持向量求解模型：
；
对支持向量求解模型进行求解，得到药盒混装缺陷检测模型的支持向量，所述支持向量包括法向量和偏移量/>，完成药盒混装缺陷检测模型的训练。
9.一种药盒混装缺陷的视觉在线检测装置，该视觉在线检测装置用于执行权利要求1所述的视觉在线检测方法，其特征在于，包括训练数据获取模块、样本图像特征获取模块、训练模块以及实时检测模块；
所述训练数据获取模块用于，获取药盒混装缺陷的训练数据，所述训练数据包括待检测生产线上的样本药盒图像以及样本药盒图像对应的真值标签；
所述样本图像特征获取模块用于，对所述样本药盒图像进行预处理，得到预处理后的样本药盒图像，并提取所述预处理后的样本药盒图像中的图像特征，得到样本图像特征；
所述训练模块用于，构建药盒混装缺陷检测模型，并以所述样本药盒图像对应的样本图像特征以及样本药盒图像对应的真值标签为基础，对所述药盒混装缺陷检测模型进行训练，得到训练完成的药盒混装缺陷检测模型；
所述实时检测模块用于，采集待检测生产线上的实时药盒图像，并提取所述实时药盒图像的实时图像特征，采用训练完成的药盒混装缺陷检测模型对实时图像特征进行识别，获取药盒混装缺陷的检测结果。
CN202310581442.9A 2023-05-23 2023-05-23 一种药盒混装缺陷的视觉在线检测方法及装置 Active CN116309597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581442.9A CN116309597B (zh) 2023-05-23 2023-05-23 一种药盒混装缺陷的视觉在线检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581442.9A CN116309597B (zh) 2023-05-23 2023-05-23 一种药盒混装缺陷的视觉在线检测方法及装置

Publications (2)

Publication Number Publication Date
CN116309597A CN116309597A (zh) 2023-06-23
CN116309597B true CN116309597B (zh) 2023-08-01

Family

ID=86820738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581442.9A Active CN116309597B (zh) 2023-05-23 2023-05-23 一种药盒混装缺陷的视觉在线检测方法及装置

Country Status (1)

Country Link
CN (1) CN116309597B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935375A (zh) * 2023-08-15 2023-10-24 安徽助行软件科技有限公司 一种智能生产线打包装盒检测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818989A (zh) * 2021-02-04 2021-05-18 成都工业学院 一种基于梯度幅值随机采样的图像匹配方法
CN113838034A (zh) * 2021-09-27 2021-12-24 力度工业智能科技(苏州)有限公司 基于机器视觉的糖果包装表面缺陷快速检测方法
CN114943738A (zh) * 2022-07-25 2022-08-26 武汉飞恩微电子有限公司 一种基于视觉识别的传感器封装固化胶缺陷识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620733B2 (en) * 2013-03-13 2023-04-04 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
CN113330490B (zh) * 2019-01-31 2024-04-23 华为技术有限公司 三维(3d)辅助个性化家庭对象检测
CN110110608B (zh) * 2019-04-12 2023-02-07 国网浙江省电力有限公司嘉兴供电公司 一种全景监控下基于视觉的叉车速度监测方法和系统
CN110135491A (zh) * 2019-05-13 2019-08-16 四川中新华搜信息技术有限公司 一种基于svm的图像或视频识别的商品外观防伪方法
CN112419229A (zh) * 2020-10-15 2021-02-26 合肥联宝信息技术有限公司 一种显示屏线状缺陷检测方法、装置及存储介质
CN113222028B (zh) * 2021-05-19 2022-09-06 中国电子科技集团公司第二十八研究所 一种基于多尺度邻域梯度模型的图像特征点实时匹配方法
CN115082923B (zh) * 2022-08-24 2022-11-08 成都工业学院 一种基于机器视觉的牛奶包装盒生产日期识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818989A (zh) * 2021-02-04 2021-05-18 成都工业学院 一种基于梯度幅值随机采样的图像匹配方法
CN113838034A (zh) * 2021-09-27 2021-12-24 力度工业智能科技(苏州)有限公司 基于机器视觉的糖果包装表面缺陷快速检测方法
CN114943738A (zh) * 2022-07-25 2022-08-26 武汉飞恩微电子有限公司 一种基于视觉识别的传感器封装固化胶缺陷识别方法

Also Published As

Publication number Publication date
CN116309597A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110111331B (zh) 基于机器视觉的蜂窝纸芯缺陷检测方法
Su et al. Region segmentation in histopathological breast cancer images using deep convolutional neural network
CN116309597B (zh) 一种药盒混装缺陷的视觉在线检测方法及装置
CN110310262A (zh) 一种用于检测轮胎缺陷的方法、装置及系统
CN107833213A (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
CN111126446B (zh) 一种机器人视觉工业产品缺陷图像数据增广方法
CN109272546B (zh) 一种鱼苗长度测量方法及系统
CN111914902B (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN116740060B (zh) 基于点云几何特征提取的装配式预制构件尺寸检测方法
CN114972339B (zh) 用于推土机结构件生产异常检测的数据增强系统
CN111738367A (zh) 一种基于图像识别的零件分类方法
CN110647913A (zh) 基于聚类算法的异常数据检测方法及装置
Wang et al. Automatic rebar counting using image processing and machine learning
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN107316296A (zh) 一种基于对数变换的遥感图像变化检测方法及装置
CN114187247A (zh) 一种基于图像配准的安瓿瓶印刷字缺陷检测方法
CN117495891A (zh) 点云边缘检测方法、装置和电子设备
CN115690104A (zh) 一种晶圆裂缝检测方法、装置及存储介质
CN113487538B (zh) 一种多目标分割缺陷检测方法、装置及其计算机存储介质
CN113313213B (zh) 一种加速目标检测算法训练的数据集处理方法
CN110033082B (zh) 一种识别ai设备中深度学习模型的方法
CN113837178A (zh) 一种基于深度学习的变电站表计自动定位与统一分割方法
CN102799865B (zh) 基于图像边界极坐标化离散序列的角度识别方法
CN111626175A (zh) 基于深度卷积神经网络的轴型识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant