CN111805541B - 一种基于深度学习的中药饮片净选装置及净选方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的中药饮片净选装置及净选方法，通过采集传输带上的中药饮片图像，在线地对缺陷中药饮片进行识别。识别采用预先训练的深度学习神经网络模型，图像划分为局部图像块作为输入进行训练，充分利用局部图像信息，极大减少深度学习对于样本的需求量。在运行时，深度学习神经网络可自我优化，不断提升缺陷识别能力。识别出缺陷中药饮片后，计算机通过内置定位程序，对缺陷中药饮片进行定位，剔除机构根据定位数据剔除掉对应的缺陷中药饮片。本发明流程简单、灵活，实施可行性高。识别缺陷中药饮片高效、准确，可显著地增加中药饮片净选效率。本发明还可推广应用于食品、轻小型零部件等缺陷的检测，解决多类产品的筛选痛点。

Description

一种基于深度学习的中药饮片净选装置及净选方法

技术领域

本发明属于中药加工技术领域，具体涉及一种基于深度学习的中药饮片净选装置及净选方法。

背景技术

中药饮片是我国中药产业三大支柱之一的传统特色药品，在我国中医临床防病治病方面发挥了重要作用，不仅是中医临床辨证施治的必备“武器”，也是中成药等制剂的中药原料。中药饮片净选，即饮片的净选加工，是保证中药饮片质量的重要环节。中药饮片绝大部分品种属于天然药物，难免存在虫蛀、虫网、霉变等情况；另外一些药材需要原产地保鲜加工，比如桔梗去皮、茯苓切片等，药农会采用水洗、剪切、挑选、筛选等方式进行初加工，这种生产加工和流通过程中，难免混入泥沙、或清理加工不到位等情况。所以，尽管中药饮片企业及制药企业在收购中药饮片时尽管会严格把关，但在中药饮片大批量进入公司之后，为了确保品质，还是需要将产品进行全检，再一次将不合格品、非药用物质等进行剔除，这也为中药饮片最后成为药品增加了安全和药效保障。在历版《中国药典》在其收载的中药材品种炮制项或来源项下，几乎无一例外的强调“净选”、“去除杂质”，显示出药材净选的重要性和强制性，也说明净选是保证中药饮片质量的最基本的要求。

药业公司往往经营数十种甚至几百种中药饮片，很多公司的单品种年产经营量为几千吨，净选工作量非常大，虽然配有机械化的流水线，每个生产线仍然少不了10多位工人手工完成净选，往往一条净选流水线无法满足需求，需要配置多条流水线，同时配备两班工人轮换工作，随着劳动力成本逐渐上涨，这给企业带来很大经济成本压力。流水线完成净选工作的工人，需要很好的视力，否则无法从不停歇的流水线上将不合格品识别出来，机械化流水线的机器轰鸣、振动等噪声很大，尽管这些工人经过了前期培训，不过这样的工作强度很难不让人产生身体疲劳和情绪低落，虽然部分企业会安排临时休息时间，但因人为因素造成的中药饮片净选品质下降始终是个隐患。

现有技术中，中国专利CN201610343838.X公开了一种智能分拣系统及其操作方法，其由上位机、输送系统、智能分拣机、MES系统组成，智能分拣机包括吸盘机械手、移载机构、分拣控制器，智能分拣机与上位机、MES系统、输送系统通信，能识别物料外形、空间位置，自动将所识别物件码放至相应输送系统上，储运，形成连续性的智能分拣流程系统。此种分拣方法通过识别条形码和外形，可以适用于类似快递包裹、零件分类等类似场景，但中药饮片的净选，是大量的饮片同时平铺于传输带，且其净选的依据很少以外形的差异，更多是的细小部位的缺陷和瑕疵，此类智能分拣方法无法解决中药饮片净选的问题。

中国专利CN201610241315.4公开了一种基于机器视觉的四轴并联机器人分拣系统及其分拣方法，其中，机架上包括上料编码小料的工件单元、2D工业相机单元、基于Canny算子二值化的视觉图像处理单元、机器人RC控制单元，通过过工业相机单元平台把工件放置台上的待分拣的几何工件的图像序列采集到视觉处理平台单元内，通过视觉处理平台单元的视觉处理软件把待检测工件的图像序列按每一帧进行分析，并且自动识别其形状，同时计算其相关的形状特征然后开始分拣。其分拣产品传输为履带传送，可以适用于单个视角即可区分的外形状异大的产品，但无法实现分拣产品的全表面相机取图；其识别方式是基于形状差异的轮廓分割图像处理，可以高效的识别不同形状的产品，但无法实现形状差异小的表面细小缺陷识别。

发明内容

本发明提出一种可对中药饮片进行高效、准确净选的基于深度学习的中药饮片净选装置及净选方法。

本发明所采用的技术方案为：

一种基于深度学习的中药饮片净选装置，包括用于输送中药饮片的传输带、设置在所述传输带上方用于采集中药饮片图像的图像采集装置和安装有相应程序并用于对所采集中药饮片图像进行净选识别、缺陷中药饮片定位的计算机，所述传输带侧面装设有用于根据净选识别结果和缺陷中药饮片定位剔除缺陷中药饮片的剔除机构。

进一步地，所述图像采集装置包括三个工业相机，其中，一个工业相机竖直安装在所述传输带正上方，另两工业相机分别共平面地安装在竖直设置的工业相机前、后侧位置，且均与水平面呈45°角。

进一步地，上述基于深度学习的中药饮片净选装置还包括光源控制器，每个工业相机位置均设置有一用于照射所述传输带上中药饮片的LED光源，三个LED光源分别与所述光源控制器相连，所述光源控制器与所述计算机相连；LED光源为RGB三原色LED光源。

进一步地，所述剔除机构为执行末端是气动柔性软体抓手的工业机器人，所述工业机器人配套有机器人控制器，所述机器人控制器与所述计算机相连。

进一步地，所述传输带底部安装有用于使其上中药饮片翻转、分散的振动电机。

一种基于深度学习的中药饮片净选方法，包括如下步骤：

步骤1)、将两个基于ImageNet数据集完成训练的VGG-16神经网络模型并列，去掉两 VGG-16神经网络模型末尾全连接层和softmax分类器后，加上池化层、空白的全连接层和空白的随机森林分类器，构建目标深度神经网络模型；

步骤2)、收集中药饮片图像形成数据集，采用比例分层随机抽样，将数据集分为训练集和测试集；将每一训练集图像划分为若干局部图像块输入目标深度神经网络模型中，进行迁移学习训练，并保存训练好的目标深度神经网络模型；

步骤3)、将测试集图像输入训练好的目标深度神经网络模型中进行中药饮片表面缺陷检测，输出测试结果；

步骤4)、通过训练好的目标深度神经网络模型对中药饮片进行识别，根据识别结果，对相应图像中缺陷中药饮片的位置进行定位，并剔除对应缺陷中药饮片。

进一步地，步骤2)中，从中药饮片图像中随机选取80％作为训练集，20％作为测试集。

进一步地，步骤2)中，对于训练集T＝{X_m,m＝1,…,M}，相应标签为l_m；每个训练图像 X_m被划分为一组局部图像块作为目标深度神经网络模型的基本训练样本，定义为 L(X_m)＝{X_mn,n＝1,…,N}，它们的标签继承自原始图像X_m；

图像X_m的划分方法为：假设局部图像块尺寸为h×w，步长为s，则从大小为H×W的图像中提取的局部图像块数量为

目标深度神经网络模型的训练以最小化损失函数L(F)为目标：

公式(1)中，F表示神经网络参数，P(l_m|X_m；F)表示局部图像块X_mn被神经网络参数F正确分类为l_m的概率；

随机森林分类器输出不同类别图像的概率，对于每个缺陷类，通过迭代地添加图像块级的概率，得到一个热图。

进一步地，训练过程中，采用反向传播和随机梯度下降SGD，采用5倍交叉验证，Batch 设为20，epoch设为200，每个epoch迭代32次，学习率为0.0001；

在热图生成过程中，局部图像块尺寸为h×w，步长为s，s值设定为h/5乘以w/5；h×w 的大小至少能涵盖缺陷区域。

进一步地，步骤2)还包括：在生成热图后，采用Otsu’s方法，对每个缺陷类的热图进行二值化，Otsu’s方法是通过获得最小类内方差的最优阈值对图像进行二值化的，Otsu’s方法的目标为：

公式(2)表示最小类内方差，T为训练集；

热图图像像素采用G灰度直方图表示，g_i为灰度i的归一化直方图值，L表示局部图像块训练集；A和B 无特别含义，仅用于区分；σ表示阈值，

为阈值以下像素的方差，

为阈值以上像素的方差；

获得二值化图像后，采用Felzenswalb分割，对缺陷区域进行细化，从上述阈值化步骤中去除小的、断开的片段，并连接大的潜在缺陷区域；

设G＝(V,E)为无向图，其中，V为像素集，E为边缘集；

确定分割边界的谓词D，表达式为：

公式(3)中，C_i为分割的第i个区域，C_j为分割的第j个区域；good表示合格，nogood表示不合格；

为v_n和v_m之间的权值，v_n表示n的权值，v_m表示m的权值；MInt(C_i,C_j)＝min(Int(C_i)+τ(C_i),Int(C_j)+τ(C_j))，

ST：e∈E且e∈T，MST表示所有ST中边权值之和最小者；τ(C_i)＝k/|C|，C表示分割区域， k为分割系数，k越大，分割结果的分量越大；由于每种缺陷类型都会生成热图，分割结果后设置阈值σ，去除缺陷概率较低的预测区域，这样就得到了最后的预测。

本发明的有益效果在于：

本发明的净选装置及净选方法具有流程简单、灵活的优点，可基于现有生产线进行改造，实施可行性高。通过采集传输带上的中药饮片图像，并在线地对缺陷中药饮片进行识别，识别采用预先训练的深度学习神经网络模型，识别时，将图像划分为局部图像块作为输入进行训练，充分利用局部图像信息，可极大减少深度学习对于样本的需求量，减少因中药种类繁多带来的数据收集难问题，在运行时，深度学习神经网络具有自我学习优化的特性，可不断提升缺陷识别能力。识别出缺陷中药饮片后，计算机通过内置定位程序，对对应图像中的缺陷中药饮片进行定位，剔除机构根据定位数据剔除掉对应的缺陷中药饮片。本发明识别缺陷中药饮片高效、准确，可极大地增加中药饮片净选效率。

实际使用时，还可以将多个本发明的中药饮片净选装置串联，实现多轮次的筛选，以进一步地提升中药饮片净选效果。

本发明的净选装置及净选方法还可推广应用于食品、轻小型零部件及元器件等外观缺陷的检测挑选，解决多行业多类产品的筛选痛点问题。

附图说明

图1为本发明的基于深度学习的中药饮片净选装置的结构示意图；

图2为本发明的基于深度学习的中药饮片净选方法中，神经网络架构图；

附图标记；1-传输带，2-振动电机，3-工业相机，4-LED光源，5-光源控制器，6-计算机。

具体实施方式

下面结合附图和具体的实施例对本发明的基于深度学习的中药饮片净选装置及净选方法作进一步地详细说明。

如图1所示，一种基于深度学习的中药饮片净选装置，包括用于输送中药饮片的传输带 1、设置在传输带1上方用于采集中药饮片图像的图像采集装置和安装有相应程序并用于对所采集中药饮片图像进行净选识别、缺陷中药饮片定位的计算机6，传输带1侧面装设有用于根据净选识别结果和缺陷中药饮片定位剔除缺陷中药饮片的剔除机构。

具体地，图像采集装置包括三个工业相机3，其中，一个工业相机3竖直安装在传输带1 正上方，另两工业相机3分别共平面地安装在竖直设置的工业相机3前、后侧位置，且均与水平面呈45°角。

剔除机构为执行末端(机器手末端)是气动柔性软体抓手的工业机器人，机器手采用多关节SCARA结构，工业机器人配套有机器人控制器，机器人控制器与计算机6相连。计算机6将缺陷中药饮片的定位反馈至机器人控制器，机器人控制器控制气动柔性软体抓手剔除对应缺陷中药饮片。气动柔性软体抓手可适应不同类型中药饮片的抓取，在局部的行程范围内，可快速灵活地抓取。

此外，上述基于深度学习的中药饮片净选装置还包括光源控制器5，每个工业相机3位置均设置有一用于照射传输带1上中药饮片的LED光源4，三个LED光源4分别与光源控制器5相连，光源控制器5与计算机6相连。LED光源4为RGB三原色LED光源。传输带1 底部安装有用于使其上中药饮片翻转、分散的振动电机2，振动电机2通过设定为间隙工作，振动电机2间歇振动可采用相应的控制器对振动电机2进行控制，具体振动时间、间隔时间以振动翻转效果及工业相机3拍取照片速度和识别速度确定。振动电机2工作时，其上传输带1振动，进而带动中药饮片翻转，通过振动使得中药饮片分散且确保每一面的特征都可以被工业相机3采集到。

以大枣饮片净选为例，实现净选首先需要知道存在的缺陷，大枣的缺陷除了出现在表面的霉变、虫蛀、粘异物，还存在于两端的虫网，这时依靠单台工业相机3在单个角度拍取照片是无法对大枣进行完整识别的，因而需要在多个角度配置工业相机3，同时，结合间歇振动翻转，这样保证大枣的每一个面都可以被工业相机3捕获，降低漏检率，提升净选的准确完整可靠。

工业相机3在拍取传输带1上的饮片时，自然光或普通生产照明，会产生很强的阴影或反射光，这对于拍取的图像产生很大的干扰噪声，会非常严重的影响后续缺陷识别，所以需要配置合适的光源。同样以大枣净选为例，中药饮片的大枣都为干枣，枣的表面是不光泽的褶皱，工业相机3通过普通照明方式拍取的照片，会产生强烈的反射光的白色斑点，而大枣缺陷中一个主要的缺陷之一是虫网，虫网的颜色在图像当中也同为不规则的白色斑点，这便对后续图像的识别产生了干扰，会误将反射光的斑点也识别为缺陷。本实施例中，通过布置的环形光源则可以很好的解决大枣褶皱的反射光问题，采用3组RGB三原色LED光源，分别位于正上方、水平-45度和水平135度位置，与相机相配合。此外，LED光源4还可以通过光源控制器5调节光的波长，紫外光和红外光对于大枣缺陷特征的图像显示会有不同的效果。LED光源4的波长可控可调，光源混合照射以减少饮片表面反射，从而辅助工业相机3拍摄获得清晰图像(LED光源4的布置位置及波长并不是固定的，可根据不同的净选饮片进行确定，目的在于降低饮片表面光线反射造成的干扰，从而实现多角度高凸显地获得净选饮片缺陷特征)。

为了进一步地提升净选准确率，降低漏检率，还可以将上述的多个中药饮片净选装置串联(类似于多个关卡)，形成多个净选环节。第一个环节遗漏的缺陷饮片会在第二个环节或更后方的环节被识别到，净选环节的数量视具体情况进行确定。

一种基于深度学习的中药饮片净选方法，包括如下步骤：

步骤1)、将两个基于ImageNet数据集完成训练的VGG-16神经网络模型并列，去掉两 VGG-16神经网络模型末尾全连接层和softmax分类器后，加上池化层、空白的全连接层和空白的随机森林分类器，构建目标深度神经网络模型，如图2所示。

步骤2)、收集中药饮片图像形成数据集，采用比例分层随机抽样，将数据集分为训练集和测试集。将每一训练集图像划分为若干局部图像块输入目标深度神经网络模型中，进行迁移学习训练，并保存训练好的目标深度神经网络模型。

步骤2)中，从中药饮片图像中随机选取80％作为训练集，20％作为测试集。

对于训练集T＝{X_m,m＝1,…,M}，相应标签为l_m。每个训练图像X_m被划分为一组局部图像块作为目标深度神经网络模型的基本训练样本，定义为L(X_m)＝{X_mn,n＝1,…,N}，它们的标签继承自原始图像X_m。

图像X_m的划分方法为：假设局部图像块尺寸为h×w，步长为s，则从大小为H×W的图像中提取的局部图像块数量为

目标深度神经网络模型的训练以最小化损失函数L(F)为目标：

公式(1)中，F表示神经网络参数，P(l_m|X_m；F)表示局部图像块X_mn被神经网络参数F正确分类为l_m的概率。

随机森林分类器输出不同类别图像的概率，对于每个缺陷类，通过迭代地添加图像块级的概率，得到一个热图。

训练过程中，采用反向传播和随机梯度下降SGD，采用5倍交叉验证，Batch设为20，epoch设为200，每个epoch迭代32次，学习率为0.0001。

在热图生成过程中，局部图像块尺寸为h×w，步长为s，s值设定为h/5乘以w/5。h×w 的大小至少能涵盖缺陷区域。

步骤2)还包括：在生成热图后，采用Otsu’s方法，对每个缺陷类的热图进行二值化， Otsu’s方法是通过获得最小类内方差的最优阈值对图像进行二值化的，Otsu’s方法的目标为：

公式(2)表示最小类内方差，T为训练集。

热图图像像素采用G灰度直方图表示，g_i为灰度i的归一化直方图值，L表示局部图像块训练集。A和B 无特别含义，仅用于区分。σ表示阈值，

为阈值以下像素的方差，

为阈值以上像素的方差。

获得二值化图像后，采用Felzenswalb分割，对缺陷区域进行细化，从上述阈值化步骤中去除小的、断开的片段，并连接大的潜在缺陷区域。

设G＝(V,E)为无向图，其中，V为像素集，E为边缘集。

确定分割边界的谓词D，表达式为：

公式(3)中，C_i为分割的第i个区域，C_j为分割的第j个区域。good表示合格，no good表示不合格。

为v_n和v_m之间的权值，v_n表示n的权值，v_m表示m的权值。MInt(C_i,C_j)＝min(Int(C_i)+τ(C_i),Int(C_j)+τ(C_j))，

ST：e∈E且e∈T，MST表示所有ST中边权值之和最小者。τ(C_i)＝k/|C|，C表示分割区域， k为分割系数，k越大，分割结果的分量越大。由于每种缺陷类型都会生成热图，分割结果后设置阈值σ，去除缺陷概率较低的预测区域，这样就得到了最后的预测。本实施例中，阈值σ取值为0.8。

步骤3)、将测试集图像输入训练好的目标深度神经网络模型中进行中药饮片表面缺陷检测，输出测试结果。

步骤4)、通过训练好的目标深度神经网络模型对中药饮片进行识别，根据识别结果，对相应图像中缺陷中药饮片的位置进行定位(拍摄图像后，对图像中确定的点或者对象进行定位是现有技术，本申请中对此不作赘述)，并剔除对应缺陷中药饮片。

由于净化产品往往存在较小类间差异和较大类内差异，故其依据的识别特征多存在于细粒度层面，为了充分利用局部信息，本发明中神经网络的输入采用局部图像块，而不是整个图片。

下面对本发明的基于深度学习的中药饮片净选装置及净选方法的使用效果进行说明。

以中药饮片大枣为例，前期将各缺陷类别收集1000张以上的图像，经过标记之后来对神经网络模型进行学习训练，训练时的识别正确率可达98％，测试时的正确率为96％。预训练的神经网络在生产工作中使用时，神经网络模型已经具备识别能力，1秒钟可以识别图像20-30 张，并且可以连续工作，相对于人工筛选来说，稳定、持续、高效。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术方法范围内，可轻易想到的替换或变换方法，都应该涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的中药饮片净选方法，其特征在于，包括如下步骤：

步骤1)、将两个基于ImageNet数据集完成训练的VGG-16神经网络模型并列，去掉两VGG-16神经网络模型末尾全连接层和softmax分类器后，加上池化层、空白的全连接层和空白的随机森林分类器，构建目标深度神经网络模型；

步骤2)、收集中药饮片图像形成数据集，采用比例分层随机抽样，将数据集分为训练集和测试集；将每一训练集图像划分为若干局部图像块输入目标深度神经网络模型中，进行迁移学习训练，并保存训练好的目标深度神经网络模型；

步骤3)、将测试集图像输入训练好的目标深度神经网络模型中进行中药饮片表面缺陷检测，输出测试结果；

步骤4)、通过训练好的目标深度神经网络模型对中药饮片进行识别，根据识别结果，对相应图像中缺陷中药饮片的位置进行定位，并剔除对应缺陷中药饮片。

2.根据权利要求1所述的基于深度学习的中药饮片净选方法，其特征在于，步骤2)中，从中药饮片图像中随机选取80％作为训练集，20％作为测试集。

3.根据权利要求1所述的基于深度学习的中药饮片净选方法，其特征在于，步骤2)中，对于训练集T＝{X_m,m＝1,…,M}，相应标签为l_m；每个训练图像X_m被划分为一组局部图像块作为目标深度神经网络模型的基本训练样本，定义为L(X_m)＝{X_mn,n＝1,…,N}，它们的标签继承自原始图像X_m；

图像X_m的划分方法为：假设局部图像块尺寸为h×w，步长为s，则从大小为H×W的图像中提取的局部图像块数量为

目标深度神经网络模型的训练以最小化损失函数L(F)为目标：

公式(1)中，F表示神经网络参数，P(l_m|X_m；F)表示局部图像块X_mn被神经网络参数F正确分类为l_m的概率；

随机森林分类器输出不同类别图像的概率，对于每个缺陷类，通过迭代地添加图像块级的概率，得到一个热图。

4.根据权利要求3所述的基于深度学习的中药饮片净选方法，其特征在于，训练过程中，采用反向传播和随机梯度下降SGD，采用5倍交叉验证，Batch设为20，epoch设为200，每个epoch迭代32次，学习率为0.0001；

在热图生成过程中，局部图像块尺寸为h×w，步长为s，s值设定为h/5乘以w/5；h×w的大小至少能涵盖缺陷区域。

5.根据权利要求3或4所述的基于深度学习的中药饮片净选方法，其特征在于，步骤2)还包括：在生成热图后，采用Otsu’s方法，对每个缺陷类的热图进行二值化，Otsu’s方法是通过获得最小类内方差的最优阈值对图像进行二值化的，Otsu’s方法的目标为：

公式(2)表示最小类内方差，T为训练集；

热图图像像素采用G灰度直方图表示，g_i为灰度i的归一化直方图值，L表示局部图像块训练集；A和B无特别含义，仅用于区分；σ表示阈值，

为阈值以下像素的方差，

为阈值以上像素的方差；

获得二值化图像后，采用Felzenswalb分割，对缺陷区域进行细化，从上述阈值化步骤中去除小的、断开的片段，并连接大的潜在缺陷区域；

设G＝(V,E)为无向图，其中，V为像素集，E为边缘集；

确定分割边界的谓词D，表达式为：

公式(3)中，C_i为分割的第i个区域，C_j为分割的第j个区域；good表示合格，no good表示不合格；

为v_n和v_m之间的权值，v_n表示n的权值，v_m表示m的权值；MInt(C_i,C_j)＝min(Int(C_i)+τ(C_i),Int(C_j)+τ(C_j))，

ST：e∈E且e∈T，MST表示所有ST中边权值之和最小者；τ(C_i)＝k/|C|，C表示分割区域，k为分割系数，k越大，分割结果的分量越大；由于每种缺陷类型都会生成热图，分割结果后设置阈值σ，去除缺陷概率较低的预测区域，这样就得到了最后的预测。

Images