CN112651948B - 一种基于机器视觉的青蒿素萃取智能跟踪与识别方法 - Google Patents
一种基于机器视觉的青蒿素萃取智能跟踪与识别方法 Download PDFInfo
- Publication number
- CN112651948B CN112651948B CN202011607518.3A CN202011607518A CN112651948B CN 112651948 B CN112651948 B CN 112651948B CN 202011607518 A CN202011607518 A CN 202011607518A CN 112651948 B CN112651948 B CN 112651948B
- Authority
- CN
- China
- Prior art keywords
- image
- real
- network
- time image
- artemisinin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- BLUAFEHZUWYNDE-NNWCWBAJSA-N artemisinin Chemical compound C([C@](OO1)(C)O2)C[C@H]3[C@H](C)CC[C@@H]4[C@@]31[C@@H]2OC(=O)[C@@H]4C BLUAFEHZUWYNDE-NNWCWBAJSA-N 0.000 title claims abstract description 49
- 229960004191 artemisinin Drugs 0.000 title claims abstract description 49
- 229930101531 artemisinin Natural products 0.000 title claims abstract description 49
- 238000000605 extraction Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000746 purification Methods 0.000 claims abstract description 26
- 230000002457 bidirectional effect Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000011161 development Methods 0.000 claims description 13
- 230000018109 developmental process Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 241000049464 Artemisia apiacea Species 0.000 description 3
- 235000011570 Artemisia caruifolia var apiacea Nutrition 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 201000004792 malaria Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- WHTVZRBIWZFKQO-AWEZNQCLSA-N (S)-chloroquine Chemical compound ClC1=CC=C2C(N[C@@H](C)CCCN(CC)CC)=CC=NC2=C1 WHTVZRBIWZFKQO-AWEZNQCLSA-N 0.000 description 1
- 235000001405 Artemisia annua Nutrition 0.000 description 1
- 240000000011 Artemisia annua Species 0.000 description 1
- 206010063094 Cerebral malaria Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 239000003430 antimalarial agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229960003677 chloroquine Drugs 0.000 description 1
- WHTVZRBIWZFKQO-UHFFFAOYSA-N chloroquine Natural products ClC1=CC=C2C(NC(C)CCCN(CC)CC)=CC=NC2=C1 WHTVZRBIWZFKQO-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 231100000053 low toxicity Toxicity 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000000273 veterinary drug Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及青蒿素提纯技术领域，具体公开了一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，结合青蒿素提纯过程中的视频数据(第一实时图像I和标准实时图像G)，设计高质量数据生成模型(双向级联迭代生成网络)，生成基于去噪数据(真实噪声图像N’)的高质量提纯数据(高质量图像G’)，利用有效的颜色分割算法对数据进行分割，设计有效的颜色识别模型(细粒度二分类网络)对高质量数据进行分类，使边缘计算设备根据颜色识别结果对安全阀开关进行操作，实现青蒿素气纯智能化识别与跟踪，实现对青蒿素提纯过程的无人化监控。本发明可逐步替代现有人工操作，降低安全生产风险，提高产品收率，降低生产成本。
Description
技术领域
本发明涉及青蒿素提纯技术领域，尤其涉及一种基于机器视觉的青蒿素萃取智能跟踪与识别方法。
背景技术
青蒿素是一种新型抗疟药，是目前世界上公认的最有效治疗脑型疟疾和抗氯喹恶性疟疾的药物。它具有低毒、高效、速效的特点，已成为世界卫生组织推荐的治疗疟疾的首选方法，在国际市场上供不应求，应用及经济前景十分看好。目前获取青蒿素的途径主要是直接从青蒿中提取，研究表明，青蒿的叶片和花表面的腺毛是青蒿素的主要合成和储存部位，青蒿的不同部位、不同时期的青蒿素含量不同，也与产地和生长环境相关。目前，青蒿药用成分提取率低是造成资源浪费的重大原因。未来，青蒿素及其副产物不仅应用于人类健康，还可辐射到生物农药、兽药等更多领域。但目前青蒿素生产车间因安全要求级别高，无法人工进入设备，又无法在线跟踪提净效果。
发明内容
本发明提供一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，解决的技术问题在于：如何对青蒿素的提纯过程进行在线跟踪。
为解决以上技术问题，本发明提供一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，包括步骤：
(1)生成高质量图像
S1：收集青蒿素提纯车间的第一实时图像I，收集标准环境中青蒿素提纯过程中的标准实时图像G；
S2：将所述第一实时图像I、所述标准实时图像G和初始噪声图像N输入双向级联迭代生成网络，生成高质量图像G’和真实噪声图像N’；
(2)颜色分割及识别
S3：采用颜色分割算法对所述高质量图像G’进行颜色分割后进行标签标注，以构建训练数据集和测试数据集；
S4：采用所述训练数据集和所述测试数据集对构建的细粒度二分类网络进行训练和测试；
(3)二分类计算
S5：基于所述双向级联迭代生成网络、所述颜色分割算法和完成训练、测试的所述细粒度二分类网络，对青蒿素提纯过程中的第二实时图像T进行识别与分析，输出控制阀门开和关的二分类结果。
进一步地，在所述步骤S2中，所述双向级联迭代生成网络包括上网络结构和下网络结构；所述上网络结构包括基于卷积层的第一特征提取网络和基于反卷积层的第一图像生成网络，所述下网络结构包括基于卷积层的第二特征提取网络和基于反卷积层的第二图像生成网络；
所述第一特征提取网络和所述第二特征提取网络分别用于提取初始噪声图像N和第一实时图像I的数据，所述第一图像生成网络和所述第二图像生成网络分别用于基于所述第一特征提取网络和所述第二特征提取网络提取的特征生成所述真实噪声图像N’和所述高质量图像G’；所述真实噪声图像N’和所述高质量图像G’相加得到真实实时图像I′。
进一步地，所述第一实时图像I与所述真实实时图像I′之间的损失函数为：
其中，I′t表示每次迭代后生成的真实实时图像，
表示每次迭代前第一实时图像I与迭代后真实实时图像I′t之间的损失，α为第一超参数，n为迭代次数。
进一步地，所述标准实时图像G与所述高质量图像G’之间的损失函数为：
其中，G′t表示每次迭代后生成的高质量图像，
表示每次迭代前标准实时图像G与迭代后图像G′t之间的损失，β为第二超参数，n为迭代次数。
进一步地，在将所述第一实时图像I、所述标准实时图像G输入至所述双向级联迭代生成网络前，进行切帧处理，并对切帧后的所述第一实时图像I进行高斯滤波。
进一步地，所述步骤S3具体包括步骤：
S31：对所述高质量图像G’先后进行灰度化、梯度化；
S32：基于分水岭算法对梯度化后的高质量图像G’进行分割和坐标标注，并利用标注结果对所述高质量图像G’进行裁剪；
S33：对提纯过程中对应开启阀门和关闭阀门的裁剪后的单色图片进行标签标注；
S34：收集所有标签标注后的单色图片，并将大部分作为训练数据集，剩余部分作为测试数据集。
进一步地，构建所述细粒度二分类网络，具体包括步骤：
S41：基于视觉几何群网络架构和线性分类器构建细粒度二分类网络；
S42：设计细粒度二分类网络的损失函数：
其中，Xoriginal表示将一张单色图片先后经过所述视觉几何群网络架构和所述线性分类器后得到的特征，Xpart表示将该单色图像裁剪而成的图片矩阵先后经过所述视觉几何群网络架构和所述线性分类器后得到的特征，y表示人工标注的该单色图片的状态，softmax表示softmax函数，γ表示随机部分特征占的权重，dist表示向量之间的距离函数。
进一步地，在所述步骤S5前还包括步骤：
S45：优化所述双向级联迭代生成网络：使所述第一图像生成网络和所述第二图像生成网络公用一套网络参数。
进一步地，在所述步骤S5中，所述双向级联迭代生成网络、所述步骤S31～S32的颜色分割算法及完成训练、测试的所述细粒度二分类网络部署在FPGA开发板上，电控阀的阀门和所述FPGA开发板的串口连接，用于生成所述第二实时图像T的摄像头和所述FPGA开发板的USB接口相连接。
本发明提供的一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，结合青蒿素提纯过程中的视频数据(第一实时图像I和标准实时图像G)，设计高质量数据生成模型(双向级联迭代生成网络)，并对高质量数据生成模型进行优化，生成基于去噪数据(真实噪声图像N’)的高质量提纯数据(高质量图像G’)，利用有效的颜色分割算法对数据进行分割，设计有效的颜色识别模型(细粒度二分类网络)对高质量数据进行分类，并对边缘计算设备(FPGA开发板)进行部署，使边缘计算设备根据颜色识别结果对安全阀开关进行操作，实现青蒿素气纯智能化识别与跟踪，实现对青蒿素提纯过程的无人化监控。本发明可逐步替代现有人工操作，降低安全生产风险，提高产品收率，降低生产成本。
附图说明
图1是本发明实施例提供的双向级联迭代生成网络的框架示意图；
图2是本发明实施例提供的进行颜色分割及识别的流程图；
图3是本发明实施例提供的颜色识别网络的框架示意图；
图4是本发明实施例提供的优化后的双向级联迭代生成网络的框架示意图；
图5是本发明实施例提供的边缘计算部署图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为了实现对青蒿素提纯过程的在线跟踪，本发明实施例提供一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，包括步骤：
(1)生成高质量图像
S1：收集青蒿素提纯车间的第一实时图像I，收集标准环境中青蒿素提纯过程中的标准实时图像G；
S2：将第一实时图像I、标准实时图像G和初始噪声图像N输入双向级联迭代生成网络，生成高质量图像G’和真实噪声图像N’。
在步骤S1中，提纯车间在不同时刻光照明暗不定，而青蒿素提纯装置为玻璃材质，摄像头采集图像时青蒿素提纯装置上会出现大量反光或者其他物体的倒影，造成其采集到的图像不准确。而标准环境则消除了光照明暗的变化，青蒿素提纯装置表面无反光或者其他物体的倒影，摄像头采集到的图像画面清晰，识别跟踪时候无环境因素影响(或者环境因素影响极小)。
在将第一实时图像I、标准实时图像G输入至双向级联迭代生成网络前，先进行切帧处理，并对切帧后的第一实时图像I进行高斯滤波。
在步骤S2中，如图1所示，双向级联迭代生成网络包括上网络结构和下网络结构；上网络结构包括基于卷积层(Conv+激活函数Relu)的第一特征提取网络和基于反卷积层(DConv+激活函数Relu)的第一图像生成网络，下网络结构包括基于卷积层(Conv+激活函数Relu)的第二特征提取网络和基于反卷积层(DConv+激活函数Relu)的第二图像生成网络；
第一特征提取网络和第二特征提取网络分别用于提取初始噪声图像N和第一实时图像I的特征，第一图像生成网络和第二图像生成网络分别用于基于第一特征提取网络和第二特征提取网络提取的特征生成真实噪声图像N’和高质量图像G’；真实噪声图像N’和高质量图像G’相加得到真实实时图像I′。
在这里，第一实时图像I、标准实时图像G和初始噪声图像N的初始赋值为：RGB 3通道的值均为255。
在图1中，第一实时图像I与真实实时图像I′之间的损失函数为：
其中，I′t表示每次迭代后生成的真实实时图像，
表示每次迭代前第一实时图像I与迭代后真实实时图像I′t之间的损失；α为第一超参数，α∈[0，0.5]，实际值通过实验得出；该参数是为了防止训练过程不收敛设置的；n为迭代次数。
在图1中，标准实时图像G与高质量图像G’之间的损失函数为：
其中，G′t表示每次迭代后生成的高质量图像，
表示每次迭代前标准实时图像G与迭代后图像G′t之间的损失，β为第二超参数，β∈[0，0.5]，实际值通过实验得出，该参数是为了防止训练过程不收敛设置的；n为迭代次数。
本实施例双向级联迭代生成网络进行多次迭代，输出
和
最小时的噪声图像和实时图像作为真实噪声图像N’和高质量图像G’。
本实施例步骤(1)利用设计好的高质量数据生成模型(双向级联迭代生成网络)对原始数据(第一实时图像I和标准实时图像G)生成高质量图像G’和真实噪声图像N’，让青蒿素提纯过程数据可以更好地消除干扰噪声数据，保留尽量多的原始数据信息，以使得青蒿素智能跟踪与识别保持很好的准确度。
(2)颜色分割及识别
S3：采用颜色分割算法对高质量图像G’进行颜色分割后进行标签标注，以构建训练数据集和测试数据集；
S4：采用训练数据集和测试数据集对构建的细粒度二分类网络进行训练和测试。
如图2所示，步骤S3具体包括步骤：
S31：对高质量图像G’先后进行灰度化、梯度化；
S32：基于分水岭算法对梯度化后的高质量图像G’进行分割和坐标标注，并利用标注结果对高质量图像G’进行裁剪；
S33：对提纯过程中对应开启阀门和关闭阀门的裁剪后的单色图片进行标签标注(一般采用人工的方式)；
S34：收集所有标签标注后的单色图片，并将大部分作为训练数据集，剩余部分作为测试数据集。
如图3所示，在步骤S4中，构建细粒度二分类网络，具体包括步骤：
S41：基于视觉几何群网络架构(VGG-16)和线性分类器构建细粒度二分类网络；
S42：设计细粒度二分类网络的损失函数：
其中，Xoriginal表示将一张单色图片先后经过视觉几何群网络架构和线性分类器后得到的特征，Xoart表示将该单色图像裁剪而成的图片矩阵先后经过视觉几何群网络架构和线性分类器后得到的特征，y表示人工标注的该单色图片的状态，softmax表示softmax函数，γ表示随机部分特征占的权重，dist表示向量之间的距离函数。
因为整张单色图片的颜色不是很均匀，所以需要去随机裁剪偶数张图片做特征提取。每张分辨率为P×Q的单色图片被裁剪成M*N张(M，N＝1，2，3，4…)分辨率为
的小图像，将这些小图像合并成一个M*N*(p×q)的图片矩阵，本实施例优选M＝4，N＝3，p×q＝28×28，则原单色图像的分辨率为112×84。一般γ在(0，0.3]范围内取值，以免影响总体特征，本实施例优选γ＝0.2。
细粒度二分类网络的框架结构如图3所示，其中的VGG-16作为骨架网络用于特征提取，接着是由多个全连接层构成的线性分类器，后接一个concatenate层，最后接一个softmax层输出结果。具体的二分类过程为：
1、将人工标注好的单色图像按照7∶3的比例分为训练数据集和测试数据集；
2、将训练数据集中的每一张单色图像随机裁剪为12*(28×28)的图像矩阵；
3、将标注后的单色图像和对应的图像矩阵输入各自的VGG-16网络进行特征提取，提取到的特征输入各自的线性分类器；
4、concatenate层对两个线性分类器的特征按照Xoriginal+γ*Xpart计算结果，并将结果输入softmax函数作为最终的输出结果；
5、使用测试数据集对训练好的细粒度二分类网络进行测试。
本步骤(2)利用分水岭算法和人工标注构造训练数据集和测试数据集，利用设计好的细粒度二分类网络对颜色进行识别，能更好地实现青蒿素智能跟踪与识别。
(3)二分类计算
S45：优化双向级联迭代生成网络：使第一图像生成网络和第二图像生成网络公用一套网络参数。
优化后的双向级联迭代生成网络如图4所示，可减少网络推演的预算量，可根据实际需求对双向级联迭代生成网络选择优化或是不优化。将双向级联迭代生成网络进行优化，可减少模型运行时候资源占用率，可以更好地部署在FPGA开发板上。
S5：基于双向级联迭代生成网络、步骤S31～S32的颜色分割算法和完成训练、测试的细粒度二分类网络，对青蒿素提纯过程中的第二实时图像T进行识别与分析，输出控制阀门开和关的二分类结果。
如图5所示的模块图，在该步骤S5中，双向级联迭代生成网络、步骤S31～S32的颜色分割算法及完成训练、测试的细粒度二分类网络部署在不限于为FPGA开发板的电路模块上，用于生成第二实时图像T的摄像头和FPGA开发板的USB接口相连接，将采集的第二实时图像T传输到FPGA开发板的主控制器上进行处理，得到分类结果。电控阀的阀门和FPGA开发板的串口连接，实时跟踪与识别的结果通过串口反馈给电子阀门。
综上，本发明实施例提供的一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，结合青蒿素提纯过程中的视频数据(第一实时图像I和标准实时图像G)，设计高质量数据生成模型(双向级联迭代生成网络)，并对高质量数据生成模型进行优化，生成基于去噪数据(真实噪声图像N’)的高质量提纯数据(高质量图像G’)，利用有效的颜色分割算法对数据进行分割，设计有效的颜色识别模型(细粒度二分类网络)对高质量数据进行分类，并对边缘计算设备(FPGA开发板)进行部署，使边缘计算设备根据颜色识别结果对安全阀开关进行操作，实现青蒿素气纯智能化识别与跟踪，实现对青蒿素提纯过程的无人化监控。本发明实施例可逐步替代现有人工操作，降低安全生产风险，提高产品收率，降低生产成本。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，其特征在于，包括步骤：
(1)生成高质量图像
S1：收集青蒿素提纯车间的第一实时图像I，收集标准环境中青蒿素提纯过程中的标准实时图像G；
S2：将所述第一实时图像I、所述标准实时图像G和初始噪声图像N输入双向级联迭代生成网络，生成高质量图像G’和真实噪声图像N’；
(2)颜色分割及识别
S3：采用颜色分割算法对所述高质量图像G’进行颜色分割后进行标签标注，以构建训练数据集和测试数据集；所述步骤S3具体包括步骤：
S31：对所述高质量图像G’先后进行灰度化、梯度化；
S32：基于分水岭算法对梯度化后的高质量图像G’进行分割和坐标标注，并利用标注结果对所述高质量图像G’进行裁剪；
S33：对提纯过程中对应开启阀门和关闭阀门的裁剪后的单色图片进行标签标注；
S34：收集所有标签标注后的单色图片，并将大部分作为训练数据集，剩余部分作为测试数据集；
S4：采用所述训练数据集和所述测试数据集对构建的细粒度二分类网络进行训练和测试；构建所述细粒度二分类网络，具体包括步骤：
S41：基于视觉几何群网络架构和线性分类器构建细粒度二分类网络；
S42：设计细粒度二分类网络的损失函数：
其中，Xoriginal表示将一张单色图片先后经过所述视觉几何群网络架构和所述线性分类器后得到的特征，Xpart表示将该单色图片 裁剪而成的图片矩阵先后经过所述视觉几何群网络架构和所述线性分类器后得到的特征，y表示人工标注的该单色图片的状态，softmax表示softmax函数，γ表示随机部分特征占的权重，dist表示向量之间的距离函数；
(3)二分类计算
S5：基于所述双向级联迭代生成网络、所述颜色分割算法和完成训练、测试的所述细粒度二分类网络，对青蒿素提纯过程中的第二实时图像T进行识别与分析，输出控制阀门开和关的二分类结果。
2.如权利要求1所述的一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，其特征在于：在所述步骤S2中，所述双向级联迭代生成网络包括上网络结构和下网络结构；所述上网络结构包括基于卷积层的第一特征提取网络和基于反卷积层的第一图像生成网络，所述下网络结构包括基于卷积层的第二特征提取网络和基于反卷积层的第二图像生成网络；
所述第一特征提取网络和所述第二特征提取网络分别用于提取初始噪声图像N和第一实时图像I的特征，所述第一图像生成网络和所述第二图像生成网络分别用于基于所述第一特征提取网络和所述第二特征提取网络提取的特征生成所述真实噪声图像N’和所述高质量图像G’；所述真实噪声图像N’和所述高质量图像G’相加得到真实实时图像I′。
3.如权利要求2所述的一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，其特征在于，所述第一实时图像I与所述真实实时图像I′之间的损失函数为：
其中，I′t表示每次迭代后生成的真实实时图像，
表示每次迭代前第一实时图像I与迭代后真实实时图像I′t之间的损失，α为第一超参数，n为迭代次数。
4.如权利要求2所述的一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，其特征在于，所述标准实时图像G与所述高质量图像G’之间的损失函数为：
其中，G′t表示每次迭代后生成的高质量图像，
表示每次迭代前标准实时图像G与迭代后图像G′t之间的损失，β为第二超参数，n为迭代次数。
5.如权利要求2～4任一项所述的一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，其特征在于：在将所述第一实时图像I、所述标准实时图像G输入至所述双向级联迭代生成网络前，进行切帧处理，并对切帧后的所述第一实时图像I进行高斯滤波。
6.如权利要求2所述的一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，其特征在于，在所述步骤S5前还包括步骤：
S45：优化所述双向级联迭代生成网络：使所述第一图像生成网络和所述第二图像生成网络公用一套网络参数。
7.如权利要求6所述的一种基于机器视觉的青蒿素萃取智能跟踪与识别方法，其特征在于，在所述步骤S5中，所述双向级联迭代生成网络、所述步骤S31～S32的颜色分割算法及完成训练、测试的所述细粒度二分类网络部署在FPGA开发板上，电控阀的阀门和所述FPGA开发板的串口连接，用于生成所述第二实时图像T的摄像头和所述FPGA开发板的USB接口相连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011607518.3A CN112651948B (zh) | 2020-12-30 | 2020-12-30 | 一种基于机器视觉的青蒿素萃取智能跟踪与识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011607518.3A CN112651948B (zh) | 2020-12-30 | 2020-12-30 | 一种基于机器视觉的青蒿素萃取智能跟踪与识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651948A CN112651948A (zh) | 2021-04-13 |
| CN112651948B true CN112651948B (zh) | 2022-04-12 |
Family
ID=75364062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011607518.3A Active CN112651948B (zh) | 2020-12-30 | 2020-12-30 | 一种基于机器视觉的青蒿素萃取智能跟踪与识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651948B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253024B (zh) * | 2023-11-17 | 2024-02-06 | 山东海晟盐业有限公司 | 一种基于机器视觉的工业盐质检管控方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408469A (zh) * | 2014-11-28 | 2015-03-11 | 武汉大学 | 基于图像深度学习的烟火识别方法及系统 |
| CN108171102A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 一种基于视觉的零件快速识别方法 |
| CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN109685737A (zh) * | 2018-12-24 | 2019-04-26 | 华南农业大学 | 一种图像去雾方法 |
| CN109886321A (zh) * | 2019-01-31 | 2019-06-14 | 南京大学 | 一种用于覆冰图像细粒度分类的图像特征提取方法和装置 |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN110321936A (zh) * | 2019-06-14 | 2019-10-11 | 浙江鹏信信息科技股份有限公司 | 一种基于vgg16及svm实现图片二分类的方法 |
| CN110929774A (zh) * | 2019-11-18 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 图像中目标物的分类方法、模型训练方法和装置 |
| CN111027475A (zh) * | 2019-12-09 | 2020-04-17 | 南京富士通南大软件技术有限公司 | 一种基于视觉的实时交通信号灯识别方法 |
| CN111488865A (zh) * | 2020-06-28 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像优化方法、装置、计算机存储介质以及电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6751364B2 (en) * | 2001-10-15 | 2004-06-15 | Tyson Fresh Meats, Inc. | Image analysis systems for grading of meat, predicting quality of meat and/or predicting meat yield of an animal carcass |
| GB0130210D0 (en) * | 2001-12-18 | 2002-02-06 | Caladrius Ltd | Segmentation of images using the watershed method |
| JP2012160863A (ja) * | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | 撮像装置、画像再生装置及び画像処理装置 |
| IL272433B2 (en) * | 2017-08-03 | 2024-02-01 | Nucleai Ltd | Systems and methods for tissue image analysis |
| CN110008842A (zh) * | 2019-03-09 | 2019-07-12 | 同济大学 | 一种基于深度多损失融合模型的行人重识别方法 |
| CN111476283A (zh) * | 2020-03-31 | 2020-07-31 | 上海海事大学 | 基于迁移学习的青光眼眼底图像识别方法 |
-
2020
- 2020-12-30 CN CN202011607518.3A patent/CN112651948B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408469A (zh) * | 2014-11-28 | 2015-03-11 | 武汉大学 | 基于图像深度学习的烟火识别方法及系统 |
| CN108171102A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 一种基于视觉的零件快速识别方法 |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN109685737A (zh) * | 2018-12-24 | 2019-04-26 | 华南农业大学 | 一种图像去雾方法 |
| CN109886321A (zh) * | 2019-01-31 | 2019-06-14 | 南京大学 | 一种用于覆冰图像细粒度分类的图像特征提取方法和装置 |
| CN110321936A (zh) * | 2019-06-14 | 2019-10-11 | 浙江鹏信信息科技股份有限公司 | 一种基于vgg16及svm实现图片二分类的方法 |
| CN110929774A (zh) * | 2019-11-18 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 图像中目标物的分类方法、模型训练方法和装置 |
| CN111027475A (zh) * | 2019-12-09 | 2020-04-17 | 南京富士通南大软件技术有限公司 | 一种基于视觉的实时交通信号灯识别方法 |
| CN111488865A (zh) * | 2020-06-28 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像优化方法、装置、计算机存储介质以及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| 一种基于Multiway cut的多对象图像分割;孙统风等;《计算机应用研究》;20100815(第08期);3138-3149 * |
| 一种基于图的彩色图像分割算法;沃焱等;《华南理工大学学报(自然科学版)》;20160915(第09期);1-8 * |
| 一种移动机器人视觉图像实时特征提取算法;徐斌等;《制造业自动化》;20130825(第16期);5-10 * |
| 基于改进分水岭及区域合并的图像分割方法;杨海峰;《微计算机应用》;20071115(第11期);1132-1137 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112651948A (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108108761B (zh) | 一种基于深度特征学习的快速交通信号灯检测方法 | |
| CN111414906B (zh) | 纸质票据图片的数据合成与文本识别方法 | |
| CN104281853B (zh) | 一种基于3d卷积神经网络的行为识别方法 | |
| CN108549893A (zh) | 一种任意形状的场景文本端到端识别方法 | |
| CN107609460A (zh) | 一种融合时空双重网络流和attention机制的人体行为识别方法 | |
| CN106845418A (zh) | 一种基于深度学习的高光谱图像分类方法 | |
| CN106446933B (zh) | 基于上下文信息的多目标检测方法 | |
| CN108021889A (zh) | 一种基于姿态外形和运动信息的双通道红外行为识别方法 | |
| CN109584251A (zh) | 一种基于单目标区域分割的舌体图像分割方法 | |
| CN111126325A (zh) | 一种基于视频的智能人员安防识别统计方法 | |
| CN107145889A (zh) | 基于具有RoI池化的双CNN网络的目标识别方法 | |
| CN109271991A (zh) | 一种基于深度学习的车牌检测方法 | |
| CN110276402A (zh) | 一种基于深度学习语义边界增强的盐体识别方法 | |
| CN109145964B (zh) | 一种实现图像颜色聚类的方法和系统 | |
| CN106803062A (zh) | 栈式降噪自编码神经网络手势图像的识别方法 | |
| CN109815945A (zh) | 一种基于图像识别的呼吸道检查结果判读系统和方法 | |
| CN112862792A (zh) | 一种用于小样本图像数据集的小麦白粉病孢子分割方法 | |
| CN106960176A (zh) | 一种基于超限学习机和颜色特征融合的行人性别识别方法 | |
| CN109977963A (zh) | 图像处理方法、设备、装置以及计算机可读介质 | |
| Rezaei et al. | Gland segmentation in histopathology images using deep networks and handcrafted features | |
| Chavan et al. | Convolutional neural network hand gesture recognition for American sign language | |
| CN108596195A (zh) | 一种基于稀疏编码特征提取的场景识别方法 | |
| CN109800659A (zh) | 一种动作识别方法及装置 | |
| CN112651948B (zh) | 一种基于机器视觉的青蒿素萃取智能跟踪与识别方法 | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |