CN113887309A - 基于Mask R-CNN的淀粉颗粒识别方法 - Google Patents
基于Mask R-CNN的淀粉颗粒识别方法 Download PDFInfo
- Publication number
- CN113887309A CN113887309A CN202111027701.0A CN202111027701A CN113887309A CN 113887309 A CN113887309 A CN 113887309A CN 202111027701 A CN202111027701 A CN 202111027701A CN 113887309 A CN113887309 A CN 113887309A
- Authority
- CN
- China
- Prior art keywords
- starch
- mask
- image
- gelatinization
- granule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229920002472 Starch Polymers 0.000 title claims abstract description 407
- 235000019698 starch Nutrition 0.000 title claims abstract description 407
- 239000008107 starch Substances 0.000 title claims abstract description 407
- 239000008187 granular material Substances 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 84
- 239000002245 particle Substances 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000008859 change Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 16
- 239000000725 suspension Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 229920001592 potato starch Polymers 0.000 claims description 13
- 238000011049 filling Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 239000011521 glass Substances 0.000 claims description 10
- 238000010438 heat treatment Methods 0.000 claims description 10
- 229920000881 Modified starch Polymers 0.000 claims description 8
- 239000007788 liquid Substances 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 239000004368 Modified starch Substances 0.000 claims description 6
- 235000019426 modified starch Nutrition 0.000 claims description 6
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000007789 sealing Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 239000004568 cement Substances 0.000 claims description 3
- 239000006059 cover glass Substances 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000012856 packing Methods 0.000 claims description 3
- 229910019142 PO4 Inorganic materials 0.000 claims description 2
- XSQUKJJJFZCRTK-UHFFFAOYSA-N Urea Chemical compound NC(N)=O XSQUKJJJFZCRTK-UHFFFAOYSA-N 0.000 claims description 2
- 150000001413 amino acids Chemical class 0.000 claims description 2
- 239000004202 carbamide Substances 0.000 claims description 2
- NBIIXXVUZAFLBC-UHFFFAOYSA-K phosphate Chemical compound [O-]P([O-])([O-])=O NBIIXXVUZAFLBC-UHFFFAOYSA-K 0.000 claims description 2
- 239000010452 phosphate Substances 0.000 claims description 2
- 239000011780 sodium chloride Substances 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000006399 behavior Effects 0.000 description 8
- 235000002595 Solanum tuberosum Nutrition 0.000 description 6
- 244000061456 Solanum tuberosum Species 0.000 description 6
- 230000008961 swelling Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 235000013305 food Nutrition 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002425 crystallisation Methods 0.000 description 1
- 230000008025 crystallization Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000001953 recrystallisation Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005556 structure-activity relationship Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 235000021404 traditional food Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于Mask R‑CNN的淀粉颗粒识别方法，该方法将热台‑偏光显微观察与计算机图像识别技术相结合，智能识别淀粉糊化过程中颗粒数量变化：基于热台‑偏光显微观察的淀粉糊化图像数据采集，通过算法依次进行淀粉糊化数据集构建，Mask R‑CNN模型构建及训练，淀粉糊化过程颗粒检测，淀粉颗粒数量统计。其中，算法由淀粉图像二值化算法、淀粉糊化数据集构建算法、神经网络训练算法、淀粉颗粒检测算法等。本发明利用Mask R‑CNN对淀粉糊化进行智能检测，自动化程度高，检测效率好，颗粒检测准确率达95％以上。本发明提供了一种智能化检测淀粉颗粒，评估淀粉糊化的定量新方法。
Description
技术领域
本发明属于食品科学与工程技术领域，具体涉及基于Mask R-CNN的淀粉颗粒识别方法。
背景技术
传统食品工业中，淀粉是承担食品结构与功能的重要组分。近年来，淀粉已广泛应用于食品、材料、化工、医疗等领域中。糊化是淀粉体系中组分形态、超分子结构、多组分构效关系和行为响应的直观表达。加工过程中，在相关物理场的作用下，淀粉分子(链) 内和分子间相互作用减弱，导致多尺度结构(颗粒结构、超微结构、结晶结构和分子结构) 变化，具体表现为溶胀、糊化、熔化、重结晶、分解等相变行为。研究淀粉糊化行为可为新产品的研发及品质改善提供预测及理论指导，其中研究较多的是溶胀和糊化行为。淀粉在糊化时，淀粉分子氢键断裂破坏，分子混乱程度增加，大量水分子进入淀粉分子内部，导致其颗粒不可逆吸水膨胀。
热台-光学显微镜常用于淀粉糊化行为的检测，其特点在于可对淀粉糊化过程中的糊化形态行为进行观察及记录，意味着不需中断淀粉的糊化进程，便可研究整个糊化进程。人工神经网络可从信息处理角度对人脑神经网络进行抽象表达，建立某种简单模型，其中卷积神经网络特有的非线性适应性信息处理能力，在目标检测、图像识别等领域有广泛应用。
中国发明专利申请CN107515198A公开了一种淀粉糊化度和糊化温度的在线检测方法，该方法主要是利用人工神经网络技术识别偏振光下淀粉双折射特征，通过统计其数目，经公式计算后得到糊化度。中国发明专利申请202010795543.2公开了一种淀粉颗粒溶胀能力的检测方法，其主要是采用计算机视觉技术识别糊化过程中淀粉颗粒像素点变化。该方法通过采集不同糊化阶段的淀粉图像，预处理后利用算法对图像中淀粉颗粒进行分割，智能计算糊化过程中淀粉颗粒像素点的变化，实现溶胀能力的检测。针对淀粉糊化图像进行研究，除上述方法外，还存在人工手动测定、人工操纵图像软件两种方式，但此类方法普遍存在耗时、误差较大、颗粒漏检误检等问题。
综上，目前基于热台-光学显微镜针对淀粉颗粒糊化过程的研究存在的主要缺陷在于只定性不定量。目前针对淀粉糊化过程的颗粒数量变化研究还大部分集中于人工识别，其识别速率慢，识别指标不全面均影响糊化评估。因颗粒评定标准不统一，边缘形态、颜色和颗粒体积大小均不同，淀粉糊化颗粒数量在当前研究方法下难以自动量化，限制淀粉糊化指标的进一步研究。
发明内容
本发明的目的在于针对现有技术的不足，提供一种针对淀粉颗粒智能检测的自动化程度高、检测效率好的基于Mask R-CNN的淀粉颗粒识别方法。
经热台-偏光显微镜与计算机图像识别技术相结合，减少数据处理量，提高数据处理效率，实现对淀粉糊化过程中颗粒形态变化的智能评估，为研究淀粉的糊化行为提供了不同于传统方法的新途径。
本发明方法将热台-偏光显微镜与人工神经网络相结合，通过算法依次进行淀粉糊化数据集构建，Mask R-CNN模型构建及训练，淀粉糊化过程颗粒检测。
本发明的目的通过如下技术方案实现。
基于Mask R-CNN的淀粉糊化智能检测方法，包括如下步骤：
(1)淀粉糊化图数据采集：配制淀粉悬浮液，分散均匀后，滴加至载玻片上，得到样本片，将样本片放置在带有显微镜的热台设备上，开启热台设备，升温至糊化温度，通过与显微镜相连的数码相机进行拍照，获取加热过程中的淀粉糊化图；
(2)淀粉糊化数据集构建：将步骤(1)所得的淀粉糊化图转化为淀粉糊化二值图，分割淀粉糊化二值图中的淀粉颗粒，将淀粉颗粒制作为淀粉颗粒掩膜图；对淀粉颗粒掩膜图进行信息提取，输出淀粉糊化数据集JSON文件；
(3)Mask R-CNN模型构建与训练：构建Mask R-CNN模型，利用神经网络训练算法对淀粉糊化数据集进行读取，并将其输入至Mask R-CNN模型中，基于误差反向传播方法对Mask R-CNN模型进行权重优化，完成Mask R-CNN模型的训练；
(4)淀粉糊化过程颗粒检测：利用淀粉糊化检测算法，基于Mask R-CNN对糊化过程中淀粉糊化图的淀粉颗粒进行检测，输出淀粉糊化检测图，并统计所有淀粉颗粒数量变化；
(5)淀粉糊化评估：统计淀粉糊化图中的不同温度i时的淀粉糊化图中的颗粒数量Ai。
为进一步实现本发明目的，优选地，步骤(1)中，所述的淀粉为原淀粉、改性淀粉或淀粉混合物；所述的改性淀粉为预糊化淀粉、交联淀粉或磷酸酯淀粉；所述的淀粉混合物是在天然淀粉或改性淀粉中添加氨基酸、尿素和氯化钠等一种或多种获得的混合物。
3、根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(1)中，所述的淀粉糊化图为淀粉在水分子作用下，随着温度变化而发生淀粉颗粒形态变化的显微图像；
步骤(1)中，所述的淀粉悬浮液中的淀粉质量含量为0.1-3％；
步骤(1)中，所述的得到样本片是利用吸管吸取淀粉悬浮液，滴加至载玻片上，盖上盖玻片并用玻璃胶密封而得。
优选地，步骤(1)所述的升温至糊化温度是指从环境温度开始升温，对于马铃薯淀粉，从初始温度20-30℃加热温度至80-90℃；步骤(1)所述的通过与显微镜相连的数码相机进行拍照前，调整显微镜使淀粉颗粒清晰明亮；
步骤(1)中，所述热台设备的升温速率不高于5℃/min；所述拍照的频率为1次-4次/2℃；显微镜倍数为50×10倍或20×10倍。
优选地，步骤(2)中，所述的淀粉糊化图转化为淀粉糊化二值图是利用淀粉图像二值化算法进行；
所述的分割淀粉糊化二值图中的淀粉颗粒是利用Photoshop进行分割。
优选地，所述的淀粉糊化二值图中的淀粉颗粒为白色像素，背景为黑色像素；淀粉图像二值化算法的操作步骤为：
S1打开淀粉糊化图，利用基于Python的opencv模块中Canny算法对淀粉颗粒图像进行边缘检测，生成淀粉颗粒边缘图；
S2利用基于Python的opencv模块中的数学形态学算法对淀粉颗粒边缘图进行优化，生成淀粉颗粒边缘优化图；
S3利用漫水填充算法对淀粉颗粒边缘优化图中的颗粒边缘内的像素使用白色像素进行填充，生成淀粉糊化二值图。
优选地，步骤(2)中，所述的将淀粉颗粒制作为淀粉颗粒掩膜图包括如下步骤：
1)利用Photoshop打开淀粉糊化图像，使用矩形选框工具选取大小为256×256淀粉颗粒分割图像区域，其中包含5-20颗淀粉颗粒，保存该区域为PNG格式，文件名为File，该文件作为训练图像；
2)使用魔棒或磁力套索工具，将淀粉颗粒分割图像中的单个淀粉颗粒分离，并新建分辨率与分割图像相同的纯黑画布，参照该淀粉颗粒与淀粉糊化图像的相对位置，将该淀粉颗粒放置于画布上；
3)合并淀粉颗粒与画布，将该图像保存为PNG格式，其命名格式为File-ID，其中ID为淀粉颗粒在糊化图像中的序列号，该文件为淀粉颗粒掩膜图像；
步骤(2)中，所述的对淀粉颗粒掩膜图进行信息提取通过以下方式实现：
1)输入淀粉糊化图，读取其文件信息，写入images字段列表中，完成从属字段图像名、图像大小、图像ID的填写，并基于其文件名与淀粉颗粒掩膜图像利用正则表达式进行匹配；
2)对淀粉颗粒掩膜图像进行重编码，生成格式为polygon的对象，依靠该文件生成边界框，该边界框面积为封装掩膜所有像素的最小值；
3)将淀粉掩膜polygon对象、最小边界框写入annotation字段列表中，完成其从属字段掩膜位置、掩膜大小、掩膜ID的填充。
步骤(2)中，所述的淀粉颗粒掩膜图是用于制作淀粉糊化数据集的图像，其尺寸、格式与淀粉糊化二值图完全相同，图像中只有一个淀粉颗粒，用于确定该淀粉颗粒特征；
步骤(2)中，所述的淀粉糊化数据集JSON文件是用于保存淀粉糊化数据集信息、数据格式为JSON的文件，该文件主要包含两个字段列表，分别是：
1)images字段列表，其长度为数据集中淀粉糊化图数量，从属字段主要为图像名、图像大小、图像ID；
2)annotations字段列表，其长度为淀粉糊化图所属的淀粉颗粒的掩膜数量，从属字段有掩膜大小、掩膜位置、掩膜ID、边界框。
优选地，步骤(3)中，所述的Mask R-CNN模型是一种用于实例分割的卷积神经网络模型，用于识别数字图像物体种类及其所在位置，其结构为特征提取层、候选区域提取层、目标识别层、掩膜预测层；
步骤(3)中，利用神经网络训练算法对淀粉糊化数据集进行读取，并将其输入至Mask R-CNN模型中，基于误差反向传播方法对Mask R-CNN模型进行权重优化通过以下步骤实现：
1)打包5-20张淀粉糊化图，利用拥有初始权重的Mask R-CNN对淀粉糊化图进行检测，输出淀粉糊化图中颗粒位置、数量；
2)读取淀粉糊化数据集JSON文件中的images字段列表，annotation字段列表，与Mask R-CNN的检测值相比较，并计算损失值L；
L＝Lcls(p,u)+Lbbox(t,v)+Lmask(o,q)
Lcls(p,u)＝-log(p，u)
Lcls(p,u)为类别损失函数，p为图像预测类别种类，即2，u表示预测的结果；
Lbbox(t,v)为边界框损失函数，t为预测值，v为真实值，两者均包含边界框的大小与位置；
m为样本总数，
为i点预测值的预测结果，(x、y、w、h)为感兴趣区域的坐标值； L1为范数损失函数；smoothL1为光滑后的L1范数损失函数；
Lmask为掩膜损失函数，o为淀粉颗粒所属的真实像素，q为淀粉颗粒预测像素；
3)利用误差反向传播算法基于损失函数值L优化Mask R-CNN中的初始权重，完成一次Mask R-CNN模型的学习；误差反向传播算法进行权重优化是计算输出层和隐藏层的误差及隐藏层和输入层的误差对整体误差的影响，以此进行权重优化；将淀粉原始图像输入Mask R-CNN模型，计算机根据程序设定检测淀粉颗粒边缘为特征图层，后对整个淀粉颗粒进行提取确定为目标图层，对识别提取后的淀粉颗粒图层进行掩膜处理，最后对掩膜进行预测完成一次Mask R-CNN模型的学习；
4)重复1)，2)，3)步骤，遍历所有淀粉糊化数据集中的训练集，完成Mask R-CNN 的训练。
优选地，步骤(4)中，所述的利用淀粉糊化检测算法，基于Mask R-CNN对糊化过程中淀粉糊化图的淀粉颗粒进行检测通过以下步骤实现：
1)基于Mask R-CNN，对淀粉糊化原图进行预测，生成淀粉颗粒掩膜预测图；对原始图像进行识别处理后的二值图像；
2)统计淀粉颗粒掩膜预测图中的淀粉颗粒掩膜数量；
3)将淀粉颗粒掩膜预测图按照颗粒各自位置，覆盖于淀粉糊化原图上，合并输出为淀粉糊化颗粒检测图。
与现有技术相比，本发明具有如下优点和有益效果：
(1)本发明方法耗时短，单张淀粉颗粒图片检测在10s内完成，一次糊化过程检测在 2min内，自动化程度高，检测效率好，检测准确率达95％以上。
(2)本发明利用淀粉图像二值化算法将所有淀粉糊化图转化成淀粉糊化二值图，突出淀粉颗粒形态，提升淀粉颗粒分割效率，利于淀粉颗粒掩膜图的制作。
(4)本发明利用Photoshop分割淀粉糊化二值图中的淀粉颗粒，基于淀粉颗粒糊化检测标准，将该颗粒制作成淀粉颗粒掩膜图。便于区分淀粉图像中淀粉颗粒与背景，快速制作淀粉糊化数据集。
(5)本发明利用淀粉糊化数据集构建算法对淀粉颗粒掩膜图进行关键信息提取，输出淀粉糊化数据集JSON文件，并与淀粉糊化图建立联系，完成淀粉糊化数据集的构建。便于Mask R-CNN的训练。
(6)本发明构建Mask R-CNN模型，利用神经网络训练算法对淀粉糊化数据集进行读取，并将其输入至Mask R-CNN模型中，基于误差反向传播方法对Mask R-CNN模型进行权重优化，完成Mask R-CNN模型的训练。相较于传统淀粉糊化评价方法，识别准确，自动化程度高，检测准确率高。
(7)本发明基于Mask R-CNN对淀粉糊化过程中的所有淀粉糊化图进行检测，具体为对淀粉糊化图中的淀粉颗粒进行检测、识别、处理，并基于所有淀粉糊化图像中颗粒数量变化对淀粉糊化进行评估，提供了一种智能化检测淀粉颗粒，研究淀粉糊化的定量新方法。
附图说明
图1为实施例1马铃薯淀粉糊化过程中淀粉糊化图；
图2为实施例1马铃薯淀粉糊化过程中淀粉糊化检测图；
图3为实施例1马铃薯淀粉糊化过程中淀粉糊化颗粒数量与温度的关系曲线图；
图4为本发明基于Mask R-CNN的淀粉颗粒识别方法流程图。
具体实施方式
以下结合说明书附图和具体实施例来进一步说明本发明。以下实施例为本发明较佳的实施方式，但并不对本发明的保护范围做任何形式的限定。除非特别说明，本发明采用的试剂、方法和设备为本技术领域常规试剂、方法和设备。
除非特别说明，以下实施例所用试剂和材料均为市购。
实施例1
如图4所示，一种基于Mask R-CNN的淀粉颗粒识别方法，包括如下步骤：
(1)淀粉糊化图数据采集：称取马铃薯淀粉0.60g，将其与10ml水混合，制备成淀粉与水质量比为6％的马铃薯淀粉悬浮液。混匀，利用吸管在混匀的基础上吸取淀粉悬浮液，滴加至圆形玻片中央，待淀粉悬浮液分散后，利用盖玻片与玻璃胶密封。密封后，淀粉悬浮液应分散均匀且淀粉颗粒与颗粒之间存在间隔。在热台设备(THMS600,Linkam,英国)上放置已密封好的马铃薯淀粉悬浮液玻片，升温加热，调节淀粉颗粒图像至适当位置，调整显微镜，使目镜为10倍，物镜为20倍。调整数码相机焦距与曝光时间，使用数码相机对显微镜中的淀粉颗粒图像进行拍摄，采集的数据清晰可见，拍摄频率为1次/2℃；热台的升温速率为2℃/30s，初始温度30℃，最高加热温度85℃；
(2)淀粉糊化数据集构建：利用淀粉图像二值化算法将所有淀粉糊化图转化成淀粉糊化二值图，利用Photoshop分割淀粉糊化二值图中的淀粉颗粒，将该颗粒制作成淀粉颗粒掩膜图。利用淀粉糊化数据集构建算法对淀粉颗粒掩膜图进行关键信息提取，输出淀粉糊化数据集JSON文件，并与淀粉糊化图建立联系，完成淀粉糊化数据集的构建；
淀粉图像二值算法具体操作为：
1)打开淀粉糊化图，利用基于Python的opencv模块中Canny算法对淀粉颗粒图像进行边缘检测，生成淀粉颗粒边缘图，其中边缘检测阈值为(16,48)。
2)利用基于Python的opencv模块中的数学形态学算法对淀粉颗粒边缘图进行优化，生成淀粉颗粒边缘优化图，其中结构元素大小为(7×7)。
3)利用漫水填充算法对淀粉颗粒边缘优化图中的颗粒边缘内的像素使用白色像素进行填充，生成淀粉糊化二值图。
淀粉颗粒掩膜图的制作具体操作为：
1)利用Photoshop打开淀粉糊化图像，利用矩形选框工具选取大小为256×256淀粉颗粒分割图像区域，其中包含5-20淀粉颗粒，保持该区域为PNG格式，文件名为File，该文件作为训练图像。
2)使用魔棒或磁力套索工具，将淀粉颗粒分割图像中的单个淀粉颗粒分离，并新建分辨率与分割图像相同的纯黑画布，参照该淀粉颗粒与淀粉糊化图像的相对位置，将该淀粉颗粒放置于画布上。
3)合并淀粉颗粒与画布，将该图像保存为PNG格式，其命名格式为File-ID，其中ID为淀粉颗粒在糊化图像中的序列号，该文件为淀粉颗粒掩膜图像。
淀粉糊化数据集构建算法具体操作为：
1)输入淀粉糊化图，读取其文件信息，写入images字段列表中，完成从属字段图像名、图像大小、图像ID的填写，并基于其文件名与淀粉颗粒掩膜图像利用正则表达式进行匹配。
2)对淀粉颗粒掩膜图像进行重编码，生成格式为polygon的对象，依靠该文件生成边界框，该边界框面积为封装掩膜所有像素的最小值。
3)将淀粉掩膜polygon对象、最小边界框写入annotation字段列表中，完成其从属字段掩膜位置、掩膜大小、掩膜ID的填充。
(3)Mask R-CNN模型构建与训练：构建Mask R-CNN模型，利用神经网络训练算法对淀粉糊化数据集进行读取，并将其输入至Mask R-CNN模型中，基于误差反向传播方法对Mask R-CNN模型进行权重优化，完成Mask R-CNN模型的训练。
神经网络训练算法通过以下方式实现：
1)打包5张淀粉糊化图，利用拥有初始权重的Mask R-CNN对淀粉糊化图进行检测，输出淀粉糊化图中颗粒位置、数量。
2)读取淀粉糊化数据集JSON文件中的images字段列表，annotation字段列表，与Mask R-CNN的检测值相比较，并计算损失值L。
Lcls(p,u)为类别损失函数，p为图像预测类别种类，即2，u表示预测的结果；
Lbbox(t,v)为边界框损失函数，t为预测值，v为真实值，两者均包含边界框的大小与位置；
m为样本总数，
为i点预测值的预测结果，(x、y、w、h)为感兴趣区域的坐标值； L1为范数损失函数；smoothL1为光滑后的L1范数损失函数；
Lmask为掩膜损失函数，o为淀粉颗粒所属的真实像素，q为淀粉颗粒预测像素；
3)利用误差反向传播算法基于损失函数值L优化Mask R-CNN中的初始权重，完成一次Mask R-CNN模型的学习。Mask R-CNN模型是一种用于实例分割的卷积神经网络模型，用于识别数字图像物体种类及其所在位置，其结构为特征提取层、候选区域提取层、目标识别层、掩膜预测层；即将淀粉原始图像输入模型，计算机根据程序设定检测淀粉颗粒边缘为特征图层，后对整个淀粉颗粒进行提取确定为目标图层，对识别提取后的淀粉颗粒图层进行掩膜处理，最后对掩膜进行预测完成一次Mask R-CNN模型的学习。
4)重复1)，2)，3)步骤，遍历所有淀粉糊化数据集中的训练集，完成Mask R-CNN 的训练。
(4)淀粉糊化过程颗粒形态检测：利用淀粉糊化检测算法，基于Mask R-CNN对糊化过程中淀粉糊化图中的淀粉颗粒进行检测，检测完毕后，输出淀粉糊化检测图，并统计所有淀粉颗粒数量变化，完成淀粉糊化过程中颗粒的检测；
淀粉糊化检测算法具体操作为：
1)基于Mask R-CNN，对44张马铃薯淀粉糊化原图进行预测，生成马铃薯淀粉颗粒掩膜预测图。
2)统计淀粉颗粒掩膜预测图中所有淀粉颗粒的数量。
3)将淀粉颗粒掩膜预测图按照颗粒各自位置，覆盖于淀粉糊化原图上，合并并输出为淀粉糊化颗粒检测图。
(5)淀粉糊化评估：基于Mask R-CNN对淀粉糊化过程中的所有淀粉糊化图进行检测，统计温度为i时,淀粉糊化图中的颗粒数量Ai。
实施例1中描述了马铃薯淀粉糊化图的随机生成，马铃薯淀粉糊化数据集的构建，糊化过程中其颗粒数量检测。通过统计淀粉糊化过程中的颗粒数量，基于温度变化作图，获得图3。如图3所示，糊化过程中的马铃薯颗粒数量在56℃几乎无变化，此时仅有少量水分子进入淀粉颗粒，颗粒结晶与分子结构排列保持稳定。在56-62℃温度区间中，糊化图像中马铃薯淀粉颗粒逐渐减少，但速度较为缓慢。63℃后，结晶结构消失，分子结构排列完全遭到破坏，大量马铃薯淀粉颗粒膨胀速度迅速增大，糊化图像被膨胀后的大体积马铃薯淀粉颗粒占据，图像内淀粉颗粒数量迅速减少。糊化完成后，淀粉颗粒形态变化结束，糊化图像中马铃薯颗粒数量不再变化。
依靠热台-显微镜获取淀粉糊化图后，将其利用基于Mask R-CNN的淀粉颗粒识别方法进行处理，并将处理不同温度下的淀粉颗粒图像所耗费时间、实际颗粒数、image proplus 检测个数、神经网络检测个数汇总成表1。其中image pro plus 4.5program识别颗粒个数是将淀粉糊化过程中的颗粒图导入至image pro plus 4.5program软件中，而后利用count/size 功能对其进行处理并识别，获得image pro plus 4.5program识别颗粒个数。神经网络检测个数是基于Mask R-CNN的淀粉颗粒识别方法中检测到的颗粒个数。将神经网络检测个数、 image pro plus 4.5program识别颗粒个数分别与实际颗粒个数作比，获得基于神经网络技术对淀粉颗粒识别准确率，传统图像软件识别准确率。淀粉颗粒图像中存在许多颗粒，利用现有软件或方法的淀粉颗粒溶胀能力检测过程中，将会忽略部分淀粉颗粒，从而造成误差，因此对淀粉颗粒的识别率越高，检测结果越准确。在此次实例中，单张图片处理时间为4-7 s，总处理时长为79s，而与之相对，人工处理时长在1h以上。经计算，基于神经网络技术对马铃薯淀粉颗粒识别准确率可达98％，而传统图像软件检测马铃薯颗粒的准确率仅为 87％。该检测方法较传统手工图像软件检测颗粒溶胀度而言，不仅在时间上大大缩短，还避免了软件检测中较高的颗粒误判率，实现了对糊化过程中颗粒数量的精准量化，故其具有快速，高效，准确等优点。通过快速测定淀粉糊化颗粒变化，可基于数据调控体系中淀粉的加工行为，优化产品的最终性能。
表1
Claims (10)
1.基于Mask R-CNN的淀粉糊化智能检测方法，其特征在于，包括如下步骤：
(1)淀粉糊化图数据采集：配制淀粉悬浮液，分散均匀后，滴加至载玻片上，得到样本片，将样本片放置在带有显微镜的热台设备上，开启热台设备，升温至糊化温度，通过与显微镜相连的数码相机进行拍照，获取加热过程中的淀粉糊化图；
(2)淀粉糊化数据集构建：将步骤(1)所得的淀粉糊化图转化为淀粉糊化二值图，分割淀粉糊化二值图中的淀粉颗粒，将淀粉颗粒制作为淀粉颗粒掩膜图；对淀粉颗粒掩膜图进行信息提取，输出淀粉糊化数据集JSON文件；
(3)Mask R-CNN模型构建与训练：构建Mask R-CNN模型，利用神经网络训练算法对淀粉糊化数据集进行读取，并将其输入至Mask R-CNN模型中，基于误差反向传播方法对Mask R-CNN模型进行权重优化，完成Mask R-CNN模型的训练；
(4)淀粉糊化过程颗粒检测：利用淀粉糊化检测算法，基于Mask R-CNN对糊化过程中淀粉糊化图的淀粉颗粒进行检测，输出淀粉糊化检测图，并统计所有淀粉颗粒数量变化；
(5)淀粉糊化评估：统计淀粉糊化图中的不同温度i时的淀粉糊化图中的颗粒数量Ai。
2.根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(1)中，所述的淀粉为原淀粉、改性淀粉或淀粉混合物；所述的改性淀粉为预糊化淀粉、交联淀粉或磷酸酯淀粉；所述的淀粉混合物是在天然淀粉或改性淀粉中添加氨基酸、尿素和氯化钠等一种或多种获得的混合物。
3.根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(1)中，所述的淀粉糊化图为淀粉在水分子作用下，随着温度变化而发生淀粉颗粒形态变化的显微图像；
步骤(1)中，所述的淀粉悬浮液中的淀粉质量含量为0.1-3％；
步骤(1)中，所述的得到样本片是利用吸管吸取淀粉悬浮液，滴加至载玻片上，盖上盖玻片并用玻璃胶密封而得。
4.根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(1)所述的升温至糊化温度是指从环境温度开始升温，对于马铃薯淀粉，从初始温度20-30℃加热温度至80-90℃；步骤(1)所述的通过与显微镜相连的数码相机进行拍照前，调整显微镜使淀粉颗粒清晰明亮；
步骤(1)中，所述热台设备的升温速率不高于5℃/min；所述拍照的频率为1次-4次/2℃；显微镜倍数为50×10倍或20×10倍。
5.根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(2)中，所述的淀粉糊化图转化为淀粉糊化二值图是利用淀粉图像二值化算法进行；
所述的分割淀粉糊化二值图中的淀粉颗粒是利用Photoshop进行分割。
6.根据权利要求5所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，所述的淀粉糊化二值图中的淀粉颗粒为白色像素，背景为黑色像素；淀粉图像二值化算法的操作步骤为：
S1打开淀粉糊化图，利用基于Python的opencv模块中Canny算法对淀粉颗粒图像进行边缘检测，生成淀粉颗粒边缘图；
S2利用基于Python的opencv模块中的数学形态学算法对淀粉颗粒边缘图进行优化，生成淀粉颗粒边缘优化图；
S3利用漫水填充算法对淀粉颗粒边缘优化图中的颗粒边缘内的像素使用白色像素进行填充，生成淀粉糊化二值图。
7.根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(2)中，所述的将淀粉颗粒制作为淀粉颗粒掩膜图包括如下步骤：
1)利用Photoshop打开淀粉糊化图像，使用矩形选框工具选取大小为256×256淀粉颗粒分割图像区域，其中包含5-20颗淀粉颗粒，保存该区域为PNG格式，文件名为File，该文件作为训练图像；
2)使用魔棒或磁力套索工具，将淀粉颗粒分割图像中的单个淀粉颗粒分离，并新建分辨率与分割图像相同的纯黑画布，参照该淀粉颗粒与淀粉糊化图像的相对位置，将该淀粉颗粒放置于画布上；
3)合并淀粉颗粒与画布，将该图像保存为PNG格式，其命名格式为File-ID，其中ID为淀粉颗粒在糊化图像中的序列号，该文件为淀粉颗粒掩膜图像。
8.根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(2)中，所述的对淀粉颗粒掩膜图进行信息提取通过以下方式实现：
1)输入淀粉糊化图，读取其文件信息，写入images字段列表中，完成从属字段图像名、图像大小、图像ID的填写，并基于其文件名与淀粉颗粒掩膜图像利用正则表达式进行匹配；
2)对淀粉颗粒掩膜图像进行重编码，生成格式为polygon的对象，依靠该文件生成边界框，该边界框面积为封装掩膜所有像素的最小值；
3)将淀粉掩膜polygon对象、最小边界框写入annotation字段列表中，完成其从属字段掩膜位置、掩膜大小、掩膜ID的填充；
步骤(2)中，所述的淀粉颗粒掩膜图是用于制作淀粉糊化数据集的图像，其尺寸、格式与淀粉糊化二值图完全相同，图像中只有一个淀粉颗粒，用于确定该淀粉颗粒特征；
步骤(2)中，所述的淀粉糊化数据集JSON文件是用于保存淀粉糊化数据集信息、数据格式为JSON的文件，该文件主要包含两个字段列表，分别是：
1)images字段列表，其长度为数据集中淀粉糊化图数量，从属字段主要为图像名、图像大小、图像ID；
2)annotations字段列表，其长度为淀粉糊化图所属的淀粉颗粒的掩膜数量，从属字段有掩膜大小、掩膜位置、掩膜ID、边界框。
9.根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(3)中，所述的Mask R-CNN模型是一种用于实例分割的卷积神经网络模型，用于识别数字图像物体种类及其所在位置，其结构为特征提取层、候选区域提取层、目标识别层、掩膜预测层；
步骤(3)中，利用神经网络训练算法对淀粉糊化数据集进行读取，并将其输入至MaskR-CNN模型中，基于误差反向传播方法对Mask R-CNN模型进行权重优化通过以下步骤实现：
1)打包5-20张淀粉糊化图，利用拥有初始权重的Mask R-CNN对淀粉糊化图进行检测，输出淀粉糊化图中颗粒位置、数量；
2)读取淀粉糊化数据集JSON文件中的images字段列表，annotation字段列表，与MaskR-CNN的检测值相比较，并计算损失值L；
L＝Lcls(p,u)+Lbbox(t,v)+Lmask(o,q)
Lcls(p,u)＝-log(p，u)
Lcls(p,u)为类别损失函数，p为图像预测类别种类，即2，u表示预测的结果；
Lbbox(t,v)为边界框损失函数，t为预测值，v为真实值，两者均包含边界框的大小与位置；
m为样本总数，
为i点预测值的预测结果，(x、y、w、h)为感兴趣区域的坐标值；L1为范数损失函数；smoothL1为光滑后的L1范数损失函数；
Lmask为掩膜损失函数，o为淀粉颗粒所属的真实像素，q为淀粉颗粒预测像素；
3)利用误差反向传播算法基于损失函数值L优化Mask R-CNN中的初始权重，完成一次Mask R-CNN模型的学习；误差反向传播算法进行权重优化是计算输出层和隐藏层的误差及隐藏层和输入层的误差对整体误差的影响，以此进行权重优化；将淀粉原始图像输入MaskR-CNN模型，计算机根据程序设定检测淀粉颗粒边缘为特征图层，后对整个淀粉颗粒进行提取确定为目标图层，对识别提取后的淀粉颗粒图层进行掩膜处理，最后对掩膜进行预测完成一次Mask R-CNN模型的学习；
4)重复1)，2)，3)步骤，遍历所有淀粉糊化数据集中的训练集，完成Mask R-CNN的训练。
10.根据权利要求1所述的基于Mask R-CNN的淀粉颗粒识别方法，其特征在于，步骤(4)中，所述的利用淀粉糊化检测算法，基于Mask R-CNN对糊化过程中淀粉糊化图的淀粉颗粒进行检测通过以下步骤实现：
1)基于Mask R-CNN，对淀粉糊化原图进行预测，生成淀粉颗粒掩膜预测图；对原始图像进行识别处理后的二值图像；
2)统计淀粉颗粒掩膜预测图中的淀粉颗粒掩膜数量；
3)将淀粉颗粒掩膜预测图按照颗粒各自位置，覆盖于淀粉糊化原图上，合并输出为淀粉糊化颗粒检测图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111027701.0A CN113887309B (zh) | 2021-09-02 | 2021-09-02 | 基于Mask R-CNN的淀粉颗粒识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111027701.0A CN113887309B (zh) | 2021-09-02 | 2021-09-02 | 基于Mask R-CNN的淀粉颗粒识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113887309A true CN113887309A (zh) | 2022-01-04 |
| CN113887309B CN113887309B (zh) | 2024-04-30 |
Family
ID=79012141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111027701.0A Active CN113887309B (zh) | 2021-09-02 | 2021-09-02 | 基于Mask R-CNN的淀粉颗粒识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113887309B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115519809A (zh) * | 2022-09-28 | 2022-12-27 | 广东汇发塑业科技有限公司 | 一种高阻隔生物降解地膜的制备方法及其制备的地膜 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102419305A (zh) * | 2011-08-31 | 2012-04-18 | 华南理工大学 | 一种淀粉糊化温度和糊化度的测定方法 |
| CN109948712A (zh) * | 2019-03-20 | 2019-06-28 | 天津工业大学 | 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法 |
| CN112102238A (zh) * | 2020-08-10 | 2020-12-18 | 华南理工大学 | 基于计算机视觉的糊化过程中淀粉颗粒溶胀能力的检测方法 |
| CN112766274A (zh) * | 2021-02-01 | 2021-05-07 | 长沙市盛唐科技有限公司 | 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统 |
-
2021
- 2021-09-02 CN CN202111027701.0A patent/CN113887309B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102419305A (zh) * | 2011-08-31 | 2012-04-18 | 华南理工大学 | 一种淀粉糊化温度和糊化度的测定方法 |
| CN109948712A (zh) * | 2019-03-20 | 2019-06-28 | 天津工业大学 | 一种基于改进的Mask R-CNN的纳米颗粒尺寸测量方法 |
| CN112102238A (zh) * | 2020-08-10 | 2020-12-18 | 华南理工大学 | 基于计算机视觉的糊化过程中淀粉颗粒溶胀能力的检测方法 |
| CN112766274A (zh) * | 2021-02-01 | 2021-05-07 | 长沙市盛唐科技有限公司 | 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115519809A (zh) * | 2022-09-28 | 2022-12-27 | 广东汇发塑业科技有限公司 | 一种高阻隔生物降解地膜的制备方法及其制备的地膜 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113887309B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN109165623B (zh) | 基于深度学习的水稻病斑检测方法及系统 | |
| CN104331712B (zh) | 一种藻类细胞图像自动分类方法 | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN107665492A (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| CN112862811A (zh) | 基于深度学习的材料显微图像缺陷识别方法、设备及装置 | |
| CN112102238B (zh) | 基于计算机视觉的糊化过程中淀粉颗粒溶胀能力的检测方法 | |
| CN110751644B (zh) | 道路表面裂纹检测方法 | |
| CN107622276B (zh) | 一种基于机器人仿真与物理采样结合的深度学习训练方法 | |
| CN109948527B (zh) | 基于集成深度学习的小样本太赫兹图像异物检测方法 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN115880271B (zh) | 一种晶体生长过程中籽晶单晶线棱角的识别检测方法 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN113128335A (zh) | 微体古生物化石图像检测、分类及发现方法、系统及应用 | |
| CN113887309A (zh) | 基于Mask R-CNN的淀粉颗粒识别方法 | |
| CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
| Kar et al. | Benchmarking of deep learning algorithms for 3D instance segmentation of confocal image datasets | |
| CN114241194A (zh) | 一种基于轻量级网络的仪表识别及读数方法 | |
| CN113989126A (zh) | 一种用于深度学习的x射线缺陷检测图像数据增强方法 | |
| CN117670860A (zh) | 光伏玻璃缺陷检测方法及装置 | |
| CN112712527B (zh) | 一种基于DR-Unet104的医疗图像分割方法 | |
| CN112200766A (zh) | 基于区域关联神经网络的工业产品表面缺陷检测方法 | |
| CN107515198A (zh) | 一种淀粉糊化度和糊化温度的在线检测方法 | |
| Guo et al. | Pathological detection of micro and fuzzy gastric cancer cells based on deep learning | |
| CN116883893A (zh) | 基于红外热成像的隧道掌子面地下水智能判识方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |