CN111709389A - 基于显微图像的中药粉末智能鉴别方法和系统 - Google Patents

基于显微图像的中药粉末智能鉴别方法和系统 Download PDF

Info

Publication number
CN111709389A
CN111709389A CN202010585564.1A CN202010585564A CN111709389A CN 111709389 A CN111709389 A CN 111709389A CN 202010585564 A CN202010585564 A CN 202010585564A CN 111709389 A CN111709389 A CN 111709389A
Authority
CN
China
Prior art keywords
chinese medicine
traditional chinese
medicine powder
microscopic
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010585564.1A
Other languages
English (en)
Inventor
林永强
穆向荣
汪冰
郭东晓
林林
徐兴燕
于凤蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Institute for Food and Drug Control
Original Assignee
Shandong Institute for Food and Drug Control
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Institute for Food and Drug Control filed Critical Shandong Institute for Food and Drug Control
Priority to CN202010585564.1A priority Critical patent/CN111709389A/zh
Publication of CN111709389A publication Critical patent/CN111709389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开基于显微图像的中药粉末智能鉴别方法和系统，其中，草酸钙鉴别方法包括：获取对照中药粉末的训练数据，对照中药粉末包含一种或多种中药成分；使用深度卷积神经网络对训练数据进行训练，得到与对照中药粉末对应的深度卷积神经网络模型；使用深度卷积神经网络模型对样品中药粉末的显微图像进行显微特征匹配，以确定样品中药粉末所含中药成分的种类；根据样品中药粉末所含中药成分的种类，生成并输出样品中药粉末的鉴别结果。本发明的技术方案能解决现有技术中人工鉴别的方法主观误差大，工作效率较低，难以及时准确地确定中药粉末的成分类型，真伪及是否规范投料的问题。

Description

基于显微图像的中药粉末智能鉴别方法和系统
技术领域
本发明涉及植物类中药鉴别技术领域，尤其涉及一种基于显微图像的中药粉末智能鉴别方法和系统。
背景技术
中药是指在中医理论指导下，用于预防、治疗和诊断疾病并具有康复与保健作用的药物。中药按其制成形态划分主要包括中药材、中药饮片及中成药；而中药粉末是利用粉碎机等设备将中药材或中药饮片加工成的粉末状物。中药粉末可作为中药饮片的一种规格直接用于临床，也可作为丸剂、散剂、片剂或胶囊剂等中成药的投放原料。
由于中药粉末已经过粉碎加工，原有性状特征被破坏，所以传统的性状鉴别方式难以准确鉴别中药粉末的所属类型、真伪以及是否能够按处方规范投料。为了获取中药粉末的上述内容，可采用显微鉴别方法对其进行鉴别。显微鉴别方法通常应用于性状不易鉴别的药材；破碎中药材及粉末中药材；以及用中药粉末制成的制剂(如丸、散、片、胶囊等制剂)中。中药的显微鉴别是成熟、有效、快速、经济及环保的鉴别方法，因此显微鉴别方法是快速鉴别中药粉末真伪及是否规范投料的有效方法。传统的中药显微鉴别多是在显微镜下观察特征后进行手工特征描绘，这种方法主观误差较大、描绘耗费时间长、工作效率低。随着摄影技术等多学科交叉发展，现在数码成像系统广泛用于中药显微鉴别领域。中药粉末显微图像由数码成像系统拍摄中药粉末的细胞、后含物和颗粒物质的显微特征而成。
然而，针对中药粉末的显微鉴别，在获取到中药粉末的显微图像后，还需要人工进行筛选和特征比对，以确定中药粉末的所属类型、真伪及是否能够按处方规范投料。这种人工鉴别的方法主观误差大，耗时较长，工作效率较低，难以及时准确地确定中药粉末的成分类型，真伪及是否规范投料。
发明内容
本发明提供基于显微图像的中药粉末智能鉴别方法和系统，旨在解决现有技术的中药粉末的中药显微鉴别方式需要操作人员手动鉴别，导致主观误差大、描绘耗时长且工作效率低下的问题。
为实现上述目的，根据本发明的第一方面，本发明提出了一种基于显微图像的中药粉末智能鉴别方法，包括：
获取对照中药粉末的训练数据，对照中药粉末包含一种或多种中药成分；
使用深度卷积神经网络对训练数据进行训练，得到与对照中药粉末对应的深度卷积神经网络模型，深度卷积神经网络模型用于识别得到一种或多种中药成分的显微特征；
使用深度卷积神经网络模型对样品中药粉末的显微图像进行显微特征匹配，以确定样品中药粉末所含中药成分的种类；
根据样品中药粉末所含中药成分的种类，生成并输出样品中药粉末的鉴别结果。
优选地，上述中药粉末智能鉴别方法中，所述获取对照中药粉末的训练数据的步骤，包括：
选取包含有一种或多种类型中药成分的对照中药粉末；
摄取对照中药粉末中每种中药成分的显微图像；
标记显微图像所对应中药成分的种类；
使用对照中药粉末中每种中药成分的显微图像和种类，生成对照中药粉末的训练数据。
优选地，上述中药粉末智能鉴别方法中，所述深度卷积神经网络包括卷积层、池化层和全连接层；所述使用深度卷积神经网络对训练数据进行训练，得到深度卷积神经网络模型的步骤包括：
将对照中药粉末的显微图像输入至卷积层中；
使用多层卷积层分别对对照中药粉末的显微图像进行卷积操作，得到对照中药粉末的特征图像；
使用池化层对对照中药粉末的特征图像进行特征压缩，得到特征图像对应的显微特征；
使用全连接层连接同一显微图像所对应所有特征图像的显微特征，通过分类器确定对照中药粉末内所有中药成分的种类和的显微特征；
使用对照中药粉末内所有中药成分的种类和显微特征，建立对照中药粉末的深度卷积神经网络模型。
优选地，上述中药粉末智能鉴别方法中，使用多层卷积层分别对对照中药粉末的显微图像进行卷积操作，得到中药粉末的特征图像的步骤，包括：
根据公式：
Figure BDA0002554503720000031
对对照中药粉末的显微图像进行卷积操作，得到对照中药粉末的特征图像；其中，
Figure BDA0002554503720000032
当前第l卷积层中第j个输出的特征图像，Mi为输入的特征图像集合，
Figure BDA0002554503720000033
为上个l-1卷积层中第i个特征图像，
Figure BDA0002554503720000034
卷积核，
Figure BDA0002554503720000035
为偏置，ReLU为激活函数。
优选地，上述中药粉末智能鉴别方法中，在使用深度卷积神经网络模型对样品中药粉末的显微图像进行特征匹配的步骤之前，该方法还包括：使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像；
该使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像的步骤，包括：
使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的样品中药粉末实时跟踪对焦；
使用数码摄像装置按预定时间间隔多次摄取样品中药粉末的显微图像。
优选地，上述中药粉末智能鉴别方法中，所述根据样品中药粉末所含中药成分的种类，生成并输出样品中药粉末的鉴别结果的步骤，包括：
当深度卷积神经网络模型获取到样品中药粉末所含中药成分的种类时，生成并输出样品中药粉末的种类信息和样品中药粉末的拼接显微图像；
或者，
当深度卷积神经网络模型未获取样品中药粉末所含中药成分的种类时，生成并输出样品中药粉末的拼接显微图像。
优选地，上述中药粉末智能鉴别方法中，所述生成样品中药粉末的拼接显微图像的步骤包括：
使用拼接算法计算同一样品中药粉末所对应每幅显微图像的图像像素坐标与空间物理坐标之间的转换矩阵；
根据转换矩阵，在同一坐标系下拼接同一样品中药粉末的所有显微图像，得到拼接显微图像。
根据本发明的第二方面，本发明还提供了一种基于显微图像的中药粉末智能鉴别系统，包括：
数据获取模块，用于获取对照中药粉末的训练数据，其中，对照中药粉末包含有一种或多种中药成分；
神经网络模块，用于使用深度卷积神经网络对训练数据进行训练，得到与中药粉末对应的深度卷积神经网络模型，深度卷积神经网络模型用于识别得到一种或多种中药成分的显微特征；
特征匹配模块，用于使用深度卷积神经网络模型对样品中药粉末的显微图像进行特征匹配，以确定样品中药粉末所含中药成分的种类；
结果生成模块，用于根据样品中药粉末所含中药粉末的种类，生成样品中药粉末的鉴别结果；
结果输出模块，用于输出样品中药粉末的鉴别结果。
优选地，上述中药粉末智能鉴别系统中，神经网络模块包括：
图像输入子模块，用于将对照中药粉末的显微图像输入至卷积层中；
卷积操作子模块，用于使用多层卷积层对中药粉末的显微图像进行卷积操作，得到对照中药粉末的特征图像；
特征压缩子模块，用于使用池化层对对照中药粉末的特征图像进行特征压缩，得到特征图像对应的显微特征；
特征连接子模块，用于使用全连接层连接同一显微图像所对应所有特征图像的显微特征；
成分确定子模块，用于通过分类器确定对照中药粉末内所有中药成分的种类和显微特征；
模型建立子模块，用于使用对照中药粉末内所有中药成分的种类和显微特征，建立每类中药粉末的深度卷积神经网络模型。
优选地，上述中药粉末智能鉴别系统中，所述系统还包括：图像摄取模块，用于使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像；
图像摄取模块，包括：
运动控制子模块，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
对焦控制子模块，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的样品中药粉末实时跟踪对焦；
图像拍摄子模块，用于使用数码摄像装置按预定时间间隔多次拍摄样品中药粉末的显微图像。
根据本发明的第三方面，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有中药粉末智能鉴别方法的程序，该中药粉末智能鉴别方法的程序被处理器执行时实现如上述任一项技术方案的中药粉末智能鉴别方法的步骤。
本申请提出的技术方案，通过获取对照中药粉末的训练数据，该对照中药粉末包含一种或多种中药成分；然后使用深度卷积神经网络对训练数据进行训练，得到与对照中药粉末对应的深度卷积神经网络模型，深度卷积神经网络模型能够识别得到一种或多种中药成分的显微特征；然后使用训练成功后的深度卷积神经网络模型对样品中药粉末的显微图像进行显微特征匹配，能够通过比对特征确定样品中药粉末所含中药成分的种类；最后根据样品中药粉末所含中药成分的种类，生成并输出样品中药粉末的鉴别结果。综上，本方案使用人工智能技术，通过训练得到的深度卷积神经网络模型，能够识别得到对照中药粉末中各中药成分的显微特征，从而根据该显微特征确定样品中药粉末的成分类型，真伪及是否规范投料，从而解决了现有技术中人工鉴别的方法主观误差大，耗时较长，工作效率较低，难以及时准确地确定中药粉末的成分类型，真伪及是否规范投料的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例提供的第一种基于显微图像的中药粉末智能鉴别方法的流程示意图；
图2是图1所示实施例提供的一种训练数据的获取方法的流程示意图；
图3是图1所示实施例提供的一种神经网络的训练方法的流程示意图；
图4是图1所示实施例提供的一种鉴别结果的生成方法的流程示意图；
图5是本发明实施例提供的第二种基于显微图像的中药粉末智能鉴别方法的流程示意图；
图6是图5所示实施例提供的一种显微图像摄取方法的流程示意图；
图7是本发明实施例提供的一种显微图像自动采集装置的结构示意图；
图8是图7所示实施例提供的一种显微镜的移动路径示意图；
图9是本发明实施例提供的一种三七粉智能鉴别方法的流程示意图；
图10是本发明实施例提供的一种五子衍宗丸智能鉴别方法的流程示意图；
图11是本申请实施例提供的一种基于显微图像的中药粉末智能鉴别系统的结构示意图；
图12是图11所示实施例提供的一种神经网络模块的结构示意图；
图13是图11所示实施例提供的一种图像摄取模块的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要技术问题如下：
现有的中药粉末的显微鉴别技术，在获取到中药粉末的显微图像后，通常是人工筛选和比对显微图像中的特征，从而确定中药粉末所属类型，真伪以及是否规范投料。这种人工鉴别中药粉末的方法主观误差大，耗时长，工作效率较低，难以及时准确地鉴定中药粉末的成分类型、真伪及是否规范投料。
为了解决上述问题，本发明提供了基于显微图像的中药粉末智能鉴别方案，能够通过深度卷积神经网络识别对照中药粉末的显微特征，建立用于识别中药粉末的深度卷积神经网络模型，然后通过该深度卷积神经网络模型匹配样品中药粉末的显微特征，确定该样品中药粉末的类型等信息，达到鉴别该中药粉末的目的。
为实现上述目的，请参见图1，图1是本发明实施例提供的第一种基于显微图像的中药粉末智能鉴别方法的流程示意图，如图1所示，该基于显微图像的中药粉末智能鉴别方法，包括以下步骤：
S110：获取对照中药粉末的训练数据，对照中药粉末包含一种或多种中药成分。
通常，相关操作人员是通过比较中药粉末所含中药成分的种类鉴定该中药粉末的真伪以及是否规范投料的。部分中药粉末可通过比较一种中药成分得以鉴别，部分中药粉末则需要通过比较多种中药成分才能够鉴别。因此针对不同的中药粉末的鉴别，对照中药粉末可包含一种或多种中药成分。
其中，参见图2，该获取对照中药粉末的训练数据的步骤，具体包括以下子步骤：
S111：选取包含有一种或多种类型中药成分的对照中药粉末。该中药粉末作为对照中药粉末需要包含一种或多种中药成分，以便于深度卷积神经网络识别得到对照中药粉末所含中药成分的特征。例如：三七粉作为对照中药粉末，包含有淀粉和草酸钙簇晶等中药成分；五子衍宗丸包括枸杞子、五味子、菟丝子、车前子和覆盆子等中药成分。
S112：摄取对照中药粉末中每种中药成分的显微图像。深度卷积神经网络能够通过中药粉末中每种中药成分的显微图像，识别得到对应中药成分的显微特征，进而根据该显微特征鉴别相应的中药粉末。具体地：对于三七粉，能够拍摄其所含的淀粉粒、三七的梯纹导管、网纹导管及螺纹导管等显微图像；对于五子衍宗丸，能够摄取枸杞子、五味子种皮石细胞的显微图像；菟丝子种皮栅状细胞的显微图像；车前子种皮内表皮细胞的显微图像；覆盆子非腺毛显微图像。
S113：标记显微图像所对应中药成分的种类；该中药成分的种类与中药成分的特征相对应，用于判别深度卷积神经网络模型对相应中药成分识别到的种类是否正确，从而提高深度卷积神经网络模型的识别准确度。另外，标记该中药成分的种类还能够对深度卷积神经网络模型的分类器所分种类进行划分，以提高识别精度。
S114：使用对照中药粉末中每种中药成分的显微图像和种类，生成对照中药粉末的训练数据。
训练数据至少包括对照中药粉末中每种中药成分的显微图像和种类，从而便于深度卷积神经网络根据显微图像进行显微特征的识别和提取，并与相应的中药粉末的种类相匹配，以训练深度卷积神经网络。同时该训练数据也是测试集，通过训练数据中每种中药成分的种类，能够判断和提高深度卷积神经网络的识别准确率。
图1所示中药粉末智能鉴别方法还包括步骤S120：使用深度卷积神经网络对训练数据进行训练，得到与对照中药粉末对应的深度卷积神经网络模型，深度卷积神经网络模型用于识别得到一种或多种中药成分的显微特征。
深度卷积神经网络能够对训练数据所包含的中药粉末图像进行特征识别提取，从而确定该中药粉末所含一种或多种中药成分的显微特征，即将中药粉末的显微特征与种类对应起来，进而得到专门用于识别中药粉末所含中药成分的深度卷积神经网络模型。
其中，深度卷积神经网络包括卷积层、池化层和全连接层；对应地，如图3所示，上述步骤S120使用深度卷积神经网络对训练数据进行训练，得到深度卷积神经网络模型，具体包括：
S121：将对照中药粉末的显微图像输入至卷积层中。
首先要将对照中药粉末的显微图像输入至卷积层，输入图像的像素大小均需要符合预定规范，从而便于卷积层进行特征提取。
S122：使用多层卷积层分别对对照中药粉末的显微图像进行卷积操作，得到对照中药粉末的特征图像。
卷积层包括具有预定大小的“感受野”，该“感受野”的深度与输入图像的深度相同，通过使用“感受野”让卷积核与输入图像进行卷积操作，能够得到一个相应大小的特征图，该卷积层包括多层卷积，这样就能够对原始的显微图像或上一特征图进行多次卷积，从而得到对照中药粉末更深层次的特征图像。
其中，该使用多层卷积层分别对对照中药粉末的显微图像进行卷积操作，得到中药粉末的特征图像的具体方法如下：
根据公式：
Figure BDA0002554503720000091
对对照中药粉末的显微图像进行卷积操作，得到对照中药粉末的特征图像；其中，
Figure BDA0002554503720000092
为当前第l卷积层中第j个输出的特征图像，Mi为输入的特征图像集合，
Figure BDA0002554503720000093
为上个l-1卷积层中第i个特征图像，若l＝1，则
Figure BDA0002554503720000094
为输入的初始显微图像；
Figure BDA0002554503720000095
为卷积核，
Figure BDA0002554503720000096
为偏置，ReLU为激活函数。其中，激活函数的作用是深度卷积神经网络添加非线性因素，使得卷积层能够得到符合要求的特征图像，以提交给神经网络的池化层。
该深度卷积神经网络包括多层卷积层，这样能够对每次卷积得到的中间特征图再次卷积操作，从而得到对照中药粉末最终的特征图像。
其中，卷积层的输出维数的计算公式如下：
Figure BDA0002554503720000097
其中，输入图片的大小为N1*N1，卷积核的大小为F1*F1，步长为S，P表示padding的像素数，即拓展宽度。输出的图片大小为N2*N2。
S123：使用池化层对对照中药粉末的特征图像进行特征压缩，得到特征图像对应的显微特征。
池化层的作用是对输入的特征图像进行压缩，这样一方面是使特征图像变小，简化网络的计算复杂度，另一方面进行特征压缩，提取特征图像上的主要特征，即该步骤所述的特征图像对应的显微特征。
S124：使用全连接层连接同一显微图像所对应所有特征图像的显微特征，通过分类器确定对照中药粉末内所有中药成分的种类和的显微特征。
全连接层能够连接所有特征，将输出值送给分类器，如softmax分类器。这样全连接层连接同一显微图像对应的所有特征图像的显微特征，确定各个中药成分的种类和显微特征。
S125：使用对照中药粉末内所有中药成分的种类和显微特征，建立对照中药粉末的深度卷积神经网络模型。
各深度卷积神经网络模型模型与各种中药成分相对应，分别用于鉴别对应中药成分的种类和显微特征。
本申请提供的实施例中，卷积层能够获取对照中药粉末的显微图像，然后对该显微图像进行多次卷积，得到对照中药粉末的特征图像；然后使用池化层对该特征图像进行特征压缩，得到特征图像对应的显微特征；然后全连接层连接同一显微图像对应的所有特征图像的的显微特征，通过分类器确定每一类中药成分对应的显微特征，从而能够建立对照中药粉末的深度卷积神经网络模型，该模型能够识别中药成分的显微特征，以匹配中药成分的类型。
S130：使用深度卷积神经网络模型对样品中药粉末的显微图像进行显微特征匹配，以确定样品中药粉末所含中药成分的种类。
当深度卷积神经网络模型训练好后，即深度卷积神经网络模型对中药成分的识别准确度达到或高于预定阈值(例如90％)时，可以使用该深度卷积神经网络模型对具体的样品中药粉末的显微图像进行显微特征的识别，从而确定样品中药粉末所含中药成分的种类。
深度卷积神经网络模型对样品中药粉末的显微图像进行特征匹配的过程可参考对训练数据的显微特征提取过程。当样品中药粉末输入至卷积层后，多层卷积层需要对样品中药粉末的显微图像进行多次卷积操作，得到样品中药粉末的特征图像，然后使用池化层对样品中药粉末的特征图像进行特征压缩，得到样品中药粉末的特征图像对应的显微特征，再使用全连接层连接同一显微特征对应的所有特征图像的显微特征；最后通过深度卷积神经网络模型将该显微图像的显微特征与对照中药粉末的显微特征进行特征匹配，即能够根据之前分类器划分的中药成分的种类，确定样品中药粉末的种类。
S140：根据样品中药粉末所含中药成分的种类，生成并输出样品中药粉末的鉴别结果。
通过确定样品中药粉末所含中药成分的种类，能够生成该样品中药粉末的鉴别结果，即确定该中药粉末含有哪些中药成分，该中药成分是否与对照中药粉末所含的一种或多种中药成分吻合，从而达到鉴别样品中药粉末的目的。例如：三七粉的样品中药粉末采集完毕后，若三七粉的样品中药粉末能与三七粉的对照样品粉末的显微模型全部匹配，则输出为三七粉正品结果；否则输出结果为三七粉伪品；同理，若五子衍宗丸的样品中药粉末的显微特征图像与五子衍宗丸的标准制剂的显微模型全部匹配，则输出结果为规范投料；否则输出结果为非规范投料。
其中，如图4所示，该步骤S140：根据样品中药粉末所含中药成分的种类，生成并输出样品中药粉末的鉴别结果，具体包括：
S141：判断是否获取到样品中药粉末的类型；该深度卷积神经网络模型存储有显微特征与中药粉末类型的对应关系，当确定样品中药粉末的显微图像后，通过匹配该显微图像显微特征，就能够确定该样品中药粉末的类型。
S142：当深度卷积神经网络模型获取到样品中药粉末所含中药成分的种类时，生成并输出样品中药粉末的种类信息和样品中药粉末的拼接显微图像。
该样品中药粉末的拼接显微图像的生成步骤如下：
使用拼接算法计算同一样品中药粉末所对应每幅显微图像的图像像素坐标与空间物理坐标之间的转换矩阵；根据转换矩阵，在同一坐标系下拼接同一样品中药粉末的所有显微图像，得到拼接显微图像。
因为同一样品中药粉末在显微镜下需要提取多幅显微图像，为了准确获取同一样品中药粉末的全貌，需要拼接该多幅显微图像；这样使用拼接算法计算图像像素坐标与空间物理坐标之间的转换矩阵，然后根据该转换矩阵在同一坐标系下拼接所有显微图像，就能够得到该样品中药粉末的拼接显微图像，即该样品中药粉末的全貌。
或者，S143：当深度卷积神经网络模型未获取样品中药粉末所含中药成分的种类时，生成并输出样品中药粉末的拼接显微图像。
在未获取该样品中药粉末所含中药成分的种类时，能够确定该样品中药粉末为伪品或者说明该样品中药粉末不符合规范投料，这样输出样品中药粉末的拼接显微图像，能够便于人工鉴别该输出样品中药粉末的种类。
综上，本申请实施例提供的基于显微图像的中药粉末智能鉴别方法，通过获取对照中药粉末的训练数据，该对照中药粉末包含一种或多种中药成分；然后使用深度卷积神经网络对训练数据进行训练，得到与对照中药粉末对应的深度卷积神经网络模型，深度卷积神经网络模型能够识别得到一种或多种中药成分的显微特征；然后使用训练成功后的深度卷积神经网络模型对样品中药粉末的显微图像进行显微特征匹配，能够通过比对特征确定样品中药粉末所含中药成分的种类；最后根据样品中药粉末所含中药成分的种类，生成并输出样品中药粉末的鉴别结果。综上，本方案使用人工智能技术，通过训练得到的深度卷积神经网络模型，能够识别得到对照中药粉末中各中药成分的显微特征，从而根据该显微特征确定样品中药粉末的成分类型、真伪及是否规范投料，从而解决了现有技术中人工鉴别的方法主观误差大，耗时较长，工作效率较低，难以及时准确地确定中药粉末的成分类型，真伪及是否规范投料的问题。
另外，在上述中药粉末智能鉴别方法中，在图1所示的步骤S130：使用深度卷积神经网络模型对样品中药粉末的显微图像进行特征匹配之前，作为一种优选实施例，如图5所示，该中药粉末智能鉴别方法还包括以下步骤S200：使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像。
传统的中药粉末的显微图像采集中，往往只摄取普通光源视场下的样品中药粉末的显微图像。然而此种图像摄取方法中，因为拍摄过程中照明不均，部分结晶和其他细胞粘结等原因，采用此方法不能全面准确查找对应的中药成分；因此本申请实施例中，使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像，能够结合两种光源视场，清晰获取中药成分特定的纹理特征，进而提高中药粉末的识别精度。
其中，显微图像自动采集装置包括控制盒、数码摄像设备和计算机等装置。控制盒用于控制显微镜载物台运动，数码摄像设备用于采集中药粉末的显微图像，在采集到中药粉末的显微图像后会传递至计算机进行中药粉末的鉴别处理。
参加图6，上述图5所示步骤S200：使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像的步骤，包括：
S210：使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动。
S220：使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的样品中药粉末实时跟踪对焦。
S230：使用数码摄像装置按预定时间间隔多次摄取样品中药粉末的显微图像。
本申请实施例结合图7所示的显微图像自动采集装置可知，显微图像自动采集装置主要包括以下三部分：控制显微镜载物台运动的控制盒、采集图像的数码摄像设备和具有图像处理功能的计算机。控制盒中的运动控制卡分别控制三台步进电机精确运动，该三台步进电机能够分别实现载物台在X、Y、Z三个轴的轴向运动。具体参见图7，显微镜先向计算机发送视频信号1，以提示显微镜载玻片(或载物台)上盛放有中药粉末；计算机向控制盒内的控制卡上位机控制信号3，该上位机控制信号3用于将控制指令发送至控制盒，计算机能够与控制盒通讯，通过控制卡通讯信号2获取显微镜移动的反馈信息；控制盒向显微镜内的步进电机发送电机驱动信号4，以驱动显微镜的载物台在X、Y和Z的三轴运动；显微镜通过工作台位置信号5实时反馈工作台位置信号给控制盒，以使得计算机和控制盒以负反馈形式调节显微镜中载玻片的移动位置。同时，显微镜实时发送视频信号1给计算机，该视频信号1包括中药粉末的显微图像。
其中，显微镜的移动路径如图8所示，点A是数码摄像设备的初始坐标点，显微镜载玻片从A点先沿着Y轴横向移动，然后沿着X轴纵向移动，依次重复n(n为正整数且大于0)次，从而实现中药粉末在水平位置的移动。显微镜在X轴和Y轴的运动能够实现显微镜载玻片的水平移动采集，载物台Z轴方向上的运动能够实现显微镜的实时跟踪调焦，使整个观察过程能显示出清晰的图像；数码摄像设备按预定时间间隔能够多次摄取显微图像，实时采集每一次X轴和Y轴运动的图像，然后将图像存储于具有图像处理功能的计算机上进行处理。其中，普通光和偏光两种光源视场下图像的自动采集步骤相同。
另外，本申请上述实施例提供的中药粉末智能鉴别方法能够鉴别中药粉末的真伪，还能够鉴别中药粉末是否规范投料。具体可参见图9和图10，图9所示的三七粉智能鉴别方法包括以下步骤：
S310：拍摄三七对照药材的显微图像。具体地，拍摄三七对照药材所含的淀粉粒、草酸钙簇晶、梯纹导管、网纹导管和螺纹导管的显微图像。
S320：建立三七对照药材的显微图像模型。具体地，采用深度卷积神经网络算法分别对上述训练数据进行训练，得到训练后的、三七粉正品标准制剂的深度卷积神经网络模型。
S330：利用显微图像自动采集装置自动采集样品的显微图像块，每次采集到的图像块均存储至计算机并与建立的显微图像模型进行匹配。
S340：判断样品的显微图像算法能够与之前建立的显微图像模型相匹配；若能够匹配，则执行步骤S350；否不能匹配，则执行步骤S360。
S350：确定该样品为正品三七粉，输出三七粉正品信息。
S360：确定该样品为伪品三七粉，输出三七粉伪品信息。
S370：输出样品的拼接显微图像。
另外，本申请上述技术方案除了判断样品真伪外，还能够确定样品是否规范投料，具体可参见图10，以五子衍宗丸为例，该基于显微图像的五子衍宗丸智能鉴别方法包括以下步骤：
S410：拍摄枸杞子、菟丝子、覆盆子、五味子和车前子的对照药材的显微图像。
S420：建立五子衍宗丸标准制剂的显微图像模型。
S430：自动采集样品的显微图像块。
S440：判断该样品显微图像能否与建立的五子衍宗丸的标准制剂的显微图像模型匹配；若能够匹配，则执行步骤S450；若不能匹配，则执行步骤S460。
S450：输出规范投料信息。
S460：输出非规范投料信息。
S470：输出样品的拼接显微图像。
另外，基于上述方法实施例的同一构思，本发明实施例还提供了基于显微图像的中药粉末智能鉴别系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与上述方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参见图11，图11为本发明实施例提供的一种基于显微图像的中药粉末智能鉴别系统的结构示意图。如图11所示，该给予显微图像的中药粉末智能鉴别系统包括：
数据获取模块110，用于获取对照中药粉末的训练数据，其中，对照中药粉末包含有一种或多种中药成分。
神经网络模块120，用于使用深度卷积神经网络对训练数据进行训练，得到与中药粉末对应的深度卷积神经网络模型，深度卷积神经网络模型用于识别得到一种或多种中药成分的显微特征。
特征匹配模块130，用于使用深度卷积神经网络模型对样品中药粉末的显微图像进行特征匹配，以确定样品中药粉末所含中药成分的种类。
结果生成模块140，用于根据样品中药粉末所含中药粉末的种类，生成样品中药粉末的鉴别结果。
结果输出模块150，用于输出样品中药粉末的鉴别结果。
参见图12，图11所示的中药粉末智能鉴别系统中，神经网络模块120包括：
图像输入子模块121，用于将对照中药粉末的显微图像输入至卷积层中。
卷积操作子模块122，用于使用多层卷积层对中药粉末的显微图像进行卷积操作，得到对照中药粉末的特征图像。
特征压缩子模块123，用于使用池化层对对照中药粉末的特征图像进行特征压缩，得到特征图像对应的显微特征。
特征连接子模块124，用于使用全连接层连接同一显微图像所对应所有特征图像的显微特征。
成分确定子模块125，用于通过分类器确定对照中药粉末内所有中药成分的种类和显微特征；
模型建立子模块126，用于使用对照中药粉末内所有中药成分的种类和显微特征，建立每类中药粉末的深度卷积神经网络模型。
另外，如图13所示，在本实施例提供的中药粉末智能鉴别系统中，所述中药粉末智能鉴别系统还包括：图像摄取模块160，用于使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像；
图像摄取模块160，包括：
运动控制子模块161，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
对焦控制子模块162，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的样品中药粉末实时跟踪对焦；
图像拍摄子模块163，用于使用数码摄像装置按预定时间间隔多次拍摄样品中药粉末的显微图像。
另外，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于显微图像的中药智能鉴别方法的程序，该基于显微图像的中药智能鉴别方法的程序被处理器执行时实现如上述任一项技术方案所述的中药智能鉴别方法的步骤。
本发明计算机可读存储介质具体实施例与上述基于显微图像的中药智能鉴别方法的各实施例基本相同，在此不再详细赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于显微图像的中药粉末智能鉴别方法，其特征在于，包括：
获取对照中药粉末的训练数据，所述对照中药粉末包含一种或多种中药成分；
使用深度卷积神经网络对所述训练数据进行训练，得到与所述对照中药粉末对应的深度卷积神经网络模型，所述深度卷积神经网络模型用于识别得到所述一种或多种中药成分的显微特征；
使用所述深度卷积神经网络模型对样品中药粉末的显微图像进行显微特征匹配，以确定所述样品中药粉末所含中药成分的种类；
根据所述样品中药粉末所含中药成分的种类，生成并输出所述样品中药粉末的鉴别结果。
2.根据权利要求1所述的中药粉末智能鉴别方法，其特征在于，所述获取对照中药粉末的训练数据的步骤，包括：
选取包含有一种或多种类型中药成分的对照中药粉末；
摄取所述对照中药粉末中每种中药成分的显微图像；
标记所述显微图像所对应中药成分的种类；
使用所述对照中药粉末中每种中药成分的显微图像和种类，生成所述对照中药粉末的训练数据。
3.根据权利要求1所述的中药粉末智能鉴别方法，其特征在于，所述深度卷积神经网络包括卷积层、池化层和全连接层；所述使用深度卷积神经网络对所述训练数据进行训练，得到深度卷积神经网络模型的步骤包括：
将所述对照中药粉末的显微图像输入至所述卷积层中；
使用多层卷积层分别对所述对照中药粉末的显微图像进行卷积操作，得到所述对照中药粉末的特征图像；
使用所述池化层对所述对照中药粉末的特征图像进行特征压缩，得到所述特征图像对应的显微特征；
使用全连接层连接同一显微图像所对应所有特征图像的显微特征，通过分类器确定所述对照中药粉末内所有中药成分的种类和的显微特征；
使用所述对照中药粉末内所有中药成分的种类和显微特征，建立所述对照中药粉末的深度卷积神经网络模型。
4.根据权利要求3所述的中药粉末智能鉴别方法，其特征在于，所述使用多层卷积层分别对所述对照中药粉末的显微图像进行卷积操作，得到所述中药粉末的特征图像的步骤，包括：
根据公式：
Figure FDA0002554503710000021
对所述对照中药粉末的显微图像进行卷积操作，得到所述对照中药粉末的特征图像；其中，
Figure FDA0002554503710000022
为当前第l卷积层中第j个输出的特征图像，Mi为输入的特征图像集合，
Figure FDA0002554503710000023
为上个l-1卷积层中第i个特征图像，
Figure FDA0002554503710000024
为卷积核，
Figure FDA0002554503710000025
为偏置，ReLU为激活函数。
5.根据权利要求1所述的中药粉末智能鉴别方法，其特征在于，在所述使用深度卷积神经网络模型对样品中药粉末的显微图像进行特征匹配的步骤之前，所述方法还包括：使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像；
所述使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像的步骤，包括：
使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的样品中药粉末实时跟踪对焦；
使用数码摄像装置按预定时间间隔多次摄取所述样品中药粉末的显微图像。
6.根据权利要求1所述的中药粉末智能鉴别方法，其特征在于，所述根据样品中药粉末所含中药成分的种类，生成并输出所述样品中药粉末的鉴别结果的步骤，包括：
当所述深度卷积神经网络模型获取到所述样品中药粉末所含中药成分的种类时，生成并输出所述样品中药粉末的种类信息和所述样品中药粉末的拼接显微图像；
或者，
当所述深度卷积神经网络模型未获取所述样品中药粉末所含中药成分的种类时，生成并输出所述样品中药粉末的拼接显微图像。
7.根据权利要求6所述的中药粉末智能鉴别方法，其特征在于，所述生成样品中药粉末的拼接显微图像的步骤包括：
使用拼接算法计算同一样品中药粉末所对应每幅显微图像的图像像素坐标与空间物理坐标之间的转换矩阵；
根据所述转换矩阵，在同一坐标系下拼接所述同一样品中药粉末的所有显微图像，得到所述拼接显微图像。
8.一种基于显微图像的中药粉末智能鉴别系统，其特征在于，包括：
数据获取模块，用于获取对照中药粉末的训练数据，其中，所述对照中药粉末包含有一种或多种中药成分；
神经网络模块，用于使用深度卷积神经网络对所述训练数据进行训练，得到与所述中药粉末对应的深度卷积神经网络模型，所述深度卷积神经网络模型用于识别得到所述一种或多种中药成分的显微特征；
特征匹配模块，用于使用所述深度卷积神经网络模型对样品中药粉末的显微图像进行特征匹配，以确定所述样品中药粉末所含中药成分的种类；
结果生成模块，用于根据所述样品中药粉末所含中药粉末的种类，生成所述样品中药粉末的鉴别结果；
结果输出模块，用于输出所述样品中药粉末的鉴别结果。
9.根据权利要求8所述的中药粉末智能鉴别系统，其特征在于，所述神经网络模块包括：
图像输入子模块，用于将所述对照中药粉末的显微图像输入至所述卷积层中；
卷积操作子模块，用于使用多层卷积层对所述中药粉末的显微图像进行卷积操作，得到所述对照中药粉末的特征图像；
特征压缩子模块，用于使用所述池化层对所述对照中药粉末的特征图像进行特征压缩，得到所述特征图像对应的显微特征；
特征连接子模块，用于使用全连接层连接同一显微图像所对应所有特征图像的显微特征；
成分确定子模块，用于通过分类器确定所述对照中药粉末内所有中药成分的种类和显微特征；
模型建立子模块，用于使用所述对照中药粉末内所有中药成分的种类和显微特征，建立每类中药粉末的深度卷积神经网络模型。
10.根据权利要求8所述的中药粉末智能鉴别系统，其特征在于，所述系统还包括：图像摄取模块，用于使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中样品中药粉末的显微图像；
所述图像摄取模块，包括：
运动控制子模块，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
对焦控制子模块，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的样品中药粉末实时跟踪对焦；
图像拍摄子模块，用于使用数码摄像装置按预定时间间隔多次拍摄所述样品中药粉末的显微图像。
CN202010585564.1A 2020-06-24 2020-06-24 基于显微图像的中药粉末智能鉴别方法和系统 Pending CN111709389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010585564.1A CN111709389A (zh) 2020-06-24 2020-06-24 基于显微图像的中药粉末智能鉴别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010585564.1A CN111709389A (zh) 2020-06-24 2020-06-24 基于显微图像的中药粉末智能鉴别方法和系统

Publications (1)

Publication Number Publication Date
CN111709389A true CN111709389A (zh) 2020-09-25

Family

ID=72542462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010585564.1A Pending CN111709389A (zh) 2020-06-24 2020-06-24 基于显微图像的中药粉末智能鉴别方法和系统

Country Status (1)

Country Link
CN (1) CN111709389A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633187A (zh) * 2020-12-28 2021-04-09 山东电子职业技术学院 基于图像分析的机器人自动搬运方法、系统和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880853A (zh) * 2012-08-03 2013-01-16 成都中医药大学 基于网络的中药识别系统及方法
CN103345617A (zh) * 2013-06-19 2013-10-09 成都中医药大学 中药识别的方法及其系统
CN106570484A (zh) * 2016-11-07 2017-04-19 中国科学院自动化研究所 基于序列切片的显微镜图像采集方法
WO2017166586A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法、系统和电子设备
CN110349118A (zh) * 2019-03-28 2019-10-18 云南农业大学 基于计算机视觉技术的天麻品质检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880853A (zh) * 2012-08-03 2013-01-16 成都中医药大学 基于网络的中药识别系统及方法
CN103345617A (zh) * 2013-06-19 2013-10-09 成都中医药大学 中药识别的方法及其系统
WO2017166586A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法、系统和电子设备
CN106570484A (zh) * 2016-11-07 2017-04-19 中国科学院自动化研究所 基于序列切片的显微镜图像采集方法
CN110349118A (zh) * 2019-03-28 2019-10-18 云南农业大学 基于计算机视觉技术的天麻品质检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段大高等: "《中医鉴定学实验》", 中国医药科技出版社, pages: 348 - 349 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633187A (zh) * 2020-12-28 2021-04-09 山东电子职业技术学院 基于图像分析的机器人自动搬运方法、系统和存储介质
CN112633187B (zh) * 2020-12-28 2023-05-05 山东电子职业技术学院 基于图像分析的机器人自动搬运方法、系统和存储介质

Similar Documents

Publication Publication Date Title
Dong et al. Style aggregated network for facial landmark detection
Hao et al. Detail preserving depth estimation from a single image using attention guided networks
Liu et al. Richer convolutional features for edge detection
Zhao et al. Two-stream RNN/CNN for action recognition in 3D videos
Kong et al. Deep feature pyramid reconfiguration for object detection
Luo et al. Traffic sign recognition using a multi-task convolutional neural network
Gomez-Donoso et al. Lonchanet: A sliced-based cnn architecture for real-time 3d object recognition
CN108681700B (zh) 一种复杂行为识别方法
CN111832592B (zh) Rgbd显著性检测方法以及相关装置
CN109815945A (zh) 一种基于图像识别的呼吸道检查结果判读系统和方法
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN112101424A (zh) 一种视网膜病变识别模型的生成方法、识别装置及设备
Zhao et al. Fine-grained diabetic wound depth and granulation tissue amount assessment using bilinear convolutional neural network
Alabachi et al. Customizing object detectors for indoor robots
Debnath et al. Adapting MobileNets for mobile based upper body pose estimation
CN111860078A (zh) 人脸静默活体检测方法、装置、可读存储介质及设备
CN111709389A (zh) 基于显微图像的中药粉末智能鉴别方法和系统
Al-Faris et al. Deep learning of fuzzy weighted multi-resolution depth motion maps with spatial feature fusion for action recognition
CN108229452A (zh) 基于深度神经网络和dsp芯片的人数统计装置和方法
Xie et al. Tea-YOLOv8s: A tea bud detection model based on deep learning and computer vision
Banerjee et al. Visual recognition of paper analytical device images for detection of falsified pharmaceuticals
CN112509129B (zh) 一种基于改进gan网络的空间视场图像生成方法
Silva et al. Multi-view fine-grained vehicle classification with multi-loss learning
CN113762357B (zh) 基于深度学习的智能药房处方检查方法
Gao et al. Cross domain model compression by structurally weight sharing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination