CN111709390A - 基于显微图像的草酸钙晶体智能鉴别方法和系统 - Google Patents

基于显微图像的草酸钙晶体智能鉴别方法和系统 Download PDF

Info

Publication number
CN111709390A
CN111709390A CN202010594679.7A CN202010594679A CN111709390A CN 111709390 A CN111709390 A CN 111709390A CN 202010594679 A CN202010594679 A CN 202010594679A CN 111709390 A CN111709390 A CN 111709390A
Authority
CN
China
Prior art keywords
calcium oxalate
crystal
image
collected sample
microscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010594679.7A
Other languages
English (en)
Inventor
林永强
穆向荣
汪冰
郭东晓
林林
徐兴燕
于凤蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Institute for Food and Drug Control
Original Assignee
Shandong Institute for Food and Drug Control
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Institute for Food and Drug Control filed Critical Shandong Institute for Food and Drug Control
Priority to CN202010594679.7A priority Critical patent/CN111709390A/zh
Publication of CN111709390A publication Critical patent/CN111709390A/zh
Priority to JP2021131381A priority patent/JP7187630B2/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/102—Video camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/103—Scanning by mechanical motion of stage
    • G01N2201/1035—3D motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Medicines Containing Plant Substances (AREA)

Abstract

本发明公开基于显微图像的草酸钙晶体智能鉴别方法和系统，其中，草酸钙晶体智能鉴别方法包括：获取草酸钙晶体的训练数据，训练数据包含有多种晶体类型的草酸钙晶体；使用深度卷积神经网络对训练数据进行训练，得到用于鉴别草酸钙晶体的深度卷积神经网络模型；使用深度卷积神经网络模型对采集样品的显微图像进行特征匹配，以获取采集样品所含草酸钙晶体的晶体类型；根据采集样品所含草酸钙晶体的晶体类型，生成并输出采集样品的草酸钙晶体鉴别结果。本发明的技术方案能解决现有技术中手动鉴别导致误差大，耗时长且工作效率低下的问题。

Description

基于显微图像的草酸钙晶体智能鉴别方法和系统
技术领域
本发明涉及植物类中药鉴别技术领域，尤其涉及一种基于显微图像的草酸钙晶体智能鉴别方法和系统。
背景技术
中药是指在中医理论指导下，用于预防、治疗和诊断疾病并具有康复与保健作用的药物。中药主要来源于天然药及其加工品，包括药用植物、药用动物和药用矿物药。其中，药用植物在中药资源中占比87％，可见药用植物在中药领域有着举足轻重的地位。
在药用植物中，草酸钙晶体是其中重要的化学组分。草酸钙晶体作为常见的细胞后含物，广泛存在于植物类细胞中；它通常有柱晶、簇晶、针晶、方晶和砂晶等多种类型的结晶形态。草酸钙晶体的结构形态比较稳定，在不同的科、属和种的中药材组织结构中，对于是否存在晶体、晶体的不同形态、大小以及分布情况都具有特异性。现有研究表明：百合科、兰科、天南星科、薯蓣科植物根茎中多含针晶和针晶束；毛莨科、蓼科、五加科植物多含簇晶；茄科、苋科植物多含砂晶；豆科、芸香科植物多含方晶。由上述内容可知，草酸钙晶体的显微结构信息能够作为显微鉴定研究中药品种、检索未知药材分类的重要依据。近年来，草酸钙晶体特异性也越来越广泛地运用于中药材的检验领域，为鉴定药材及饮片的真伪提供技术支撑。
通常，草酸钙晶体的的识别需要通过中药显微鉴别方法实现。显微鉴别方法是中药鉴别四大手段之一，中药显微鉴别是指利用显微镜对药材(饮片)切片、粉末、表面、解离组织或磨片制片，以及含有饮片粉末的制剂观察，并根据组织、细胞或内含物等特征进行相应药材鉴别的一种方法。它是一种传统、有效、快速、经济及环保的鉴别方法，尤其在中药有效成分不明确的情况下作用突出，在定性、定量甚至定位等方面均有一定作用。针对草酸钙晶体的显微鉴别，需根据植物组织、细胞或内含物中的相关物质的特征确定。
然而，传统针对草酸钙晶体的中药显微鉴别方式，多是需要操作人员手动操作显微镜，并在显微镜下观察植物组织、细胞或内含物中相关物质的显微特征，然后操作人员手工描绘该特征，通过与现有具体的草酸钙晶体进行特征匹配，以便于人为鉴别药用植物中的草酸钙晶体。这种方法因是操作人员手动操作，所以会存在主观误差大、描绘耗时长且工作效率低等问题。
发明内容
本发明提供基于显微图像的草酸钙晶体智能鉴别方法、系统和可读存储介质，旨在解决现有技术的草酸钙晶体的中药显微鉴别方式需要操作人员手动鉴别，导致主观误差大、描绘耗时长且工作效率低下的问题。
为实现上述目的，根据本发明的第一方面，本发明提出了一种基于显微图像的草酸钙晶体智能鉴别方法，该草酸钙晶体智能鉴别方法包括：
获取草酸钙晶体的训练数据，其中，训练数据包含有多种晶体类型的草酸钙晶体；
使用深度卷积神经网络对训练数据进行训练，得到用于鉴别草酸钙晶体的深度卷积神经网络模型；
使用深度卷积神经网络模型对采集样品的显微图像进行特征匹配，以获取采集样品所含草酸钙晶体的晶体类型；
根据采集样品所含草酸钙晶体的晶体类型，生成并输出采集样品的草酸钙晶体鉴别结果。
优选地，所述获取草酸钙晶体的训练数据的步骤，包括：
选取多种分别含不同晶体类型的草酸钙晶体的药材；
摄取每种药材中草酸钙晶体的显微图像；
标记显微图像中草酸钙晶体的晶体类型；
使用每种草酸钙晶体的显微图像和晶体类型，分别生成每种草酸钙晶体的训练数据。
优选地，所述深度卷积神经网络包括卷积层、池化层和全连接层；所述使用深度卷积神经网络对训练数据进行训练，得到深度卷积神经网络模型的步骤包括：
将训练数据所包含的草酸钙晶体的显微图像输入至卷积层中；
使用多层卷积层对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像；
使用池化层对草酸钙晶体的特征图像进行特征压缩，得到特征图像对应的晶体特征；
使用全连接层连接同一显微图像所对应所有特征图像的晶体特征，通过分类器确定显微图像的晶体类型以及晶体类型对应的晶体特征；
使用显微图像的晶体类型和晶体特征，建立每类草酸钙晶体的深度卷积神经网络模型。
优选地，所述使用多层卷积层对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像的步骤，包括：
根据公式：
Figure BDA0002554820110000031
对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像；其中，
Figure BDA0002554820110000032
为当前第l卷积层中第j个输出的特征图像，Mi为输入的特征图像集合，
Figure BDA0002554820110000033
为上个l-1卷积层中第i个特征图像，
Figure BDA0002554820110000034
为卷积核，
Figure BDA0002554820110000035
为偏置，ReLU为激活函数。
优选地，在使用深度卷积神经网络模型对采集样品的显微图像进行特征匹配的步骤之前，所述草酸钙晶体鉴别方法还包括：使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像；
使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像的步骤，包括：
使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的采集样品实时跟踪对焦；
使用数码摄像装置按预定时间间隔多次摄取采集样品的显微图像。
优选地，所述根据采集样品所含草酸钙晶体的晶体类型，生成并输出采集样品的草酸钙晶体鉴别结果的步骤，包括：
当深度卷积神经网络模型获取到采集样品所含草酸钙晶体的晶体类型时，生成并输出采集样品的晶体类型信息和采集样品的拼接晶体特征图像；
或者，
当深度卷积神经网络模型未获取采集样品所含草酸钙晶体的晶体类型时，生成并输出采集样品的拼接显微图像。
优选地，所述生成采集样品的拼接显微图像的步骤包括：
使用拼接算法计算同一采集样品所对应每幅显微图像的图像像素坐标与空间物理坐标之间的转换矩阵；
根据转换矩阵，在同一坐标系下拼接同一采集样品的所有显微图像，得到拼接显微图像。
优选地，在生成并输出采集样品的草酸钙晶体鉴别结果的步骤之后，所述方法还包括：
标记采集样品所含草酸钙晶体的晶体类型；
将采集样品的显微图像和标记的晶体类型添加至训练数据中。
根据本发明的第二方面，本发明还提供了一种基于显微图像的草酸钙晶体智能鉴别系统，包括：
数据获取模块，用于获取草酸钙晶体的训练数据，其中，训练数据包含有多种晶体类型的草酸钙晶体；
神经网络模块，用于使用深度卷积神经网络对训练数据进行训练，得到用于鉴别草酸钙晶体的深度卷积神经网络模型；
特征匹配模块，用于使用深度卷积神经网络模型对采集样品的显微图像进行特征匹配，以获取采集样品所含草酸钙晶体的晶体类型；
结果生成模块，用于根据采集样品所含草酸钙晶体的晶体类型，生成采集样品的草酸钙晶体鉴别结果；
结果输出模块，用于输出采集样品的草酸钙晶体鉴别结果。
优选地，所述神经网络模块包括：
图像输入子模块，用于将训练数据所包含的草酸钙晶体的显微图像输入至卷积层中；
卷积操作子模块，用于使用多层卷积层对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像；
特征压缩子模块，用于使用池化层对草酸钙晶体的特征图像进行特征压缩，得到特征图像对应的晶体特征；
特征连接子模块，用于使用全连接层连接同一显微图像所对应所有特征图像的晶体特征；
晶体分类子模块，用于通过分类器确定显微图像的晶体类型以及晶体类型对应的晶体特征；
模型建立子模块，用于使用显微图像的晶体类型和晶体特征，建立每类草酸钙晶体的深度卷积神经网络模型。
优选地，所述系统还包括：图像摄取模块，用于使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像；
图像摄取模块，包括：
运动控制子模块，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
对焦控制子模块，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的采集样品实时跟踪对焦；
图像拍摄子模块，用于使用数码摄像装置按预定时间间隔多次拍摄采集样品的显微图像。
根据本发明的第三方面，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有草酸钙晶体智能鉴别方法的程序，该草酸钙晶体智能鉴别方法的程序被处理器执行时实现如上述任一项技术方案所述的草酸钙鉴别方法的步骤。
本申请提出的技术方案，通过获取草酸钙晶体的训练数据，该训练数据包含有多种晶体类型的草酸钙晶体；然后使用深度卷积神经网络对该训练数据进行训练，能够得到用于鉴别草酸钙晶体的深度卷积神经网络模型；该深度卷积神经网络模型能够识别各类型草酸钙晶体的特征；然后使用训练完成后的深度卷积神经网络模型对采集样品的显微图像进行特征匹配，就能够获取所述采集样品所含草酸钙晶体的晶体类型；这样根据采集样品所含草酸钙晶体的晶体类型，就能够生成并输出所述采集样品的草酸钙晶体鉴别结果。
综上，本申请提供的草酸钙晶体智能鉴别方案使用人工智能方法，通过训练得到深度卷积神经网络模型，自动匹配采集样品中的草酸钙晶体的晶体特征，从而自动识别该草酸钙晶体的类型，输出采集样品的草酸钙晶体鉴别结构，解决现有技术中人工鉴别方法因是操作人员手动操作，导致主观误差大、描绘耗时长且工作效率低等问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例提供的一种应用场景的示意图；
图2是本发明实施例提供的第一种基于显微图像的草酸钙晶体智能鉴别方法的流程示意图；
图3是图2所示实施例提供的一种训练数据的获取方法的流程示意图；
图4是图2所示实施例提供的一种神经网络的训练方法的流程示意图；
图5是图2所示实施例提供的一种鉴别结果的生成方法的流程示意图；
图6是本发明实施例提供的第二种基于显微图像的草酸钙晶体智能鉴别方法的流程示意图；
图7是图6所示实施例提供的一种显微图像摄取方法的流程示意图；
图8是图7所示实施例提供的一种显微镜的移动路径示意图；
图9-A是本发明实施例提供的一种普光视场中草酸钙柱晶的显微图像；
图9-B是本发明实施例提供的一种偏光视场中草酸钙柱晶的显微图像；
图9-C是本发明实施例提供的一种普光视场中草酸钙簇晶的显微图像；
图9-D是本发明实施例提供的一种偏光视场中草酸钙簇晶的显微图像；
图9-E是本发明实施例提供的一种普光视场中草酸钙针晶的显微图像；
图9-F是本发明实施例提供的一种偏光视场中草酸钙针晶的显微图像；
图9-G是本发明实施例提供的一种普光视场中草酸钙方晶的显微图像；
图9-H是本发明实施例提供的一种偏光视场中草酸钙方晶的显微图像；
图9-I是本发明实施例提供的一种普光视场中草酸钙砂晶的显微图像；
图9-J是本发明实施例提供的一种偏光视场中草酸钙砂晶的显微图像；
图10是本发明实施例提供的一种基于显微图像的草酸钙晶体智能鉴别系统的结构示意图；
图11是图10所示实施例提供的一种神经网络模块的结构示意图；
图12是图10所示实施例提供的一种图像摄取模块的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决问题是：现有技术中针对草酸钙晶体的中药显微鉴别方式，多需要操作人员手动观察和手绘显微特征，人工进行草酸钙晶体的特征匹配，鉴别草酸钙晶体的类型。此种方法会导致主观误差大，描绘时间长且工作效率低下等问题。
为了解决上述问题，参见图1，图1是本发明实施例提供的一种应用场景示意图。该应用场景用于实现本发明下述实施例提供的基于显微图像的草酸钙晶体智能鉴别方案。如图1所示，该应用场景包括显微镜和显微图像自动采集装置，该显微图像自动采集装置主要包括：控制盒、数码摄像设备和计算机；其中，控制盒用于控制显微镜的载物台运动；数码摄像设备与显微镜相连，用于采集显微镜的图像；计算机分别与数码摄像设备和控制盒电连接，用于处理图像以及向控制盒发送显微镜控制指令。其中，显微镜分别获取普通光源和偏光光源两种视场场景下的图像。
具体地，计算机向控制盒发送上位机控制信号3；控制盒内的控制卡会根据该上位机控制信号3向显微镜发送电机驱动信号4，以控制显微镜内三台步进电机精确运动，从而实现显微镜中载物台(承载有对照药材或采集样品)分别在X、Y、Z三个相互垂直方向的轴向运动；并且显微镜内的步进电机实时向控制盒反馈工作台位置信号5，控制盒内的控制卡与计算机交互控制卡通讯信号2，以实时反馈和调节显微镜载物台的移动；数码摄像设备在显微镜载物台移动的过程中，实时追踪获取对照药材或采集样品的显微图像，以视频信号1的形式将该显微图像反馈至计算机；计算机用于根据深度卷积神经网络处理该显微图像，例如：得到识别草酸钙晶体特征的深度卷积神经网络模型，或者匹配采集样品的显微特征；从而达到鉴别草酸钙晶体的作用。
为实现上述目的，请参见图2，图2是本发明实施例提供的第一种基于显微图像的草酸钙晶体智能鉴别方法的流程示意图。如图2所示，该基于显微图像的草酸钙晶体智能鉴别方法包括：
S110：获取草酸钙晶体的训练数据，其中，训练数据包含有多种晶体类型的草酸钙晶体。
该训练数据用于训练深度卷积神经网络，并且该草酸钙晶体包括多种晶体类型，因此深度卷积神经网络通过该训练数据能够识别不同晶体类型草酸钙晶体的特征。另外，该训练数据同样也是测试数据，通过比较训练数据所标记的草酸钙晶体类型和深度卷积神经网络识别的草酸钙晶体类型，能够提高深度卷积神经网络的识别精度。
其中，如图3所示，该获取草酸钙晶体的训练数据的步骤具体包括：
S111：选取多种分别含不同晶体类型的草酸钙晶体的药材。
草酸钙晶体包括多种类型，不同的药材还有不同类型的草酸钙晶体，例如：射干包括草酸钙柱晶，五加皮包括草酸钙簇晶，半夏包括草酸钙针晶，香加皮包括草酸钙方晶，地骨皮包括草酸钙砂晶。
S112：摄取每种药材中草酸钙晶体的显微图像。
每种药材所含草酸钙晶体的类型均不相同，这样摄取每种药材中草酸钙晶体的显微图像，能够得到不同类型草酸钙晶体的显微图像，然后通过深度卷积神经网络能够得到不同类型草酸钙晶体的显微特征。
S113：标记显微图像中草酸钙晶体的晶体类型。
不同晶体类型的草酸钙晶体具有不同的晶体特征，这样通过标记草酸钙晶体的晶体类型，能够使得深度卷积神经网络根据不同的晶体类型识别草酸钙晶体的晶体特征；并且使用标记的晶体类型还能够验证深度卷积神经网络是否识别准确，以提高深度卷积神经网络的识别准确度。
S114：使用每种草酸钙晶体的显微图像和晶体类型，分别生成每种草酸钙晶体的训练数据。
该训练数据至少包括每种草酸钙晶体的显微图像和晶体类型，这样深度卷积神经网络能够根据显微图像识别和提取其中的晶体特征，并与标记的晶体类型进行匹配和验证，从而提高深度卷积神经网络的识别准确率。
相关草酸钙晶体的显微图像可参见图9-A至9-J。其中，9-A是普通光源场景下摄取得到的草酸钙柱晶的显微图像；9-B是偏光光源场景下摄取得到的草酸钙柱晶的显微图像，上述两种显微图像通过摄取射干的图像得到。9-C是普通光源场景下摄取得到的草酸钙簇晶的显微图像；9-D是偏光光源场景下摄取得到的草酸钙簇晶的显微图像，上述两种显微图像通过摄取五加皮的图像得到。9-E是普通光源场景下摄取得到的草酸钙针晶的显微图像；9-F是偏光光源场景下摄取得到的草酸钙针晶的显微图像，上述两种显微图像通过摄取半夏的图像得到。9-G是普通光源场景下摄取得到的草酸钙方晶的显微图像；9-H是偏光光源场景下摄取得到的草酸钙方晶的显微图像，上述两种显微图像通过摄取香加皮的图像得到。9-I是普通光源场景下摄取得到的草酸钙砂晶的显微图像；9-J是偏光光源场景下摄取得到的草酸钙砂晶的显微图像，上述两种显微图像通过摄取地骨皮的图像得到。
S120：使用深度卷积神经网络对训练数据进行训练，得到用于鉴别草酸钙晶体的深度卷积神经网络模型。
深度卷积神经网络在获取到训练数据中草酸钙晶体的显微图像后，能够对该显微图像进行特征提取，并通过预设的分类器，将草酸钙晶体的晶体特征提取至对应的晶体类型中，从而得到对应不同晶体类型的草酸钙晶体的晶体特征，进而获得用于鉴别不同晶体类型草酸钙晶体的深度卷积神经网络模型。以便于后续对输入的草酸钙晶体进行晶体特征和晶体类型的鉴别。
其中，该深度卷积神经网络包括卷积层、池化层和全连接层。上述使用深度卷积神经网络对训练数据进行训练的步骤参见图4，具体包括：
S121：将训练数据所包含的草酸钙晶体的显微图像输入至卷积层中。
将草酸钙晶体的显微图像输入至卷积层后，卷积层能够对该显微图像进行卷积操作，转化为相应的特征图像。其中，该草酸钙晶体的显微图像包括草酸钙柱晶的显微图像，草酸钙簇晶的显微图像，草酸钙针晶的显微图像，草酸钙方晶的显微图像和草酸钙砂晶的显微图像。
S122：使用多层卷积层对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像。
卷积层包括具有预定大小的“感受野”，该“感受野”的深度与输入图像的深度相同，通过该卷积层中感受野与输入图像的卷积，能够得到一个相应大小的特征图，该卷积层包括多层卷积，这样卷积层就能够对原始的显微图像进行多次卷积操作，从而得到更深层次草酸钙晶体的特征图像。
其中，该使用多层卷积层对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像的方法具体如下：
根据公式：
Figure BDA0002554820110000101
对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像；其中，
Figure BDA0002554820110000102
为当前第l卷积层中第j个输出的特征图像，Mi为输入的特征图像集合，
Figure BDA0002554820110000103
为上个l-1卷积层中第i个特征图像，
Figure BDA0002554820110000104
为卷积核，
Figure BDA0002554820110000105
为偏置，ReLU为激活函数。其中，当l＝1时，
Figure BDA0002554820110000106
能够为草酸钙晶体的原始显微图像；激活函数能够给深度卷积神经网络添加非线性因素，使得卷积层能够提取得到符合要求的特征图像。
其中，该卷积层的输出维数的计算公式如下：
Figure BDA0002554820110000107
其中，输入的草酸钙晶体的显微图像的大小为N1*N1，卷积核的大小为F1*F1，步长为S，P表示padding的像素数，即拓展宽度。卷积层输出的图片大小为N2*N2。
S123：使用池化层对草酸钙晶体的特征图像进行特征压缩，得到特征图像对应的晶体特征。
池化层的作用是对输入的特征图像进行压缩，这样既能够使得特征图像变小，简化网络的计算复杂度，也能够进行特征压缩，提取特征图像上的主要特征，该主要特征即上述特征图像对应的晶体特征。
其中，池化层的输出唯独计算公式如下：
Figure BDA0002554820110000108
其中，池化层pool的核大小为F2。
S124：使用全连接层连接同一显微图像所对应所有特征图像的晶体特征，通过分类器确定显微图像的晶体类型以及晶体类型对应的晶体特征。
全连接层能够连接同一显微图像上的所有晶体特征，然后将输出的晶体特征输入至分类器，这样通过分类器能够确定显微图像的晶体类型以及该晶体类型对应的晶体特征。
S125：使用显微图像的晶体类型和晶体特征，建立每类草酸钙晶体的深度卷积神经网络模型。
每个深度卷积神经网络模型均能够识别对应草酸钙晶体的晶体特征，在识别到该晶体特征后，通过该晶体特征匹配相应的草酸钙类型。例如：分别使用射干、五加皮、半夏、香加皮和地骨皮对照药材的显微图像的晶体类型和晶体特征，能够分别建立草酸钙柱晶神经网络模型、草酸钙簇晶神经网络模型、草酸钙针晶神经网络模型、草酸钙方晶神经网络模型和草酸钙砂晶神经网络模型；以分别识别草酸钙柱晶、簇晶、针晶、方晶和砂晶的显微图像的晶体特征。
本申请实施例提供的技术方案中，多层卷积层能够对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像，然后使用池化层对草酸钙晶体的特征图像进行特征压缩，得到特征图像对应的晶体类型，再通过分类器确定显微图像的晶体类型以及该晶体类型对应的晶体特征，从而能够建立起每类草酸钙晶体的深度卷积神经网络模型，通过该深度卷积神经网络模型能够识别对应类型草酸钙晶体的晶体特征，然后通过该晶体特征的识别，确定采集样品所含草酸钙晶体的类型。
S130：使用深度卷积神经网络模型对采集样品的显微图像进行特征匹配，以获取采集样品所含草酸钙晶体的晶体类型。
不同的深度卷积神经网络模型能够识别不同晶体类型的草酸钙晶体，得到不同晶体类型的草酸钙晶体的晶体特征。这样，在将采集样品的显微图像输入至该深度卷积神经网络后，深度卷积神经网络模型能够对该显微图像进行晶体特征的匹配，从而通过晶体特征确定该采集样品所含草酸钙晶体的类型。例如：若通过上述；采集样品的显微图像能够与不同深度卷积神经网络模型识别得到的草酸钙柱晶、簇晶、针晶、方晶和砂晶模型中的任意一种匹配，则生成相应的晶体类型信息。
S140：根据采集样品所含草酸钙晶体的晶体类型，生成并输出采集样品的草酸钙晶体鉴别结果。
在得到采集样品所含草酸钙晶体的晶体类型后，能够生成相应的草酸钙晶体鉴别结果，从而能够快速准确地鉴别草酸钙晶体。
其中，如图5所示，该根据采集样品所含草酸钙晶体的晶体类型，生成并输出采集样品的草酸钙晶体鉴别结果的步骤，具体包括：
S141：是否确定到采集样品所含草酸钙晶体的晶体类型。深度卷积神经网络模型存储有草酸钙晶体的晶体特征与晶体类型的对应关系，通过原步骤S130匹配到采集样品中草酸钙晶体的晶体特征后，就能够确定采集样品所含草酸钙晶体的晶体类型。
S142：当深度卷积神经网络模型获取到采集样品所含草酸钙晶体的晶体类型时，生成并输出采集样品的晶体类型信息、采集样品的拼接晶体特征图像和采集样品的样品的晶体特征图像。在获取到采集样品所含草酸钙晶体的晶体类型时，可以仅拼接采集样品的晶体特征的图像，这样能够给用户清晰的图像展示。例如：在深度卷积神经网络模型在检测到簇晶类型的草酸钙晶体时，深度卷积神经网络模型可以仅拼接该草酸钙簇晶的图像，以给予用户清晰细致的图像展示。
或者，
S143：当深度卷积神经网络模型未获取采集样品所含草酸钙晶体的晶体类型时，生成并输出采集样品的拼接显微图像。深度卷积神经网络模型未获取到采集样品所含草酸钙晶体的晶体类型，说明该采集样品不包含草酸钙晶体，这样生成采集样品的全部拼接显微图像能够展示采集样品的全貌，方便相关工作人员清楚地查知该采集样品的显微结构。
其中，该生成采集样品的拼接显微图像方法具体包括以下步骤：
使用拼接算法计算同一采集样品所对应每幅显微图像的图像像素坐标与空间物理坐标之间的转换矩阵。通常同一采集样品需要获取多幅显微图像，而每一显微图像的图像像素坐标均不相同；这样为了得到采集样品的拼接显微图像，需要使用拼接算法计算图像像素坐标与现实空间中空间物理坐标之间的转换矩阵，从而拼接所有显微图像。
根据转换矩阵，在同一坐标系下拼接同一采集样品的所有显微图像，得到拼接显微图像。通过使用转换矩阵，能够将所有显微图像按照实际的空间物理坐标，在同一坐标系下拼接起来，得到拼接显微图像；进而得到该采集样品的全貌。另外，对于出现相邻两张图像拼接结果像素错位的问题，采用基于图像灰度特征的模板匹配方法进行优化匹配，以得到较完整的拼接显微图像。获取拼接晶体特征图像的方法同理，在此不再赘述。
综上，本申请实施例提供的基于显微图像的草酸钙晶体智能鉴别方法，通过获取草酸钙晶体的训练数据，所述训练数据包含有多种晶体类型的所述草酸钙晶体；然后使用深度卷积神经网络对所述训练数据进行训练，能够得到用于鉴别草酸钙晶体的深度卷积神经网络模型；该深度卷积神经网络模型能够识别各类型草酸钙晶体的特征；然后使用训练完成后的深度卷积神经网络模型对采集样品的显微图像进行特征匹配，就能够获取所述采集样品所含草酸钙晶体的晶体类型；这样根据所述采集样品所含草酸钙晶体的晶体类型，就能够生成并输出所述采集样品的草酸钙晶体鉴别结果。
本申请实施例提供的草酸钙晶体智能鉴别方法使用人工智能方法，通过训练得到深度卷积神经网络模型，自动匹配采集样品中的草酸钙晶体的晶体特征，从而自动识别该草酸钙晶体的类型，输出采集样品的草酸钙晶体鉴别结构，解决现有技术中人工鉴别方法因是操作人员手动操作，导致主观误差大、描绘耗时长且工作效率低等问题。
另外，如图6所示，在上述步骤S130：使用深度卷积神经网络模型对采集样品的显微图像进行特征匹配的步骤之前，所述草酸钙晶体鉴别方法还包括以下步骤：
S200：使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像。
传统的草酸钙晶体显微图像的采集方法，往往只摄取普通光源视场中草酸钙晶体的显微图像。然而此种图像采集方法，因为拍摄过程照明不均，部分草酸钙晶体可能与采集样品的其他结构相互混淆，这样就不能全面准确地查找到草酸钙晶体，容易引起误判。因此在本申请实施例中，使用显微图像自动采集装置能够分别摄取普通光源视场和偏光源视场中采集样品的显微图像，能够结合两种光源视场，获取清晰的草酸钙晶体结构，提高草酸钙晶体的识别准确率。
其中，结合图1和图7所示，该使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像的方法具体包括：
S210：使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动。
S220：使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的采集样品实时跟踪对焦。
S230：使用数码摄像装置按预定时间间隔多次摄取采集样品的显微图像。
本申请实施例提供的技术方案中，控制盒中的运动控制卡能够控制三台步进电机精确运动，从而实现载物台分别在X、Y、Z三个相互垂直方向的轴向运动；其中，如图8所示，X轴和Y轴的运动能够实现显微镜载玻片(或载物台)的水平移动移动采集；另外载物台沿Z轴方向竖直移动，能够实现对采集样品的实时跟踪调焦，使整个观察过程能显示出清晰的图像。载物台沿着X、Y和Z三个相互垂直方向轴向运动时，数码摄像设备能够按照预定时间间隔多次摄取采集样品的显微图像，实时获取同一采集样品的多幅显微图像，便于计算机对同一采集样品多次处理。其中，普通光和偏光两种光源视场下图像的采集步骤相同。
显微镜具体的移动路径参见图8：点A是数码摄像设备的初始坐标点，显微镜载玻片先调节至A点，然后沿着Y轴横向移动，再沿着X轴纵向移动，……，依次重复n(n为正整数且大于0)次，从而对照药材或采集样品在水平位置的移动，实现对整个待采集区域的全覆盖。显微镜在X轴和Y轴的运动能够实现显微镜载玻片上显微图像的采集，载物台Z轴方向上的运动能够实现显微镜的实时跟踪聚焦，使得整个过程中摄取多张清晰的显微图像。
同时，作为一种优选的实施例，在原草酸钙晶体智能鉴别方法中，原步骤S140：生成并输出采集样品的草酸钙晶体鉴别结果之后，本申请实施例所述方法还包括以下步骤：标记采集样品所含草酸钙晶体的晶体类型；将采集样品的显微图像和标记的晶体类型添加至训练数据中。
本申请实施例提供的技术方案中，通过标记采集样品所含草酸钙晶体的晶体类型后，将该采集样品的显微图像和标记的晶体类型添加至训练数据，能够增强深度卷积神经网络的训练样本，同时提高深度卷积神经网络的鉴别能力。
另外，基于上述方法实施例的同一构思，本发明实施例还提供了基于显微图像的草酸钙晶体智能鉴别系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与上述方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参见图10，图10为本发明实施例提供的一种基于显微图像的草酸钙晶体智能鉴别系统的结构示意图。如图10所示，该基于显微图像的草酸钙晶体智能鉴别系统，包括：
数据获取模块110，用于获取草酸钙晶体的训练数据，其中，训练数据包含有多种晶体类型的草酸钙晶体；
神经网络模块120，用于使用深度卷积神经网络对训练数据进行训练，得到用于鉴别草酸钙晶体的深度卷积神经网络模型；
特征匹配模块130，用于使用深度卷积神经网络模型对采集样品的显微图像进行特征匹配，以获取采集样品所含草酸钙晶体的晶体类型；
结果生成模块140，用于根据采集样品所含草酸钙晶体的晶体类型，生成采集样品的草酸钙晶体鉴别结果；
结果输出模块150，用于输出采集样品的草酸钙晶体鉴别结果。
综上，本申请实施例提供的基于显微图像的草酸钙晶体智能鉴别系统，数据获取模块110获取草酸钙晶体的训练数据，该训练数据包含有多种晶体类型的所述草酸钙晶体；然后神经网络模块120使用深度卷积神经网络对数据获取模块110获取到的训练数据进行训练，能够得到用于鉴别草酸钙晶体的深度卷积神经网络模型；该深度卷积神经网络模型能够识别各类型草酸钙晶体的特征；然后特征匹配模块130使用训练完成后的深度卷积神经网络模型对采集样品的显微图像进行特征匹配，就能够获取采集样品所含草酸钙晶体的晶体类型；然后结果生成模块140和结果输出模块150能够根据采集样品所含草酸钙晶体的晶体类型，生成并输出所述采集样品的草酸钙晶体鉴别结果。
本申请实施例提供的草酸钙晶体智能鉴别系统使用人工智能手段，通过训练得到深度卷积神经网络模型，自动匹配采集样品中的草酸钙晶体的晶体特征，从而自动识别该草酸钙晶体的类型，输出采集样品的草酸钙晶体鉴别结构，解决现有技术中人工鉴别方法因是操作人员手动操作，导致主观误差大、描绘耗时长且工作效率低等问题。
其中，如图11所示，该神经网络模块120包括：
图像输入子模块121，用于将训练数据所包含的草酸钙晶体的显微图像输入至卷积层中；
卷积操作子模块122，用于使用多层卷积层对草酸钙晶体的显微图像进行卷积操作，得到草酸钙晶体的特征图像；
特征压缩子模块123，用于使用池化层对草酸钙晶体的特征图像进行特征压缩，得到特征图像对应的晶体特征；
特征连接子模块124，用于使用全连接层连接同一显微图像所对应所有特征图像的晶体特征；
晶体分类子模块125，用于通过分类器确定显微图像的晶体类型以及晶体类型对应的晶体特征；
模型建立子模块126，用于使用显微图像的晶体类型和晶体特征，建立每类草酸钙晶体的深度卷积神经网络模型。
另外，作为一种优选实施例，参见图12，本实施例提供的草酸钙晶体智能鉴别系统除了图10所示的各个结构模块外还包括：图像摄取模块160，用于使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像；
图像摄取模块160，包括：
运动控制子模块161，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
对焦控制子模块162，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的采集样品实时跟踪对焦；
图像拍摄子模块163，用于使用数码摄像装置按预定时间间隔多次拍摄采集样品的显微图像。
另外，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有基于显微图像的草酸钙晶体智能鉴别方法的程序，该基于显微图像的草酸钙晶体智能鉴别方法的程序被处理器执行时实现如上述任一项技术方案所述的草酸钙晶体智能鉴别方法的步骤。
本发明计算机可读存储介质具体实施例与上述基于显微图像的草酸钙晶体智能鉴别方法的各实施例基本相同，在此不再详细赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD－ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于显微图像的草酸钙晶体智能鉴别方法，其特征在于，包括：
获取草酸钙晶体的训练数据，其中，所述训练数据包含有多种晶体类型的所述草酸钙晶体；
使用深度卷积神经网络对所述训练数据进行训练，得到用于鉴别草酸钙晶体的深度卷积神经网络模型；
使用所述深度卷积神经网络模型对采集样品的显微图像进行特征匹配，以获取所述采集样品所含草酸钙晶体的晶体类型；
根据所述采集样品所含草酸钙晶体的晶体类型，生成并输出所述采集样品的草酸钙晶体鉴别结果。
2.根据权利要求1所述的草酸钙晶体智能鉴别方法，其特征在于，所述获取草酸钙晶体的训练数据的步骤，包括：
选取多种分别含不同晶体类型的草酸钙晶体的药材；
摄取每种药材中草酸钙晶体的显微图像；
标记所述显微图像中草酸钙晶体的晶体类型；
使用每种草酸钙晶体的显微图像和晶体类型，分别生成每种所述草酸钙晶体的训练数据。
3.根据权利要求1所述的草酸钙晶体智能鉴别方法，其特征在于，所述深度卷积神经网络包括卷积层、池化层和全连接层；所述使用深度卷积神经网络对所述训练数据进行训练，得到深度卷积神经网络模型的步骤包括：
将所述训练数据所包含的草酸钙晶体的显微图像输入至所述卷积层中；
使用多层所述卷积层对所述草酸钙晶体的显微图像进行卷积操作，得到所述草酸钙晶体的特征图像；
使用所述池化层对所述草酸钙晶体的特征图像进行特征压缩，得到所述特征图像对应的晶体特征；
使用全连接层连接同一显微图像所对应所有特征图像的晶体特征，通过分类器确定所述显微图像的晶体类型以及所述晶体类型对应的晶体特征；
使用所述显微图像的晶体类型和晶体特征，建立每类草酸钙晶体的深度卷积神经网络模型。
4.根据权利要求3所述的草酸钙晶体智能鉴别方法，其特征在于，所述使用多层卷积层对所述草酸钙晶体的显微图像进行卷积操作，得到所述草酸钙晶体的特征图像的步骤，包括：
根据公式：
Figure FDA0002554820100000021
对所述草酸钙晶体的显微图像进行卷积操作，得到所述草酸钙晶体的特征图像；其中，
Figure FDA0002554820100000022
为当前第l卷积层中第j个输出的特征图像，Mi为输入的特征图像集合，
Figure FDA0002554820100000023
为上个l-1卷积层中第i个特征图像，
Figure FDA0002554820100000024
为卷积核，
Figure FDA0002554820100000025
为偏置，ReLU为激活函数。
5.根据权利要求1所述的草酸钙晶体智能鉴别方法，其特征在于，在所述使用深度卷积神经网络模型对采集样品的显微图像进行特征匹配的步骤之前，所述方法还包括：使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像；
所述使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像的步骤，包括：
使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的采集样品实时跟踪对焦；
使用数码摄像装置按预定时间间隔多次摄取所述采集样品的显微图像。
6.根据权利要求1所述的草酸钙晶体智能鉴别方法，其特征在于，所述根据采集样品所含草酸钙晶体的晶体类型，生成并输出所述采集样品的草酸钙晶体鉴别结果的步骤，包括：
当所述深度卷积神经网络模型获取到所述采集样品所含草酸钙晶体的晶体类型时，生成并输出所述采集样品的晶体类型信息和所述采集样品的拼接晶体特征图像；
或者，
当所述深度卷积神经网络模型未获取所述采集样品所含草酸钙晶体的晶体类型时，生成并输出所述采集样品的拼接显微图像。
7.根据权利要求6所述的草酸钙晶体智能鉴别方法，其特征在于，所述生成采集样品的拼接显微图像的步骤包括：
使用拼接算法计算同一采集样品所对应每幅显微图像的图像像素坐标与空间物理坐标之间的转换矩阵；
根据所述转换矩阵，在同一坐标系下拼接所述同一采集样品的所有显微图像，得到所述拼接显微图像。
8.一种基于显微图像的草酸钙晶体智能鉴别系统，其特征在于，包括：
数据获取模块，用于获取草酸钙晶体的训练数据，其中，所述训练数据包含有多种晶体类型的所述草酸钙晶体；
神经网络模块，用于使用深度卷积神经网络对所述训练数据进行训练，得到用于鉴别草酸钙晶体的深度卷积神经网络模型；
特征匹配模块，用于使用所述深度卷积神经网络模型对采集样品的显微图像进行特征匹配，以获取所述采集样品所含草酸钙晶体的晶体类型；
结果生成模块，用于根据所述采集样品所含草酸钙晶体的晶体类型，生成所述采集样品的草酸钙晶体鉴别结果；
结果输出模块，用于输出所述采集样品的草酸钙晶体鉴别结果。
9.根据权利要求8所述的草酸钙晶体智能鉴别系统，其特征在于，所述神经网络模块包括：
图像输入子模块，用于将所述训练数据所包含的草酸钙晶体的显微图像输入至所述卷积层中；
卷积操作子模块，用于使用多层所述卷积层对所述草酸钙晶体的显微图像进行卷积操作，得到所述草酸钙晶体的特征图像；
特征压缩子模块，用于使用所述池化层对所述草酸钙晶体的特征图像进行特征压缩，得到所述特征图像对应的晶体特征；
特征连接子模块，用于使用全连接层连接同一显微图像所对应所有特征图像的晶体特征；
晶体分类子模块，用于通过分类器确定所述显微图像的晶体类型以及所述晶体类型对应的晶体特征；
模型建立子模块，用于使用所述显微图像的晶体类型和晶体特征，建立每类草酸钙晶体的深度卷积神经网络模型。
10.根据权利要求8所述的草酸钙晶体智能鉴别系统，其特征在于，所述系统还包括：图像摄取模块，用于使用显微图像自动采集装置分别摄取普通光源视场和偏光源视场中采集样品的显微图像；
所述图像摄取模块，包括：
运动控制子模块，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行水平运动；
对焦控制子模块，用于使用控制盒控制显微镜的载物台、按预定运动轨迹在三维坐标系中进行竖直运动，以对载物台上的采集样品实时跟踪对焦；
图像拍摄子模块，用于使用数码摄像装置按预定时间间隔多次拍摄所述采集样品的显微图像。
CN202010594679.7A 2020-08-11 2020-08-11 基于显微图像的草酸钙晶体智能鉴别方法和系统 Pending CN111709390A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010594679.7A CN111709390A (zh) 2020-08-11 2020-08-11 基于显微图像的草酸钙晶体智能鉴别方法和系统
JP2021131381A JP7187630B2 (ja) 2020-08-11 2021-08-11 顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010594679.7A CN111709390A (zh) 2020-08-11 2020-08-11 基于显微图像的草酸钙晶体智能鉴别方法和系统

Publications (1)

Publication Number Publication Date
CN111709390A true CN111709390A (zh) 2020-09-25

Family

ID=72542788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010594679.7A Pending CN111709390A (zh) 2020-08-11 2020-08-11 基于显微图像的草酸钙晶体智能鉴别方法和系统

Country Status (2)

Country Link
JP (1) JP7187630B2 (zh)
CN (1) CN111709390A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345617A (zh) * 2013-06-19 2013-10-09 成都中医药大学 中药识别的方法及其系统
CN106570484A (zh) * 2016-11-07 2017-04-19 中国科学院自动化研究所 基于序列切片的显微镜图像采集方法
WO2017166586A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法、系统和电子设备
CN107356594A (zh) * 2017-05-24 2017-11-17 广东数相智能科技有限公司 基于细胞分析的药材切片检测方法、电子设备及存储介质
US20200184637A1 (en) * 2017-08-15 2020-06-11 Siemens Healthcare Gmbh Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04266816A (ja) * 1991-02-21 1992-09-22 Kato Suishiyoudou Seiyaku Kk 浴用剤
JPH10104229A (ja) * 1996-09-27 1998-04-24 Hitachi Ltd 有形成分分析装置
CN103344738B (zh) * 2013-07-04 2014-12-17 北京北陆药业股份有限公司 九味镇心颗粒的检测方法
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
US10255693B2 (en) * 2017-05-02 2019-04-09 Techcyte, Inc. Machine learning classification and training for digital microscopy images
JP6747391B2 (ja) * 2017-06-30 2020-08-26 Ｊｆｅスチール株式会社 材料特性推定装置及び材料特性推定方法
US11010591B2 (en) * 2019-02-01 2021-05-18 Merck Sharp & Dohme Corp. Automatic protein crystallization trial analysis system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345617A (zh) * 2013-06-19 2013-10-09 成都中医药大学 中药识别的方法及其系统
WO2017166586A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法、系统和电子设备
CN106570484A (zh) * 2016-11-07 2017-04-19 中国科学院自动化研究所 基于序列切片的显微镜图像采集方法
CN107356594A (zh) * 2017-05-24 2017-11-17 广东数相智能科技有限公司 基于细胞分析的药材切片检测方法、电子设备及存储介质
US20200184637A1 (en) * 2017-08-15 2020-06-11 Siemens Healthcare Gmbh Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段大高等: "《中医鉴定学实验》", 中国医药科技出版社, pages: 348 - 349 *

Also Published As

Publication number Publication date
JP7187630B2 (ja) 2022-12-12
JP2022033035A (ja) 2022-02-25

Similar Documents

Publication Publication Date Title
DE60316690T2 (de) System zur bildvergleichung mit verwendung eines dreidimensionalen objectmodelles, bildvergleichverfahren und bildvergleichprogramm
Xue et al. Deep texture manifold for ground terrain recognition
CN105809146B (zh) 一种图像场景识别方法和装置
US20070031043A1 (en) System for and method of intelligently directed segmentation analysis for automated microscope systems
Tan et al. Where and who? automatic semantic-aware person composition
CN109919007B (zh) 一种生成红外图像标注信息的方法
CN106709950A (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN104331686B (zh) 一种土壤地表秸秆覆盖率人工辅助识别系统
CN110065068A (zh) 一种基于逆向工程的机器人装配作业演示编程方法及装置
DE102015219971A1 (de) Verfahren und Vorrichtung zum Erstellen einer Mikroskopiepanoramadarstellung
DE69713039T2 (de) Echtzeit-Folgesystem für sich bewegende Körper auf einem Sportfeld
CN106650795A (zh) 酒店房型图像的排序方法
WO2023174204A1 (zh) 基于SfM和深度学习的高光谱三维重建系统及方法与应用
CN106023307A (zh) 基于现场环境的快速重建三维模型方法及系统
CN107451985A (zh) 一种小鼠舌头切片显微序列图像的拼接方法
CN111462005B (zh) 处理显微图像的方法、装置、计算机设备及存储介质
CN101661625A (zh) 基于一幅标准图像生成各视角下样本图像的方法
CN111709389A (zh) 基于显微图像的中药粉末智能鉴别方法和系统
CN112509129B (zh) 一种基于改进gan网络的空间视场图像生成方法
CN111709390A (zh) 基于显微图像的草酸钙晶体智能鉴别方法和系统
Lee et al. Analysing forests using dense point clouds
CN109493279A (zh) 一种大规模无人机图像并行拼接方法
CN114549432A (zh) 无人机图像智能识别方法
Foo et al. Image Data Augmentation with Unpaired Image-to-Image Camera Model Translation
Koenderink et al. MARVIN: high speed 3d imaging for seedling classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200925

RJ01 Rejection of invention patent application after publication