CN113869288A - 一种基于深度学习的药物分类方法及装置 - Google Patents

一种基于深度学习的药物分类方法及装置 Download PDF

Info

Publication number
CN113869288A
CN113869288A CN202111454581.2A CN202111454581A CN113869288A CN 113869288 A CN113869288 A CN 113869288A CN 202111454581 A CN202111454581 A CN 202111454581A CN 113869288 A CN113869288 A CN 113869288A
Authority
CN
China
Prior art keywords
cell
training
image
cell sphere
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111454581.2A
Other languages
English (en)
Other versions
CN113869288B (zh
Inventor
顾忠泽
陈早早
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University Suzhou Medical Device Research Institute
Original Assignee
Southeast University Suzhou Medical Device Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University Suzhou Medical Device Research Institute filed Critical Southeast University Suzhou Medical Device Research Institute
Priority to CN202111454581.2A priority Critical patent/CN113869288B/zh
Publication of CN113869288A publication Critical patent/CN113869288A/zh
Application granted granted Critical
Publication of CN113869288B publication Critical patent/CN113869288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的药物分类方法及装置，方法包括：将待分类药物分别作用于不同种类的细胞球培养，并分别采集包括细胞球的多个指定天的初始图像；将初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得细胞球区域；根据细胞球区域，利用卷积神经网络预训练细胞球特征提取器；利用细胞球特征提取器提取细胞球区域的图像特征，将图像特征输入LSTM网络得到特征向量，将特征向量连接，并利用LSTM网络中的注意力机制模块和全连接层对连接后的特征向量分类，训练LSTM模型以对待分类药物识别分类。本发明可快速确定未知药物的种类，并不需要繁琐的实验操作，利用深度学习技术即可只通过图像对药物进行识别分类。

Description

一种基于深度学习的药物分类方法及装置
技术领域
本发明属于计算机图像处理技术领域，具体涉及一种基于深度学习的药物分类方法及装置。
背景技术
新药的研制是一个漫长又昂贵的过程。新药的研制过程包括多道工序，分别要经过药物靶点的确认、先导化合物的确定、构效关系研究与活性化合物筛选、候选药物确认、临床前研究以及临床研究。在药物筛选过程中，为了省时省力省钱，通常采用的是高通量筛选技术。该技术是在分子、细胞水平的筛选，通过药物作用细胞前后的活性对比，对药物进行筛选。在药物筛选过程中，药物筛选模型的选择是至关重要的，它决定了药物筛选结果的好坏和效率高低。目前，肿瘤药物的筛选最经典的技术是通过3D培养多细胞癌症肿瘤球进行筛选。多细胞肿瘤球可通过辅助材料构建，将肿瘤球放在铺板材料之上，置于培养液之中培养即可。肿瘤球的活性检测，是通过将肿瘤球切片后染色观察肿瘤球微观结构和细胞存活情况进行的。通过肿瘤球的活性检测、微观结构以及其他指标，可判断药物是否有效以及有何作用。
深度学习是近几年火热的技术之一。通过反向传播损失，使神经网络自己学习特征提取，让神经网络可以学习到事物复杂的内在规律，而这些特征是无法人为设计的。深度学习从最初被用来解决自然问题，到应用于医学影像，已经有了许多成功案例，在分类、目标检测、分割问题上都已取得了显著的成果。因此，如何利用深度学习的方法对药物进行分类，是一个值得研究的课题。
发明内容
本发明旨在至少解决上述技术问题之一，提供一种基于深度学习的药物分类方法及装置。
本发明的一个方面，提供一种基于深度学习的药物分类方法，所述方法包括：
将待分类药物分别作用于不同种类的细胞球进行培养，并分别采集包括所述细胞球的多个指定天的初始图像；
将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域；
根据所述细胞球区域，利用卷积神经网络预训练细胞球特征提取器，以对所述细胞球区域进行特征提取；
利用所述细胞球特征提取器提取所述细胞球区域的图像特征，将所述图像特征输入LSTM网络，得到所述细胞球的特征向量，将所述特征向量连接，并依次利用所述LSTM网络中的注意力机制模块和全连接层对连接后的所述特征向量进行分类，训练LSTM模型，以对所述待分类药物进行识别分类。
可选的，所述将待分类药物分别作用于不同的细胞球进行培养，包括：
将所述不同种类的细胞球在相同的培养条件下培养；
所述分别采集包括所述细胞球的多个指定天的初始图像，包括：
分别采集所述多个指定天中的同一时刻的所述初始图像。
可选的，所述将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域，包括：
所述图像分割模型或目标检测深度学习模型基于所述初始图像中的所述细胞球的位置信息，获得所述细胞球区域。
可选的，所述根据所述细胞球区域，利用卷积神经网络预训练细胞球特征提取器，以对所述细胞球区域进行特征提取，包括：
将所述细胞球区域包括的细胞球的数量作为分类数，训练图像分类模型，以将所述细胞球区域按照细胞球的类型进行分类；
根据分类后的所述细胞球区域，利用卷积神经网络训练所述细胞球特征提取器。
可选的，所述利用所述细胞球特征提取器提取所述细胞球区域的图像特征，将所述图像特征输入LSTM网络，得到所述细胞球的特征向量，将所述特征向量连接，并依次利用所述LSTM网络中的注意力机制模块和全连接层对连接后的所述特征向量进行分类，训练LSTM模型，以对所述待分类药物进行识别分类，包括：
利用所述细胞球特征提取器提取所述细胞球区域的空间特征；
将所述空间特征输入所述LSTM网络，提取时间特征，得到所述特征向量；
连接所述特征向量，依次利用所述注意力机制模块和所述全连接层为所述特征向量中的每个特征值赋予权重，采用反向传播算法训练所述LSTM模型，以对所述待分类药物进行识别分类。
可选的，所述将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域，包括：
利用所述图像分割模型或所述目标检测深度学习模型，获取同一细胞球在不同指定天的所述初始图像中的最小区域，以获得所述细胞球区域。
可选的，所述将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域，包括：
将所述初始图像输入YoloV3网络模型进行训练。
本发明的另一个方面，提供一种基于深度学习的药物分类装置，所述装置包括：
采集模块，用于将待分类药物分别作用于不同种类的细胞球进行培养，并分别采集包括所述细胞球的多个指定天的初始图像；
第一训练模块，用于将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域；
第二训练模块，根据所述细胞球区域，利用卷积神经网络预训练细胞球特征提取器，以对所述细胞球区域进行特征提取；
分类模块，用于利用所述细胞球特征提取器提取所述细胞球区域的图像特征，将所述图像特征输入LSTM网络，得到所述细胞球的特征向量，将所述特征向量连接，并依次利用所述LSTM网络中的注意力机制模块和全连接层对连接后的所述特征向量进行分类，训练LSTM模型，以对所述待分类药物进行识别分类。
可选的，所述采集模块，用于将所述不同种类的细胞球在相同的培养条件下培养；以及，分别采集所述多个指定天中的同一时刻的所述初始图像。
可选的，所述第一训练模块，用于所述图像分割模型或目标检测深度学习模型基于所述初始图像中的所述细胞球的位置信息，获得所述细胞球区域。
可选的，所述第二训练模块，用于将所述细胞球区域包括的细胞球的数量作为分类数，训练图像分类模型，以将所述细胞球区域按照细胞球的类型进行分类；
根据分类后的所述细胞球区域，利用卷积神经网络训练所述细胞球特征提取器。
可选的，所述分类模块，用于利用所述细胞球特征提取器提取所述细胞球区域的空间特征；
将所述空间特征输入所述LSTM网络，提取时间特征，得到所述特征向量；
连接所述特征向量，依次利用所述注意力机制模块和所述全连接层为所述特征向量中的每个特征值赋予权重，采用反向传播算法训练所述LSTM模型，以对所述待分类药物进行识别分类。
可选的，所述第一训练模块，用于利用所述图像分割模型或所述目标检测深度学习模型，获取同一细胞球在不同指定天的所述初始图像中的最小区域，以获得所述细胞球区域。
可选的，所述第一训练模块，用于将所述初始图像输入YoloV3网络模型进行训练。
本发明的另一个方面，提供一种电子设备，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据前文记载的所述的方法。
本发明的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算器执行时能实现根据前文记载的所述的方法。
本发明相对于现有技术而言，可以确定未知药物的药效，并判断该未知药物与哪种已知药效的药物最接近，从而快速确定未知药物的种类。另外，本发明不需要繁琐的实验操作，利用深度学习技术即可只通过图像对药物进行识别分类。
附图说明
图1为本发明一实施例提供的一种基于深度学习的药物分类方法的流程图；
图2为本发明另一实施例提供的细胞球图像的示意图；
图3为本发明另一实施例提供的YoloV3网络模型的结构示意图；
图4为本发明另一实施例提供的卷积层输出示意图；
图5为本发明另一实施例提供的最大池化层输出示意图；
图6为本发明另一实施例提供的全连接层的示意图；
图7为本发明另一实施例提供的LSTM网络的单元结构示意图；
图8为本发明另一实施例提供的注意力机制模块的输入输出示意图；
图9为本发明另一实施例提供的一种基于深度学习的药物分类方法的流程图；
图10为本发明另一个实施例提供的一种基于深度学习的药物分类装置的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。
本发明的一个实施例，提供了一种基于深度学习的药物分类方法，如图1所示，所述方法包括：
步骤S110：将待分类药物分别作用于不同种类的细胞球进行培养，并分别采集包括所述细胞球的多个指定天的初始图像。
示例性的，在本步骤中，可以将4种药物5-Fu（胸苷酸合成酶抑制药）、DMSO（二甲基亚砜）、DOX（阿霉素）、PAC（聚合氯化铝）分别作用于三种不同种类的细胞球MCF-7（人乳腺癌细胞）、MDA-MB-231（人乳腺癌细胞）、NCI-H23（人非小细胞肺癌细胞）进行培养，并采集细胞球在第1、3、5、7、10天的图像，作为初始图像。以将药物5-Fu作用于细胞球MCF-7为例，得到的初始图像如图2中第a行所示。
可选的，步骤S110包括：将所述不同种类的细胞球在相同的培养条件下培养。换句话说，各细胞球的培养条件相同。例如，在将药物5-Fu分别作用于三种不同种类的细胞球MCF-7、MDA-MB-231、NCI-H23进行培养时，将其培养条件设置为相同，从而避免因培养条件不同而对最终的分类结果产生影响。
可选的，步骤S110还包括：分别采集所述多个指定天中的同一时刻的所述初始图像。换句话说，在每个指定天的同一时间点采集初始图像。例如，可以选择在指定天的上午8点采集初始图像，也可以选择在指定天的上午9点采集初始图像，还可以选择在指定天的上午10点进行采集初始图像，等等，本领域技术人员可以根据实际需要选择采集初始图像的具体时刻，本实施例对此并不限制。通过在多个指定天中的同一时刻采集初始图像，可以避免因图像采集的时刻不同而对最终的分类结果产生影响。
步骤S120：将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域。
可选的，步骤S120可以包括：所述图像分割模型或目标检测深度学习模型基于所述初始图像中的所述细胞球的位置信息，获得所述细胞球区域。
可选的，步骤S120可以包括：利用所述图像分割模型或所述目标检测深度学习模型，获取同一细胞球在不同指定天的所述初始图像中的最小区域，以获得所述细胞球区域。
通过将同一细胞球在不同指定天的初始图像中的最小区域作为细胞球区域，可以最大限度地去除初始图像中的背景，排除背景干扰，从而保持细胞球的相对大小，避免初始图像中除细胞球外的其他因素对最终的分类结果产生影响。
可选的，步骤S120可以包括：将所述初始图像输入YoloV3网络模型进行训练。通过利用YoloV3网络模型，可以有效提取初始图像中细胞球位置，并去除背景信息。
示例性的，YoloV3网络模型的结构如图3所示，由若干个卷积层下采样和上采样组成，并用非极大值抑制法获得可能的细胞区域。卷积层是将卷积核与图像对应位置值相乘后相加作为输出，如图4所示。非极大值抑制是在细胞区域概率大于阈值的所有区域中，先获得概率最大的区域，然后去掉与该区域重合度高的区域，再获得概率第二大的区域，以此类推。
示例性的，以细胞球MCF-7为例，在本步骤中，将前述步骤中得到的第1、3、5、7、10天的初始图像作为YoloV3网络模型的输入，计算损失函数，通过对损失函数反向传播（即对参数求导后，乘学习率，从原参数值中减去）训练YoloV3网络模型，从而获得细胞球MCF-7的不同指定天的初始图像中的细胞球区域，如图2中第b行所示。
步骤S130：根据所述细胞球区域，利用卷积神经网络预训练细胞球特征提取器，以对所述细胞球区域进行特征提取。
可选的，步骤S130可以包括：
将所述细胞球区域包括的细胞球的数量作为分类数，训练图像分类模型，以将所述细胞球区域按照细胞球的类型进行分类；
根据分类后的所述细胞球区域，利用卷积神经网络训练所述细胞球特征提取器。
示例性的，在本步骤中，可以将细胞球的种类数量3作为分类数，采用卷积神经网络InceptionV3，通过反向传播预训练一个细胞球特征提取器，使其能将细胞球分为MCF-7、MDA-MB-231、NCI-H23三类。这里的卷积神经网络InceptionV3，输入为细胞球区域，输出为细胞球的类别。卷积神经网络InceptionV3由若干个卷积层、最大池化层、全连接层组成。其中，如图5所示，最大池化层是将区域中的最大值作为输出。如图6所示，全连接层的输入中，每个特征值都与输出特征值之间有参数。在本步骤中，将训练得到的卷积神经网络InceptionV3去掉全连接层，即得到细胞球特征提取器。
步骤S140：利用所述细胞球特征提取器提取所述细胞球区域的图像特征，将所述图像特征输入LSTM网络，得到所述细胞球的特征向量，将所述特征向量连接，并依次利用所述LSTM网络中的注意力机制模块和全连接层对连接后的所述特征向量进行分类，训练LSTM模型，以对所述待分类药物进行识别分类。
可选的，步骤S140可以包括：
利用所述细胞球特征提取器提取所述细胞球区域的空间特征；
将所述空间特征输入所述LSTM网络，提取时间特征，得到所述特征向量；
连接所述特征向量，依次利用所述注意力机制模块和所述全连接层为所述特征向量中的每个特征值赋予权重，采用反向传播算法训练所述LSTM模型，以对所述待分类药物进行识别分类。
示例性的，在本步骤中，将3种细胞球第1、3、5、7、10天的图像输入细胞球特征提取器得到空间特征后，将该空间特征作为LSTM网络的输入，得到3种细胞球的特征向量。将3种细胞球的特征向量连接，之后，接注意力机制模块，再之后，接全连接层分类，用反向传播训练模型，以对药物进行识别分类。其中，如图7所示，LSTM网络由若干个作为单元结构的全连接层组成。如图8所示，注意力机制模块将3种细胞球的特征向量作为全连接层的输入，再将输出与3种细胞球之前的特征向量相乘，即为3种细胞球的每个特征值赋予了权重。
本实施例相对于现有技术而言，可以确定未知药物的药效，并判断该未知药物与哪种已知药效的药物最接近，从而快速确定未知药物的种类。另外，本实施例不需要繁琐的实验操作，利用深度学习技术即可只通过图像对药物进行识别分类。
下面结合图9，以将药物5-Fu作用于3种细胞MCF-7、MDA-MB-231、NCI-H23为例进行具体说明。
如图9所示，首先获取将药物5-Fu作用于3种细胞MCF-7、MDA-MB-231、NCI-H23进行培养后的第1、3、5、7、10天的图像，并将该图像作为输入，通过yolo定位细胞位置，进行预处理，得到各图像的图像特征。之后，将各图像的图像特征作为输入，利用卷积神经网络InceptionV3，得到3种细胞的特征向量，将各特征向量进行连接。之后，接注意力机制模块，再之后，接全连接层分类，得到输出，从而对药物进行识别分类。通过本实施例，可以将药物5-Fu正确识别，同样的，也可以将其他药物如DMSO、DOX、PAC等正确识别。
示例性的，训练集可以采用如下表1所示的数据。
Figure 366203DEST_PATH_IMAGE001
表1
示例性的，测试集可以采用如下表2所示的数据。
Figure 349202DEST_PATH_IMAGE002
表2
示例性的，通过采用表1所示的训练集数据以及表2所示的测试集数据，可以得到如下表3所示的测试集分类结果。
Figure 72308DEST_PATH_IMAGE003
表3
本发明的另一个实施例提供了一种基于深度学习的药物分类装置，如图10所示，所述装置包括：
采集模块1001，用于将待分类药物分别作用于不同种类的细胞球进行培养，并分别采集包括所述细胞球的多个指定天的初始图像；
第一训练模块1002，用于将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域；
第二训练模块1003，根据所述细胞球区域，利用卷积神经网络预训练细胞球特征提取器，以对所述细胞球区域进行特征提取；
分类模块1004，用于利用所述细胞球特征提取器提取所述细胞球区域的图像特征，将所述图像特征输入LSTM网络，得到所述细胞球的特征向量，将所述特征向量连接，并依次利用所述LSTM网络中的注意力机制模块和全连接层对连接后的所述特征向量进行分类，训练LSTM模型，以对所述待分类药物进行识别分类。
可选的，所述采集模块1001，用于将所述不同种类的细胞球在相同的培养条件下培养；以及，分别采集所述多个指定天中的同一时刻的所述初始图像。
可选的，所述第一训练模块1002，用于所述图像分割模型或目标检测深度学习模型基于所述初始图像中的所述细胞球的位置信息，获得所述细胞球区域。
可选的，所述第二训练模块1003，用于将所述细胞球区域包括的细胞球的数量作为分类数，训练图像分类模型，以将所述细胞球区域按照细胞球的类型进行分类；
根据分类后的所述细胞球区域，利用卷积神经网络训练所述细胞球特征提取器。
可选的，所述分类模块1004，用于利用所述细胞球特征提取器提取所述细胞球区域的空间特征；
将所述空间特征输入所述LSTM网络，提取时间特征，得到所述特征向量；
连接所述特征向量，依次利用所述注意力机制模块和所述全连接层为所述特征向量中的每个特征值赋予权重，采用反向传播算法训练所述LSTM模型，以对所述待分类药物进行识别分类。
可选的，所述第一训练模块1002，用于利用所述图像分割模型或所述目标检测深度学习模型，获取同一细胞球在不同指定天的所述初始图像中的最小区域，以获得所述细胞球区域。
可选的，所述第一训练模块1002，用于将所述初始图像输入YoloV3网络模型进行训练。
本发明实施例提供的基于深度学习的药物分类装置的具体实现方法，可以参见本公开实施方式提供的基于深度学习的药物分类方法所述，此处不再赘述。
本实施例相对于现有技术而言，可以确定未知药物的药效，并判断该未知药物与哪种已知药效的药物最接近，从而快速确定未知药物的种类。另外，本实施例不需要繁琐的实验操作，利用深度学习技术即可只通过图像对药物进行识别分类。
本发明的另一个实施例提供了一种电子设备，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据前文记载的所述的方法。
本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据前文记载的所述的方法。
其中，计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的相连、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。
其中，计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的药物分类方法，其特征在于，所述方法包括：
将待分类药物分别作用于不同种类的细胞球进行培养，并分别采集包括所述细胞球的多个指定天的初始图像；
将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域；
根据所述细胞球区域，利用卷积神经网络预训练细胞球特征提取器，以对所述细胞球区域进行特征提取；
利用所述细胞球特征提取器提取所述细胞球区域的图像特征，将所述图像特征输入LSTM网络，得到所述细胞球的特征向量，将所述特征向量连接，并依次利用所述LSTM网络中的注意力机制模块和全连接层对连接后的所述特征向量进行分类，训练LSTM模型，以对所述待分类药物进行识别分类。
2.根据权利要求1所述的方法，其特征在于，所述将待分类药物分别作用于不同的细胞球进行培养，包括：
将所述不同种类的细胞球在相同的培养条件下培养；
所述分别采集包括所述细胞球的多个指定天的初始图像，包括：
分别采集所述多个指定天中的同一时刻的所述初始图像。
3.根据权利要求1所述的方法，其特征在于，所述将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域，包括：
所述图像分割模型或目标检测深度学习模型基于所述初始图像中的所述细胞球的位置信息，获得所述细胞球区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述细胞球区域，利用卷积神经网络预训练细胞球特征提取器，以对所述细胞球区域进行特征提取，包括：
将所述细胞球区域包括的细胞球的数量作为分类数，训练图像分类模型，以将所述细胞球区域按照细胞球的类型进行分类；
根据分类后的所述细胞球区域，利用卷积神经网络训练所述细胞球特征提取器。
5.根据权利要求1所述的方法，其特征在于，所述利用所述细胞球特征提取器提取所述细胞球区域的图像特征，将所述图像特征输入LSTM网络，得到所述细胞球的特征向量，将所述特征向量连接，并依次利用所述LSTM网络中的注意力机制模块和全连接层对连接后的所述特征向量进行分类，训练LSTM模型，以对所述待分类药物进行识别分类，包括：
利用所述细胞球特征提取器提取所述细胞球区域的空间特征；
将所述空间特征输入所述LSTM网络，提取时间特征，得到所述特征向量；
连接所述特征向量，依次利用所述注意力机制模块和所述全连接层为所述特征向量中的每个特征值赋予权重，采用反向传播算法训练所述LSTM模型，以对所述待分类药物进行识别分类。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域，包括：
利用所述图像分割模型或所述目标检测深度学习模型，获取同一细胞球在不同指定天的所述初始图像中的最小区域，以获得所述细胞球区域。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域，包括：
将所述初始图像输入YoloV3网络模型进行训练。
8.一种基于深度学习的药物分类装置，所述装置包括：
采集模块，用于将待分类药物分别作用于不同种类的细胞球进行培养，并分别采集包括所述细胞球的多个指定天的初始图像；
第一训练模块，用于将所述初始图像作为输入，训练图像分割模型或目标检测深度学习模型，以获得所述初始图像中的细胞球区域；
第二训练模块，根据所述细胞球区域，利用卷积神经网络预训练细胞球特征提取器，以对所述细胞球区域进行特征提取；
分类模块，用于利用所述细胞球特征提取器提取所述细胞球区域的图像特征，将所述图像特征输入LSTM网络，得到所述细胞球的特征向量，将所述特征向量连接，并依次利用所述LSTM网络中的注意力机制模块和全连接层对连接后的所述特征向量进行分类，训练LSTM模型，以对所述待分类药物进行识别分类。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能实现根据权利要求1至7中任一项所述的方法。
CN202111454581.2A 2021-12-02 2021-12-02 一种基于深度学习的药物分类方法及装置 Active CN113869288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111454581.2A CN113869288B (zh) 2021-12-02 2021-12-02 一种基于深度学习的药物分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111454581.2A CN113869288B (zh) 2021-12-02 2021-12-02 一种基于深度学习的药物分类方法及装置

Publications (2)

Publication Number Publication Date
CN113869288A true CN113869288A (zh) 2021-12-31
CN113869288B CN113869288B (zh) 2022-04-05

Family

ID=78985450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111454581.2A Active CN113869288B (zh) 2021-12-02 2021-12-02 一种基于深度学习的药物分类方法及装置

Country Status (1)

Country Link
CN (1) CN113869288B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178141A (zh) * 2019-12-05 2020-05-19 江苏大学 一种基于注意力机制的lstm人体行为识别方法
CN111310838A (zh) * 2020-02-21 2020-06-19 单光存 一种基于深度Gabor网络的药效图像分类识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178141A (zh) * 2019-12-05 2020-05-19 江苏大学 一种基于注意力机制的lstm人体行为识别方法
CN111310838A (zh) * 2020-02-21 2020-06-19 单光存 一种基于深度Gabor网络的药效图像分类识别方法

Also Published As

Publication number Publication date
CN113869288B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
Swiderska-Chadaj et al. Learning to detect lymphocytes in immunohistochemistry with deep learning
Chen et al. Detection of rice plant diseases based on deep transfer learning
Dou et al. Automated pulmonary nodule detection via 3d convnets with online sample filtering and hybrid-loss residual learning
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN109685776A (zh) 一种基于ct图像的肺结节检测方法及系统
CN109492706B (zh) 一种基于循环神经网络的染色体分类预测装置
Johra et al. Detection of breast cancer from histopathology image and classifying benign and malignant state using fuzzy logic
Khumancha et al. Lung cancer detection from computed tomography (CT) scans using convolutional neural network
Codella et al. Lymphoma diagnosis in histopathology using a multi-stage visual learning approach
Rauf et al. Attention-guided multi-scale deep object detection framework for lymphocyte analysis in IHC histological images
Shovon et al. Plantdet: A robust multi-model ensemble method based on deep learning for plant disease detection
CN115295154A (zh) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质
CN112669319B (zh) 一种多视角多尺度淋巴结假阳性抑制建模方法
CN113658199B (zh) 基于回归修正的染色体实例分割网络
Dong et al. An improved YOLOv5 network for lung nodule detection
Sultana et al. Comparison of four transfer learning and hybrid cnn models on three types of lung cancer
Avanija et al. Skin Cancer Detection using Ensemble Learning
Zhou et al. Identification of Rice Leaf Disease Using Improved ShuffleNet V2.
CN116778482B (zh) 胚胎图像卵裂球目标检测方法、计算机设备及存储介质
CN113869288B (zh) 一种基于深度学习的药物分类方法及装置
Yao et al. PointNu-Net: Keypoint-Assisted Convolutional Neural Network for Simultaneous Multi-Tissue Histology Nuclei Segmentation and Classification
CN111027368A (zh) 基于人脸特征的癌症筛查方法及筛查系统
Nuakoh et al. Deep learning approach for US traffic sign recognition
Kadirappa et al. Histopathological carcinoma classification using parallel, cross‐concatenated and grouped convolutions deep neural network
Sailem et al. Discovery of rare phenotypes in cellular images using weakly supervised deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant