CN111489833A - 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质 - Google Patents

一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN111489833A
CN111489833A CN201911319503.4A CN201911319503A CN111489833A CN 111489833 A CN111489833 A CN 111489833A CN 201911319503 A CN201911319503 A CN 201911319503A CN 111489833 A CN111489833 A CN 111489833A
Authority
CN
China
Prior art keywords
neural network
lung
sample
microscopic image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911319503.4A
Other languages
English (en)
Inventor
叶德贤
房劬
姜辰希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xingmai Information Technology Co ltd
Original Assignee
Shanghai Xingmai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xingmai Information Technology Co ltd filed Critical Shanghai Xingmai Information Technology Co ltd
Priority to CN201911319503.4A priority Critical patent/CN111489833A/zh
Publication of CN111489833A publication Critical patent/CN111489833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供肺部细胞病理快速现场评估系统、方法及计算机可读存储介质,用于在手术现场对细胞样本进行快速评估。所述肺部细胞病理快速现场评估系统包括:显微图像采集装置,其包括:载物台,用于承载肺部细胞样本;摄像头,用于拍摄所述细胞样本获得样本的显微图像;图像评估装置,配置有神经网络分类模型,所述神经网络分类模型用于对所述显微图像进行分类,得到分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的一种;输出装置,连接于所述图像评估装置,用于将所述分类结果输出给用户。本发明利用神经网络分类模型对所述显微图像采集装置采集到的显微图像进行评估,在手术现场得到评估结果,解决了当前细胞病理诊断复杂耗时,不能即时得到病理诊断结果的问题,有效提高了诊断效率。

Description

一种肺部细胞病理快速现场评估系统、方法及计算机可读存 储介质
技术领域
本发明涉及图像处理技术,具体涉及一种肺部细胞病理快速现场评估评估技术,属于显微病理辅助诊断的技术领域。
背景技术
当前,肺部辅助诊断的方法通常是在计算机体层摄影(CT)引导下的穿刺活检,其作为诊断肺部较为常见的方法。本发明主要是针对通过纤维气管镜肺活检术来采集支气管或者肺内病灶位置处的标本细胞以进一步对其进行评估处理,从而辅助诊断病情。目前,该领域常用的是标本快速现场评估技术,即ROSE(Rapid on-site evaluation),其是指细胞病理学专家现场快速检查标本细胞,并对细针穿刺涂片和活检组织印片的质量进行评估。检验人员可以通过ROSE得知样本量是否足够,以判断是否再需要采集更多的样本量,从而避免患者重复穿刺,一次性采集好足够的样本量,同时可以通过ROSE初步诊断为后续病情的诊断处理提供所需要的分类结果。
具体来说,气管镜活检印片和细针穿刺涂片是经纤维支气管镜肺活检术中对支气管或肺内病灶钳夹活检及刷检或者对肺门或纵膈淋巴结经支气管穿刺活检得到的样本,并且由医师对标本进行ROSE,医师会对玻片进行固定及染色,然后在显微镜下观察肺部细胞。但是现有技术中存在这样的技术缺陷,对气管镜活检印片和细针穿刺涂片进行ROSE的医师必须是病理科医师,呼吸科医师难以完成ROSE,因此需要将气管镜活检印片和细针穿刺涂片送往病理科,这一过程将导致延长ROSE的时间,而病人正在手术台上,往往是呼吸科医师在实施手术,对于实时得到检测评估结构的需求是比较迫切的,病人在手术台上的时间是很宝贵的,而现在的显微镜扫描仪会在扫描完整个气管镜活检印片或细针穿刺涂片后,生成一个完整的显微大图,无法在扫描过程中,一边扫描一边处理评估图片,从而延长了评估处理的时间,为病情的快速诊断带来的困难。总而言之,目前面临的问题一是需要送到送到病理科进行人工检查耗费时间,二是需要采集完成大图后才能开始检查浪费时间。
发明内容
鉴于以上现有技术存在的问题,本发明提供一种细胞病理快速现场评估系统、方法及计算机可读存储介质。
本发明提供一种肺部细胞病理快速现场评估系统,用于在手术现场对肺部细胞样本进行快速评估,其特征在于,包括:
显微图像采集装置,其包括:载物台,用于承载肺部细胞样本;摄像头,用于拍摄所述细胞样本获得样本的显微图像;
图像评估装置,配置有神经网络分类模型,所述神经网络分类模型用于对所述显微图像进行分类,得到分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的一种;所述神经网络分类模型通过以下步骤训练得到:1)获得训练数据,所述训练数据为多个样本的显微图像以及对应的分类信息;2)将所述训练数据输入到神经网络模型进行训练,得到神经网络分类模型;
输出装置,连接于所述图像评估装置,用于将所述分类结果输出给用户。
在一个实施例中,所述神经网络分类模型为经过训练的卷积神经网络模型,所述卷积神经网络模型配置有卷积层、池化层、全连接层;所述卷积层配置为提取图像特征;所述池化层配置为对特征图进行降采样;所述全连接层配置为将所述降采样得到的特征映射到样本标记空间。
在一个实施例中,训练所述卷积神经网络分类模型的损失函数为:
Figure BDA0002326761720000021
Figure BDA0002326761720000022
在一个实施例中,所述对卷积神经网络的训练步骤还包括:利用测试数据对训练后的神经网络进行测试。
在一个实施例中,所述肺部细胞样本气管镜或穿刺手术采集得到。
在一个实施例中,所述图像评估装置还配置有图像标记模块,若所述分类结果为分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿、炎症中的一种,标记所述显微图像中病变细胞的位置。
本发明还提供一种肺部细胞病理快速现场评估方法,所述方法包括:获取样本的显微图像,所述样本的显微图像通过设置于手术现场的显微图像采集装置对现场提取的人体肺部细胞样本进行拍摄得到;
利用神经网络分类模型对所述显微图像进行评估,得到分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的一种;所述神经网络分类模型通过以下步骤训练得到:1)获得训练数据,所述训练数据为多个样本的显微图像以及对应的分类信息;2)将所述训练数据输入到神经网络模型进行训练,得到神经网络分类模型;
将所述分类结果输出给用户。
在一个实施例中,所述神经网络分类模型为经过训练的卷积神经网络模型,所述卷积神经网络模型配置有卷积层、池化层、全连接层;所述卷积层配置为提取图像特征;所述池化层配置为对特征图进行降采样;所述全连接层配置为将所述降采样得到的特征映射到样本标记空间。
在一个实施例中,训练所述卷积神经网络分类模型的损失函数为:
Figure BDA0002326761720000031
Figure BDA0002326761720000032
在一个实施例中,所述对卷积神经网络的训练步骤还包括:利用测试数据对训练后的神经网络进行测试。
在一个实施例中,所述肺部细胞样本气管镜或穿刺手术采集得到。
在一个实施例中,若所述分类结果为分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿、炎症中的一种,标记所述显微图像中病变细胞的位置。
本发明还提供一种计算机可读存储介质,所述计算机可读介质存储有计算机可执行指令,所述计算机可执行指令在被执行时使计算机执行本发明记载的肺部细胞病理快速现场评估方法。
如上所述,本发明利用神经网络分类模型对所述显微图像采集装置采集到的显微图像进行评估,在手术现场得到评估结果,解决了当前细胞病理诊断复杂耗时,不能即时得到病理诊断结果的问题,有效提高了诊断效率。
附图说明
图1:一种肺部细胞病理快速现场评估系统实施例
图2:一种图像评估装置实施例
图3:一种肺部细胞病理快速现场评估方法实施例
图4:一种用于显微图像评估的神经网络分类模型训练方法实施例
图5:一种用于显微图像评估的神经网络分类模型实施例
图6:无明显异常的肺部细胞病理图像示例
图7:肺腺癌细胞病理图像示例
具体实施方式
为了更好地说明本发明的发明目的、技术方案的实施及本发明相比较现有技术而言的优点,下面将以示例性的方式,具体结合所示出的附图及不同实施例的举例,对本发明进行进一步详细阐述与说明。应当理解地是,此部分描述地或者示例性地具体实施例仅用以解释或便于理解本发明的整体发明构思,但不应当理解为用于局限本发明的权利要求保护范围。凡是在本发明的发明构思与核心的均落在本发明的保护范围之内,特别是基于本发明的发明思路或主题进行的等效替换或者具体变形,将均落入本发明的保护范畴之列。
本发明实施例提供的方法,可以适用于如图1所示的系统。系统中的图像评估装置可以是计算机设备,包括通过系统总线连接的处理器、存储器,该存储器中存储有计算机程序,处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的,该计算机设备还可以包括网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的,该计算机设备可以是服务器,可以是个人计算机,还可以是个人数字助理,还可以是其他的终端设备,例如平板电脑、手机等等,还可以是云端或者远程服务器,本申请实施例对计算机设备的具体形式并不做限定。
下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
以下实施例提供一种肺部细胞病理快速现场评估系统。如图1所示,细胞病理快速现场评估系统包括显微图像采集装置101、图像评估装置102以及输出装置103。
显微图像采集装置101包括载物台、摄像头。载物台用于承载样本,该样本可以是从人体提取的用于病理显微诊断的肺部细胞。人体细胞样本的获取方法,可以是通过穿刺手术获取,也可以是通过气管镜获取,或由其他医学手段获取。样本一般制成显微玻片,并放置于在载物台上,在一些情况下,需要对样本玻片进行染色等处理,以便更清楚的分辨细胞。摄像头用于拍摄样本获得显微图像。在一些实施例中,摄像头与显微镜的目镜相连接,用于拍摄显微放大后的样本图像。
图像评估装置102用于获取样本的显微图像进行评估,得到分类结果。在一个实施例中,如图2所示,图像评估装置102包括图像获取模块1021、神经网络分类模型1022以及图像标记模块1023。图像评估装置102与显微图像采集装置101连接并可实时接收和评估显微图像采集装置101传输来的图像数据。图像获取模块1021用于获取显微图像采集装置101采集得到的样本的显微图像;图像评估装置102配置有神经网络分类模型1022,该神经网络分类模型1022用于对肺部细胞显微图像进行分类,得到分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的一种。若所述分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿、炎症中的一种,图像标记模块1023用于标记所述显微图像中病变细胞的位置。可以理解的,图像评估装置102与显微图像采集装置101的连接方式应该包括任何可实时传输数据的连接方式,例如有线连接、无线连接(如WIFI连接、蓝牙连接等),也可以是一体的整机中不同模块的内部连接;再例如,图像评估装置102与显微图像采集装置101的连接方式也可以是云端连接,如显微图像采集装置101设置于医院的诊疗现场,而图像评估装置102可以是云端服务器,通过一般互联网或5G网络,显微图像采集装置101可以实时将采集到的图像传输给图像评估装置102进行评估诊断。
输出装置103,用于将所述显微图像的分类结果输出给用户。输出装置103可以是提供显示输出的显示屏、显示器、移动终端,也可以是显示输出以外的其他输出方式,如以播放语音的方式、虚拟现实\增强现实等输出形式。输出装置103可以是与图像评估装置103集成为一体的装置,如集成在图像评估装置102上的显示屏;也可以是与图像评估装置103可实现信号传输的装置,如移动终端、远程连接的显示器等。可以理解,输出装置103与图像评估装置102连接,连接方式可以是有线连接、无线连接等任何可传输数据的连接。在一个实施例中,输出装置103与图像评估装置102可以是通过WIFI、蓝牙、云端连接等方式连接。
以下实施例提供一种肺部细胞病理快速现场评估方法。下面结合图3来具体说明该方法的具体步骤。以及还提供一种计算机可读存储介质,所述计算机可读介质存储有计算机可执行指令,所述计算机可执行指令在被执行时使计算机执行本发明记载的细胞病理快速现场评估方法。
如图3所示,在一个实施例中,肺部细胞病理图像快速现场评估方法的基本步骤包括:S301,获取样本的显微图像;S302,利用神经网络分类模型对所述显微图像进行评估;S303,将分类结果输出给用户。具体的:
S301,获取样本的显微图像。在一个实施例中,样本的显微图像由显微图像采集装置101采集得到并传输给图像评估装置102。
S302,利用神经网络分类模型对所述显微图像进行分类,得到分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的一种。在一个实施例中,神经网络分类模型配置有卷积层、池化层、全连接层;卷积层配置为提取图像特征;池化层配置为对特征图进行降采样;全连接层配置为将所述降采样得到的特征映射到样本标记空间。可以理解的,神经网络分类模型可以是用于图像处理的深度学习分类网络模型、深度学习目标检测网络模型或深度学习分割网络模型。该神经网络模型的训练过程如图4所示,包括:S4301获得训练数据,该训练数据为多个样本的显微图像以及对应的分类信息,每个样本对应的分类信息为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的一种;S402使用训练数据对神经网络模型进行训练,获得神经网络分类模型;S403使用测试数据对神经网络分类模型进行测试。
在一个实施例中,训练所述卷积神经网络模型的损失函数为:
Figure BDA0002326761720000061
Figure BDA0002326761720000062
在一个实施例中,若所述分类结果为分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿、炎症中的一种,标记所述显微图像中病变细胞的位置。
S303将分类结果输出给用户。将分类结果输出给用户的方法可以是显示输出,如通过显示屏、显示器、移动终端;也可以是显示输出以外的其他输出方式,如以播放语音的方式、虚拟现实\增强现实等输出形式。
下面结合图4举例说明在步骤S302中所使用的神经网络模型的训练方法。如图4所示,步骤S302中所使用的神经网络分类模型,是通过以下方法训练得到的:
S401,获得训练数据。神经网络模型的训练数据包括样本的显微图像以及对应的分类信息。分类信息可以是病理医生或具备专业知识的专家对显微图像做的标注。
S402,使用训练数据对神经网络模型进行训练,获得神经网络分类模型。根据步骤S401获得的训练数据,对神经网络模型进行训练,获得神经网络分类模型。可以理解的是,该步骤可以基于多种神经网络模型来实现。举例而言,可以基于深度学习分类网络(如CNN、VGG、Inception、ResNet、WRN、SqueezeNet等),使用已经标注有分类信息的显微图像作为训练数据进行训练;本领域技术人员可以理解的,基于深度学习分类网络训练得到的神经网络模型,可以用于对待评估的显微图像进行分类处理,得到的分类结果即为分类结果。
在一个实施例中,将已经标注有分类信息的显微图像作为训练数据输入到卷积神经网络模型进行训练得到训练后的卷积神经网络模型,所述卷积神经网络模型由卷积层、池化层、归一化层组成,训练所述卷积神经网络模型的损失函数为:
Figure BDA0002326761720000071
Figure BDA0002326761720000072
其中:Loss表示损失函数;Weight表示权重;X表示预测概率;Class表示对应的类别;J表示所有类别的序号。上述带权重的交叉熵,是由于不同病种对应的训练集所占的比例不同,使用带权重的交叉熵来作为训练的损失函数,使得神经网络分类模型分类的准确率更高。
在完成S402步骤之后,也就得到了可用于步骤S302中的神经网络分类模型。进一步地,为了保证神经网络分类模型的质量,在一个实施例中,在将模型投入使用前可以通过以下步骤对模型进行测试。
S403,使用测试数据对神经网络分类模型进行测试。所述测试步骤具体包括:S4031获得测试数据。所述测试数据为与训练数据不重复的样本的显微图像以及对应的分类信息,具体获得测试数据的方法可参见步骤S401的方法,在此不再赘述。S4032使用神经网络分类模型对所述测试数据中的所述显微图像进行评估,获得显微图像测试分类结果;S4033将显微图像测试分类结果与所述测试数据中的分类信息进行比对,获得测试比对结果。
以上所记载的方案为本发明的典型实施例。为了更充分地对本实施例中步骤S302利用训练后的神经网络对显微图像进行评估的方法进行说明,下面结合图5以卷积神经网络(Convolutional Neural Networks,CNN)为例进一步举例说明。
在一种实施例中,用于对样本的显微图像进行评估的卷积神经网络模型如图5所示,包括:输入层501,卷积层502,池化层503,卷积层504,池化层505,全连接层506,输出层507。输入层501执行图像输入,在这里该图像是样本的显微图像,图像可以看作是由一个个像素点构成的二维数组,每个像素点具有其各自的像素值。卷积层502、504配置为对输入的图像进行特征提取,在卷积神经网络中,可以有一个或多个卷积层。在一个实施例中,卷积层利用一个卷积核,对于输入图像,计算得到特征图。当计算卷积时,输出特征映射的大小比原图小。使用的卷积核越大,得到的特征图就越小。为了减少计算量提高计算速度,可以为卷积层生成一个池化层,配置为对特征图进行降采样,生成尺寸更小的特征图。全连接层506配置为将池化层505降采样得到的特征映射到样本标记空间。最后通过输出层507输出分类结果。
下面结合具体应用场景举例说明。目前,该领域常用的是标本快速现场评估技术,即ROSE(Rapid on-site evaluation),其是指细胞病理学家现场快速检查标本细胞,并对细针穿刺涂片和活检组织印片的质量进行评估。ROSE的应用场景一般为气管镜活检采集到的气管镜活检印片,或细针穿刺采集到的细针穿刺涂片。
本发明使用数字显微镜拍摄细胞病理显微图像:使用显微镜对气管镜活检印片或细针穿刺涂片进行扫描,显微镜放大倍数:物镜可以放大10、20、100倍,目镜可放大10倍,物镜和目镜配合可放大100-1000倍。扫描拍摄过程:肺部细胞样本玻片的大小一般是几厘米,而显微镜一次拍摄的视野非常小,一个完整大图由上百甚至几千个显微图像组成(与玻片被拍摄的范围大小以及放大倍数有关),可达上亿个像素,在本案例中,玻片的大小:76*26mm(并不是整个玻片都被拍摄进去,玻片被拍摄的范围可调节),由于样本一般被涂抹在玻片中间部分,玻片被拍摄范围的边缘经常是没有样本的,但实际操作中,该样本边缘的玻片部分仍然会被拍摄进来,以保证样本的拍摄范围是完整的;显微镜的承载玻片的载物台在控制单元的控制下移动,以步进的方式,对玻片逐行扫描拍摄,每行拍摄10次,总共拍摄10行,共拍摄100次可以完成该样本的全部拍摄。
在扫描过程中相机每一次拍摄都会产生一张一个显微图像的图片,每产生一个显微图像的图片后,即时将该图片传输给用于评估的计算机设备,一个显微图像的图片的大小:1936*1216个像素(在样本经过显微镜放大后,摄像头拍摄时,光学信号转成数字信号每个像素宽度为0.24微米)。计算机设备的显微图像获取模块接收到显微图像的图片后,进行归一化、调整大小,送入显微图像评估模块,通过训练好的卷积神经网络处理评估,可以在实施过程中得出该图片属于肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的哪一类别。
该方法和装置可以在手术室内实时进行ROSE,或者辅助呼吸科医师进行ROSE,大大加速ROSE,减小了手术台上等待ROSE结果的病人的风险。
本发明中使用的评估处理细胞病理的卷积神经网络的训练过程:
(1)在获得采集图片信息之后,对显微镜扫描气管镜活检印片和细针穿刺涂片得到的图片进行标注,共分为八个类别,分别是无明显异常(如图6)、肺鳞癌、肺腺癌(如图7)、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿、炎症;
(2)将70%的数据用于训练,输入到一个由卷积层、池化层、归一化层组成的卷积神经网络中,损失函数为交叉熵或者为带权重的cross entropy(交叉熵)的损失函数为:
Figure BDA0002326761720000091
Figure BDA0002326761720000092
其中:Loss表示损失函数;Weight表示权重;X表示预测概率;Class表示对应的类别;J表示所有类别的序号。上述带权重的交叉熵,是由于不同病种对应的训练集所占的比例不同,使用带权重的交叉熵来作为训练的损失函数,使得神经网络分类模型分类的准确率更高;
(3)将20%的数据用于计算训练中每一次参数迭代更新之后的损失值,来判断模型的好坏,当损失值下降到较小的值并且不再继续下降时,模型训练完成;
(4)将10%的数据用于测试训练好的模型,这些数据既不参与模型拟合,也不参与计算损失值,也就是完全没有参与到训练过程中,因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。
将上述训练好的卷积神经网络用于对本实施中样本的显微图像进行评估,所述卷积神经网络模型如图5所示,包括:输入层501,卷积层502,池化层503,卷积层504,池化层505,全连接层506,输出层507。各层的参数配置详见表1。
表1卷积神经网络模型参数配置
Figure BDA0002326761720000093
Figure BDA0002326761720000101
输入层501用于将显微图像采集装置采集到的一个显微图像输入到卷积神经网络,显微图像的原始大小为1936*1216像素,为了适应卷积神经网络的输入,对原始图像降采样得到224*224尺寸的特征图。一般显微图像是用RGB(红red,绿green、蓝blue)三色值表示的彩色图像,因此生成三个224*224尺寸的特征图。
卷积层502用于对输入的显微图像进行特征提取。在一个实施例中,卷积层502利用一个7*7的卷积核,对于3个224*224的输入特征图像,计算得到64个112*112的特征图。
为了减少计算量提高计算速度,可以为卷积层502配置一个池化层503,用于对特征图进行降采样,生成尺寸更小的特征图。在本实例中,池化层503有一个3*3的核,根据卷积层502生成的64个112*112的特征图进行降采样,得到64个56*56的特征图。
卷积层504包括一个具有1*1卷积核的卷积层和另一个具有3*3卷积核的卷积层的串联,对该层执行6次循环,得到128个56*56的特征图。
为卷积层504连接一个池化层505。池化层505有一个2*2的核,根据卷积层504生成的56*56的特征图进行降采样,得到28*28的特征图。
全连接层506配置为将池化层505降采样得到的特征映射到样本标记空间,最后通过输出层507输出分类结果。
本发明整套设备系统可以放在手术现场,在活检或穿刺获得病人细胞样本后,可以很快的进行检查并输出结果,及时诊断,极大地提高效率。本发明的另一个改进在于细胞病理的诊断一般需要由经验丰富的医生进行,经验不足的医生诊断准确率不能保证,而且显微图像的尺寸非常大,医生诊断容易出现疏漏。通过神经网络分类模型进行诊断,更能确保诊断的准确率。本发明相比较现有的优点概括如下:
(1)在当前社会医疗资源紧张的情况下,采用深度学习神经网络的方法进行肺部细胞病理图像辅助诊断,极大提高了诊断效率,节省医疗资源;
(2)由于采用了神经网络训练方法,本发明的病理评估的准确性显著提高,通过对比,由于采用神经网训练后评估得到的病理结果更加的精准;
(3)可以在手术现场快速得到评估结果。
以上实施例均为本发明示例性的,但并不局限于此,凡是不脱离本发明的发明精神的技术方案均落入本发明的保护范围之内,所有在本发明精神下的技术方案变形以及等效替换则均属于本发明保护范围范畴之内的。

Claims (10)

1.一种肺部细胞病理快速现场评估系统,用于在手术现场对肺部细胞样本进行快速评估,其特征在于,包括:
显微图像采集装置,其包括:载物台,用于承载肺部细胞样本;摄像头,用于拍摄所述细胞样本获得样本的显微图像;
图像评估装置,配置有神经网络分类模型,所述神经网络分类模型用于对所述显微图像进行分类,得到分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的一种;所述神经网络分类模型通过以下步骤训练得到:
1)获得训练数据,所述训练数据为多个样本的显微图像以及对应的分类信息;
2)将所述训练数据输入到神经网络模型进行训练,得到神经网络分类模型;
输出装置,连接于所述图像评估装置,用于将所述分类结果输出给用户。
2.根据权利要求1所述的系统,其特征在于,所述神经网络分类模型为经过训练的卷积神经网络模型,所述卷积神经网络模型配置有卷积层、池化层、全连接层;所述卷积层配置为提取图像特征;所述池化层配置为对特征图进行降采样;所述全连接层配置为将所述降采样得到的特征映射到样本标记空间。
3.根据权利要求2所述的系统,其特征在于,所述对卷积神经网络的训练步骤还包括:利用测试数据对训练后的神经网络进行测试。
4.根据权利要求1所述的系统,其特征在于,所述肺部细胞样本气管镜或穿刺手术采集得到。
5.根据权利要求1所述的系统,其特征在于,所述图像评估装置还配置有图像标记模块,若所述分类结果为分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿、炎症中的一种,标记所述显微图像中病变细胞的位置。
6.一种肺部细胞病理快速现场评估方法,其特征在于,包括:
获取样本的显微图像,所述样本的显微图像通过设置于手术现场的显微图像采集装置对现场提取的人体肺部细胞样本进行拍摄得到;
利用神经网络分类模型对所述显微图像进行评估,得到分类结果为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的一种;所述神经网络分类模型通过以下步骤训练得到:
1)获得训练数据,所述训练数据为多个样本的显微图像以及对应的分类信息;
2)将所述训练数据输入到神经网络模型进行训练,得到神经网络分类模型;
将所述分类结果输出给用户。
7.根据权利要求6所述的方法,其特征在于,所述神经网络分类模型为经过训练的卷积神经网络模型,所述卷积神经网络模型配置有卷积层、池化层、全连接层;所述卷积层配置为提取图像特征;所述池化层配置为对特征图进行降采样;所述全连接层配置为将所述降采样得到的特征映射到样本标记空间。
8.根据权利要求6所述的方法,其特征在于,训练所述卷积神经网络模型的损失函数为:
Figure FDA0002326761710000021
Figure FDA0002326761710000022
9.根据权利要求7所述的系方法,其特征在于,所述对卷积神经网络的训练步骤还包括:利用测试数据对训练后的神经网络进行测试。
10.一种计算机可读存储介质,所述计算机可读介质存储有计算机可执行指令,所述计算机可执行指令在被执行时使计算机执行权利要求6-9的肺部细胞病理快速现场评估方法。
CN201911319503.4A 2019-12-19 2019-12-19 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质 Pending CN111489833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911319503.4A CN111489833A (zh) 2019-12-19 2019-12-19 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911319503.4A CN111489833A (zh) 2019-12-19 2019-12-19 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111489833A true CN111489833A (zh) 2020-08-04

Family

ID=71798022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911319503.4A Pending CN111489833A (zh) 2019-12-19 2019-12-19 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111489833A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017162A (zh) * 2020-08-10 2020-12-01 上海杏脉信息科技有限公司 病理图像处理方法、装置、存储介质和处理器
CN112633370A (zh) * 2020-12-22 2021-04-09 中国医学科学院北京协和医院 一种针对丝状真菌形态的检测方法、装置、设备及介质
CN112992336A (zh) * 2021-02-05 2021-06-18 山西医科大学 一种病理智能诊断系统
CN114037699A (zh) * 2021-12-07 2022-02-11 中国医学科学院北京协和医院 一种病理图像分类方法、设备、系统及存储介质
WO2022036328A1 (en) * 2020-08-14 2022-02-17 The General Hospital Corporation Method and apparatus for biopsy
WO2022252298A1 (zh) * 2021-05-31 2022-12-08 创芯国际生物科技(广州)有限公司 一种基于显微图像的类器官活力评价方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564123A (zh) * 2018-04-10 2018-09-21 复旦大学附属肿瘤医院 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109815945A (zh) * 2019-04-01 2019-05-28 上海徒数科技有限公司 一种基于图像识别的呼吸道检查结果判读系统和方法
CN110334565A (zh) * 2019-03-21 2019-10-15 江苏迪赛特医疗科技有限公司 一种显微镜病理照片的宫颈癌病变细胞分类系统
CN110459300A (zh) * 2019-07-22 2019-11-15 中国石油大学(华东) 一种基于计算机视觉与ct影像的肺癌病理类型诊断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564123A (zh) * 2018-04-10 2018-09-21 复旦大学附属肿瘤医院 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN110334565A (zh) * 2019-03-21 2019-10-15 江苏迪赛特医疗科技有限公司 一种显微镜病理照片的宫颈癌病变细胞分类系统
CN109815945A (zh) * 2019-04-01 2019-05-28 上海徒数科技有限公司 一种基于图像识别的呼吸道检查结果判读系统和方法
CN110459300A (zh) * 2019-07-22 2019-11-15 中国石油大学(华东) 一种基于计算机视觉与ct影像的肺癌病理类型诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
枯叶蝶KYD: "torch CrossEntropyCriterion" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017162A (zh) * 2020-08-10 2020-12-01 上海杏脉信息科技有限公司 病理图像处理方法、装置、存储介质和处理器
CN112017162B (zh) * 2020-08-10 2022-12-06 上海杏脉信息科技有限公司 病理图像处理方法、装置、存储介质和处理器
WO2022036328A1 (en) * 2020-08-14 2022-02-17 The General Hospital Corporation Method and apparatus for biopsy
KR20220021805A (ko) * 2020-08-14 2022-02-22 연세대학교 산학협력단 조직 검사 방법 및 조직 검사 장치
KR102639140B1 (ko) 2020-08-14 2024-02-20 연세대학교 산학협력단 조직 검사 방법 및 조직 검사 장치
CN112633370A (zh) * 2020-12-22 2021-04-09 中国医学科学院北京协和医院 一种针对丝状真菌形态的检测方法、装置、设备及介质
CN112633370B (zh) * 2020-12-22 2022-01-14 中国医学科学院北京协和医院 一种针对丝状真菌形态的检测方法、装置、设备及介质
CN112992336A (zh) * 2021-02-05 2021-06-18 山西医科大学 一种病理智能诊断系统
WO2022252298A1 (zh) * 2021-05-31 2022-12-08 创芯国际生物科技(广州)有限公司 一种基于显微图像的类器官活力评价方法及系统
CN114037699A (zh) * 2021-12-07 2022-02-11 中国医学科学院北京协和医院 一种病理图像分类方法、设备、系统及存储介质

Similar Documents

Publication Publication Date Title
CN110727097B (zh) 一种病理显微图像实时采集分析系统、方法、装置及介质
CN111489833A (zh) 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
AU2019311336B2 (en) Computer classification of biological tissue
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
US7027627B2 (en) Medical decision support system and method
CN109523535B (zh) 一种病变图像的预处理方法
CN111275016B (zh) 一种玻片扫描影像采集与分析方法及装置
US20210219944A1 (en) Systems and Media for Automatically Diagnosing Thyroid Nodules
Guo et al. Deep learning for assessing image focus for automated cervical cancer screening
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN110619318B (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
CN110736748A (zh) 免疫组化核浆染色切片诊断方法及系统
CN115345819A (zh) 一种胃癌图像识别系统、装置及其应用
KR102155381B1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
US20210090248A1 (en) Cervical cancer diagnosis method and apparatus using artificial intelligence-based medical image analysis and software program therefor
CN110189293A (zh) 细胞图像处理方法、装置、存储介质及计算机设备
WO2023155488A1 (zh) 基于多源多尺度特征融合的眼底图像质量评价方法和装置
CN115049666A (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN116563572A (zh) 一种推理模型训练方法及装置
Pan et al. Breast tumor grading network based on adaptive fusion and microscopic imaging
CN111134735A (zh) 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
JP6710853B2 (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN115994999A (zh) 基于边界梯度注意力网络的杯状细胞语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination