CN111474701B - 一种病理显微图像实时采集分析系统、方法、装置及介质 - Google Patents

一种病理显微图像实时采集分析系统、方法、装置及介质 Download PDF

Info

Publication number
CN111474701B
CN111474701B CN202010434105.3A CN202010434105A CN111474701B CN 111474701 B CN111474701 B CN 111474701B CN 202010434105 A CN202010434105 A CN 202010434105A CN 111474701 B CN111474701 B CN 111474701B
Authority
CN
China
Prior art keywords
microscopic image
analysis
sample
analysis result
microscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010434105.3A
Other languages
English (en)
Other versions
CN111474701A (zh
Inventor
叶德贤
房劬
姜辰希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI XINGMAI INFORMATION TECHNOLOGY Co.,Ltd.
Original Assignee
Shanghai Xingmai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xingmai Information Technology Co ltd filed Critical Shanghai Xingmai Information Technology Co ltd
Priority to CN202010434105.3A priority Critical patent/CN111474701B/zh
Publication of CN111474701A publication Critical patent/CN111474701A/zh
Application granted granted Critical
Publication of CN111474701B publication Critical patent/CN111474701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像实时采集和分析技术，属于显微病理辅助诊断的技术领域。提供了一种能够实现实时扫描并快速高效分析得到病理状况的系统和方法，该系统包括：显微图像采集装置；图像分析装置，连接于所述显微图像采集装置，用于实时获取所述显微图像块，并将所述显微图像块输入到训练后的神经网络模型进行分析，得到显微图像块分析结果；显示装置，连接于所述图像分析装置，输出显示显微图像块分析结果。本发明还提供对应上述装置的方法或介质。可实时采集显微图像并实时进行病理分析和输出病理分析结果，取代了现有技术中全部图像采集完毕再进行图像分析处理，为病人争取了极大的时间，克服了当前在手术过程中病理分析所需时间较久的技术问题。

Description

一种病理显微图像实时采集分析系统、方法、装置及介质
本申请是于2019年12月19日提交中国专利局、申请号为201911313396.4、发明名称为“一种病理显微图像实时采集分析系统、方法、装置及介质”的中国专利申请的分案申请。
技术领域
本发明涉及图像实时采集和分析技术，具体涉及一种病理显微图像实时采集分析系统、方法、装置及介质，属于显微病理辅助诊断的技术领域。
背景技术
当前，肺部辅助诊断的方法通常是在计算机体层摄影(CT)引导下的穿刺活检，其作为诊断肺部较为常见的方法。本发明主要是针对通过纤维气管镜肺活检术来采集支气管或者肺内病灶位置处的标本细胞以进一步对其进行分析处理，从而辅助诊断病情。目前，该领域常用的是标本快速现场评估技术，即ROSE(Rapid on-site evaluation)，其是指细胞病理学专家现场快速检查标本细胞，并对细针穿刺涂片和活检组织印片的质量进行评估。检验人员可以通过ROSE得知样本量是否足够，以判断是否再需要采集更多的样本量，从而避免患者重复穿刺，一次性采集好足够的样本量，同时可以通过ROSE初步诊断为后续病情的诊断处理提供所需要的分析结果。
具体来说，气管镜活检印片和细针穿刺涂片是经纤维支气管镜肺活检术中对支气管或肺内病灶钳夹活检及刷检或者对肺门或纵膈淋巴结经支气管穿刺活检得到的样本，并且由医师对标本进行ROSE，医师会对玻片进行固定及染色，然后在显微镜下观察肺部细胞。但是现有技术中存在这样的技术缺陷，对气管镜活检印片和细针穿刺涂片进行ROSE的医师必须是病理科医师，呼吸科医师难以完成ROSE，因此需要将气管镜活检印片和细针穿刺涂片送往病理科，这一过程将导致延长ROSE的时间，而病人正在手术台上，往往是呼吸科医师在实施手术，对于实时得到检测分析结构的需求是比较迫切的，病人在手术台上的时间是很宝贵的，而现在的显微镜扫描仪会在扫描完整个气管镜活检印片或细针穿刺涂片后，生成一个完整的显微大图，无法在扫描过程中，一边扫描一边处理分析图片，从而延长了分析处理的时间，为病情的快速诊断带来的困难。总而言之，目前面临的问题一是需要送到送到病理科进行人工检查耗费时间，二是需要采集完成大图后才能开始检查浪费时间。
现实中，病理显微诊断应用于多种疾病检查和治疗场景，比如在肺部细胞病理、宫颈细胞病理、乳腺病理或者甲状腺病理的显微病理诊断，同样需要送检到病理科人工检查。现有的方法耗费时间较长，不能满足在紧急情况下的诊断需要。
发明内容
本发明的目的在于提供一种能够实现实时扫描并快速高效分析得到病理状况的系统或方法，从而有效的克服上述提及的技术缺陷以及技术问题。
本发明提供一种病理显微图像实时采集分析系统，用于对样本进行显微图像采集并实时分析诊断，所述样本包括人体细胞或组织，所述系统包括：
显微图像采集装置，其包含：载物台，用于承载样本；摄像头，用于拍摄样本获得显微图像；和控制单元，用于控制载物台与摄像头的相对位置移动，并控制摄像头依次拍摄样本多个位置的显微图像块；所述显微图像块指样本每次可被摄像头拍摄的其中一块区域，由于样本尺寸通常是大于摄像头可拍摄的显微视野的宽度，因此显微镜需要依次对样本进行分块拍摄，每一次拍摄可获得一个显微图像块；
图像分析装置，连接于所述显微图像采集装置，用于实时获取所述一个或多个显微图像块，并实时将所获得的一个或多个显微图像块输入到训练后的神经网络模型进行分析，得到一个或多个显微图像块分析结果，所述一个或多个显微图像块分析结果包括所述一个或多个显微图像块对应的样本细胞是否具有病理异常的分析结果，即当样本存在病理异常时，样本中某一块或多块显微图像块会包含有样本细胞是否具有病理异常的信息，该显微图像块的分析结果即可实时呈现出样本细胞是否具有病理异常的分析果；当采集到的全部显微图像块被全部分析完成后，得到总体分析结果。当样本存在病理异常时，可能分析到某一显微图像块时，就可以得到样本细胞是否有病理异常的分析结果，不过在实际操作中，会将全部显微图像块分析完成，得到总体分析结果，此时，某一个或某一些显微图像块的分析结果与总体分析结果一致；但当样本不存在病理异常时，需要对样本全部显微图像块分析完成后才能得到样本细胞是否有病理异常的分析结果，此时，每一个显微图像块的分析结果与总体分析结果一致；
显示装置，连接于所述显微图像分析装置，用于将所述显微图像块分析结果和/或所述总体分析结果输出显示给用户。
进一步地，所述控制单元控制所述载物台以步进的方式移动，并控制所述摄像头在所述载物台每移动到一个位置时进行一次拍摄，所述载物台步进移动的步长小于等于所述摄像头可拍摄的显微视野的宽度。
更进一步地，所述摄像头逐行对样本进行拍摄，并将拍摄结果实时传输。
可选择地是，所述显示装置为移动终端或者可视屏幕，其与所述图像分析装置实现数据交互，实时输出分析结果以供医护人员观测。
本发明还提供一种图像分析装置，用于实时分析病理显微图像，其特征在于，包括：
显微图像块获取模块，其与一显微图像采集装置数据传输连接，同步于所述显微图像采集装置对样本多个位置依次进行拍摄，实时获取样本一个或多个位置对应的显微图像块；显微图像块分析模块，包括训练后的神经网络模型，用于依次对所述一个或多个位置对应的显微图像块进行分析得到一个或多个显微图像块分析结果，所述一个或多个显微图像块分析结果包括所述一个或多个显微图像块对应的样本细胞是否具有病理异常的分析结果；总体分析模块，根据全部显微图像块分析结果得到总体分析结果；输出模块，用于输出所述显微图像块分析结果和/或所述总体分析结果。
进一步地是，所述图像分析装置还包括图像拼接模块，用于将所述样本的各个位置的显微图像块拼接得到样本整体显微图像；所述输出模块还用于输出所述样本整体显微图像。
更进一步地是，所述图像分析装置还包括图像标记模块，根据显微图像块分析结果，在所述样本整体显微图像中标记所述病理异常的位置；所述输出模块还用于输出标记后的所述样本整体显微图像。
优选地是，所述图像分析装置还包括显微图像块分析结果判断模块，用于在每得到一个或多个显微图像块分析结果后，对所述一个或多个显微图像块分析结果进行判断，若分析结果满足设定条件，输出所述显微图像块分析结果；否则，待得到总体分析结果后输出总体分析结果。
进一步地，所述神经网络模型为卷积神经网络模型，所述训练后的神经网络模型通过以下步骤训练得到：获得训练数据，所述训练数据为样本的显微图像以及对应的标注信息；将所述训练数据输入到卷积神经网络模型进行训练得到训练后的神经网络模型，所述卷积神经网络模型由卷积层、池化层、批归一化层组成，训练所述卷积神经网络模型的损失函数为：
Figure BDA0002501596230000031
或
Figure BDA0002501596230000032
本发明还提供一种图像实时分析方法，用于实时分析病理显微图像，包括：同步于对样本多个位置依次进行拍摄，实时获取样本一个或多个位置对应的显微图像块；依次对获取到的一个或多个显微图像块输入训练后的神经网络模型进行分析得到一个或多个显微图像块分析结果，所述显微图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果；根据全部显微图像块分析结果，得到总体分析结果；输出所述总体分析结果。
进一步地，上述方法还包括：在每得到一个或多个显微图像块分析结果后，对所述一个或多个显微图像块分析结果进行判断；若分析结果满足设定条件，输出所述显微图像块分析结果；否则，待得到总体分析结果后输出总体分析结果。
更进一步地，上述方法中的所述设定条件为是否存在异常，或者为是否存在癌变。
可选择地是，上述方法中的所述样本为人体肺部细胞样本、人体宫颈细胞样本、人体乳腺细胞样本或者人体甲状腺细胞样本中的任意一种。
更优选地是，上述方法中的所述样本为通过穿刺或内窥镜获取的人体细胞或组织。
可选择地是，上述方法中的所述人体肺部细胞样本为通过穿刺获取的人体肺部细胞或通过气管镜获取的人体肺部细胞。
更进一步地，上述方法中的所述显微图像块分析结果包括癌变定性为阴性或阳性；
可替换地是，上述方法中的所述显微图像块分析结果还可具体细分为肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿及炎症中的任意一种或多种。
可选择地是，上述方法中的所述神经网络模型为卷积神经网络模型，所述训练后的神经网络模型通过以下步骤训练得到：获得训练数据，所述训练数据为样本的显微图像以及对应的标注信息；将所述训练数据输入到卷积神经网络模型进行训练得到训练后的神经网络模型，所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：
Figure BDA0002501596230000041
或
Figure BDA0002501596230000042
可选择地是，上述方法中的所述标注信息包括肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的至少两种。
优选地是，上述方法还包括：将所述样本的各个位置的显微图像块拼接得到样本整体显微图像。
可选择地是上述方法还包括，根据显微图像块分析结果，在所述样本整体显微图像中，标记所述病理异常的位置。
本申请中所述的显微图像块包括未经预处理或经过预处理的显微图像块，所述预处理包括对显微镜拍摄到的显微图像块进行归一化、调整大小等本领域常用的预处理方式。
本发明还提供一种计算机可读存储介质，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被执行时使计算机执行本发明上述的显微图像块的实时采集和和实时分析，并输出分析结果。
本发明更提供一种用于病理显微图像分析的神经网络模型训练方法，其特征在于，包括：获得训练数据，所述训练数据为样本的显微图像以及对应的标注信息；将所述训练数据输入到卷积神经网络模型进行训练得到训练后的神经网络模型，所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：
Figure BDA0002501596230000051
或
Figure BDA0002501596230000052
优选地是，上述神经网络模型训练方法，还包括使用测试数据对训练后的神经网络模型进行测试，具体包括：获得测试数据，所述测试数据为与训练数据不重复的样本的显微图像以及对应的标注信息；使用训练后的神经网络模型对所述测试数据中的所述显微图像进行分析，获得显微图像块测试分析结果；将所述显微图像块测试分析结果与所述测试数据中的标注信息进行比对，获得测试比对结果。
本发明通过采用上述技术方案的病理显微图像采集装置、系统及方法，整个方案在病理细胞或组织的图像采集分析以及显示上面能够实现就对比现有技术而言具有如下优点，具体概括如下：
(1)能够实时将细胞或组织的图像采集并进行病理分析，取代了现有技术中，全部图像采集完毕再进行图像的分析处理，为病人争取了极大的时间，克服了在背景技术中提到在手术过程中病理分析所需时间较久的技术问题。
(2)由于采用了神经网络训练方法，本发明的病理分析的准确性显著提高，采用神经网训练后分析得到的病理结果更加的精准；
(3)本发明所采用的训练方法，响应快速，因此处理速度较传统方法在病理分析的处理速度方面有了较大的提升。
附图说明
图1是一种病理显微图像实时采集分析系统实施例；
图2是一种图像分析装置实施例；
图3是一种图像实时分析方法实施例；
图4是一种用于病理显微图像分析的神经网络模型训练方法实施例；
图5是卷积神经网络模型实施例；
图6是无明显异常的肺部细胞显微图像示例；
图7是具有腺癌的肺部细胞显微图像示例。
具体实施方式
为了更好地说明本发明的发明目的、技术方案的实施及本发明相比较现有技术而言的优点，下面将以示例性的方式，具体结合所示出的附图及不同实施例的举例，对本发明进行进一步详细阐述与说明。应当理解地是，此部分描述地或者示例性地具体实施例仅仅用以解释或便于理解本发明的整体发明构思，但不应当理解为用于局限本发明的权利要求保护范围。凡是在本发明的发明构思与核心的均落在本发明的保护范围之内，特别是基于本发明的发明思路或主题进行的等效替换或者具体变形，将均落入本发明的保护范畴之列。
本发明实施例提供的方法，可以适用于如图1所示的系统。系统中的图像分析装置可以是计算机设备，包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。
下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
实施例1
本实施例提供一种病理显微图像实时采集分析系统和图像实时分析方法。
如图1所示，病理显微图像实时采集分析系统包括显微图像采集装置101、图像分析装置102以及显示装置103。
显微图像采集装置101包括载物台、摄像头及控制单元。载物台用于承载样本，该样本可以是人体细胞或组织样本，例如，样本可以是从人体肺部、甲状腺、乳腺等任何人体部位提取的用于病理显微诊断的细胞或组织。人体细胞或组织样本的获取方法，可以是通过穿刺手术获取，也可以是通过内窥镜获取，或有其他医学手段获取。样本一般制成显微玻片，并放置于在载物台上，在一些情况下，需要对样本玻片进行染色等处理，以便更清楚的分辨细胞。摄像头用于拍摄样本获得显微图像，在一些实施例中，摄像头与显微镜的目镜相连接，用于拍摄显微放大后的样本图像；控制单元用于控制载物台与摄像头的相对位置移动，并控制摄像头依次拍摄样本多个位置的显微图像块。在一个实施例中，载物台是在水平面上沿X、Y两个相互垂直的方向可移动的，载物台的移动由驱动装置驱动，举例而言，该驱动装置可以是步进电机。控制单元可以控制载物台以步进的方式移动，并控制摄像头在载物台每移动到一个位置时进行一次拍摄，载物台步进移动的步长小于等于摄像头可拍摄的显微视野的宽度；当对样本沿X方向完成一行的拍摄之后，控制载物台沿Y方向移动一个步长并继续进行下一行的拍摄。
图像分析装置102用于实时获取显微图像块，并将所述显微图像块输入到训练后的神经网络模型进行分析，得到显微图像块分析结果，所述图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果；当采集到的全部显微图像块被全部分析完成后，得到总体分析结果。图像分析装置102与显微图像采集装置101连接并可实时接收和分析显微图像采集装置101传输来的图像数据。图像分析装置102与显微图像采集装置101的连接方式应该包括任何可实时传输数据的连接方式，例如有线连接、无线连接(如WIFI连接、蓝牙连接等)，也可以是一体的整机中不同模块的内部连接；再例如，图像分析装置102与显微图像采集装置101的连接方式也可以是云端连接，如显微图像采集装置101设置于医院的诊疗现场，而图像分析装置102可以是云端服务器，通过一般互联网或5G网络，显微图像采集装置101可以实时将采集到的图像块传输给图像分析装置102进行分析诊断。显微图像采集装置101将采集到的显微图像块传输给图像分析装置102应该是实时的，这里的实时传输应该理解为，在显微图像采集装置101拍摄样本的过程中已经开始将图像数据传输给图像分析装置102；在一个实例中，显微图像采集装置101每拍摄一个显微图像块立即传输给图像分析装置102；在另一个实施例中，显微图像采集装置101每沿X方向拍摄一行显微图像块，将所拍摄的一行图像数据传输给图像分析装置102。
显示装置103，用于将所述显微图像块分析结果和/或所述总体分析结果输出显示给用户。可以理解，显示装置103与图像分析装置102连接，连接方式可以是有线连接、无线连接等任何可传输数据的连接。在一个实施例中，显示装置103与图像分析装置102可以是一体的整机中的两个模块。在一个实施例中，显示装置103与图像分析装置102可以是通过WIFI、蓝牙、云端连接等方式连接。
下面结合图2、图3来具体说明图像分析装置102的各个模块功能以及图像实时分析方法的具体步骤。以及还提供一种计算机可读存储介质，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被执行时使计算机执行本发明记载的图像实时分析方法。
如图3所示，在一个实施例中，用于病理显微图像实时分析的图像实时分析方法的基本步骤包括：S301，实时获取样本各个位置对应的显微图像块；S302，依次对获取到的显微图像块进行分析，得到显微图像块分析结果；S303，根据全部显微图像块分析结果，得到总体分析结果；S307，输出结果。具体的：
S301，实时获取样本各个位置对应的显微图像块。该步骤可以由图像分析装置102中的显微图像块获取模块1021执行。
S302，依次对获取到的显微图像块进行分析，得到显微图像块分析结果。该步骤可以由图像分析装置102中的显微图像块分析模块1022执行。在一个实施例中，显微图像块分析模块1022包括训练后的神经网络模型，用于依次对显微图像块进行分析得到显微图像块分析结果。在一个实施例中，该显微图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果。该病理异常的分析结果可以是对一种特定病理异常的分析结果，如是否有癌变(癌变阴性或癌变阳性)、是否有炎症等；也可以是多种病理情形的分类，如对肺部细胞的诊断，可以进行多分类(分为无异常、炎症、鳞癌、腺癌、小细胞癌等)。
可以理解的，显微图像块分析模块1022所包括的训练后的神经网络模型可以是用于图像处理的深度学习分类网络模型、深度学习目标检测网络模型或深度学习分割网络模型；以深度学习分类网络模型为例，该模型可以是VGG、Inception、ResNet、WRN(wideresidual network)、SqueezeNet等深度学习分类网络模型为基础经过适应性调整参数并经过训练数据训练后得到的神经网络模型；以深度学习目标检测网络为例，该模型可以是RCNN、SPP Net、Fast RCNN、FPN等深度学习目标检测网络模型为基础经过适应性调整参数并经过训练数据训练后得到的神经网络模型。本领域技术人员可以理解的，如果是对深度学习分类网络模型进行训练，则对应的训练该模型的训练数据应该包括图像以及图像的分类标注信息，该分类标注信息可以是二分类(标注为阳性或阳性，如专门针对肺部腺癌的诊断，若具有腺癌为阳性，不具有腺癌为阴性)，也可以是对多种病理情形的多分类标注(如对肺部细胞分类包括：无异常、炎症、鳞癌、腺癌、小细胞癌等)；如果是对深度学习目标检测网络模型进行训练，则对应的训练该模型的训练数据应该包括图像以及图像的检测目标标注信息。
S303，根据全部显微图像块分析结果，得到总体分析结果。该步骤可以由图像分析装置102中的总体分析模块1023执行。该步骤可以是对步骤S302得到的结果的简单汇总，也可以是在对步骤S302得到的结果的汇总基础上进一步进行分析处理。例如，以步骤S302对肺部细胞样本的显微图像块进行多分类处理，得到的每个图像块的分析结果包括多种病变(比如包括炎症和癌变)，则步骤S303可以执行对多种结果的汇总并进一步分析；例如，该进一步分析可以是统计具有癌变的显微图像块的数量或统计癌变细胞的数量来分析癌变严重程度等。
S307，输出结果。该步骤可以由图像分析装置102中的输出模块1027执行。输出模块1027可直接将前述步骤(S302、S303等)得到的分析结果处理成为可输出的信号传输给显示装置103，以显示给用户。
上述S301，S302，S303，S307仅为一种实施方式，进一步地，参见图2、图3，还可以包括其他变化的实施方式。
由于本技术方案的实施场景经常是在病人进行手术的现场，为了进一步快速得到分析诊断结果，作为一种实施例，图像分析装置102还包括判断模块1024，用于执行步骤S304对所述显微图像块分析结果进行判断是否满足设定条件，如果判断结果为是，则立即执行步骤S307，将显微图像块分析结果处理成为可输出的信号传输给显示装置103以显示给用户。可以理解的，该判断步骤的设定条件可以是系统设置好的，也可以是用户可设置的。举例而言，该设定条件可以包括是否有癌变、是否有炎症、是否有其他病理异常等。
更进一步的，图像分析装置102还包括图像拼接模块1025，用于执行步骤S305，获取步骤S301得到的显微图像块，将显微图像块拼接得到样本整体显微图像。可以理解的，该步骤完成后可以直接执行步骤S307，将整体显微图像处理成为可输出的信号传输给显示装置103以显示给用户。
更进一步的，图像分析装置102还包括图像标记模块1026，用于执行步骤S306，对步骤S305得到的整体显微图像标记病理异常的位置。在一个实施例中，对病理异常位置的标记方式为，在整体显微图像中标记出具有病理异常的细胞；在另一个实施例中，对病理异常位置的标记方式为，在整体显微图像中标记出具有病理异常的显微图像块。步骤S306完成后，执行步骤S307，将标记后的样本整体显微图像处理成为可输出的信号传输给显示装置103以显示给用户。
下面结合图4举例说明在步骤S302中所使用的神经网络模型的训练方法。如图4所示，步骤S302中所使用的训练后的神经网络模型，是通过以下方法训练得到的：
S401，获得训练数据。神经网络模型的训练数据包括样本的显微图像以及对应的标注信息。举例而言，该样本可以是人体肺部、甲状腺、乳腺等部位的细胞或组织；样本的显微图像可以是显微图像块，也可以是拼接后的样本整体显微图像；标注信息可以是病理医生或具备专业知识的专家对显微图像做的标注。标注信息可以有不同的方式，例如：可以是对图像集中每幅图像的简单分类，比如有无病变、有无癌变；可以是多分类，比如对将图像集中的每幅图像细分为鳞癌、腺癌、小细胞癌、炎症、无异常等；也可以是对病变位置的勾勒，比如在图像中勾勒出病变的细胞。可以理解的是，以上不同的标注方式分别可以用于训练不同类型的神经网络模型(比如深度学习分类网络、深度学习目标检测网络等)。
S402，使用训练数据对神经网络模型进行训练，获得训练后的神经网络模型。根据步骤S401获得的训练数据，对神经网络模型进行训练，获得训练后的神经网络模型。可以理解的是，该步骤可以基于多种神经网络模型来实现。举例而言，可以基于深度学习分类网络(如CNN、VGG、Inception、ResNet、WRN、SqueezeNet等)，使用已经标注有分类信息的显微图像作为训练数据进行训练；可以基于深度学习目标检测网络(如RCNN、SPP Net、FastRCNN、FPN等)，使用已经标注有病变位置信息的显微图像作为训练数据进行训练。本领域技术人员可以理解的，基于深度学习分类网络训练得到的神经网络模型，可以用于对待分析的显微图像块进行分类处理，得到的分类结果即为图像块分析结果；基于深度学习目标检测网络训练得到的神经网络模型，可以用于对待分析的显微图像块进行目标检测，得到的目标检测结果即为图像块分析结果。
在一个实施例中，将已经标注有分类信息的显微图像作为训练数据输入到卷积神经网络模型进行训练得到训练后的卷积神经网络模型，所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：
Figure BDA0002501596230000101
或
Figure BDA0002501596230000102
其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。
在完成S402步骤之后，也就得到了可用于步骤S302中的训练后的神经网络模型。进一步地，为了保证训练后的神经网络模型的质量，在一个实施例中，在将模型投入使用前可以通过以下步骤对模型进行测试。
S403，使用测试数据对训练后的神经网络模型进行测试。所述测试步骤具体包括：S4031获得测试数据。所述测试数据为与训练数据不重复的样本的显微图像以及对应的标注信息，具体获得测试数据的方法可参见步骤S401的方法，在此不再赘述。S4032使用训练后的神经网络模型对所述测试数据中的所述显微图像进行分析，获得显微图像块测试分析结果；S4033将显微图像块测试分析结果与所述测试数据中的标注信息进行比对，获得测试比对结果。
以上所记载的方案为本发明的典型实施例。为了更充分地对本实施例中步骤S302利用训练后的神经网络对显微图像块进行分析的方法进行说明，下面结合图5以卷积神经网络(Convolutional Neural Networks,CNN)为例进一步举例说明。
在一种实施例中，用于对样本的显微图像块进行分析的卷积神经网络模型如图5所示，包括：输入层501，卷积层502，池化层503，卷积层504，池化层505，全连接层506，输出层507。输入层501执行图像输入，在这里该图像是样本的显微图像块，图像可以看作是由一个个像素点构成的二维数组，每个像素点具有其各自的像素值。卷积层502、504配置为对输入的图像进行特征提取，在卷积神经网络中，可以有一个或多个卷积层。在一个实施例中，卷积层利用一个3×3的卷积核，对于8×8的输入图像，计算得到6×6的特征图。当计算卷积时，输出特征映射的大小比原图小.使用的卷积核越大，得到的特征图就越小。对于n×m大小的卷积核，输入图像的大小将丢失(n-1)×(m-1)，因此，上面的例子如果用5×5的卷积核，那特征图将只有4×4。多数情况下，需要特征图和原图等大，这时就要填充特征图，一般用0填充，假设原图大小为8×8，而核为5×5，那么需要先把原图填充到12×12，添加4个额外的行和列，每侧各2行/列。为了减少计算量提高计算速度，可以为卷积层生成一个池化层，配置为对特征图进行降采样，生成尺寸更小的特征图。全连接层506配置为将池化层505降采样得到的特征映射到样本标记空间。最后通过输出层507输出分类结果。
实施例2(针对肺部组织或细胞)
目前，该领域常用的是标本快速现场评估技术，即ROSE(Rapid on-siteevaluation)，其是指细胞病理学家现场快速检查标本细胞，并对细针穿刺涂片和活检组织印片的质量进行评估。ROSE的应用场景一般为气管镜活检采集到的气管镜活检印片，或细针穿刺采集到的细针穿刺涂片。
本发明使用数字显微镜拍摄细胞病理显微图像：使用显微镜对气管镜活检印片或细针穿刺涂片进行扫描，显微镜放大倍数：物镜可以放大10、20、100倍，目镜可放大10倍，物镜和目镜配合可放大100-1000倍。扫描拍摄过程：肺部细胞样本玻片的大小一般是几厘米，而显微镜一次拍摄的视野非常小，一个完整大图由上百甚至几千个显微图像块组成(与玻片被拍摄的范围大小以及放大倍数有关)，可达上亿个像素，在本案例中，玻片的大小：76*26mm(并不是整个玻片都被拍摄进去，玻片被拍摄的范围可调节)，由于样本一般被涂抹在玻片中间部分，玻片被拍摄范围的边缘经常是没有样本的，但实际操作中，该样本边缘的玻片部分仍然会被拍摄进来，以保证样本的拍摄范围是完整的；显微镜的承载玻片的载物台在控制单元的控制下移动，以步进的方式，对玻片逐行扫描拍摄，每行拍摄10次，总共拍摄10行，共拍摄100次可以完成该样本的全部拍摄。
在扫描过程中相机每一次拍摄都会产生一张一个显微图像块的图片，每产生一个显微图像块的图片后，即时将该图片传输给用于分析的计算机设备，一个显微图像块的图片的大小：1936*1216个像素(在样本经过显微镜放大后，摄像头拍摄时，光学信号转成数字信号每个像素宽度为0.24微米)。计算机设备的显微图像块获取模块接收到显微图像块的图片后，进行归一化、调整大小，送入显微图像块分析模块，通过训练好的卷积神经网络处理分析，可以对这些细胞进行是否有癌变的二分类，即得出阴性和阳性的结论；也可以在实施过程中得出该图片属于肺鳞癌、肺腺癌、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、无明显异常、肉芽肿、炎症中的哪一类别。在本实施例中，对肺部细胞利用深度学习分类神经网络进行多分类(八分类)，由于细胞涂抹在玻片的中间位置，前两行拍摄并没有拍入样本，从第三行中间位置拍摄到样本(第25次拍摄)，但显微图像块分析模块并没有得出有异常的分析结果，在完成第26次拍摄时，对该图像块分析时发现腺癌细胞；每次步进平均拍摄耗时0.5秒，传输至训练好的卷积神经网络进行实时分析的过程会延迟0.5秒，完成26次拍摄总共耗时13秒，完成该图像块的分析耗时0.5秒，则13.5秒即分析发现了癌变细胞，可以即时输出诊断结果，即从开始拍摄样本到得到样本中有腺癌细胞，共耗时13.5秒，为正在实施手术的医生快速判断病情提供了非常及时的参考。
本发明中，待100次全部分析完成后再次输出结果，即总体分析结果，总共耗时不超过1分钟时间。
该方法和装置可以在手术室内实时进行ROSE，或者辅助呼吸科医师进行ROSE，大大加速ROSE，减小了手术台上等待ROSE结果的病人的风险。
本发明中使用的分析处理细胞病理的卷积神经网络的训练过程：
(1)在获得采集图片信息之后，对显微镜扫描气管镜活检印片和细针穿刺涂片得到的图片进行标注，共分为八个类别，分别是无明显异常(如图6)、肺鳞癌、肺腺癌(如图7)、小细胞肺癌、无法明确的非小细胞肺癌、其他恶性病变、肉芽肿、炎症；
(2)将70％的数据用于训练，输入到一个由卷积层、池化层、批归一化层组成的卷积神经网络中，损失函数为交叉熵或者为带权重的cross entropy(交叉熵)的损失函数为：
Figure BDA0002501596230000131
或
Figure BDA0002501596230000132
其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高；
(3)将20％的数据用于计算训练中每一次参数迭代更新之后的损失值，来判断模型的好坏，当损失值下降到较小的值并且不再继续下降时，模型训练完成；
(4)将10％的数据用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。
将上述训练好的卷积神经网络用于对本实施中样本的显微图像块进行分析，所述卷积神经网络模型如图5所示，包括：输入层501，卷积层502，池化层503，卷积层504，池化层505，全连接层506，输出层507。各层的参数配置详见表1。
表1卷积神经网络模型参数配置
Figure BDA0002501596230000133
Figure BDA0002501596230000141
输入层501用于将显微图像采集装置采集到的一个显微图像块输入到卷积神经网络，显微图像块的原始大小为1936*1216像素，为了适应卷积神经网络的输入，对原始图像降采样得到224*224尺寸的特征图。一般显微图像块是用RGB(红red，绿green、蓝blue)三色值表示的彩色图像，因此生成三个224*224尺寸的特征图。
卷积层502用于对输入的显微图像块进行特征提取。在一个实施例中，卷积层502利用一个7*7的卷积核，对于3个224*224的输入特征图像，计算得到64个112*112的特征图。
为了减少计算量提高计算速度，可以为卷积层502配置一个池化层503，用于对特征图进行降采样，生成尺寸更小的特征图。在本实例中，池化层503有一个3*3的核，根据卷积层502生成的64个112*112的特征图进行降采样，得到64个56*56的特征图。
卷积层504包括一个具有1*1卷积核的卷积层和另一个具有3*3卷积核的卷积层的串联，对该层执行6次循环，得到128个56*56的特征图。
为卷积层504连接一个池化层505。池化层505有一个2*2的核，根据卷积层504生成的56*56的特征图进行降采样，得到28*28的特征图。
全连接层506配置为将池化层505降采样得到的特征映射到样本标记空间，最后通过输出层507输出分类结果，该分类结果即为显微图像块是否具有病理异常的判断结果。
实施例3(针对乳腺组织或细胞)
在本实施例中，对乳腺细胞利用深度学习分类神经网络进行阴阳性二分类，即诊断结果为阴性或阳性中的一种。采集人体的乳腺组织或乳腺细胞切片，将切片放置于载物台，选择与实施例1中相同的系统，扫描过程与实施例2相同，不同之处在于：显微镜对含有样本的玻片逐行扫描，每行拍摄12次，总共拍摄12行，共拍摄144次完成该样本的全部拍摄。在完成第52次拍摄时，对该图像块分析时发现癌变阳性的细胞；每次步进平均拍摄耗时0.5秒，传输至训练好的卷积神经网络进行实时分析的过程会延迟0.5秒，完成52次拍摄总共耗时26秒，完成该图像块的分析耗时0.5秒，则26.5秒即分析发现了癌变细胞，可以即时输出诊断结果为癌变阳性，即从开始拍摄样本到得到样本中有癌变阳性细胞，共耗时26.5秒，为正在实施手术的医生快速判断病情提供了非常及时的参考。
本发明中，待144次全部分析完成后再次输出结果，即总体分析结果，总共耗时不超过2分钟时间。
细胞病理的卷积神经网络的训练过程采用如实施例2中相同的训练方法，并可以根据乳腺特质来选择带有权重的交叉熵的损失函数，以获得更加精确的结果。具体地步骤如下：
(1)在获得采集图片信息之后，对显微镜扫描乳腺细胞或组织玻片得到的图片进行标注，共分为两个类别，癌变阴性(没有癌变)和癌变阳性(有癌变)；
(2)将70％的数据用于训练，输入到一个由卷积层、池化层、批归一化层组成的卷积神经网络中，损失函数为带权重的cross entropy(交叉熵)的损失函数为：
Figure BDA0002501596230000151
其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高；
(3)将20％的数据用于计算训练中每一次参数迭代更新之后的损失值，来判断模型的好坏，当损失值下降到较小的值并且不再继续下降时，模型训练完成；
(4)将10％的数据用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。
将上述训练好的卷积神经网络用于对本实施中样本的显微图像块进行分析，具体内容与实施例2相同，不再赘述。
实施例4(针对甲状腺组织或细胞)
采集人体甲状腺组织或细胞切片，将甲状腺组织或细胞切片放置于载物台，选择与实施例1中相同的系统，扫描过程与实施例2相同，不同之处在于：显微镜对含有样本的玻片逐行扫描，每行拍摄20次，总共拍摄20行，共拍摄400次完成该样本的全部拍摄，每拍摄完成一行，将一行图像数据传输至图像分析装置进行分析。在完成第3行拍摄时，对该行的图像块分析时发现甲状腺乳头状癌细胞；每行拍摄耗时10秒，传输至训练好的卷积神经网络进行实时分析的过程会延迟5秒，完成3行拍摄总共耗时30秒，完成该行图像块的分析耗时5秒，则35秒即分析发现了癌变细胞，可以即时输出诊断结果为甲状腺乳头状癌，即从开始拍摄样本到得到样本中有癌变细胞，共耗时35秒，为正在实施手术的医生快速判断病情提供了非常及时的参考。本发明中，待20行全部分析完成后再次输出结果，即总体分析结果，总共耗时不超过4分钟时间。
细胞病理的卷积神经网络的训练过程采用如实施例2中相同的训练方法，并可以根据甲状腺特质来选择带有权重的交叉熵的损失函数，以获得更加精确的结果。具体地步骤如下：
(1)在获得采集图片信息之后，对显微镜扫描甲状腺细胞或组织玻片得到的图片进行标注，共分为五个类别，分别是无异常、甲状腺乳头状癌、甲状腺滤泡状癌、甲状腺髓样癌和甲状腺未分化癌；
(2)将70％的数据用于训练，输入到一个由卷积层、池化层、批归一化层组成的卷积神经网络中，损失函数为带权重的cross entropy(交叉熵)的损失函数为：
Figure BDA0002501596230000161
其中：Loss表示损失函数；Weight表示权重；X表示预测概率；Class表示对应的类别；J表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高；
(3)将20％的数据用于计算训练中每一次参数迭代更新之后的损失值，来判断模型的好坏，当损失值下降到较小的值并且不再继续下降时，模型训练完成；
(4)将10％的数据用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。
将上述训练好的卷积神经网络用于对本实施中样本的显微图像块进行分析，具体内容与实施例2相同，不再赘述。
本发明整套设备系统可以放在手术现场，在活检或穿刺获得病人细胞样本后，可以很快的进行检查并输出结果，及时诊断，极大地提高效率。本发明的另一个改进在于细胞病理的诊断一般需要由经验丰富的医生进行，经验不足的医生诊断准确率不能保证，而且显微图像的尺寸非常大，医生诊断容易出现疏漏。通过训练后的神经网络模型进行诊断，更能确保诊断的准确率。本发明相比较现有的优点概括如下：
(1)能够实时将细胞或组织的图像采集并进行病理分析，取代了现有技术中，全部图像采集完毕在进行图像的分析处理，为病人争取了极大的时间，克服了在背景技术中提到在手术过程中病理分析所需时间较久的技术问题；
(2)由于采用了神经网络训练方法，本发明的病理分析的准确性显著提高，通过对比，由于采用神经网训练后分析得到的病理结果更加的精准；
(3)本发明所采用的训练方法，响应快速，因此处理速度较传统方法在病理分析的处理速度方面有了较大的提升。
以上实施例均为本发明示例性的，但并不局限于此，凡是不脱离本发明的发明精神的技术方案均落入本发明的保护范围之内，所有在本发明精神下的技术方案变形以及等效替换则均属于本发明保护范围范畴之内的。

Claims (8)

1.一种病理显微图像实时采集分析系统，用于对样本进行显微图像采集并实时分析诊断，所述样本包括人体细胞或组织，其特征在于，包括：
(1)显微图像采集装置，其包含：
载物台，用于承载样本；
摄像头，用于拍摄样本获得显微图像；和
控制单元，用于控制载物台与摄像头的相对位置移动，并控制摄像头依次拍摄样本多个位置的显微图像块，其中，所述控制单元控制所述载物台以步进的方式移动，并控制所述摄像头在所述载物台每移动到一个位置时进行一次拍摄，所述载物台步进移动的步长小于等于所述摄像头可拍摄的显微视野的宽度；
(2)图像分析装置，连接于所述显微图像采集装置，配置为同步于所述显微图像采集装置对样本多个位置依次进行拍摄，实时获取样本多个位置对应的显微图像块，并实时将所获得的一个或多个显微图像块输入到训练后的神经网络模型进行分析，得到一个或多个显微图像块分析结果，所述显微图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果；当采集到的全部显微图像块被全部分析完成后，得到总体分析结果；其中，所述训练后的神经网络模型为训练后的深度学习分类网络模型，所述显微图像块分析结果包括所述深度学习分类网络模型对所述显微图像块的分类结果，所述得到总体分析结果的实现方法包括对所述显微图像块的分类结果进行汇总；
在每得到一个或多个显微图像块分析结果后，对所述一个或多个显微图像块分析结果进行判断，若分析结果满足设定条件，输出所述显微图像块分析结果；否则，待得到总体分析结果后输出总体分析结果；其中，所述设定条件为是否存在异常；
(3)显示装置，连接于所述图像分析装置，用于将所述显微图像块分析结果和/或所述总体分析结果输出显示给用户。
2.根据权利要求1所述的病理显微图像实时采集分析系统，其特征在于，所述摄像头逐行对样本进行拍摄，并将拍摄结果实时传输。
3.一种图像分析装置，用于实时分析病理显微图像，其特征在于，包括：
显微图像块获取模块，其与一显微图像采集装置数据传输连接，同步于所述显微图像采集装置对样本多个位置依次进行拍摄，实时获取样本多个位置对应的显微图像块；
显微图像块分析模块，包括训练后的神经网络模型，用于依次对获取的一个或多个显微图像块进行分析得到一个或多个显微图像块分析结果，所述显微图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果，其中，所述训练后的神经网络模型为训练后的深度学习分类网络模型，所述显微图像块分析结果包括所述深度学习分类网络模型对所述显微图像块的分类结果；
总体分析模块，根据全部显微图像块分析结果得到总体分析结果，其中，所述得到总体分析结果的实现方法包括对所述显微图像块的分类结果进行汇总；
输出模块，用于输出所述显微图像块分析结果和/或所述总体分析结果；
显微图像块分析结果判断模块，用于在每得到一个或多个显微图像块分析结果后，对所述一个或多个显微图像块分析结果进行判断，若分析结果满足设定条件，输出所述显微图像块分析结果；否则，待得到总体分析结果后输出总体分析结果；其中，所述设定条件为是否存在异常。
4.根据权利要求3所述的图像分析装置，其特征在于，还包括图像拼接模块，用于将所述样本的各个位置的显微图像块拼接得到样本整体显微图像；所述输出模块还用于输出所述样本整体显微图像。
5.根据权利要求4所述的图像分析装置，其特征在于，还包括图像标记模块，根据显微图像块分析结果，在所述样本整体显微图像中标记所述病理异常的位置；所述输出模块还用于输出标记后的所述样本整体显微图像。
6.一种计算机可读存储介质，其特征在于：所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被执行时使计算机执行一图像实时分析方法，其中，所述图像实时分析方法用于实时分析病理显微图像，包括：
同步于显微图像采集装置对样本多个位置依次进行拍摄，实时获取样本多个位置对应的显微图像块；
依次将获取到的一个或多个显微图像块输入训练后的神经网络模型进行分析得到一个或多个显微图像块分析结果，所述显微图像块分析结果包括所述显微图像块对应的样本细胞是否具有病理异常的分析结果，其中，所述训练后的神经网络模型为训练后的深度学习分类网络模型，所述显微图像块分析结果包括所述深度学习分类网络模型对所述显微图像块的分类结果；
根据全部显微图像块分析结果，得到总体分析结果，其中，所述得到总体分析结果的实现方法包括对所述显微图像块的分类结果进行汇总；
在每得到一个或多个显微图像块分析结果后，对所述一个或多个显微图像块分析结果进行判断，若分析结果满足设定条件，输出所述显微图像块分析结果；否则，待得到总体分析结果后输出总体分析结果；其中，所述设定条件为是否存在异常。
7.根据权利要求6所述的计算机可读存储介质，其特征在于，所述图像实时分析方法还包括：将所述样本的各个位置的显微图像块拼接得到样本整体显微图像。
8.根据权利要求7所述的计算机可读存储介质，其特征在于，所述图像实时分析方法还包括：根据显微图像块分析结果，在所述样本整体显微图像中，标记所述病理异常的位置。
CN202010434105.3A 2019-12-19 2019-12-19 一种病理显微图像实时采集分析系统、方法、装置及介质 Active CN111474701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010434105.3A CN111474701B (zh) 2019-12-19 2019-12-19 一种病理显微图像实时采集分析系统、方法、装置及介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010434105.3A CN111474701B (zh) 2019-12-19 2019-12-19 一种病理显微图像实时采集分析系统、方法、装置及介质
CN201911313396.4A CN110727097B (zh) 2019-12-19 2019-12-19 一种病理显微图像实时采集分析系统、方法、装置及介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911313396.4A Division CN110727097B (zh) 2019-12-19 2019-12-19 一种病理显微图像实时采集分析系统、方法、装置及介质

Publications (2)

Publication Number Publication Date
CN111474701A CN111474701A (zh) 2020-07-31
CN111474701B true CN111474701B (zh) 2021-11-30

Family

ID=69226448

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911313396.4A Active CN110727097B (zh) 2019-12-19 2019-12-19 一种病理显微图像实时采集分析系统、方法、装置及介质
CN202010434105.3A Active CN111474701B (zh) 2019-12-19 2019-12-19 一种病理显微图像实时采集分析系统、方法、装置及介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911313396.4A Active CN110727097B (zh) 2019-12-19 2019-12-19 一种病理显微图像实时采集分析系统、方法、装置及介质

Country Status (3)

Country Link
US (1) US20210191094A1 (zh)
EP (1) EP3839885A1 (zh)
CN (2) CN110727097B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402984A (zh) * 2020-02-13 2020-07-10 上海杏脉信息科技有限公司 一种肺部疾病远程诊断系统
CN111369553A (zh) * 2020-03-13 2020-07-03 上海杏脉信息科技有限公司 一种样本玻片扫描和图像处理方法及数字显微镜系统
CN111583226B (zh) * 2020-05-08 2023-06-30 上海杏脉信息科技有限公司 细胞病理感染评估方法、电子装置及存储介质
CN111681738B (zh) * 2020-06-09 2024-05-07 平安科技（深圳）有限公司 基于病理切片扫描和分析一体化方法、装置、设备及介质
CN111753831A (zh) * 2020-06-28 2020-10-09 上海联影医疗科技有限公司 一种图像分析方法、装置、图像采集设备及存储介质
CN111863202B (zh) * 2020-07-16 2023-12-22 梅傲科技(广州)有限公司 一种数字病理图像扫描分析系统
US11915360B2 (en) * 2020-10-20 2024-02-27 The Regents Of The University Of California Volumetric microscopy methods and systems using recurrent neural networks
WO2022126923A1 (zh) * 2020-12-18 2022-06-23 平安科技（深圳）有限公司 Asc-us诊断结果分流方法、装置、计算机设备及存储介质
CN112634266B (zh) * 2021-01-06 2024-03-19 厦门大学 喉镜图像的半自动标注方法、介质、设备及装置
CN112884724B (zh) * 2021-02-02 2022-06-03 广州智睿医疗科技有限公司 一种用于肺癌组织病理分型的智能判断方法及系统
CN113025483A (zh) * 2021-03-24 2021-06-25 四川若斌生物科技有限责任公司 一种微生物培养分析柜的采集分析系统及其分析方法
CN113096079B (zh) * 2021-03-30 2023-12-29 四川大学华西第二医院 图像分析系统及其构建方法
CN113313705B (zh) * 2021-06-22 2023-05-12 上海杏脉信息科技有限公司 一种病理图像处理系统、方法及介质
CN113436160B (zh) * 2021-06-22 2023-07-25 上海杏脉信息科技有限公司 一种病理图像处理及显示系统、客户端、服务端及介质
CN113744195B (zh) * 2021-08-06 2024-04-26 北京航空航天大学 一种基于深度学习的hRPE细胞微管自动检测方法
WO2024020406A1 (en) * 2022-07-18 2024-01-25 Syncell (Taiwan) Inc. Method of standardizing image pixel values in a microscope-based system
CN115423690B (zh) * 2022-11-04 2023-03-21 之江实验室 基于图像金字塔的高分辨率肝癌病理图像展示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204065550U (zh) * 2014-07-29 2014-12-31 杭州卓腾信息技术有限公司 基于显微镜的数字切片自动扫描装置
CN110265142A (zh) * 2019-06-11 2019-09-20 透彻影像(北京)科技有限公司 一种用于病变区域复原图的辅助诊断系统和方法
CN110403572A (zh) * 2019-07-01 2019-11-05 清华大学 阿兹海默症无标记病理成像诊断方法及装置
CN110476101A (zh) * 2017-06-13 2019-11-19 谷歌有限责任公司 用于病理学的增强现实显微镜
CN112106061A (zh) * 2018-03-30 2020-12-18 加利福尼亚大学董事会 使用深度学习对未标记荧光图像进行数字染色的方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786050B2 (en) * 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
US9400933B2 (en) * 2013-12-12 2016-07-26 Aesynt Incorporated Method, apparatus, and computer program product for the identification and packaging of medication
WO2017175315A1 (ja) * 2016-04-05 2017-10-12 株式会社島津製作所 放射線画像診断装置、放射線画像と分析結果との関連付け方法および放射線画像診断システム
WO2019199392A1 (en) * 2018-04-12 2019-10-17 Google Llc Augmented reality microscope for pathology with overlay of quantitative biomarker data
WO2020131864A1 (en) * 2018-12-18 2020-06-25 Pathware Inc. Computational microscopy based-system and method for automated imaging and analysis of pathology specimens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204065550U (zh) * 2014-07-29 2014-12-31 杭州卓腾信息技术有限公司 基于显微镜的数字切片自动扫描装置
CN110476101A (zh) * 2017-06-13 2019-11-19 谷歌有限责任公司 用于病理学的增强现实显微镜
CN112106061A (zh) * 2018-03-30 2020-12-18 加利福尼亚大学董事会 使用深度学习对未标记荧光图像进行数字染色的方法和系统
CN110265142A (zh) * 2019-06-11 2019-09-20 透彻影像(北京)科技有限公司 一种用于病变区域复原图的辅助诊断系统和方法
CN110403572A (zh) * 2019-07-01 2019-11-05 清华大学 阿兹海默症无标记病理成像诊断方法及装置

Also Published As

Publication number Publication date
EP3839885A1 (en) 2021-06-23
CN110727097A (zh) 2020-01-24
CN111474701A (zh) 2020-07-31
US20210191094A1 (en) 2021-06-24
CN110727097B (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN111474701B (zh) 一种病理显微图像实时采集分析系统、方法、装置及介质
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
AU2019311336B2 (en) Computer classification of biological tissue
CN111489833A (zh) 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
DK2973397T3 (en) Tissue-object-based machine learning system for automated assessment of digital whole-slide glass
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN110619318B (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
KR102155381B1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
CN110736748A (zh) 免疫组化核浆染色切片诊断方法及系统
US20210090248A1 (en) Cervical cancer diagnosis method and apparatus using artificial intelligence-based medical image analysis and software program therefor
US20200311931A1 (en) Method for analyzing image of biopsy specimen to determine cancerous probability thereof
US11592657B2 (en) Method and system for identifying objects in a blood sample
JP4864709B2 (ja) 分散プロット分布を用いてスライドの染色品質を決定するシステム
KR20210033902A (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CN111134735A (zh) 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
US20230230398A1 (en) Image processing device, image processing method, image processing program, and diagnosis support system
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
JP2019013461A (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN111369553A (zh) 一种样本玻片扫描和图像处理方法及数字显微镜系统
CN117575999B (zh) 一种基于荧光标记技术的病灶预测系统
WO2023164664A1 (en) Digital imaging system and method
KR20240041032A (ko) 내시경 점막하 박리 검체의 조직구축 병리검사에 대한 인공지능 기반 관리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210114

Address after: Room 301, building 11, 825 Xinkaihe Road, Xinhe Town, Chongming District, Shanghai 202150

Applicant after: SHANGHAI XINGMAI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: No.305, area F, building 8, No.825, Xinkaihe Road, Xinhe Town, Chongming District, Shanghai 200085 (Shanghai Xinhe economic community)

Applicant before: Shanghai lanmai Information Technology Co.,Ltd.

Applicant before: SHANGHAI XINGMAI INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant