CN112837261B - 融合扫描数据和光学图像显示的细胞数据标注方法、系统 - Google Patents
融合扫描数据和光学图像显示的细胞数据标注方法、系统 Download PDFInfo
- Publication number
- CN112837261B CN112837261B CN202010709446.7A CN202010709446A CN112837261B CN 112837261 B CN112837261 B CN 112837261B CN 202010709446 A CN202010709446 A CN 202010709446A CN 112837261 B CN112837261 B CN 112837261B
- Authority
- CN
- China
- Prior art keywords
- image
- computer
- cell
- labeling
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 111
- 230000003287 optical effect Effects 0.000 title claims abstract description 59
- 230000000007 visual effect Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 239000011521 glass Substances 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 230000007170 pathology Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 206010008342 Cervix carcinoma Diseases 0.000 description 3
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 3
- 201000010881 cervical cancer Diseases 0.000 description 3
- 238000012106 screening analysis Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000012857 repacking Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000000592 Artificial Cell Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001723 curing Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dispersion Chemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种融合扫描数据和光学图像显示的细胞数据标注方法、系统，基于光学显微镜视野和多分辨率数字扫描图像叠加的双视野融合显示方法，使用改装的无目镜显微镜，将扫描仪与计算机进行连接，对细胞涂片进行扫描，将扫描图像存入计算机的计算存储服务后端中的全片图像数据库，建立了显微观察、数字扫描、细胞标注、数据检查的并行流程和操作工序的加速闭环。标注人员在本发明所建立的系统上，可以全面、方便地阅读细胞涂片，同步获取高分辨率多焦距光学视野数据、数字扫描图像数据，在显微视野下实现数字图像的细胞直接标注。该系统符合病理人员显微镜下观察和操作的工作习惯。
Description
技术领域
本发明涉及一种图像处理和数字化病理领域，尤其是涉及一种使用于细胞数据标注图像处理和数字化病理辅助筛查分析中的基于数字扫描数据和显微光学视野图像融合显示的细胞数据标注方法、系统。
背景技术
随着当前医疗水平的提高，越来越多的疾病是能够通过早期的筛查辅助分析发现从而被有效治愈的。但是相对来说有效筛查效率也存在着明显的瓶颈，其主要原因是目前专业细胞病理分析人员比较缺乏，难以更好有效满足通过筛查辅助分析获得有效一些重要病理或疑难病理的临床病理分析数据的迫切需求。例如宫颈癌是当前最常见的女性恶行肿瘤疾病之一，如果能在发病早期就能及时筛查分析发现则极大程度上的完全可以治愈，然而现实中实际情况则是由于筛查能力的不足，导致大量病患贻误了最佳的检测筛查分析和治愈时机从而受到了严重的健康危害。因此对细胞涂片使用计算机进行高效准确的自动排查分析，成为了病理筛查分析判断的痛点需求，具有重要的辅助诊疗分析价值和社会意义。当前比较可行的做法是通过人工智能算法，用基于卷积神经网络的方法对细胞涂片中的细胞进行识别分类；然而其深度模型需要大规模数据的来支持，也即需要大量由人工手动标注的细胞数据。
而在对细胞图像进行标注时，目前普遍存在两种方法：一种是工作人员通过无目镜显微镜对细胞进行观察，一般仅能给出阴阳性等分级判断标签，手工标注涂片后，再输入计算机，这类标注方法，可以比较高效准确地给出分级判断标签，但难以实现对感兴趣的细胞或细胞群进行小范围的标注，无法更好满足人工智能算法模型开发的需要。另一种是工作人员直接观察计算机显示屏上的细胞扫描或实时图，优点是标签数据收集整理方便、标注结果直观，缺点是可能会存在受到细胞涂片分辨率低、焦距单一、无法进行立体结构观察等限制现象，对于细胞的观察存在不清晰等困难的问题，严重影响细胞数据标注的工作效率和标注准确率。
发明内容
本发明为解决现有细胞数据标注图像处理和数字化病理辅助筛查分析中存在着细胞涂片数据标注方法工作效率低，标注功能不全面，标注准确率严重受影响等问题现状而提供的一种可为细胞病理分析人员建立更全面、更方便阅读细胞涂片，可同步获取高分辨率多焦距光学视野数据和数字扫描图像数据，在显微镜下更好实现数字图像的细胞直接有效标注，提高细胞数据标注工作效率和标注准确率的融合扫描数据和光学图像显示的细胞数据标注方法、系统。
本发明为解决上述技术问题所采用的具体技术方案为：一种融合扫描数据和光学图像显示的细胞数据标注方法，其特征在于：包括如下步骤
A1.使用改装过的无目镜显微镜，在显微镜观察器后嵌入透明LED显示屏，将此透明LED显示屏连接到配备涂片扫描仪的计算机；
A2.把涂片扫描仪扫描得到的数字扫描图像存入计算机的计算存储服务后端中的全片图像数据库中；
A3.上述计算机读入涂片扫描仪获取的涂片数字化图像；
A4.使用支持细胞数据的目标检测/分割算法对多分辨率的数字扫描图像进行预处理，获得各单细胞的位置信息并存入计算机的计算存储服务后端中的单细胞图像数据库；
A5.使用目标检测和分割算法对上述涂片数字化显微图像中的细胞进行定位，并将涂片扫描的数字化图像与显微镜光学视野进行位置配准处理；
A6.将单细胞图像数据库中该区域内的数字信息传入改装过的无目镜显微镜中的透明LED显示屏与显微镜视野进行叠加与融合显示；
A7.通过上述无目镜显微镜前端嵌入安装的透明LED显示屏，显示从计算机读取的数字图像，叠加到无目镜显微镜光学视野，配准形成同一切片的增强显示图像；
A8.在增强显示图像上进行数字图像操作，所述数字图像操作包括标签信息标注和/或视野移动操作，所述标签信息标注包括调焦、细胞选中和/或细胞类别；
A9.上述第A8步骤的标注结果实时反馈输入计算机，存入显微数字图像标注系统的后台数据库中，并同步呈现在无目镜显微镜嵌入的透明LED显示屏上；
上述第A1～A3步骤为标注方法中的扫描阶段，上述第A4步骤为标注方法中的预处理阶段，上述第A5～A7步骤为标注方法中的准备阶段，上述第A8～A9步骤为标注方法中的标注阶段。可为细胞病理分析人员建立更全面、更方便阅读细胞涂片，可同步获取高分辨率多焦距光学视野数据和数字扫描图像数据，在显微镜下更好实现数字图像的细胞直接有效标注，提高细胞数据标注工作效率和标注准确率。
作为优选，所述的标签信息标注和/或视野移动操作方式为使用鼠标与计算机后端配合对显示视野区域进行后续的操作和控制。提高利用鼠标操作标注的控制操作有效性。
作为优选，所述的扫描阶段包括如下扫描处理步骤
B1.计算机控制单元向扫描仪发出扫描控制信号；
B2.扫描仪对需要筛查辅助分析的细胞涂片进行扫描，扫描获得数字扫描图像数据；
B3.计算机将扫描获得数字扫描图像数据存入全片图像数据库中。
提高细胞涂片的扫描存入可靠有效性。
作为优选，所述的预处理阶段包括如下步骤
C1.计算机对存入全片图像数据库中具有数字扫描图像数据的图像块进行使用支持细胞数据的目标检测/分割模型对数字扫描图像进行预处理，获得各单细胞的细胞边框/轮廓位置信息；
C2.将各单细胞的细胞边框/轮廓位置信息存入计算机的计算存储服务后端中的单细胞图像数据库中。
提高扫描获得数字扫描图像数据的预处理准确有效性，提高标注效率。作为优选，所述的准备阶段包括如下配准和预加载步骤
D1.计算机对存入全片图像数据库中的细胞涂片数字扫描图像数据进行位置配准算法处理；
D2.计算机将配准算法处理获得的各单细胞初始坐标信息存入计算机的计算存储服务后端中的单细胞图像数据库中；
D3.计算机将单细胞图像数据库中该区域内的细胞边框/轮廓或已标注细胞标签传入改装过的无目镜显微镜中的透明LED显示屏与显微镜视野进行叠加与融合显示；
D4.改装过的无目镜显微镜将细胞涂片的光学图像与计算机传入的细胞边框/轮廓或已标注细胞标签进行叠加与融合显示在透明LED显示屏中。
提高各单细胞数据的配准和预加载准确可靠有效性，提高标注效率。作为优选，所述的标注阶段包括如下标注步骤
E1.标注人员和/或专业细胞病理分析人员操作使用鼠标在计算机上进行数字图像操作，将标注操作控制信号信息传入计算机中的逻辑单元；
E2.计算机中的逻辑单元接收到鼠标操作传递过来的控制信号信息，向计算机中的控制单元发出控制指令变换；
E3.控制单元传递控制信号在增强显示图像上进行数字图像操作标注；
E4.执行上述方案中第D3～第D4步骤；
E5.计算机中的逻辑单元接收到鼠标操作传递过来的控制信号信息，发出控制指令，将标注结果实时反馈输入计算机，存入显微数字图像标注系统的后台数据库中的单细胞图像数据库中，并同步呈现在无目镜显微镜嵌入的透明LED显示屏上；
E6.改装过的无目镜显微镜将增强显示图像通过透明LED显示屏输出视反馈至标注人员和/或专业细胞病理分析人员视野中；
上述标注步骤并非一定按上述步骤顺序严格执行，分步骤顺序描述仅为对标注过程的更方便描述，不做严格顺序执行依据，具体根据标注过程实际需求执行。提高细胞数据标注工作效率和标注准确率。兼具数字图像标注的数据呈现、采集和存储高效性。
作为优选，所述的控制指令包括视野变换、查取视野变换后新的辅助信息/向对应条目中添加新的标注结果。提高控制指令的控制可靠有效性。
本发明申请的另一个发明目的在于提供一种融合扫描数据和光学图像显示的细胞数据标注系统，其特征在于：包括上述技术方案之一所述的计算机、扫描仪和改装过的无目镜显微镜，所述改装过的无目镜显微镜采用为在无目镜显微镜的观察器前添加一块与计算机连接的透明LED显示屏，该透明LED显示屏不影响使用显微镜观察时标注人员的正常光学视野，用于在当前视野内显示与光学视野配准叠加的数字图像信息，进行视野的叠加和图像的融合显示；无目镜显微镜的载玻板和调焦滚轮分别与计算机连接，用于接受来自计算机的控制信号，计算机的驱动控制单元和鼠标控制驱动无目镜显微镜的载玻板和调焦滚轮；扫描仪与计算机连接，用于传输多焦距的数字扫描图像给计算机进行预处理。采用数字和光学双源数据的获取，通过鼠标的点击进行透明LED屏上细胞的选中和标注并将新标签存入单细胞图像数据库；随着视野的变化和标注的进行，系统实时地更新加载新对应的细胞边框/轮廓和标签信息，用以辅助标注，提高，细胞数据标注工作效率和标注准确率。兼具数字图像标注的数据呈现、采集和存储高效性。
本发明的有益效果是：可为细胞病理分析人员建立更全面、更方便阅读细胞涂片，可同步获取高分辨率多焦距光学视野数据和数字扫描图像数据，在显微镜下更好实现数字图像的细胞直接有效标注，提高细胞数据标注工作效率和标注准确率。兼具数字图像标注的数据呈现、采集和存储高效性，光学视野标注符合病理人员操作习惯的便利性和高效性等多方面的优势，建立了显微观察、数字扫描、细胞标注、数据检查的并行流程和操作工序的加速闭环，有助于提高标注质量和工作效率，解决标注数据的收集、存储、检索等难题。基于人机协同的思想，将整理和存储细胞位置信息的工作，使用人工智能定位算法进行，并同时用于辅助人工细胞标注工作；而标注工作通过工作人员在改装过的设备组合上和人工智能算法得到的细胞位置信息辅助下高效而正确地进行。
附图说明：
下面结合附图和具体实施方式对本发明做进一步的详细说明。
图1是本发明融合扫描数据和光学图像显示的细胞数据标注方法中的扫描阶段处理示意图。
图2是本发明融合扫描数据和光学图像显示的细胞数据标注方法中的预处理阶段处理示意图。
图3是本发明融合扫描数据和光学图像显示的细胞数据标注方法中的准备阶段处理示意图。
图4是本发明融合扫描数据和光学图像显示的细胞数据标注方法中的标注阶段处理示意图。
图5是本发明融合扫描数据和光学图像显示的细胞数据标注系统的硬件结构示意图。
具体实施方式
实施例1：
图1、图2、图3、图4所示的实施例1中，一种融合扫描数据和光学图像显示的细胞数据标注方法，包括如下步骤
A1.使用改装过的无目镜显微镜，在显微镜观察器后嵌入透明LED显示屏，将此透明LED显示屏连接到配备涂片扫描仪的计算机；
A2.把涂片扫描仪扫描得到的数字扫描图像存入计算机的计算存储服务后端中的全片图像数据库中；
A3.上述计算机读入涂片扫描仪获取的涂片数字化图像；
A4.使用支持细胞数据的目标检测/分割算法对多分辨率的数字扫描图像进行预处理，获得各单细胞的位置信息并存入计算机的计算存储服务后端中的单细胞图像数据库；
A5.使用目标检测和分割算法对上述涂片数字化显微图像中的细胞进行定位，并将涂片扫描的数字化图像与显微镜光学视野进行位置配准处理；
A6.将单细胞图像数据库中该区域内的数字信息传入改装过的无目镜显微镜中的透明LED显示屏与显微镜视野进行叠加与融合显示；
A7.通过上述无目镜显微镜前端嵌入安装的透明LED显示屏，显示从计算机读取的数字图像，叠加到无目镜显微镜光学视野，配准形成同一切片的增强显示图像；
A8.在增强显示图像上进行数字图像操作，所述数字图像操作包括标签信息标注和/或视野移动操作，所述标签信息标注包括调焦、细胞选中和/或细胞类别；
A9.上述第A8步骤的标注结果实时反馈输入计算机，存入显微数字图像标注系统的后台数据库中，并同步呈现在无目镜显微镜嵌入的透明LED显示屏上；
上述第A1～A3步骤为标注方法中的扫描阶段，上述第A4步骤为标注方法中的预处理阶段，上述第A5～A7步骤为标注方法中的准备阶段，上述第A8～A9步骤为标注方法中的标注阶段。
标签信息标注和/或视野移动操作方式为使用鼠标与计算机后端配合对显示视野区域进行后续的操作和控制。
图1所示扫描阶段包括如下扫描处理步骤：
B1.计算机10的控制单元11向扫描仪发20出扫描控制信号；
B2.扫描仪20对需要筛查辅助分析的细胞涂片21进行扫描，扫描获得数字扫描图像数据；
B3.计算机10将扫描获得数字扫描图像数据存入全片图像数据库12中。
图2所示预处理阶段包括如下步骤：
C1.计算机10对存入全片图像数据库12中具有数字扫描图像数据的图像块进行使用支持细胞数据的目标检测/分割模型13对数字扫描图像进行预处理，获得各单细胞的细胞边框/轮廓位置信息；
C2.将各单细胞的细胞边框/轮廓位置信息存入计算机10的计算存储服务后端中的单细胞图像数据库14中。
图3所示准备阶段包括如下配准和预加载步骤：
D1.计算机10对存入全片图像数据库12中的细胞涂片数字扫描图像数据进行位置配准算法15处理；
D2.计算机10将配准算法处理获得的各单细胞初始坐标信息存入计算机的计算存储服务后端中的单细胞图像数据库14中；
D3.计算机10将单细胞图像数据库14中该区域内的细胞边框/轮廓或已标注细胞标签传入改装过的无目镜显微镜中的透明LED显示屏31与显微镜视野进行叠加与融合显示；
D4.改装过的无目镜显微镜30将细胞涂片21的光学图像与计算机传入的细胞边框/轮廓或已标注细胞标签进行叠加与融合显示在透明LED显示屏31中；
图4所示标注阶段包括如下标注步骤
E1.标注人员40和/或专业细胞病理分析人员操作使用鼠标50在计算机上进行数字图像操作，将标注操作控制信号信息传入计算机10中的逻辑单元16；
E2.计算机中的逻辑单元16接收到鼠标操作传递过来的控制信号信息，向计算机中的控制单元11发出控制指令变换；
E3.控制单元11传递控制信号在增强显示图像上进行数字图像操作标注；E4.执行上述技术方案中第D3～第D4步骤；
E5.计算机10中的逻辑单元16接收到鼠标操作传递过来的控制信号信息，发出控制指令，将标注结果实时反馈输入计算机，存入显微数字图像标注系统的后台数据库中的单细胞图像数据库14中，并同步呈现在无目镜显微镜嵌入的透明LED显示屏31上；
E6.改装过的无目镜显微镜30将增强显示图像通过透明LED显示屏31输出视反馈至标注人员和/或专业细胞病理分析人员视野中；
上述标注步骤并非一定按上述步骤顺序严格执行，分步骤顺序描述仅为对标注过程的更方便描述，不做严格顺序执行依据，具体根据标注过程实际需求执行。
控制指令包括视野变换、查取视野变换后新的辅助信息/向对应条目中添加新的标注结果。
无目镜显微镜部分使用改装的无目镜显微镜，无目镜显微镜使用观察器替换了目镜，有了更大显示面积，无目镜显微镜的观察器较一般显微镜的目镜要大得多，方便进行相关的改装。具体改装为在其观察器前加装一块与计算机连接的透明LED显示屏，透明LED显示屏不影响工作人员对于细胞涂片的观察，不会对视野造成干扰，并能用于后续显示鼠标、细胞边框/边界、已标注细胞的结果与区域、以及标注时的标签列表，作为显示辅助视野的必要设备，方便工作人员在不把视野从无目镜显微镜中移开的情况下高效正确地进行细胞的标注以及对当前标注进度和结果的了解；并将用于视野调整的机械装置，即调焦滚轮和载玻台控制旋钮，改装为能够接受来自计算机的控制信号而工作的方式。从而将无目镜显微镜与计算机连接，无目镜显微镜从计算机接受调整视野的控制信号、输入透明LED显示屏的数字图像信息。扫描仪则与计算机连接，用于接受来自计算机特定控制单元发出的对扫描仪的扫描/传输工作的控制信号，并将扫描得到的数据传输给计算机。数字和光学双源数据的获取、预处理、配准、融合、操作流程如下。将扫描仪与计算机进行连接，对细胞涂片进行扫描，将扫描图像存入计算机的计算存储服务后端中的全片图像数据库。之后对全片图像切块，并通过软件内的基于例如CascadeRCNN/MaskRCNN等的目标检测/分割算法对扫描图像进行预处理，得到各个单细胞的边框/边界位置信息，并存入计算机的计算存储服务后端中的单细胞图像数据库中。之后将细胞涂片置于无目镜显微镜下，通过将无目镜显微镜当前获取到的光学视野与全片图像数据库中扫描图像进行位置校准，得到当前光学视野对应的坐标值，将无目镜显微镜光学视野图像与数字图像位置配准后，得到当前光学视野的数字坐标位置，系统预加载当前视野坐标范围内所属的细胞边框/轮廓信息、标签信息，和鼠标图案一起传入改装后的无目镜显微镜，显示在嵌入的透明LED屏上，即可以在不遮挡的情况下与显微光学视野进行叠加融合显示，并使得后续可视野变化后依然可以正确实时加载光学视野对应区域的细胞信息，以保持能够正确进行视野的融合和基于视野进行标注操作的工作状态。在视野融合后，可在视野上使用鼠标进行一系列的操作，包括通过鼠标的移动进行无目镜显微镜视野的移动、通过鼠标滚轮的滑动实现无目镜显微镜视野焦距的调整、通过鼠标的点击进行透明LED屏上细胞的选中和标注并将新标签存入单细胞图像数据库对应细胞的条目中，其实现方式为计算机通过特定的逻辑单元接受鼠标的操作信号并加以区别，再通过控制单元向无目镜显微镜发出变换视野操作的控制信号，以及从单细胞图像数据库中取出视野变化后新的辅助数字信息传入无目镜显微镜的透明LED显示屏中。以此计算机通过维护单细胞图像数据库以及控制单元、逻辑单元的工作满足双源数据融合后的操作。
实施例2：
图5所示的实施例中，一种融合扫描数据和光学图像显示的细胞数据标注系统，其特征在于：包括实施例1所述的计算机10、扫描仪20和改装过的无目镜显微镜30，所述改装过的无目镜显微镜采用为在无目镜显微镜的观察器35前添加一块与计算机连接的透明LED显示屏31，透明LED显示屏31通过HDMI接口连接与计算机相连接，该透明LED显示屏31不影响使用无目镜显微镜观察时标注人员的正常光学视野，用于在当前视野内显示与光学视野配准叠加的数字图像信息，进行视野的叠加和图像的融合显示；无目镜显微镜的载玻板33和调焦滚轮34分别与计算机10连接，用于接受来自计算机的控制信号，计算机的驱动控制单元和鼠标控制驱动无目镜显微镜的载玻板和调焦滚轮，计算机的驱动控制单元可为具有现有技术中的控制鼠标运行控制硬件与控制软件；扫描仪20与计算机10连接，用于传输多焦距的数字扫描图像给计算机进行预处理。载玻板33和调焦滚轮34为无目镜显微镜的机械控制部件32部分，其他同实施例1相同。
采用数字和光学双源数据的获取、预处理、配准、融合、操作流程；计算机接受扫描仪输入的多焦距数字扫描图像，存入计算机的计算存储服务后端中的全片图像数据库，之后使用进行目标检测/分割方法进行预处理，得到各个细胞的细胞边框/轮廓位置信息，存入计算机的计算存储服务后端中的单细胞图像数据库；将无目镜显微镜光学视野图像与数字扫描图像位置配准后，得到当前光学视野的数字坐标位置，系统预加载当前视野坐标范围内所属的细胞边框/轮廓信息、标签信息，和鼠标图案一起传入改装后的无目镜显微镜，显示在嵌入的透明LED显示屏上，与显微光学视野进行叠加融合显示；之后标注人员人工可在融合视野下，使用鼠标进行操作，通过鼠标的移动进行无目镜显微镜视野的移动、通过鼠标滚轮的滑动实现无目镜显微镜视野焦距的调整、通过鼠标的点击进行透明LED屏上细胞的选中和标注并将新标签存入单细胞图像数据库；随着视野的变化和标注的进行，系统实时地更新加载新对应的细胞边框/轮廓和标签信息，用以辅助标注。通过无目镜显微镜各控制硬件和计算机的连接，使得其可以接受来及计算机的电子控制信号而非只能手工操作，之后由鼠标和相应驱动完成无目镜显微镜视野的移动、无目镜显微镜视野焦距的调整、透明LED屏上细胞的选中和标注。由此可执行的操作设计形成一种高效的闭环标注流程。其具体为在数字图像和光学视野位置配准后，标注人员先由无目镜显微镜观察双视野融合的涂片图像，视野内包括细胞的光学图像和透明LED上覆盖显示的细胞边框/轮廓，标注人员通过控制透明LED上的显示的鼠标控制无目镜显微镜并点击选中单细胞图像块，在弹出的类别标签种进行选择；之后系统将标注的类别结果存入单细胞图像数据库，与相应细胞对应；之后将该已标注的细胞的类别信息同步显示在视野内并改变该细胞图像色块以示提醒；之后标注人员即可继续标注周围提示未标注的细胞；当需要切换视野时，在使用鼠标进行视野变化后，重新进行新视野区域下的辅助数字信息的加载，与新的光学视野融合，继续观察并标注。
在本发明位置关系描述中，出现诸如术语“内”、“外”、“上”、“下”、“左”、“右”等指示方位或者位置关系的为基于附图所示的方位或位置关系，仅是为了方便描述实施例和简化描述，而不是指示或暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上内容和结构描述了本发明产品的基本原理、主要特征和本发明的优点，本行业的技术人员应该了解。上述实例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都属于要求保护的本发明范围之内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种融合扫描数据和光学图像显示的细胞数据标注方法，其特征在于：包括如下步骤
A1、使用改装过的无目镜显微镜，在无目镜显微镜观察器后嵌入透明LED显示屏，将此透明LED显示屏连接到配备涂片扫描仪的计算机；
A2、 把涂片扫描仪扫描得到的数字扫描图像存入计算机的计算存储服务后端中的全片图像数据库中；
A3、上述计算机读入涂片扫描仪获取的涂片数字化图像；
A4、 使用支持细胞数据的目标检测/分割算法对多分辨率的数字扫描图像进行预处理，获得各单细胞的位置信息并存入计算机的计算存储服务后端中的单细胞图像数据库；
A5、使用目标检测和分割算法对上述涂片数字化显微图像中的细胞进行定位，并将涂片扫描的数字化图像与显微镜光学视野进行位置配准处理；
A6、 将A4步骤存入单细胞图像数据库中的数字信息传入改装过的无目镜显微镜中的透明LED显示屏与无目镜显微镜视野进行叠加与融合显示；
A7、通过上述无目镜显微镜前端嵌入安装的透明LED显示屏，显示从计算机读取的数字图像，叠加到无目镜显微镜光学视野，配准形成同一切片的增强显示图像；
A8、 在增强显示图像上进行数字图像操作，所述数字图像操作包括标签信息标注和/或视野移动操作，所述标签信息标注包括调焦、细胞选中和/或细胞类别；
A9、 上述第A8步骤的标注结果实时反馈输入计算机，存入显微数字图像标注系统的后台数据库中，并同步呈现在无目镜显微镜嵌入的透明LED显示屏上；
上述第A1～A3步骤为标注方法中的扫描阶段，上述第A4步骤为标注方法中的预处理阶段，上述第A5～A7步骤为标注方法中的准备阶段，上述第A8～A9步骤为标注方法中的标注阶段。
2.按照权利要求1所述的融合扫描数据和光学图像显示的细胞数据标注方法，其特征在于：所述的标签信息标注和/或视野移动操作方式为使用鼠标与计算机后端配合对显示视野区域进行后续的操作和控制。
3.按照权利要求1所述的融合扫描数据和光学图像显示的细胞数据标注方法，其特征在于：所述的扫描阶段包括如下扫描处理步骤
B1、计算机控制单元向扫描仪发出扫描控制信号；
B2、扫描仪对需要筛查辅助分析的细胞涂片进行扫描，扫描获得数字扫描图像数据；
B3、计算机将扫描获得数字扫描图像数据存入全片图像数据库中。
4.按照权利要求1所述的融合扫描数据和光学图像显示的细胞数据标注方法，其特征在于：所述的预处理阶段包括如下步骤
C1、计算机对存入全片图像数据库中具有数字扫描图像数据的图像块进行使用支持细胞数据的目标检测/分割模型对数字扫描图像进行预处理，获得各单细胞的细胞边框/轮廓位置信息；
C2、将各单细胞的细胞边框/轮廓位置信息存入计算机的计算存储服务后端中的单细胞图像数据库中。
5.按照权利要求1所述的融合扫描数据和光学图像显示的细胞数据标注方法，其特征在于：所述的准备阶段包括如下配准和预加载步骤
D1、计算机对存入全片图像数据库中的细胞涂片数字扫描图像数据进行位置配准算法处理；
D2、计算机将配准算法处理获得的各单细胞初始坐标信息存入计算机的计算存储服务后端中的单细胞图像数据库中；
D3、计算机将D2步骤存入单细胞图像数据库中各单细胞的细胞边框/轮廓或已标注细胞标签传入改装过的无目镜显微镜中的透明LED显示屏与无目镜显微镜视野进行叠加与融合显示；
D4、改装过的无目镜显微镜将细胞涂片的光学图像与计算机传入的细胞边框/轮廓或已标注细胞标签进行叠加与融合显示在透明LED显示屏中。
6.按照权利要求5所述的融合扫描数据和光学图像显示的细胞数据标注方法，其特征在于：所述的标注阶段包括如下标注步骤
E1、标注人员和/或专业细胞病理分析人员操作使用鼠标在计算机上进行数字图像操作，将标注操作控制信号信息传入计算机中的逻辑单元；
E2、计算机中的逻辑单元接收到鼠标操作传递过来的控制信号信息，向计算机中的控制单元发出控制指令变换；
E3、控制单元传递控制信号在增强显示图像上进行数字图像操作标注；
E4、执行上述权利要求5中第D3～第D4步骤；
E5、计算机中的逻辑单元接收到鼠标操作传递过来的控制信号信息，发出控制指令，将标注结果实时反馈输入计算机，存入显微数字图像标注系统的后台数据库中的单细胞图像数据库中，并同步呈现在无目镜显微镜嵌入的透明LED显示屏上；
E6、改装过的无目镜显微镜将增强显示图像通过透明LED显示屏输出视反馈至标注人员和/或专业细胞病理分析人员视野中。
7.按照权利要求6所述的融合扫描数据和光学图像显示的细胞数据标注方法，其特征在于：所述的控制指令包括视野变换、查取视野变换后新的辅助信息/向对应条目中添加新的标注结果。
8.一种实现权利要求1～7之一所述标注方法的融合扫描数据和光学图像显示的细胞数据标注系统，其特征在于：包括计算机、扫描仪和改装过的无目镜显微镜，所述改装过的无目镜显微镜采用为在无目镜显微镜的观察器前添加一块与计算机连接的透明LED显示屏，该透明LED显示屏不影响使用显微镜观察时标注人员的正常光学视野，用于在当前视野内显示与光学视野配准叠加的数字图像信息，进行视野的叠加和图像的融合显示；无目镜显微镜的载玻板和调焦滚轮分别与计算机连接，用于接受来自计算机的控制信号，计算机的驱动控制单元鼠标控制驱动无目镜显微镜的载玻板和调焦滚轮；扫描仪与计算机连接，用于传输多焦距的数字扫描图像给计算机进行预处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010709446.7A CN112837261B (zh) | 2020-07-22 | 2020-07-22 | 融合扫描数据和光学图像显示的细胞数据标注方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010709446.7A CN112837261B (zh) | 2020-07-22 | 2020-07-22 | 融合扫描数据和光学图像显示的细胞数据标注方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112837261A CN112837261A (zh) | 2021-05-25 |
| CN112837261B true CN112837261B (zh) | 2022-11-11 |
Family
ID=75923199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010709446.7A Active CN112837261B (zh) | 2020-07-22 | 2020-07-22 | 融合扫描数据和光学图像显示的细胞数据标注方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112837261B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018158946A1 (ja) * | 2017-03-03 | 2018-09-07 | 株式会社島津製作所 | 細胞観察装置 |
| CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技（武汉）有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
| CN110490971A (zh) * | 2019-08-16 | 2019-11-22 | 浙江树人学院（浙江树人大学） | 一种生物显微镜下细胞动态特征三维图像重建的方法 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10643396B2 (en) * | 2016-11-11 | 2020-05-05 | Microbrightfield, Inc. | Methods and software for creating a 3D image from images of multiple histological sections and for mapping anatomical information from a reference atlas to a histological image |
-
2020
- 2020-07-22 CN CN202010709446.7A patent/CN112837261B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018158946A1 (ja) * | 2017-03-03 | 2018-09-07 | 株式会社島津製作所 | 細胞観察装置 |
| CN108982500A (zh) * | 2018-07-03 | 2018-12-11 | 怀光智能科技（武汉）有限公司 | 一种宫颈液基细胞学智能辅助阅片方法和系统 |
| CN110490971A (zh) * | 2019-08-16 | 2019-11-22 | 浙江树人学院（浙江树人大学） | 一种生物显微镜下细胞动态特征三维图像重建的方法 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112837261A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5128154B2 (ja) | レポート作成支援装置、レポート作成支援方法およびそのプログラム | |
| JP2021063819A (ja) | 包括的なマルチアッセイ組織分析のためのシステムおよび方法 | |
| CN102704215B (zh) | 基于dst文件解析与机器视觉结合的绣布自动切割方法 | |
| JP6336391B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN103649961A (zh) | 对图像数据中的发现的解剖学标记的方法 | |
| CN103635909A (zh) | 对系列研究的图像数据中的发现的解剖学标记 | |
| CN104885126B (zh) | 感兴趣组织的计算机辅助识别 | |
| CN107209092A (zh) | 用于中间解剖的系统和方法 | |
| CN103733200B (zh) | 由带有解剖学标记临床管理促进的检查审阅 | |
| CN111476776B (zh) | 胸部病灶位置确定方法、系统、可读存储介质和设备 | |
| CN112767370B (zh) | 基于图像配准的目标区域标注方法 | |
| CN111504885A (zh) | 一种基于机器视觉的全自动血涂片形态分析装置 | |
| CN103610444B (zh) | 用于舌诊仪的多点立体舌像采集装置 | |
| CN112614573A (zh) | 基于病理图像标注工具的深度学习模型训练方法及装置 | |
| CN116152185A (zh) | 一种基于深度学习的胃癌病理诊断系统 | |
| Wang et al. | Unsupervised domain adaptation model for lesion detection in retinal OCT images | |
| CN112270684B (zh) | 一种显微图像免疫组化虚拟多重标记及分析方法及系统 | |
| CN112837261B (zh) | 融合扫描数据和光学图像显示的细胞数据标注方法、系统 | |
| CN116779093A (zh) | 一种医学影像结构化报告的生成方法、装置和计算机设备 | |
| CN116993790A (zh) | 一种种植导航配准方法、系统和存储介质 | |
| CN115880266B (zh) | 一种基于深度学习的肠道息肉检测系统和方法 | |
| CN115629072A (zh) | 一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置 | |
| CN115690207A (zh) | 一种基于头部临床影像的自动定位方法及装置 | |
| CN114202510A (zh) | 显微镜下病理切片图像智能分析系统 | |
| CN115188413A (zh) | 一种染色体核型分析模块 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zheng Nenggan Inventor after: Jiang Yangbo Inventor after: Jiang Zhiwei Inventor after: An Dong Inventor after: Zhang Hao Inventor before: Zheng Nenggan Inventor before: Zhang Hao Inventor before: Jiang Yangbo Inventor before: An Dong Inventor before: Jiang Zhiwei |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |