CN110736747B - 一种细胞液基涂片镜下定位的方法及系统 - Google Patents
一种细胞液基涂片镜下定位的方法及系统 Download PDFInfo
- Publication number
- CN110736747B CN110736747B CN201910826153.4A CN201910826153A CN110736747B CN 110736747 B CN110736747 B CN 110736747B CN 201910826153 A CN201910826153 A CN 201910826153A CN 110736747 B CN110736747 B CN 110736747B
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- digital image
- under
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000007788 liquid Substances 0.000 title claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 44
- 239000012530 fluid Substances 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000001575 pathological effect Effects 0.000 claims description 11
- 230000002380 cytological effect Effects 0.000 claims description 8
- 235000002566 Capsicum Nutrition 0.000 claims description 7
- 239000006002 Pepper Substances 0.000 claims description 7
- 241000722363 Piper Species 0.000 claims description 7
- 235000016761 Piper aduncum Nutrition 0.000 claims description 7
- 235000017804 Piper guineense Nutrition 0.000 claims description 7
- 235000008184 Piper nigrum Nutrition 0.000 claims description 7
- 150000003839 salts Chemical class 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000001086 cytosolic effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000001000 micrograph Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 17
- 238000013135 deep learning Methods 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 183
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 206010008342 Cervix carcinoma Diseases 0.000 description 7
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 7
- 201000010881 cervical cancer Diseases 0.000 description 7
- 238000004195 computer-aided diagnosis Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 4
- QTBSBXVTEAMEQO-UHFFFAOYSA-N Acetic acid Chemical compound CC(O)=O QTBSBXVTEAMEQO-UHFFFAOYSA-N 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 210000000172 cytosol Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 229910052740 iodine Inorganic materials 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011630 iodine Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种细胞液基涂片镜下定位的方法及系统，本发明实施例针对细胞液基涂片，引入图像配准概念，将深度学习应用到图像配准中，匹配电子显微镜实时获取的镜下图像与阅片系统采集的图像，从而实现在镜下的准确定位目标细胞，使得目标细胞位于镜下视野中间位置。更进一步地，还提出了电子显微镜对焦调节的方法，针对镜下图像不同区域的对焦差异，在镜下视野定位到目标细胞后，根据镜下区域图像模糊程度判读及精准对焦，从而减少手动对焦的过程。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种细胞液基涂片镜下定位的方法及系统。
背景技术
宫颈癌是一种可预防及可治愈的疾病。宫颈癌的筛查方法分为：细胞学检查、醋酸或碘染色法、及HPV-DNA检测三类，其中细胞学检查是最普遍、最经济、最有效、及副作用最小的早期宫颈癌筛查方法，特别适合针对风险人群的大规模体检。使用这一方法，可以大大提高宫颈癌的早期诊断率，使宫颈癌的死亡率明显下降。
目前，细胞学医生较为匮乏，医生由于疲劳、技能水平及主观判读等因素造成检查过高的假阴性。因此，在细胞学检查中引入了计算机辅助诊断，计算机辅助诊断对于早期诊断有着很大的意义，它可以在很大程度上增加癌症诊断的准确率。计算机辅助诊断将采集图像中的色彩纹理和眼睛无法捕捉到的信息形成数据呈现出来，对医生进行病理诊断有很重要的参考价值，从而成为临床诊断的一个重要方法。细胞的分类是建立计算机辅助诊断系统的核心。通过融合数据驱动和细胞领域知识的机制精确快速的进行细胞的分类，将人工智能与细胞学相结合，让人工智能有效的辅助医生筛查，提高准确率，实现宫颈细胞癌计算机辅助诊断，降低检查的假阴性和假阳性。
在采用计算机辅助诊断系统诊断细胞时，制作细胞液基涂片，并采集该图片的数字图像及显微镜下图像进行分析判断，从而得到更多的诊断信息，提高医学诊断和治疗水平。将数字图像和镜下图像严格对齐，在医疗影像领域称为图像的配准。随着科学技术的发展，在很多不同领域都有大量图像配准技术的研究，如遥感图像处理、模式识别、自动导航、医学诊断、计算机视觉等。医学图像配准是指对于一幅医学图像寻找一种或一系列空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。图像配准在应用上可以粗略分为四类：多模态配准、模板配准、观察点配准、时间序列配准。其中，观察点配准是对从不同观察点获得的图像进行配准，数字图像与镜下图像的配准使用的正是观察点配准。
随着计算机辅助诊断系统的发展，人机交互更加友好，计算机辅助诊断系统中的阅片系统在检测出阳性细胞后，会给出当前细胞位置并指导显微镜定位细胞。细胞镜下定位技术已经基本实现，但是同样存在两个挑战。第一，阅片系统获取数字图像后，并不会随着显微镜下图像实时更新，此时可能由于人为拨动或设备震动原因，镜下的涂片会有小范围的移动、旋转，对应到镜下图像中可能会使得目标细胞偏离视野中心范围，以至于阅片系统提供的坐标无法与镜下图像中的实际位置对应。第二，由于细胞液基涂片存在一定厚度，显微镜对焦点往往无法做到全部覆盖，镜下视野移动到感兴趣细胞后，可能会由于对焦问题无法清晰显示出镜下图像。
因此，如何保证细胞液基涂片在镜下准确定位到目标细胞，且保证镜下的图像清晰是一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供的一种细胞液基涂片镜下定位的方法，该方法针对细胞液基涂片，能够在镜下准确定位。
本发明实施例提供的一种细胞液基涂片镜下定位的系统，该系统针对细胞液基涂片，能够在镜下准确定位。
本发明实施例是这样实现的：
一种细胞液基涂片镜下定位的方法，包括：
扫描细胞液基涂片，得到数字图像并进行预处理；
检测所述数字图像，得到所述数字图像中的每个细胞的定位信息；
对所述数字图像中的每个细胞进行分级识别，得到每个细胞的分级信息；
基于每个细胞的分级信息，确定目标细胞，基于目标细胞的定位信息，对所述数字图像在电子显微镜的镜下进行图像配准，得到细胞液基涂片镜下图像。
所述扫描细胞液基涂片包括：使用扫描仪自动重叠式扫描细胞病理涂片，得到数字图像，并保存；
所述使用扫描仪自动重叠式扫描细胞病理涂片为：扫描采用显微目镜多倍放大，扫描窗口为矩形，扫描方式为重叠式扫描，扫描范围完全覆盖细胞液基涂片所在范围，允许出现病理细胞区域外的少量空白区域；
所述预处理包括：利用滤波器对数字图像的椒盐噪声及高斯噪声进行去噪，对数字图像结构边缘修复，增强数字图像中的细胞结构间的对比度。
所述检测得到图像中的每个细胞的定位信息是采用训练得到的第一区域卷积神经网络实现，包括：
对数字图像进行粗分割，从背景区域中提取出细胞所在区域；
在粗分割的基础上，使用第一区域卷积神经网络中的快速区域卷积神经网络进行细分割，提取出单个细胞；
根据邻域细胞位置关系判断单个细胞是否存在于团簇中，如果是，则完成单个细胞的有效分割；如果不是，则进行细胞质区域的分割。
所述分级识别是采用训练得到的第二卷积神经网络实现的，包括：
基于每个细胞的特征信息确定其类别，类别包括阴阳两个类别，当被判定为阳性类别时，再进行分级；
从数字图像中采集其中的每个细胞的特征信息，将每个细胞的特征信息输入到第二卷积神经网络中，基于每个细胞的特征信息确定其分级信息。
该方法还包括：将得到每个细胞的分级信息输出。
所述进行图像配准是采用训练得到的第三卷积神经网络及图像配准特征点方式的融合进行精准匹配的，将目标细胞定位到镜下的视野中间位置上。
基于细胞液基涂片镜下图像，进行电子显微镜的精准对焦；
所述精准对焦是采用设置的第四卷积神经神经网络实现的，该第四卷积神经网络根据输入的不同焦距下的镜下图像，判断焦距调整方向并对显微镜进行微调，实现镜下视野精准对焦结果。
一种细胞液基涂片镜下定位的系统，包括：细胞图像采集模块、细胞图像预处理模块、细胞图像检测模块、分级识别模块及细胞镜下定位配准模块，其中，
细胞图像采集模块，用于扫描细胞液基涂片，得到数字图像；
细胞图像预处理模块，用于对得到的数字图像进行预处理；
细胞图像检测模块，用于检测所述数字图像，得到数字图像中的每个细胞的定位信息；
分级识别模块，用于对所述数字图像中的每个细胞进行分级识别，得到每个细胞的分级信息；
细胞镜下定位配准模块，用于基于每个细胞的分级信息，确定目标细胞，基于目标细胞的定位信息，对所述数字图像在电子显微镜的镜下进行图像配准，得到细胞液基涂片镜下图像。
所述系统还包括：
显微镜精准对焦模块，用于基于细胞液基涂片镜下图像，进行电子显微镜的精准对焦。
所述细胞图像采集模块，还用于在扫描细胞液基涂片时使用扫描仪自动重叠式扫描细胞病理涂片，得到数字图像，并保存；
所述细胞图像预处理模块，还用于预处理是利用滤波器对数字图像的椒盐噪声及高斯噪声进行去噪，对数字图像结构边缘修复，增强数字图像中的细胞结构间的对比度；
所述细胞图像检测模块，还用于检测得到图像中的每个细胞的定位信息是采用训练得到的第一区域卷积神经网络实现的；
所述分级识别模块，还用于所述分级识别是采用训练得到的第二卷积神经网络实现的，包括：从数字图像中采集其中的每个细胞的特征信息，将每个细胞的特征信息输入到第二卷积神经网络中，基于每个细胞的特征信息确定其分级信息；
所述细胞镜下定位配准模块，还用于所述进行图像配准是采用训练得到的第三卷积神经网络及图像配准特征点方式的融合进行精准匹配的。
如上可见，本发明实施例针对细胞液基涂片，引入图像配准概念，将深度学习应用到图像配准中，匹配电子显微镜实时获取的镜下图像与阅片系统采集的图像，从而实现在镜下的准确定位目标细胞，使得目标细胞位于镜下视野中间位置。更进一步地，还提出了电子显微镜对焦调节的方法，针对镜下图像不同区域的对焦差异，在镜下视野定位到目标细胞后，根据镜下区域图像模糊程度判读及精准对焦，从而减少手动对焦的过程。
附图说明
图1为本发明实施例提供的细胞液基涂片镜下定位的方法流程图；
图2为本发明实施例提供的细胞液基涂片镜下定位的系统结构示意图；
图3为本发明实施例提供的细胞液基涂片镜下精准定位的系统具体例子示意图；
图4为本发明实施例采用的VGG16模型的结构示意图；
图5为本发明实施例提供的细胞镜下定位配准模型的执行过程示意图；
图6为本发明实施例提供的显微镜精准对焦模块的执行过程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
本发明实施例为了保证细胞液基涂片在镜下准确定位到目标细胞，且保证镜下的图像清晰，针对细胞液基涂片，引入图像配准概念，将深度学习应用到图像配准中，匹配电子显微镜实时获取的镜下图像与阅片系统采集的图像，从而实现在镜下的准确定位目标细胞，使得目标细胞位于镜下视野中间位置。
更进一步地，还提出了电子显微镜对焦调节的方法，针对镜下图像不同区域的对焦差异，在镜下视野定位到目标细胞后，根据镜下区域图像模糊程度判读及精准对焦，从而减少手动对焦的过程。
在本发明实施例中，所诊断的细胞可以为宫颈细胞，所制作的细胞液基涂片为宫颈细胞液基涂片，根据所检测的结果确定宫颈癌的可能性。
图1为本发明实施例提供的细胞液基涂片镜下定位的方法流程图，其具体步骤为：
步骤101、扫描细胞液基涂片，得到数字图像并进行预处理；
步骤102、检测所述数字图像，得到所述数字图像中的每个细胞的定位信息；
步骤103、对所述数字图像中的每个细胞进行分级识别，得到每个细胞的分级信息；
步骤104、基于每个细胞的分级信息，确定目标细胞，基于目标细胞的定位信息，对所述数字图像在电子显微镜的镜下进行图像配准，得到细胞液基涂片镜下图像。
在该方法中，步骤101扫描细胞液基涂片包括：使用扫描仪自动重叠式扫描细胞病理涂片，得到数字图像，并保存。在保存时，可以保存到本地。具体地说，扫描需要采用显微目镜多倍放大，扫描窗口为矩形，扫描方式为重叠式扫描，扫描范围应完全覆盖细胞液基涂片所在范围，允许出现病理细胞区域外的少量空白区域。
在该方法中，步骤101的预处理包括：利用滤波器处理数字图像切片，以减少数字图像生成和运输过程中产生的噪声。具体地说，利用滤波器对数字图像进行去噪，滤波器的构成要同时考虑数字图像噪声特点，一个是图像生成过程中产生的椒盐噪声的处理，另一个是图像传输过程中产生的高斯噪声的处理。同时结合细胞病理特点，利用形态学方法对图像中结构边缘进行修复，最后使用直方图均衡化、灰度值拉伸等方式增强数字图像中的细胞结构间的对比度。
在该方法中，步骤102中检测得到图像中的每个细胞的定位信息是采用训练得到的第一区域卷积神经网络实现的，也就是将所述数字图像信息输入到训练得到的第一区域卷积神经网络中进行检测，得到其中的每个单个细胞的定位信息，包括单个细胞的坐标及尺寸。具体地说，检测过程为：
首先，对数字图像进行粗分割，从背景区域中提取出细胞所在区域；
其次，在粗分割的基础上，使用第一区域卷积神经网络中的快速区域卷积神经网络进行细分割，提取出单个细胞；
然后，根据细胞形态学等特点，筛选并确定细胞；
最后，根据邻域细胞位置关系判断细胞是否存在于团簇中，如果是，则结合病理细胞相关特点进行后处理，完成单个细胞的有效分割。如果不是，则使用活动轮廓模型和细胞形态学先验模型进行细胞质区域的分割。
在该方法中，步骤103所述分级识别是采用训练得到的第二卷积神经网络实现的，包括：从数字图像中采集其中的每个细胞的特征信息，将每个细胞的特征信息输入到第二卷积神经网络中，基于每个细胞的特征信息确定其分级信息。
在这里，在分级之前，先基于每个细胞的特征信息确定其类别，类别包括阴阳两个类别，当被判定为阳性类别时，再进行分级。所述每个细胞的特征信息为纹理信息或/和形态等信息。这样，定量给出细胞形态学数据，提高在细胞分级判别过程中数据的可读性和结果的可解释性。具体地说，以第二卷积神经网络为基础，融合病理细胞深度特征和形态学纹理特征，首先实现细胞的阴阳分类，若细胞判定为阴性则输出结果。若细胞判定为阳性，以细胞病理级别特征为指导，并且增加混淆级别的区分标准，将细胞准确定位到对应的级别。
在这里，该方法还包括：将得到每个细胞的分级信息输出，作为辅助判断的判定标准对判定结果进行补充。
在该方法中，步骤104所述进行图像配准是采用训练得到的第三卷积神经网络进行精准匹配的。在进行定位配准时，第三卷积神经网络融合了背景技术中的图像配准特征点提取方法和深度学习特征提取判别方法，根据不同特征点梯度变化，移动镜下视野范围，最终将目标细胞定位到视野中间位置上。
在该方法中，在步骤104之后，还包括：基于细胞液基涂片镜下图像，进行电子显微镜的精准对焦。具体地说，是采用第四卷积神经神经网络实现的，该第四卷积神经网络通过收集大量清晰焦距和模糊焦距下的图像数据进行构建及训练，根据输入的不同焦距下的镜下图像，判断焦距调整方向并对显微镜进行微调，实现镜下视野精准对焦结果。
图2为本发明实施例提供的细胞液基涂片镜下定位系统结构示意图，该系统包括：细胞图像采集模块、细胞图像预处理模块、细胞图像检测模块、分级识别模块及细胞镜下定位配准模块，其中，
细胞图像采集模块，用于扫描细胞液基涂片，得到数字图像；
细胞图像预处理模块，用于对得到的数字图像进行预处理；
细胞图像检测模块，用于检测所述数字图像，得到数字图像中的每个细胞的定位信息；
分级识别模块，用于对所述数字图像中的每个细胞进行分级识别，得到每个细胞的分级信息；
细胞镜下定位配准模块，用于基于每个细胞的分级信息，确定目标细胞，基于目标细胞的定位信息，对所述数字图像在电子显微镜的镜下进行图像配准，得到细胞液基涂片镜下图像。
在该系统中，还包括：显微镜精准对焦模块，用于基于细胞液基涂片镜下图像，进行电子显微镜的精准对焦。具体是采用第四卷积神经神经网络实现的。
在该系统中，细胞图像采集模块，还用于在扫描细胞液基涂片时使用扫描仪自动重叠式扫描细胞病理涂片，得到数字图像，并保存。
在该系统中，细胞图像预处理模块，还用于预处理是采用滤波器处理数字图像切片，以减少数字图像生成和运输过程中产生的噪声。
在该系统中，细胞图像检测模块，还用于检测得到图像中的每个细胞的定位信息是采用训练得到的第一区域卷积神经网络实现的。
在该系统中，分级识别模块，还用于所述分级识别是采用训练得到的第二卷积神经网络实现的，包括：从数字图像中采集其中的每个细胞的特征信息，将每个细胞的特征信息输入到第二卷积神经网络中，基于每个细胞的特征信息确定其分级信息。
在该系统中，细胞镜下定位配准模块，还用于所述进行图像配准是采用训练得到的第三卷积神经网络进行精准匹配的。
以检测宫颈细胞为例进行对本发明实施例进行详细说明。
图3为本发明实施例提供的宫颈细胞液基涂片镜下精准定位的系统具体例子示意图，具体包括：
宫颈细胞图像采集模块，使用扫描仪自动重叠式扫描宫颈细胞液基涂片，得到数字图像并保存到本地。在这里，需要采用40倍目镜放大，扫描窗口为矩形，扫描方式为重叠式扫描，扫描范围应完全覆盖宫颈细胞液基涂片所在范围，允许出现病理宫颈细胞区域外的少量空白区域。
宫颈细胞图像预处理模块，利用滤波器对数字图像进行去噪，滤波器的构成要同时考虑数字图像噪声特点，一个是图像生成过程中产生的椒盐噪声的处理，另一个是图像传输过程中产生的高斯噪声的处理。不同的噪声，根据其信号分布不同可以分为：高斯噪声、脉冲噪声、均匀噪声等。采用中值滤波方法处理数字图像生成过程中产生的椒盐噪声，采用高斯滤波方法处理图像传输过程中产生的高斯噪声。同时结合宫颈细胞病理特点，利用形态学方法对图像中结构边缘进行修复，最后使用直方图均衡化、灰度值拉伸等方法增强宫颈细胞结构间的对比度。
宫颈细胞图像检测模块的处理过程为：首先，对数字图像进行粗分割，从背景区域中提取出宫颈细胞所在区域；其次，在粗分割的基础上，使用快速区域卷积神经网络进行细分割，提取出单个宫颈细胞结构；然后，根据邻域宫颈细胞位置关系判断宫颈细胞是否存在于团簇中，如果是，结合宫颈细胞分割结果和病理宫颈细胞相关特点进行后处理，完成单个宫颈细胞的有效分割。如果不是，使用活动轮廓模型和宫颈细胞形态学先验模型进行宫颈细胞质区域的分割。最终，得到所述数字图像中的每个宫颈细胞的定位信息。
分级识别模块，用于对单个宫颈细胞进行分级识别，在解决宫颈细胞判别为阴阳两个类别的基础上，如果宫颈细胞判定为阳性，要进行分级识别。同时融合设置的第二卷积神经网络提取的特征和传统意义上提取的纹理、形态等特征，并结合宫颈细胞病理独有的特点，将容易混淆的级别加以区分，最终准确给出宫颈细胞所属病理级别。此外，基于分级识别模块会给定宫颈细胞具体所属的级别，同时定量的计算出宫颈癌细胞形态学数据，作为辅助诊断的判定标准对判定结果进行补充。本发明实施例以VGG模型或resnet模型等为基础创建第二卷积神经网络进行分类。图4为本发明实施例采用的VGG16模型的结构示意图，输入数字图像块大小为256*256，然后标准化大小到224*224并输入到VGG模型中，最终得到分类结果。
宫颈细胞镜下定位配准模块，具体将目标宫颈细胞周围区域图像与电子显微镜下获取的实时图像进行配准。如图5所示，图5为本发明实施例提供的宫颈细胞镜下定位配准模型的执行过程示意图，具体包括：首先，要同时扫描得到的数字图像和镜下图像进行切分；其次，配准切分后图像，该模块同时结合了背景技术中的图像配准方法和设置的第三卷积神经网络，其中，背景技术中的图像配准方法基于特征点的提取，数字图像的离散形式由尺度参数的离散化表示，即尺度空间由一系列离散化的不同分辨率的图像构成，因此，尺度空间可以由图像与高斯核函数卷积构成，二维高斯函数定义为：
进而，一幅数字图像的多尺度空间定义为L(x,y,σ)，则以高斯核函数和输入数字图像I(x,y)表示为，
L(x,y,σ)＝I(x,y)*G(x,y,σ)
其中，(x,y)表示图像像素位置，σ为尺度空间因子。每一层Ip＝G(x,y,kpσ)*I,p＝1,…,s,且k2＝2，根据高斯函数的性质可得，
Ip+1＝G(·,σp)*Ip＝G(x,y,σp)*G(x,y,kpσ)*I＝G(x,y,kp+1σ)*I
所以，G(x,y,kp+1σ)＝G(x,y,σp)*G(x,y,kpσ)，从而得到，
使用高斯函数差分与数字图像进行卷积并选取尺度空间极值作为兴趣点，同时选取特征点。在确定了特征点的位置和尺度后,提取特征点的方位信息。角度分配是基于图像局部特性描述特征点的方位信息,使特征描述符对数字图像旋转保持不变。对每个特征点都分配了位置、尺度和方向信息,在匹配时可以保证这些特征点对数字图像的二维几何变换保持不变。最后，利用特征点的特征描述符向量之间的欧式距离作为特征点的匹配度量,欧式距离最小的两个特征点可以认为是匹配的候选点对。
此外，利用训练得到的第三卷积神经网络进行特征点的提取，卷积神经网络最大的优势是可以提取出数字图像中的隐藏特征点，特征点提取后，筛选对数字图像配准有利的前10个特征点，与背景技术中的图像配准方法进行融合。最后，根据计算出的特征点匹配方向，移动显微镜视野，将目标宫颈细胞置于中间位置即可。
显微镜精准对焦模块，用于获取目标视野后显微镜自动对焦。图6为本发明实施例提供的显微镜精准对焦模块的执行过程示意图，如图所示，该模块通过收集大量清晰焦距和模糊焦距下的数字图像数据，构建第四卷积神经网络。具体地说，首先，将获取的镜下图像块进行预处理。然后，将处理后图像输入到所建立的第四卷积神经网络中，根据反馈判断是否继续调整焦距，如果遇到模糊对焦，计算调整参数微调焦距。最后，指导显微镜对焦，直到第四卷积神经网络判断焦距正常，停止对焦调整。
从本发明实施例提供的方法及系统，可以看出，本发明实施例具有以下技术效果：
1)对于图像配准后的镜下定位结果，医生可以更加方便、快速的找到目标细胞。图像配准后的坐标信息可以使显微镜将目标细胞精确定位在镜下视野中间位置，医生可以更容易在显微镜中找到细胞，节省了在视野中寻找细胞的时间，同时避免医生手动调节显微镜从而丢失视野。
2)对于精准对焦后的结果，医生可以及时获得清晰、有效的镜下视野。显微镜对于涂片的扫描过程中很难做到全面对焦，当镜下视野移动到目标细胞时，可能需要医生再次调节焦距，而且调节焦距的过程会占用镜下观察的大部分时间。因此，涂片精准对焦可以使医生的诊断更加快速、准确。
3)细胞液基涂片镜下配准和精准对焦的配合应用，可以彻底替代医生镜下观察时的显微镜操作过程。医生在阅片系统上确定目标细胞后，显微镜自动将细胞精准定位到视野中间位置并调节焦距，很大程度上节省了医生时间。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (6)
1.一种细胞液基涂片镜下定位的方法，其特征在于，包括：
扫描细胞液基涂片，得到数字图像并进行预处理；
检测所述数字图像，得到所述数字图像中的每个细胞的定位信息；
对所述数字图像中的每个细胞进行分级识别，得到每个细胞的分级信息；
基于每个细胞的分级信息，确定目标细胞，基于目标细胞的定位信息，对所述数字图像在电子显微镜的镜下进行图像配准，得到细胞液基涂片镜下图像；
还包括：基于细胞液基涂片镜下图像，进行电子显微镜的精准对焦；
所述精准对焦是采用设置的第四卷积神经神经网络实现的，该第四卷积神经网络根据输入的不同焦距下的镜下图像，判断焦距调整方向并对显微镜进行微调，实现镜下视野精准对焦结果；
所述分级识别是采用训练得到的第二卷积神经网络实现的，包括：
基于每个细胞的特征信息确定其类别，类别包括阴阳两个类别，当被判定为阳性类别时，再进行分级；
从数字图像中采集其中的每个细胞的特征信息，将每个细胞的特征信息输入到第二卷积神经网络中，基于每个细胞的特征信息确定其分级信息；
所述进行图像配准是采用训练得到的第三卷积神经网络及图像配准特征点方式的融合进行精准匹配，将目标细胞定位到镜下的视野中间位置上。
2.如权利要求1所述的方法，其特征在于，所述扫描细胞液基涂片包括：使用扫描仪自动重叠式扫描细胞病理涂片，得到数字图像，并保存；
所述使用扫描仪自动重叠式扫描细胞病理涂片为：扫描采用显微目镜多倍放大，扫描窗口为矩形，扫描方式为重叠式扫描，扫描范围完全覆盖细胞液基涂片所在范围，允许出现病理细胞区域外的少量空白区域；
所述预处理包括：利用滤波器对数字图像的椒盐噪声及高斯噪声进行去噪，对数字图像结构边缘修复，增强数字图像中的细胞结构间的对比度。
3.如权利要求1所述的方法，其特征在于，所述检测得到图像中的每个细胞的定位信息是采用训练得到的第一区域卷积神经网络实现，包括：
对数字图像进行粗分割，从背景区域中提取出细胞所在区域；
在粗分割的基础上，使用第一区域卷积神经网络中的快速区域卷积神经网络进行细分割，提取出单个细胞；
根据邻域细胞位置关系判断单个细胞是否存在于团簇中，如果是，则完成单个细胞的有效分割；如果不是，则进行细胞质区域的分割。
4.如权利要求1所述的方法，其特征在于，该方法还包括：将得到每个细胞的分级信息输出。
5.一种细胞液基涂片镜下定位的系统，其特征在于，包括：细胞图像采集模块、细胞图像预处理模块、细胞图像检测模块、分级识别模块及细胞镜下定位配准模块，其中，
细胞图像采集模块，用于扫描细胞液基涂片，得到数字图像；
细胞图像预处理模块，用于对得到的数字图像进行预处理；
细胞图像检测模块，用于检测所述数字图像，得到数字图像中的每个细胞的定位信息；
分级识别模块，用于对所述数字图像中的每个细胞进行分级识别，得到每个细胞的分级信息；
细胞镜下定位配准模块，用于基于每个细胞的分级信息，确定目标细胞，基于目标细胞的定位信息，对所述数字图像在电子显微镜的镜下进行图像配准，得到细胞液基涂片镜下图像；
所述系统还包括：显微镜精准对焦模块，用于基于细胞液基涂片镜下图像，进行电子显微镜的精准对焦；所述精准对焦是采用设置的第四卷积神经神经网络实现的，该第四卷积神经网络根据输入的不同焦距下的镜下图像，判断焦距调整方向并对显微镜进行微调，实现镜下视野精准对焦结果；
所述分级识别是采用训练得到的第二卷积神经网络实现的，包括：从数字图像中采集其中的每个细胞的特征信息，将每个细胞的特征信息输入到第二卷积神经网络中，基于每个细胞的特征信息确定其分级信息；
所述进行图像配准是采用训练得到的第三卷积神经网络及图像配准特征点方式的融合进行精准匹配，将目标细胞定位到镜下的视野中间位置上。
6.如权利要求5所述的系统，其特征在于，
所述细胞图像采集模块，还用于在扫描细胞液基涂片时使用扫描仪自动重叠式扫描细胞病理涂片，得到数字图像，并保存；
所述细胞图像预处理模块，预处理是利用滤波器对数字图像的椒盐噪声及高斯噪声进行去噪，对数字图像结构边缘修复，增强数字图像中的细胞结构间的对比度；
所述细胞图像检测模块，检测得到图像中的每个细胞的定位信息是采用训练得到的第一区域卷积神经网络实现的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826153.4A CN110736747B (zh) | 2019-09-03 | 2019-09-03 | 一种细胞液基涂片镜下定位的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826153.4A CN110736747B (zh) | 2019-09-03 | 2019-09-03 | 一种细胞液基涂片镜下定位的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110736747A CN110736747A (zh) | 2020-01-31 |
| CN110736747B true CN110736747B (zh) | 2022-08-19 |
Family
ID=69267561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910826153.4A Active CN110736747B (zh) | 2019-09-03 | 2019-09-03 | 一种细胞液基涂片镜下定位的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110736747B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461165A (zh) * | 2020-02-26 | 2020-07-28 | 上海商汤智能科技有限公司 | 图像识别方法、识别模型的训练方法及相关装置、设备 |
| CN112069874B (zh) * | 2020-07-17 | 2022-07-05 | 中山大学 | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 |
| CN112001858A (zh) * | 2020-08-10 | 2020-11-27 | 深思考人工智能科技(上海)有限公司 | 一种细胞病理图像处理的方法及系统 |
| CN112330610B (zh) * | 2020-10-21 | 2024-03-29 | 郑州诚优成电子科技有限公司 | 一种基于微血管位置角膜内皮细胞计数采集精确定位方法 |
| CN112396583B (zh) * | 2020-11-18 | 2024-01-26 | 深思考人工智能机器人科技（北京）有限公司 | 一种基于巴氏染色方式的dna倍体定量分析的方法及系统 |
| CN112446427B (zh) * | 2020-11-27 | 2021-07-27 | 王伟佳 | 一种髓系血细胞识别方法、装置、存储介质和电子设备 |
| CN112750493B (zh) * | 2020-12-22 | 2024-05-03 | 深思考人工智能机器人科技（北京）有限公司 | 基于巴氏染色方式的dna倍体定量分析方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101194263A (zh) * | 2005-06-13 | 2008-06-04 | 三路影像公司 | 利用显微镜成像装置再定位载片上样品中的目标的系统和方法 |
| CN102682305A (zh) * | 2012-04-25 | 2012-09-19 | 深圳市迈科龙医疗设备有限公司 | 宫颈液基细胞学自动筛查方法和系统 |
| CN103430077A (zh) * | 2011-01-18 | 2013-12-04 | 体质医学股份有限公司 | 显微镜载玻片坐标系对齐 |
| CN105210083A (zh) * | 2013-03-15 | 2015-12-30 | 霍罗杰克股份有限公司 | 用于查验和分析细胞学标本的系统和方法 |
| CN107274386A (zh) * | 2017-05-18 | 2017-10-20 | 深思考人工智能机器人科技（北京）有限公司 | 一种宫颈细胞液基涂片人工智能辅助阅片系统 |
| CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
| CN109272492A (zh) * | 2018-08-24 | 2019-01-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞病理涂片的处理方法及系统 |
| CN109714519A (zh) * | 2017-10-25 | 2019-05-03 | 成都市极米科技有限公司 | 一种自动调整图像画面的方法和系统 |
| CN110060244A (zh) * | 2019-04-15 | 2019-07-26 | 深圳市麦迪普科技有限公司 | 基于深度学习神经网络的细胞检测与分割的系统和方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002040977A2 (en) * | 2000-11-17 | 2002-05-23 | Molecular Diagnostics, Inc. | Evaluation of microscope slides |
| CN102304472A (zh) * | 2011-05-18 | 2012-01-04 | 东华大学 | 一种快速检测痰涂片结核菌的装置与方法 |
| JP7072049B2 (ja) * | 2017-08-15 | 2022-05-19 | シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | コンボリューショナル・ニューラルを用いた、ホログラフィック顕微鏡で取得した細胞画像の品質の識別方法 |
-
2019
- 2019-09-03 CN CN201910826153.4A patent/CN110736747B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101194263A (zh) * | 2005-06-13 | 2008-06-04 | 三路影像公司 | 利用显微镜成像装置再定位载片上样品中的目标的系统和方法 |
| CN103430077A (zh) * | 2011-01-18 | 2013-12-04 | 体质医学股份有限公司 | 显微镜载玻片坐标系对齐 |
| CN102682305A (zh) * | 2012-04-25 | 2012-09-19 | 深圳市迈科龙医疗设备有限公司 | 宫颈液基细胞学自动筛查方法和系统 |
| CN105210083A (zh) * | 2013-03-15 | 2015-12-30 | 霍罗杰克股份有限公司 | 用于查验和分析细胞学标本的系统和方法 |
| CN107274386A (zh) * | 2017-05-18 | 2017-10-20 | 深思考人工智能机器人科技（北京）有限公司 | 一种宫颈细胞液基涂片人工智能辅助阅片系统 |
| CN109714519A (zh) * | 2017-10-25 | 2019-05-03 | 成都市极米科技有限公司 | 一种自动调整图像画面的方法和系统 |
| CN109272492A (zh) * | 2018-08-24 | 2019-01-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞病理涂片的处理方法及系统 |
| CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
| CN110060244A (zh) * | 2019-04-15 | 2019-07-26 | 深圳市麦迪普科技有限公司 | 基于深度学习神经网络的细胞检测与分割的系统和方法 |
Non-Patent Citations (5)
| Title |
|---|
| DeepPap：Deep Convolutional Networks for Cervical Cell Classification;Zhang Ling等;《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》;20171031;第21卷(第6期);第1633-1643页 * |
| Distinctive Image Features from Scale-Invariant Keypoints;DAVID G. LOWE;《International Journal of Computer Vision》;20041231;第60卷(第2期);第91-110页 * |
| 全片数字化图像在诊断细胞病理学中的应用;胡佐鸿等;《中华病理学杂志》;20170831;第46卷(第8期);第581-585页 * |
| 基于卷积神经网络实现指纹图像的配准;陈雷;《法制博览》;20181231;第129-130页 * |
| 深度学习在医学图像配准上的研究进展与挑战;邹茂扬等;《生物医学工程学杂志》;20190831;第36卷(第4期);第677-683页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110736747A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110736747B (zh) | 一种细胞液基涂片镜下定位的方法及系统 | |
| CN109272492B (zh) | 一种细胞病理涂片的处理方法及系统 | |
| JP7458328B2 (ja) | マルチ分解能登録を介したマルチサンプル全体スライド画像処理 | |
| Bhalla et al. | A fuzzy convolutional neural network for enhancing multi-focus image fusion | |
| Plissiti et al. | Overlapping cell nuclei segmentation using a spatially adaptive active physical model | |
| CN109800824B (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
| CN105512683B (zh) | 基于卷积神经网络的目标定位方法及装置 | |
| Hore et al. | Finding contours of hippocampus brain cell using microscopic image analysis | |
| JP6660313B2 (ja) | 画像解析を用いた核のエッジの検出 | |
| Dima et al. | Automatic segmentation and skeletonization of neurons from confocal microscopy images based on the 3-D wavelet transform | |
| EP2079054B1 (en) | Detection of blobs in images | |
| CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
| US11538261B2 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
| CN105069818A (zh) | 一种基于图像分析的皮肤毛孔识别方法 | |
| Wang et al. | Detection of dendritic spines using wavelet-based conditional symmetric analysis and regularized morphological shared-weight neural networks | |
| CN113781455B (zh) | 宫颈细胞图像异常检测方法、装置、设备及介质 | |
| CN112001895B (zh) | 一种甲状腺钙化检测装置 | |
| Wang et al. | Nucleus segmentation of cervical cytology images based on depth information | |
| CN108596176B (zh) | 一种对提取的硅藻区域进行硅藻类型识别方法及装置 | |
| CN114549462A (zh) | 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质 | |
| Khamael et al. | Using adapted JSEG algorithm with fuzzy C mean for segmentation and counting of white blood cell and nucleus images | |
| Chaudhari et al. | Microscope image processing: an overview | |
| CN112651400B (zh) | 一种立体内窥镜辅助检测方法、系统、装置及存储介质 | |
| You et al. | Automated cell individualization and counting in cerebral microscopic images | |
| Thomas et al. | An automated kidney tumour detection technique from computer tomography images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |