CN112419295A - 医学图像处理方法、装置、计算机设备和存储介质 - Google Patents

医学图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112419295A
CN112419295A CN202011400241.7A CN202011400241A CN112419295A CN 112419295 A CN112419295 A CN 112419295A CN 202011400241 A CN202011400241 A CN 202011400241A CN 112419295 A CN112419295 A CN 112419295A
Authority
CN
China
Prior art keywords
image
region
medical image
target object
stained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011400241.7A
Other languages
English (en)
Inventor
王亮
姚建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011400241.7A priority Critical patent/CN112419295A/zh
Publication of CN112419295A publication Critical patent/CN112419295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请涉及人工智能技术，特别涉及一种医学图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取对玻片组织进行采集所得的医学图像；从所述医学图像识别出所述玻片组织因细胞染色形成的染色细胞区域图像；在所述医学图像中识别出目标物间质区域图像；提取所述染色细胞区域图像中与所述目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；根据所述染色免疫细胞区域图像的细胞区域面积与所述医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。采用本方法能够提高对医学图像处理所得的医学数据的准确性。

Description

医学图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种医学图像处理方法、装置、计算机设备和存储介质。
背景技术
医学图像是指为了医疗或医学研究，对人体或人体某部分以非侵入方式取得的内部组织影像。在利用医学设备采集到医学图像之后，可以对医学图像中的特定细胞区域像素块在该医学图像的占比进行分析。
传统医学图像分析方案中，通常是采用专业扫描仪把病理玻片扫描成WSI(WholeSlide Image，全视野数字病理切片)图像，将该WSI图像中的特定细胞区域像素块与参考图像进行对比，然后在参考图像对应的数据表格中根据对比结果读取数据，该数据即为特定细胞区域像素块在该医学图像中的占比。然而，这种医学图像分析的方式完全依赖于对该参考图像进行标注的精准性，因此参考图像是否精准标注在很大程度上影响数据准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种医学图像处理方法、装置、计算机设备和存储介质，可以提高对医学图像处理所得的医学数据的准确性。
一种医学图像处理方法，所述方法包括：
获取对玻片组织进行采集所得的医学图像；
从所述医学图像识别出所述玻片组织因细胞染色形成的染色细胞区域图像；
在所述医学图像中识别出目标物间质区域图像；
提取所述染色细胞区域图像中与所述目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；
根据所述染色免疫细胞区域图像的细胞区域面积与所述医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。
一种医学图像处理装置，所述装置包括：
获取模块，用于获取对玻片组织进行采集所得的医学图像；
第一识别模块，用于从所述医学图像识别出所述玻片组织因细胞染色形成的染色细胞区域图像；
第二识别模块，用于在所述医学图像中识别出目标物间质区域图像；
提取模块，用于提取所述染色细胞区域图像中与所述目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；
确定模块，用于根据所述染色免疫细胞区域图像的细胞区域面积与所述医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。
在其中的一个实施例中，所述装置还包括：
图像处理模块，用于对所述医学图像进行白平衡处理，得到白平衡医学图像；
所述第一识别模块，还用于通过第一预测模型对所述白平衡医学图像进行特征提取，得到所述玻片组织因细胞染色形成的染色细胞特征；根据所述染色细胞特征对所述白平衡医学图像进行图像分割，得到染色细胞区域图像。
在其中的一个实施例中，所述图像处理模块，还用于按照目标尺寸裁剪所述白平衡医学图像；对裁剪后的所述白平衡医学图像进行去噪处理；对去噪后的所述白平衡医学图像进行二值化处理，得到二值化医学图像；
所述第一识别模块，还用于通过第一预测模型对所述二值化医学图像进行特征提取。
在其中的一个实施例中，图像处理模块，用于对所述医学图像进行白平衡处理，得到白平衡医学图像；
所述第二识别模块，还用于对所述白平衡医学图像中的目标物区域图像进行检测；通过第二预测模型对检测的所述目标物区域图像寻找包络，得到目标物包络区域图像；融合所述白平衡医学图像和所述目标物包络区域图像，获得目标物与目标物间质之间的图像轮廓；基于所述图像轮廓确定目标物间质区域图像。
在其中的一个实施例中，所述医学图像是通过智能显微镜对所述玻片组织进行采集所得；所述装置还包括：
所述获取模块，还用于获取所述智能显微镜在进行采集过程中所采用的倍镜信息；
输入模块，用于将所述倍镜信息依次输入至第一预测模型和所述第二预测模型，以使所述第一预测模型和所述第二预测模型获取与所述倍镜信息对应的像素长度，按照所述像素长度调整所述白平衡医学图像各像素的长度。
在其中的一个实施例中，所述获取模块，还用于获取输入的、针对所述智能显微镜在进行采集过程中所采用倍镜信息；或者，对所述智能显微镜采集的医学图像进行像素长度计算，查找与计算出的第一像素长度匹配的倍镜信息；或者，计算所述智能显微镜采集的医学图像的图像长度和在所述图像长度下的像素数量，根据所述图像长度和所述像素数量确定第二像素长度，查找与所述第二像素长度匹配的倍镜信息。
在其中的一个实施例中，所述第二识别模块，还用于将对所述白平衡医学图像划分所得的各感兴趣区域图块输入第二预测模型；通过所述第二预测模型对输入的所述感兴趣区域图块进行目标物检测，得到对应的感兴趣区域概率图；将所述感兴趣区域概率图进行拼接，得到所述目标物区域概率图；对所述目标物区域概率图进行目标物区域判定，并根据判定的结果确定所述白平衡医学图像中的目标物包络区域图像。
在其中的一个实施例中，所述第二识别模块，还用于获取概率阈值；基于所述概率阈值和所述目标物区域概率图中各像素点对应的概率值，对所述目标物区域概率图进行二值化映射，得到所述目标物区域概率图中各像素点的概率映射结果；根据所述目标物区域概率图各像素点的概率映射结果获得所述白平衡医学图像中的目标物包络区域图像。
在其中的一个实施例中，所述第二识别模块，还用于对所述白平衡医学图像中的目标物区域图像进行区域连通，得到目标物连通区域图像；从所述目标物连通区域图像中去除非目标物区域，得到更新的目标物连通区域图像；对更新的目标物连通区域图像进行形态学扩张，获得目标物包络区域图像。
在其中的一个实施例中，所述装置还包括：
标记模块，用于在所述医学图像中，将与所述染色免疫细胞区域图像中染色免疫细胞位置或染色免疫细胞块位置匹配的图像位置进行标记；
输出模块，用于将标记的所述医学图像和所述免疫细胞含量进行输出，以使所述免疫细胞含量叠加于标记的所述医学图像上进行显示。
在其中的一个实施例中，所述染色细胞区域图像是第一预测模型识别所得的；所述第一预测模型是对第一初始预测模型进行处理所得；所述装置还包括：
模型处理模块，用于获取对玻片组织样本进行采集所得的医学图像样本；当对所述医学图像样本经过白平衡处理后，通过所述第一初始预测模型对经过白平衡处理的所述医学图像样本进行特征提取，得到所述玻片组织样本因细胞染色形成的训练染色细胞特征；根据所述训练染色细胞特征对经过白平衡处理的所述医学图像样本进行图像分割，得到训练染色细胞区域图像；根据所述训练染色细胞区域图像与对应的染色细胞区域图像标签之间的损失值，对所述第一初始预测模型的模型参数进行调整，直至模型收敛。
在其中的一个实施例中，所述目标物间质区域图像是第二预测模型识别所得的；所述第二预测模型是对第二初始预测模型进行处理所得；所述模型处理模块，还用于对经过白平衡处理的所述医学图像样本中的训练目标物区域图像进行检测；通过第二预测模型对所述训练目标物区域图像寻找包络，得到训练目标物包络区域图像；对所述训练目标物包络区域图像和经过白平衡处理的所述医学图像样本进行融合，获得目标物与目标物间质之间的训练图像轮廓；基于所述训练图像轮廓确定的训练目标物间质区域图像与对应的目标物间质区域图像标签之间的损失值，对所述第二初始预测模型的模型参数进行调整，直至模型收敛。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取对玻片组织进行采集所得的医学图像；
从所述医学图像识别出所述玻片组织因细胞染色形成的染色细胞区域图像；
在所述医学图像中识别出目标物间质区域图像；
提取所述染色细胞区域图像中与所述目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；
根据所述染色免疫细胞区域图像的细胞区域面积与所述医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取对玻片组织进行采集所得的医学图像；
从所述医学图像识别出所述玻片组织因细胞染色形成的染色细胞区域图像；
在所述医学图像中识别出目标物间质区域图像；
提取所述染色细胞区域图像中与所述目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；
根据所述染色免疫细胞区域图像的细胞区域面积与所述医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。
上述医学图像处理方法、装置、计算机设备和存储介质，在经过细胞染色的玻片组织中会形成染色细胞区域，从而可以通过智能显微镜可以对该玻片组织进行采集，得到可分辨细胞区域的医学图像，无需采用专业扫描仪把玻片组织扫描成WSI图像以识别细胞区域。在得到对该玻片组织进行采集所得的医学图像时，可以从该医学图像识别出玻片组织中的染色细胞区域以得到染色细胞区域图像，当从医学图像中识别目标物间质区域图像时，提取染色细胞区域图像中与目标物间质区域图像相交的染色细胞区域图像，然后计算该染色免疫细胞区域图像的细胞区域面积与医学图像中的玻片组织面积之间的比值，从而无需利用专业扫描仪扫描所得的WSI图像与参考图像进行对比，因此即便参考图像的标注不精确，也不会影响计算结果，提高了医学数据计算的准确性。
附图说明
图1为一个实施例中医学图像处理方法的应用环境图；
图2为一个实施例中医学图像处理方法的流程示意图；
图3a为一个实施例中染色细胞区域图像的示意图；
图3b为一个实施例中目标物间质区域图像的示意图；
图4为一个实施例中标记免疫细胞含量的医学图像的示意图；
图5为另一个实施例中医学图像处理方法的流程示意图；
图6为一个实施例中通过第一预测模型获得染色细胞区域图像流程示意图；
图7a为一个实施例中的医学图像进行白平衡处理之前的示意图；
图7b为一个实施例中的医学图像进行白平衡处理之后的示意图；
图8为一个实施例中通过第二预测模型获得目标物间质区域图像流程示意图；
图9a为一个实施例中白平衡医学图像的部分区域图像；
图9b为一个实施例中对白平衡医学图像的部分区域图像中的目标物进行识别所得的目标物包络区域图像；
图9c为一个实施例中划分出目标物区域和目标物间质区域的示意图；
图10为一个实施例中对第一初始预测模型进行训练得到第一预测模型的流程示意图；
图11为一个实施例中对第二初始预测模型进行训练得到第二预测模型的流程示意图；
图12a为一个实施例中对染色细胞区域预测模型和肿瘤间质区域预测模型进行训练的示意图；
图12b为一个实施例中通过染色细胞区域预测模型和肿瘤间质区域预测模型获得免疫细胞含量的示意图；
图13a为一个实施例中乳腺肿瘤图像在进行白平衡处理之前的示意图；
图13b为一个实施例中乳腺肿瘤图像在进行白平衡处理之后的示意图；
图14为一个实施例中医学图像处理装置的结构框图；
图15为另一个实施例中医学图像处理装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像分割、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习和度量学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术和机器学习等技术，具体通过如下实施例进行说明：
本申请提供的医学图像处理方法，可以应用于如图1所示的应用环境中。在该应用环境中，包括智能显微镜102、服务器104和显示设备106。该方法可应用于智能显微镜102或服务器104。当该方法应用于智能显微镜102时，智能显微镜102对玻片组织进行采集得到医学图像，从医学图像识别出玻片组织因细胞染色形成的染色细胞区域图像，在医学图像中识别出目标物间质区域图像，提取染色细胞区域图像中与目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；根据染色免疫细胞区域图像的细胞区域面积与医学图像中的玻片组织面积之间的比值，确定免疫细胞含量，然后将该免疫细胞含量与标记了染色免疫细胞的医学图像输出值显示设备106进行显示。
当应用于服务器104时，智能显微镜102对玻片组织进行采集得到医学图像，服务器104获取智能显微镜102采集的医学图像，从医学图像识别出玻片组织因细胞染色形成的染色细胞区域图像，在医学图像中识别出目标物间质区域图像，提取染色细胞区域图像中与目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；根据染色免疫细胞区域图像的细胞区域面积与医学图像中的玻片组织面积之间的比值，确定免疫细胞含量，然后将该免疫细胞含量与标记了染色免疫细胞的医学图像输出值显示设备106进行显示。
其中，智能显微镜可以是医用的带有摄像功能的显微镜，通过该智能显微镜可以查看玻片组织，以及对该玻片组织进行采集得到医学图像。可选的，该智能显微镜还可以对采集的医学图像进行图像识别，例如在智能显微镜部署神经网络模型，具体如用于预测染色细胞区域图像和目标物间质区域图像的神经网络模型，该神经网络模型可称为预测模型。
服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
显示设备106可以是智能手机、平板电脑、笔记本电脑、台式计算机和显示屏等，但并不局限于此。
智能显微镜102、服务器104和显示设备106之间可以通过蓝牙、USB(UniversalSerial Bus，通用串行总线)或者网络等通讯连接方式进行连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种医学图像处理方法，该方法可由图1中的智能显微镜或服务器执行，或者由智能显微镜和服务器协同执行；在本实施例中，以该方法由图1中的服务器执行为例进行说明，包括以下步骤：
S202，获取对玻片组织进行采集所得的医学图像。
其中，玻片可以是用来放置生物组织以通过显微镜进行观察的玻璃片。组织可以是各种生物组织，如微生物组织、植物组织、动物组织或人体组织等。
对应地，玻片组织即为放置于玻片中的生物组织，通过智能显微镜可以观察该玻片组织中的细胞结构。玻片组织可以具有特定的特征，例如该玻片组织可以是发生某种病变的生物组织，如发生特定病变的动植物组织，或人体某个部位的肿瘤组织等。该玻片组织可以是经过染色的生物组织，在染色后的玻片组织中，某些细胞将会被染色，被染色的细胞则称为染色细胞，在视觉上可以区别于其它未被染色的细胞和非细胞。多个染色细胞聚集在一起则形成染色细胞区域。
在一个实施例中，服务器与智能显微镜建立通信连接，当智能显微镜对玻片组织进行图像采集得到医学图像时，智能显微镜可以实时地将采集的医学图像发送给服务器；服务器则可以实时接收智能显微镜发送的医学图像。此外，智能显微镜对玻片组织进行视频采集得到医学视频，然后将医学视频实时发送给服务器；服务器则可以实时接收智能显微镜发送的医学视频，然后对接收的医学视频进行解析，得到多张医学图像，然后从该多张医学图像中提取至少一张医学图像用于进行医学图像处理过程。
在获取到医学图像之后，服务器还可以对获取到的医学图像进行清晰度检测，以确定该医学图像的清晰度是否满足设定的清晰度条件。当清晰度不满足设定的清晰度条件时，则重新获取对玻片组织进行采集所得的医学图像，直至新获取到的医学图像的清晰度满足清晰度条件，从而可以避免因清晰度低而影响最后的计算结果。
在一个实施例中，服务器还可以对获取的医学图像进行伪影识别，以判断该医学图像是否包含有伪影，若包含伪影且伪影程度值大于预设阈值，则确定相位编码方向，向智能显微镜发送携带相位编码方向的相位编码转换指令，以使该智能显微镜在采集包含有玻片组织的图像数据时，按照该相位编码方向对采集的图像数据进行编码，得到新的医学图像，然后将新的医学图像发送给服务器，从而服务器可以利用新的医学图像计算免疫细胞含量。
其中，伪影可以指在采集或信息处理过程中，出现了一些玻片组织本身不存在的、但却出现在医学图像上而使图像质量下降的影像。例如，在图像采集过程中，玻片组织在每一次激发、编码及信号采集时所处的位置或形态发生了变化，因此出现相位的错误而导致伪影的产生。
S204，从医学图像识别出玻片组织因细胞染色形成的染色细胞区域图像。
其中，玻片组织中的一些细胞被染色之后，该玻片组织中将会形成染色细胞区域，该染色细胞区域的数量可以是一个或多个。当对玻片组织进行图像采集时，该染色细胞区域呈现于医学图像中，服务器从该医学图像中识别出染色细胞区域，从而得到染色细胞区域图像。可以理解的，该染色细胞区域图像主要是关于染色细胞区域的图像，在该染色细胞区域图像中，染色细胞区域可以以不同于背景的颜色呈现，如染色细胞区域为白色，而背景为黑色，如图3a所示；或者，染色细胞区域图像中的染色细胞区域还可以以其它颜色进行呈现。
其中，染色细胞区域图像可以是二值化的区域图像，其尺寸与医学图像的尺寸大小相同。
在一个实施例中，服务器可以对医学图像进行图像识别，以识别出玻片组织中的染色细胞区域，从而得到染色细胞区域图像。
在一个实施例中，服务器可以将该医学图像划分为多个像素块，然后确定每个像素块分别属于染色细胞区域的概率图块，该概率图块中各像素值表示在相应像素块中的像素点匹配染色细胞区域的概率；将确定的概率图块进行拼接，得到概率图像；根据该概率图像对医学图像进行图像分割，得到染色细胞区域图像。
在对医学图像进行划分之前，服务器可以对该医学图像进行白平衡处理，然后对白平衡医学图像进行划分，得到多个像素块，并根据所得的像素块得到对应的概率图块。在进行图像分割时，服务器可以根据该概率图像对医学图像或白平衡医学图像进行图像分割，得到染色细胞区域图像。
此外，在进行白平衡处理之后，服务器还可以对白平衡医学图像进行裁剪，即裁剪白平衡医学图像的无效区域，如图像边缘区域；然后对裁剪后的白平衡医学图像进行去噪处理，并对去噪后的白平衡医学图像进行二值化处理，得到二值化医学图像。然后对二值化医学图像进行划分，得到多个像素块，并根据所得的像素块得到对应的概率图块。在进行图像分割时，服务器可以根据该概率图像对医学图像、白平衡医学图像或二值化医学图像进行图像分割，得到染色细胞区域图像。
S206，在医学图像中识别出目标物间质区域图像。
其中，目标物可以是玻片组织中目标类型的细胞，如发生病变的细胞(如肿瘤细胞)，或具有特定属性的细胞。目标物间质即为目标物的间质，也即多个目标物之间的液体环境，例如细胞与细胞之间存在着细胞间质，该细胞间质是生物细胞所生活的液体环境。
目标物间质区域可以指玻片组织中目标物间质的区域，当对玻片组织进行图像采集时，该目标物间质区域呈现于医学图像中，服务器从该医学图像中识别出目标物间质区域，从而得到目标物间质区域图像。可以理解的，该目标物间质区域图像主要指关于目标物间质区域的图像，在该目标物间质区域图像中，目标物间质区域可以以不同于背景的颜色呈现，如目标物间质区域为白色，而背景为黑色，如图3b所示；或者，目标物间质区域图像中的目标物间质区域还可以以其它颜色进行呈现。
其中，目标物间质区域图像可以是二值化的区域图像，其尺寸与医学图像的尺寸大小相同。
在一个实施例中，服务器对获取的医学图像进行目标物检测，以得到该医学图像的目标物区域图像，该目标物区域图像可以指玻片组织中目标物在医学图像中所处的区域图像；然后，对该目标物区域图像寻找包络得到目标物包络区域图像，然后根据目标物包络区域图像和医学图像确定目标物与目标物间质之间的图像轮廓，基于该图像轮廓确定目标物间质区域图像。
具体地，在对医学图像进行目标物或目标物区域图像的检测时，可以基于人工智能的检测方式，检测出医学图像中的目标物区域图像，如采用预训练的检测模型对医学图像进行目标物区域图像进行检测。
S208，提取染色细胞区域图像中与目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像。
在一个实施例中，服务器可以将染色细胞区域图像和目标物间质区域图像进行叠加，然后对染色细胞区域图像中的染色细胞区域和目标物间质区域图像中的目标物间质区域计算交集，相交的染色细胞区域即为染色免疫细胞区域，从而得到染色免疫细胞区域图像。
例如，如图3a和图3b所示，图3a中的白色部分为染色细胞区域，图3b中的白色部分为目标物间质区域，将图3a中的白色部分和图3b中的白色部分求交集，交集区域即为染色免疫细胞区域。
S210，根据染色免疫细胞区域图像的细胞区域面积与医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。
其中，细胞区域面积指的是染色免疫细胞区域图像中染色免疫细胞区域的面积。玻片组织面积指的是玻片组织在医学图像中的面积，也即在进行图像采集时图像采集视野范围内的玻片组织在医学图像中的面积。需要指出的是，未出现在医学图像或图像采集视野范围内的玻片组织，其面积不会包含在上述的玻片组织面积内。
上述的免疫细胞含量指的是免疫细胞在图像采集视野范围内玻片组织中的含量。
具体地，服务器计算染色免疫细胞区域图像中染色免疫细胞区域的面积，得到细胞区域面积；服务器计算位于医学图像中的玻片组织的面积，得到玻片组织面积，然后计算细胞区域面积与玻片组织面积之间的比值，即可得到免疫细胞含量。
在一个实施例中，服务器在医学图像中，将与染色免疫细胞区域图像中染色免疫细胞位置或染色免疫细胞块位置匹配的图像位置进行标记；将标记的医学图像和免疫细胞含量进行输出，以使免疫细胞含量叠加于标记的医学图像上进行显示。如图4所示，该图为叠加免疫细胞含量的医学图像，图中曲线包裹区域为目标物区域，其它区域为目标物间质区域，该目标物间质区域中颜色较深的区域为染色免疫细胞区域，该染色免疫细胞区域是由多个零散的小块(或小点)组成。
具体地，在得到免疫细胞含量之后，服务器可以以细胞为单位，在医学图像中，将与染色免疫细胞区域图像中染色免疫细胞位置匹配的图像位置进行标记；将标记的医学图像和免疫细胞含量进行输出，以使免疫细胞含量叠加于标记的医学图像上进行显示。或者，服务器还可以以细胞块为单位，在医学图像中，将与染色免疫细胞区域图像中染色免疫细胞块位置匹配的图像位置进行标记；将标记的医学图像和免疫细胞含量进行输出，以使免疫细胞含量叠加于标记的医学图像上进行显示。此外，服务器也可以同时采用上述两种方式进行标记，以得到标记的医学图像。
为了更清楚更直观地理解上述方法，结合具体应用场景对上述方法进行阐述，这里假设目标物为肿瘤细胞，那么目标物间质即为肿瘤间质，如图5所示，上述方法具体包括：
S502，智能显微镜对肿瘤部位的玻片组织进行图像采集，得到关于肿瘤部位的医学图像。
S504，服务器接收智能显微镜发送的关于肿瘤部位的医学图像。
S506，服务器从医学图像识别出肿瘤部位的玻片组织因细胞染色形成的染色细胞区域图像。
由于肿瘤部位的玻片组织进行细胞染色，肿瘤细胞和免疫细胞被染色，从而肿瘤细胞和免疫细胞的颜色与其它细胞和成分之间的颜色不同，因此服务器可以通过图像识别的方式将被染色的区域识别出来，得到染色细胞区域图像，可参考图3a。
S508，服务器在医学图像中识别出肿瘤间质区域图像。
其中，该肿瘤间质区域图像可参考图3b。
S510，服务器提取染色细胞区域图像中与目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像。
上述的染色免疫细胞区域图像，即为图3a和图3b的交集区域所构成的图像。
S512，服务器根据染色免疫细胞区域图像的细胞区域面积与医学图像中的玻片组织面积之间的比值，确定免疫细胞在该肿瘤区域内的含量。
其中，免疫细胞在该肿瘤区域内的含量即为上述的免疫细胞含量。需要指出的是，该免疫细胞含量是免疫细胞在图像采集视野范围内肿瘤区域的含量。
S514，服务器将与染色免疫细胞区域图像中染色免疫细胞位置或染色免疫细胞块位置匹配的图像位置进行标记。
S516，服务器将标记的医学图像和免疫细胞含量进行输出。
S518，显示设备将免疫细胞含量叠加于标记的医学图像上进行显示。
其中，显示设备叠加显示免疫细胞含量的医学图像可参考图4，在本应用场景的实施例中，图4中的目标物间质区域即为肿瘤间质区域，目标物区域即为肿瘤区域。
上述实施例中，在经过细胞染色的玻片组织中会形成染色细胞区域，从而可以通过智能显微镜可以对该玻片组织进行采集，得到可分辨细胞区域的医学图像，无需采用专业扫描仪把玻片组织扫描成WSI图像以识别细胞区域。在得到对该玻片组织进行采集所得的医学图像时，可以从该医学图像识别出玻片组织中的染色细胞区域以得到染色细胞区域图像，当从医学图像中识别目标物间质区域图像时，提取染色细胞区域图像中与目标物间质区域图像相交的染色细胞区域图像，然后计算该染色免疫细胞区域图像的细胞区域面积与医学图像中的玻片组织面积之间的比值，从而无需利用专业扫描仪扫描所得的WSI图像与参考图像进行对比，因此即便参考图像的标注不精确，也不会影响计算结果，提高了医学数据计算的准确性。
在一个实施例中，如图6所示，获得染色细胞区域图像的步骤如下所述：
S602，对医学图像进行白平衡处理，得到白平衡医学图像。
其中，对医学图像进行白平衡处理，从而可以时处理后的医学图像中被染色部分与未被染色部分更加具有区分度，如图7a和图7b所示，图7a为白平衡处理之前的医学图像中的一部分，图7b为白平衡处理之后所得的白平衡医学图像中的一部分。
S604，通过第一预测模型对白平衡医学图像进行特征提取，得到玻片组织因细胞染色形成的染色细胞特征。
其中，第一预测模型即为用于预测染色细胞区域的神经网络模型，该第一预测模型可以是基于Linknet分割算法的神经网络模型，而基于Linknet分割算法的神经网络模型中的模型参数较少，在进行特征提取和图像分割时的速率更快，而且还可以在中低端处理器的设备中实现。此外，也可以采用其它图像分割算法的网络模型。
在一个实施例中，服务器可以将该白平衡医学图像输入第一预测模型，该第一预测模型提取白平衡医学图像的像素特征，根据该像素特征确定白平衡医学图像中的像素分别属于染色细胞区域的概率，得到概率图像。其中，该概率图像即为染色细胞特征。
白平衡医学图像在输入第一预测模型之前，服务器还可以划分为多个像素块，然后依次将各像素块输入至第一预测模型。该第一预测模型从各像素块中提取像素特征，根据提取的像素特征确定对应像素块的像素分别属于染色细胞区域的概率，得到概率图块；将所得的概率图块进行拼接，得到概率图像。
在一个实施例中，在进行特征提取之前，服务器还可以按照目标尺寸裁剪白平衡医学图像；对裁剪后的白平衡医学图像进行去噪处理；对去噪后的白平衡医学图像进行二值化处理，得到二值化医学图像。S604具体可以包括：服务器通过第一预测模型对二值化医学图像进行特征提取，得到染色细胞特征。其中，从二值化医学图像提取特征的过程可参考上述从白平衡医学图像中提取特征的步骤。
在一个实施例中，服务器获取智能显微镜在进行采集过程中所采用的倍镜信息；将倍镜信息依次输入至第一预测模型，以使第一预测模型获取与倍镜信息对应的像素长度，按照像素长度调整白平衡医学图像各像素的长度，从而第一预测模型可以把白平衡医学图像的各像素转换成模型本身能处理的像素长度。
对于倍镜信息的获取方式，可以参考以下2种方式：
方式1，用户输入的方式。
具体地，服务器获取输入的、针对智能显微镜在进行采集过程中所采用倍镜信息。例如，用户读取智能显微镜上的倍镜信息，然后将该倍镜信息输入至服务器。
方式2，图像处理的方式。
具体地，服务器对智能显微镜采集的医学图像进行像素长度计算，查找与计算出的第一像素长度匹配的倍镜信息。这种方式是直接计算单个像素的像素长度，然后根据像素长度来查找匹配的倍镜信息。例如，20倍镜对应大约0.424μm/pixel，10倍镜对应大约0.848μm/pixel，因此，当读取到单个像素的像素长度为0.424μm/pixel时，则可以查找到与该像素长度匹配的倍镜信息，即20倍镜；当读取到单个像素的像素长度为0.848μm/pixel时，则可以查找到与该像素长度匹配的倍镜信息，即10倍镜。
在另一个实施例中，服务器计算智能显微镜采集的医学图像的图像长度和在图像长度下的像素数量，根据图像长度和像素数量确定第二像素长度，查找与第二像素长度匹配的倍镜信息。
S606，根据染色细胞特征对白平衡医学图像进行图像分割，得到染色细胞区域图像。
具体地，服务器通过第一预测模型来进行图像分割过程，即第一预测模型在白平衡医学图像中将与染色细胞特征匹配的特征区域分割出来，从而得到染色细胞区域图像。
上述实施例中，首先对医学图像进行白平衡处理，从而可以时处理后的医学图像中被染色部分与未被染色部分更加具有区分度，以提升分割白平衡医学图像得到染色细胞区域图像的准确性，进而结合染色细胞区域图像与目标物间质区域图像所确定的免疫细胞含量准确性也更高。
在一个实施例中，如图8所示，获得目标物间质区域图像的步骤如下所述：
S802，对医学图像进行白平衡处理，得到白平衡医学图像。
其中，对医学图像进行白平衡处理，从而可以时处理后的医学图像中被染色部分与未被染色部分更加具有区分度，如图7a和图7b所示，图7a为白平衡处理之前的医学图像中的一部分，图7b为白平衡处理之后所得的白平衡医学图像中的一部分。
S804，对白平衡医学图像中的目标物区域图像进行检测。
其中，目标物区域可以是目标物在白平衡医学图像的分布范围，如肿瘤细胞在该白平衡医学图像的分布范围。对应地，目标物区域图像可以是由目标物区域所组成的图像。在该目标物区域图像中，目标物区域的颜色可以是白色，而其它背景可以是黑色。
具体地，服务器可以采用基于人工智能的目标物区域检测方式，检测出白平衡医学图像中的目标物区域图像。基于人工智能的目标物区域检测方式基于人工智能实现，如可以为基于机器学习模型实现目标物区域检测。例如，可以通过FCN(Fully ConvolutionalNetworks，全卷积网络)模型、SegNet(A Deep Convolutional Encoder-DecoderArchitecture for Image Segmentation，一种用于图像分割的深度卷积编码－解码架构)模型、Linknet(Relational Embedding for Scene Graph，场景图的关系嵌入)模型等各种图像分割算法模型对目标物区域进行检测，得到白平衡医学图像中的目标物区域。
具体地，在对白平衡医学图像进行目标物区域检时，基于人工智能的目标物区域检测方式，如采用预训练的检测模型对白平衡医学图像进行目标物区域检测方式，检测出白平衡医学图像中的目标物区域，得到目标物区域图像。
S806，通过第二预测模型对检测的目标物区域图像寻找包络，得到目标物包络区域图像。
具体地，在基于人工智能的目标物区域检测方式检测出白平衡医学图像中的目标物区域后，服务器对该目标物区域寻找包络，具体可以通过连通各目标物区域，寻找到能够包括各目标物区域的包络线，根据包络线包围的区域生成目标物包络区域图像。通过对目标物区域图像寻找包络，可以减小图像处理过程中误差的影响，得到准确的目标物包络区域图像。
在具体实现时，服务器可以将目标物区域进行连通，获得连通区域，再由服务器将连通区域的范围内的非目标物区域去除，从而确保连通区域范围内均为准确的目标物识别结果，最后由服务器对去除了非目标物区域的连通区域进行平滑处理，如通过形态学扩张进行平滑处理，获得具有平滑边缘的目标物包络区域图像，同时通过形态学扩张对较小的区域进行去噪处理，提高了目标物包络区域识别划分的准确性。
在一个实施例中，服务器获取智能显微镜在进行采集过程中所采用的倍镜信息；将倍镜信息依次输入至第二预测模型，以使第二预测模型获取与倍镜信息对应的像素长度，按照像素长度调整白平衡医学图像各像素的长度，从而第二预测模型可以把白平衡医学图像的各像素转换成模型本身能处理的像素长度。
对于本实施例中倍镜信息的获取方式，可以参考图6的实施例中的两种倍镜信息获取方式。
S808，融合白平衡医学图像和目标物包络区域图像，获得目标物与目标物间质之间的图像轮廓。
得到目标物包络区域图像后，将目标物包络区域图像和白平衡医学图像进行融合，得到目标物与目标物间质之间的图像轮廓，其整体展现了目标物和目标物间质在白平衡医学图像中的分布情况。具体地，服务器可以求取目标物区域和目标物包络区域之间的交集，将白平衡医学图像和目标物包络区域的交集确定为图像轮廓。图像轮廓综合了白平衡医学图像进行目标物区域检测的检测结果和白平衡医学图像基于人工智能的目标物区域检测结果，能够有效减小单一检测方式中的误差影响，目标物区域轮廓检测划分的准确度高。
S810，基于图像轮廓确定目标物间质区域图像。
其中，图像轮廓内的部分为目标物区域，图像轮廓外的部分为目标物间质区域，从而可以根据图像轮廓确定目标物间质区域，根据目标物间质区域生成目标物间质区域图像。
如图9a、图9b和图9c，图9a为白平衡医学图像的部分区域图像；图9b为目标物包络区域图像，白色部分为目标物包络区域，将图9a和图9b进行叠加；图9c为图9a和图9b叠加的结果图，图9a和图9b交集区域即为目标物区域(如图9c的黑色曲线内的区域)，而交集之外的其它部分为目标物间质区域。
上述实施例中，首先对医学图像进行白平衡处理，从而可以时处理后的医学图像中被染色部分与未被染色部分更加具有区分度，以提升分割白平衡医学图像得到目标物间质区域图像的准确性，进而结合目标物间质区域图像和染色细胞区域图像所确定的免疫细胞含量准确性也更高。
对于上述S806寻找包络的步骤，具体可以基于以下两种方式进行包络寻找：
方式1，通过概率图的方式寻找。
在一个实施例中，上述S806具体可以包括：服务器将对白平衡医学图像划分所得的各感兴趣区域图块输入第二预测模型；通过第二预测模型对输入的感兴趣区域图块进行目标物检测，得到对应的感兴趣区域概率图；将感兴趣区域概率图进行拼接，得到目标物区域概率图；对目标物区域概率图进行目标物区域判定，并根据判定的结果确定白平衡医学图像中的目标物包络区域图像。
本实施例中，在将白平衡医学图像划分成各感兴趣区域后，由目标物区域检测模型分别对各感兴趣区域进行目标物区域检测，并将各感兴趣区域对应的检测结果拼接，得到白平衡医学图像对应的目标物区域检测结果。其中，感兴趣区域通过对白平衡医学图像进行区域划分得到，如可以按照预设的尺寸对白平衡医学图像进行区域划分，从而将白平衡医学图像划分为若干个感兴趣区域，降低了单次处理的数据量，提高数据的处理效率。在具体实现时，感兴趣区域的尺寸可以根据实际需要进行设置，可以直接设置固定的尺寸大小，如设置为1000×1000像素。
具体地，在通过目标物区域检测模型对白平衡医学图像进行目标物区域检测时，服务器获取白平衡医学图像经过区域划分处理获得的各感兴趣区域。其中，感兴趣区域的区域划分可以在对白平衡医学图像进行检测时实现，则在对白平衡医学图像进行检测时，直接获取检测时区域划分得到的各感兴趣区域。服务器将各感兴趣区域输入目标物区域检测模型中进行目标物区域检测，获得由目标物区域检测模型输出的各感兴趣区域概率图。感兴趣区域概率图记录了对应感兴趣区域中的像素点检测为目标物区域的概率。服务器将各感兴趣区域分别对应的感兴趣区域概率图进行拼接，得到白平衡医学图像对应的目标物区域概率图，从而实现对白平衡医学图像的目标物区域检测。
本实施例中，通过目标物区域检测模型分别对感兴趣区域进行目标物区域检测，并将各感兴趣区域对应的检测结果拼接，得到白平衡医学图像对应的目标物区域检测结果，可以减少单次目标物区域检测处理的数据量，而且可以对各感兴趣区域进行并行处理，能够有效提高目标物区域检测的处理效率。
具体地，上述对目标物区域概率图进行目标物区域判定，并根据判定的结果确定白平衡医学图像中的目标物包络区域图像的步骤，具体可以包括：服务器获取概率阈值；基于概率阈值和目标物区域概率图中各像素点对应的概率值，对目标物区域概率图进行二值化映射，得到目标物区域概率图中各像素点的概率映射结果；根据目标物区域概率图各像素点的概率映射结果获得白平衡医学图像中的目标物包络区域图像。
其中，概率阈值根据实际需要预先设置，如可以设置为0.5，概率阈值用于对目标物区域概率图进行目标物区域判定，根据目标物区域判定确定白平衡医学图像中的目标物区域。具体地，在得到目标物区域检测模型输出的目标物区域概率图后，服务器获取预设的概率阈值，概率阈值用于对目标物区域概率图中各像素点的概率值进行二值化映射。服务器基于概率阈值和目标物区域概率图中各像素点对应的概率值，对目标物区域概率图进行概率二值化映射，具体可以由服务器分别比较目标物区域概率图中各像素点对应的概率值和概率阈值的大小，根据比较结果将各像素点进行概率二值化映射，获得目标物区域概率图中各像素点的概率映射结果。
例如，概率阈值为0.5，若目标物区域概率图中像素点A的概率值为0.8，像素点B的概率值为0.2，则将像素点A的像素值映射为白色像素值，将像素点A的像素值映射为黑色像素值，从而实现对像素点A和像素点B的二值化映射，在遍历所有像素点后，实现对目标物区域概率图的二值化映射。得到目标物区域概率图中各像素点的概率映射结果后，服务器基于各概率映射结果得到所述白平衡医学图像中的目标物区域，如服务器可以根据各概率映射结果中映射为目标物像素值的像素点确定为目标物像素点，并根据所有目标物像素点确定白平衡医学图像中的目标物区域。
本实施例中，通过预设的概率阈值对目标物区域概率图进行概率二值化映射，以根据目标物区域概率图中各像素点的概率映射结果确定白平衡医学图像中的目标物区域，通过对二值化映射可以直观对白平衡医学图像中的目标物区域和目标物间质区域进行准确划分，确保了所得的目标物间质区域图像的准确度。
方式2，通过连通域的方式寻找。
在一个实施例中，上述S806具体可以包括：对白平衡医学图像中的目标物区域图像进行区域连通，得到目标物连通区域图像；从目标物连通区域图像中去除非目标物区域，得到更新的目标物连通区域图像；对更新的目标物连通区域图像进行形态学扩张，获得目标物包络区域图像。其中，非目标物区域可以指非目标物的区域，对应地，去除非目标物区域可以指去除非目标物的区域。例如，去除非肿瘤细胞的区域。
本实施例中，将所检测出的目标物区域进行区域连通后，去除连通区域内的非目标物，从而对连通区域的范围内部进行非目标物过滤，再通过形态学扩张对连通区域的边缘进行平滑处理，同时实现对连通区域边较小区域的去噪，从而实现了对所检测出的目标物区域寻找包络，得到了识别划分准确性高的目标物包络区域图像。
具体地，在检测出白平衡医学图像中的目标物区域后，服务器对白平衡医学图像中的目标物区域进行区域连通，具体可以通过预设尺寸的滤波器遍历白平衡医学图像中的目标物区域和非目标区域(即目标物间质区域)，以通过滤波器将白平衡医学图像中的目标物区域进行区域连通，生成目标物连通区域。服务器再对生成的目标物连通区域范围内非目标物进行滤除，从而确保目标物连通区域内部均为目标物。具体地，服务器去除处于目标物连通区域内的非目标物区域，如服务器可以直接将处于目标物连通区域内的非目标物区域更新为目标物区域，得到更新后的目标物连通区域。更新后的目标物连通区域的内部均为目标物区域。进一步地，服务器对更新后的目标物连通区域的边缘进行平滑处理，具体通过对更新后的目标物连通区域进行形态学扩张，得到目标物包络区域图像。通过对更新后的目标物连通区域进行形态学扩张，可以对更新后的目标物连通区域的边缘进行平滑处理，同时针对更新后的目标物连通区域边缘较小区域进行有效去噪，进一步提高了目标物包络区域图像的识别划分准确度。
在一个实施例中，染色细胞区域图像是第一预测模型识别所得的；第一预测模型是对第一初始预测模型进行处理所得；如图10所示，对第一初始预测模型进行处理的步骤，具体可以包括：
S1002，获取对玻片组织样本进行采集所得的医学图像样本。
在一个实施例中，服务器可以从样本库中获取对玻片组织样本进行采集所得的医学图像样本。此外，医学图像样本获取的过程可以参考上述实施例中S202的获取方式。
S1004，当对医学图像样本经过白平衡处理后，通过第一初始预测模型对经过白平衡处理的医学图像样本进行特征提取，得到玻片组织样本因细胞染色形成的训练染色细胞特征。
S1006，根据训练染色细胞特征对经过白平衡处理的医学图像样本进行图像分割，得到训练染色细胞区域图像。
其中，上述S1004-S1006的步骤可以参考上述实施例中S602-S606。
S1008，根据训练染色细胞区域图像与对应的染色细胞区域图像标签之间的损失值，对第一初始预测模型的模型参数进行调整，直至模型收敛。
在一个实施例中，S1008具体可以包括：服务器计算训练染色细胞区域图像与对应的染色细胞区域图像标签之间的损失值，然后将计算的损失值反向传播到第一初始预测模型的各层，获得对于各层参数的梯度；根据梯度调整第一初始预测模型中各层的参数，直至模型收敛，得到第一预测模型。
在一个实施例中，服务器根据损失函数，计算训练染色细胞区域图像与对应的染色细胞区域图像标签之间的损失值。其中，损失函数可以是以下任一种：均方误差(MeanSquared Error)、交叉熵损失函数、L2Loss函数和Focal Loss函数。
上述实施例中，在获取到医学图像样本时，对医学图像样本进行白平衡处理，从而可以时处理后的医学图像样本中被染色部分与未被染色部分更加具有区分度，以提升分割白平衡医学图像样本得到训练染色细胞区域图像的准确性。通过处理后的医学图像样本对第一初始预测模型进行训练，获得训练染色细胞区域图像，根据训练染色细胞区域图像与对应的染色细胞区域图像标签之间的损失值，调整第一初始预测模型的模型参数，获得第一预测模型，采用第一预测模型来识别出染色细胞区域图像，提高了染色细胞区域识别的准确性，有利于提高免疫细胞含量的计算准确性。
在一个实施例中，目标物间质区域图像是第二预测模型识别所得的；第二预测模型是对第二初始预测模型进行处理所得；如图11所示，对第二初始预测模型进行处理包括：
S1102，对经过白平衡处理的医学图像样本中的训练目标物区域图像进行检测。
S1104，通过第二预测模型对训练目标物区域图像寻找包络，得到训练目标物包络区域图像。
S1106，对训练目标物包络区域图像和经过白平衡处理的医学图像样本进行融合，获得目标物与目标物间质之间的训练图像轮廓。
上述S1102-S1106的步骤具体可以参考上述实施例中S802-S810。
S1108，基于训练图像轮廓确定的训练目标物间质区域图像与对应的目标物间质区域图像标签之间的损失值，对第二初始预测模型的模型参数进行调整，直至模型收敛。
在一个实施例中，S1108具体可以包括：服务器计算训练目标物间质区域图像与对应的目标物间质区域图像标签之间的损失值，然后将计算的损失值反向传播到第二初始预测模型的各层，获得对于各层参数的梯度；根据梯度调整第二初始预测模型中各层的参数，直至模型收敛，得到第二预测模型。
在一个实施例中，服务器根据损失函数，计算训练目标物间质区域图像与对应的目标物间质区域图像标签之间的损失值。其中，损失函数可以是以下任一种：均方误差(Mean Squared Error)、交叉熵损失函数、L2Loss函数和Focal Loss函数。
上述实施例中，通过处理后的医学图像样本对第二初始预测模型进行训练，获得训练图像轮廓，根据训练图像轮廓确定训练目标物间质区域图像，基于训练目标物间质区域图像与对应的目标物间质区域图像标签之间的损失值，调整第二初始预测模型的模型参数，获得第二预测模型，采用第二预测模型来识别出目标物间质区域图像，提高了目标物间质区域识别的准确性，有利于提高免疫细胞含量的计算准确性。
需要指出的是，上述各实施例的方法是在服务器上实现的，此外也可以在智能显微镜上实现，具体的执行过程和方法可参考上述各实施例的方法，例如以下应用场景：
本申请还提供一种应用场景，该应用场景应用上述医学图像处理方法。具体地，该方法在该应用场景的应用如下：
在医学上，PD-L1(programmed cell death-Ligand 1，程序性死亡因子配体1)表达在1％以上的群体中具有临床意义的改善，因此在诊断中需要一种客观、可重复和精确的PD-L1评估方法来辅助诊断，本申请基于智能显微镜采集的图像分析，可以改善目前的现状。本申请通过智能显微镜预测免疫细胞(immune cell，IC)在肿瘤区域的占比，获得IC值，该IC值指的是上述实施例中的免疫细胞含量。
其中，如图12a和图12b所示，图12a为是模型训练过程，图12b是智能显微镜下进行IC值估值的过程，接下来对模型训练过程和IC值估值的过程进行描述：
(1)模型训练过程。
输入：训练所采用的乳腺肿瘤图像和标注图像，该标注图像包括染色细胞区域图像标签和肿瘤间质区域图像标签。
输出：染色细胞区域预测模型，肿瘤间质区域预测模型。
训练所采用的乳腺肿瘤图像和智能显微镜采集的乳腺肿瘤图像在色温上差异大，因此使用白平衡算法对训练所采用的乳腺肿瘤图像进行白平衡处理，使得训练所采用的乳腺肿瘤图像和智能显微镜采集的乳腺肿瘤图像在色温上相对一致，从而达到更好的预测效果。其中，训练所采用的乳腺肿瘤图像是通过专业扫描仪扫描所得的WSI图像。
分别训练了染色细胞区域预测模型和肿瘤间质区域预测模型这两个模型，其中染色细胞区域预测模型用于识别全部被染色的区域(如图4中颜色较深的区域，识别出来的染色细胞区域可参考图3a)。这些染色细胞区域中，需要将肿瘤区域内的染色细胞去除，只留下肿瘤间质区域内的染色免疫细胞，其中，肿瘤区域内的染色细胞不是免疫细胞，是肿瘤细胞。因此，本申请还训练了第二个模型，即肿瘤间质区域预测模型，用于区分肿瘤内部和外部被染色的区域，从而可以得到肿瘤间质区域。上述两个模型使用了Linknet分割算法，采用Linknet分割算法的网络模型能够很好地平衡了计算效率和精度，在保证可靠精度的情况下能快速有效的进行推断(inference)。
对于训练所采用的乳腺肿瘤图像，使用了大约100位病人的图像数据。对于染色细胞区域预测模型，使用83个乳腺肿瘤图像进行训练，使用26个乳腺肿瘤图像进行验证，图像分辨率和尺寸分别是1024×1024pixels，1.048μm/pixel，模型分割准确率为f1＝0.86。对于肿瘤间质区域预测模型，使用2700个乳腺肿瘤图像进行训练，使用250个乳腺肿瘤图像进行验证，图像分辨率和尺寸分别是832×832pixels，0.848μm/pixel，模型分割准确率为f1＝0.89。
(2)预测免疫细胞在肿瘤区域的占比，获得IC值。
如图12b所示，输入：进行白平衡处理后的乳腺肿瘤图像；输出：IC值判读结果。
首先，调整智能显微镜，获取智能显微镜下某个乳腺肿瘤区域的视野，得到该视野下的乳腺肿瘤图像，如图13a所示。把当前视野的乳腺肿瘤图像进行白平衡转换，如图13b所示。此外，需要获取智能显微镜当前采集图像时所使用的倍镜信息，这个倍镜信息可以通过算法自动识别，也可以通过手动输入。主要的倍镜信息是20倍镜和10倍镜，这个倍镜信息对应图像的像素长度为：20倍镜对应0.424μm/pixel，10倍镜对应0.848μm/pixel。这个信息需要输入染色细胞区域预测模型和肿瘤间质区域预测模型，用于模型把输入的乳腺肿瘤图像转换成模型本身能处理的像素长度。
然后，分别通过染色细胞区域预测模型和肿瘤间质区域预测模型计算出来的染色细胞区域和肿瘤间质区域，得到肿瘤间质区域内的IC区域二值化图像，于是可以计算当前视野下的IC值：
IC值＝IC区域二值化图像的白色区域面积/显微镜圆形视野下乳腺肿瘤图像的面积。
这里IC区域二值化图像的白色区域面积可以利用计算像素点个数实现，显微镜圆形视野下乳腺肿瘤图像的面积实际的物理意义是指肿瘤区域面积，所以需要在智能显微镜下预先选择某个肿瘤区域的视野。
根据以上两个步骤(1)和(2)，可以获得乳腺肿瘤PD-L1(SP142)的玻片在智能显微镜下肿瘤区域的单个视野的量化IC值。
通过上述实施例，可以具有以下技术效果：
(1)整个过程使用智能显微镜实现对乳腺肿瘤玻片直接预测IC值，不需要扫描WSI图像，可以有效提高IC值的准确性。
(2)能获得量化的IC估值结果，避免传统方案中依靠WSI图像与参考图像对比，然后查找匹配的IC值，避免了主观因素导致所得的IC值不准确的问题。
应该理解的是，虽然图2、5、6、8、10、11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5、6、8、10、11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图14所示，提供了一种医学图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1402、第一识别模块1404、第二识别模块1406、确定模块1410和确定模块1410，其中：
获取模块1402，用于获取对玻片组织进行采集所得的医学图像；
第一识别模块1404，用于从医学图像识别出玻片组织因细胞染色形成的染色细胞区域图像；
第二识别模块1406，用于在医学图像中识别出目标物间质区域图像；
确定模块1410，用于提取染色细胞区域图像中与目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；
确定模块1410，用于根据染色免疫细胞区域图像的细胞区域面积与医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。
在其中的一个实施例中，如图15所示，该装置还包括：
标记模块1412，用于在医学图像中，将与染色免疫细胞区域图像中染色免疫细胞位置或染色免疫细胞块位置匹配的图像位置进行标记；
输出模块1414，用于将标记的医学图像和免疫细胞含量进行输出，以使免疫细胞含量叠加于标记的医学图像上进行显示。
上述实施例中，在经过细胞染色的玻片组织中会形成染色细胞区域，从而可以通过智能显微镜可以对该玻片组织进行采集，得到可分辨细胞区域的医学图像，无需采用专业扫描仪把玻片组织扫描成WSI图像以识别细胞区域。在得到对该玻片组织进行采集所得的医学图像时，可以从该医学图像识别出玻片组织中的染色细胞区域以得到染色细胞区域图像，当从医学图像中识别目标物间质区域图像时，提取染色细胞区域图像中与目标物间质区域图像相交的染色细胞区域图像，然后计算该染色免疫细胞区域图像的细胞区域面积与医学图像中的玻片组织面积之间的比值，从而无需利用专业扫描仪扫描所得的WSI图像与参考图像进行对比，因此即便参考图像的标注不精确，也不会影响计算结果，提高了医学数据计算的准确性。
在其中的一个实施例中，如图15所示，该装置还包括：
图像处理模块1416，用于对医学图像进行白平衡处理，得到白平衡医学图像；
第一识别模块1404，还用于通过第一预测模型对白平衡医学图像进行特征提取，得到玻片组织因细胞染色形成的染色细胞特征；根据染色细胞特征对白平衡医学图像进行图像分割，得到染色细胞区域图像。
在其中的一个实施例中，图像处理模块1416，还用于按照目标尺寸裁剪白平衡医学图像；对裁剪后的白平衡医学图像进行去噪处理；对去噪后的白平衡医学图像进行二值化处理，得到二值化医学图像；
上述实施例中，首先对医学图像进行白平衡处理，从而可以时处理后的医学图像中被染色部分与未被染色部分更加具有区分度，以提升分割白平衡医学图像得到染色细胞区域图像的准确性，进而结合染色细胞区域图像与目标物间质区域图像所确定的免疫细胞含量准确性也更高。
第一识别模块1404，还用于通过第一预测模型对二值化医学图像进行特征提取。
在其中的一个实施例中，图像处理模块1416，还用于对医学图像进行白平衡处理，得到白平衡医学图像；
第二识别模块1406，还用于对白平衡医学图像中的目标物区域图像进行检测；通过第二预测模型对检测的目标物区域图像寻找包络，得到目标物包络区域图像；融合白平衡医学图像和目标物包络区域图像，获得目标物与目标物间质之间的图像轮廓；基于图像轮廓确定目标物间质区域图像。
在其中的一个实施例中，医学图像是通过智能显微镜对玻片组织进行采集所得；如图15所示，该装置还包括：
获取模块1402，还用于获取智能显微镜在进行采集过程中所采用的倍镜信息；
输入模块1418，用于将倍镜信息依次输入至第一预测模型和第二预测模型，以使第一预测模型和第二预测模型获取与倍镜信息对应的像素长度，按照像素长度调整白平衡医学图像各像素的长度。
在其中的一个实施例中，获取模块1402，还用于获取输入的、针对智能显微镜在进行采集过程中所采用倍镜信息；或者，对智能显微镜采集的医学图像进行像素长度计算，查找与计算出的第一像素长度匹配的倍镜信息；或者，计算智能显微镜采集的医学图像的图像长度和在图像长度下的像素数量，根据图像长度和像素数量确定第二像素长度，查找与第二像素长度匹配的倍镜信息。
在其中的一个实施例中，第二识别模块1406，还用于将对白平衡医学图像划分所得的各感兴趣区域图块输入第二预测模型；通过第二预测模型对输入的感兴趣区域图块进行目标物检测，得到对应的感兴趣区域概率图；将感兴趣区域概率图进行拼接，得到目标物区域概率图；对目标物区域概率图进行目标物区域判定，并根据判定的结果确定白平衡医学图像中的目标物包络区域图像。
在其中的一个实施例中，第二识别模块1406，还用于获取概率阈值；基于概率阈值和目标物区域概率图中各像素点对应的概率值，对目标物区域概率图进行二值化映射，得到目标物区域概率图中各像素点的概率映射结果；根据目标物区域概率图各像素点的概率映射结果获得白平衡医学图像中的目标物包络区域图像。
在其中的一个实施例中，第二识别模块1406，还用于对白平衡医学图像中的目标物区域图像进行区域连通，得到目标物连通区域图像；从目标物连通区域图像中去除非目标物区域，得到更新的目标物连通区域图像；对更新的目标物连通区域图像进行形态学扩张，获得目标物包络区域图像。
上述实施例中，首先对医学图像进行白平衡处理，从而可以时处理后的医学图像中被染色部分与未被染色部分更加具有区分度，以提升分割白平衡医学图像得到目标物间质区域图像的准确性，进而结合目标物间质区域图像和染色细胞区域图像所确定的免疫细胞含量准确性也更高。
在其中的一个实施例中，染色细胞区域图像是第一预测模型识别所得的；第一预测模型是对第一初始预测模型进行处理所得；如图15所示，该装置还包括：
模型处理模块1420，用于获取对玻片组织样本进行采集所得的医学图像样本；当对医学图像样本经过白平衡处理后，通过第一初始预测模型对经过白平衡处理的医学图像样本进行特征提取，得到玻片组织样本因细胞染色形成的训练染色细胞特征；根据训练染色细胞特征对经过白平衡处理的医学图像样本进行图像分割，得到训练染色细胞区域图像；根据训练染色细胞区域图像与对应的染色细胞区域图像标签之间的损失值，对第一初始预测模型的模型参数进行调整，直至模型收敛。
上述实施例中，在获取到医学图像样本时，对医学图像样本进行白平衡处理，从而可以时处理后的医学图像样本中被染色部分与未被染色部分更加具有区分度，以提升分割白平衡医学图像样本得到训练染色细胞区域图像的准确性。通过处理后的医学图像样本对第一初始预测模型进行训练，获得训练染色细胞区域图像，根据训练染色细胞区域图像与对应的染色细胞区域图像标签之间的损失值，调整第一初始预测模型的模型参数，获得第一预测模型，采用第一预测模型来识别出染色细胞区域图像，提高了染色细胞区域识别的准确性，有利于提高免疫细胞含量的计算准确性。
在其中的一个实施例中，目标物间质区域图像是第二预测模型识别所得的；第二预测模型是对第二初始预测模型进行处理所得；模型处理模块1420，还用于对经过白平衡处理的医学图像样本中的训练目标物区域图像进行检测；通过第二预测模型对训练目标物区域图像寻找包络，得到训练目标物包络区域图像；对训练目标物包络区域图像和经过白平衡处理的医学图像样本进行融合，获得目标物与目标物间质之间的训练图像轮廓；基于训练图像轮廓确定的训练目标物间质区域图像与对应的目标物间质区域图像标签之间的损失值，对第二初始预测模型的模型参数进行调整，直至模型收敛。
上述实施例中，通过处理后的医学图像样本对第二初始预测模型进行训练，获得训练图像轮廓，根据训练图像轮廓确定训练目标物间质区域图像，基于训练目标物间质区域图像与对应的目标物间质区域图像标签之间的损失值，调整第二初始预测模型的模型参数，获得第二预测模型，采用第二预测模型来识别出目标物间质区域图像，提高了目标物间质区域识别的准确性，有利于提高免疫细胞含量的计算准确性。
关于医学图像处理装置的具体限定可以参见上文中对于医学图像处理方法的限定，在此不再赘述。上述医学图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，此外，该计算机设备可以是智能显微镜，其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储医学图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学图像处理方法。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种医学图像处理方法，其特征在于，所述方法包括：
获取对玻片组织进行采集所得的医学图像；
从所述医学图像识别出所述玻片组织因细胞染色形成的染色细胞区域图像；
在所述医学图像中识别出目标物间质区域图像；
提取所述染色细胞区域图像中与所述目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；
根据所述染色免疫细胞区域图像的细胞区域面积与所述医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述医学图像进行白平衡处理，得到白平衡医学图像；
所述从所述医学图像识别出所述玻片组织因细胞染色形成的染色细胞区域图像包括：
通过第一预测模型对所述白平衡医学图像进行特征提取，得到所述玻片组织因细胞染色形成的染色细胞特征；
根据所述染色细胞特征对所述白平衡医学图像进行图像分割，得到染色细胞区域图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述医学图像进行白平衡处理，得到白平衡医学图像；
所述在所述医学图像中识别出目标物间质区域图像包括：
对所述白平衡医学图像中的目标物区域图像进行检测；
通过第二预测模型对检测的所述目标物区域图像寻找包络，得到目标物包络区域图像；
融合所述白平衡医学图像和所述目标物包络区域图像，获得目标物与目标物间质之间的图像轮廓；
基于所述图像轮廓确定目标物间质区域图像。
4.根据权利要求3所述的方法，其特征在于，所述医学图像是通过智能显微镜对所述玻片组织进行采集所得；所述方法还包括：
获取所述智能显微镜在进行采集过程中所采用的倍镜信息；
将所述倍镜信息依次输入至第一预测模型和所述第二预测模型，以使所述第一预测模型和所述第二预测模型获取与所述倍镜信息对应的像素长度，按照所述像素长度调整所述白平衡医学图像各像素的长度。
5.根据权利要求4所述的方法，其特征在于，所述获取所述智能显微镜在进行采集过程中所采用的倍镜信息包括：
获取输入的、针对所述智能显微镜在进行采集过程中所采用倍镜信息；或者，
对所述智能显微镜采集的医学图像进行像素长度计算，查找与计算出的第一像素长度匹配的倍镜信息；或者，
计算所述智能显微镜采集的医学图像的图像长度和在所述图像长度下的像素数量，根据所述图像长度和所述像素数量确定第二像素长度，查找与所述第二像素长度匹配的倍镜信息。
6.根据权利要求3所述的方法，其特征在于，所述通过第二预测模型对检测出的所述目标物区域图像寻找包络，得到目标物包络区域图像包括：
将对所述白平衡医学图像划分所得的各感兴趣区域图块输入第二预测模型；
通过所述第二预测模型对输入的所述感兴趣区域图块进行目标物检测，得到对应的感兴趣区域概率图；
将所述感兴趣区域概率图进行拼接，得到所述目标物区域概率图；
对所述目标物区域概率图进行目标物区域判定，并根据判定的结果确定所述白平衡医学图像中的目标物包络区域图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述目标物区域概率图进行目标物区域判定，并根据判定的结果确定所述白平衡医学图像中的目标物包络区域图像包括：
获取概率阈值；
基于所述概率阈值和所述目标物区域概率图中各像素点对应的概率值，对所述目标物区域概率图进行二值化映射，得到所述目标物区域概率图中各像素点的概率映射结果；
根据所述目标物区域概率图各像素点的概率映射结果获得所述白平衡医学图像中的目标物包络区域图像。
8.根据权利要求3所述的方法，其特征在于，所述通过第二预测模型对检测出的所述目标物区域图像寻找包络，得到目标物包络区域图像包括：
对所述白平衡医学图像中的目标物区域图像进行区域连通，得到目标物连通区域图像；
从所述目标物连通区域图像中去除非目标物区域，得到更新的目标物连通区域图像；
对更新的目标物连通区域图像进行形态学扩张，获得目标物包络区域图像。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
在所述医学图像中，将与所述染色免疫细胞区域图像中染色免疫细胞位置或染色免疫细胞块位置匹配的图像位置进行标记；
将标记的所述医学图像和所述免疫细胞含量进行输出，以使所述免疫细胞含量叠加于标记的所述医学图像上进行显示。
10.根据权利要求1至8任一项所述的方法，其特征在于，所述染色细胞区域图像是第一预测模型识别所得的；所述第一预测模型是对第一初始预测模型进行处理所得；所述对第一初始预测模型进行处理包括：
获取对玻片组织样本进行采集所得的医学图像样本；
当对所述医学图像样本经过白平衡处理后，通过所述第一初始预测模型对经过白平衡处理的所述医学图像样本进行特征提取，得到所述玻片组织样本因细胞染色形成的训练染色细胞特征；
根据所述训练染色细胞特征对经过白平衡处理的所述医学图像样本进行图像分割，得到训练染色细胞区域图像；
根据所述训练染色细胞区域图像与对应的染色细胞区域图像标签之间的损失值，对所述第一初始预测模型的模型参数进行调整，直至模型收敛。
11.根据权利要求10所述的方法，其特征在于，所述目标物间质区域图像是第二预测模型识别所得的；所述第二预测模型是对第二初始预测模型进行处理所得；所述对第二初始预测模型进行处理包括：
对经过白平衡处理的所述医学图像样本中的训练目标物区域图像进行检测；
通过第二预测模型对所述训练目标物区域图像寻找包络，得到训练目标物包络区域图像；
对所述训练目标物包络区域图像和经过白平衡处理的所述医学图像样本进行融合，获得目标物与目标物间质之间的训练图像轮廓；
基于所述训练图像轮廓确定的训练目标物间质区域图像与对应的目标物间质区域图像标签之间的损失值，对所述第二初始预测模型的模型参数进行调整，直至模型收敛。
12.一种医学图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取对玻片组织进行采集所得的医学图像；
第一识别模块，用于从所述医学图像识别出所述玻片组织因细胞染色形成的染色细胞区域图像；
第二识别模块，用于在所述医学图像中识别出目标物间质区域图像；
提取模块，用于提取所述染色细胞区域图像中与所述目标物间质区域图像相交的染色细胞区域，得到染色免疫细胞区域图像；
确定模块，用于根据所述染色免疫细胞区域图像的细胞区域面积与所述医学图像中的玻片组织面积之间的比值，确定免疫细胞含量。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
图像处理模块，用于对所述医学图像进行白平衡处理，得到白平衡医学图像；
所述第一识别模块，还用于通过第一预测模型对所述白平衡医学图像进行特征提取，得到所述玻片组织因细胞染色形成的染色细胞特征；根据所述染色细胞特征对所述白平衡医学图像进行图像分割，得到染色细胞区域图像。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202011400241.7A 2020-12-03 2020-12-03 医学图像处理方法、装置、计算机设备和存储介质 Pending CN112419295A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011400241.7A CN112419295A (zh) 2020-12-03 2020-12-03 医学图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011400241.7A CN112419295A (zh) 2020-12-03 2020-12-03 医学图像处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112419295A true CN112419295A (zh) 2021-02-26

Family

ID=74830029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011400241.7A Pending CN112419295A (zh) 2020-12-03 2020-12-03 医学图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112419295A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205498A (zh) * 2021-04-30 2021-08-03 天津深析智能科技发展有限公司 一种细胞形态扫描区域选择方法
CN113793336A (zh) * 2021-11-17 2021-12-14 成都西交智汇大数据科技有限公司 一种检测血细胞的方法、装置、设备及可读存储介质
CN114581908A (zh) * 2022-02-21 2022-06-03 广州锟元方青医疗科技有限公司 一种pd-l1免疫组化评分方法、系统、装置与存储介质
WO2022247573A1 (zh) * 2021-05-26 2022-12-01 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN116453114A (zh) * 2022-12-14 2023-07-18 西南医科大学附属口腔医院 一种基于深度学习的病理图像分析方法、设备及系统
CN116543838A (zh) * 2023-07-05 2023-08-04 苏州凌点生物技术有限公司 一种生物基因选择表达概率的数据分析方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205498A (zh) * 2021-04-30 2021-08-03 天津深析智能科技发展有限公司 一种细胞形态扫描区域选择方法
WO2022247573A1 (zh) * 2021-05-26 2022-12-01 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
CN113793336A (zh) * 2021-11-17 2021-12-14 成都西交智汇大数据科技有限公司 一种检测血细胞的方法、装置、设备及可读存储介质
CN113793336B (zh) * 2021-11-17 2022-03-11 成都西交智汇大数据科技有限公司 一种检测血细胞的方法、装置、设备及可读存储介质
CN114581908A (zh) * 2022-02-21 2022-06-03 广州锟元方青医疗科技有限公司 一种pd-l1免疫组化评分方法、系统、装置与存储介质
CN114581908B (zh) * 2022-02-21 2024-03-19 广州锟元方青医疗科技有限公司 一种pd-l1免疫组化评分方法、系统、装置与存储介质
CN116453114A (zh) * 2022-12-14 2023-07-18 西南医科大学附属口腔医院 一种基于深度学习的病理图像分析方法、设备及系统
CN116453114B (zh) * 2022-12-14 2024-03-05 西南医科大学附属口腔医院 一种基于深度学习的病理图像分析方法、设备及系统
CN116543838A (zh) * 2023-07-05 2023-08-04 苏州凌点生物技术有限公司 一种生物基因选择表达概率的数据分析方法
CN116543838B (zh) * 2023-07-05 2023-09-05 苏州凌点生物技术有限公司 一种生物基因选择表达概率的数据分析方法

Similar Documents

Publication Publication Date Title
US20230023585A1 (en) Artificial intelligence-based image processing method and apparatus, computer device and storage medium
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
US10810735B2 (en) Method and apparatus for analyzing medical image
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111225611B (zh) 用于帮助分析目标对象中的伤口的系统和方法
US11967069B2 (en) Pathological section image processing method and apparatus, system, and storage medium
CN112801057B (zh) 图像处理方法、装置、计算机设备和存储介质
JP2021512446A (ja) 画像処理方法、電子機器および記憶媒体
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质
Pérez-Bueno et al. A TV-based image processing framework for blind color deconvolution and classification of histological images
CN115526834A (zh) 免疫荧光图像检测方法及装置、设备、存储介质
CN113261012B (zh) 处理图像的方法、装置及系统
CN115063592A (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN115170401A (zh) 图像补全方法、装置、设备及存储介质
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN110363762B (zh) 细胞检测方法、装置、智能显微镜系统和可读存储介质
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
WO2021067507A1 (en) Building computational transfer functions on 3d light microscopy images using deep learning
Balajee et al. Detection of water availability in SAR images using deep learning architecture
CN113706449B (zh) 基于病理图像的细胞分析方法、装置、设备及存储介质
Khryashchev et al. Histological Images Segmentation by Convolutional Neural Network with Morphological Post-filtration
CN117315210B (zh) 一种基于立体成像的图像虚化方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40038753

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination