CN113743186B - 医学图像的处理方法、装置、设备及存储介质 - Google Patents

医学图像的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113743186B
CN113743186B CN202110661351.7A CN202110661351A CN113743186B CN 113743186 B CN113743186 B CN 113743186B CN 202110661351 A CN202110661351 A CN 202110661351A CN 113743186 B CN113743186 B CN 113743186B
Authority
CN
China
Prior art keywords
abnormal object
sample
region
abnormal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110661351.7A
Other languages
English (en)
Other versions
CN113743186A (zh
Inventor
马兆轩
叶虎
蔡德
肖凯文
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN202110661351.7A priority Critical patent/CN113743186B/zh
Publication of CN113743186A publication Critical patent/CN113743186A/zh
Application granted granted Critical
Publication of CN113743186B publication Critical patent/CN113743186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种医学图像的处理方法、装置、设备及存储介质,属于人工智能技术领域。本申请通过获取医学图像中异常对象的位置和图像特征,得到了异常对象的整体特性,基于异常对象的位置获取包含异常对象的子图像,基于该子图像获取异常对象的可视化特征,该可视化特征具有明确的物理意义,从而获取了异常对象的物理特性,进一步基于该图像特征和该可视化特征的拼接特征,对异常对象进行分类,使得在分类过程中,综合考虑了异常对象的整体特性和物理特性,提高了识别异常对象的准确率,同时,由于可视化特征具有明确的物理意义,可解释性强,能够进一步起到提高识别异常对象的准确率的作用,从而有效的辅助医生进行疾病的诊断。

Description

医学图像的处理方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域,特别涉及一种医学图像的处理方法、装置、设备及存储介质。
背景技术
在医学图像的处理过程中,医生往往通过观察医学图像中是否存在异常对象来判断是否发生病变,以异常对象是异常细胞为例,随着计算机技术的发展,现代医院开始采用图像处理的相关技术来识别医学图像中的异常细胞,其中,医学图像是指通过显微镜或者扫描仪从细胞切片获取的图像。相关技术中,通过神经网络对医学图像进行特征提取,并进一步基于神经网络和提取的特征对医学图像中的异常细胞进行检测和分类,从而实现对异常细胞的识别。
上述技术中,由于神经网络的不可解释性,基于神经网络提取的特征不具有明确的物理意义,可解释性差,导致识别异常细胞的准确率较低。
发明内容
本申请实施例提供了一种医学图像的处理方法、装置、设备及存储介质,该方法能够有效提高医学图像中异常对象识别的准确率。该技术方案如下:
一方面,提供了一种医学图像的处理方法,该方法包括:
对目标医学图像进行处理,得到至少一个目标区域和该至少一个目标区域对应的至少一个第一对象特征,该第一对象特征为异常对象的图像特征,该目标区域用于表示该异常对象在该目标医学图像中的位置;
基于该目标医学图像的至少一个子图像中异常对象各个部分的位置,获取该至少一个子图像中异常对象的第二对象特征,该第二对象特征用于表示该异常对象中多个组成部分的可视化特征;
获取该目标医学图像中至少一个异常对象的拼接特征,该拼接特征基于该异常对象的第一对象特征和第二对象特征拼接得到;
基于该目标医学图像中至少一个异常对象的拼接特征,获取该至少一个异常对象的类别。
一方面,提供了一种医学图像的处理装置,该装置包括:
处理模块,用于对目标医学图像进行处理,得到至少一个目标区域和该至少一个目标区域对应的至少一个第一对象特征,该第一对象特征为异常对象的图像特征,该目标区域用于表示该异常对象在该目标医学图像中的位置;
获取模块,用于基于该目标医学图像的至少一个子图像中异常对象各个部分的位置,获取该至少一个子图像中异常对象的第二对象特征,该第二对象特征用于表示该异常对象中多个组成部分的可视化特征;
拼接模块,用于获取该目标医学图像中至少一个异常对象的拼接特征,该拼接特征基于该异常对象的第一对象特征和第二对象特征拼接得到;
该获取模块,用于基于该目标医学图像中至少一个异常对象的拼接特征,获取该至少一个异常对象的类别。
在一些实施例中,该异常对象为异常细胞,该第二对象特征包括该异常对象的形态特征、颜色特征和纹理特征;
该获取模块,用于对该目标医学图像的至少一个子图像进行图像分割,得到该至少一个子图像的对象标注,该对象标注用于指示对应子图像中该异常对象的各个部分的位置;对与任一子图像的对象标注,基于该对象标注,获取该子图像中异常细胞的各个部分图像,基于该各个部分图像中各个部分的面积和轮廓,获取该异常对象的形态特征;基于该各个部分图像的灰度分布,获取该异常对象的颜色特征;分别对该各个部分图像进行傅里叶变换,得到该异常对象的纹理特征。
在一些实施例中,该拼接模块,用于对于任一目标区域,将该目标区域对应的第一对象特征和该目标区域中异常对象的第二对象特征进行拼接,得到该目标区域中异常对象的拼接特征。
在一些实施例中,该获取模块包括:
映射子模块,用于对于任一异常对象的拼接特征,将该异常对象的拼接特征进行映射,得到该异常对象属于各个类别的概率,将最大概率对应的类别确定为该异常对象的类别。
在一些实施例中,该处理模块,用于基于细胞识别模型对该目标医学图像进行处理;
该映射子模块,用于基于该细胞识别模型中的分类子模型对该异常对象的拼接特征进行映射,得到该异常对象属于各个类别的概率,将最大概率对应的类别确定为该异常对象的类别。
在一些实施例中,该处理模块,用于基于细胞识别模型对该目标医学图像进行处理;
该映射子模块,用于基于与该细胞识别模型相互独立的的分类模型对该异常对象的拼接特征进行映射,得到该异常对象属于各个类别的概率,将最大概率对应的类别确定为该异常对象的类别。
在一些实施例中,该细胞识别模型,基于样本医学图像、至少一个样本区域和样本标签训练得到,该样本区域用于表示该异常对象在该样本医学图像中的位置,该样本标签包括正标签和负标签,该正标签用于表示对应区域中异常对象的类别,该负标签用于表示对应区域中不包含异常对象;
该装置还包括:
训练模块,用于基于该细胞识别模型中的特征提取子模型和目标检测子模型,对该样本医学图像进行处理,得到至少一个预测区域和该至少一个预测区域对应的第一样本对象特征;获取该至少一个预测区域对应的第二样本对象特征,将该至少一个预测区域的第一样本对象特征和对应的第二样本对象特征进行拼接,得到该至少一个预测区域的样本拼接特征;基于该细胞识别模型的分类子模型,对该至少一个预测区域的样本拼接特征进行处理,得到该至少一个预测区域的预测类别;基于该至少一个预测区域的预测类别和对应的样本标签,对该细胞识别模型进行训练。
在一些实施例中,该训练模块,用于对于任一预测区域,若该预测区域与任一样本区域的重叠度达到目标比例,基于该样本区域在样本医学图像中的子图像,获取该预测区域对应的第二样本对象特征,该预测区域对应的样本标签为该样本区域的正标签;若该预测区域与至少一个样本区域的重叠度均未达到目标比例,基于该预测区域在该样本医学图像中的子图像,获取该预测区域对应的第二样本对象特征,该预测区域对应的样本标签为负标签。
一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行以实现该医学图像的处理方法所执行的操作。
一方面,提供了一种计算机程序产品,该计算机程序产品包括至少一条计算机程序,该至少一条计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该至少一条计算机程序,处理器执行该至少一条计算机程序,使得该计算机设备实现该医学图像的处理方法所执行的操作。
本申请实施例提供的技术方案,首先获取医学图像中异常对象的位置和图像特征,从而获取了异常对象的整体特性,基于异常对象的位置获取包含异常对象的子图像,基于该子图像获取异常对象的可视化特征,该可视化特征具有明确的物理意义,从而获取了异常对象的物理特性,进一步基于该图像特征和该可视化特征的拼接特征,对异常对象进行分类,使得在分类过程中,综合考虑了异常对象的整体特性和物理特性,提高了识别异常对象的准确率,同时,由于可视化特征具有明确的物理意义,可解释性强,能够进一步起到提高识别异常对象的准确率的作用,从而有效的辅助医生进行疾病的诊断。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种医学图像的处理方法的实施环境示意图;
图2是本申请实施例提供的一种医学图像的处理方法的流程图;
图3是本申请实施例提供的一种医学图像的处理方法的流程图;
图4是本申请实施例提供的一种医学图像的处理方法的流程图;
图5是本申请实施例提供的一种获取第二对象特征的流程图;
图6是本申请实施例提供的一种医学图像的处理方法的流程图;
图7是本申请实施例提供的一种医学图像标注的示意图;
图8是本申请实施例提供的一种细胞识别模型训练的流程图;
图9是本申请实施例提供的一种医学图像的处理装置的结构示意图;
图10是本申请实施例提供的一种终端的结构示意图;
图11是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
为了便于理解本申请实施例的技术过程,下面对本申请实施例所涉及的一些名词进行解释:
AI(Artificial Intelligence,人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的技术方案还能够与云技术相结合,例如,将训练得到的目标预测模型部署在云端服务器。云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
其中,云技术中的医疗云(Medical Cloud)是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上,结合医疗技术,使用“云计算”来创建医疗健康服务云平台,实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合,医疗云提高医疗机构的效率,方便居民就医。像现在医院的预约挂号、医保等都是云计算与医疗领域结合的产物,医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。示例性的,本申请实施例提供的目标预测模型部署在医疗健康服务云平台上。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
ML(Machine Learning,机器学习)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
CNN(Convolutional Neural Networks,卷积神经网络),是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),它的人工神经元可以响应一部分覆盖范围内的周围单元,由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer),是深度学习(deeplearning)的代表算法之一。
ReLU(Rectified Linear Unit,线性整流函数),又称修正线性单元,是一种人工神经网络中常用的激活函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。
以下对本申请的实施环境进行介绍,图1是本申请实施例提供的一种医学图像的处理方法的实施环境示意图,参见图1,该实施环境包括:图像采集设备101和计算机设备102,图像采集设备101和计算机设备102之间通过有线或者无线网络相互连接。
图像采集设备101,用于采集玻片的医学图像,并向计算机设备102发送医学图像。可选地,图像采集设备101是电子显微镜或者玻片扫描仪。以该医学图像是细胞图像为例,医生制作好细胞玻片,放置在图像采集设备101上,图像采集设备采集当前视野范围内的图像,并将采集的图像通过优先或者无线网络传输到计算机设备102。
计算机设备102用于接收图像采集设备发送的医学图像,并对医学图像进行处理。在一些实施例中,上述计算机设备102能够作为区块链系统中的节点。
可选地,计算机设备102是终端或服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,本申请实施例对此不作限定。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地,上述终端或服务器的数量可以更多或更少,本申请实施例对此不加以限定。
基于图1所示的实施环境,图2是本申请实施例提供的一种医学图像的处理方法的流程图,该方法由计算机设备执行,如图2所示,该实施例包括以下步骤。
201、计算机设备对目标医学图像进行处理,得到至少一个目标区域和该至少一个目标区域对应的至少一个第一对象特征,该第一对象特征为异常对象的图像特征,该目标区域用于表示该异常对象在该目标医学图像中的位置。
其中,该目标医学图像为细胞图像,该异常对象为异常细胞,其中,异常细胞是指与普通细胞形态或颜色具有明显差异的病变细胞,例如,细胞核面积变大的细胞。该目标区域为一个矩形区域,目标区域的表示形式为目标区域的对角顶点的坐标。
以上述目标医学图像可以通过图像采集设备对细胞玻片进行拍摄得到为例,图像采集设备与计算机设备之间具有通讯连接,图像采集设备在采集到细胞图像后,将细胞图像发送至计算机设备,由计算机设备接收并处理。
202、计算机设备基于该目标医学图像的至少一个子图像中异常对象各个部分的位置,获取该至少一个子图像中异常对象的第二对象特征,该第二对象特征用于表示该异常对象中多个组成部分的可视化特征。
其中,该异常对象的第二对象特征包括异常细胞的形态特征、颜色特征和纹理特征,异常对象的各个部分是指异常细胞的细胞核和细胞浆。
在一些实施例中,计算机设备基于至少一个目标区域,从该目标医学图像中获取至少一个子图像,一个子图像中包括一个异常对象,对该至少一个子图像进行图像分割,得到至少一个子图像的对象表标注,该对象标注用于表示对应子图像中异常对象各个部分的位置,进而基于该异常对象各个部分的位置,获取第二对象特征。
203、计算机设备获取该目标医学图像中至少一个异常对象的拼接特征,该拼接特征基于该异常对象的第一对象特征和第二对象特征拼接得到。
通过对第一对象特征和第二对象特征进行拼接,使得所得到的拼接特征既包含异常对象的图像特征,也包含异常对象的可视化特征,能够体现异常对象的整体特性和物理特性。
204、计算机设备基于该目标医学图像中至少一个异常对象的拼接特征,获取该至少一个异常对象的类别。
其中,异常对象的类别指异常细胞的种类,例如,ASCUS(Atypical SquamousCells of Undetermined Significance,不能明确意义的非典型鳞状细胞)、LSIL(LowSquamous Intraepithelial Lesion,低度鳞状上皮内病变)等。
本申请实施例提供的技术方案,首先获取医学图像中异常对象的位置和图像特征,从而获取了异常对象的整体特性,基于异常对象的位置获取包含异常对象的子图像,基于该子图像获取异常对象的可视化特征,该可视化特征具有明确的物理意义,从而获取了异常对象的物理特性,进一步基于该图像特征和该可视化特征的拼接特征,对异常对象进行分类,使得在分类过程中,综合考虑了异常对象的整体特性和物理特性,提高了识别异常对象的准确率,同时,由于可视化特征具有明确的物理意义,可解释性强,能够进一步起到提高识别异常对象的准确率的作用,从而有效的辅助医生进行疾病的诊断。
本申请实施例结合图3和图4,是对该医学图像的处理方法进行说明,图3和图4是本申请实施例提供的一种医学图像的处理方法的流程图,该方法由计算机设备执行,参见图3,在一种可能实现方式中,该实施例包括以下步骤。
301、计算机设备对目标医学图像进行处理,得到至少一个目标区域和该至少一个目标区域对应的至少一个第一对象特征,该第一对象特征为异常对象的图像特征,该目标区域用于表示该异常对象在该目标医学图像中的位置。
在一些实施例中,计算机设备基于细胞识别模型对该目标医学图像进行处理,得到至少一个目标区域和该至少一个目标区域对应的至少一个第一对象特征,上述过程由以下步骤301A至步骤301C实现:
301A、计算机设备基于细胞识别模型的特征提取子模型,对该目标医学图像进行处理,得到特征图。
示例性地,以该特征提取子模型是卷积神经网络为例进行说明,该特征提取子模型包括多个卷积层和多个池化层,每个卷积层的激活函数为ReLU函数,计算机设备将该目标医学图像输入该特征提取子模型,通过多个卷积层对该目标医学图像进行多次特征提取,并基于多个池化层对最后一个卷积层输出的特征进行降维,得到该目标医学图像的特征图。
301B、计算机设备基于细胞识别模型的目标检测子模型和特征图,获取至少一个目标区域。
示例性地,以该目标检测子模型是RPN(Region Proposal Networks,区域建议网络)为例进行说明,该目标检测子模型基于该特征图生成多个候选区域,对该多个候选区域进行二分类,也即是判断每个候选区域中是否包含异常对象,将包含异常对象的候选区域作为目标区域。其中,每个候选区域通过该候选区域的位置信息来表示,该位置信息为该候选区域的对角两个顶点的坐标,例如,候选区域左下角顶点的坐标和右上角顶点的坐标。
示例性地,对上述生成多个候选区域的过程进行说明。由于特征图是通过对目标医学图像进行多次卷积和多次池化得到的,因此特征图的尺度较低,特征图中的每个像素对应于目标医学图像上的一个区域。对于特征图中的每一个像素,目标检测子模型获取该像素在目标医学图像中对应的区域,保持该区域的中心坐标不变,对该区域的长宽比进行变化,同时将该区域的长度和宽度放大目标倍数,得到该像素的多个候选区域,该目标检测子模型最终生成的多个候选区域为该特征图中每个像素对应的候选区域的总和,例如,若特征图的尺度为m×n,目标检测子模型为特征途中的每个像素生成k个候选区域,则最终得到的候选区域的数量为m×n×k,其中,m、n、k为大于0的整数。
301C、计算机设备基于该至少一个目标区域,从该特征图中获取该至少一个目标区域对应的至少一个第一对象特征。
示例性地,对于任一目标区域,计算机设备将该目标区域进行尺度变换,使该目标区域的尺度与特征图的尺度一致,基于变换后的目标区域的位置信息,从特征图中的相应位置,截取该目标区域对应的子特征图,也即是该目标区域对应的第一对象特征。
302、计算机设备对该目标医学图像的至少一个子图像进行图像分割,得到该至少一个子图像的对象标注,该对象标注用于指示对应子图像中该异常对象的各个部分的位置。
在一些实施例中,计算机设备基于至少一个目标区域,从该目标医学图像上获取至少一个子图像,基于图像分割模型,对该至少一个子图像进行图像分割,得到该至少一个子图像的对象标注。
示例性地,对于任一目标区域,计算机设备基于该目标区域的位置信息,从目标医学图像中的相应位置截取该目标区域对应的子图像,该子图像中包含异常对象,将该子图像输入图像分割模型,得到该子图像的对象标注。该对象标注能够表明子图像中细胞核的位置和细胞浆的位置,该图像分割模型能够分割子图像中细胞的细胞核和细胞浆,基于样本子图像和样本对象标注训练得到,每个样本子图像中包含一个细胞,样本子图像对应的样本对象标注用于表示样本子图像中细胞核的位置和细胞浆的位置。
其中,该图像分割模型为PSPNet(Pyramid Scene Parsing Network,金字塔解析网络)、卷积神经网络或者其他深度学习模型,本申请实施例对此不作限定。以该图像分割模型是卷积神经网络为例进行说明,该图像分割模型包括多个卷积层以及至少一个上采样单元,对于任一子图像,通过多个卷积层,对该子图像进行多次特征提取,得到该子图像的特征图,并将该子图像的特征图映射到类别标注空间,得到特征图中每个像素属于各个类别的概率,该各个类别对应异常对象的各个部分,将各个像素的最大概率值所对应的类别确定为该像素的类别,特征图中各个像素的类别即为该特征图的对象标注,由于特征图是通过多次卷积得到的,基于该特征图得到的对象标注的尺度较低,因此通过至少一个上采样单元,对低尺度的对象标注进行上采样处理,得到该子图像的对象标注。
303、计算机设备基于该目标医学图像的至少一个子图像中异常对象各个部分的位置,获取该至少一个子图像中异常对象的第二对象特征,该第二对象特征用于表示该异常对象中多个组成部分的可视化特征。
在一些实施例中,对于任一子图像,如图5所示,获取该子图像中异常对象的第二对象特征包括以下4个过程:
过程1、获取该子图像中异常对象的各个部分图像。
在一些实施例中,计算机设备基于该子图像的对象标注,获取该子图像中异常对象的各个部分图像。
示例性地,计算机设备基于该子图像的对象标注,生成子图像中异常对象各个部分的掩码,该掩码为与子图像大小相同的矩阵,该矩阵中对应异常对象部分的像素位置的元素为1,其余位置的元素为0。例如,异常细胞的细胞核掩码为一个与子图像大小相同的矩阵,该矩阵中细胞核的像素位置的元素为1,其余位置的元素为0。将该各个部分的掩码与该子图像进行点乘,得到该异常对象各个部分的图像。
·过程2、获取形态特征。
在一些实施例中,计算机设备基于该各个部分图像中各个部分的面积和轮廓,获取该异常对象的形态特征。
示例性地,计算机设备基于该各个部分图像,获取该各个部分包含的像素点的数量,也即是该各个部分的面积,从而得到该各个部分的面积之间的比例,基于形状提取算法,获取该各个部分图像的形状参数,该形状参数用于表示各个部分的轮廓特征。其中,该形状提取算法可以是霍夫(Hough)变换算法、傅里叶形状描述符算法、几何参数法等,本申请实施例对此不作限定。计算机设备获取的各个部分的面积、各个部分面积之间的比例以及各个部分的形状参数,即为该异常对象的形态特征。例如,计算机设备基于异常细胞的细胞核图像和细胞浆图像,获取细胞核的面积和细胞浆的面积,并得到核浆面积比例,基于Hough变换算法对细胞核图像进行处理,得到细胞核的轮廓特征,所获取的细胞核面积、核浆面积比例和细胞核的轮廓特征即为该异常细胞的形态特征。
可选地,对于上述过程2,计算机设备可以直接基于异常对象各个部分的掩码,获取该各个部分的面积和轮廓特征,从而减小了计算机设备的计算量,提高识别异常对象的效率。
过程3、获取颜色特征。
在一些实施例中,计算机设备基于该各个部分图像的灰度分布,获取该异常对象的颜色特征。
示例性地,若该各个部分图像为彩色图像,计算机设备将该各个部分图像中每个像素的多个通道的像素值加权融合,得到该各个部分的灰度图像,基于该各个部分的灰度图像,获取该各个部分的灰度分布参数,也即是该异常对象的颜色特征,其中,该灰度分布参数为一阶矩、二阶矩或者其他用于表示灰度分布的参数。例如,计算机设备获取异常细胞的细胞核灰度图像和细胞浆灰度图像,分别计算该细胞核和细胞浆的一阶矩和二阶矩,得到细胞核的颜色特征和细胞浆的颜色特征,也即是该异常细胞的颜色特征,其中,细胞核的颜色特征能够表示细胞核深染度和细胞核灰度分布,细胞浆颜色特征能够表示细胞浆角化度。
过程4、获取纹理特征。
在一些实施例中,计算机设备分别对该各个部分图像进行傅里叶变换,得到该异常对象的纹理特征。
示例性地,计算机设备对该各个部分图像进行傅里叶变换,得到该各个部分的频域信息,也即是该异常对象的纹理特征。例如,计算机设备分别对异常细胞的细胞核图像和细胞浆图像进行傅里叶变换,得到细胞核的频域信息和细胞浆的频域信息,也即是该异常细胞的纹理特征,其中,细胞核的频域信息能够表示细胞核染色粗糙度,细胞浆频域信息能够表示核膜光滑度和核周挖空度。
需要说明的是,上述过程1需要在执行过程2至过程4之前完成,上述过程2至过程4能够以任意顺序串行执行或者并行执行,并不限定于当前时序。
304、计算机设备获取该目标医学图像中至少一个异常对象的拼接特征,该拼接特征基于该异常对象的第一对象特征和第二对象特征拼接得到。
在一些实施例中,对于任一目标区域,计算机将该目标区域对应的第一对象特征和该目标区域中异常对象的第二对象特征进行拼接,得到该目标区域中异常对象的拼接特征。
通过将第一对象特征和第二对象特征进行拼接,使得该拼接特征中既包含异常细胞的图像特征,也包含异常细胞的可视化特征,由于该可以是化特征具有明确的物理含义,可解释性强,因此基于包含可视化特征的拼接特征进行后续的分类步骤,能够有效提升识别异常对象的准确率。
305、计算机设备基于该目标医学图像中至少一个异常对象的拼接特征,获取该至少一个异常对象的类别。
在一些实施例中,计算机设备能够基于下述任一种方法,获取该至少一个异常对象的类别:
方法1:对于任一异常对象的拼接特征,计算机设备基于该细胞识别模型中的分类子模型对该异常对象的拼接特征进行映射,得到该异常对象属于各个类别的概率,将最大概率对应的类别确定为该异常对象的类别。
方法2:对于任一异常对象的拼接特征,计算机设备基于与该细胞识别模型相互独立的的分类模型对该异常对象的拼接特征进行映射,得到该异常对象属于各个类别的概率,将最大概率对应的类别确定为该异常对象的类别。
对于上述方法2,实现了分类模型与细胞识别模型的解耦,细胞识别模型用于获取目标图像中异常对象的位置和第一对象特征,分类模型用于对检测得到的异常对象进行分类,本申请实施例提供的方法还能够基于下述方式实现:如图6所示,计算机设备基于细胞识别模型获取至少一个目标区域和该至少一个目标区域对应的至少一个第一对象特征,计算机设备基于与步骤303和步骤304同理的方法,获取至少一个异常对象的拼接特征,将该至少一个异常对象的拼接特征输入与该细胞识别模型相互独立的的分类模型,得到至少一个异常对象的类别,该分类模型可以是深度学习模型或者机器学习模型,本申请实施例对此不作限定。
通过将分类模型与细胞识别模型解耦,简化了模型结构,提高了模型的计算速度,从而能够提高识别异常细胞的效率。
下面对上述实施例中涉及到的细胞识别模型的训练过程进行介绍,对应于上述步骤305中2种获取异常对象类别的方法,该细胞识别模型具有2种不同结构,该细胞模型包括特征提取子模型、目标检测子模型和分类子模型,或者,该细胞模型包括特征提取子模型和目标检测子模型。
基于上述两种结构,该模型的训练过程分为以下2种方式:
(1)细胞识别模型包括:特征提取子模型、目标检测子模型和分类子模型。
该细胞识别模型,基于样本医学图像、至少一个样本区域和样本标签训练得到,该样本区域用于表示该异常对象在该样本医学图像中的位置,该样本标签包括正标签和正负标签,该正标签用于表示对应区域中异常对象的类别,该负标签用于表示对应区域中不包含异常对象。其中,样本区域和样本标签基于医生对样本医学图像进行标注得到,如图7所示,医生在样本医学图上用矩形区域标注出异常细胞的位置并标注类别。可选地,计算机设备将样本区域的位置信息和对应的样本标签以文本格式,与对应的样本医学图像进行存储。
如图8所示,该细胞识别模型的训练过程包括:
该训练过程通过多次迭代实现,在任一次迭代过程中,计算机设备基于该细胞识别模型中的特征提取子模型和目标检测子模型,对该样本医学图像进行处理,得到至少一个预测区域和该至少一个预测区域对应的第一样本对象特征。计算机设备获取该至少一个预测区域对应的第二样本对象特征,将该至少一个预测区域的第一样本对象特征和对应的第二样本对象特征进行拼接,得到该至少一个预测区域的样本拼接特征,基于该细胞识别模型的分类子模型,对该至少一个预测区域的样本拼接特征进行处理,得到该至少一个预测区域的预测类别,基于该至少一个预测区域的预测类别和对应的样本标签,对该细胞识别模型进行训练。
其中,对于任一预测区域,获取第二样本对象特征包括以下两种方式:若该预测区域与任一样本区域的重叠度达到目标比例,基于该样本区域在样本医学图像中的子图像,获取该预测区域对应的第二样本对象特征,该预测区域对应的样本标签为该样本区域的正标签;若该预测区域与至少一个样本区域的重叠度均未达到目标比例,基于该预测区域在该样本医学图像中的子图像,获取该预测区域对应的第二样本对象特征,该预测区域对应的样本标签为负标签。
(2)细胞识别模型包括:特征提取子模型和目标检测子模型。
该细胞识别模型基于样本医学图像和至少一个样本区域训练得到,该训练过程通过多次迭代实现,在任一次迭代过程中,计算机设备基于该细胞识别模型,对样本医学图像进行处理,得到至少一个预测区域,基于该至少一个预测区域与至少一个样本区域,对该细胞识别模型进行训练。
在一些实施例中,上述训练过程中涉及到的样本医学图像、样本区域的位置信息和样本标签分别存储在不同的区块链节点上,区块链系统中的各个节点均能够对上述样本医学图像、样本区域的位置信息和样本标签进行查阅。或者,在一些情况下,如果用户想要对样本医学图像、样本区域的位置信息和样本标签的任一项进行补充或者更新,也能够通过区块链系统来实现。比如用户在区块链系统中提出对任一样本医学图像的样本区域的位置信息和对应样本标签进行补充,那么区块链系统中的多个节点能够对补充的内容进行投票,在区块链系统中的多个节点达成共识的情况下,区块链系统能够对补充的内容进行存储。当然,若用户想要对任一样本医学图像的样本区域的位置信息和对应样本标签进行更新,区块链系统中的多个节点也能够对更新的内容进行投票,在区块链系统中的多个节点达成共识的情况下,区块链系统能够对更新的内容进行存储。通过将样本医学图像、样本区域的位置信息和样本标签存储区块链系统中,能够保证区块链系统中的每个节点获取到模型的训练数据,从而能够有效地对该细胞识别模型进行训练。
本申请实施例提供的技术方案,首先获取医学图像中异常对象的位置和图像特征,从而获取了异常对象的整体特性,基于异常对象的位置获取包含异常对象的子图像,基于该子图像获取异常对象的可视化特征,该可视化特征具有明确的物理意义,从而获取了异常对象的物理特性,进一步基于该图像特征和该可视化特征的拼接特征,对异常对象进行分类,使得在分类过程中,综合考虑了异常对象的整体特性和物理特性,提高了识别异常对象的准确率,同时,由于可视化特征具有明确的物理意义,可解释性强,能够进一步起到提高识别异常对象的准确率的作用,从而有效的辅助医生进行疾病的诊断。
图9是本申请实施例提供的一种医学图像的处理装置的结构示意图,参见图9,该装置包括:
处理模块901,用于对目标医学图像进行处理,得到至少一个目标区域和该至少一个目标区域对应的至少一个第一对象特征,该第一对象特征为异常对象的图像特征,该目标区域用于表示该异常对象在该目标医学图像中的位置;
获取模块902,用于基于该目标医学图像的至少一个子图像中异常对象各个部分的位置,获取该至少一个子图像中异常对象的第二对象特征,该第二对象特征用于表示该异常对象中多个组成部分的可视化特征;
拼接模块903,用于获取该目标医学图像中至少一个异常对象的拼接特征,该拼接特征基于该异常对象的第一对象特征和第二对象特征拼接得到;
该获取模块902,用于基于该目标医学图像中至少一个异常对象的拼接特征,获取该至少一个异常对象的类别。
在一些实施例中,该异常对象为异常细胞,该第二对象特征包括该异常对象的形态特征、颜色特征和纹理特征;
该获取模块902,用于对该目标医学图像的至少一个子图像进行图像分割,得到该至少一个子图像的对象标注,该对象标注用于指示对应子图像中该异常对象的各个部分的位置;对与任一子图像的对象标注,基于该对象标注,获取该子图像中异常细胞的各个部分图像,基于该各个部分图像中各个部分的面积和轮廓,获取该异常对象的形态特征;基于该各个部分图像的灰度分布,获取该异常对象的颜色特征;分别对该各个部分图像进行傅里叶变换,得到该异常对象的纹理特征。
在一些实施例中,该拼接模块903,用于对于任一目标区域,将该目标区域对应的第一对象特征和该目标区域中异常对象的第二对象特征进行拼接,得到该目标区域中异常对象的拼接特征。
在一些实施例中,该获取模块902包括:
映射子模块,用于对于任一异常对象的拼接特征,将该异常对象的拼接特征进行映射,得到该异常对象属于各个类别的概率,将最大概率对应的类别确定为该异常对象的类别。
在一些实施例中,该处理模块901,用于基于细胞识别模型对该目标医学图像进行处理;
该映射子模块,用于基于该细胞识别模型中的分类子模型对该异常对象的拼接特征进行映射,得到该异常对象属于各个类别的概率,将最大概率对应的类别确定为该异常对象的类别。
在一些实施例中,该处理模块901,用于基于细胞识别模型对该目标医学图像进行处理;
该映射子模块,用于基于与该细胞识别模型相互独立的的分类模型对该异常对象的拼接特征进行映射,得到该异常对象属于各个类别的概率,将最大概率对应的类别确定为该异常对象的类别。
在一些实施例中,该细胞识别模型,基于样本医学图像、至少一个样本区域和样本标签训练得到,该样本区域用于表示该异常对象在该样本医学图像中的位置,该样本标签包括正标签和负标签,该正标签用于表示对应区域中异常对象的类别,该负标签用于表示对应区域中不包含异常对象;
该装置还包括:
训练模块,用于基于该细胞识别模型中的特征提取子模型和目标检测子模型,对该样本医学图像进行处理,得到至少一个预测区域和该至少一个预测区域对应的第一样本对象特征;获取该至少一个预测区域对应的第二样本对象特征,将该至少一个预测区域的第一样本对象特征和对应的第二样本对象特征进行拼接,得到该至少一个预测区域的样本拼接特征;基于该细胞识别模型的分类子模型,对该至少一个预测区域的样本拼接特征进行处理,得到该至少一个预测区域的预测类别;基于该至少一个预测区域的预测类别和对应的样本标签,对该细胞识别模型进行训练。
在一些实施例中,该训练模块,用于对于任一预测区域,若该预测区域与任一样本区域的重叠度达到目标比例,基于该样本区域在样本医学图像中的子图像,获取该预测区域对应的第二样本对象特征,该预测区域对应的样本标签为该样本区域的正标签;若该预测区域与至少一个样本区域的重叠度均未达到目标比例,基于该预测区域在该样本医学图像中的子图像,获取该预测区域对应的第二样本对象特征,该预测区域对应的样本标签为负标签。
本申请实施例提供了一种用于执行上述医学图像的处理方法的计算机设备,在一些实施例中,该计算机设备被提供为终端,图10是本申请实施例提供的一种终端的结构示意图。该终端1000可以是:智能手机、平板电脑、MP3(Moving Picture Experts GroupAudio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1000包括有:一个或多个处理器1001和一个或多个存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一条程序代码,该至少一条程序代码用于被处理器1001所执行以实现本申请中方法实施例提供的医学图像的处理方法。
在一些实施例中,终端1000还可选包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:射频电路1004、显示屏1005、摄像头组件1006、音频电路1007和电源1009中的至少一种。
外围设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置终端1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计;在一些实施例中,显示屏1005可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时,可以检测用户对终端1000的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时,由处理器1001根据用户对显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制显示屏1005的显示亮度。具体地,当环境光强度较高时,调高显示屏1005的显示亮度;当环境光强度较低时,调低显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时,由处理器1001控制显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时,由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开实施例提供了一种用于执行上述医学图像的处理方法的计算机设备,在一些实施例中,该计算机设备被提供为服务器。图11是本申请实施例提供的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或多个CPU(Central Processing Units,处理器)1101和一个或多个的存储器1102,其中,该一个或多个存储器1102中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器1100还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器1100还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括至少一条程序代码的存储器,上述至少一条程序代码可由处理器执行以完成上述实施例中的医学图像的处理方法。例如,该计算机可读存储介质可以是ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory,只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括至少一条计算机程序,该至少一条计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该至少一条计算机程序,处理器执行该至少一条计算机程序,使得该计算机设备执行上述医学图像的处理方法所执行的操作。
在一些实施例中,本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (18)

1.一种医学图像的处理方法,其特征在于,所述方法包括:
对目标医学图像进行处理,得到特征图;
对于所述特征图中的每一个像素,获取所述像素在目标医学图像中对应的区域,保持所述区域的中心坐标不变,对所述区域的长宽比进行变化,同时将所述区域的长度和宽度放大目标倍数,得到所述像素的多个候选区域,将所述特征图中每个像素对应的候选区域的总和,作为最终生成的多个候选区域;
对所述最终生成的多个候选区域进行二分类,以判断每个候选区域中是否包含异常对象,将包含所述异常对象的候选区域作为目标区域,得到至少一个目标区域,所述目标区域用于表示所述异常对象在所述目标医学图像中的位置;
从所述特征图中,获取所述至少一个目标区域对应的至少一个第一对象特征,所述第一对象特征为所述异常对象的图像特征;
基于所述目标医学图像的至少一个子图像中异常对象各个部分的位置,获取所述至少一个子图像中异常对象的第二对象特征,所述第二对象特征用于表示所述异常对象中多个组成部分的可视化特征;
获取所述目标医学图像中至少一个异常对象的拼接特征,所述拼接特征基于所述异常对象的第一对象特征和第二对象特征拼接得到;
基于所述目标医学图像中至少一个异常对象的拼接特征,获取所述至少一个异常对象的类别。
2.根据权利要求1所述的方法,其特征在于,所述异常对象为异常细胞,所述第二对象特征包括所述异常对象的形态特征、颜色特征和纹理特征;
所述基于所述目标医学图像的至少一个子图像中异常对象各个部分的位置,获取所述至少一个子图像中异常对象的第二对象特征包括:
对所述目标医学图像的至少一个子图像进行图像分割,得到所述至少一个子图像的对象标注,所述对象标注用于指示对应子图像中所述异常对象的各个部分的位置;
对于任一子图像的对象标注,基于所述对象标注,获取所述子图像中异常细胞的各个部分图像,基于所述各个部分图像中各个部分的面积和轮廓,获取所述异常对象的形态特征;
基于所述各个部分图像的灰度分布,获取所述异常对象的颜色特征;
分别对所述各个部分图像进行傅里叶变换,得到所述异常对象的纹理特征。
3.根据权利要求1所述的方法,其特征在于,所述获取所述目标医学图像中至少一个异常对象的拼接特征包括:
对于任一目标区域,将所述目标区域对应的第一对象特征和所述目标区域中异常对象的第二对象特征进行拼接,得到所述目标区域中异常对象的拼接特征。
4.根据权利要求1所述的方法,其特征在于,所述基于所述目标医学图像中至少一个异常对象的拼接特征,获取所述至少一个异常对象的类别包括:
对于任一异常对象的拼接特征,将所述异常对象的拼接特征进行映射,得到所述异常对象属于各个类别的概率,将最大概率对应的类别确定为所述异常对象的类别。
5.根据权利要求4所述的方法,其特征在于,所述对目标医学图像进行处理包括:
基于细胞识别模型对所述目标医学图像进行处理;
所述将所述异常对象的拼接特征进行映射,得到所述异常对象属于各个类别的概率,将最大概率对应的类别确定为所述异常对象的类别包括:
基于所述细胞识别模型中的分类子模型对所述异常对象的拼接特征进行映射,得到所述异常对象属于各个类别的概率,将最大概率对应的类别确定为所述异常对象的类别。
6.根据权利要求4所述的方法,其特征在于,所述对目标医学图像进行处理包括:
基于细胞识别模型对所述目标医学图像进行处理;
所述将所述异常对象的拼接特征进行映射,得到所述异常对象属于各个类别的概率,将最大概率对应的类别确定为所述异常对象的类别包括:
基于与所述细胞识别模型相互独立的的分类模型对所述异常对象的拼接特征进行映射,得到所述异常对象属于各个类别的概率,将最大概率对应的类别确定为所述异常对象的类别。
7.根据权利要求5所述的方法,其特征在于,所述细胞识别模型,基于样本医学图像、至少一个样本区域和样本标签训练得到,所述样本区域用于表示所述异常对象在所述样本医学图像中的位置,所述样本标签包括正标签和负标签,所述正标签用于表示对应区域中异常对象的类别,所述负标签用于表示对应区域中不包含异常对象;
所述细胞识别模型的训练过程包括:
基于所述细胞识别模型中的特征提取子模型和目标检测子模型,对所述样本医学图像进行处理,得到至少一个预测区域和所述至少一个预测区域对应的第一样本对象特征;
获取所述至少一个预测区域对应的第二样本对象特征,将所述至少一个预测区域的第一样本对象特征和对应的第二样本对象特征进行拼接,得到所述至少一个预测区域的样本拼接特征;
基于所述细胞识别模型的分类子模型,对所述至少一个预测区域的样本拼接特征进行处理,得到所述至少一个预测区域的预测类别;
基于所述至少一个预测区域的预测类别和对应的样本标签,对所述细胞识别模型进行训练。
8.根据权利要求7所述的方法,其特征在于,所述获取所述至少一个预测区域对应的第二样本对象特征包括:
对于任一预测区域,若所述预测区域与任一样本区域的重叠度达到目标比例,基于所述样本区域在样本医学图像中的子图像,获取所述预测区域对应的第二样本对象特征,所述预测区域对应的样本标签为所述样本区域的正标签;
若所述预测区域与至少一个样本区域的重叠度均未达到目标比例,基于所述预测区域在所述样本医学图像中的子图像,获取所述预测区域对应的第二样本对象特征,所述预测区域对应的样本标签为负标签。
9.一种医学图像的处理装置,其特征在于,所述装置包括:
处理模块,用于对目标医学图像进行处理,得到特征图;对于所述特征图中的每一个像素,获取所述像素在目标医学图像中对应的区域,保持所述区域的中心坐标不变,对所述区域的长宽比进行变化,同时将所述区域的长度和宽度放大目标倍数,得到所述像素的多个候选区域,将所述特征图中每个像素对应的候选区域的总和,作为最终生成的多个候选区域;对所述最终生成的多个候选区域进行二分类,以判断每个候选区域中是否包含异常对象,将包含所述异常对象的候选区域作为目标区域,得到至少一个目标区域,所述目标区域用于表示所述异常对象在所述目标医学图像中的位置;从所述特征图中,获取所述至少一个目标区域对应的至少一个第一对象特征,所述第一对象特征为所述异常对象的图像特征;
获取模块,用于基于所述目标医学图像的至少一个子图像中异常对象各个部分的位置,获取所述至少一个子图像中异常对象的第二对象特征,所述第二对象特征用于表示所述异常对象中多个组成部分的可视化特征;
拼接模块,用于获取所述目标医学图像中至少一个异常对象的拼接特征,所述拼接特征基于所述异常对象的第一对象特征和第二对象特征拼接得到;
所述获取模块,用于基于所述目标医学图像中至少一个异常对象的拼接特征,获取所述至少一个异常对象的类别。
10.根据权利要求9所述的装置,其特征在于,所述异常对象为异常细胞,所述第二对象特征包括所述异常对象的形态特征、颜色特征和纹理特征;
所述获取模块,用于对所述目标医学图像的至少一个子图像进行图像分割,得到所述至少一个子图像的对象标注,所述对象标注用于指示对应子图像中所述异常对象的各个部分的位置;对于任一子图像的对象标注,基于所述对象标注,获取所述子图像中异常细胞的各个部分图像,基于所述各个部分图像中各个部分的面积和轮廓,获取所述异常对象的形态特征;基于所述各个部分图像的灰度分布,获取所述异常对象的颜色特征;分别对所述各个部分图像进行傅里叶变换,得到所述异常对象的纹理特征。
11.根据权利要求9所述的装置,其特征在于,所述拼接模块,用于对于任一目标区域,将所述目标区域对应的第一对象特征和所述目标区域中异常对象的第二对象特征进行拼接,得到所述目标区域中异常对象的拼接特征。
12.根据权利要求9所述的装置,其特征在于,所述获取模块包括:
映射子模块,用于对于任一异常对象的拼接特征,将所述异常对象的拼接特征进行映射,得到所述异常对象属于各个类别的概率,将最大概率对应的类别确定为所述异常对象的类别。
13.根据权利要求12所述的装置,其特征在于,所述处理模块,用于基于细胞识别模型对所述目标医学图像进行处理;
所述映射子模块,用于基于所述细胞识别模型中的分类子模型对所述异常对象的拼接特征进行映射,得到所述异常对象属于各个类别的概率,将最大概率对应的类别确定为所述异常对象的类别。
14.根据权利要求12所述的装置,其特征在于,所述处理模块,用于基于细胞识别模型对所述目标医学图像进行处理;
所述映射子模块,用于基于与所述细胞识别模型相互独立的的分类模型对所述异常对象的拼接特征进行映射,得到所述异常对象属于各个类别的概率,将最大概率对应的类别确定为所述异常对象的类别。
15.根据权利要求13所述的装置,其特征在于,所述细胞识别模型,基于样本医学图像、至少一个样本区域和样本标签训练得到,所述样本区域用于表示所述异常对象在所述样本医学图像中的位置,所述样本标签包括正标签和负标签,所述正标签用于表示对应区域中异常对象的类别,所述负标签用于表示对应区域中不包含异常对象;
所述装置还包括:
训练模块,用于基于所述细胞识别模型中的特征提取子模型和目标检测子模型,对所述样本医学图像进行处理,得到至少一个预测区域和所述至少一个预测区域对应的第一样本对象特征;获取所述至少一个预测区域对应的第二样本对象特征,将所述至少一个预测区域的第一样本对象特征和对应的第二样本对象特征进行拼接,得到所述至少一个预测区域的样本拼接特征;基于所述细胞识别模型的分类子模型,对所述至少一个预测区域的样本拼接特征进行处理,得到所述至少一个预测区域的预测类别;基于所述至少一个预测区域的预测类别和对应的样本标签,对所述细胞识别模型进行训练。
16.根据权利要求15所述的装置,其特征在于,所述训练模块,用于对于任一预测区域,若所述预测区域与任一样本区域的重叠度达到目标比例,基于所述样本区域在样本医学图像中的子图像,获取所述预测区域对应的第二样本对象特征,所述预测区域对应的样本标签为所述样本区域的正标签;若所述预测区域与至少一个样本区域的重叠度均未达到目标比例,基于所述预测区域在所述样本医学图像中的子图像,获取所述预测区域对应的第二样本对象特征,所述预测区域对应的样本标签为负标签。
17.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的医学图像的处理方法所执行的操作。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的医学图像的处理方法所执行的操作。
CN202110661351.7A 2021-06-15 2021-06-15 医学图像的处理方法、装置、设备及存储介质 Active CN113743186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110661351.7A CN113743186B (zh) 2021-06-15 2021-06-15 医学图像的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110661351.7A CN113743186B (zh) 2021-06-15 2021-06-15 医学图像的处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113743186A CN113743186A (zh) 2021-12-03
CN113743186B true CN113743186B (zh) 2023-04-18

Family

ID=78728477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110661351.7A Active CN113743186B (zh) 2021-06-15 2021-06-15 医学图像的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113743186B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332530A (zh) * 2021-12-22 2022-04-12 腾讯科技(深圳)有限公司 图像分类方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321920B (zh) * 2019-05-08 2021-10-22 腾讯科技(深圳)有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110210543B (zh) * 2019-05-24 2021-08-17 上海联影智能医疗科技有限公司 图像分类系统、方法、设备和存储介质
CN110211108A (zh) * 2019-05-29 2019-09-06 武汉兰丁医学高科技有限公司 一种新型的基于Feulgen染色方法的异常宫颈细胞自动识别方法
US20210090248A1 (en) * 2019-09-19 2021-03-25 Doai Inc. Cervical cancer diagnosis method and apparatus using artificial intelligence-based medical image analysis and software program therefor
CN112132827A (zh) * 2020-10-13 2020-12-25 腾讯科技(深圳)有限公司 病理图像的处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113743186A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN111739035B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN110555839A (zh) 缺陷检测识别方法、装置、计算机设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN113610750B (zh) 对象识别方法、装置、计算机设备及存储介质
CN111091166A (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN110544272A (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN112884770B (zh) 图像分割处理方法、装置及计算机设备
CN114332530A (zh) 图像分类方法、装置、计算机设备及存储介质
CN111192262A (zh) 基于人工智能的产品缺陷分类方法、装置、设备及介质
CN111597922B (zh) 细胞图像的识别方法、系统、装置、设备及介质
CN112036331A (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN111930964B (zh) 内容处理方法、装置、设备及存储介质
CN111243668A (zh) 分子结合位点检测方法、装置、电子设备及存储介质
CN110675412A (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN111768507B (zh) 图像融合方法、装置、计算机设备及存储介质
CN113706440A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110647881A (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN113570645A (zh) 图像配准方法、装置、计算机设备及介质
CN113724189A (zh) 图像处理方法、装置、设备及存储介质
CN113516665A (zh) 图像分割模型的训练方法、图像分割方法、装置、设备
CN113257412B (zh) 信息处理方法、装置、计算机设备及存储介质
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant