CN113706442A - 基于人工智能的医疗图像处理方法、装置及电子设备 - Google Patents

基于人工智能的医疗图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113706442A
CN113706442A CN202110285538.1A CN202110285538A CN113706442A CN 113706442 A CN113706442 A CN 113706442A CN 202110285538 A CN202110285538 A CN 202110285538A CN 113706442 A CN113706442 A CN 113706442A
Authority
CN
China
Prior art keywords
target
event
candidate image
candidate
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110285538.1A
Other languages
English (en)
Inventor
裴翰奇
常健博
王任直
冯铭
姚建华
尚鸿
王晓宁
郑瀚
陈星翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Tencent Technology Shenzhen Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110285538.1A priority Critical patent/CN113706442A/zh
Publication of CN113706442A publication Critical patent/CN113706442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请提供了一种基于人工智能的医疗图像处理方法、装置、电子设备及计算机可读存储介质;方法包括:获取包括目标对象标识的医疗图像处理请求;根据所述医疗图像处理请求,从所述目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域;从所述感兴趣区域中提取对应所述目标事件类型的候选影像特征;对所述候选影像特征进行特征筛选处理,得到对应所述目标事件类型的目标预测影像特征;基于所述目标事件类型的目标预测影像特征进行发展信息预测处理,得到所述目标对象标识对应的事件发展信息。通过本申请,能够根据医疗图像准确地进行发展信息预测。

Description

基于人工智能的医疗图像处理方法、装置及电子设备
技术领域
本申请涉及人工智能技术,尤其涉及一种基于人工智能的医疗图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能(Artificial Intelligence,AI)是计算机科学的一个综合技术,通过研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,例如自然语言处理技术以及机器学习/深度学习等几大方向,随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
基于医疗图像的分析是人工智能领域的重要应用之一,医疗图像分析系统是指利用计算机对医疗图像进行处理、分析和理解,以识别出各种不同模式的目标和对象的系统。
在相关技术中,基于医疗图像的分析时,无法准确地预测与医疗图像相关的中间结果。
申请内容
本申请实施例提供一种基于人工智能的医疗图像处理方法、装置、电子设备及计算机可读存储介质,能够根据医疗图像准确地进行发展信息预测。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种基于人工智能的医疗图像处理方法,包括:
获取包括目标对象标识的医疗图像处理请求;
根据所述医疗图像处理请求,从所述目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域;
从所述感兴趣区域中提取对应所述目标事件类型的候选影像特征;
对所述候选影像特征进行特征筛选处理,得到对应所述目标事件类型的目标预测影像特征;
基于所述目标事件类型的目标预测影像特征进行发展信息预测处理,得到所述目标对象标识对应的事件发展信息。
本申请实施例提供一种基于人工智能的医疗图像处理装置,包括:
区域模块,用于获取包括目标对象标识的医疗图像处理请求;根据所述医疗图像处理请求,从所述目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域;
特征模块,用于从所述感兴趣区域中提取对应所述目标事件类型的候选影像特征;
筛选模块,用于对所述目标事件类型的候选影像特征进行特征筛选处理,得到对应所述目标事件类型的目标预测影像特征;
预测模块,用于基于所述目标事件类型的目标预测影像特征进行发展信息预测处理,得到所述目标对象标识对应的事件发展信息。
在上述方案中,所述区域模块,还用于:响应于针对所述医疗图像的裁剪操作,从所述目标对象标识对应的医疗图像中采集出与所述目标事件类型对应的事件区域,并确定为对应所述目标事件类型的感兴趣区域事件区域。
在上述方案中,所述区域模块,还用于:调用第一机器学习模型对所述目标对象标识对应的医疗图像进行分割处理,得到包括与所述目标事件类型对应的事件区域,并确定为对应所述目标事件类型的感兴趣区域事件区域。
在上述方案中,所述第一机器学习模型包括N个级联的下采样网络、卷积网络以及M个级联的上采样网络;N和M为大于或者等于2的整数;所述区域模块,还用于:通过所述N个级联的下采样网络对所述医疗图像进行下采样处理,得到包括所述医疗图像中不同部位的特征的下采样处理结果;通过所述卷积网络对所述下采样处理结果进行卷积处理,得到对应所述医疗图像的卷积特征;通过所述M个级联的上采样网络对所述卷积特征进行上采样处理,得到所述医疗图像中与包括所述目标事件类型对应的事件表现的区域,以作为对应的事件区域;其中,所述事件表现包括以下至少之一:血管表现、骨骼表现、占位表现。
在上述方案中,所述特征模块,还用于:获取对应所述目标事件类型的候选影像特征的属性数据:其中,所述属性数据包括以下至少之一:所述候选影像特征的类型、所述候选影像特征的维度;从所述医疗图像的感兴趣区域中提取与所述属性数据相符,且与所述目标事件类型对应的事件表现的以下特征至少之一:直方图强度候选影像特征、形状候选影像特征、纹理候选影像特征、小波候选影像特征。
在上述方案中,所述选择模块,还用于:获取对应所述目标对象标识以及所述目标事件类型的事件历史特征;当所述事件历史特征的信息量大于信息量阈值时,对所述事件历史特征以及所述候选影像特征进行特征筛选处理,得到对应所述医疗图像的目标预测影像特征;当所述事件历史特征的信息量不大于信息量阈值时,对所述候选影像特征进行特征筛选处理,得到对应所述医疗图像的目标预测影像特征。
在上述方案中,所述选择模块,还用于:确定每个所述候选影像特征对应所述发展信息预测处理的重要程度;基于每个所述候选影像特征对应所述发展信息预测处理的重要程度,从所述候选影像特征中确定对应所述目标事件类型的目标预测影像特征。
在上述方案中,所述选择模块,还用于:确定每个所述候选影像特征与对应所述目标事件类型的事件发展信息之间的相关度;其中,所述相关度包括以下至少之一:所述候选影像特征与所述事件发展信息之间的皮尔森系数;所述候选影像特征与所述事件发展信息之间的互信息;所述候选影像特征与所述事件发展信息之间的方差分析比值;确定与所述相关度正相关的重要程度。
在上述方案中,所述时间预测处理是通过包括多个决策树的第二机器学习模型实现的;所述选择模块,还用于:通过所述第二机器学习模型中每个所述决策树确定每个所述候选影像特征的第一错误率,以基于所述第一错误率确定每个所述候选影像特征在所有所述候选影像特征中的重要程度。
在上述方案中,所述选择模块,还用于:对每个所述候选影像特征进行基于对应重要程度的降序排序,将排序靠前的多个所述候选影像特征作为候选目标预测影像特征;当所述候选目标预测影像特征的数目不大于目标预测影像特征数目阈值时,将所述候选目标预测影像特征确定为对应所述目标事件类型的目标预测影像特征;当所述候选目标预测影像特征的数目大于目标预测影像特征数目阈值时,基于所述候选影像特征更新所述第二机器学习模型,以继续通过更新的所述第二机器学习模型确定每个所述候选目标预测影像特征的重要程度,并将所述重要程度排序靠后的候选目标预测影像特征删除。
在上述方案中,所述选择模块,还用于:针对每个所述决策树执行以下处理:获取对应所述决策树的医疗图像袋外数据,确定通过所述医疗图像袋外数据进行发展信息预测处理的第一错误率,对所述医疗图像袋外数据的每个所述候选影像特征进行噪声干扰处理,得到对应每个所述候选影像特征的经过噪声干扰的医疗噪声图像袋外数据,确定通过每个所述医疗噪声图像袋外数据进行发展信息预测处理的第二错误率;针对每个所述候选影像特征执行以下处理:确定任意一个所述决策树的噪声影响,其中,所述噪声影响为对应所述决策树的第一错误率与第二错误率之间的差值,所述第二错误率对应所述决策树以及所述候选影像特征;对多个所述决策树的差值进行平均处理,得到每个所述候选影像特征的特异性程度。
在上述方案中,所述时间预测处理是通过包括多个决策树的第二机器学习模型实现的;所述预测模块,还用于:通过每个所述决策树将所述目标预测影像特征映射为事件发展信息;对通过每个所述决策树得到的事件发展信息进行平均处理,并将平均处理结果作为所述事件发展信息。
在上述方案中,所述发展信息预测处理是通过包括多个决策树的第二机器学习模型实现的;所述装置还包括:训练模块,用于:基于所述目标事件类型的目标预测影像特征进行发展信息预测处理,得到目标对象标识对应的事件发展信息之前,获取具有预标记事件发展信息以及预标记目标事件类型的医疗图像样本;从所述医疗图像样本中提取对应所述预标记目标事件类型的感兴趣区域样本;获取对应所述感兴趣区域样本的候选影像特征样本;对所述感兴趣区域的候选影像特征样本进行特征选择处理,得到对应所述医疗图像样本的目标预测影像特征样本;将所述目标预测影像特征样本在所述第二机器学习模型中进行正向传播,并将正向传播结果与所述预标记事件发展信息在所述第二机器学习模型中反向传播,以更新所述第二机器学习模型的参数。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的基于人工智能的医疗图像处理方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于被处理器执行时,实现本申请实施例提供的基于人工智能的医疗图像处理方法。
本申请实施例具有以下有益效果:
通过对医疗图像的感兴趣区域的统计特征中提取有效特征作为发展信息预测的基础,一方面,有效节约预测流程的计算资源消耗与特征工程消耗,另一方面,有效特征能够准确反映了疾病类型的发展,进而保证了预测的发展的信息的准确性。
附图说明
图1是本申请实施例提供的医疗图像处理系统的应用场景示意图;
图2是本申请实施例提供的用于医疗图像处理的电子设备的结构示意图;
图3-图5是本申请实施例提供的医疗图像处理方法的流程示意图;
图6是本申请实施例提供的医疗图像示意图;
图7是本申请实施例提供的医疗图像示意图;
图8是本申请实施例提供的医疗图像处理方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)深度学习(Deep Learning,DL):机器学习(Machine Learning,ML)领域中一个新的研究方向,被引入机器学习使其更接近于最初的目标—人工智能(ArtificialIntelligence,AI)。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息,对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
2)核磁共振成像(MRI,Magnetic Resonance Imaging):利用核磁共振原理,依据所释放的能量在物质内部不同结构环境中不同的衰减,通过外加梯度磁场检测所发射出的电磁波,即可得知构成这一物体原子核的位置和种类,据此可以绘制成物体内部的结构图像。
3)计算机断层扫描(CT,Computed Tomography):以X射线从多个方向沿着头部某一选定断层层面进行照射,测定透过的X射线量,数字化后经过计算机算出该层面组织各个单位容积的吸收系数,然后重建图像的一种技术。
4)影像组学:高通量地从MRI与CT的等类型的医学影像中提取大量高维的定量影像特征,并进行分析。
5)神经网络:由大量处理单元互联组成的非线性、自适应信息处理系统。
6)横向面:将病人在垂直方向上分为上下两个部分的切面。
7)套索算法(Lasso,Least absolute shrinkage and selection operator):该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型,使得它压缩一些回归系数,即强制系数绝对值之和小于某个固定值;同时设定一些回归系数为零。因此保留了子集收缩的优点,是一种处理具有复共线性数据的有偏估计。
在实际医疗场景中,目标对象(患者)在发病以及后续病情发展过程中可能存在失去意识或者无人陪伴的情况,从而无法提供准确的发病时间等事件发展信息。相关技术中未发现直接预测疾病的事件发展信息的相关方法,通过影像组学方式可以判断目标对象的事件发展信息是否在特定的时间窗口内,例如,当事件发展信息为发病时间时,预测发病时间是4.5小时以内,即仅能够判断发病时间是否处于某一范围内,4.5小时中的任意一个时间戳均可能为事件发展信息,而不能给出准确的事件发展信息,并且通过影响组学方式进行时间范围判断时也只能针对特定疾病类型有效,不具有普适性。
本申请实施例提供一种基于人工智能的医疗图像处理方法、装置、电子设备和计算机可读存储介质,能够根据医疗图像准确地进行多种疾病的事件发展信息预测。
本申请实施例所提供的医疗图像处理方法,可以由终端/服务器独自实现;也可以由终端和服务器协同实现,例如终端独自承担下文所述的医疗图像处理方法,或者,终端向服务器发送目标对象的医疗图像,服务器根据接收的目标对象的医疗图像执行医疗图像处理方法。
本申请实施例提供的用于医疗图像处理的电子设备可以是各种类型的终端或服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器;终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
以服务器为例,例如可以是部署在云端的服务器集群,向用户开放人工智能云服务(AiaaS,AI as a Service),平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务,这种服务模式类似于一个AI主题商城,所有的用户都可以通过应用程序编程接口的方式来接入使用AIaaS平台提供的一种或者多种人工智能服务。
例如,其中的一种人工智能云服务可以为医疗图像处理服务,即云端的服务器封装有本申请实施例提供的医疗图像处理的程序。用户通过终端(运行有客户端,例如地图定位客户端、医疗客户端等)调用云服务中的医疗图像处理服务,以使部署在云端的服务器调用封装的医疗图像处理的程序,获取包括目标对象标识的医疗图像处理请求;根据医疗图像处理请求,从目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域;从感兴趣区域中提取对应目标事件类型的候选影像特征;对候选影像特征进行特征筛选处理,得到对应目标事件类型的目标预测影像特征;基于目标事件类型的目标预测影像特征进行发展信息预测处理,得到目标对象标识对应的事件发展信息,例如,心脏病的事件发展信息等,其中,本申请实施例提供的医疗图像处理方法不是以有生命或动物体为对象的,且不是以获得疾病诊断结果或者健康状况为直接目的,不能根据疾病类型的事件发展信息直接获得疾病的诊断结果或健康状况,仅用于辅助医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
参见图1,图1是本申请实施例提供的医疗图像处理系统的应用场景示意图,终端400通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。
终端400(运行有客户端,例如医疗客户端等)可以被用来获取医疗图像,例如,通过终端400的图像采集装置,采集医疗图像,或者通过其他的图像采集设备将采集到的医疗图像发送至终端400,终端400接收到医疗图像。
在一些实施例中,终端中运行的客户端中可以植入有医疗图像处理插件,用以在客户端本地实现医疗图像处理方法。例如,终端400获取基于医疗图像的目标事件类型的事件发展信息预测请求(包括医疗图像)后,调用图像处理插件,以实现图像处理方法,根据医疗图像中对应目标事件类型的感兴趣区域的目标预测影像特征,预测对应目标事件类型的事件发展信息。
在一些实施例中,终端400获取基于医疗图像的目标事件类型的事件发展信息预测请求(包括医疗图像)后,调用服务器200的图像处理接口(可以提供为云服务的形式,即图像处理服务),服务器200根据医疗图像中对应目标事件类型的感兴趣区域的目标预测影像特征,预测对应目标事件类型的事件发展信息,例如,患者、医生、研究人员将医疗图像输入至医疗应用后,医疗应用自动获取基于医疗图像的目标事件类型的事件发展信息预测请求(包括医疗图像)后,并调用服务器200的图像处理接口,对医疗图像进行对应目标事件类型的事件发展信息预测,其中,本申请实施例提供的医疗图像处理方法不是以有生命或动物体为对象的,且不是以获得疾病诊断结果或者健康状况为直接目的,不能根据目标事件类型的事件发展信息直接获得疾病的诊断结果或健康状况,即目标事件类型的事件发展信息不直接用于疾病诊断,仅作为中间数据,以辅助患者进行疾病的预测,辅助医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。
下面说明本申请实施例提供的用于医疗图像处理的电子设备的结构,参见图2,图2是本申请实施例提供的用于医疗图像处理的电子设备的结构示意图,以电子设备是服务器200为例说明,图2所示的用于医疗图像处理的服务器200包括:至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解,总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
存储器250包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
在一些实施例中,存储器250能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统251,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块252,用于经由一个或多个(有线或无线)网络接口220到达其他计算设备,示例性的网络接口220包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
在一些实施例中,本申请实施例提供的医疗图像处理装置可以采用软件方式实现,例如,可以是上文所述的终端中的医疗图像处理插件,可以是上文所述的服务器中医疗图像处理服务。当然,不局限于此,本申请实施例提供的医疗图像处理装置可以提供为各种软件实施例,包括应用程序、软件、软件模块、脚本或代码在内的各种形式。
图2示出了存储在存储器250中的医疗图像处理装置255,其可以是程序和插件等形式的软件,例如图像处理插件,并包括一系列的模块,包括区域模块2551、特征模块2552、选择模块2553、预测模块2554以及训练模块2555。
如前,本申请实施例提供的医疗图像处理方法可以由各种类型的电子设备实施。参见图3,图3是本申请实施例提供的医疗图像处理方法的流程示意图,结合图3示出的步骤进行说明。
在步骤101中,获取包括目标对象标识的医疗图像处理请求,以根据医疗图像处理请求,从目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域。
作为示例,目标对象是患者,例如人或者动物,目标对象标识是目标对象的身份信息,医疗图像可以为医学影像,例如,电子计算机断层扫描得到的医学影像,通过核磁共振成像得到的医学影像等等,目标事件类型可以医疗场景中的事件类型,例如为出血脑卒中、胰腺癌等等疾病类型,感兴趣区域为与目标事件类型关联最密切的区域。
在一些实施例中,步骤101中从目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域,可以通过以下技术方案实现:响应于针对医疗图像的裁剪操作,从目标对象标识对应的医疗图像中采集出与目标事件类型对应的事件区域,并确定为对应目标事件类型的感兴趣区域。
作为示例,针对医疗图像的裁剪操作可以是医疗人员或者研究人员发起的操作,在裁剪操作中承载有医疗图像中感兴趣区域的位置数据,根据位置数据从医疗图像中采集出与目标事件类型对应的事件区域(例如,病灶区域),例如,针对出血脑卒中,出血点即为事件区域,将事件区域确定为对应目标事件类型的感兴趣区域,并将感兴趣区域以不同于其他区域的显示方式进行显示,以将感兴趣区域与医疗图像中除感兴趣区域之外的其他区域进行区分,参见图6,图6是本申请实施例提供的医疗图像示意图,图6示出了目标事件类型为出血脑卒中的医疗图像601,参见图7,图7是本申请实施例提供的医疗图像示意图,图7中的701即为目标事件类型为出血脑卒中的医疗图像的感兴趣区域,并将感兴趣区域以阴影方式进行呈现,以便于后期医疗人员或者研究人员对感兴趣区域进行区分。
在一些实施例中,步骤101中从目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域,可以通过以下技术方案实现:调用第一机器学习模型对医疗图像进行分割处理,得到包括与目标事件类型对应的事件区域,并确定为与目标事件类型的感兴趣区域。
作为示例,第一机器学习模型可以为各种卷积神经网络模型,例如U型卷积神经网络,当第一机器学习模型为U型卷积神经网络时,第一机器学习模型包括N个级联的下采样网络、卷积网络以及M个级联的上采样网络;N和M为大于或者等于2的整数。
在一些实施例中,上述调用第一机器学习模型对目标对象标识对应的医疗图像进行分割处理,得到包括与目标事件类型对应的事件区域,可以通过以下技术方案实现:通过N个级联的下采样网络对医疗图像进行下采样处理,得到包括医疗图像中不同部位的特征的下采样处理结果;通过卷积网络对下采样处理结果进行卷积处理,得到对应医疗图像的卷积特征;通过M个级联的上采样网络对卷积特征进行上采样处理,得到医疗图像中与包括目标事件类型对应的事件表现(例如,病灶表现)的区域,以作为对应的事件区域;其中,事件表现包括以下至少之一:血管表现、骨骼表现、占位表现。通过多个下采样网络以及多个上采样网络构成了U型网络结构,并在同一个阶级的网络之间使用了连接操作,而不是直接在高级语义特征上进行监督,保证了最后恢复出来的特征图融合了更多的低级的候选影像特征,也使得不同尺度的特征得到了融合,有利于后续进行准确地事件发展信息预测。
作为示例,通过N个级联的下采样网络中的第n下采样网络,对第n下采样网络的输入进行下采样处理,并将第n下采样网络输出的第n下采样处理结果传输到第n+1下采样网络以继续进行下采样处理,得到对应第n+1下采样处理结果;其中,n为取值从1开始递增的整数变量,n的取值范围为1≤n<N,当n取值为1时,第n下采样网络的输入为医疗图像,当n取值为2≤n<N时,第n下采样网络的输入为第n-1下采样网络输出的第n-1下采样处理结果。
作为示例,通过M个级联的上采样网络中的第m上采样网络,对第m上采样网络的输入进行上采样处理,得到对应第m上采样网络的上采样结果,将对应第m上采样网络的上采样结果传输到第m+1上采样网络以继续进行上采样处理,得到对应第m+1上采样网络的上采样结果;其中,m为取值从1开始递增的整数变量,m的取值范围为1≤m≤M-1,当m取值为1时,第m采样网络的输入为卷积特征,当m取值为2≤m<M时,第m上采样网络的输入为第m-1上采样网络输出的第m-1上采样处理结果。
作为示例,通过M个级联的上采样网络中的第m上采样网络,对第m上采样网络的输入进行上采样处理,得到对应第m上采样网络的上采样结果之前,当m取值为1,将第M下采样网络的输出与卷积网络的输出进行拼接处理,并将拼接处理结果作为第m上采样网络的输入,以替代将卷积网络的输出作为第m上采样网络的输入;当m取值为2≤m<M时,将第M+1-m下采样网络的输出与第m-1上采样网络的输出进行拼接处理,并将拼接处理结果作为第m上采样网络的输入,以替代将对应第m-1上采样网络的上采样处理结果作为第m上采样网络的输入。
作为示例,调用第一机器学习模型对医疗图像进行分割处理,得到对应目标事件类型的感兴趣区域之前,将医疗图像样本在第一机器学习模型中进行正向传播,得到对应目标事件类型的预测感兴趣区域;将预测感兴趣区域与对应目标事件类型的预标记感兴趣区域代入图像分割损失函数,以确定图像分割损失函数取得最小值时第一机器学习模型的参数。
在步骤102中,从感兴趣区域中提取对应目标事件类型的候选影像特征。
作为示例,候选影像特征是医疗图像中感兴趣区域的与目标事件类型具有关联性的图像特征。
在一些实施例中,参见图4,图4是本申请实施例提供的基于人工智能的医疗图像处理方法,步骤102中从感兴趣区域中提取对应目标事件类型的候选影像特征,可以通过步骤1021-1022。
在步骤1021,获取对应目标事件类型的候选影像特征的属性数据。
作为示例,属性数据包括以下至少之一:候选影像特征的类型、候选影像特征的维度,属性数据限定了候选影像特征的类型以及每个类型的候选影像特征的维度。
在步骤1022,从医疗图像的感兴趣区域中提取与目标事件类型对应的事件表现的以下特征至少之一:直方图强度候选影像特征、形状候选影像特征、纹理候选影像特征、小波候选影像特征。
作为示例,在感兴趣区域中对医疗图像的强度信息进行统计计算时,由于感兴趣区域中呈现有对应目标事件类型的事件表现(例如,病灶表现),因此可以得到具有统计学意义的候选影像特征,并且所获取的候选影像特征与目标事件类型对应的病灶表现具有较强的关联度,候选影像特征包括以下至少之一:直方图强度候选影像特征,形状候选影像特征,纹理候选影像特征,小波候选影像特征等等。直方图强度候选影像特征表示的是边缘(梯度)的结构特征,因此可以描述局部的形状信息,直方图强度候选影像特征是基于位置和方向空间的量化得到的,一定程度上可以抑制平移和旋转带来的影响直方图强度候选影像特征是基于分块分单元的处理方式得到的,使得医疗图像的感兴趣区域的局部像素点之间的关系可以很好得到的表征,形状候选影像特征是通过长度、宽度、圆形度以及不变矩刻画的,纹理候选影像特征是通过纹理反映医疗图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性,纹理具有三大标志:某种局部序列性不断重复、非随机排列、纹理区域内大致为均匀的统一体。纹理不同于灰度、颜色等图像特征,它通过像素及其周围空间邻域的灰度分布来表现。
在步骤103中,对候选影像特征进行特征筛选处理,得到对应目标事件类型的目标预测影像特征。
作为示例,目标预测影像特征是从候选影像特征中筛选出来的,可以用于进行发展信息预测处理的有效特征。
在一些实施例中,参见图5,图5是本申请实施例提供的基于人工智能的医疗图像处理方法,步骤103中对目标事件类型的候选影像特征进行特征筛选处理,得到对应目标事件类型的目标预测影像特征,可以通过步骤1031-1032实现。
在步骤1031中,获取对应目标对象标识以及目标事件类型的事件历史特征。
作为示例,当对应目标对象标识以及目标事件类型(例如,疾病类型)的病历信息可用时,可以将对应病历信息的事件历史特征(例如,病历特征)与候选影像特征结合,以基于事件历史特征与候选影像特征结合进行特征筛选处理,事件历史特征包括以下至少之一:入院舒张压,入院收缩压,是否饮酒/吸烟,相关病史等等。
在步骤1032中,当事件历史特征的信息量大于信息量阈值时,对事件历史特征以及候选影像特征进行特征筛选处理,得到对应医疗图像的目标预测影像特征。
作为示例,事件历史特征的信息量大于信息量阈值时,表征事件历史特征的数目大于数目阈值和/或事件历史特征的种类大于种类阈值,则将事件历史特征以及候选影像特征均作为特征筛选处理的基础,后续的事件发展信息预测可以基于事件历史特征以及候选影像特征进行,从而基于更加丰富的特征对事件发展信息进行预测,提高预测准确度。
在步骤1033中,当事件历史特征的信息量不大于信息量阈值时,对候选影像特征进行特征筛选处理,得到对应医疗图像的目标预测影像特征。
作为示例,事件历史特征的信息量不大于信息量阈值时,表征事件历史特征的数目不大于数目阈值且事件历史特征的种类不大于种类阈值,则仅将候选影像特征均作为特征筛选处理的基础,后续的事件发展信息预测仅基于候选影像特征进行,从而节约特征工程的成本并降低计算资源消耗。
在一些实施例中,步骤103中对候选影像特征进行特征筛选处理,得到对应目标事件类型的目标预测影像特征,可以通过以下技术方案实现:确定每个候选影像特征对应发展信息预测处理的重要程度;基于每个候选影像特征对应发展信息预测处理的重要程度,从候选影像特征中确定对应目标事件类型的目标预测影像特征。通过目标预测影像特征对事件发展信息进行预测,一方面,有效节约预测流程的计算资源消耗与特征工程消耗,另一方面,目标预测影像特征能够准确反映了目标事件类型的发展,进而保证了预测的发展的时间的准确性。
作为示例,事件发展信息可以为医疗历史信息或者医疗未来信息,其中,医疗历史信息包括疾病的发病时间、发病状态等等,医疗未来信息包括疾病到达未来某个阶段的时间,例如,医疗图像是癌症早期拍摄的,医疗未来信息包括癌症中期的时间、癌症中期的状态等等。
作为示例,确定每个候选影像特征对应发展信息预测处理的重要程度,以及基于每个候选影像特征对应发展信息预测处理的重要程度,从候选影像特征中确定对应目标事件类型的目标预测影像特征这两个步骤同样适用于候选影像特征与事件历史特征的结合,即确定每个候选影像特征以及事件历史特征对应发展信息预测处理的重要程度,以及基于每个候选影像特征以及每个事件历史特征对应发展信息预测处理的重要程度,从候选影像特征以及事件历史特征中确定对应目标事件类型的目标预测影像特征。
在一些实施例中,上述确定每个特征对应发展信息预测处理的重要程度,可以通过以下技术方案实现:确定每个候选影像特征与对应目标事件类型的事件发展信息之间的相关度;其中,相关度包括以下至少之一:候选影像特征与事件发展信息之间的皮尔森系数;候选影像特征与事件发展信息之间的互信息;候选影像特征与事件发展信息之间的方差分析比值;确定与相关度正相关的重要程度。
作为示例,通过独立计算每类候选影像特征与事件发展信息的相关程度指标,从而保证各个候选影像特征在事件发展信息预测任务中具有较强的参考意义,独立特征选择的指标包括以下至少之一:互信息,皮尔森系数,分析方差比值(ANOVA F-value)等等,其中,互信息为表征候选影像特征与事件发展信息之间相互依赖性的量度,皮尔森系数是一种线性相关系数,皮尔森相关系数是用来反映候选影像特征与事件发展信息线性相关程度的统计量。
在一些实施例中,发展信息预测处理是通过包括多个决策树的第二机器学习模型实现的;上述确定每个候选影像特征对于发展信息预测处理的重要程度,可以通过以下技术方案实现:通过第二机器学习模型中每个决策树确定每个候选影像特征的第一错误率,以基于第一错误率确定每个候选影像特征在所有候选影像特征中的重要程度。
作为示例,第二机器学习模型能够计算单个特征的重要程度,第二机器学习模型的候选影像特征很多,其中不乏有噪音存在,因此需要计算出每个特征的重要程度并对这些候选影像特征进行排序,进而可以从所有特征中选择出重要程度靠前的候选影像特征。第二机器学习模型可以为随机森林模型,或者还可以通过lasso算法从多个候选影像特征中选择出目标预测影像特征。
在一些实施例中,上述通过第二机器学习模型中每个决策树确定每个候选影像特征的第一错误率,以基于第一错误率确定每个候选影像特征在所有候选影像特征中的重要程度,可以通过以下技术方案实现:针对每个决策树执行以下处理:获取对应决策树的医疗图像袋外数据,确定通过医疗图像袋外数据进行发展信息预测处理的第一错误率,对医疗图像袋外数据的每个候选影像特征进行噪声干扰处理,得到对应每个候选影像特征的经过噪声干扰的医疗噪声图像袋外数据,确定通过每个医疗噪声图像袋外数据进行发展信息预测处理的第二错误率;针对每个候选影像特征执行以下处理:确定任意一个决策树的噪声影响,其中,噪声影响为对应决策树的第一错误率与第二错误率之间的差值,第二错误率对应决策树以及候选影像特征;对多个决策树的差值进行平均处理,得到每个候选影像特征的特异性程度。
作为示例,在第二机器学习模型中某个候选影像特征X的重要程度的计算方法如下:对于第二机器学习模型中的每颗决策树,使用相应的医疗图像袋外数据来计算它的第一错误率,随机地对医疗图像袋外数据的候选影像特征X加入噪声干扰,即随机改变医疗图像袋外数据在候选影像特征X处的值,再次计算它的第二错误率,假设第二机器学习模型中有多个决策树,那么对于候选影像特征X的重要程度为针对每个决策树的噪声影响进行平均处理得到的,噪声影响为第二错误率与第一错误率之间的差值,之所以可以用这个表达式来作为候选影像特征X的重要程度是因为:若给某个候选影像特征随机加入噪声干扰之后,医疗图像袋外数据的错误率大幅度提高,则说明这个候选影像特征对于医疗图像袋外数据的事件发展信息预测结果影响很大,也就是说它的重要程度比较高。
作为示例,第一错误率的计算方法如下:通过决策树A对医疗图像袋外数据预测事件发展信息,将预测事件发展信息与实际事件发展信息进行比对处理,若比对处理结果在设定范围内时,确定本次预测准确,重复多次预测过程,确定预测准确的次数,以得到第一错误率,第二错误率的计算方法与第一错误率的计算方式类似,区别仅在于预测的基础更换为医疗噪声图像袋外数据,即加入了噪声干扰的医疗图像袋外数据,相应的医疗噪声图像袋外数据在候选影像特征X处的值也经过噪声干扰。第二机器学习模型在构建每棵树时,会对训练集进行随机且有放回地抽取处理,对于每棵决策树而言(假设对于第k棵决策树),大约有一半的训练实例没有参与第k棵决策树的生成,这一半的数据就称为第k棵决策树的袋外数据。
在一些实施例中,上述基于每个候选影像特征对应发展信息预测处理的重要程度,从候选影像特征中确定对应目标事件类型的目标预测影像特征,可以通过以下技术方案实现:对每个候选影像特征进行基于对应重要程度的降序排序,将排序靠前的多个候选影像特征作为候选目标预测影像特征;当候选目标预测影像特征的数目不大于目标预测影像特征数目阈值时,将候选目标预测影像特征确定为对应目标事件类型的目标预测影像特征;当候选目标预测影像特征的数目大于目标预测影像特征数目阈值时,基于候选影像特征更新第二机器学习模型,以继续通过更新的第二机器学习模型确定每个候选目标预测影像特征的重要程度,并将重要程度排序靠后的候选目标预测影像特征删除。
作为示例,特征选择的目标在于:确定与事件发展信息高度相关的候选影像特征,并选择出数目较少的候选影像特征即能够充分的预测事件发展信息,首先对第二机器学习模型中的候选影像特征按照重要程度降序排序,从当前的候选影像特征中剔除相应比例不重要的候选影像特征,从而得到一个新的特征集,用新的特征集更新多个决策树,并计算特征集中每个候选影像特征的重要程度以进行排序,重复上述步骤直到仅剩下指定数目的候选影像特征为止。
在一些实施例中,还可以通过上述实施例获取多组候选影像特征,每组候选影像特征的数目均为指定数目,针对多组候选影像特征,建立对应的第二机器学习模型,并计算对应的每组候选影像特征的错误率,将错误率最低的那组特征作为最后选定的目标预测影像特征。
在步骤104,基于目标事件类型的目标预测影像特征进行发展信息预测处理,得到目标对象标识对应的事件发展信息。
作为示例,目标对象标识对应的事件发展信息即为患者对应目标事件类型(例如,疾病类型)的事件发展信息,事件发展信息可以为医疗历史信息或者医疗未来信息,其中,医疗历史信息包括疾病的发病时间、病情发展的各阶段的发展时间、发病严重等级等等,医疗未来信息包括疾病到达未来某个阶段的时间,例如,医疗图像是癌症早期拍摄的,医疗未来信息包括癌症中期的时间、癌症中期的状态等等。
在一些实施例中,发展信息预测处理是通过包括多个决策树的第二机器学习模型实现的;步骤104中基于目标事件类型的目标预测影像特征进行发展信息预测处理,得到目标对象标识对应的事件发展信息,可以通过以下技术方案实现:通过每个决策树将目标预测影像特征映射为对应目标事件类型的事件发展信息;对通过每个决策树得到的事件发展信息进行平均处理,并将平均处理结果作为对应目标事件类型的事件发展信息,通过多个决策树分别对事件发展信息进行预测,可以有效提高预测准确度以及稳定性,降低预测失误的概率,从而保证所得到的作为中间结果的事件发展信息具有参考价值。
作为示例,当第二机器学习模型包括多个决策树时,通过每个决策树将目标预测影像特征映射为对应目标事件类型的事件发展信息,事件发展信息包括发病时间、到达对应目标事件类型的某个病情发展节点的节点时间等等,当事件发展信息为发病时间时,对通过每个决策树得到的发病时间进行平均处理,并将平均处理结果作为对应目标事件类型的发病时间,例如,存在三个决策树,预测的事件发展信息为3.5小时、3小时以及4小时,则第二机器学习模型预测得到的发病时间为3.5个小时。当事件发展信息为发病严重等级时,对通过每个决策树得到的发病严重等级进行平均处理,并将平均处理结果作为对应目标事件类型的发病严重等级,例如,存在三个决策树,预测的事件发展信息为1级、2级以及3级,则第二机器学习模型预测得到的发病严重等级为2级。
作为示例,步骤104中基于目标事件类型的目标预测影像特征进行发展信息预测处理,得到目标对象标识对应的事件发展信息的过程还可以通过Lasso模型、梯度下降树模型、极端梯度提升树模型与类别梯度提升树模型实现。
在一些实施例中,发展信息预测处理是通过包括多个决策树的第二机器学习模型实现的;步骤104中基于目标事件类型的目标预测影像特征进行发展信息预测处理,得到目标对象标识对应的事件发展信息之前,获取具有预标记事件发展信息以及预标记目标事件类型的医疗图像样本;从医疗图像样本中提取对应预标记目标事件类型的感兴趣区域样本;获取对应感兴趣区域样本的候选影像特征样本;对感兴趣区域的候选影像特征样本进行特征筛选处理,得到对应医疗图像样本的目标预测影像特征样本;将目标预测影像特征样本在第二机器学习模型中进行正向传播,并将正向传播结果与预标记事件发展信息在第二机器学习模型中反向传播,以更新第二机器学习模型的参数。
作为示例,预标记事件发展信息可以为预标记的医疗历史信息或者预标记的医疗未来信息,其中,预标记的医疗历史信息包括疾病的预标记的发病时间、预标记的发病状态等等,预标记的医疗未来信息包括疾病到达未来某个阶段的时间,例如,医疗图像是癌症早期拍摄的,医疗未来信息包括癌症中期的预标记的时间、癌症中期的预标记的状态等等。
作为示例,在进行事件发展信息预测前,需要通过已标注数据构造出第二机器学习模型,将具有预标记事件发展信息的目标对象作为训练数据,构造目标预测影像特征,再将得到的目标预测影像特征作为输入,以预标记事件发展信息作为标签,训练第二机器学习模型,在训练结束后,便可直接使用第二机器学习模型,对未知事件发展信息的目标对象进行事件发展信息预测。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例提供一种基于人工智能的医疗图像处理方法,广泛适用于各种医疗场景中的疾病事件发展信息的依存,例如,针对发病时间进行预测,特别是当相关医疗影像对疾病发展趋势有着较大参考意义时,基于医疗图像的感兴趣区域的目标预测影像特征进行事件发展信息预测,可以有效提高事件发展信息的预测准确度。
在一些实施例中,事件发展信息的预测包括针对发病时间进行预测,在目标对象(患者)的发病时间未知的情况下,基于医学扫描影像,通过算法预测出目标对象的真实发病时间,以下将以出血性脑卒中这一目标事件类型为例,具体阐述本申请实施例提供一种基于人工智能的医疗图像处理方法的步骤。
在一些实施例中,参见图8,图8是本申请实施例提供的医疗图像处理方法的流程示意图。在步骤201中,接收医疗图像,在步骤202中,进行感兴趣区域提取,需要通过对医学扫描影像中的感兴趣区域进行勾画与分割,而不同目标事件类型下的感兴趣区域各有不同。以出血性脑卒中为例,血块区域的情况与目标对象的病情发病高度相关,因此该区域为医护人员与研究人员关注度较高的区域,被标记为感兴趣区域,同时,感兴趣区域的标注方法也存在以下两种,例如,可以基于专业人员的操作进行分割,也可以通过神经网络模型(例如,U型神经网络)进行分割,前者准确度较高,标注效果较好,后者处理速度较快,节省人力,参见图6以及图7,图6展示了在出血性脑卒中这一目标事件类型下的脑部CT影像,图7中展示了在出血性脑卒中这一目标事件类型下,脑部CT的出血区域标注示例。
在一些实施例中,在步骤203中,进行候选影像特征提取,通过数学计算方法,在上一步得到的感兴趣区域中对医疗图像的强度信息进行统计计算,得到具有统计学意义的候选影像特征(表征影像组学信息),候选影像特征包括:直方图强度候选影像特征,形状候选影像特征,纹理候选影像特征,小波候选影像特征等。在出血性卒中这一目标事件类型下,可以基于编程语言中的pyradiomics工具包提取出CT影像中共851维候选影像特征供后续使用,本步骤中使用的影像组学提取方式以及候选影像特征类别数量都可灵活调整。
在一些实施例中,在步骤204中,进行事件历史特征结合(可选),可以结合事件历史特征进行判断,当目标对象的其他病历信息可用时,可以将病历中的重要信息作为辅助候选影像特征与候选影像特征结合,输入到下一步的候选影像特征选择流程中,事件历史特征包括以下至少之一:入院舒张压,入院收缩压,是否饮酒/吸烟,相关病史等等,当事件历史特征缺乏时,也可以仅针对候选影像特征进行发病时间预测。
在一些实施例中,在步骤205中,进行特征选择,通过以下方式中至少一种方式对候选影像特征进行选择:独立特征选择与模型特征选择,对上一步中得到的大量候选影像特征进行特征筛选,保留下重要性较高的候选影像特征,而筛除掉无用候选影像特征,提升最终发病时间预测算法的鲁棒性与准确性,独立特征选择中通过独立计算每类候选影像特征与发病时间的相关程度指标,从而保证各个候选影像特征在发病时间预测任务中具有较强的参考意义,独立特征选择的指标包括以下至少之一:互信息,皮尔森系数,ANOVA F-value等等,模型特征选择中通过使用相关的机器学习模型,衡量各个候选影像特征之间的冗余程度,保留下特异性较强的重要候选影像特征,候选影像特征选择模型包括:lasso模型,随机森林模型等等。
在一些实施例中,在步骤206中,进行机器学习模型预测以得到预测的发病时间,通过机器学习方法,以经过候选影像特征选择后的目标预测影像特征作为输入,预测目标对象对应目标事件类型的真实发病时间,在进行发病时间预测前,需要通过已标注数据构造出第二机器学习模型,将具有预标记发病时间的目标对象作为训练数据,构造目标预测影像特征,再将得到的目标预测影像特征作为输入,以预标记发病时间作为标签,训练第二机器学习模型,在训练结束后,便可直接使用第二机器学习模型,对未知发病时间的目标对象进行发病时间预测。
本申请实施例提供一种基于人工智能的医疗图像处理方法,有效地利用候选影像特征与机器学习进行疾病发病时间预测,提供了一种全新的发病时间预测方法,为无法提供准确事件发展信息的患者预测事件发展信息,用于辅助医生、研究人员进行疾病的诊断、复诊和治疗方法的研究,灵活性较强,根据需求的不同,在各个流程模块中都有着多种方法可供选择;拓展性较强,可以运用于多种医疗影像对病程发展具有较强参考意义的目标事件类型。
下面继续说明本申请实施例提供的基于人工智能的医疗图像处理装置255的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器250的基于人工智能的医疗图像处理装置255中的软件模块可以包括:区域模块2551,用于获取包括目标对象标识的医疗图像处理请求;根据医疗图像处理请求,从目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域;特征模块2552,用于从感兴趣区域中提取对应目标事件类型的候选影像特征;选择模块2553,用于对目标事件类型的候选影像特征进行特征筛选处理,得到对应目标事件类型的目标预测影像特征;预测模块2554,用于基于目标事件类型的目标预测影像特征进行发展信息预测处理,得到目标对象标识对应的事件发展信息。
在上述方案中,区域模块2551,还用于:响应于针对医疗图像的裁剪操作,从目标对象标识对应的医疗图像中采集出与目标事件类型对应的事件区域,并确定为对应目标事件类型的感兴趣区域事件区域。
在上述方案中,区域模块2551,还用于:调用第一机器学习模型对目标对象标识对应的医疗图像进行分割处理,得到包括与目标事件类型对应的事件区域,并确定为与目标事件类型的感兴趣区域事件区域。
在上述方案中,第一机器学习模型包括N个级联的下采样网络、卷积网络以及M个级联的上采样网络;N和M为大于或者等于2的整数;区域模块2551,还用于:通过N个级联的下采样网络对医疗图像进行下采样处理,得到包括医疗图像中不同部位的特征的下采样处理结果;通过卷积网络对下采样处理结果进行卷积处理,得到对应医疗图像的卷积特征;通过M个级联的上采样网络对卷积特征进行上采样处理,得到医疗图像中与包括目标事件类型对应的事件表现的区域,以作为对应的事件区域;其中,事件表现包括以下至少之一:血管表现、骨骼表现、占位表现。
在上述方案中,特征模块2552,还用于:获取对应目标事件类型的候选影像特征的属性数据:其中,属性数据包括以下至少之一:候选影像特征的类型、候选影像特征的维度;从医疗图像的感兴趣区域中提取与属性数据相符,且与目标事件类型对应的事件表现的以下特征至少之一:直方图强度候选影像特征、形状候选影像特征、纹理候选影像特征、小波候选影像特征。
在上述方案中,选择模块2553,还用于:获取对应目标对象标识以及目标事件类型的事件历史特征;当事件历史特征的信息量大于信息量阈值时,对事件历史特征以及候选影像特征进行特征筛选处理,得到对应医疗图像的目标预测影像特征;当事件历史特征的信息量不大于信息量阈值时,对候选影像特征进行特征筛选处理,得到对应医疗图像的目标预测影像特征。
在上述方案中,选择模块2553,还用于:确定每个候选影像特征对应发展信息预测处理的重要程度;基于每个候选影像特征对应发展信息预测处理的重要程度,从候选影像特征中确定对应目标事件类型的目标预测影像特征。
在上述方案中,选择模块2553,还用于:确定每个候选影像特征与对应目标事件类型的事件发展信息之间的相关度;其中,相关度包括以下至少之一:候选影像特征与事件发展信息之间的皮尔森系数;候选影像特征与事件发展信息之间的互信息;候选影像特征与事件发展信息之间的方差分析比值;确定与相关度正相关的重要程度。
在上述方案中,时间预测处理是通过包括多个决策树的第二机器学习模型实现的;选择模块2553,还用于:通过第二机器学习模型中每个决策树确定每个候选影像特征的第一错误率,以基于第一错误率确定每个候选影像特征在所有候选影像特征中的重要程度。
在上述方案中,选择模块2553,还用于:对每个候选影像特征进行基于对应重要程度的降序排序,将排序靠前的多个候选影像特征作为候选目标预测影像特征;当候选目标预测影像特征的数目不大于目标预测影像特征数目阈值时,将候选目标预测影像特征确定为对应目标事件类型的目标预测影像特征;当候选目标预测影像特征的数目大于目标预测影像特征数目阈值时,基于候选影像特征更新第二机器学习模型,以继续通过更新的第二机器学习模型确定每个候选目标预测影像特征的重要程度,并将重要程度排序靠后的候选目标预测影像特征删除。
在上述方案中,选择模块2553,还用于:针对每个决策树执行以下处理:获取对应决策树的医疗图像袋外数据,确定通过医疗图像袋外数据进行发展信息预测处理的第一错误率,对医疗图像袋外数据的每个候选影像特征进行噪声干扰处理,得到对应每个候选影像特征的经过噪声干扰的医疗噪声图像袋外数据,确定通过每个医疗噪声图像袋外数据进行发展信息预测处理的第二错误率;针对每个候选影像特征执行以下处理:确定任意一个决策树的噪声影响,其中,噪声影响为对应决策树的第一错误率与第二错误率之间的差值,第二错误率对应决策树以及候选影像特征;对多个决策树的差值进行平均处理,得到每个候选影像特征的特异性程度。
在上述方案中,时间预测处理是通过包括多个决策树的第二机器学习模型实现的;预测模块2554,还用于:通过每个决策树将目标预测影像特征映射为事件发展信息;对通过每个决策树得到的事件发展信息进行平均处理,并将平均处理结果作为事件发展信息。
在上述方案中,时间预测处理是通过包括多个决策树的第二机器学习模型实现的;装置255还包括:训练模块2555,用于:基于目标事件类型的目标预测影像特征进行发展信息预测处理,得到目标对象对应目标事件类型的事件发展信息之前,获取具有预标记事件发展信息以及预标记目标事件类型的医疗图像样本;从医疗图像样本中提取对应预标记目标事件类型的感兴趣区域样本;获取对应感兴趣区域样本的候选影像特征样本;对感兴趣区域的候选影像特征样本进行特征选择处理,得到对应医疗图像样本的目标预测影像特征样本;将目标预测影像特征样本在第二机器学习模型中进行正向传播,并将正向传播结果与预标记事件发展信息在第二机器学习模型中反向传播,以更新第二机器学习模型的参数。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的基于人工智能的医疗图像处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的基于人工智能的医疗图像处理方法,例如,如图3-图5示出的基于人工智能的医疗图像处理方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上,通过本申请实施例对医疗图像进行感兴趣区域识别以及有效特征提取,能够提取到与疾病类型相关的有效特征信息,为精准的发展时间预测奠定基础;另外,通过对特征进行选择处理,得到有效特征,能够节约预测流程的计算资源消耗与特征工程消耗。
以上,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (15)

1.一种基于人工智能的医疗图像处理方法,其特征在于,包括:
获取包括目标对象标识的医疗图像处理请求;
根据所述医疗图像处理请求,从所述目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域;
从所述感兴趣区域中提取对应所述目标事件类型的候选影像特征;
对所述候选影像特征进行特征筛选处理,得到对应所述目标事件类型的目标预测影像特征;
基于所述目标事件类型的目标预测影像特征进行发展信息预测处理,得到所述目标对象标识对应的事件发展信息。
2.根据权利要求1所述的方法,其特征在于,所述从所述目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域,包括:
响应于针对所述医疗图像的裁剪操作,从所述目标对象标识对应的医疗图像中采集出与所述目标事件类型对应的事件区域,并确定为对应所述目标事件类型的感兴趣区域。
3.根据权利要求1所述的方法,其特征在于,所述从所述目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域,包括:
调用第一机器学习模型对所述目标对象标识对应的医疗图像进行分割处理,得到包括与所述目标事件类型对应的事件区域,并确定为对应所述目标事件类型的感兴趣区域。
4.根据权利要求3所述的方法,其特征在于,所述第一机器学习模型包括N个级联的下采样网络、卷积网络以及M个级联的上采样网络;N和M为大于或者等于2的整数;
所述调用第一机器学习模型对所述目标对象标识对应的医疗图像进行分割处理,得到包括与所述目标事件类型对应的事件区域,包括:
通过所述N个级联的下采样网络对所述医疗图像进行下采样处理,得到包括所述医疗图像中不同部位的特征的下采样处理结果;
通过所述卷积网络对所述下采样处理结果进行卷积处理,得到对应所述医疗图像的卷积特征;
通过所述M个级联的上采样网络对所述卷积特征进行上采样处理,得到所述医疗图像中与包括所述目标事件类型对应的事件表现的区域,以作为对应的事件区域;
其中,所述事件表现包括以下至少之一:血管表现、骨骼表现、占位表现。
5.根据权利要求1所述的方法,其特征在于,所述从所述感兴趣区域中提取对应所述目标事件类型的候选影像特征,包括:
获取对应所述目标事件类型的候选影像特征的属性数据:
其中,所述属性数据包括以下至少之一:所述候选影像特征的类型、所述候选影像特征的维度;
从所述医疗图像的感兴趣区域中提取与所述属性数据相符,且与所述目标事件类型对应的事件表现的以下特征至少之一:直方图强度候选影像特征、形状候选影像特征、纹理候选影像特征、小波候选影像特征。
6.根据权利要求1所述的方法,其特征在于,所述对所述候选影像特征进行特征筛选处理,得到对应所述目标事件类型的目标预测影像特征,包括:
获取对应所述目标对象标识以及所述目标事件类型的事件历史特征;
当所述事件历史特征的信息量大于信息量阈值时,对所述事件历史特征以及所述候选影像特征进行特征筛选处理,得到对应所述医疗图像的目标预测影像特征;
当所述事件历史特征的信息量不大于信息量阈值时,对所述候选影像特征进行特征筛选处理,得到对应所述医疗图像的目标预测影像特征。
7.根据权利要求1所述的方法,其特征在于,所述对所述候选影像特征进行特征筛选处理,得到对应所述目标事件类型的目标预测影像特征,包括:
确定每个所述候选影像特征对应所述发展信息预测处理的重要程度;
基于每个所述候选影像特征对应所述发展信息预测处理的重要程度,从所述候选影像特征中确定对应所述目标事件类型的目标预测影像特征。
8.根据权利要求7所述的方法,其特征在于,所述确定每个所述候选影像特征对应所述发展信息预测处理的重要程度,包括:
确定每个所述候选影像特征与对应所述目标事件类型的事件发展信息之间的相关度;
其中,所述相关度包括以下至少之一:所述候选影像特征与所述事件发展信息之间的皮尔森系数;所述候选影像特征与所述事件发展信息之间的互信息;所述候选影像特征与所述事件发展信息之间的方差分析比值;
确定与所述相关度正相关的重要程度。
9.根据权利要求7所述的方法,其特征在于,所述发展信息预测处理是通过包括多个决策树的第二机器学习模型实现的;
所述确定每个所述候选影像特征对应所述发展信息预测处理的重要程度,包括:
通过所述第二机器学习模型中每个所述决策树确定每个所述候选影像特征的第一错误率,以基于所述第一错误率确定每个所述候选影像特征在所有所述候选影像特征中的重要程度。
10.根据权利要求9所述的方法,其特征在于,所述基于每个所述候选影像特征对应所述发展信息预测处理的重要程度,从所述候选影像特征中确定对应所述目标事件类型的目标预测影像特征,包括:
对每个所述候选影像特征进行基于对应重要程度的降序排序,将排序靠前的多个所述候选影像特征作为候选目标预测影像特征;
当所述候选目标预测影像特征的数目不大于目标预测影像特征数目阈值时,将所述候选目标预测影像特征确定为对应所述目标事件类型的目标预测影像特征;
当所述候选目标预测影像特征的数目大于目标预测影像特征数目阈值时,基于所述候选影像特征更新所述第二机器学习模型,以继续通过更新的所述第二机器学习模型确定每个所述候选目标预测影像特征的重要程度,并将所述重要程度排序靠后的候选目标预测影像特征删除。
11.根据权利要求9所述的方法,其特征在于,所述通过所述第二机器学习模型中每个所述决策树确定每个所述候选影像特征的第一错误率,以基于所述第一错误率确定每个所述候选影像特征在所有所述候选影像特征中的重要程度,包括:
针对每个所述决策树执行以下处理:获取对应所述决策树的医疗图像袋外数据,确定通过所述医疗图像袋外数据进行发展信息预测处理的第一错误率,对所述医疗图像袋外数据的每个所述候选影像特征进行噪声干扰处理,得到对应每个所述候选影像特征的经过噪声干扰的医疗噪声图像袋外数据,确定通过每个所述医疗噪声图像袋外数据进行发展信息预测处理的第二错误率;
针对每个所述候选影像特征执行以下处理:确定任意一个所述决策树的噪声影响,其中,所述噪声影响为对应所述决策树的第一错误率与第二错误率之间的差值,所述第二错误率对应所述决策树以及所述候选影像特征;对多个所述决策树的差值进行平均处理,得到每个所述候选影像特征的特异性程度。
12.根据权利要求1所述的方法,其特征在于,所述发展信息预测处理是通过包括多个决策树的第二机器学习模型实现的;
所述基于所述目标事件类型的目标预测影像特征进行发展信息预测处理,得到所述目标对象标识对应的事件发展信息,包括:
通过每个所述决策树将所述目标预测影像特征映射为事件发展信息;
对通过每个所述决策树得到的事件发展信息进行平均处理,并将平均处理结果作为所述事件发展信息。
13.一种基于人工智能的医疗图像处理装置,其特征在于,包括:
区域模块,用于获取包括目标对象标识的医疗图像处理请求;根据所述医疗图像处理请求,从所述目标对象标识对应的医疗图像中提取与目标事件类型匹配的感兴趣区域;
特征模块,用于从所述感兴趣区域中提取对应所述目标事件类型的候选影像特征;
筛选模块,用于对所述目标事件类型的候选影像特征进行特征筛选处理,得到对应所述目标事件类型的目标预测影像特征;
预测模块,用于基于所述目标事件类型的目标预测影像特征进行发展信息预测处理,得到所述目标对象标识对应的事件发展信息。
14.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至12任一项所述的基于人工智能的医疗图像处理方法。
15.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至12任一项所述的基于人工智能的医疗图像处理方法。
CN202110285538.1A 2021-03-17 2021-03-17 基于人工智能的医疗图像处理方法、装置及电子设备 Pending CN113706442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285538.1A CN113706442A (zh) 2021-03-17 2021-03-17 基于人工智能的医疗图像处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285538.1A CN113706442A (zh) 2021-03-17 2021-03-17 基于人工智能的医疗图像处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113706442A true CN113706442A (zh) 2021-11-26

Family

ID=78647829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285538.1A Pending CN113706442A (zh) 2021-03-17 2021-03-17 基于人工智能的医疗图像处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113706442A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082409A (zh) * 2022-06-30 2022-09-20 心禾互联网医院(成都)有限公司 一种自动化识别核素影像诊断心肌缺血的系统
CN115131343A (zh) * 2022-08-03 2022-09-30 华中科技大学同济医学院附属同济医院 一种慢性鼻窦炎分型方法、装置、设备及可读存储介质
CN117912643A (zh) * 2023-03-28 2024-04-19 西弥斯医疗科技(湖南)有限公司 基于皮肤检测的智能治疗系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082409A (zh) * 2022-06-30 2022-09-20 心禾互联网医院(成都)有限公司 一种自动化识别核素影像诊断心肌缺血的系统
CN115131343A (zh) * 2022-08-03 2022-09-30 华中科技大学同济医学院附属同济医院 一种慢性鼻窦炎分型方法、装置、设备及可读存储介质
CN115131343B (zh) * 2022-08-03 2023-12-26 华中科技大学同济医学院附属同济医院 一种慢性鼻窦炎分型方法、装置、设备及可读存储介质
CN117912643A (zh) * 2023-03-28 2024-04-19 西弥斯医疗科技(湖南)有限公司 基于皮肤检测的智能治疗系统

Similar Documents

Publication Publication Date Title
CN109886933B (zh) 一种医学图像识别方法、装置和存储介质
CN113706442A (zh) 基于人工智能的医疗图像处理方法、装置及电子设备
CN107665736B (zh) 用于生成信息的方法和装置
CN111899252B (zh) 基于人工智能的病理图像处理方法和装置
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN111862044A (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN111815606B (zh) 图像质量评估方法、存储介质及计算装置
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN116110597B (zh) 一种基于数字孪生的患者病症类别智能分析方法及装置
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN117746201A (zh) 基于交叉Transformer和MLIF的多模态融合生存预后方法
CN116469545A (zh) 使用医学图像进行辅助疾病预测的方法、装置及设备
CN114519705A (zh) 一种用于医学选拔与鉴定的超声标准数据处理方法及系统
CN113920243A (zh) 极端环境下脑结构的三维重建方法、装置及可读存储介质
CN116205915B (zh) 一种基于掩码的大脑年龄评估方法、系统及电子设备
CN115547502B (zh) 基于时序数据的血透病人风险预测装置
CN111209946A (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN116433970A (zh) 甲状腺结节分类方法、系统、智能终端及存储介质
CN115410723A (zh) 数据处理方法、装置、电子设备、存储介质及程序产品
CN115018874A (zh) 一种基于频域分析的眼底血管分割域泛化方法
CN113706644A (zh) 图像处理方法及其装置、存储介质
CN112633405A (zh) 模型训练方法、医学影像分析方法及装置、设备、介质
CN117116476B (zh) 下游任务预测方法、装置及计算机可读存储介质
CN111915556B (zh) 一种基于双分支网络的ct图像病变检测方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination