CN118247284B - 图像处理模型的训练方法、图像处理方法 - Google Patents

图像处理模型的训练方法、图像处理方法 Download PDF

Info

Publication number
CN118247284B
CN118247284B CN202410676834.8A CN202410676834A CN118247284B CN 118247284 B CN118247284 B CN 118247284B CN 202410676834 A CN202410676834 A CN 202410676834A CN 118247284 B CN118247284 B CN 118247284B
Authority
CN
China
Prior art keywords
image processing
model
sample
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410676834.8A
Other languages
English (en)
Other versions
CN118247284A (zh
Inventor
周彦捷
白碧哲
胡毓健
向一郎
张鸿坤
许敏丰
吕乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202410676834.8A priority Critical patent/CN118247284B/zh
Publication of CN118247284A publication Critical patent/CN118247284A/zh
Application granted granted Critical
Publication of CN118247284B publication Critical patent/CN118247284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供图像处理模型的训练方法、图像处理方法,其中图像处理模型的训练方法包括:获取多个样本增强图像和样本目标图像,样本图像包括样本标注信息;将样本增强图像和样本目标图像输入至初始图像处理模型,获得初始图像处理模型输出的预测标注,初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息;根据样本标注信息和预测标注信息计算模型损失值;根据模型损失值调整模型参数获得参考图像处理模型;基于目标图像处理子模型生成图像处理模型。通过本方法,提高了图像处理模型在目标图像处理上的性能。

Description

图像处理模型的训练方法、图像处理方法
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种图像处理模型的训练方法、图像处理方法。
背景技术
随着人民生活水平提高,越来越多的人重视自身的健康,血管栓塞是影响人健康的重大因素之一,在医学图像中识别血管栓塞是需要专业医生根据经验进行识别,受限于医生的经验,借助医学图像的进行图像识别分析成为一个重要课题。
在实际应用中,血管栓塞具有非特异性症状,目前的栓塞检查是通过增强CT进行检查,但是增强CT会使得患者暴露于造影剂,造影剂可能会引起过敏反应或器官衰竭。另外,增强CT检查受到技术和设备的限制,无法再所有地区进行24小时使用,其便捷性受到影响。因此,如何使用平扫CT来进行血管栓塞检查,根据平扫CT图像进行辅助诊断时,能提高诊断准确率,就成为技术人员亟待解决的问题。
发明内容
有鉴于此,本说明书实施例提供了一种图像处理模型的训练方法。本说明书一个或者多个实施例同时涉及图像处理方法、CT图像处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种图像处理模型的训练方法,包括:
获取多个训练样本对,其中,训练样本对包括样本增强图像和样本目标图像,样本增强图像包括针对目标检测区域的第一样本标注信息,样本目标图像包括针对所述目标检测区域的第二样本标注信息;
将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息和第二预测标注信息,其中,所述初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息;
根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值;
根据所述模型损失值调整所述初始图像处理模型的模型参数,并继续训练所述初始图像处理模型直至达到模型训练停止条件,获得参考图像处理模型;
基于所述参考图像处理模型中的目标图像处理子模型,生成图像处理模型。
根据本说明书实施例的第二方面,提供了一种图像处理方法,包括:
接收图像处理任务,其中,所述图像处理任务携带有目标检测区域对应的多个目标图像,所述图像处理任务用于检测所述目标检测区域中是否存在异常;
将所述多个目标图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述图像处理模型是通过上述训练方法训练得到的。
根据本说明书实施例的第三方面,提供了一种CT图像处理方法,包括:
接收CT图像处理任务,其中,所述CT图像处理任务携带有目标检测区域对应的多个平扫CT图像,所述CT图像处理任务用于检测所述目标检测区域中是否存在异常;
将所述多个平扫CT图像输入至CT图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述图像处理模型是通过上述训练方法训练得到的。
根据本说明书实施例的第四方面,提供了一种图像处理模型的训练方法,应用于云侧设备,包括:
获取多个训练样本对,其中,训练样本对包括样本增强图像和样本目标图像,样本增强图像包括针对目标检测区域的第一样本标注信息,样本目标图像包括针对所述目标检测区域的第二样本标注信息;
将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息和第二预测标注信息,其中,所述初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息;
根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值;
根据所述模型损失值调整所述初始图像处理模型的模型参数,并继续训练所述初始图像处理模型直至达到模型训练停止条件,获得参考图像处理模型;
基于所述参考图像处理模型中的目标图像处理子模型,生成图像处理模型,获得图像处理模型的模型参数,向端侧设备发送所述图像处理模型的模型参数。
根据本说明书实施例的第五方面,提供了一种图像处理方法,应用于云侧设备,包括:
接收端侧设备发送的图像处理任务,其中,所述图像处理任务携带有目标检测区域对应的多个目标图像,所述图像处理任务用于检测所述目标检测区域中是否存在异常;
将所述多个目标图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述图像处理模型是通过上述训练方法训练得到的;
向所述端侧设备发送所述检测结果。
根据本说明书实施例的第六方面,提供了一种血管栓塞检测方法,包括:
接收血管栓塞检测任务,其中,所述血管栓塞检测任务携带有血管区域对应的多个平扫CT图像,所述血管栓塞检测任务用于检测所述血管区域中是否存在栓塞;
将所述多个平扫CT图像输入至图像处理模型,获得所述图像处理模型输出的针对所述血管区域是否存在血管栓塞的检测结果,其中,所述图像处理模型是通过上述训练方法训练得到的。
根据本说明书实施例的第七方面,提供了一种肿瘤筛查方法,包括:
接收肿瘤筛查任务,其中,所述肿瘤筛查任务携带有目标检测区域对应的多个平扫CT图像,所述肿瘤筛查任务用于检测所述目标检测区域中是否存在肿瘤;
将所述多个平扫CT图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域是否存在肿瘤的检测结果,其中,所述图像处理模型是通过上述训练方法训练得到的。
根据本说明书实施例的第八方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机程序/指令,所述处理器用于执行所述计算机程序/指令,该计算机程序/指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第九方面,提供了一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第十方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述方法的步骤。
本说明书一个实施例提供的图像处理模型的训练方法,包括获取多个训练样本对,其中,训练样本对包括样本增强图像和样本目标图像,样本增强图像包括针对目标检测区域的第一样本标注信息,样本目标图像包括针对所述目标检测区域的第二样本标注信息;将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息和第二预测标注信息,其中,所述初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息;根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值;根据所述模型损失值调整所述初始图像处理模型的模型参数,并继续训练所述初始图像处理模型直至达到模型训练停止条件,获得参考图像处理模型;基于所述参考图像处理模型中的目标图像处理子模型,生成图像处理模型。
通过本说明书实施例提供的方法,提供了一种基于两个子模型相互学习的框架,统一了两种类型的样本图像(样本增强图像和样本目标图像)的分类任务和分割任务,通过知识实现了从增强图像处理子模型到目标图像处理子模型的转移,提高了图像处理模型在目标图像处理上的性能。同时将分割任务和分类任务进行结构,增加了图像识别的可解释性。
附图说明
图1是本说明书一个实施例提供的一种图像处理模型的训练方法的流程图;
图2是本说明书一个实施例提供的初始图像处理模型的模型结构示意图;
图3是本说明书一个实施例提供的针对肺动脉栓塞检测的图像处理模型训练的结构示意图;
图4是本说明书一个实施例提供的一种图像处理方法的流程图;
图5是本说明书一个实施例提供的一种CT图像处理方法的流程图;
图6是本说明书一个实施例提供的一种图像处理模型的训练装置的结构示意图;
图7是本说明书一个实施例提供的一种CT图像处理装置的结构示意图;
图8是本说明书一个实施例提供的一种应用于云侧设备的图像处理模型的训练方法的示意图;
图9是本说明书一个实施例提供的一种应用于云侧设备的图像处理方法的流程示意图;
图10是本说明书一个实施例提供的一种血管栓塞检测方法的流程示意图;
图11是本说明书一个实施例提供的一种肿瘤筛查方法的流程示意图;
图12是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
需要说明的是,本说明书所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
CT(Computed Tomography):电子计算机断层扫描,它是利用精确准直的X线束,与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描,具有扫描时间快,图像清晰等特点,可用于多种疾病的检查。
平扫CT:又称普通扫描,是指静脉内不给含碘造影剂的扫描。
增强CT:是指血管内注射对比剂后再行扫描的方法,目的是提高病变组织同正常组织的密度差,以显示平扫CT上未被显示或显示不清楚的病变,通过有无强化及强化类型,有助于病变的定性。
CAD(computer aided diagnosis):计算机辅助诊断,是指通过影像学、医学图像处理技术以及其他可能的生理、生化手段,结合计算机的分析计算,辅助发现病灶,提高诊断的准确率。
随着计算机技术的不断发展,各种学习模型逐渐被应用于各种应用场景的预测,相应的,深度学习模型在医学影像计算机辅助诊断(CAD)任务重也取得了显著成功。从医学图像中进行病例分析和分类是计算机辅助诊断中的一个重要课题。
肺动脉栓塞是一种严重危及生命的疾病,严重性仅次于心肌梗塞和心源性猝死,早期诊断和治疗至关重要。由于肺动脉栓塞具有非特异性症状,目前该项检测主要是依靠肺动脉增强CT检查。然而增强CT会使患者暴露于造影剂,可能会引起过敏反应或其他不适症状。此外,在一些地区,由于技术和设备的限制,增强CT无法普及。相比之下,平扫CT进行检查会更加便利和实用。
但是平扫CT图像中,栓塞区域和周围肺血管之间的对比度几乎没有区别,医生在使用平扫CT图像诊断肺动脉栓塞时容易出现判断失误的情况,进而耽误治疗。因此研究基于平扫CT进行肺动脉栓塞自动化识别的方法,并将其应用到对应的辅助诊断产品上,可以一定程度上提升诊断效率,为患者提供救治窗口期。
然而,基于平扫CT的血管栓塞自动化识别会面临两个挑战,第一个是栓塞区域与周围血管的Hu值相近,对比度低,导致对栓塞区域的精准分割非常困难。第二个是栓塞的形态学表征多种多样以及其发病部位不固定,导致很难利用形态特征和位置信息对血管栓塞进行检测。
基于此,在本说明书中,提供了一种图像处理模型的训练方法,本说明书同时涉及一种图像处理方法,CT图像处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明书一个实施例提供的一种图像处理模型的训练方法的流程图,具体包括以下步骤。
步骤102:获取多个训练样本对,其中,训练样本对包括样本增强图像和样本目标图像,样本增强图像包括针对目标检测区域的第一样本标注信息,样本目标图像包括针对所述目标检测区域的第二样本标注信息。
具体的,本说明书提供的图像处理模型的训练方法使用的是有监督训练,其包括有多个训练样本对,在训练样本对中包括有针对目标检测区域的多个样本增强图像和样本目标图像。其中,样本增强图像具体是指针对目标检测区域的对比度经过增强的图像,样本目标图像具体是指针对目标检测区域的普通图像。在样本增强图像中包括有针对目标检测区域的第一样本标注信息,在样本目标图像中包括有针对目标检测区域的第二样本标注信息。
例如,在辅助医疗场景中,训练样本对包括针对目标检测区域的增强CT图像和平扫CT图像,其中,增强CT图像可以理解为样本增强图像,平扫CT图像可以理解为样本目标图像。在实际应用中,由于需要对图像处理模型进行训练,在增项CT图像中包括针对目标检测区域的第一样本标注信息,在平扫CT图像中同样包括针对目标检测区域的第二样本标注信息。其中,第一样本标注信息和第二样本标注信息具体是指针对目标检测区域的异常标注信息。例如在目标检测区域中标注出异常位置信息和/或标注出目标检测区域是否存在异常的信息等等。
需要注意的是,在实际应用中,目标检测区域在不同的时间点其对应的情况可能会有不同,为了保证样本增强图像和样本目标图像之间的数据能保持统一,在本说明书实施例提供的方法中,样本增强图像和样本目标图像是针对同一个目标检测区域在同一时间点的图像。例如,以某个患者的CT图像为例进行解释说明,目标检测区域为该患者的肺部,则训练样本对为该患者在某个时间点进行检查时,拍摄的增强CT图像和平扫CT图像。增强CT图像和平扫CT图像均为针对肺部区域的图像,且两个图像需要是该患者在同一个时间检查时的图像。防止出现患者在经过治疗后,出现增强CT图像和平扫CT图像中异常信息不对应的情况。
在本说明书提供的一具体实施方式中,获取多个训练样本对,包括:
确定样本检测对象,并获取样本检测对象对应的样本增强图像和样本目标图像,其中,样本检测对象对应的样本增强图像和样本目标图像对应样本检测对象的同一目标检测区域;
在所述样本增强图像上针对目标检测区域生成第一样本标注信息;
基于所述第一样本标注信息在所述样本目标图像上标注第二样本标注信息。
其中,样本检测对象具体是指目标检测区域对应的对象,例如,当目标检测区域为胃部的情况下,样本检测对象即为目标检测区域对应的生物体,例如可以是人、马、牛等生物体。在确定样本检测对象之后,进一步获取样本检测对象对应的样本增强图像和样本目标图像。样本增强图像和样本目标图像为针对同一目标检测区域的图像。
在实际应用中,样本增强图像中的异常信息相比于样本目标图像会更加明显,因此,可以在样本增强图像中针对目标检测区域生成第一样本标注信息。具体的,可以由技术人员在样本增强图像上进行手动标注,也可以将样本增强图像输入至标注模型中,由标注模型对样本增强图像进行识别后,生成第一样本标注信息。
在确定第一样本标注信息后,可以根据第一样本标注信息在样本目标图像中进行标注。样本增强图像中针对异常区域的异常信息更加明显,可以直接进行标注。而样本目标图像中针对异常区域的异常信息不明显,无法利用标注模型或人工标注的方式进行标注。此时,由于样本增强图像和样本目标图像为同一个目标检测区域在同一时间进行的拍摄,可以利用样本增强图像中的第一样本标注信息,在样本目标图像中进行标注,例如,第一样本标注信息中标注的异常区域的范围为范围1,则可以根据该范围1对样本目标图像进行图像标注,获得的第二样本标注信息中的异常区域的范围为范围2,其中,范围1和范围2的区域相同。
在实际应用中,可以使用配准的方式根据第一样本标注信息为样本目标图像标注第二样本标注信息。配准是指将两幅或多幅图像进行匹配、叠加的过程。配准的目的是通过找到两幅或多幅图之间的空间变换关系,使其在空间上对齐,从而能进行进一步的图像分析或处理。
配准的方法和技术根据应用领域和具体需求的不同而有所差异,在医学图像处理中,配准技术用于使医学图像上的对应点达到空间上的一致。在本说明书实施例提供的方法中,在样本增强图像中进行第一样本标注信息的标注,通过图像配准的方式,将样本增强图像中的第一样本标注信息迁移至样本目标图像中,在样本目标图像中生成第二样本标注信息。
在本说明书提供的另一具体实施方式中,在所述样本增强图像上针对目标检测区域生成第一样本标注信息,包括:
将所述样本增强图像输入至信息标注模型,获得所述信息标注模型输出的针对所述目标检测区域的第一样本分割信息和第一样本分类信息;
相应的,基于所述第一样本标注信息在所述样本目标图像上标注第二样本标注信息,包括:
根据所述第一样本分割信息在所述样本目标图像上标注出第二样本分割信息,根据所述第一样本分类信息确定所述样本目标图像的第二样本分类信息。
在本说明书提供的一具体实施方式中,可以将样本增强图像输入至信息标注模型中,由信息标注模型对样本增强图像进行信息标注,具体的,信息标注模型在样本增强图像中标注出第一样本分割信息,并为样本增强图像标记第一样本分类信息。其中,第一样本分割信息具体是指针对目标检测区域中异常区域的分割mask信息,第一样本分类信息具体是指针对目标检测区域的异常分类信息。
相应的,在确定了样本增强图像的第一样本分割信息和第一样本分类信息之后,即可根据第一样本分割信息在样本目标图像上标注出第二样本分割信息,根据第一样本分类信息确定样本目标图像的第二样本分类信息。
其中,第一样本分割信息和第一样本分类信息可以理解为样本增强图像的第一样本标注信息;第二样本分割信息和第二样本分类信息可以理解为样本目标图像的第二样本标注信息。第一样本分类信息和第二样本分类信息的具体内容相同。
步骤104:将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息和第二预测标注信息,其中,所述初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息。
其中,初始图像处理模型为还未经过模型训练的图像处理模型,在实际应用中,初始图像处理模型包括两个部分,分别为增强图像处理子模型和目标图像处理子模型,两个子模型的模型结构相同,用于分别对样本增强图像和样本目标图像进行处理。具体的,增强图像处理子模型处理样本增强图像,目标图像处理子模型用于处理样本目标图像。
参见图2,图2示出了本说明书实施例提供的初始图像处理模型的模型结构示意图,如图2所示,在初始图像处理模型中包括有两个子模型,分别为增强图像处理子模型和目标图像处理子模型,在每个子模型中均包括编码器、解码器和分类器。编码器用于提取图像特征信息,解码器用于生成图像分割信息,分类器用于生成图像分类信息。图像分割信息和图像分类信息组成标注信息。更进一步的,增强图像处理子模型中的解码器和分类器输出第一预测标注信息,目标图像处理子模型中的解码器和分类器输出第二预测标注信息。
在本说明书提供的一具体实施方式中,将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息和第二预测标注信息,包括:
将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息、第二预测标注信息、分类差异损失值、分割差异损失值和特征信息差异损失值。
在本说明书提供的具体实施方式中,由于增强图像处理子模型处理的是样本增强图像,通过样本增强图像可以识别出目标检测区域的异常信息。而目标图像处理子模型处理的是样本目标图像,其无法准确的识别出样本目标图像中的异常信息。因此,在本说明书提供的实施方式中,希望目标图像处理子模型可以学习到增强图像处理子模型在识别过程中的特征信息,因此,初始图像处理模型在对样本增强图像和样本目标图像进行识别的过程中,除了生成样本增强图像对应的第一预测标注信息和样本目标图像对应的第二预测标注信息之外,还会进一步生成分类差异损失值、分割差异损失值和特征信息差异损失值。
其中,分类差异损失值可以理解为指增强图像处理子模型生成的分类信息与目标图像处理子模型生成的分类信息之间的差异损失值;分割差异损失值可以理解为增强图像处理子模型生成的分割信息与目标图像处理子模型生成的分割信息之间的差异损失值;特征信息差异损失值可以理解为增强图像处理子模型生成图像编码特征与目标图像处理子模型生成图像编码特征之间的差异损失值。
具体的,将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息、第二预测标注信息、分类差异损失值、分割差异损失值和特征信息差异损失值,包括:
将所述样本增强图像输入至所述初始图像处理模型的增强图像处理子模型,获得第一预测分类信息、第一预测分割信息、第一图像编码特征信息;
将所述样本目标图像输入至所述初始图像处理模型的目标图像处理子模型,获得第二预测分类信息、第二预测分割信息、第二图像编码特征信息;
根据所述第一预测分类信息和所述第二预测分类信息计算分类差异损失值;
根据所述第一预测分割信息和所述第二预测分割信息计算分割差异损失值;
根据所述第一图像编码特征信息和所述第二图像编码特征信息计算特征信息差异损失值。
在实际应用中,将样本增强图像输入至初始图像处理模型的增强图像处理子模型中进行处理,获得增强图像处理子模型输出的第一预测分类信息、第一预测分割信息和第一图像编码特征信息。其中,第一预测分类信息和第一预测分割信息即为上述实施方式中的第一预测标注信息。
同样的,将样本目标图像输入至初始图像处理模型的目标图像处理子模型中进行处理,获得目标图像处理子模型输出的第二预测分类信息、第二预测分割信息和第二图像编码特征信息。其中,第二预测分类信息和第二预测分割信息即为上述实施方式中的第二预测标注信息。
在获得两个子模型的分别输出的结果之后,即可根据第一预测分类信息和第二预测分类信息计算分类差异损失值;根据第一预测分割信息和第二预测分割信息计算分割差异损失值;根据第一图像编码特征信息和第二图像编码特征信息计算特征信息差异损失值。
通过第一预测分类信息和第二预测分类之间的差异、第一预测分割信息和第二预测分割信息之间的差异和第一图像编码特征信息和第二图像编码特征信息之间的差异,来确定出增强图像处理子模型和目标图像处理子模型在图像识别处理过程中的差异。从而便于更好的对初始图像处理模型进行训练,使得目标图像处理子模型能更好的对目标图像进行识别。
具体的,增强图像处理子模型包括第一编码器、第一解码器、第一分类器;
将所述样本增强图像输入至所述初始图像处理模型的增强图像处理子模型,获得第一预测分类信息、第一预测分割信息、第一图像编码特征信息,包括:
将所述样本增强图像输入至所述第一编码器,获得至少一个增强图像编码特征信息,其中,至少一个增强图像编码特征信息中包括分类增强编码特征信息;
将所述分类增强编码特征信息输入至所述第一分类器,获得第一预测分类信息;
将各增强图像编码特征信息输入至所述第一解码器,获得第一预测分割信息;
在至少一个增强图像编码特征信息中确定第一图像编码特征信息。
参见图2,如图2所示,在增强图像处理子模型中包括第一编码器、第一解码器和第一分类器,其中,第一编码器用于提取样本增强图像中的图像特征信息,第一解码器用于生成样本增强图像的分割信息,第一分类器用于生成样本增强图像的分类信息。
将样本增强图像输入至第一编码器中,经过第一编码器处理,获得至少一个增强图像编码特征信息,在实际应用中,第一编码器中包括有多个顺次连接的编码层,每个编码层接收到输入的图像特征信息后,输出当前编码层对应的增强图像编码特征信息。
例如,以第一编码器有5个编码层为例进行解释说明,第一个编码层接收样本增强图像,经过编码处理后,输出第一增强图像编码特征信息;将第一增强图像编码特征信息输入到第二个编码层中,经过编码处理后,输出第二增强图像编码特征信息;依次类推,第五个编码层会输出第五增强图像编码特征信息。至此,可以获得五个增强图像编码特征信息。其中,最后一个编码层输出的增强图像编码特征信息为分类增强图像编码特征信息。
将分类增强图像编码特征信息输入到第一分类器中,第一分类器通过分类增强图像编码特征信息中的类别特征信息进行分类,获得第一预测分类信息。
将各增强图像编码特征信息输入到第一解码器中,在第一解码器中对各增强图像编码特征信息进行解码处理,获得第一预测分割信息。
为了体现在编码过程中增强图像处理子模型与目标图像处理子模型的编码差异,在至少一个增强图像编码特征信息中确定第一图像编码特征信息,更进一步的,可以根据预设比例在至少一个增强图像编码特征信息中确定第一图像编码特征信息。例如,选取前70%的增强图像编码特征信息作为第一图像编码特征信息,当增强图像编码特征信息有5个的情况下,根据增强图像编码特征信息的编码顺序,选取前3个或4个增强图像编码特征信息为第一图像编码特征信息。
相应的,目标图像处理子模型包括第二编码器、第二解码器、第二分类器;
将所述样本目标图像输入至所述初始图像处理模型的目标图像处理子模型,获得第二预测分类信息、第二预测分割信息、第二图像编码特征信息,包括:
将所述样本目标图像输入至所述第二编码器,获得至少一个目标图像编码特征信息,其中,至少一个目标图像编码特征信息中包括分类目标编码特征信息;
将所述分类目标编码特征信息输入至所述第二分类器,获得第二预测分类信息;
将各目标图像编码特征信息输入至所述第二解码器,获得第二预测分割信息;
在至少一个目标图像编码特征信息中确定第二图像编码特征信息。
参见图2,目标图像处理子模型包括第二编码器、第二解码器和第二分类器。目标图像处理子模型的模型结构与增强图像处理子模型的模型结构相同,关于目标图像处理子模型对样本目标图像的处理方式,可以参考上述增强图像处理子模型对样本增强图像的处理方式相同,在此不再赘述。
在增强图像处理子模型分支中获得了第一预测分类信息、第一预测分割信息、第一图像编码特征信息;在目标图像处理子模型分支中获得了第二预测分类信息、第二预测分割信息、第二图像编码特征信息。
根据第一预测分类信息和第二预测分类信息计算分类差异损失值,在本说明书实施例提供的方法中,采用KL散度作为两者之间差异的度量,参见下述公式1:
公式1
其中,表示分类差异损失值,表示第一预测分类信息,表示第二预测分类信息。m表示分类的结果,m=0表示没有异常,m=1表示有异常。表示第i个样本对。
根据第一预测分割信息和第二预测分割信息计算分割差异损失值,分割差异损失值用于提高分割场景下区分背景和异常区域之间判别特征的能力,在本说明书实施例提供的方法中,提供了一种基于密集中心损失函数的类内特征差异化策略。在每次训练迭代中,中心被计算为分割掩码中属于相应类别的像素的质心特征。对于每个中心损失函数,参见下述公式2:
公式2
其中,表示分割差异损失值,是属于类别k的像素的特征,表示深度特征的第k类中心,这种方式使得网络能更有效地学习特征空间中每个类别对应紧凑且独立的簇。
根据第一图像编码特征信息和第二图像编码特征信息计算特征信息差异损失值,在各子模型的编码后,需要关注增强图像处理子模型到目标图像处理子模型的空间特征之间的相似性,基于此,在本说明书实施例提供的方法中,构建了一个亲和图来封装两者之间的关系。该图由连接范围α和粒度β参数化,优化了亲和图的分辨率和捕获的空间关系的保真度。
亲和图具有个节点和个连接,可作为空间相关性的动态表示,增强图像处理子模型到目标图像处理子模型之间的互学习过程。为了量化两者之间的知识转移并促进互学习过程,在本说明书提供的实施方式中,引入成对相似性蒸馏损失,将成对相似性的平方差与相似性相结合,衡量网络特征图之间的对齐程度,参见下述公式3:
公式3
其中,表示特征信息差异损失值,表示增强图像处理子模型和目标图像处理子模型中第i个和第j个节点之间的相似性。两个节点之间的相似性由聚合特征计算得出,即为卷积核的尺寸。在具体实施过程中,使用平均池化将一个节点中的尺寸特征聚合为的尺寸特征。在训练过程中,希望目标图像处理子模型的图像特征接近增强图像处理子模型,因此,在后续的调参过程中,特征信息差异损失值仅用于调整目标图像处理子模型的模型参数。
在实际应用中,通常目标检测区域中存在异常的区域相比于目标检测区域较小,而如果将样本增强图像和样本目标图像输入至初始图像处理模型进行处理,会存在识别不准确的问题,基于此,在本说明书提供的一具体实施方式中,将样本增强图像和所述样本目标图像输入至初始图像处理模型,包括:
基于预设裁剪尺寸裁剪样本增强图像和样本目标图像;
将裁剪后的样本增强图像和样本目标图像输入至初始图像处理模型。
在本实施方式中,将样本增强图像和样本目标图像输入至初始图像处理模型之前,先根据预设裁剪尺寸,对样本增强图像和样本目标图像进行裁剪。将裁剪后的样本增强图像和样本目标图像输入至初始图像处理模型进行处理。使得初始图像处理模型可以更好的识别到目标检测区域中的异常信息。
步骤106:根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值。
在本说明书实施例提供的具体实施方式中,根据第一样本标注信息、第二样本标注信息和第一预测标注信息、第二预测标注信息计算模型损失值。在此情况下,初始图像处理模型是还未训练好的模型,因此,通过计算模型损失值调整模型参数的方式对初始图像处理模型进行训练。
更进一步的,是根据第一样本标注信息和第一预测标注信息计算增强子模型损失值,根据第二样本标注信息和第二预测标注信息计算目标子模型损失值,根据增强子模型损失值和目标子模型损失值确定模型损失值。
在本说明书提供的一具体实施方式中,第一样本标注信息包括第一样本分割信息和第一样本分类信息,第一预测标注信息包括第一预测分割信息和第一预测分类信息,第二样本标注信息包括第二样本分割信息和第二样本分类信息,第二预测标注信息包括第二预测分割信息和第二预测分类信息;
根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值,包括:
根据第一样本分类信息和第一预测分类信息计算增强子模型分类损失值;
根据第一样本分割信息和第一预测分割信息计算增强子模型分割损失值;
根据增强子模型分类损失值和增强子模型分割损失值确定增强子模型损失值;
根据第二样本分类信息和第二预测分类信息计算目标子模型分类损失值;
根据第二样本分割信息和第二预测分割信息计算目标子模型分割损失值;
根据目标子模型分类损失值和目标子模型分割损失值确定目标子模型损失值。
在实际应用中,第一样本标注信息包括第一样本分割信息和第一样本分类信息,第一预测标注信息包括第一预测分割信息和第一预测分类信息。根据第一样本分割信息和第一样本分类信息计算增强子模型分割损失值,根据第一样本分类信息和第一预测分类信息计算增强子模型分类损失值,再根据强子模型分割损失值和增强子模型分类损失值确定增强子模型损失值。
相应的,第二样本标注信息包括第二样本分割信息和第二样本分类信息,第二预测标注信息包括第二预测分割信息和第二预测分类信息。根据第二样本分割信息和第二样本分类信息计算目标子模型分类损失值,根据第二样本分类信息和第二预测分类信息计算目标子模型分割损失值,再根据目标子模型分类损失值和目标子模型分割损失值确定目标子模型损失值。
增强子模型损失值和目标子模型损失值组成了模型损失值。
步骤108:根据所述模型损失值调整所述初始图像处理模型的模型参数,并继续训练所述初始图像处理模型直至达到模型训练停止条件,获得参考图像处理模型。
此时的初始图形处理模型为还未训练好的图像处理模型,需要用模型损失值对初始图像处理模型中的模型参数进行调整。并继续对初始图形处理模型进行训练,直至达到模型训练停止条件。获得参考图像处理模型。
此时的参考图像处理模型为初始图像处理模型达到模型训练停止条件之后,获得的图像处理模型。参考图像处理模型的模型结构与初始图像处理模型的模型结构相同。
在本说明书提供的一具体实施方式中,根据所述模型损失值调整所述初始图像处理模型的模型参数,包括:
根据所述模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述初始图像处理模型的模型参数。
在本说明书实施例提供更多上述具体实施方式中,初始图像处理模型除了输出第一预测标注信息和第二预测标注信息,还会同时确定分类差异损失值、分割差异损失值和特征信息差异损失值。
相应的,在对初始图像处理模型进行训练的过程中,除了使用模型损失值调整初始图像处理模型的模型参数之外,还可以使用模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值一同调整初始图像处理模型的模型参数。使得初始图像处理模型除了可以学习到预测结果与标签之间的差异值,还可以进一步学习到模型处理过程中生成的图像编码特征之间的差异信息,分类差异信息和分割差异信息。
在本说明书提供的另一具体实施方式中,所述模型损失值包括增强子模型损失值和目标子模型损失值;
根据所述模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述初始图像处理模型的模型参数,包括:
根据所述增强子模型损失值和所述分割差异损失值调整所述增强图像处理子模型的模型参数;
根据所述目标子模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述目标图像处理子模型的模型参数。
在实际应用中,模型损失值包括有增强子模型损失值和目标子模型损失值。在根据各损失值对初始图像处理模型进行调整参数的过程中,根据增强子模型损失值、分割差异损失值调整所述增强图像处理子模型的模型参数;根据目标子模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述目标图像处理子模型的模型参数。
在上述实施方式的步骤中,可以确定,分类差异损失值表示为,分割差异损失值表示为,特征信息差异损失值表示为,另外,增强子模型损失值包括增强子模型分类损失值和增强子模型分割损失值,目标子模型损失值包括目标子模型分类损失值和目标子模型分割损失值
增强图像处理子模型的损失值参见下述公式4,目标图像处理子模型的损失值参见下述公式5:
公式4
公式5
其中,表示增强子模型损失值,表示目标子模型损失值,为各损失值的权重,在本说明书提供的一具体实施方式中,分别设置为0.25、10和0.1。
在调整完增强图像处理子模型和目标图像处理子模型的模型参数后,可以重复上述的步骤,继续对初始图像处理模型进行训练,直至达到模型训练停止条件。在实际应用中,初始图像处理模型的模型训练停止条件包括:
总损失值小于预设阈值,和/或训练轮次达到预设的训练轮次。
具体的,在对初始图像处理模型的训练过程中,可以将模型的训练停止条件设置为总损失值,即小于预设阈值,在实际应用中,当小于预设阈值的情况下,则无需再调整增强图像处理子模型的模型参数,当小于预设阈值的情况下,则无需再调整目标图像处理子模型的模型参数。
更进一步的,还可以进一步将初始图像处理模型的模型训练停止条件设置为训练轮次达到预设的训练轮次,例如,预设的训练轮次为10轮,则当模型的训练轮次达到了10轮的情况下,即达到了模型训练停止条件。
在本说明书提供的方法中,对模型训练停止条件不做限定。当初始图像处理模型在达到了模型训练停止条件的情况下,则说明初始图像处理模型训练完成,获得参考图像处理模型。
步骤110:基于所述参考图像处理模型中的目标图像处理子模型,生成图像处理模型。
此时的参考图像处理模型并不是最终要训练的图像处理模型,在本说明书提供的方法中,最终是希望获得的图像处理模型能进对目标图像进行处理,参考图像处理模型的模型结构与初始图像处理模型的模型结构相同,也是包括增强图像处理子模型和目标图像处理子模型。为了使得最终的图像处理模型仅根据目标图像进行处理,根据参考图像处理模型中的目标图像处理子模型即可获得图像处理模型。即将参考图像处理模型中的增强图像处理子模型进行删除,保留参考图像处理子模型中的目标图像处理子模型,获得最终的图像处理模型。
通过本说明书实施例提供的图像处理模型的训练方法,提供了一种基于两个子模型相互学习的框架,统一了两种类型的样本图像(样本增强图像和样本目标图像)的分类任务和分割任务,通过知识实现了从增强图像处理子模型到目标图像处理子模型的转移,提高了图像处理模型在目标图像处理上的性能。同时将分割任务和分类任务进行结构,增加了图像识别的可解释性。
其次,在本说明书提供的具体实施方式中,设计了类间特征对齐策略,通过亲和图捕获成对空间特征相似性,在连接范围和粒度参数的指导下增强空间连续性,促进从增强图像处理子模型到目标图像处理子模型路径网络的互学习传递,有效地融合了不同路径的视觉特征,使得针对目标检测区域的识别更准确。
另外,在本说明书实施例提供的具体实施方式中,提出了类内特征差异化策略,通过设计的密集中心损失在特征空间内产生更清晰的划分,针对每个单路径网络在复杂背景下对目标检测区域的异常区域进行精确分割,提高分割精度。
参见图3,图3示出了本说明书一实施例提供的针对肺动脉栓塞检测的图像处理模型训练的结构示意图。
在本实施方式中,以肺动脉栓塞对应的图像检测模型的模型训练为例进行解释说明。首先从医院采集符合图像质量要求的多个训练样本对,训练样本对包括肺动脉增强CT图像和平扫CT图像。将增强CT图像输入至图像标记模型中进行识别,获得体素级别的肺动脉栓塞分割mask和分类标签。基于增强CT图像的肺动脉栓塞分割mask和分类标签为平扫CT图像进行标注,获得平扫CT图像上体素级别的肺动脉栓塞分割mask和分类标签。
体素级别是指在三维数据处理、分析或成像中,考虑或操作的基本单元的细节程度或精细度。体素是体积元素的简称,是三维空间分割上的最小单位。包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。体素用于三维成像、科学数据与医学影响等领域。其概念上类似二维空间的最小单位像素。
利用lungmask python库提取增强CT图像和平扫CT图像中包含肺部区域的最大外界三维矩阵。将训练样本对按照8:2的比例划分为训练集和测试集,保证训练集和测试集中的阳性和阴性病例比例保持一致。lungmask python是一个python库,主要用于医学影像处理领域,特别是针对胸部CT图像中肺部区域的自动分割。
使用基于EfficientNet为主干网络的编码器和U-net的解码器搭建基于互学习的多任务学习的肺动脉栓塞CT图像分类和分割框架,如图3所示,包括增强CT通路网络和平扫CT通路网络,在本说明书实施例提供的方法中,提出的跨期相互学习框架旨在同时训练两个具有不同任务(分类和分割)的卷积神经网络。增强CT通路网络负责对增强CT图像进行分类和分割,平扫CT通路网络负责对平扫CT图像进行分类和分割。
EfficientNet是一种深度学习模型,采用卷积神经网络(CNN)架构,通过复合缩放方法系统化的方法来扩大模型的深度、宽度和输入分辨率,以实现更高的预测精度,同时保持高计算效率。
在本说明书提供的框架中,无论是增强CT通路网络,还是平扫CT通路网络,均使用EfficientNet的3D版本作为主干网络,并选用U-net 3D版本的解码器作为分割任务的解码器,在主干网络之后添加一个分类器,用于进行分类任务。增强CT通路网络和平扫CT通路网络的架构相同,在后续对通路网络的处理不区分增强CT通路网络和平扫CT通路网络。
在应用中,将输入的CT三维图像随机裁剪出224*224*96维的分割三维图像,选择224*224*96维的尺寸是可以保证每个三维图像中均会包括肺动脉栓塞的mask区域,可以保证模型识别到肺动脉栓塞区域,同时可以减少输入到模型中图像的体积,减少图像处理模型的数据处理量。
将分割三维图像输入到通路网络的编码器中(增强CT图像输入到第一编码器,平扫CT图像输入到第二编码器)得到分割三维图像对应的至少一个图像编码特征信息E={E1,E2,E3,E4,E5},E1-E5为编码器中各编码层输出的图像编码特征信息。其中E5为最后一个编码层输出的图像编码特征信息。E5也可以理解为分类编码特征信息。
将E5输入到分类器中进行处理,通过分类器得到的logits代表该分割三维图像是栓塞病例或是正常病例的概率,即预测分类信息。将增强CT通路网络和平扫CT通路网络分别获得的logits进行对齐预测分布,采用KL散度作为logits之间差异的度量,通过上述公式1计算分类差异损失值。
将各图像编码特征信息E输入至解码器中进行解码处理,得到分割的输出掩码,其意味着图像中每个像素点是肺动脉栓塞的概率。为了提高分割网络区分背景和肺动脉栓塞之间判别特征的能力,在本说明书提供的方法中,提出了一种基于密集中心损失函数的类内特征差异化策略,在每次训练迭代中,中心被计算为分割掩码中属于相应类别的像素的质心特征,通过上述公式2计算分割差异损失值。
除此之外呢,在本说明书提供的方法中,还要关注增强CT通路网络到平扫CT通路网络的空间特征之间的相似性,因此,从至少一个图像编码特征信息中确定用于计算特征信息差异损失值的图像编码特征信息。例如,从至少一个图像编码特征信息E={E1,E2,E3,E4,E5}中选取{E1,E2,E3 }进行计算。在本说明书提供的方法中,计算特征信息差异损失值的过程中,构建了一个亲和图来封装增强CT通路网络到平扫CT通路网络的空间特征之间的相似性,通过上述公式3计算特征信息差异损失值。在训练过程中,只希望平扫CT通路网络的特征接近增强CT通路网络,因此,特征信息差异损失值用于更新平扫CT通路网络的模型参数。
在此基础上,每个预测分割信息和预测分类信息都会再与样本图像上的标注信息进行比对,计算增强CT通路网络的模型损失值和平扫CT通路网络的模型损失值。
通过上述公式4和公式5,分别对增强CT通路网络和平扫CT通路网络的模型参数进行调整,并继续训练,直至达到模型训练停止条件,获得初始图像处理模型对应的参考图像处理模型。
在获得了参考图像处理模型的基础上,将参考图像处理模型中的增强CT通路网络剔除,仅保留平扫CT通路网络。获得用于通过平扫CT图像进行肺动脉栓塞辅助诊疗的图像处理模型。
在本说明书提供的方法中,在获得了图像处理模型后,邀请三位具有心肺影响学经验的医生与图像处理模型进行比对,将来自测试集的289例平扫CT图像分别交给三位医生,让医生基于CT图像判断是否存在肺动脉栓塞。并用这289例平扫CT图像分别输入到图像处理模型中进行肺动脉栓塞标注识别。经过测试,图像处理模型对测试集中的平扫CT的识别结果,高于三位医生给出的结论。至此,具有针对平扫CT图像进行识别,获得平扫CT图像中肺动脉栓塞诊断治疗结果能力的图像处理模型训练成功。
本说明书实施例提供的针对肺动脉栓塞场景的图像处理模型的模型训练方法,提出了一种新颖的跨期互学习框架,统一了跨双期(增强CT和平扫CT)的肺动脉栓塞分类和分割任务。通过知识从增强CT到平扫CT的转移,提高了模型在平扫CT扫描上的性能。同时将分类任务和分割任务解耦,增加了图像识别结果的可解释性。
其次,在本说明书实施例中涉及了类间特征对齐(IFA)策略,通过亲和图捕获成对空间特征相似性,在连接范围和粒度参数的指导下增强空间连续性,促进从增强CT到平扫CT网络的互学习传递,有效地融合了不同路径的视觉特征,使得肺动脉栓塞识别更加准确。
另外,在本说明书实施例提供的架构中,还提出了类内特征差异化(IFD)策略,通过设计的密集中心损失在特征空间内产生更清晰的划分,针对每个单路径网络在复杂背景下对肺动脉栓塞进行精准分割,提高了分割的精度。
参见图4,图4示出了本说明书一实施例提供的图像处理方法的流程图,如图4所示,具体包括以下步骤:
步骤402:接收图像处理任务,其中,所述图像处理任务携带有目标检测区域对应的多个目标图像,所述图像处理任务用于检测所述目标检测区域中是否存在异常。
其中,图像处理任务可以理解为用于检测目标检测区域内是否出现异常的任务,图像处理任务中携带有目标检测区域对应的多个目标图像。进一步地,目标检测区域可以理解为用于预测是否出现异常的分区。例如,目标检测区域可以是任一器官,如肝脏、脾脏、肺、胃等等,通过对目标检测区域是否异常进行预测,可以根据预测结果进一步辅助判断待检测对象的状态,从而对确定待检测对象的状态提供帮助。检测目标检测区域中是否存在异常可以理解为检测器官中是否出现肿瘤,血管中是否出现栓塞等等。
需要说明的是,在本说明书一个或多个实施方式中,图像处理任务可以用于对平扫CT图像的识别,并根据图像特征判断平扫CT图像中的目标检测区域是否出现异常,例如,在肺动脉栓塞诊断场景中,可以根据肺部的平扫CT图像进行分割和分类,预测是否出现肺动脉栓塞的情况,从而辅助医生对目标检测区域是否出现异常进行判断,进而便于后续的治疗。
在本说明书提供的一具体实施方式中,以检测肺动脉中是否出现栓塞为例进行解释说明。获取肺部的平扫CT图像,即获取的多个目标图像为包括肺部区域的平扫CT图像,多个平扫CT图像组成肺部的3D图像,通过对多个平扫CT图像进行图像检测,检测在肺动脉中是否出现栓塞。
步骤404:将所述多个目标图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述图像处理模型是通过上述图像处理模型的训练方法训练得到的。
在实际应用中,接收到图像处理任务后,从该图像处理任务中获取其携带的多个目标图像,将多个目标图像输入至图像处理模型中进行处理,可以获得图像处理模型输出的目标检测区域对应的检测结果,检测结果具体包括该目标检测区域是否出现异常,出现异常的概率等信息。
需要注意的是,本说明书实施例同的图像处理方法中的图像处理模型,为上述实施例中图像处理模型的训练方法训练获得。该图像处理模型不仅可以对包括有全部目标检测区域的目标图像进行检测,还可以对包括部分目标检测区域的目标图像进行检测。
在本说明书提供的一具体实施方式中,接收图像处理任务,包括:
接收用户发送的图像处理请求,其中,所述图像处理请求中携带有图像处理任务;
相应的,所述方法还包括:
将所述检测结果发送至所述用户。
具体的,图像处理任务可以在终端本地触发,即多个目标图像保存在终端本地,通过终端触发图像处理任务,从而进行图像处理的后续流程。除此之外,图像处理任务还可以是由用户发送的,即终端接收用户发送的图像处理请求,在图像处理请求中携带有图像处理任务,并且通过上述实施例中提及的图像处理方法处理完成、获得检测结果之后,将检测结果返回给用户,以使用户根据检测结果进行相应的后续处理。
通过本说明书实施例提供图像处理方法,提供了一种针对目标检测区域对应目标图像的扫描筛查方案,使得对目标图像检测过程中,可以更好的识别到目标检测区域中的异常信息,实现了对目标图像处理的高灵敏度,提升了检测结果的准确性。
参见图5,图5示出了本说明书一实施例提供的一种CT图像处理方法的流程图,具体包括以下步骤:
步骤502:接收CT图像处理任务,其中,所述CT图像处理任务携带有目标检测区域对应的多个平扫CT图像,所述CT图像处理任务用于检测所述目标检测区域中是否存在异常。
步骤504:将所述多个平扫CT图像输入至CT图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述CT图像处理模型是通过上述图像处理模型的训练方法训练得到的。
需要说明的是,步骤502至步骤504的实现方式,与上述步骤402至步骤404的实现方式相同,本说明书实施例便不再赘述。
具体的,在本实施例提供的方法中,以CT图像处理任务为对肺动脉栓塞的检测为例进行进一步解释说明,基于此,CT图像处理任务包括肺部区域的平扫CT图像,将平扫CT图像输入至CT图像处理模型中进行识别,CT图像处理模型可以识别出平扫CT图像中肺动脉中是否存在栓塞情况,解决了目前的算法中无法根据平扫CT图像进行肺动脉栓塞检测的问题,降低了肺动脉栓塞检测的门槛。
与上述方法实施例相对应,本说明书还提供了图像处理模型的训练装置实施例,图6示出了本说明书一个实施例提供的一种图像处理模型的训练装置的结构示意图。如图6所示,该装置包括:
获取模块602,被配置为获取多个训练样本对,其中,训练样本对包括样本增强图像和样本目标图像,样本增强图像包括针对目标检测区域的第一样本标注信息,样本目标图像包括针对所述目标检测区域的第二样本标注信息;
预测模块604,被配置为将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息和第二预测标注信息,其中,所述初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息;
计算模块606,被配置为根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值;
调参模块608,被配置为根据所述模型损失值调整所述初始图像处理模型的模型参数,并继续训练所述初始图像处理模型直至达到模型训练停止条件,获得参考图像处理模型;
生成模块610,被配置为基于所述参考图像处理模型中的目标图像处理子模型,生成图像处理模型。
可选的,所述获取模块602,进一步被配置为:
确定样本检测对象,并获取样本检测对象对应的样本增强图像和样本目标图像,其中,样本检测对象对应的样本增强图像和样本目标图像对应样本检测对象的同一目标检测区域;
在所述样本增强图像上针对目标检测区域生成第一样本标注信息;
基于所述第一样本标注信息在所述样本目标图像上标注第二样本标注信息。
可选的,所述获取模块602,进一步被配置为:
将所述样本增强图像输入至信息标注模型,获得所述信息标注模型输出的针对所述目标检测区域的第一样本分割信息和第一样本分类信息;
相应的,基于所述第一样本标注信息在所述样本目标图像上标注第二样本标注信息,包括:
根据所述第一样本分割信息在所述样本目标图像上标注出第二样本分割信息,根据所述第一样本分类信息确定所述样本目标图像的第二样本分类信息。
可选的,所述预测模块604,进一步被配置为:
将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息、第二预测标注信息、分类差异损失值、分割差异损失值和特征信息差异损失值;
相应的,所述调参模块608,进一步被配置为:
根据所述模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述初始图像处理模型的模型参数。
可选的,所述预测模块604,进一步被配置为:
将所述样本增强图像输入至所述初始图像处理模型的增强图像处理子模型,获得第一预测分类信息、第一预测分割信息、第一图像编码特征信息;
将所述样本目标图像输入至所述初始图像处理模型的目标图像处理子模型,获得第二预测分类信息、第二预测分割信息、第二图像编码特征信息;
根据所述第一预测分类信息和所述第二预测分类信息计算分类差异损失值;
根据所述第一预测分割信息和所述第二预测分割信息计算分割差异损失值;
根据所述第一图像编码特征信息和所述第二图像编码特征信息计算特征信息差异损失值。
可选的,增强图像处理子模型包括第一编码器、第一解码器、第一分类器;
所述预测模块604,进一步被配置为:
将所述样本增强图像输入至所述第一编码器,获得至少一个增强图像编码特征信息,其中,至少一个增强图像编码特征信息中包括分类增强编码特征信息;
将所述分类增强编码特征信息输入至所述第一分类器,获得第一预测分类信息;
将各增强图像编码特征信息输入至所述第一解码器,获得第一预测分割信息;
在至少一个增强图像编码特征信息中确定第一图像编码特征信息。
可选的,目标图像处理子模型包括第二编码器、第二解码器、第二分类器;
所述预测模块604,进一步被配置为:
将所述样本目标图像输入至所述第二编码器,获得至少一个目标图像编码特征信息,其中,至少一个目标图像编码特征信息中包括分类目标编码特征信息;
将所述分类目标编码特征信息输入至所述第二分类器,获得第二预测分类信息;
将各目标图像编码特征信息输入至所述第二解码器,获得第二预测分割信息;
在至少一个目标图像编码特征信息中确定第二图像编码特征信息。
可选的,所述模型损失值包括增强子模型损失值和目标子模型损失值;
所述调参模块608,进一步被配置为:
根据所述增强子模型损失值和所述分割差异损失值调整所述增强图像处理子模型的模型参数;
根据所述目标子模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述目标图像处理子模型的模型参数。
可选的,第一样本标注信息包括第一样本分割信息和第一样本分类信息,第一预测标注信息包括第一预测分割信息和第一预测分类信息,第二样本标注信息包括第二样本分割信息和第二样本分类信息,第二预测标注信息包括第二预测分割信息和第二预测分类信息;
所述计算模块606,进一步被配置为:
根据第一样本分类信息和第一预测分类信息计算增强子模型分类损失值;
根据第一样本分割信息和第一预测分割信息计算增强子模型分割损失值;
根据增强子模型分类损失值和增强子模型分割损失值确定增强子模型损失值;
根据第二样本分类信息和第二预测分类信息计算目标子模型分类损失值;
根据第二样本分割信息和第二预测分割信息计算目标子模型分割损失值;
根据目标子模型分类损失值和目标子模型分割损失值确定目标子模型损失值。
可选的,所述预测模块604,进一步被配置为:
基于预设裁剪尺寸裁剪样本增强图像和样本目标图像;
将裁剪后的样本增强图像和样本目标图像输入至初始图像处理模型。
通过本说明书实施例提供的图像处理模型的训练装置,提供了一种基于两个子模型相互学习的框架,统一了两种类型的样本图像(样本增强图像和样本目标图像)的分类任务和分割任务,通过知识实现了从增强图像处理子模型到目标图像处理子模型的转移,提高了图像处理模型在目标图像处理上的性能。同时将分割任务和分类任务进行结构,增加了图像识别的可解释性。
其次,在本说明书提供的具体实施方式中,设计了类间特征对齐策略,通过亲和图捕获成对空间特征相似性,在连接范围和粒度参数的指导下增强空间连续性,促进从增强图像处理子模型到目标图像处理子模型路径网络的互学习传递,有效地融合了不同路径的视觉特征,使得针对目标检测区域的识别更准确。
另外,在本说明书实施例提供的具体实施方式中,提出了类内特征差异化策略,通过设计的密集中心损失在特征空间内产生更清晰的划分,针对每个单路径网络在复杂背景下对目标检测区域的异常区域进行精确分割,提高分割精度。
上述为本实施例的一种图像处理模型的训练装置的示意性方案。需要说明的是,该图像处理模型的训练装置的技术方案与上述的图像处理模型的训练方法的技术方案属于同一构思,图像处理模型的训练装置的技术方案未详细描述的细节内容,均可以参见上述图像处理模型的训练方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了CT图像处理装置实施例,图7示出了本说明书一个实施例提供的一种CT图像处理装置的结构示意图。如图7所示,该装置包括:
接收模块702,被配置为接收CT图像处理任务,其中,所述CT图像处理任务携带有目标检测区域对应的多个平扫CT图像,所述CT图像处理任务用于检测所述目标检测区域中是否存在异常;
预测模块704,被配置为将所述多个平扫CT图像输入至CT图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述CT图像处理模型是通过上述图像处理模型的训练方法训练得到的。
上述为本实施例的一种CT图像处理装置的示意性方案。需要说明的是,该CT图像处理装置的技术方案与上述的CT图像处理方法的技术方案属于同一构思,CT图像处理装置的技术方案未详细描述的细节内容,均可以参见上述CT图像处理方法的技术方案的描述。
图8是本申请一实施例提供的应用于云侧设备的图像处理模型的训练方法的示意图,如图8所示,该方法包括:
步骤802:获取多个训练样本对,其中,训练样本对包括样本增强图像和样本目标图像,样本增强图像包括针对目标检测区域的第一样本标注信息,样本目标图像包括针对所述目标检测区域的第二样本标注信息。
步骤804:将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息和第二预测标注信息,其中,所述初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息。
步骤806:根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值。
步骤808:根据所述模型损失值调整所述初始图像处理模型的模型参数,并继续训练所述初始图像处理模型直至达到模型训练停止条件,获得参考图像处理模型。
步骤810:基于所述参考图像处理模型中的目标图像处理子模型,生成图像处理模型,获得图像处理模型的模型参数,向端侧设备发送所述图像处理模型的模型参数。
需要说明的是,步骤802至步骤810的实现方式,与上述步骤102至步骤110的实现方式相同,本说明书实施例便不再赘述。
在实际应用中,由于对模型进行训练需要大量的数据和较好的计算资源,端侧设备可能不具备相应的处理能力,因此,模型训练的过程可以在云侧设备实现,云侧设备在获得了图像处理模型的模型参数后,还可以将模型参数发送至端侧设备。端侧设备可以根据图像处理模型的模型参数在本地构建图像处理模型,进一步利用图像处理模型进行图像处理。
通过本说明书实施例提供的图像处理模型的训练方法,提供了一种基于两个子模型相互学习的框架,统一了两种类型的样本图像(样本增强图像和样本目标图像)的分类任务和分割任务,通过知识实现了从增强图像处理子模型到目标图像处理子模型的转移,提高了图像处理模型在目标图像处理上的性能。同时将分割任务和分类任务进行结构,增加了图像识别的可解释性。
其次,在本说明书提供的具体实施方式中,设计了类间特征对齐策略,通过亲和图捕获成对空间特征相似性,在连接范围和粒度参数的指导下增强空间连续性,促进从增强图像处理子模型到目标图像处理子模型路径网络的互学习传递,有效地融合了不同路径的视觉特征,使得针对目标检测区域的识别更准确。
另外,在本说明书实施例提供的具体实施方式中,提出了类内特征差异化策略,通过设计的密集中心损失在特征空间内产生更清晰的划分,针对每个单路径网络在复杂背景下对目标检测区域的异常区域进行精确分割,提高分割精度。
图9是本申请一实施例提供的一种应用于云侧设备的图像处理方法的流程示意图,具体包括:
步骤902:接收端侧设备发送的图像处理任务,其中,所述图像处理任务携带有目标检测区域对应的多个目标图像,所述图像处理任务用于检测所述目标检测区域中是否存在异常。
步骤904:将所述多个目标图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述图像处理模型是通过上述图像处理模型的训练方法训练得到的。
步骤906:向所述端侧设备发送所述检测结果。
图10是本申请一实施例提供的一种血管栓塞检测方法的流程示意图,具体包括:
步骤1002:接收血管栓塞检测任务,其中,所述血管栓塞检测任务携带有血管区域对应的多个平扫CT图像,所述血管栓塞检测任务用于检测所述血管区域中是否存在栓塞。
步骤1004:将所述多个平扫CT图像输入至图像处理模型,获得所述图像处理模型输出的针对所述血管区域是否存在血管栓塞的检测结果,其中,所述图像处理模型是通过上述图像处理模型的训练方法训练得到的。
在本实施方式中的图像处理模型被训练用于检测血管栓塞的分类结果。
本实施例提供的血管栓塞检测方法,可以适用于筛查动脉血管、静脉血管中是否存在血管栓塞的场景。为医生提供指导性建议,辅助提升医生的诊断准确率。
图11是本申请一实施例提供的一种肿瘤筛查方法的流程示意图,具体包括:
步骤1102:接收肿瘤筛查任务,其中,所述肿瘤筛查任务携带有目标检测区域对应的多个平扫CT图像,所述肿瘤筛查任务用于检测所述目标检测区域中是否存在肿瘤。
步骤1104:将所述多个平扫CT图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域是否存在肿瘤的检测结果,其中,所述图像处理模型是通过上述图像处理模型的训练方法训练得到的。
本实施例提供的肿瘤筛查方法,可以适用于胰腺癌、食道癌、肝癌、肺癌、乳腺癌、结直肠癌、胃癌、淋巴瘤等肿瘤筛查,筛查胰腺、食道、肝脏、肺、乳腺、肠、胃、全身淋巴结等全身各器官中是否存在肿瘤的场景。为医生提供指导性建议,辅助提升医生的诊断准确率。
图12示出了根据本说明书一个实施例提供的一种计算设备1200的结构框图。该计算设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接,数据库1250用于保存数据。
计算设备1200还包括接入设备1240,接入设备1240使得计算设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1240可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)。
在本说明书的一个实施例中,计算设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图12所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1200可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备1200还可以是移动式或静止式的服务器。
其中,处理器1220用于执行如下计算机程序/指令,该计算机程序/指令被处理器执行时实现上述图像处理模型的训练方法或图像处理方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于计算设备实施例而言,由于其基本相似于上述图像处理模型的训练方法或图像处理方法实施例,所以描述的比较简单,相关之处参见上述图像处理模型的训练方法或图像处理方法实施例的部分说明即可。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述图像处理模型的训练方法或图像处理方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于计算机可读存储介质实施例而言,由于其基本相似于上述图像处理模型的训练方法或图像处理方法实施例,所以描述的比较简单,相关之处参见上述图像处理模型的训练方法或图像处理方法实施例的部分说明即可。
本说明书一实施例还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述图像处理模型的训练方法或图像处理方法的步骤。
上述为本实施例的一种计算机程序产品的示意性方案。需要说明的是,该计算机程序产品的技术方案与上述的图像处理模型的训练方法或图像处理方法的技术方案属于同一构思,计算机程序产品的技术方案未详细描述的细节内容,均可以参见上述图像处理模型的训练方法或图像处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地区,根据专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下, 在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (20)

1.一种图像处理模型的训练方法,包括:
获取多个训练样本对,其中,训练样本对包括样本增强图像和样本目标图像,样本增强图像包括针对目标检测区域的第一样本标注信息,样本目标图像包括针对所述目标检测区域的第二样本标注信息;
将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息、第二预测标注信息和差异损失值,其中,所述初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息,所述差异损失值基于所述第一预测标注信息和所述第二预测标注信息确定;
根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值;
根据所述模型损失值和所述差异损失值调整所述初始图像处理模型的模型参数,并继续训练所述初始图像处理模型直至达到模型训练停止条件,获得参考图像处理模型;
基于所述参考图像处理模型中的目标图像处理子模型,生成图像处理模型。
2.如权利要求1所述的方法,获取多个训练样本对,包括:
确定样本检测对象,并获取样本检测对象对应的样本增强图像和样本目标图像,其中,样本检测对象对应的样本增强图像和样本目标图像对应样本检测对象的同一目标检测区域;
在所述样本增强图像上针对目标检测区域生成第一样本标注信息;
基于所述第一样本标注信息在所述样本目标图像上标注第二样本标注信息。
3.如权利要求2所述的方法,在所述样本增强图像上针对目标检测区域生成第一样本标注信息,包括:
将所述样本增强图像输入至信息标注模型,获得所述信息标注模型输出的针对所述目标检测区域的第一样本分割信息和第一样本分类信息;
相应的,基于所述第一样本标注信息在所述样本目标图像上标注第二样本标注信息,包括:
根据所述第一样本分割信息在所述样本目标图像上标注出第二样本分割信息,根据所述第一样本分类信息确定所述样本目标图像的第二样本分类信息。
4.如权利要求1所述的方法,将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息、第二预测标注信息和差异损失值,包括:
将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息、第二预测标注信息、分类差异损失值、分割差异损失值和特征信息差异损失值;
相应的,根据所述模型损失值和所述差异损失值调整所述初始图像处理模型的模型参数,包括:
根据所述模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述初始图像处理模型的模型参数。
5.如权利要求4所述的方法,将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息、第二预测标注信息、分类差异损失值、分割差异损失值和特征信息差异损失值,包括:
将所述样本增强图像输入至所述初始图像处理模型的增强图像处理子模型,获得第一预测分类信息、第一预测分割信息、第一图像编码特征信息;
将所述样本目标图像输入至所述初始图像处理模型的目标图像处理子模型,获得第二预测分类信息、第二预测分割信息、第二图像编码特征信息;
根据所述第一预测分类信息和所述第二预测分类信息计算分类差异损失值;
根据所述第一预测分割信息和所述第二预测分割信息计算分割差异损失值;
根据所述第一图像编码特征信息和所述第二图像编码特征信息计算特征信息差异损失值。
6.如权利要求5所述的方法,增强图像处理子模型包括第一编码器、第一解码器、第一分类器;
将所述样本增强图像输入至所述初始图像处理模型的增强图像处理子模型,获得第一预测分类信息、第一预测分割信息、第一图像编码特征信息,包括:
将所述样本增强图像输入至所述第一编码器,获得至少一个增强图像编码特征信息,其中,至少一个增强图像编码特征信息中包括分类增强编码特征信息;
将所述分类增强编码特征信息输入至所述第一分类器,获得第一预测分类信息;
将各增强图像编码特征信息输入至所述第一解码器,获得第一预测分割信息;
在至少一个增强图像编码特征信息中确定第一图像编码特征信息。
7.如权利要求5所述的方法,目标图像处理子模型包括第二编码器、第二解码器、第二分类器;
将所述样本目标图像输入至所述初始图像处理模型的目标图像处理子模型,获得第二预测分类信息、第二预测分割信息、第二图像编码特征信息,包括:
将所述样本目标图像输入至所述第二编码器,获得至少一个目标图像编码特征信息,其中,至少一个目标图像编码特征信息中包括分类目标编码特征信息;
将所述分类目标编码特征信息输入至所述第二分类器,获得第二预测分类信息;
将各目标图像编码特征信息输入至所述第二解码器,获得第二预测分割信息;
在至少一个目标图像编码特征信息中确定第二图像编码特征信息。
8.如权利要求4所述的方法,所述模型损失值包括增强子模型损失值和目标子模型损失值;
根据所述模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述初始图像处理模型的模型参数,包括:
根据所述增强子模型损失值和所述分割差异损失值调整所述增强图像处理子模型的模型参数;
根据所述目标子模型损失值、分类差异损失值、分割差异损失值和特征信息差异损失值调整所述目标图像处理子模型的模型参数。
9.如权利要求1所述的方法,第一样本标注信息包括第一样本分割信息和第一样本分类信息,第一预测标注信息包括第一预测分割信息和第一预测分类信息,第二样本标注信息包括第二样本分割信息和第二样本分类信息,第二预测标注信息包括第二预测分割信息和第二预测分类信息;
根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值,包括:
根据第一样本分类信息和第一预测分类信息计算增强子模型分类损失值;
根据第一样本分割信息和第一预测分割信息计算增强子模型分割损失值;
根据增强子模型分类损失值和增强子模型分割损失值确定增强子模型损失值;
根据第二样本分类信息和第二预测分类信息计算目标子模型分类损失值;
根据第二样本分割信息和第二预测分割信息计算目标子模型分割损失值;
根据目标子模型分类损失值和目标子模型分割损失值确定目标子模型损失值。
10.如权利要求1所述的方法,将样本增强图像和所述样本目标图像输入至初始图像处理模型,包括:
基于预设裁剪尺寸裁剪样本增强图像和样本目标图像;
将裁剪后的样本增强图像和样本目标图像输入至初始图像处理模型。
11.一种图像处理方法,包括:
接收图像处理任务,其中,所述图像处理任务携带有目标检测区域对应的多个目标图像,所述图像处理任务用于检测所述目标检测区域中是否存在异常;
将所述多个目标图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述图像处理模型是通过权利要求1-10任意一项所述训练方法训练得到的。
12.如权利要求11所述的方法,接收图像处理任务,包括:
接收用户发送的图像处理请求,其中,所述图像处理请求中携带有图像处理任务;
相应的,所述方法还包括:
将所述检测结果发送至所述用户。
13.一种CT图像处理方法,包括:
接收CT图像处理任务,其中,所述CT图像处理任务携带有目标检测区域对应的多个平扫CT图像,所述CT图像处理任务用于检测所述目标检测区域中是否存在异常;
将所述多个平扫CT图像输入至CT图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述CT图像处理模型是通过权利要求1-10任意一项所述训练方法训练得到的。
14.一种图像处理模型的训练方法,应用于云侧设备,包括:
获取多个训练样本对,其中,训练样本对包括样本增强图像和样本目标图像,样本增强图像包括针对目标检测区域的第一样本标注信息,样本目标图像包括针对所述目标检测区域的第二样本标注信息;
将样本增强图像和所述样本目标图像输入至初始图像处理模型,获得所述初始图像处理模型输出的第一预测标注信息、第二预测标注信息和差异损失值,其中,所述初始图像处理模型包括增强图像处理子模型和目标图像处理子模型,增强图像处理子模型基于样本增强图像输出第一预测标注信息,目标图像处理子模型基于样本目标图像输出第二预测标注信息,所述差异损失值基于所述第一预测标注信息和所述第二预测标注信息确定;
根据所述第一样本标注信息、所述第二样本标注信息和所述第一预测标注信息、第二预测标注信息计算模型损失值;
根据所述模型损失值和所述差异损失值调整所述初始图像处理模型的模型参数,并继续训练所述初始图像处理模型直至达到模型训练停止条件,获得参考图像处理模型;
基于所述参考图像处理模型中的目标图像处理子模型,生成图像处理模型,获得图像处理模型的模型参数,向端侧设备发送所述图像处理模型的模型参数。
15.一种图像处理方法,应用于云侧设备,包括:
接收端侧设备发送的图像处理任务,其中,所述图像处理任务携带有目标检测区域对应的多个目标图像,所述图像处理任务用于检测所述目标检测区域中是否存在异常;
将所述多个目标图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域的检测结果,其中,所述图像处理模型是通过权利要求1-10任意一项所述训练方法训练得到的;
向所述端侧设备发送所述检测结果。
16.一种血管栓塞检测方法,包括:
接收血管栓塞检测任务,其中,所述血管栓塞检测任务携带有血管区域对应的多个平扫CT图像,所述血管栓塞检测任务用于检测所述血管区域中是否存在栓塞;
将所述多个平扫CT图像输入至图像处理模型,获得所述图像处理模型输出的针对所述血管区域是否存在血管栓塞的检测结果,其中,所述图像处理模型是通过权利要求1-10任意一项所述训练方法训练得到的。
17.一种肿瘤筛查方法,包括:
接收肿瘤筛查任务,其中,所述肿瘤筛查任务携带有目标检测区域对应的多个平扫CT图像,所述肿瘤筛查任务用于检测所述目标检测区域中是否存在肿瘤;
将所述多个平扫CT图像输入至图像处理模型,获得所述图像处理模型输出的针对所述目标检测区域是否存在肿瘤的检测结果,其中,所述图像处理模型是通过权利要求1-10任意一项所述训练方法训练得到的。
18.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机程序/指令,所述处理器用于执行所述计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至17任意一项所述方法的步骤。
19.一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至17任意一项所述方法的步骤。
20.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至17任意一项所述方法的步骤。
CN202410676834.8A 2024-05-28 2024-05-28 图像处理模型的训练方法、图像处理方法 Active CN118247284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410676834.8A CN118247284B (zh) 2024-05-28 2024-05-28 图像处理模型的训练方法、图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410676834.8A CN118247284B (zh) 2024-05-28 2024-05-28 图像处理模型的训练方法、图像处理方法

Publications (2)

Publication Number Publication Date
CN118247284A CN118247284A (zh) 2024-06-25
CN118247284B true CN118247284B (zh) 2024-09-13

Family

ID=91551313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410676834.8A Active CN118247284B (zh) 2024-05-28 2024-05-28 图像处理模型的训练方法、图像处理方法

Country Status (1)

Country Link
CN (1) CN118247284B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118397377B (zh) * 2024-06-26 2024-09-13 阿里巴巴(中国)有限公司 目标图像处理模型训练方法、图像处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503684A (zh) * 2023-02-06 2023-07-28 北京鹰瞳科技发展股份有限公司 模型训练方法、装置、电子设备及存储介质
CN117408948A (zh) * 2023-09-11 2024-01-16 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像分类分割模型的训练方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325726A (zh) * 2020-02-19 2020-06-23 腾讯医疗健康(深圳)有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
US20230260652A1 (en) * 2020-12-11 2023-08-17 Google Llc Self-Supervised Machine Learning for Medical Image Analysis
CN113673607A (zh) * 2021-08-24 2021-11-19 支付宝(杭州)信息技术有限公司 图像标注模型的训练及图像标注的方法及装置
CN117710317A (zh) * 2023-12-13 2024-03-15 香港中文大学(深圳) 检测模型的训练方法及检测方法
CN117853490B (zh) * 2024-03-06 2024-05-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503684A (zh) * 2023-02-06 2023-07-28 北京鹰瞳科技发展股份有限公司 模型训练方法、装置、电子设备及存储介质
CN117408948A (zh) * 2023-09-11 2024-01-16 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像分类分割模型的训练方法

Also Published As

Publication number Publication date
CN118247284A (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
Pinaya et al. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
US20240221162A1 (en) Three dimensional object segmentation of medical images localized with object detection
US9959615B2 (en) System and method for automatic pulmonary embolism detection
US20200320685A1 (en) Automated classification and taxonomy of 3d teeth data using deep learning methods
US20200074634A1 (en) Recist assessment of tumour progression
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
CN118247284B (zh) 图像处理模型的训练方法、图像处理方法
Hussain et al. Cascaded regression neural nets for kidney localization and segmentation-free volume estimation
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
CN111666966B (zh) 医学成像中基于人工智能的材料分解
Jakubicek et al. Learning–based vertebra localization and labeling in 3D CT data of possibly incomplete and pathological spines
Huang et al. Bone feature segmentation in ultrasound spine image with robustness to speckle and regular occlusion noise
US12046018B2 (en) Method for identifying bone images
Kumar et al. Medical images classification using deep learning: a survey
CN117218133A (zh) 肺图像处理方法及装置、电子设备和存储介质
Arega et al. Leveraging uncertainty estimates to improve segmentation performance in cardiac MR
Davamani et al. Biomedical image segmentation by deep learning methods
CN115131290A (zh) 图像处理方法
CN116580819B (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
Luong et al. A computer-aided detection to intracranial hemorrhage by using deep learning: a case study
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
Dandıl et al. A Mask R-CNN based Approach for Automatic Lung Segmentation in Computed Tomography Scans
Lang et al. LCCF-Net: Lightweight contextual and channel fusion network for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant