CN116797554A - 图像处理方法以及装置 - Google Patents
图像处理方法以及装置 Download PDFInfo
- Publication number
- CN116797554A CN116797554A CN202310628573.8A CN202310628573A CN116797554A CN 116797554 A CN116797554 A CN 116797554A CN 202310628573 A CN202310628573 A CN 202310628573A CN 116797554 A CN116797554 A CN 116797554A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- information
- image processing
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 362
- 238000005192 partition Methods 0.000 claims abstract description 179
- 238000001514 detection method Methods 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims abstract description 73
- 230000002159 abnormal effect Effects 0.000 claims abstract description 59
- 230000004927 fusion Effects 0.000 claims description 277
- 238000012549 training Methods 0.000 claims description 127
- 238000000605 extraction Methods 0.000 claims description 110
- 238000013507 mapping Methods 0.000 claims description 14
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 description 70
- 210000001165 lymph node Anatomy 0.000 description 51
- 210000002751 lymph Anatomy 0.000 description 36
- 238000010586 diagram Methods 0.000 description 32
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 28
- 230000001926 lymphatic effect Effects 0.000 description 27
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 22
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 22
- 201000004101 esophageal cancer Diseases 0.000 description 22
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 210000001370 mediastinum Anatomy 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 210000004027 cell Anatomy 0.000 description 8
- 230000007170 pathology Effects 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000004195 computer-aided diagnosis Methods 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241000894006 Bacteria Species 0.000 description 4
- 206010027476 Metastases Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000009401 metastasis Effects 0.000 description 4
- 230000001394 metastastic effect Effects 0.000 description 4
- 206010061289 metastatic neoplasm Diseases 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 239000013067 intermediate product Substances 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 239000003053 toxin Substances 0.000 description 3
- 231100000765 toxin Toxicity 0.000 description 3
- 108700012359 toxins Proteins 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000001365 lymphatic vessel Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 1
- 210000002376 aorta thoracic Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000002498 deadly effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本说明书实施例提供图像处理方法以及装置,其中方法包括:接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。通过将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,实现对目标待检测分区内是否存在异常待检测对象的自动检测,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
Description
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种图像处理方法。
背景技术
淋巴结转移是癌症中较为常见的一种,通常需要专业医生根据经验,从病理报告中确定检测结果。
然而目前,根据病理报告,确定CT影像中单个淋巴结是否发生转移需要专业人员花费大量精力,在临床上的实现十分困难;从而导致无法根据病理报告对大量CT图像中的单个淋巴结进行精确标注,无法获得成本较低以及准确性更高的训练数据,因此难以实现针对单个淋巴结判断是否发生转移的自动检测。
发明内容
有鉴于此,本说明书实施例提供了一种图像处理方法。本说明书一个或者多个实施例同时涉及一种图像处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种图像处理方法,包括:
接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;
将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
根据本说明书实施例的第二方面,提供了一种CT图像处理方法,包括:
接收CT图像处理任务,其中,CT图像处理任务携带目标待检测分区对应的多个CT图像,CT图像处理任务用于检测目标待检测分区内是否存在异常待检测细胞;
将多个CT图像输入CT图像处理模型,获得目标待检测分区对应的检测结果,其中,CT图像处理模型基于各CT图像的局部图像特征和全局图像特征确定检测结果。
根据本说明书实施例的第三方面,提供了一种图像处理模型的训练方法,应用于云侧设备,包括:
获取训练样本对和训练样本对的引导信息,其中,训练样本对包括训练样本和样本标签,训练样本包括目标待检测分区对应的多个样本图像,样本标签用于标识目标待检测分区的样本结果;
将训练样本对和引导信息输入至初始图像处理模型,获得初始图像处理模型输出的样本预测结果,以及目标待检测分区的目标注意力信息;
根据样本预测结果和样本结果,计算得到初始图像处理模型的第一损失值;
根据目标注意力信息和引导信息,计算得到初始图像处理模型的第二损失值;
根据第一损失值和第二损失值调整初始图像处理模型的模型参数,直至达到预设停止条件,获得图像处理模型的模型参数;
向端侧设备发送图像处理模型的模型参数。
根据本说明书实施例的第四方面,提供了一种图像处理方法,包括:
接收用户发送的图像处理请求,其中,图像处理请求包括图像处理任务,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;
将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果;
向用户发送目标待检测分区对应的检测结果。
根据本说明书实施例的第五方面,提供了一种图像处理装置,包括:
接收模块,被配置为接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;
检测模块,被配置为将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
根据本说明书实施例的第六方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第七方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第八方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行时实现上述方法的步骤。
本说明书一个实施例提供的图像处理方法,接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
如此,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
附图说明
图1是本说明书一个实施例提供的一种图像处理系统的架构图;
图2是本说明书一个实施例提供的一种图像处理方法的流程图;
图3是本说明书一个实施例提供的一种图像处理模型的结构图;
图4是本说明书一个实施例提供的一种图像处理模型的结构图;
图5是本说明书一个实施例提供的一种图像处理模型的结构图;
图6是本说明书一个实施例提供的一种图像处理模型的结构图;
图7是本说明书一个实施例提供的一种图像处理模型的结构图;
图8是本说明书一个实施例提供的一种图像处理模型的结构图;
图9是本说明书一个实施例提供的一种图像处理模型的结构图;
图10是本说明书一个实施例提供的一种CT图像处理方法的流程图;
图11是本说明书一个实施例提供的一种图像处理模型的训练方法的流程图;
图12是本说明书一个实施例提供的一种图像处理方法的流程图;
图13是本说明书一个实施例提供的一种图像处理方法的处理过程流程图;
图14是本说明书一个实施例提供的一种图像处理模型的训练示意图;
图15是本说明书一个实施例提供的一种食管癌检测方法的流程图;
图16是本说明书一个实施例提供的一种图像处理装置的结构示意图;
图17是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外,需要说明的是,本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
CT(Computed Tomography):电子计算机断层扫描,它是利用精确准直的X线束,与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描,具有扫描时间快,图像清晰等特点,可用于多种疾病的检查。
EC(esophageal cancer):食管癌,是致命率极高的癌症,具不完全统计5年生存率较低,然而若早期发现可切除/可治愈的食管癌会很大程度上降低死亡率,其中,淋巴结转移是较为常见,具有典型性的一类病症。
LN(lymphnode):淋巴结,淋巴结的主要功能是:过滤淋巴、清除细菌和异物、产生淋巴细胞和抗体等功能。人体各部位或器官的淋巴管,一般都先汇至附近的局部淋巴结,当身体某局部或某器官发生病变或炎症时,细菌、毒素等异物可随淋巴经淋巴管扩散到附近相应的淋巴结。该局部淋巴结具有阻截和清除这些细菌或毒素等异物的作用,成为阻止病变蔓延和扩散的防御屏障。如局部淋巴结不能阻截和清除这些细菌或毒素时,则病变还可沿该局部淋巴结的输出管向远处蔓延和扩散。
LNS(lymphnode station):淋巴站,在某个具有淋巴系统的人体器官或者组织结构内,根据实际需求对该器官或组织结构进行区域划分,得到该器官或组织结构内包含淋巴结的各个分区,称为淋巴站。例如,对纵膈组织结构进行区域划分,可以得到9个纵膈淋巴站。不同的淋巴站可以有不同的分区编号,例如9个纵膈淋巴站可以分别编号为:S1(left+right),S2(left+right),S3anterior,S3posterior,S4(left+right),S5,S6,S7,S8。
RECIST(response evaluation criteria in solid tumor)实体瘤临床疗效评价标准,在基线水平确定可测量病灶大小和多少,规范测量方法,在治疗和随访中通过靶病灶的改变评判疗效的方法。
CAD(computer aided diagnosis):计算机辅助诊断,是指通过影像学、医学图像处理技术以及其他可能的生理、生化手段,结合计算机的分析计算,辅助发现病灶,提高诊断的准确率。
Deep-Stationing模型(深站模型):是一种能够对淋巴站进行准确分割的模型。
2.5D Mask R-CNN框架(2.5维深度学习检测框架):是一个两阶段的框架,第一个阶段扫描图像并生成有可能包含一个目标的区域,第二阶段对该区域分类,并生成边界框和掩码。Mask R-CNN是一种流行的实例分割框架。
AdamW优化器:PyTorch中的一种模型训练优化器,用于梯度更新神经网络的参数,使得损失函数最小化。
PyTorch:是一种为模型的构建和训练提供运行的环境。
在计算机断层扫描(CT)中预测淋巴结(LN)转移对于食管癌分期治疗计划的制定以及预后十分重要,然而,根据CT图像确定单个淋巴结是否发生转移,需要专业医疗工作人员付出较大精力和成本,并且仅依靠经验进行判断,容易定位不准确,造成无法估量的后果。目前,可以将RECIST和形态、纹理特征等标准用于预测淋巴结转移,但是据研究报导表明,通过上述方法得到的预测结果准确性仍然较低,无法较好地应用于淋巴结是否发生转移的预测。
随着计算机技术的不断发展,各种学习模型逐渐能够被应用于结果的预测,随着深度学习在各种医学影像计算机辅助诊断(CAD)任务中取得显著成功,目前提出了将深度学习模型应用于淋巴结转移的预测。然而,深度学习模型需要通过大规模精确标记的数据进行训练,从而达到准确的预测结果,对于淋巴结转移的预测,需要由专业医疗工作人员根据病理报告,从各类医学图像(例如CT图像、核磁共振成像等)中确定出单个淋巴结是否发生转移,并对各类医学图像中的单个淋巴结是否发生异常进行标签标注。
但是目前,从淋巴结清扫的手术操作实践来看,病理报告只显示每个淋巴结站中切除的淋巴结数量以及在相应的淋巴站(LNS)中发现的转移性淋巴结的数量。因此,即使对于经验丰富的医学专家来说,建立CT图像中观察到的淋巴结与病理报告中指示的转移淋巴结个体之间的一对一配对是极其困难的,随着数据集的扩展,使用病理学证实的标签对淋巴结个体转移进行分类可能会变得不可扩展。因此,深度学习模型难以获得大规模、精准标注的训练数据,导致无法输出较为准确的预测结果,难以实际应用于淋巴结转移的预测中。
基于此,本说明书一个实施例提供一种图像处理方法,接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
如此,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
参见图1,图1示出了本说明书一个实施例提供的一种图像处理系统的架构图,图像处理系统可以包括客户端100和服务端200;
客户端100,用于向服务端200发送图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象。
服务端200,用于接收图像处理任务,将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
客户端100,还用于接收服务端200发送的图像处理任务的检测结果。
应用本说明书实施例的方案,接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
如此,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
实际应用中,图像处理系统可以包括多个客户端100以及服务端200。多个客户端100之间通过服务端200可以建立通信连接,在图像处理场景中,服务端200即用来在多个客户端100之间提供信息抽取服务,多个客户端100可以分别作为发送端或接收端,通过服务端200实现通信。
用户通过客户端100可与服务端200进行交互以接收其它客户端100发送的数据,或将数据发送至其它客户端100等。在图像处理场景中,可以是用户通过客户端100向服务端200发布数据流,服务端200根据该数据流生成检测结果,并将检测结果推送至其他建立通信的客户端中。
其中,客户端100与服务端200之间通过网络建立连接。网络为客户端100与服务端200之间提供了通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。客户端100所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端200。
客户端100可以为浏览器、APP(Application,应用程序)、或网页应用如H5(HyperText Markup Language5,超文本标记语言第5版)应用、或轻应用(也被称为小程序,一种轻量级应用程序)或云应用等,客户端100可以基于服务端200提供的相应服务的软件开发工具包(SDK,Software Development Kit),如基于实时通信(RTC,Real TimeCommunication)SDK开发获得等。客户端100可以部署在电子设备中,需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等,如可以是个人移动终端如手机、平板电脑、个人计算机等端侧设备。在电子设备中通常还可以配置各种其它类应用,例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
服务端200可以包括提供各种服务的服务器,例如为多个客户端提供通信服务的服务器,又如为客户端上使用的模型提供支持的用于后台训练的服务器,又如对客户端发送的数据进行处理的服务器等。需要说明的是,服务端200可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content DeliveryNetwork)以及大数据和人工智能平台等基础云计算服务的云服务器(云侧设备),或者是带人工智能技术的智能云计算服务器或智能云主机。
值得说明的是,本说明书实施例中提供的图像处理方法一般由服务端执行,但是,在本说明书的其它实施例中,客户端也可以与服务端具有相似的功能,从而执行本说明书实施例所提供的图像处理方法。在其它实施例中,本说明书实施例所提供的图像处理方法还可以是由客户端与服务端共同执行。
在本说明书中,提供了一种图像处理方法,本说明书同时涉及一种图像处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图2,图2示出了本说明书一个实施例提供的一种图像处理方法的流程图,具体包括以下步骤:
步骤202:接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象。
实际应用中,可以通过服务端也可以通过客户端接收用户发送的图像处理任务。
具体地,图像处理任务是用于检测目标待检测分区内是否存在异常待检测对象的任务,图像处理任务中携带目标待检测分区对应的多个目标图像。进一步地,目标待检测分区可以理解为用于预测是否存在异常待检测对象的分区,待检测对象可以存在正常或者异常两种状态,即人体健康的情况下,待检测对象应为正常状态,在目标待检测分区存在病症时,待检测对象可能处于异常状态。通过对目标待检测分区是否存在异常待检测对象进行预测,可以根据预测结果进一步判断待检测对象的状态,从而对异常待检测对象的定位和精准治疗提供帮助。
需要说明的是,本说明书一个或多个实施例中,图像处理任务可以应用于对各类医学图像的识别,并根据图像特征判断医学图像中的目标待检测分区中是否存在异常待检测对象。示例性地,在治疗骨折的应用场景中,可以根据目标待检测分区的医学图像,预测目标待检测分区是否发生了骨折,从而对骨折部位进行定位。在淋巴结转移的应用场景中,可以根据目标待检测分区的医学图像,预测目标待检测分区是否发生了淋巴结转移,从而帮助医生对发生异常的淋巴结进行精准定位和治疗。
本说明书一个或多个实施例中,为了提高目标待检测分区预测结果的准确性,对异常待检测对象的预测和定位更加精准,在接收图像处理任务之前,还可以对具体的某个待检测区域进行分区划分。具体地,待检测区域可以理解为人体的某个器官或者组织、结构,例如食管、主动脉弓、升主动脉、心脏、脊柱、纵膈等等,可以根据实际情况,对待检测区域进行分区划分,将待检测区域划分为多个待检测分区,并从多个待检测分区中确定一个作为目标待检测分区。需要说明的是,从多个待检测分区中确定一个目标待检测分区,可以根据实际应用中的需求进行随机确定或者指定,本说明书对此不作任何限定。
示例性地,在预测淋巴结转移的应用场景中,假设待检测区域是人体的纵膈组织,可以采集患者整个纵膈组织的CT图像,根据对纵膈组织划分的9个淋巴站,选择其中的一个淋巴站作为目标待检测分区,将目标待检测分区对应的多个目标图像携带在图像处理任务中进行输入,从而实现对目标待检测分区是否存在异常待检测对象的预测。
实际应用中,待检测对象可以是某一种细胞,某一种组织结构等,例如,根据实际应用场景的不同,可以为骨折的区域、单个淋巴结、单个癌细胞等。
通过接收图像处理任务,可以将图像处理任务中携带的目标待检测分区对应的多个目标图像作为输入,用于检测目标待检测分区内是否存在异常待检测对象。
步骤204:将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
实际应用中,接收图像处理任务,可以从图像处理任务中获取携带的多个目标图像,将多个目标图像输入图像处理模型,获得图像处理模型输出的目标待检测分区对应的检测结果。
具体地,图像处理模型能够基于输入的多个目标图像,提取各目标图像的局部图像特征和全局图像特征,并根据各目标图像的局部图像特征和全局图像特征,确定目标待检测分区的检测结果。进一步地,目标待检测分区的检测结果可以理解为对目标待检测分区内是否存在异常待检测对象的预测结果。检测结果可以是图像处理模型输出的一个概率值,实际应用中,可以规定为从0至1的数值,图像处理模型输出的数值越接近0,可以理解为待检测分区内存在异常待检测对象的概率越低,图像处理模型输出的数值越接近1,可以理解为待检测分区内存在异常待检测对象的概率越高。
为了提高图像处理模型执行图像处理任务的任务执行效果,提高输出的检测结果的准确性,在本说明书一个或多个实施例中,图像处理模型可以包括特征提取层、特征融合层和输出层,其中,特征融合层可以用于融合各目标图像的局部图像特征和全局图像特征;
参见图3,图3示出了本说明书一个实施例提供的一种图像处理模型的结构图,图像处理模型的模型结构可以包括特征提取层302、特征融合层304和输出层306,特征提取层302、特征融合层304和输出层306之间可以顺次连接,多个目标图像可以先输入至特征提取层302,获得特征提取层302处理得到的结果,再由特征提取层302将处理得到的结果输入至特征融合层304,获得特征融合层304处理得到的结果,并由特征融合层304将处理得到的结果输入至输出层306,获得输出层最终输出的目标待检测分区的检测结果。
相应地,将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,可以包括如下步骤S3002至S3006:
S3002:将多个目标图像输入特征提取层,获得各目标图像对应的图像特征信息。
实际应用中,可以将多个目标图像输入特征提取层,获得各目标图像对应的图像特征信息。
具体地,特征提取层可以理解为用于提取目标图像中图像特征信息的结构。进一步地,特征提取层可以包括一个或者多个全卷积块,用于通过卷积,将各目标图像中的图像信息进行映射,获得各目标图像对应的图像特征信息。
可选地,特征提取层可以包括一个全卷积块,将多个目标图像输入特征提取层,获得各目标图像对应的图像特征信息,可以包括如下步骤:
将在多个目标图像中确定待处理目标图像;
将待处理目标图像输入至全卷积块,获得图像特征信息。
具体地,待处理目标图像可以是多个目标图像中的任一个。将多个目标图像输入特征提取层的全卷积块中,可以通过全卷积块中的卷积结构,将图像信息进行映射,提取出多个目标图像对应的图像特征信息。
可选地,为了进一步减少网络参数数量,增强特征表现力,获得更好的模型性能,特征提取层可以包括n个顺次连接的全卷积块,其中,n为大于等于2的正整数。
相应地,将多个目标图像输入特征提取层,获得各目标图像对应的图像特征信息,还可以包括如下步骤:
在多个目标图像中确定待处理目标图像;
将待处理目标图像输入至第1全卷积块,获得第1图像特征信息;
将第i-1图像特征信息输入至第i全卷积块,获得第i图像特征信息,其中,2≤i≤n;
判断i是否等于n;
若否,则将i自增1,并继续执行将第i-1图像特征信息输入至第i全卷积块,获得第i图像特征信息的操作;
若是,则将第i图像特征信息确定为待处理目标图像对应的图像特征信息。
参见图4,图4示出了本说明书一个实施例提供的一种图像处理模型的结构图。
具体地,特征提取层可以包括多个顺次连接的全卷积块400,在多个目标图像中确定待处理目标图像,将待处理目标图像输入至第1全卷积块400,获得第1全卷积块400输出的第1图像特征信息;将第1图像特征信息输入至第二全卷积块400,获得第2全卷积块400输出的第2图像特征信息......依次类推,直到将第n-1图像特征信息输入至第n全卷积块400,获得第n全卷积块400输出的第n图像特征信息,将第n图像特征信息确定为待处理目标图像对应的图像特征信息。
实际应用中,可以根据上述方法,获得多个目标图像对应的图像特征信息。
通过将多个目标图像输入至特征提取层中的1个或多个全卷积块,可以获取多个目标图像对应的图像特征信息,用于后续的特征处理以获得对目标待检测分区检测结果的预测。
实际应用中,获得多个目标图像对应的图像特征信息,可以将各图像特征信息输入至特征融合层,以获得各目标图像对应的图像融合信息。
S3004:将各图像特征信息输入特征融合层,获得各目标图像对应的图像融合信息。
具体地,特征融合层用于融合各目标图像的局部图像特征和全局图像特征。通过将各图像特征信息输入特征融合层,可以对各图像特征信息中的局部特征和全局特征分别进行提取,从而根据提取得到的局部特征和全局特征获得局部全局融合信息。
由于通过卷积层提取得到的图像局部特征信息,很有可能会在编解码器对全局特征信息进行编码的过程中失去精细尺度下的信息,因此,为了在不损失局部特征信息的情况下对图像的特征信息进行编码,本说明书一个或多个实施例中,将各图像特征信息输入特征融合层,对各图像特征信息中的局部特征信息和全局特征信息分别进行提取,将局部特征信息和全局特征信息进行融合,得到各目标图像对应的图像融合信息,从而提高特征信息的精准性,进而提高模型输出结果的准确性。
进一步地,本说明书一个或者多个实施例,特征融合层中可以包括一个或多个局部全局融合块,以对图像特征信息中的局部特征信息和全局特征信息分别进行提取,并进行融合。
可选地,特征融合层可以包括一个局部全局融合块,将各图像特征信息输入特征融合层,获得各目标图像对应的图像融合信息,可以包括如下步骤:
从各图像特征信息中确定目标图像特征信息;
将目标图像特征信息输入至局部全局融合块,获得图像融合信息。
具体地,目标图像特征信息是各图像特征信息中任一个,将目标图像特征信息输入至局部全局融合块,获得的图像融合信息更加精确。
可选地,特征融合层可以包括m个顺次连接的局部全局融合块,其中,m为大于等于2的正整数。
相应地,将各图像特征信息输入特征融合层,获得各目标图像对应的图像融合信息,可以包括如下步骤:
从各图像特征信息中确定目标图像特征信息;
将目标图像特征信息输入至第1局部全局融合块,获得第1图像融合信息;
将第j-1图像融合信息输入至第j局部全局融合块,获得第j图像融合信息,其中,2≤j≤m;
判断j是否等于m;
若否,则将j自增1,并继续执行将第j-1图像融合信息输入至第j局部全局融合块,获得第j图像融合信息的操作;
若是,则将第j图像融合信息确定为目标图像特征信息对应的图像融合信息。
参见图5,图5示出了本说明书一个实施例提供的一种图像处理模型的结构图;
具体地,特征融合层可以包括多个顺次连接的局部全局融合块500,从各图像特征信息中确定目标图像特征信息,将目标图像特征信息输入至第1局部全局融合块500,获得第1局部全局融合块500输出的第1图像融合信息;将第1图像融合信息输入至第二局部全局融合块500,获得第2局部全局融合块500输出的第2图像融合信息......依次类推,直到将第m-1图像融合信息输入至第m局部全局融合块500,获得第m局部全局融合块500输出的第m图像融合信息,将第m图像融合信息确定为目标图像特征信息对应的图像融合信息。
实际应用中,可以根据上述方法,获得各图像特征信息对应的图像融合信息。
通过将各图像特征信息输入至特征融合层中的1个或多个局部全局融合块,可以获取多个目标图像对应的图像融合信息,对图像特征信息中的全局特征进行编码的同时保障局部特征信息的精确度,用于后续的特征处理以获得对目标待检测分区检测结果的预测,提高图像处理模型输出结果的准确性。
本说明书一个或多个实施例中,局部全局融合块可以包括至少一个局部全局特征融合层,局部全局特征融合层可以包括局部特征提取子层和全局特征提取子层、融合层。
具体地,局部全局特征融合层用于提取各图像特征信息中的局部特征信息和全局特征信息,并融合局部特征信息和全局特征信息得到各目标图像对应的图像融合信息。进一步地,局部特征提取子层用于提取各目标图像对应的局部特征信息,全局特征提取子层用于提取各目标图像对应的全局特征信息,融合层用于根据提取得到的局部特征信息和全局特征信息,融合得到各目标图像对应的图像融合信息。
可选地,一个局部全局融合块可以包括一个局部全局特征融合层,为了提高特征信息的精确性,训练得到更准确的图像处理模型,一个局部全局融合块也可以包括多个顺次连接的局部全局特征融合层。
相应地,对于第t局部全局特征融合层,可以包括如下步骤:
获取待处理图像特征信息,其中,待处理图像特征信息包括目标图像特征信息或第t-1图像融合信息;
将待处理图像特征信息输入至局部特征提取子层,获得待处理图像特征信息对应的局部特征信息;
将待处理图像特征信息输入至全局特征提取子层,获得待处理图像特征信息对应的全局特征信息;
将局部特征信息和全局特征信息输入至融合层,获得第t局部全局特征融合层对应的图像融合信息。
具体地,待处理图像特征信息包括目标图像特征信息或第t-1图像融合信息,其中,目标图像特征信息是由特征提取层输出,并输入至特征融合层的图像特征信息;第t-1图像融合信息,是由第t-1局部全局特征融合层输出的图像融合信息。
参见图6,图6示出了本说明书一个实施例提供的一种图像处理模型的结构图。局部全局特征融合层600可以包括局部特征提取子层6002、全局特征提取子层6004以及融合层6006。
对于局部全局特征融合层600,可以接收待处理图像特征信息X,将待处理图像特征信息X分别输入至局部特征提取子层6002和全局特征提取子层6004,通过局部特征提取子层6002提取待处理图像特征信息X的局部特征信息;通过全局特征提取子层6004提取待处理图像特征信息X的全局特征信息,然后将局部特征信息和全局特征信息输入至融合层6006,通过融合层6006获得待处理图像特征信息X的局部全局融合信息。
实际应用中,通过将待处理图像特征信息输入至局部全局融合块中的局部全局特征融合层,可以分别提取待处理图像特征信息的局部特征信息和全局特征信息,并融合局部特征信息和全局特征信息得到该局部全局特征融合层输出的图像融合信息。通过对局部特征信息和全局特征信息的分别提取以及融合,可以获得不损失精细尺度信息的全局特征信息编码,从而提高图像处理模型的准确性。
在本说明书一个或多个实施例中,局部特征提取子层可以包括卷积处理单元。
将待处理图像特征信息输入至局部特征提取子层,获得待处理图像特征信息对应的局部特征信息,可以包括如下步骤:
将待处理图像特征信息输入至卷积处理单元,提取待处理图像特征信息对应的初始局部特征信息;
对初始局部特征信息进行特征映射,获得待处理图像特征信息对应的局部特征信息。
参见图7,图7示出了本说明书一个实施例提供的一种图像处理模型的结构图。
具体地,局部特征提取子层700可以包括卷积处理单元7002以及第一卷积核7004,卷积处理单元7002可以理解为一个用于提取局部特征信息的卷积核。将待处理图像特征信息输入至卷积处理单元7002,通过卷积处理单元7002可以提取并输出待处理图像特征信息对应的初始局部特征信息;初始局部特征信息可以理解为与待处理图像特征信息维度相同的特征信息。
为了便于对局部特征信息进行数据分类,获得尺度更加精细的特征信息,本说明书一个或多个实施例中,卷积处理单元7002之后还可以连接一个第一卷积核7004,第一卷积核7004用于对初始局部特征信息进行特征映射,获得所述待处理图像特征信息对应的局部特征信息。
可选地,局部特征信息可以是比初始局部特征信息更加高维的特征信息,示例性地,待处理特征信息X的维度是c维,通过卷积处理单元7002获得初始局部特征信息的维度也是c维,通过第一卷积核7004进行特征映射后,得到的局部特征信息的维度可以是d维。
可选地,卷积处理单元7002可以是Conv3*3*3的卷积单元,第一卷积核7004可以是Conv1*1*1的卷积核。
通过将待处理图像特征信息输入至局部特征提取子层,通过卷积处理单元和第一卷积核得到待处理图像特征信息对应的局部特征信息,能够提高图像特征信息提取的精细度,获得更加精准的图像处理结果,从而提高图像处理模型的准确性。
在本说明书一个或多个实施例中,全局特征提取子层可以包括编解码图像处理单元。
将待处理图像特征信息输入至全局特征提取子层,获得待处理图像特征信息对应的全局特征信息,可以包括如下步骤:
对待处理图像特征信息进行特征映射,获得待处理图像特征信息对应的目标待处理图像特征信息;
将目标待处理图像特征信息输入至编解码图像处理单元,获得目标待处理图像特征信息对应的全局特征信息。
实际应用中,为了便于将局部特征信息和全局特征信息进行拼接融合,通过编解码图像处理单元提取全局特征信息之前,可以先将待处理图像特征信息映射为与局部特征信息维度一致的特征信息。
具体地,目标待处理图像特征信息是进行了特征映射后得到的比待处理图像特征信息更高维的特征信息。编解码图像处理单元具有编码-解码结构,可以从目标待处理图像特征信息中提取全局特征信息。
参见图8,图8示出了本说明书一个实施例提供的一种图像处理模型的结构图。
具体地,全局特征提取子层800可以包括第二卷积核8002和编解码图像处理单元8004。编解码图像处理单元8004之前可以连接一个第二卷积核8002,待处理图像特征信息输入全局特征提取子层之后,可以先通过第二卷积核8002映射为维度更高的目标待处理图像特征信息,然后将目标待处理图像特征信息输入编解码图像处理单元8004,通过编解码图像处理单元8004中的编码器和解码器,提取目标待处理图像特征信息中的全局特征信息,获得待处理图像特征信息的全局特征信息。
可选地,第二卷积核8002可以是Conv1*1*1的卷积核,编解码图像处理单元8004可以是transformer处理单元,可以通过Unfold->transformer->Fold的方式对目标待处理图像特征信息进行提取全局特征信息的处理。
通过将待处理图像特征信息输入至全局特征提取子层,通过第二卷积核和编解码图像处理单元得到待处理图像特征信息对应的全局特征信息,能够提高图像特征信息提取的完整性,获得更加全面的图像特征信息,从而提高图像处理模型的可靠性和准确性。
实际应用中,获得局部特征信息和全局特征信息,就可以将局部特征信息和全局特征信息输入融合层,以获得图像融合信息。
在本说明书一个或多个实施例中,将局部特征信息和全局特征信息输入至融合层,获得第t局部全局特征融合层对应的图像融合信息,可以包括如下步骤:
拼接局部特征信息和全局特征信息,获得初始图像融合信息;
对初始图像融合信息进行特征映射,获得第t局部全局特征融合层对应的图像融合信息。
具体地,初始图像融合信息是将局部特征信息和全局特征信息拼接后得到的与局部特征信息和全局特征信息处于同一维度下的特征信息,图像融合信息可以理解为对初始图像融合信息进行特征映射,获得与待处理图像特征信息维度相同的特征信息。
参见图9,图9示出了本说明书一个实施例提供的一种图像处理模型的结构图;
具体地,融合层900包括拼接单元9002和第三卷积核9004,拼接单元9002用于接收局部特征提取子层和全局特征提取子层输出的局部特征信息和全局特征信息,对局部特征信息和全局特征信息进行拼接,得到初始图像融合信息,第三卷积核9004接收拼接单元9002输出的初始图像融合信息,对初始图像融合信息进行特征映射,获得第t局部全局特征融合层对应的图像融合信息。可选地,第三卷积核9004可以是Conv1*1*1的卷积核。
通过将局部特征信息和全局特征信息输入至融合层,通过融合层进行拼接得到初始图像融合信息,并对初始图像融合信息进行特征映射得到图像融合信息,可以对目标图像的在更精细尺度下的局部信息和更加完整的全局信息进行融合,获得更加准确的图像特征信息,可以使图像处理模型输出的预测结果更加准确。
实际应用中,获得各目标图像对应的图像融合信息,可以将各图像融合信息输入输出层,获得输出层输出的目标待检测分区对应的检测结果。
S3006:将各图像融合信息输入输出层,获得目标待检测分区对应的检测结果。
具体地,输出层可以根据各目标图像对应的图像融合信息,计算并输出目标待检测分区对应的检测结果。进一步地,输出层可以通过softmax(归一化)操作,对图像融合信息进行分类处理,获得目标待检测分区中存在异常待检测对象的预测概率,并将其输出为目标待检测分区对应的检测结果。
将多个目标图像输入图像处理模型,通过图像处理模型的特征提取层将输入的多个目标图像处理为图像特征信息,通过特征融合层将图像特征信息处理为图像融合信息,再通过输出层对图像融合信息进行处理,输出目标待检测分区对应的检测结果,可以提高目标待检测分区中是否存在异常待检测对象的预测准确性,避免受人为因素影响导致的判断结果不准确,并且提高针对目标待检测分区以及待检测对象的检测效率,为待检测对象在医学上的进一步诊断和治疗提供帮助。
随着计算机技术的不断发展,深度学习逐渐能够应用于各种医学影像计算机辅助诊断(CAD)任务中,然而,深度学习模型依赖大规模精准标注的训练样本和样本标签作为训练数据进行模型训练,对于难以从医学影像中对待检测对象的异常状态进行一一匹配的图像处理应用场景,获取大数据量且精准的训练数据需要较大的成本,因此对模型进行训练较为困难。
基于此,本说明书一个或多个实施例中,图像处理模型通过下述S20402-S20410训练获得:
S20402:获取训练样本对和训练样本对的引导信息,其中,训练样本对包括训练样本和样本标签,训练样本包括目标待检测分区对应的多个样本图像,样本标签用于标识目标待检测分区的样本结果。
具体地,训练样本对包括训练样本和样本标签,训练样本可以理解为目标待检测分区对应的多个样本图像,样本标签用于标识目标待检测分区的样本结果。
实际应用中,为了增加对模型进行训练的训练数据量,并且降低标注成本、提高标注准确性,本说明书一个或多个实施例提供的图像处理模型的模型训练方法,可以根据病理报告,对医学图像中,目标待检测分区中是否存在异常待检测对象进行标注。即,样本结果可以理解为目标待检测分区中是否存在异常待检测对象,可以将存在异常待检测对象的样本图像的样本标签设置为1,将不存在异常待检测对象的样本图像的样本标签设置为0。
由于训练样本对中,训练样本是要进行异常检测的目标待检测分区,样本标签是该目标待检测分区是否存在异常待检测对象的概率,而目标待检测分区中还有可能存在除待检测对象之外的其他人体细胞或者组织、结构,可能会对模型训练造成干扰,因此,可以通过引导信息对模型训练进行隐式或者显式的引导。训练样本对的引导信息可以理解为对图像处理模型在根据训练样本对进行模型训练过程中进行注意力先验引导的信息。进一步地,引导信息可以理解为待检测对象在目标待检测分区中的位置信息,通过引导信息,可以将模型的注意力集中在目标待检测分区中的待检测对象上,防止模型收到除待检测对象以外的目标待检测分区中的其他对象的干扰,导致训练结果不准确。
为了获得更加准确的引导信息,从而提高模型训练的准确性,本说明书一个或多个实时例中,获取训练样本对的引导信息,可以包括如下步骤:
在各样本图像的目标待检测分区中确定待检测对象的位置信息;
将待检测对象的位置信息作为各样本图像对应的引导信息。
需要说明的是,为了将模型的注意力集中于各样本图像的目标待检测分区中的待检测对象,提高模型训练的准确性,可以根据医学图像,在目标待检测分区中确定待检测对象的位置信息,将待检测对象的位置信息作为各样本图像对应的引导信息。也可以预先训练待检测对象对应的深度检测模型,使用待检测对象的深度检测模型,对医学图像的目标待检测分区中所有可见的待检测对象进行自动检测和分割,获得待检测对象对应的掩码信息,将通过上述方法获得的掩码信息作为各样本图像对应的引导信息。
S20404:将训练样本对和引导信息输入至初始图像处理模型,获得初始图像处理模型输出的样本预测结果,以及目标待检测分区的目标注意力信息。
实际应用中,获得训练样本对的引导信息之后,可以将训练样本对和引导信息输入至初始图像处理模型,经过初始图像处理模型的处理,获得初始图像处理模型输出的样本预测结果,以及目标待检测分区的目标注意力信息。
具体地,初始图像处理模型可以理解为尚未完成训练的图像处理模型,样本预测结果可以理解为初始图像处理模型根据输入的训练样本对和引导信息输出的训练样本存在异常待检测对象的预测概率,目标注意力信息可以理解为目标待检测分区中待检测对象的位置信息。
本说明书一个或多个实施例中,图像处理模型可以包括特征提取层、特征融合层和输出层。
相应地,将训练样本对和引导信息输入至初始图像处理模型,获得初始图像处理模型输出的样本预测结果,以及目标待检测分区的目标注意力信息,可以包括如下步骤:
拼接训练样本和引导信息,获得目标拼接信息;
将目标拼接信息输入特征提取层,获得特征提取层输出的特征提取信息;
将特征提取信息输入特征融合层,获得特征融合层输出的特征融合信息和至少一个注意力特征图;
将特征融合信息输入输出层,获得目标待检测分区对应的样本预测结果;
聚合至少一个注意力特征图,获得目标待检测分区对应的目标注意力信息。
具体地,图像处理模型可以将训练样本对中的训练样本和引导信息进行拼接,得到目标拼接信息,目标拼接信息可以理解为融合了待检测对象的位置信息的训练样本。特征提取信息可以理解为特征提取层根据输入的目标拼接信息进行特征提取,得到的特征信息。特征融合信息可以理解为特征融合层根据输入的特征提取信息进行局部特征信息提取、全局特征信息提取以及对局部特征信息和全局特征信息进行融合得到的特征信息。注意力特征图可以理解为特征融合层中的各个局部全局融合块在对特征信息进行处理的过程中输出的中间产物,注意力特征图可以用于表示目标待检测分区中待检测对象的位置信息。
需要说明的是,特征融合层中的各个局部全局融合块可以包括至少一个局部全局特征融合层,为了提高训练的准确性,获得更加准确的注意力特征图,本说明书一个或多个实施例中,可以将每个局部全局融合块中的最后一个局部全局特征融合层输出的注意力特征图进行获取。
实际应用中,获得特征融合层输出的特征融合信息和至少一个注意力特征图之后,可以将特征融合信息输入输出层,获得目标待检测分区对应的样本预测结果;并聚合至少一个注意力特征图,获得目标待检测分区对应的目标注意力信息。
具体地,样本预测结果是初始图像处理模型输出的对目标待检测分区是否存在异常待检测对象的预测结果,可以将预测结果设置为:检测到目标待检测分区存在异常待检测对象的概率越高,预测结果越接近1,检测到目标待检测分区存在异常待检测对象的概率越低,预测结果越接近0。
实际应用中,聚合至少一个注意力特征图,获得目标待检测分区对应的目标注意力信息可以通过如下方式实现:将各个注意力特征图插值到与第一个局部全局融合块输出的注意力特征图相同的大小,从而实现对至少一个注意力特征图的注意力聚合,得到目标待检测分区的目标注意力信息。
通过拼接训练样本以及引导信息,将目标拼接信息输入至初始图像处理模型,使用引导信息对模型的训练过程进行显示引导,提高模型训练的准确性,进而提高模型输出的检测结果的准确性,提高模型执行图像处理任务时的任务处理效果。通过获取训练过程中,特征融合层输出的注意力特征图,并对注意力特征图进行聚合得到目标待检测分区对应的目标注意力信息,可以用于后续通过目标注意力信息和引导信息的比对,计算获得模型损失值,对模型参数进行调整,实现对模型训练过程的隐式引导。
S20406:根据样本预测结果和样本结果,计算得到初始图像处理模型的第一损失值。
具体地,第一损失值可以理解为根据初始图像处理模型输出的预测结果与样本标签进行比对,获得模型任务执行结果与真实结果之间的误差。
实际应用中可以根据样本预测结果和样本结果进行比对,通过交叉熵计算等方法,计算初始图像处理模型的第一损失值。
S20408:根据目标注意力信息和引导信息,计算得到初始图像处理模型的第二损失值。
具体地,第二损失值可以理解为根据初始图像处理模型进行模型训练过程中,针对目标待检测分区中待检测对象的注意力位置信息与模型实际应该关注的位置信息进行比对,得到的模型误差。
实际应用中可以根据目标注意力信息和引导信息进行比对,通过交叉熵计算等方法,计算初始图像处理模型的第二损失值。
S20410:根据第一损失值和第二损失值调整初始图像处理模型的模型参数,直至达到预设停止条件,获得图像处理模型。
具体地,预设停止条件可以是第一损失值以及第二损失值分别对应的预设阈值,也可以是模型循环训练的预设次数,具体可以根据实际情况而确定,本说明书对此不作任何限定。
实际应用中,计算得到初始图像处理模型的第一损失值和第二损失值,可以根据第一损失值和第二损失值对初始图像处理模型的参数进行调整,参数调整的方法示例性地可以为反向传递调参,具体可以根据实际应用中的情况而定,本说明书对此不作任何限定。
通过将引导信息与训练样本进行拼接、通过引导信息与目标注意力信息计算第二损失值,可以实现通过引导信息对模型训练的显式引导和隐式引导,避免模型受目标待检测分区内处待检测对象之外的其他对象的干扰,提高模型训练的准确率,从而提高图像处理模型执行图像处理任务时输出预测结果的准确性。
本说明书一个实施例提供的图像处理方法,接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
如此,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
参见图10,图10示出了本说明书一个实施例提供的一种CT图像处理方法的流程图,具体包括以下步骤:
步骤1002:接收CT图像处理任务,其中,CT图像处理任务携带目标待检测分区对应的多个CT图像,CT图像处理任务用于检测目标待检测分区内是否存在异常待检测细胞。
步骤1004:将多个CT图像输入CT图像处理模型,获得目标待检测分区对应的检测结果,其中,CT图像处理模型基于各CT图像的局部图像特征和全局图像特征确定检测结果。
需要说明的是,步骤1002-步骤1004的实现方式,与上述步骤202-步骤204的实现方式相同,本说明书实施例便不再进行赘述。
示例性地,假设CT图像处理任务为判断食管癌(EC)淋巴站中是否存在淋巴结转移的任务,利用上述CT图像处理方法可以确定目标待检测淋巴站中,存在淋巴结转移的概率。
应用本说明书实施例的方案,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
参见图11,图11示出了本说明书一个实施例提供的一种图像处理模型的训练方法的流程图,应用于云侧设备,具体包括以下步骤:
步骤1102:获取训练样本对和训练样本对的引导信息,其中,训练样本对包括训练样本和样本标签,训练样本包括目标待检测分区对应的多个样本图像,样本标签用于标识目标待检测分区的样本结果。
步骤1104:将训练样本对和引导信息输入至初始图像处理模型,获得初始图像处理模型输出的样本预测结果,以及目标待检测分区的目标注意力信息。
步骤1106:根据样本预测结果和样本结果,计算得到初始图像处理模型的第一损失值。
步骤1108:根据目标注意力信息和引导信息,计算得到初始图像处理模型的第二损失值。
步骤1110:根据第一损失值和第二损失值调整初始图像处理模型的模型参数,直至达到预设停止条件,获得图像处理模型的模型参数。
步骤1112:向端侧设备发送图像处理模型的模型参数。
需要说明的是,步骤1102-步骤1110与上述S20402-S20410的实现方式相同,本说明书实施例便不再进行赘述。
实际应用中,云侧设备向端侧设备发送图像处理模型的模型参数之后,端侧设备可以根据图像处理模型的模型参数在本地构建图像处理模型,进一步利用图像处理模型进行图像处理。
应用本说明书实施例的方案,通过获取训练样本对和训练样本对的引导信息,将训练样本和引导信息输入至初始图像处理模型,拼接后进行特征提取和局部全局特征信息的融合,输出样本预测结果,根据样本预测结果和样本结果比对,计算得到初始图像处理模型的第一损失值,通过初始图像处理模型输出的中间产物目标注意力信息与引导信息比对,计算得到初始图像处理模型的第二损失值,通过第一损失值和第二损失值对模型参数进行调整,能够实现通过引导信息对模型进行隐式引导和显示引导,能使最终得到的图像处理模型更加精准。
参见图12,图12示出了本说明书一个实施例提供的一种图像处理方法的流程图,具体包括以下步骤:
步骤1202:接收用户发送的图像处理请求,其中,图像处理请求包括图像处理任务,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象。
步骤1204:将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
步骤1206:向用户发送目标待检测分区对应的检测结果。
需要说明的是,步骤1202-步骤1204的具体实现方式与上述步骤202-步骤204的实现方式相同,本说明书实施例便不再进行赘述。
应用本说明书实施例的方案,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
下述结合附图13,以本说明书提供的图像处理方法在食管癌淋巴站异常检测的应用为例,对所述图像处理方法进行进一步说明。其中,图13示出了本说明书一个实施例提供的一种图像处理方法的处理过程流程图,具体包括以下步骤:
步骤1302:接收纵隔淋巴站CT图像处理任务,其中,纵隔淋巴站CT图像处理任务携带目标待检测纵隔淋巴站对应的多个CT图像,纵隔淋巴站CT图像处理任务用于检测目标待检测纵隔淋巴站内是否存在淋巴结转移。
实际应用中,接收纵隔淋巴站CT图像处理任务,将目标待检测纵隔淋巴站对应的多个CT图像输入至图像处理模型中,可以获得图像处理模型根据多个CT图像输出的目标待检测纵隔淋巴站内是否发生淋巴结转移的检测结果。
步骤1304:将多个CT图像输入至图像处理模型包括的特征提取层中,获得各CT图像对应的图像特征信息,其中,特征提取层包括2个顺次连接的全卷积块。
示例性地,如图14所示,图像处理模型包括特征提取层、特征融合层和输出层,其中,特征提取层、特征融合层和输出层顺次连接。将多个CT图像输入至特征提取层,可以包括如下步骤:将多个CT图像输入至全卷积块1,获得全卷积块1输出的图像特征信息1,将图像特征信息1输入至全卷积块2,获得全卷积块2输出的图像特征信息2,将图像特征信息2确定为特征提取层输出的图像特征信息。
步骤1306:将各图像特征信息输入至图像处理模型包括的特征融合层中,获得各CT图像对应的图像融合信息,其中,特征融合层包括3个顺次连接的局部全局融合块,各局部全局融合块包括至少一个局部全局特征融合层。
示例性地,如图14所示,特征融合层包括3个顺次连接的局部全局融合块1、局部全局融合块2和局部全局融合块3,每个局部全局融合块中包括至少一个局部全局特征融合层。每个局部全局特征融合层包括局部特征提取子层、全局特征提取子层和融合层。进一步地,局部特征提取子层包括卷积子单元,全局特征提取子层包括编解码图像处理单元。
示例性地,假设局部全局融合块1中包括2个局部全局特征融合层,将各图像特征信息输入至局部全局融合块1中的局部全局特征融合层1,将各图像特征信息分别输入局部全局特征融合层1中的局部特征提取子层和全局特征提取子层,根据局部特征提取子层中的卷积子单元获得局部特征信息;根据全局特征提取子层中的编解码图像处理单元获得全局特征信息,通过融合层对局部特征信息和全局特征信息进行融合,得到图像融合信息,将局部全局融合信息输入至局部全局特征融合层2,按照上述相同的方式获得局部全局融合块1输出的图像融合信息1。获得局部全局融合块1输出的图像融合信息1,可以将图像融合信息1输入至局部全局融合块2,获得局部全局融合块2输出的图像融合信息2,然后将图像融合信息2输入至局部全局融合块3,获得局部全局融合块3输出的图像融合信息3,并将图像融合信息3确定为特征融合层输出的图像融合信息。
步骤1308:将各图像融合信息输入至图像处理模型包括的输出层中,获得目标待检测纵隔淋巴站对应的检测结果。
实际应用中,将图像融合信息输入至图像处理模型包括的输出层中,可以通过输出层对图像融合信息进行softmax(归一化)处理,获得图像处理模型输出的目标待检测纵隔淋巴站对应的检测结果。
具体地,待检测结果越靠近0,目标待检测纵隔淋巴站中存在淋巴结转移的可能性越低,待检测结果越靠近1,目标待检测纵隔淋巴站中存在淋巴结转移的可能性越高。
应用本说明书实施例的方案,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
下述结合附图14,以本说明书提供的图像处理模型的训练方法在食管癌淋巴站异常检测的应用为例,对图像处理模型的训练方法进行进一步说明。其中,图14示出了本说明书一个实施例提供的一种图像处理模型的训练示意图。
获取多个食管癌患者待检测部位的CT图像以及病理报告,从待检测部位的CT图像中确定待检测的纵隔淋巴站,将目标待检测纵隔淋巴站对应的多个CT图像作为图像处理模型的训练样本,根据病理报告,为各个CT图像标注样本标签,其中,目标待检测纵隔淋巴站内发生淋巴结转移的训练样本对应的样本标签为1,目标待检测纵隔淋巴站内未发生淋巴结转移的训练样本对应的样本标签为0。
通过预先训练好的深度淋巴结检测模型,对上述各个CT图像中所有可见的淋巴结(短径≥5mm)进行自动检测和分割,将这些自动分割得到的淋巴结掩码作为注意力先验的引导信息,引导模型学习。
将构建好的训练样本对和训练样本对分别对应的引导信息作为图像处理模型的输入,输入至待训练的初始图像处理模型,初始图像处理模型接收训练样本对和引导信息,先将训练样本和引导信息进行拼接得到样本拼接信息,然后将样本拼接信息输入至两个顺次连接的全卷积块(全卷积块1、全卷积块2),获得第二个全卷积块输出的图像特征信息;再将图像特征信息输入至三个顺次连接的局部全局融合块(局部全局融合块1、局部全局融合块2、局部全局融合块3),获得第三个局部全局融合块输出的图像融合信息,其中,局部全局融合块1包括2个局部全局特征融合层,局部全局融合块2包括4个局部全局特征融合层,局部全局融合块3包括3个局部全局特征融合层。
获取初始图像处理模型通过3个局部全局融合块对图像特征信息进行处理的过程中,每个局部全局融合块的最后一个局部全局特征融合层输出的注意力特征图,将3个注意力特征图插值到相同大小后,聚合得到3个注意力特征图对应的目标注意力信息。
将第三个局部全局融合块输出的图像融合信息输出至输出层,获得初始图像处理模型输出的关于待检测的纵隔淋巴站中存在淋巴结转移的概率,将这个概率值确定为样本预测结果。
根据样本预测结果和样本标签,计算初始图像处理模型的第一损失值;根据目标注意力信息和引导信息,计算初始图像处理模型的第二损失值。并根据第一损失值和第二损失值对初始图像模型的模型参数进行调整,直到达到预设停止条件,获得图像处理模型。
应用本说明书实施例的方案,通过获取训练样本对和训练样本对的引导信息,将训练样本和引导信息输入至初始图像处理模型,拼接后进行特征提取和局部全局特征信息的融合,输出样本预测结果,根据样本预测结果和样本结果比对,计算得到初始图像处理模型的第一损失值,通过初始图像处理模型输出的中间产物目标注意力信息与引导信息比对,计算得到初始图像处理模型的第二损失值,通过第一损失值和第二损失值对模型参数进行调整,能够实现通过引导信息对模型进行隐式引导和显示引导,能使最终得到的图像处理模型更加精准。
参见图15,图15示出了本说明书一个实施例提供的一种食管癌检测方法的流程图,具体包括以下步骤:
步骤1502:训练图像检测模型。
具体地,可以获取多个食管癌CT图像,通过Deep-Stationing模型将CT图像中的淋巴站进行分割,得到多个不同位置的淋巴站。通过食管癌患者的病理报告,对各个淋巴站中是否存在食管癌淋巴结转移进行标注,获得训练样本对,其中,存在淋巴结转移的淋巴站标注为1,不存在淋巴结转移的淋巴站标注为0。进一步地,训练样本对包括训练样本和样本标签,训练样本包括目标待检测淋巴站对应的多个样本图像,样本标签用于标识目标待检测淋巴站的样本结果。同时,由于通过病理报告只能判断淋巴站中是否发生了淋巴结转移,而无法准确标注淋巴站中单个细胞是否发生了淋巴结转移,因此,为了提高检测准确性,帮助医生定位异常细胞位置以进行后续诊断和治疗,本说明书一个或多个实施例还使用LN检测算法对LN实例进行分自动割,得到LN掩码。将LN掩码作为训练样本对的引导信息,与训练样本对一同输入至初始图像检测模型,可以获得初始图像检测模型输出的样本预测结果,以及目标待检测淋巴站的目标注意力信息。通过样本结果对图像检测模型的检测结果进行显式引导,通过引导信息对图像检测模型的检测结果进行隐式引导,可以使图像检测模型将注意力聚合至待检测的淋巴站中,提高位置准确性,从而提高图像检测模型输出结果的准确性。
需要说明的是,LN检测算法基于2.5D Mask R-CNN框架,以9个连续的轴向CT切片作为输入,融合2D的特征图像获取3D上下文信息,对CT切片中LN实例的位置和掩码进行预测,可以得到准确的LN位置信息。
根据初始图像检测模型输出的样本预测结果,和样本标签对应的样本结果,可以计算得到初始图像检测模型的第一损失值;根据初始图像检测模型输出的目标注意力信息和训练样本对对应的引导信息,可以计算得到初始图像检测模型的第二损失值;根据第一损失值和第二损失值共同对初始图像检测模型的模型参数进行调整,再使用调整后的初始图像检测模型继续对目标待检测淋巴站对应的多个样本图像是否存在癌细胞进行预测,直至达到预设停止条件,获得训练完成的图像检测模型。
步骤1504:接收食管癌CT图像检测任务,其中,食管癌CT图像检测任务携带目标待检测淋巴站对应的多个目标淋巴站CT图像,食管癌CT图像检测任务用于检测目标待检测淋巴站内是否发生淋巴结转移。
实际应用中,接收食管癌CT图像检测任务,可以预先通过Deep-Stationing模型对食管癌CT图像中的淋巴站进行分割,确定目标待检测淋巴站,将目标待检测淋巴站对应的多个目标淋巴站CT图像输入至训练完成的图像检测模型,对淋巴站内是否存在癌细胞进行检测。
步骤1506:将多个目标淋巴站CT图像输入图像检测模型,获得目标待检测淋巴站对应的检测结果,其中,图像检测模型基于各目标淋巴站CT图像的局部图像特征和全局图像特征确定检测结果。
实际应用中,通过图像检测模型,可以先将多个淋巴站CT图像输入至图像检测模型包括的特征提取层中,获得各淋巴站CT图像对应的图像特征信息,其中,特征提取层包括2个顺次连接的全卷积块。具体地,将多个淋巴站CT图像输入至全卷积块1,获得全卷积块1输出的图像特征信息1,将图像特征信息1输入至全卷积块2,获得全卷积块2输出的图像特征信息2,将图像特征信息2确定为特征提取层输出的图像特征信息。
然后可以将各图像特征信息输入至图像检测模型包括的特征融合层中,获得各淋巴站CT图像对应的图像融合信息,其中,特征融合层包括3个顺次连接的局部全局融合块,各局部全局融合块包括至少一个局部全局特征融合层,每个局部全局特征融合层包括局部特征提取子层、全局特征提取子层和融合层,局部特征提取子层包括卷积子单元,全局特征提取子层包括编解码图像处理单元。
最后可以将各图像融合信息输入至图像检测模型包括的输出层中,获得目标待检测淋巴站对应的检测结果。实际应用中,将图像融合信息输入至图像检测模型包括的输出层中,可以通过输出层对图像融合信息进行softmax(归一化)处理,获得图像检测模型输出的目标待检测淋巴站对应的检测结果。具体地,待检测结果越靠近0,目标待检测淋巴站中存在淋巴结转移的可能性越低,待检测结果越靠近1,目标待检测淋巴站中存在淋巴结转移的可能性越高。
本说明书提供的实施例中,根据收集到的1205例食管癌患者的数据集,构建训练样本对和样本对的引导信息。据此能够构建得到食管癌LN转移分类的数据量更大的数据集,LN站的标签由数据集中的LN解剖结果确定。如果报告中该淋巴结的所有解剖淋巴结均显示为良性,则该淋巴结为良性,如果报告中存在任何转移性淋巴结,则标记为转移。CT图像中位尺寸为512×512×91mm,中位分辨率为0.795×0.795×5.0mm。将所有CT图像重新采样到一致的空间分辨率为0.787×0.787×5.0mm。3D训练补丁是通过裁剪CT图像和LN掩码的96×96×32ROI分别生成的,以每个LN站为中心,进一步使用每个LN-station二值图通过将LN-station外的体素设置为-1024的恒定值来“掩码”CT图像。分别配置L=2、4和3的局域-全局变压器块,将掩码引导的边际损失中的阈值τ设置为0.8,可以得到更好的验证性能。该图像检测模型可以基于PyTorch v1.12.1开发。对于图像检测模型的训练,可以采用学习率为1.6e-3,权值衰减为5e-4的AdamW优化器。规定图像检测模型训练250次后收敛。
参见下述表1,表1示出了不同图像检测模型和输入设置的在患者水平上分割数据进行五倍交叉验证的定量比较。其中,LMViT是本说明书实施例提供的图像检测模型的模型结构,LMViT+Lmask是根据本说明书实施例提供的图像检测模型的训练方法训练得到的图像检测模型。AUROC是特征曲线下的面积,R@S80是特异性率为80%的召回率,S@R80是召回率为80%的特异性,MaskLN为是否采用LN实例作为掩码进行隐式引导。
表1
可以得到,当单独使用CT图像作为输入(没有LN实例掩码)时,本说明书实施例提供的LMViT将AUROC提高到0.8214,是所有评估模型中最高的,证明了所提出的局部-全局特征融合架构的有效性。进一步将LN实例掩码作为辅助输入时,所有模型均表现出性能增益,AUROC均超过0.83。应用本说明书实施例的方案,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图16示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图16所示,该装置包括:
接收模块1602,被配置为接收图像处理任务,其中,图像处理任务携带目标待检测分区对应的多个目标图像,图像处理任务用于检测目标待检测分区内是否存在异常待检测对象;
检测模块1604,被配置为将多个目标图像输入图像处理模型,获得目标待检测分区对应的检测结果,其中,图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果。
可选地,图像处理模型包括特征提取层、特征融合层和输出层,其中,特征融合层用于融合各目标图像的局部图像特征和全局图像特征;
相应地,检测模块1604,进一步被配置为:
将多个目标图像输入特征提取层,获得各目标图像对应的图像特征信息;
将各图像特征信息输入特征融合层,获得各目标图像对应的图像融合信息;
将各图像融合信息输入输出层,获得目标待检测分区对应的检测结果。
可选地,特征提取层包括n个顺次连接的全卷积块,其中,n为大于等于2的正整数;
相应地,检测模块1604,进一步被配置为:
在多个目标图像中确定待处理目标图像;
将待处理目标图像输入至第1全卷积块,获得第1图像特征信息;
将第i-1图像特征信息输入至第i全卷积块,获得第i图像特征信息,其中,2≤i≤n;
判断i是否等于n;
若否,则将i自增1,并继续执行将第i-1图像特征信息输入至第i全卷积块,获得第i图像特征信息的操作;
若是,则将第i图像特征信息确定为待处理目标图像对应的图像特征信息。
可选地,特征融合层包括m个顺次连接的局部全局融合块,其中,m为大于等于2的正整数;
相应地,检测模块1604,进一步被配置为:
从各图像特征信息中确定目标图像特征信息;
将目标图像特征信息输入至第1局部全局融合块,获得第1图像融合信息;
将第j-1图像融合信息输入至第j局部全局融合块,获得第j图像融合信息,其中,2≤j≤m;
判断j是否等于m;
若否,则将j自增1,并继续执行将第j-1图像融合信息输入至第j局部全局融合块,获得第j图像融合信息的操作;
若是,则将第j图像融合信息确定为目标图像特征信息对应的图像融合信息。
可选地,局部全局融合块包括至少一个局部全局特征融合层,局部全局特征融合层包括局部特征提取子层和全局特征提取子层、融合层;相应地,检测模块1604包括第t局部全局特征融合层,被配置为:
获取待处理图像特征信息,其中,待处理图像特征信息包括目标图像特征信息或第t-1图像融合信息;
将待处理图像特征信息输入至局部特征提取子层,获得待处理图像特征信息对应的局部特征信息;
将待处理图像特征信息输入至全局特征提取子层,获得待处理图像特征信息对应的全局特征信息;
将局部特征信息和全局特征信息输入至融合层,获得第t局部全局特征融合层对应的图像融合信息。
可选地,局部特征提取子层包括卷积处理单元;相应地,第t局部全局特征融合层,进一步被配置为:
将待处理图像特征信息输入至局部特征提取子层,获得待处理图像特征信息对应的局部特征信息,包括:
将待处理图像特征信息输入至卷积处理单元,提取待处理图像特征信息对应的初始局部特征信息;
对初始局部特征信息进行特征映射,获得待处理图像特征信息对应的局部特征信息。
可选地,全局特征提取子层包括编解码图像处理单元;
相应地,第t局部全局特征融合层,进一步被配置为:
对待处理图像特征信息进行特征映射,获得待处理图像特征信息对应的目标待处理图像特征信息;
将目标待处理图像特征信息输入至编解码图像处理单元,获得目标待处理图像特征信息对应的全局特征信息。
可选地,第t局部全局特征融合层,进一步被配置为:
拼接局部特征信息和全局特征信息,获得初始图像融合信息;
对初始图像融合信息进行特征映射,获得第t局部全局特征融合层对应的图像融合信息。
可选地,图像处理装置还包括训练模块,被配置为:
获取训练样本对和训练样本对的引导信息,其中,训练样本对包括训练样本和样本标签,训练样本包括目标待检测分区对应的多个样本图像,样本标签用于标识目标待检测分区的样本结果;
将训练样本对和引导信息输入至初始图像处理模型,获得初始图像处理模型输出的样本预测结果,以及目标待检测分区的目标注意力信息;
根据样本预测结果和样本结果,计算得到初始图像处理模型的第一损失值;
根据目标注意力信息和引导信息,计算得到初始图像处理模型的第二损失值;
根据第一损失值和第二损失值调整初始图像处理模型的模型参数,直至达到预设停止条件,获得图像处理模型。
可选地,训练模块,进一步被配置为:
在各样本图像的目标待检测分区中确定待检测对象的位置信息;
将待检测对象的位置信息作为各样本图像对应的引导信息。
可选地,图像处理模型包括特征提取层、特征融合层和输出层;
相应地,训练模块,进一步被配置为:
拼接训练样本和引导信息,获得目标拼接信息;
将目标拼接信息输入特征提取层,获得特征提取层输出的特征提取信息;
将特征提取信息输入特征融合层,获得特征融合层输出的特征融合信息和至少一个注意力特征图;
将特征融合信息输入输出层,获得目标待检测分区对应的样本预测结果;
聚合至少一个注意力特征图,获得目标待检测分区对应的目标注意力信息。
本说明书一个实施例提供的图像处理装置,通过将目标待检测分区对应的多个目标图像携带在图像处理任务中,将多个目标图像输入图像处理模型中,能够获得图像处理模型输出的目标待检测分区对应的检测结果,从而能够实现对目标待检测分区内是否存在异常待检测对象的自动检测,并且图像处理模型基于各目标图像的局部图像特征和全局图像特征确定检测结果,能够提高针对待检测对象的检测结果准确性和检测效率。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
图17示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1700的部件包括但不限于存储器1710和处理器1720。处理器1720与存储器1710通过总线1730相连接,数据库1750用于保存数据。
计算设备1700还包括接入设备1740,接入设备1740使得计算设备1700能够经由一个或多个网络1760通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Card))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX,World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,计算设备1700的上述部件以及图17中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图17所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备1700还可以是移动式或静止式的服务器。
其中,处理器1720用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
需要说明的是,本申请实施例中可能会涉及到对用户数据的使用,在实际应用中,可以在符合所在国的适用法律法规要求的情况下(例如,用户明确同意,对用户切实通知,等),在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种图像处理方法,包括:
接收图像处理任务,其中,所述图像处理任务携带目标待检测分区对应的多个目标图像,所述图像处理任务用于检测所述目标待检测分区内是否存在异常待检测对象;
将所述多个目标图像输入图像处理模型,获得所述目标待检测分区对应的检测结果,其中,所述图像处理模型基于各目标图像的局部图像特征和全局图像特征确定所述检测结果。
2.根据权利要求1所述的方法,所述图像处理模型包括特征提取层、特征融合层和输出层,其中,所述特征融合层用于融合各目标图像的局部图像特征和全局图像特征;
所述将所述多个目标图像输入图像处理模型,获得所述目标待检测分区对应的检测结果,包括:
将所述多个目标图像输入所述特征提取层,获得各目标图像对应的图像特征信息;
将各图像特征信息输入所述特征融合层,获得各目标图像对应的图像融合信息;
将各图像融合信息输入所述输出层,获得所述目标待检测分区对应的检测结果。
3.根据权利要求2所述的方法,所述特征提取层包括n个顺次连接的全卷积块,其中,n为大于等于2的正整数;
所述将所述多个目标图像输入所述特征提取层,获得各目标图像对应的图像特征信息,包括:
在所述多个目标图像中确定待处理目标图像;
将所述待处理目标图像输入至第1全卷积块,获得第1图像特征信息;
将第i-1图像特征信息输入至第i全卷积块,获得第i图像特征信息,其中,2≤i≤n;
判断i是否等于n;
若否,则将i自增1,并继续执行将第i-1图像特征信息输入至第i全卷积块,获得第i图像特征信息的操作;
若是,则将第i图像特征信息确定为所述待处理目标图像对应的图像特征信息。
4.根据权利要求2所述的方法,所述特征融合层包括m个顺次连接的局部全局融合块,其中,m为大于等于2的正整数;
所述将各图像特征信息输入所述特征融合层,获得各目标图像对应的图像融合信息,包括:
从各图像特征信息中确定目标图像特征信息;
将所述目标图像特征信息输入至第1局部全局融合块,获得第1图像融合信息;
将第j-1图像融合信息输入至第j局部全局融合块,获得第j图像融合信息,其中,2≤j≤m;
判断j是否等于m;
若否,则将j自增1,并继续执行将第j-1图像融合信息输入至第j局部全局融合块,获得第j图像融合信息的操作;
若是,则将第j图像融合信息确定为所述目标图像特征信息对应的图像融合信息。
5.根据权利要求4所述的方法,局部全局融合块包括至少一个局部全局特征融合层,局部全局特征融合层包括局部特征提取子层和全局特征提取子层、融合层;
对于第t局部全局特征融合层,所述方法包括:
获取待处理图像特征信息,其中,所述待处理图像特征信息包括目标图像特征信息或第t-1图像融合信息;
将所述待处理图像特征信息输入至所述局部特征提取子层,获得所述待处理图像特征信息对应的局部特征信息;
将所述待处理图像特征信息输入至所述全局特征提取子层,获得所述待处理图像特征信息对应的全局特征信息;
将所述局部特征信息和所述全局特征信息输入至所述融合层,获得所述第t局部全局特征融合层对应的图像融合信息。
6.根据权利要求5所述的方法,所述局部特征提取子层包括卷积处理单元;
所述将所述待处理图像特征信息输入至所述局部特征提取子层,获得所述待处理图像特征信息对应的局部特征信息,包括:
将所述待处理图像特征信息输入至所述卷积处理单元,提取所述待处理图像特征信息对应的初始局部特征信息;
对所述初始局部特征信息进行特征映射,获得所述待处理图像特征信息对应的局部特征信息。
7.根据权利要求5所述的方法,所述全局特征提取子层包括编解码图像处理单元;
所述将所述待处理图像特征信息输入至所述全局特征提取子层,获得所述待处理图像特征信息对应的全局特征信息,包括:
对所述待处理图像特征信息进行特征映射,获得所述待处理图像特征信息对应的目标待处理图像特征信息;
将所述目标待处理图像特征信息输入至所述编解码图像处理单元,获得所述目标待处理图像特征信息对应的全局特征信息。
8.根据权利要求1所述的方法,所述图像处理模型通过下述步骤训练获得:
获取训练样本对和所述训练样本对的引导信息,其中,所述训练样本对包括训练样本和样本标签,所述训练样本包括目标待检测分区对应的多个样本图像,所述样本标签用于标识所述目标待检测分区的样本结果;
将所述训练样本对和所述引导信息输入至初始图像处理模型,获得所述初始图像处理模型输出的样本预测结果,以及所述目标待检测分区的目标注意力信息;
根据所述样本预测结果和所述样本结果,计算得到所述初始图像处理模型的第一损失值;
根据所述目标注意力信息和所述引导信息,计算得到所述初始图像处理模型的第二损失值;
根据所述第一损失值和所述第二损失值调整所述初始图像处理模型的模型参数,直至达到预设停止条件,获得图像处理模型。
9.根据权利要求8所述的方法,所述图像处理模型包括特征提取层、特征融合层和输出层;
将所述训练样本对和所述引导信息输入至初始图像处理模型,获得所述初始图像处理模型输出的样本预测结果,以及所述目标待检测分区的目标注意力信息,包括:
拼接所述训练样本和所述引导信息,获得目标拼接信息;
将所述目标拼接信息输入所述特征提取层,获得所述特征提取层输出的特征提取信息;
将所述特征提取信息输入所述特征融合层,获得所述特征融合层输出的特征融合信息和至少一个注意力特征图;
将所述特征融合信息输入所述输出层,获得目标待检测分区对应的样本预测结果;
聚合所述至少一个注意力特征图,获得所述目标待检测分区对应的目标注意力信息。
10.一种CT图像处理方法,包括:
接收CT图像处理任务,其中,所述CT图像处理任务携带目标待检测分区对应的多个CT图像,所述CT图像处理任务用于检测所述目标待检测分区内是否存在异常待检测细胞;
将所述多个CT图像输入CT图像处理模型,获得所述目标待检测分区对应的检测结果,其中,所述CT图像处理模型基于各CT图像的局部图像特征和全局图像特征确定所述检测结果。
11.一种图像处理模型的训练方法,应用于云侧设备,包括:
获取训练样本对和所述训练样本对的引导信息,其中,所述训练样本对包括训练样本和样本标签,所述训练样本包括目标待检测分区对应的多个样本图像,所述样本标签用于标识所述目标待检测分区的样本结果;
将所述训练样本对和所述引导信息输入至初始图像处理模型,获得所述初始图像处理模型输出的样本预测结果,以及所述目标待检测分区的目标注意力信息;
根据所述样本预测结果和所述样本结果,计算得到所述初始图像处理模型的第一损失值;
根据所述目标注意力信息和所述引导信息,计算得到所述初始图像处理模型的第二损失值;
根据所述第一损失值和所述第二损失值调整所述初始图像处理模型的模型参数,直至达到预设停止条件,获得图像处理模型的模型参数;
向端侧设备发送所述图像处理模型的模型参数。
12.一种图像处理方法,包括:
接收用户发送的图像处理请求,其中,所述图像处理请求包括图像处理任务,所述图像处理任务携带目标待检测分区对应的多个目标图像,所述图像处理任务用于检测所述目标待检测分区内是否存在异常待检测对象;
将所述多个目标图像输入图像处理模型,获得所述目标待检测分区对应的检测结果,其中,所述图像处理模型基于各目标图像的局部图像特征和全局图像特征确定所述检测结果;
向用户发送所述目标待检测分区对应的检测结果。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310628573.8A CN116797554A (zh) | 2023-05-31 | 2023-05-31 | 图像处理方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310628573.8A CN116797554A (zh) | 2023-05-31 | 2023-05-31 | 图像处理方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116797554A true CN116797554A (zh) | 2023-09-22 |
Family
ID=88035424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310628573.8A Pending CN116797554A (zh) | 2023-05-31 | 2023-05-31 | 图像处理方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116797554A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117809121A (zh) * | 2024-02-27 | 2024-04-02 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标对象识别方法、对象识别模型训练方法、目标对象处理方法以及信息处理方法 |
CN117853490A (zh) * | 2024-03-06 | 2024-04-09 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、图像处理模型的训练方法 |
-
2023
- 2023-05-31 CN CN202310628573.8A patent/CN116797554A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117809121A (zh) * | 2024-02-27 | 2024-04-02 | 阿里巴巴达摩院(杭州)科技有限公司 | 目标对象识别方法、对象识别模型训练方法、目标对象处理方法以及信息处理方法 |
CN117853490A (zh) * | 2024-03-06 | 2024-04-09 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像处理方法、图像处理模型的训练方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cassidy et al. | Analysis of the ISIC image datasets: Usage, benchmarks and recommendations | |
Sadad et al. | Brain tumor detection and multi‐classification using advanced deep learning techniques | |
US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
Saba et al. | Cloud‐based decision support system for the detection and classification of malignant cells in breast cancer using breast cytology images | |
US11669965B2 (en) | AI-based label generating system and methods for use therewith | |
Usman et al. | Volumetric lung nodule segmentation using adaptive roi with multi-view residual learning | |
TWI755853B (zh) | 圖像處理方法、電子設備和電腦可讀儲存介質 | |
CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
CN111488921B (zh) | 一种全景数字病理图像智能分析系统及方法 | |
CN109308495B (zh) | 从患者的医学图像自动预测生理状况的装置和系统 | |
CN116797554A (zh) | 图像处理方法以及装置 | |
CN111209916A (zh) | 病灶识别方法及系统、识别设备 | |
CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
Luo et al. | A deep convolutional neural network for diabetic retinopathy detection via mining local and long‐range dependence | |
US11721023B1 (en) | Distinguishing a disease state from a non-disease state in an image | |
Santos et al. | A new approach for detecting fundus lesions using image processing and deep neural network architecture based on yolo model | |
CN115994212B (zh) | 视觉问答处理方法、视觉问答模型的训练方法及装置 | |
CN111524109A (zh) | 头部医学影像的评分方法和装置、电子设备及存储介质 | |
Benazzouz et al. | Modified U‐Net for cytological medical image segmentation | |
CN117408946A (zh) | 图像处理模型的训练方法、图像处理方法 | |
CN117408948A (zh) | 图像处理方法、图像分类分割模型的训练方法 | |
Christina Magneta et al. | Lung lobe segmentation and feature extraction-based hierarchical attention network for COVID-19 prediction from chest X-ray images | |
Tampu et al. | Diseased thyroid tissue classification in OCT images using deep learning: Towards surgical decision support | |
Yang et al. | Blood vessel segmentation of fundus images via cross-modality dictionary learning | |
CN111275558B (zh) | 用于确定保险数据的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |