CN108537794B - 医学图像数据处理方法、装置和计算机可读存储介质 - Google Patents

医学图像数据处理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN108537794B
CN108537794B CN201810354344.0A CN201810354344A CN108537794B CN 108537794 B CN108537794 B CN 108537794B CN 201810354344 A CN201810354344 A CN 201810354344A CN 108537794 B CN108537794 B CN 108537794B
Authority
CN
China
Prior art keywords
contrast information
image
neural network
region
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810354344.0A
Other languages
English (en)
Other versions
CN108537794A (zh
Inventor
周鑫
宋燕丽
李强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201810354344.0A priority Critical patent/CN108537794B/zh
Publication of CN108537794A publication Critical patent/CN108537794A/zh
Application granted granted Critical
Publication of CN108537794B publication Critical patent/CN108537794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

本申请提供了一种医学图像数据处理方法,包括以下步骤:获取第一训练图像,所述第一训练图像具有第一对比度信息;获取第二训练图像的第二对比度信息,所述第二训练图像是将所述第一训练图像经过窗宽和/或窗位调节而生成;基于所述第一训练图像和所述第二对比度信息来训练第一神经网络模型,经训练的第一神经网络模型被配置为能够将待处理图像的对比度信息转换为目标图像的对比度信息。

Description

医学图像数据处理方法、装置和计算机可读存储介质
技术领域
本申请主要涉及医学图像领域,特别涉及一种医学图像数据处理方法、装置和计算机可读存储介质。
背景技术
医学图像特别是计算机断层扫描(CT,Computed Tomography)、正电子发射断层扫描(PET,Positron Emission Tomography)以及磁共振图像(MR,Magnetic Resonance)均是非常重要的医学图像,可以无创地提供患者的解剖结构图像,从而为相关疾病诊断提供有效的技术支撑。
CT、PET、MR等医疗成像设备所采集到的信息,通过图像重建算法、图像预处理等步骤后,被转换为医生可辨识的灰度图像。成像设备采集的原始信号强度值分布范围很广(如0~65535),而通常的显示器由于硬件本身的限制,能够显示的灰度值范围远小于原始强度值的数值范围,比如通常家用电脑的灰度值只有256级,医学专用显示器的灰度值可以扩展到1024或2048级,但仍然小于原始信号强度值的范围。
因此将原始信号转换为显示器显示数据时,就需要进行一个数值映射的过程,即将原本更多级(如65535级)的强度值映射到显示器支持的灰度值范围内(比如256级),这个映射的计算过程在医学上称之为窗宽(windowing width)和窗位(windowing level)映射。示例性的计算公式如下所示:
Figure BDA0001634210180000011
其中,V为某个像素的原始信号强度值,Vmax,Vmin分别表示整幅图像中V的最大和最小值,G(V)为显示器显示的灰度值,gm为显示器的最大能显示的灰度值(例如255),W为当前的窗宽,L为当前的窗位。
人体组织密度存在差异,在医学图像中信号强度值差异也较大。以CT为例,骨头的CT值在1000左右,而肺部由于空气居多,数值在-1000左右,而内脏如肝等部位的数值分布在100~300之间。而磁共振图像更有序列差异和设备成像差异,因此数值分布更不规律。上述方法中窗宽窗位W、L都是变量,因此通过选择不同的窗宽窗位组合,可以显示特定像素值,屏蔽其它范围的像素值,从而更有针对性地观察局部细节。
常规的窗宽窗位设定方式是根据医生或者其他观察者的输入来设定当前查看的医学图像的窗宽和/或窗位。随着智能算法的进步,已经提出了自动设定和/或调节医学图像的窗宽窗位的方法。
发明内容
本申请提供一种医学图像数据处理方法、装置和计算机存储介质,可以更具适应性地自动设定和/或调节窗宽窗位。
本申请的一个方面提供了一种医学图像数据处理方法,包括以下步骤:获取第一训练图像,所述第一训练图像具有第一对比度信息;获取第二训练图像的第二对比度信息,所述第二训练图像是将所述第一训练图像经过窗宽和/或窗位调节而生成;基于所述第一训练图像和所述第二对比度信息来训练第一神经网络模型,经训练的第一神经网络模型被配置为能够将待处理图像的对比度信息转换为目标图像的对比度信息。
在本申请的一实施例中,基于所述第一训练图像和所述第二对比度信息来训练第一神经网络模型的步骤包括在所述第一神经网络模型中:从所述第一训练图像提取第一对比度信息;基于所述第一对比度信息和所述第二对比度信息进行训练。
在本申请的一实施例中,基于所述第一对比度信息和所述第二对比度信息训练所述第一神经网络模型包括:从所述第一对比度信息提取第一区域对比度信息,所述第一区域对比度信息对应所述第一训练图像的第一区域;从所述第二对比度信息提取第二区域对比度信息,所述第二区域对比度信息对应所述第二训练图像的第二区域;以及基于所述第一区域对比度信息和所述第二区域对比度信息训练所述第一神经网络模型。
在本申请的一实施例中,上述方法还包括:在所述第一区域对比度信息中屏蔽背景对比度信息;以及在所述第二区域对比度信息中屏蔽背景对比度信息。
在本申请的一实施例中,基于所述第一区域对比度信息和所述第二区域对比度信息训练所述第一神经网络模型包括:初始化所述第一神经网络模型的参数值;至少基于所述第一区域对比度信息和所述第二区域对比度信息,迭代地确定与每次迭代中的第一神经网络模型的参数值相关的成本函数的值,包括基于在最近一次迭代中获得的成本函数的更新值,在每次迭代之后更新第一神经网络模型的至少一些参数值;和确定经训练的第一神经网络模型,直到满足条件。
在本申请的一实施例中,所述条件包括多次迭代间成本函数值的变化低于阈值,或者执行了阈值数量的迭代。
在本申请的一实施例中,上述方法还包括:获取针对所述第一训练图像的感兴趣区域选择;基于所述第一训练图像和感兴趣区域选择来训练第二神经网络模型,经训练的第二神经网络模型被配置为在所述目标图像中确定感兴趣区域。
在本申请的一实施例中,所述第一神经网络模型和所述第二神经网络模型属于同一神经网络模型。
在本申请的一实施例中,基于以下的至少一个来构建所述第一神经网络模型:卷积神经网络(CNN)、递归神经网络(RNN)、长短期记忆(LSTM)、或生成式对抗网络(GAN),所述卷积神经网络(CNN)包括SRCNN、DnCNN、U-net、V-net和FCN。
在本申请的一实施例中,基于如下的至少一种方式来获取第一训练图像的第一对比度信息和/或获取第二训练图像的第二对比度信息:梯度计算、二阶导数计算、确定海森矩阵计算。
在本申请的一实施例中,上述方法还包括使用经训练的第一神经网络模型将待处理图像的对比度信息转换为目标图像的对比度信息,包括:获取所述待处理图像;基于所述第一神经网络模型和所述待处理图像来确定目标图像的对比度信息;根据所述待处理图像的对比度信息和所述目标图像的对比度信息生成窗宽窗位设定值;以及根据所述窗宽窗位设定值将所述待处理图像转换为所述目标图像。
在本申请的一实施例中,上述方法还包括:确定所述第一训练图像的感兴趣区域;以及根据所述第一对比度信息、所述第二对比度信息和所述感兴趣区域来生成所述窗宽窗位设定值。
本申请的另一方面提出一种医学图像处理方法,包括以下步骤:获取待处理图像;基于第一神经网络模型和待处理图像来确定目标图像的对比度信息;根据所述待处理图像的对比度信息和所述目标图像的对比度信息生成窗宽窗位设定值;以及根据所述窗宽窗位设定值将所述待处理图像转换为所述目标图像。
在本发明的一实施例中,通过以下方式生成所述第一神经网络模型:获取第一训练图像;获取第二训练图像的对比度信息,所述第二训练图像是将所述第一训练图像经过窗宽和/或窗位调节而生成;基于所述第一训练图像和所述第二训练图像的对比度信息来训练所述第一神经网络模型。
在本发明的一实施例中,通过以下方式生成所述第一神经网络模型:获取第一训练图像;获取第二训练图像的对比度信息,所述第二训练图像是将所述第一训练图像经过窗宽和/或窗位调节而生成;基于所述第一训练图像和所述第二训练图像的对比度信息来训练所述第一神经网络模型。
在本发明的一实施例中,根据所述第一对比度信息和所述第二对比度信息生成两个或更多个窗宽窗位设定值。
在本发明的一实施例中,上述方法还包括:确定所述第一训练图像的感兴趣区域;以及根据所述第一对比度信息、所述第二对比度信息和所述感兴趣区域来生成所述窗宽窗位设定值。
在本发明的一实施例中,基于第二神经网络来确定所述第一训练图像的感兴趣区域,且通过以下方式生成所述第二神经网络模型:获取针对第一训练图像的感兴趣区域选择;基于所述第一训练图像和所述感兴趣区域选择来训练所述第二神经网络模型。
在本发明的一实施例中,基于以下的至少一个来构建所述第一神经网络模型:卷积神经网络(CNN)、或生成式对抗网络(GAN),所述卷积神经网络(CNN)包括SRCNN、DnCNN、U-net、V-net和FCN中的至少一种。
在本发明的一实施例中,基于如下的至少一种方式来获取第一训练图像的第一对比度信息和/或获取第二训练图像的第二对比度信息:梯度计算、二阶导数计算、海森矩阵计算。
本申请的另一方面提出一种医学图像处理装置,包括:存储器,用于存储可由处理器执行的指令;处理器,用于执行所述指令以实现如上所述的方法。
本申请的再一方面提出一种计算机可读存储介质,其上存储有计算机指令,其中当计算机指令被处理器执行时,执行如上所述的方法。
与现有技术相比,本申请能够根据医生在训练集图像上设定的窗宽窗位训练神经网络学习局部器官组织和合适的对比度之间的对应关系,从而对测试集图像各局部的对比度进行调整。相比其他方法,本申请基于深度学习,相比非机器学习的方法,更容易满足用户偏好;并且,本申请基于局部对比度学习,相比同样基于机器学习的方法,由于学习对象的稀疏性,其拟合的复杂度大大降低,所需特征数量因此大幅度减少,且学习阶段收敛更稳定。再者,本申请可以适用针对不同局部设置不同窗宽窗位的场景。
附图说明
图1是本申请一些实施例的计算机设备的结构示意图。
图2是根据本申请一些实施例描述的示例性的处理引擎的方框图。
图3是根据本申请一些实施例描述的示例性的神经网络确定模块的方框图。
图4是本申请一实施例的处理医学图像数据以确定第一神经网络模型的流程图。
图5是本申请另一实施例的处理医学图像数据以确定第一神经网络模型的流程图。
图6是本申请一实施例的确定第一神经网络模型的示例性过程。
图7是本申请另一实施例的确定第一神经网络模型的示例性过程。
图8是本申请一实施例的图像处理方法的流程图。
图9是本申请第一实施例的图像处理的示例性过程。
图10是本申请又一实施例的处理医学图像数据以确定第一和第二神经网络模型的流程图。
图11是本申请又一实施例的确定第一和第二神经网络模型的示例性过程。
图12是本申请另一实施例的图像处理方法的流程图。
图13是本申请另一实施例的图像处理的示例性过程。
图14是根据本申请一些实施例描述的训练神经网络模型的示例性过程的流程图。
图15是根据本申请一些实施例描述的示例性的神经网络模型的示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在计算设备和/或处理器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
应当理解的是,当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时,其可以指直接连接或耦接,或者与其它单元、模块或块通信,或者可以存在中间的单元、模块或块,除非上下文明确指明其它方式。本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,或将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
本申请描述医学图像处理方法,在此,医学图像可以包括由各种成像系统获得的投影图像数据。成像系统可为单模成像系统,例如计算机断层摄影(CT)系统、发射计算机断层摄影(ECT)、超声成像系统、X射线光学成像系统、正电子发射断层摄影(PET)系统等。成像系统也可为多模成像系统,例如计算机断层摄影-磁共振成像(CT-MRI)系统、正电子发射断层摄影-磁共振成像(PET-MRI)系统、单光子发射断层摄影-计算机断层摄影(SPECT-CT)系统、数字减影血管造影-计算机断层摄影(DSA-CT)系统等。医学图像可以包括将投影数据重建或将数据傅里叶变换后得到的重建图像。
图1是本申请一些实施例的计算机设备的结构示意图。计算机100可以被用于实现实施本申请一些实施例中披露的特定方法和装置。本实施例中的特定装置利用功能框图展示了一个包含显示模块的硬件平台。在一些实施例中,计算机100可以通过其硬件设备、软件程序、固件以及它们的组合来实现本申请一些实施例的具体实施。在一些实施例中,计算机100可以是一个通用目的的计算机,或一个有特定目的的计算机。
如图1所示,计算机100可以包括内部通信总线101、处理器(processor)102、只读存储器(ROM)103、随机存取存储器(RAM)104、通信端口105、输入/输出组件106、硬盘107以及用户界面108。内部通信总线101可以实现计算机100组件间的数据通信。处理器102可以进行判断和发出提示。在一些实施例中,处理器102可以由一个或多个处理器组成。通信端口105可以实现计算机100与其他部件(图中未示出)例如:外接设备、图像采集设备、数据库、外部存储以及图像处理工作站等之间进行数据通信。在一些实施例中,计算机100可以通过通信端口105从网络发送和接受信息及数据。输入/输出组件106支持计算机100与其他部件之间的输入/输出数据流。用户界面108可以实现计算机100和用户之间的交互和信息交换。计算机100还可以包括不同形式的程序储存单元以及数据储存单元,例如硬盘107,只读存储器(ROM)103和随机存取存储器(RAM)104,能够存储计算机处理和/或通信使用的各种数据文件,以及处理器102所执行的可能的程序指令。
作为举例,输入/输出组件106可以包括以下的组件的一种或多种:鼠标、轨迹球、键盘、触控组件、声音接收器等。
本申请中的处理器102可设置为处理引擎。图2是根据本申请一些实施例的处理引擎的方框图。处理引擎200可包括获取模块210、控制模块220、神经网络确定模块230、图像数据处理模块240和存储模块250。处理引擎200可被实施于各种部件上(例如图1所示的计算机100的处理器102)。
获取模块210可接收图像数据。获取模块210可从成像系统或者存储装置(例如硬盘107、ROM 103或者RAM 104)获取图像数据。图像数据可包括投影数据、重建图像等。在一些实施例中,获取模块210可将获取的图像数据发送到处理引擎200的其它模块或单元以用于进一步处理。例如,获取的图像数据可发送到存储模块250存储。作为另一个示例,获取模块210可发送图像数据(例如投影数据)到图像数据处理模块240以重建图像。
控制模块220可通过例如产生一个或多个控制参数,来控制获取模块210、神经网络确定模块230、图像处理模块240和/或存储模块250的操作。例如,控制模块220可控制获取模块210获取图像数据。作为另一个示例,控制模块220可控制图像数据处理模块240处理由获取模块410获取的图像数据。作为又一个示例,控制模块220可控制神经网络确定模块230来训练神经网络模型。在一些实施例中,控制模块220可接收实时命令或取回由例如用户(例如医生)或计算机100提供的预定命令,以控制获取模块210、神经网络确定模块230和/或图像数据处理模块240的一个或多个操作。例如,控制模块220能根据实时指令和/或预定指令调节图像数据处理模块240以生成对象图像。在一些实施例中,控制模块220可与处理引擎200的一个或多个其它模块通信以交换信息和/或数据。
神经网络确定模块230可确定一个或多个神经网络模型。例如,神经网络确定模块230可确定第一神经网络模型,第一神经网络模型被配置为被配置为将进行图像的对比度信息的转换。作为另一个示例,神经网络确定模块230可确定第二神经网络模型,第二神经网络模型被配置为在图像中确定感兴趣区域(Region of Interest,ROI)。在一些实施例中,神经网络确定模块230可将确定的神经网络模型发送到一个或多个其他模块用于进一步的处理或应用。例如,神经网络确定模块230可向存储模块250发送神经网络模型用于存储。作为另一个示例,神经网络确定模块230可将神经网络模型发送到图像数据处理模块240用于图像处理。
图像数据处理模块240可处理由处理引擎200的各个模块提供的信息。图像数据处理模块240可处理由获取模块210获取的图像数据,从存储模块250取回的图像数据等。在一些实施例中,图像数据处理模块240可根据重建技术基于图像数据来重建图像,生成包括一个或多个图像和/或其他相关信息的报告,和/或执行根据本公开的各种实施例的任何其它用于图像重建的功能。
存储模块250可存储图像数据、模型、控制参数、经处理的图像数据或其组合。在一些实施例中,存储模块250可存储可由处理引擎200的处理器执行的一个或多个程序和/或指令,以执行在本申请中描述的示例性方法。例如,存储模块250可存储由处理引擎200的处理器执行的程序和/或指令以获取图像数据、基于图像数据重建图像、训练神经网络模型和/或显示任何中间结果或结果图像。
在一些实施例中,神经网络确定模块230可独立于处理引擎200设置。由另一设备确定的一个或多个神经网络模型可存储在计算机100中(例如,硬盘107、ROM 103或者RAM104等)或者在外部设备上,该外部设备可通过处理引擎200经由例如网络存取。在一些实施例中,这种设备可包括与神经网络确定模块230相同或相似的部分。在一些实施例中,神经网络确定模块230可存储一个或多个神经网络模型,该神经网络模型由另外的设备确定,并且可被计算机100的一个或多个部件(例如处理器102等)访问。在一些实施例中,本申请中可应用的神经网络模型可由计算机100(或包括例如处理引擎200的一部分)或可由计算机100访问的外部设备(或包括例如处理引擎200的一部分)确定。例如,参见图4-7、图10-11、图14-15及其描述。
图3是根据本公开的一些实施例描述的示例性的神经网络确定模块230的框图。如图所示,神经网络确定模块230可包括图像重建单元320,神经网络训练单元340和存储单元360。神经网络确定模块230可在各种组件(例如,如图1所示的计算机的处理器102)上实施。
图像重建单元320可基于一个或多个重建技术来重建一个或多个图像。在一些实施例中,图像重建单元320可将重建的图像发送到神经网络确定模块330的其他单元或块,用于进一步处理。例如,图像重建单元320可以将重建的图像发送到神经网络训练单元340,以训练神经网络模型。作为另一示例,图像重建单元320可以将重建的图像发送到存储单元360以进行存储。
神经网络训练单元340可训练神经网络模型。在一些实施例中,神经网络训练单元340可训练第一神经网络模型,第一神经网络模型被配置为转换图像的对比度信息。可以使用多个第一对比度信息的图像和该多个图像经窗宽窗位调节后形成的第二对比度信息的图像来获得这样的神经网络模型。在一些实施例中,神经网络训练单元340可训练第二神经网络模型,第二神经网络模型配置为确定图像中的感兴趣区域。可以使用一些图像和针对这些图像的感兴趣区域选框来获得这样的神经网络模型。
在一些实施例中,神经网络训练单元340还可包括初始化块342、提取块344、计算块346和判断块348。初始化块342可初始化神经网络模型。例如,初始化块342可构建初始神经网络模型。作为另一示例,初始化块342可初始化初始神经网络模型的一个或多个参数值。提取块344可以从一个或多个训练图像(例如,第一对比度信息的图像和第二对比度信息的图像)中提取信息。例如,提取块344可以从这些训练图像中提取关于一个或多个区域的特征。计算块346可以在例如训练神经网络模型的过程中执行计算功能。例如,计算块346可以计算在迭代训练过程中更新的神经网络模型的一个或多个参数值。判断块348可以在例如训练神经网络模型的过程中执行判断功能。例如,判断框348可以确定在神经网络模型的训练过程中条件是否满足。
存储单元360可以存储关于例如训练神经网络模型的信息。在一些实施例中,与训练神经网络模型有关的信息可以包括用于训练神经网络模型的图像,用于训练神经网络模型的算法,神经网络模型的参数等。例如,存储单元360可以根据一定的标准来存储训练图像(例如第一对比度信息的图像和第二对比度信息的图像)。可以基于训练图像的维度将训练图像存储或上传到存储单元360中。为了说明的目的,二维(2D)图像或三维(3D)图像可以被存储为包括多个元素(例如,像素或体素)的2D或3D矩阵。2D矩阵的元素以每行元素被顺序地存储在存储单元360中的方式被布置在存储单元360中,每行元素与2D图像的长度相对应,因此相同行中的元素在存储单元360中彼此相邻。3D矩阵的元素以构成3D矩阵的多个2D矩阵顺序地存储在存储单元360中的方式布置在存储单元360中,然后每个2D矩阵的行和/或列顺序地存储在存储单元360中。存储单元360可以是存储要由诸如CPU、GPU等处理设备处理的数据的存储器。在一些实施例中,存储单元360可以是由一个或多个GPU访问的存储器,或者是只由特定GPU访问的存储器。
应当注意的是,对神经网络确定模块230的以上描述仅仅是为了说明的目的而提供的,而并非旨在限定本公开的范围。对于本领域普通技术人员而言,可在本公开的教导下做出多种变形或修改。这些变形和修改并不背离本公开的范围。
图4是本申请一实施例的处理医学图像数据以确定第一神经网络模型的流程图。本实施例医学图像数据处理方法的一个或多个处理操作可在图1所示的计算机100上实施。例如,这一流程可以以指令的形式存储在硬盘107中,并由处理器102(例如,如图2所示的处理引擎200)调用和/或执行。
在步骤401中,可以获取第一训练图像的第一对比度信息。步骤401可由获取模块210和图像数据处理模块240执行。如本文所使用的,第一训练图像是具有第一对比度信息的图像数据(例如投影数据、图像等)。在一些实施例中,第一训练图像可以包括二维(2D)图像数据,三维(3D)图像数据,四维(4D)图像数据或其他维度的图像数据。在一些实施例中,第一训练图像可以从硬盘130、终端140、存储模块450和/或任何其它外部存储设备获取。在一些实施例中,从第一训练图像中获取第一对比度信息的方式可以包括梯度计算、二阶导数计算、海森矩阵计算等。
在步骤402中,获取第二训练图像的第二对比度信息。步骤402可由获取模块210和图像数据处理模块240执行。如本文所使用的,第二训练图像是将第一训练图像经过窗宽和/或窗位调节而生成。例如,如图1所示,计算机100可从用户界面108接收用户(例如医生)对第一训练图像的窗宽和/或窗位调节,在处理器102中将第一训练图像转换为第二训练图像。第二训练图像可从例如图像数据处理模块240获取,也可从保存了先前处理的图像数据的存储模块450获取。在一些实施例中,从第二训练图像中获取第二对比度信息的方式可以包括梯度计算、二阶导数计算、海森矩阵计算等。
在步骤403中,基于第一对比度信息和第二对比度信息来训练第一神经网络模型。在一些实施例中,步骤403可以由神经网络训练单元460执行。在一些实施例中,经训练的第一神经网络模型被配置为转换图像的对比度信息,以优化图像的局部区域的对比度。由于神经网络本身的感知野就是天然分区域的,因此用户(例如医生)通过窗宽和/或窗位调节而对第一训练图像的局部区域的对比度信息的改变,将通过训练而被第一神经网络模型学习。经过学习后第一神经网络模型将能对图像进行局部对比度优化,从而图像至少在局部区域将更适合用户(例如医生)观察。在一些实施例中,可以通过基于神经网络训练算法、第一训练图像的第一对比度信息和将第一训练图像经窗宽和/或窗位调节后的第二训练图像的第二对比度信息训练一神经网络模型来确定第一神经网络模型。示例性的神经网络训练的算法可以包括回归(regression)网络结构,该回归网络结构可以为生成式对抗网络GAN,具体到网络结构可以用超分辨率卷积神经网络(Super-Resolution ConvolutionalNeural Network,SRCNN)、去噪卷积网络(denoising convolutional neural network,DncnN)、U-net(user-level network
architecture)、V-net(versatile network architecture)或FCN(FullyConvolutional Network)等中的一种或多种的组合。
在一些实施例中,可以针对多组训练数据重复图4所示流程以改善或优化第一神经网络模型,多组训练数据包括不同组对应的第一灰度信息和第二灰度信息。
在替代的实施例中,在步骤401中可以仅获取具有第一对比度信息的第一训练图像,相应地在步骤403中可以基于第一训练图像和第二对比度信息来训练第一神经网络模型。在第一神经网络模型中可以从第一训练图像中提取第一对比度信息,进而基于第一对比度信息和第二对比度信息进行训练。经训练的第一神经网络模型被配置为转换图像的对比度信息,以优化图像的局部区域的对比度。可选地,第一训练图像的第一对比度信息可以是第一训练图像所包含像素的梯度信息或者第一训练图像的局部纹理信息,在此实施例中,局部纹理信息可指局部纹理信息的对比度。对应地,第二训练图像的第二对比度信息可以是第二训练图像所包含像素的梯度信息或者第二图像局部纹理信息。
在本申请的实施例中,窗宽(windowing)就是指用韩森费尔德单位(HounsfieldUnit,简称HU)所得的数据来计算出影像的过程,即:窗宽可表示所显示信号强度值的范围。以CT图像为例说明,由于不同组织的CT值不同,不同的放射强度(Raiodensity)对应到256种不同程度的灰阶值,这些不同的灰阶值可以依CT值的不同范围来重新定义衰减值。窗位是指窗宽上下限的平均数,是窗的中心位置。通常情况下,在固定窗宽时,窗位的变化也会影响图像CT值的变化范围,类似于坐标原点,表示CT值浮动的中心值。因此,观察某组织的结构或者病变时,优选以它的CT值作为其窗位。需要说明的是,同样的窗宽,在窗位不同的情况下,其所包含的CT值范围的CT值也有差异。
临床验证结果时会发现,窗宽窗位的选取与用户(例如医生)关注的局部之间的关联更紧密。许多整体灰度分布相同或相近的图像,当医生关注的图像局部不同,其期望的窗宽窗位也不相同。另一方面,不同医生有时个人喜好不同,期望得到的窗宽窗位也不相同。本实施例的方法基于局部对比度学习,建立了局部区域与窗宽窗位的选取之间的关系。本实施例的一个优势是能够根据医生在训练集图像上设定的窗宽窗位训练神经网络学习局部器官组织和合适的对比度之间的对应关系,从而对测试集图像各局部的对比度进行调整。综合各局部结果,可以推测出最优的全图窗宽窗位。本实施例的另一个优势是将窗宽窗位与图像局部纹理结合起来,能够胜任一些特定的以局部信息确定全图窗宽窗位的任务(例如一个图像有两个窗宽窗位)。
图5是本申请另一实施例的处理医学图像数据以确定第一神经网络模型的流程图。参考图5所示,本实施例的流程与前一实施例相比,步骤501和步骤502可类似于步骤401和步骤402。步骤503起不同于前一实施例。
在步骤503,从第一对比度信息提取第一区域对比度信息。在此,第一区域对比度信息对应第一训练图像的第一区域。因此多个第一区域对比度信息可对应第一训练图像的多个第一区域。
在步骤504,从第二对比度信息提取第二区域对比度信息。在此,第二区域对比度信息对应第二训练图像的第二区域。因此多个第二区域对比度信息可对应第二训练图像的多个第二区域。
在步骤505,基于第一区域对比度信息和第二区域对比度信息训练第一神经网络模型。
在本实施例中,将第一训练图像分为多个第一区域,相应地将第二训练图像分为多个第二区域。使用相同位置的第一区域和第二区域中的对比度信息训练第一神经网络模型。第一区域和第二区域的尺寸可以是相同的。因此,本实施例更容易用批量训练的方法训练。
在一实施例中,在步骤503中还可以在第一区域对比度信息中屏蔽背景对比度信息,且在步骤504中还在第二区域对比度信息中屏蔽背景对比度信息。这样,在训练第一神经网络模型时可以忽略背景。
图6是本申请一实施例的确定第一神经网络模型的示例性过程。这一过程为图4所示流程的示例性过程。参考图6,从第一训练图像601中获取第一对比度信息的方式例如是求梯度。举例来说,可以对第一训练图像601在二维平面的两个正交方向分别求梯度,得到梯度Gx和Gy。然后将梯度成对输入第一神经网络603中。类似地,从第二训练图像602中获取第二对比度信息的方式例如是求梯度。举例来说,可以对第二训练图像602在二维平面的两个正交方向分别求梯度,得到梯度Gx’和Gy’。然后将梯度成对输入第一神经网络603中。在此,第二训练图像602可以是第一训练图像601经窗宽和/或窗位调节而得到。
图7是本申请另一实施例的确定第一神经网络模型的示例性过程。这一过程为图5所示流程的示例性过程。参考图7,与图6的示例性过程相比,本示例是将灰度信息分成许多区域。然后将各个区域的梯度成对输入第一神经网络603中。在此,第二训练图像602可以是第一训练图像601经医生手动窗宽和/或窗位调节而得到。
图8是本申请一实施例的图像处理方法的流程图。在一些实施例中,图8所示的流程的一个或多个处理操作可在图1所示的计算机100上实施。例如,流程可以以指令的形式存储在硬盘107中,并由处理器102(例如,如图2所示的处理引擎200)调用和/或执行。
在步骤801,可获取待处理图像的对比度信息。步骤801可由获取模块210和图像数据处理模块240执行。如本文所使用的,待处理图像是具有第一对比度信息的图像数据(例如投影数据、图像等)。在一些实施例中,待处理图像可以包括二维(2D)图像数据,三维(3D)图像数据,四维(4D)图像数据或其他维度的图像数据。在一些实施例中,待处理图像可以从硬盘130、终端140、存储模块450和/或任何其它外部存储设备获取。在一些实施例中,从待处理图像中获取对比度信息的方式可以包括梯度计算、二阶导数计算、海森矩阵计算等。
在步骤802,基于第一神经网络模型和待处理图像的对比度信息来确定目标图像的对比度信息。步骤802可由神经网络确定模块230执行。在一些实施例中,第一神经网络模型可以是预定义的(例如由成像系统的制造商、专门从事图像处理的实体、访问训练数据的实体等提供)。在一些实施例中,第一神经网络模型可以被配置为处理图像数据(例如在801中获得的第一对比度信息)。示例性的图像数据处理可以包括变换,修改和/或转换等。例如,第一神经网络模型可以被配置为将第一对比度信息转换成第二对比度信息。在一些实施例中,第一神经网络模型可以基于卷积神经网络(CNN)、生成式对抗网络(GAN)、或类似物,或其组合构建。卷积神经网络(CNN)的示例可包括SRCNN(Super-ResolutionConvolutional Neural Network,超分辨率卷积神经网络)、DnCNN(DenoisingConvolutional Neural Network,去噪卷积神经网络)、U-net、V-net和FCN(FullyConvolutional Network,全卷积神经网络)。例如,参见图15及其描述。在一些实施例中,第一神经网络模型可以被配置为二维(2D)模型,三维(3D)模型,四维(4D)模型或任何其他维度的模型。在一些实施例中,可以根据图4或图6所示的流程来确定第一神经网络模型。
在步骤803,根据待处理图像的对比度信息和目标图像的对比度信息生成窗宽窗位设定值。步骤803可由图像数据处理模块240执行。在此,待处理图像的对比度信息和目标图像的对比度信息的差异体现了将图像从待处理图像的对比度转换为目标图像的对比度而需要的窗宽窗位设定值。因此,可以通过待处理图像的对比度信息和目标图像的对比度信息来反推窗宽窗位设定值。每个像素上都可以反推一个窗宽窗位设定值。图像整体的窗宽窗位设定值可以通过对每个像素的窗宽窗位设定值赋予权重,进行加权运算而得到。可以理解,那些由第一神经网络模型确定的目标图像的对比度信息,与待处理图像的对比度信息的差异越大,则权重越大。因此,对比度转换将能进行局部对比度优化。
步骤804,根据窗宽窗位设定值将待图像图像转换为目标图像。在此步骤中,可以根据得到的整体窗宽窗位设定值,将待处理图像转换为目标图像。在此,目标图像可作为局部对比度优化后的图像,向用户(例如医生)呈现。
在替代实施例中,在步骤801中可以仅获取具有对比度信息的待处理图像;相应地在步骤802可以基于第一神经网络模型和待处理图像本身来确定目标图像的对比度信息;在步骤803中可以基于待处理图像本身、目标图像的对比度信息来生成窗宽窗位设定值。在第一神经网络模型中可以从待处理图像中提取待处理图像的对比度信息,进而基于待处理图像的对比度信息来确定目标图像的对比度信息。步骤803既可以由第一神经网络模型执行,也可以不由第一神经网络模型来执行。
图9是本申请第一实施例的图像处理的示例性过程。参考图9所示,这一过程为图8所示流程的示例性过程。参考图9,从待处理图像901中获取第一对比度信息的方式例如是求梯度。举例来说,可以对待处理图像901在二维平面的两个正交方向分别求梯度,得到梯度Gx和Gy。然后将梯度成对输入第一神经网络603中。第一神经网络603可以根据梯度信息Gx和Gy确定梯度信息Gx’和Gy’。然后,可以根据梯度信息Gx和Gy确定梯度信息Gx’和Gy’确定G’/G比例图902。G’/G比例图902是两个梯度信息的幅值比。幅值G是Gx的平方与Gy的平方之和的平方根,幅值G’类似。
图10是本申请又一实施例的处理医学图像数据以确定第一和第二神经网络模型的流程图。参考图10所示,在本实施例中,步骤1001-1003与图4所示实施例相同,而相比图4所示实施例增加了步骤1004-1005。本实施例可以学习用户(例如医生)对图像的感兴趣区域的选择,从而可以更加精准地针对用户所关心的区域进行优化。在步骤1004,可以获取针对第一训练图像的感兴趣区域(ROI)选择。在步骤1005,基于第一训练图像和感兴趣区域选择来训练第二神经网络模型。经训练的第二神经网络模型被配置为在图像中确定感兴趣区域。
图11是本申请又一实施例的确定第一和第二神经网络模型的示例性过程。参考图11,从第一训练图像601中获取第一对比度信息的方式例如是求梯度。举例来说,可以对第一训练图像601在二维平面的两个正交方向分别求梯度,得到梯度Gx和Gy。然后将梯度成对输入第一神经网络603中。类似地,从第一训练图像601中获取第一对比度信息的方式例如是求梯度。举例来说,可以对第二训练图像602在二维平面的两个正交方向分别求梯度,得到梯度Gx’和Gy’。然后将梯度成对输入第一神经网络模型603中。在此,第二训练图像602可以是第一训练图像601经窗宽和/或窗位调节而得到。另一方面,可以获取ROI选框1101,从而训练第二神经网络模型1102。
图12是本申请另一实施例的图像处理方法的流程图。参考图12所示,步骤1201-1203与图8所示的步骤801-803类似。步骤1204-1205不同于图8所示实施例。在步骤1204中,基于第二神经网络模型和待处理图像来确定感兴趣区域。在步骤1205,根据第一对比度信息、第二对比度信息和感兴趣区域来生成窗宽窗位设定值。步骤1205举例来说,可以赋予感兴趣区域中的像素对应窗宽窗位设定值更高的权重。甚至,可以将感兴趣区域以外的像素对应窗宽窗位设定值的权重设置为零,从而只考虑感兴趣区域的宽窗位设定值。
在步骤1204中,第二神经网络模型可以是一个目标检测网络。在替代实施例中,步骤1204可以不使用神经网络模型,而是通过自动检测来确定感兴趣区域。或者,通过接收医生的手动选择来确定感兴趣区域。
图13是本申请另一实施例的图像处理的示例性过程。这一过程为图13所示流程的示例性过程。参考图13,从待处理图像1301中获取对比度信息的方式例如是求梯度。举例来说,可以对待处理图像1301在二维平面的两个正交方向分别求梯度,得到梯度Gx和Gy。然后将梯度成对输入第一神经网络603中。第一神经网络603可以根据梯度信息Gx和Gy确定梯度信息Gx’和Gy’。然后,可以根据梯度信息Gx和Gy确定梯度信息Gx’和Gy’确定G’/G比例图1302。G’/G比例图1302是两个梯度信息的幅值比。幅值G是Gx的平方与Gy的平方之和的平方根,幅值G’类似。另一方面,可以根据第二神经网络1102来得到感兴趣区域。从而,可以根据G’/G比例图1302和ROI 1303来获取窗宽窗位设定值。
在本申请的各实施例中,第一神经网络和第二神经网络可以属于同一个神经网络,从而统一进行训练。
图14是根据本申请一些实施例描述的训练神经网络模型的示例性过程的流程图。如图4所示的步骤403、图5所示的步骤505和/或如图10所示的步骤1005可以根据本示例的流程执行。在一些实施例中,用于训练神经网络模型的如图14所示的流程的一个或多个操作可以在图1所示的计算机100中实现。例如,图14所示的流程可以以指令的形式存储在硬盘107中,并由处理器102(例如,如图2所示的处理引擎200)调用和/或执行。
在步骤1401中,可以获取包括第一对比度信息和第二对比度信息的一对对比度信息。操作步骤1401可以由获取模块210执行。如本文所使用的,第一对比度信息和第二对比度信息可分别来自第一训练图像和第二训练图像。第一训练图像和第二训练图像可以指代表相同的对象或待检查的对象的相同区域(例如患者、组织等)不同对比度的两个图像。在一些实施例中,第一训练图像和第二训练图像可以分别对应于如图6所示的第一训练图像和第二训练图像。
在步骤1402中,可以初始化包括一个或多个参数的神经网络模型。操作1402可以由初始化模块342执行。在一些实施例中,神经网络模型的初始化可以包括基于如下方式构建神经网络模型:卷积神经网络(CNN)、生成对抗网络(GAN)、或类似物,或其组合,如图15及其描述。卷积神经网络(CNN)的示例可包括SRCNN(Super-Resolution ConvolutionalNeural Network,超分辨率卷积神经网络)、DnCNN(Denoising Convolutional NeuralNetwork,去噪卷积神经网络)、U-net、V-net和FCN(Fully Convolutional Network,全卷积神经网络)。在一些实施例中,神经网络模型可以包括多个层,例如输入层、多个隐藏层和输出层。多个隐藏层可以包括一个或多个卷积层、一个或多个批量归一化层、一个或多个激活层、完全连接层、成本函数层等。多个层中的每一个可以包括多个节点。
在一些实施例中,神经网络模型的参数可以包括卷积核的大小、层的数量、每层中的节点数、两个连接节点之间的连接权重、与节点相关的偏置向量等。两个连接的节点之间的连接权重可以被配置为将节点的输出值的一部分表示为另一个连接的节点的输入值。在一些实施例中,神经网络模型的连接权重可以被初始化为从-1到1的范围内的随机值。在一些实施例中,神经网络模型的所有连接的权重可以具有在-1到1的范围内的相同值,例如0。与节点相关的偏置向量可以被配置为控制偏离原点的节点的输出值。在一些实施例中,神经网络模型中的节点的偏置向量可被初始化为从0到1的范围内的随机值。在一些实施例中,神经网络模型的参数可以基于高斯随机算法、哈维(xavier)算法等来初始化。
在步骤1403中,可以从第一对比度信息中提取第一区域。步骤1403可以由提取块344执行。在一些实施例中,可以根据例如第一区域的大小、第一区域的位置等来提取第一区域。例如,第一位置可以在第一训练图像中确定,然后可以在第一训练图像的第一位置处提取具有具体尺寸的第一区域。在一些实施例中,可以基于随机抽样算法提取第一区域。示例性的随机抽样算法可以包括接受拒绝抽样算法,重要性抽样算法,梅特罗波利斯-黑斯廷(Metropolis-Hasting)算法,吉布斯抽样算法等。在一些实施例中,可以基于用户经由用户界面108提供的指令来提取第一区域。例如,用户可以确定第一训练图像中的第一位置的坐标和第一区域的具体尺寸,然后提取块344可以基于第一位置和第一区域的具体尺寸来提取第一区域。
在步骤1404中,可以从第二对比度信息中提取对应于第一区域的第二区域。步骤1404可以由提取块344执行。如本文所使用的,对应于第一区域的第二区域可以指第一区域和第二区域可以具有相同的尺寸并且各自位于第一训练图像和第二训练图像中的相同位置。在一些实施例中,可以基于第一区域提取第二区域。例如,可以根据诸如均匀分割的分割规则将第一训练图像划分为多个第一图像块。可以根据编号规则,例如多个第一图像块中的每一个的位置对多个第一图像块进行编号。可以从多个第一图像块中提取具有特定编号的第一块,并将其指定为第一区域。可以用与第一训练图像相同的划分规则将第二训练图像划分成多个第二图像块。多个第二图像块中的每一个可以以与第一训练图像相同的编号规则进行编号。可以从多个第二图像块中提取其编号与所提取的第一区域相同的第二块,并将其指定为第二区域。作为另一示例,第一/第二区域相对于第一/第二训练图像的的位置可以与第一/第二区域存储在诸如存储单元560的存储例如存储单元560中的位置有关。相对于第二训练图像的第二区域可以根据该存储中第一区域相对于第一训练图像的位置来确定。
在步骤1405中,可以确定成本函数的值(也称为损失函数)。步骤1405可以由计算块346执行。成本函数可以被配置为评估神经网络的测试值(例如第一训练图像的第一区域)与期望值(例如第二训练图像的第二区域)之间的差异。在一些实施例中,第一训练图像的第一区域可以经由输入层(例如图15所示的输入层1520)被输入到神经网络模型。第一训练图像的第一区域可以从神经网络模型的第一隐藏层(例如,如图15所示的传统层1540-1)传送到神经网络模型的最后隐藏层。可以在多个隐藏层的每一个中处理第一训练图像的第一区域。例如,输入的第一训练图像的第一区域可以由一个或多个传统层(例如,如图15所示的传统层1540-1)来处理。一个或多个常规层可以被配置为:在第一训练图像的第一区域上基于与一个或多个传统层中的节点相关的参数来执行图像变换操作、图像增强操作、图像去噪操作或任意其它操作。经成本函数层之前的多个隐藏层处理的第一训练图像的第一区域,可以输入到成本函数层。可以基于第一训练图像的第一区域和第二训练图像的第二区域来确定成本函数层的值,第一训练图像的第一区域是经成本函数层之前的数层处理。
在步骤1406,确定是否满足第一条件。操作步骤1406可以由判断块348执行。如果满足第一条件,则步骤1406可以进行到步骤1408。如果第一条件不满足,则流程可以进行到1407。第一条件可以提供神经网络模型是否充分训练的指示。在一些实施例中,第一条件可以与成本函数的值有关。例如,如果成本函数的值最小或小于阈值(例如常数),则可以满足第一条件。作为另一示例,如果成本函数的值收敛,则可以满足第一条件。在一些实施例中,如果两个或多个连续迭代中的成本函数的值的变化等于或小于阈值(例如常数),则可以认为收敛已经发生。在一些实施例中,如果成本函数的值和目标值之间的差值等于或小于阈值(例如常数),则可以认为收敛已经发生。在一些实施例中,当在训练过程中执行了指定数量的与第一训练图像的第一区域和第二训练图像的第二区域相关的迭代时,则可以满足第一条件。
在步骤1407中,可以更新神经网络模型的一个或多个参数。步骤1407可以由初始化模块342执行。在一些实施例中,可以调整至少一些节点的参数值,直到与第一训练图像的第一区域相关的成本函数的值满足第一条件。在一些实施例中,可以基于反向传播(BP)算法来调整神经网络模型的参数。示例性的反向传播(BP)算法可以包括随机梯度下降算法,Adam算法、Adagrad算法、Adadelta算法、RMSprop算法、或类似物,或其组合。
在步骤1408,确定是否满足第二条件。步骤1408可以由判断块348执行。如果满足第二条件,则流程可以进行到步骤1409。如果第二条件不满足,则流程可以返回到1402,可以从第一训练图像中提取另一个第一区域。在一些实施例中,如果与神经网络模型相关联地处理了指定数量的第一区域和第二区域,则可以满足第二条件。
在步骤1409中,确定更新的神经网络模型。步骤1409可以由初始化块342执行。在一些实施例中,可以基于经更新的参数确定更新的神经网络模型。
在一些实施例中,可以针对包括不同对第一和第二训练图像的多笔训练数据重复上述过程,以改善或优化神经网络模型。在基于不同对的第一和第二训练图像执行的不同轮次的流程中,可以基于相同或不同的重建技术获得第一训练图像。在基于不同对的第一和第二训练图像执行的不同轮次的流程中,可以基于相同或不同的重建技术获得第二训练图像。除了第一轮流程之外,在后续轮的流程中,可以基于在前一轮中获得的神经网络模型的更新参数来执行步骤1402中的神经网络模型的初始化。
应当注意,以上描述仅是为了说明的目的而提供的,而并非旨在限定本公开的范围。对于本领域普通技术人员而言,可在本公开的教导下作出多种变形或修改。然而,那些变形和修改并不背离本公开的范围。例如,可以基于多个第一训练图像和第二训练图像重复地执行上述流程,以获得第一神经网络模型和/或第二神经网络模型。可以执行训练过程直到满足终止条件。示例性的终止条件是已经分析了特定数目对的第一训练图像和第二训练图像。
图15是根据本申请一些实施例描述的示例性的神经网络模型的示意图。
CNN模型可以包括输入层1520、多个隐藏层1540和输出层1560。多个隐藏层1540可以包括一个或多个卷积层、一个或多个修正线性单元层(ReLU层)、一个或多个池化层、一个或多个完全连接层、或类似物,或其组合。
为了说明的目的,示出了CNN模型的多个示例性隐藏层1540,其包括卷积层1540-1、池化层1540-2和完全连接层1540-N。如结合图4的步骤所述,神经网络训练单元340可以获取对比度信息作为CNN模型的输入。对比度信息可以表示为包括多个元素(例如像素或体素)的二维(2D)或三维(3D)矩阵。矩阵中的多个元素中的每一个可以具有表示元素的特征的值。
卷积层1540-1可以包括多个内核(例如A,B,C和D)。可以使用该多个内核来提取对比度信息的特征。在一些实施例中,多个内核中的每一个可以对对比度信息的一部分(例如区域)进行滤波,以产生对应于对比度信息的该部分的特定特征。该特征可以包括基于内核计算的低级别特征(例如边缘特征、纹理特征),高级别特征或复杂特征。
池化层1540-2可以将卷积层1540-1的输出作为输入。池化层1540-2可以包括多个池化节点(例如E,F,G和H)。可以使用该多个池化节点对卷积层1540-1的输出进行采样,并且因此可以减少计算机100的数据处理的计算负担并且增加数据处理速度。在一些实施例中,神经网络训练单元340可以减小对应于池化层1540-2中的对比度信息的矩阵的规模。
完全连接层1540-N可以包括多个神经元(例如O,P,M和N)。该多个神经元可以连接到来自诸如池化层的先前层的多个节点。在完全连接的层1540-N中,神经网络训练单元340可以基于对比度信息的特征来确定与多个神经元相对应的多个向量,并且用多个加权系数进一步加权该多个向量。
在输出层1560中,神经网络训练单元340可以基于完全连接层1540获得的多个向量和权重系数确定输出,例如第二对比度信息。
在一些实施例中,神经网络训练单元340可以访问计算机100中的多个处理单元,例如GPU。多个处理单元可以执行CNN模型的某些层中的并行处理。可以以这样的方式执行并行处理,即可以将CNN模型的层中的不同节点的计算分配给两个或更多个处理单元。例如,一个GPU可以运行与内核A和B相对应的计算,另一个(或多个)GPU可以运行卷积层1540-1中与内核C和D相对应的计算。类似地,对应于CNN模型中其他类型层中的不同节点的计算可以由多个GPU并行执行。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述发明披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个申请实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
虽然本申请已参照当前的具体实施例来描述,但是本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本申请,在没有脱离本申请精神的情况下还可作出各种等效的变化或替换,因此,只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种医学图像数据处理方法,包括以下步骤:
获取第一训练图像,所述第一训练图像具有两个正交方向的第一对比度信息;
获取第二训练图像的所述两个正交方向的第二对比度信息,所述第二训练图像是将所述第一训练图像经过窗宽和/或窗位调节而生成;
基于所述第一训练图像和所述第二对比度信息来训练第一神经网络模型,经训练的第一神经网络模型被配置为能够将待处理图像的对比度信息转换为目标图像的对比度信息,包括:从所述第一对比度信息提取所述两个正交方向的第一区域对比度信息,所述第一区域对比度信息对应所述第一训练图像的第一区域;从所述第二对比度信息提取所述两个正交方向的第二区域对比度信息,所述第二区域对比度信息对应所述第二训练图像的第二区域;以及基于所述第一区域对比度信息和所述第二区域对比度信息训练所述第一神经网络模型;所述第一区域与所述第二区域分别对应不同的窗宽和/或窗位。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述第一区域对比度信息中屏蔽背景对比度信息;以及
在所述第二区域对比度信息中屏蔽背景对比度信息。
3.根据权利要求1所述的方法,其特征在于,基于所述第一区域对比度信息和所述第二区域对比度信息训练所述第一神经网络模型包括:
初始化所述第一神经网络模型的参数值;
至少基于所述第一区域对比度信息和所述第二区域对比度信息,迭代地确定与每次迭代中的第一神经网络模型的参数值相关的成本函数的值,包括基于在最近一次迭代中获得的成本函数的更新值,在每次迭代之后更新第一神经网络模型的至少一些参数值;和
确定经训练的第一神经网络模型,直到满足条件。
4.根据权利要求1所述的方法,其特征在于,还包括:
获取针对所述第一训练图像的感兴趣区域选择;
基于所述第一训练图像和感兴趣区域选择来训练第二神经网络模型,经训练的第二神经网络模型被配置为在所述目标图像中确定感兴趣区域。
5.根据权利要求1所述的方法,其特征在于,还包括使用经训练的第一神经网络模型将待处理图像的对比度信息转换为目标图像的对比度信息,包括:
获取所述待处理图像;
基于所述第一神经网络模型和所述待处理图像来确定目标图像的对比度信息;
根据所述待处理图像的对比度信息和所述目标图像的对比度信息生成窗宽窗位设定值;以及
根据所述窗宽窗位设定值将所述待处理图像转换为所述目标图像。
6.如权利要求5所述的方法,其特征在于,还包括:
确定所述第一训练图像的感兴趣区域;以及
根据所述第一对比度信息、所述第二对比度信息和所述感兴趣区域来生成所述窗宽窗位设定值。
7.一种医学图像处理装置,包括:
存储器,用于存储可由处理器执行的指令;
处理器,用于执行所述指令以实现以下步骤:
获取第一训练图像,所述第一训练图像具有两个正交方向的第一对比度信息;
获取第二训练图像的所述两个正交方向的第二对比度信息,所述第二训练图像是将所述第一训练图像经过窗宽和/或窗位调节而生成;
基于所述第一训练图像和所述第二对比度信息来训练第一神经网络模型,经训练的第一神经网络模型被配置为能够将待处理图像的对比度信息转换为目标图像的对比度信息,包括:从所述第一对比度信息提取所述两个正交方向的第一区域对比度信息,所述第一区域对比度信息对应所述第一训练图像的第一区域;从所述第二对比度信息提取所述两个正交方向的第二区域对比度信息,所述第二区域对比度信息对应所述第二训练图像的第二区域;以及基于所述第一区域对比度信息和所述第二区域对比度信息训练所述第一神经网络模型;所述第一区域与所述第二区域分别对应不同的窗宽和/或窗位。
8.根据权利要求7所述的装置,其特征在于,所述处理器执行所述指令时,还实现以下步骤:
在所述第一区域对比度信息中屏蔽背景对比度信息;以及
在所述第二区域对比度信息中屏蔽背景对比度信息。
9.根据权利要求7所述的装置,其特征在于,所述处理器执行基于所述第一区域对比度信息和所述第二区域对比度信息训练所述第一神经网络模型,包括:
初始化所述第一神经网络模型的参数值;
至少基于所述第一区域对比度信息和所述第二区域对比度信息,迭代地确定与每次迭代中的第一神经网络模型的参数值相关的成本函数的值,包括基于在最近一次迭代中获得的成本函数的更新值,在每次迭代之后更新第一神经网络模型的至少一些参数值;和
确定经训练的第一神经网络模型,直到满足条件。
10.一种计算机可读存储介质,其上存储有计算机指令,其中当计算机指令被处理器执行时,执行如权利要求1-6任一项所述的方法。
CN201810354344.0A 2018-04-19 2018-04-19 医学图像数据处理方法、装置和计算机可读存储介质 Active CN108537794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810354344.0A CN108537794B (zh) 2018-04-19 2018-04-19 医学图像数据处理方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810354344.0A CN108537794B (zh) 2018-04-19 2018-04-19 医学图像数据处理方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108537794A CN108537794A (zh) 2018-09-14
CN108537794B true CN108537794B (zh) 2021-09-21

Family

ID=63478473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810354344.0A Active CN108537794B (zh) 2018-04-19 2018-04-19 医学图像数据处理方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108537794B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109350100A (zh) * 2018-09-27 2019-02-19 上海联影医疗科技有限公司 医学成像方法、医学成像设备以及计算机可读存储介质
JP7081680B2 (ja) * 2018-10-03 2022-06-07 株式会社島津製作所 学習済みモデルの製造方法、輝度調整方法および画像処理装置
CN109508670B (zh) * 2018-11-12 2021-10-12 东南大学 一种基于红外摄像头的静态手势识别方法
CN111488878A (zh) * 2019-01-29 2020-08-04 镇江慧影科技发展有限公司 一种基于伪彩色ct图像的深度学习分割方法
US10817733B2 (en) * 2019-02-13 2020-10-27 Sap Se Blind spot implementation in neural networks
CN110264435B (zh) * 2019-06-12 2022-05-17 上海联影医疗科技股份有限公司 低剂量mip图像的增强方法、装置、计算机设备和存储介质
CN110428375B (zh) * 2019-07-24 2024-03-01 东软医疗系统股份有限公司 一种dr图像的处理方法及装置
CN111128345B (zh) * 2019-11-19 2024-03-22 上海联影智能医疗科技有限公司 医学图像的获取方法、医学扫描设备和计算机存储介质
CN111696164B (zh) * 2020-05-15 2023-08-25 平安科技(深圳)有限公司 自适应窗宽窗位调节方法、装置、计算机系统及存储介质
CN112241724B (zh) * 2020-10-30 2023-12-15 南京信息工程大学滨江学院 一种基于双路卷积长短期神经网络的自动识别方法及系统
US20220142614A1 (en) * 2020-11-09 2022-05-12 Siemens Medical Solutions Usa, Inc. Ultrasound-derived proxy for physical quantity
CN112560778B (zh) * 2020-12-25 2022-05-27 万里云医疗信息科技(北京)有限公司 Dr图像身体部位识别方法、装置、设备及可读存储介质
CN112767259A (zh) * 2020-12-29 2021-05-07 上海联影智能医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112819705B (zh) * 2021-01-13 2023-04-18 西安交通大学 一种基于网状结构与长距离相关性的真实图像去噪方法
CN112802032A (zh) * 2021-01-19 2021-05-14 上海商汤智能科技有限公司 图像分割网络的训练和图像处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0409206A2 (en) * 1989-07-19 1991-01-23 Kabushiki Kaisha Toshiba Digital image display apparatus
CN103310227A (zh) * 2012-03-16 2013-09-18 上海联影医疗科技有限公司 基于神经网络的自动窗宽窗位提取方法
CN104240180A (zh) * 2014-08-08 2014-12-24 沈阳东软医疗系统有限公司 一种实现图像自动调整的方法及装置
WO2017051943A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 영상 생성 방법 및 장치, 및 영상 분석 방법
CN107595312A (zh) * 2017-08-31 2018-01-19 上海联影医疗科技有限公司 模型生成方法、图像处理方法及医学成像设备
CN107610195A (zh) * 2017-07-28 2018-01-19 上海联影医疗科技有限公司 图像转换的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0409206A2 (en) * 1989-07-19 1991-01-23 Kabushiki Kaisha Toshiba Digital image display apparatus
CN103310227A (zh) * 2012-03-16 2013-09-18 上海联影医疗科技有限公司 基于神经网络的自动窗宽窗位提取方法
CN104240180A (zh) * 2014-08-08 2014-12-24 沈阳东软医疗系统有限公司 一种实现图像自动调整的方法及装置
WO2017051943A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 영상 생성 방법 및 장치, 및 영상 분석 방법
CN107610195A (zh) * 2017-07-28 2018-01-19 上海联影医疗科技有限公司 图像转换的系统和方法
CN107595312A (zh) * 2017-08-31 2018-01-19 上海联影医疗科技有限公司 模型生成方法、图像处理方法及医学成像设备

Also Published As

Publication number Publication date
CN108537794A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537794B (zh) 医学图像数据处理方法、装置和计算机可读存储介质
CN109325985B (zh) 磁共振图像重建方法、装置和计算机可读存储介质
CN112424835B (zh) 用于图像重建的系统和方法
CN109493951B (zh) 用于降低辐射剂量的系统和方法
CN109583576B (zh) 一种医学图像处理装置及方法
CN109754394B (zh) 三维医学图像处理装置及方法
US11783451B2 (en) Systems and methods for reducing colored noise in medical images using deep neural network
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
CN112368738B (zh) 用于图像优化的系统和方法
CN109598697B (zh) 二维乳腺造影数据组的确定
CN113436290A (zh) 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统
CN114863225A (zh) 图像处理模型训练方法、生成方法、装置、设备及介质
CN109685803B (zh) 一种左心室图像分割方法、装置、设备及存储介质
CN115439423B (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
Muthuswamy et al. Optimization Based Liver Contour Extraction of Abdominal CT Images.
CN111275786A (zh) 结合ML-EM与Unet算法的SPECT断层影像重建方法、装置和设备
CN107292847B (zh) 一种数据降噪方法及系统
US20220292673A1 (en) On-Site training of a machine-learning algorithm for generating synthetic imaging data
US11941732B2 (en) Multi-slice MRI data processing using deep learning techniques
CN112233126B (zh) 医学图像的加窗方法及装置
Guo et al. Thyroid nodule ultrasonic imaging segmentation based on a deep learning model and data augmentation
CN114648536A (zh) 血管壁的提取方法及装置
WO2020209826A1 (en) Deep reinforcement learning for computer assisted reading and analysis
Demin et al. Semantic segmentation of lung radiographs using U-net type neural network
CN116228915B (zh) 一种基于区域判断的图像重建方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201807 Shanghai city Jiading District Industrial Zone Jiading Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co., Ltd

Address before: 201807 Shanghai city Jiading District Industrial Zone Jiading Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant