发明内容
有鉴于此,本发明提供一种医学图像三维重建方法,包括:
获取医学图像;
识别所述医学图像中的各个目标器官,分别确定所述各个目标器官的目标像素值范围;
基于所述目标像素值范围对所述医学图像进行预处理,获取与所述目标器官对应的特征增强后的医学图像;
基于与所述各个目标器官对应的所述特征增强后的医学图像重建三维图像。
可选地,基于所述目标像素值范围对所述医学图像进行预处理,获取与所述目标器官对应的特征增强后的医学图像,包括:
基于所述目标器官对应的所述目标像素值范围,对所述医学图像的每个像素的像素值进行归一化处理,获取与所述目标器官对应的归一化图像。
可选地,所述基于所述目标器官对应的所述目标像素值范围,对所述医学图像的每个像素的像素值进行归一化处理,包括:
获取所述医学图像的原始像素值矩阵,其中,所述原始像素值矩阵由所述医学图像的多个像素的原始像素值组成;
获取所述目标像素值范围中的最大目标像素值及最小目标像素值;
基于所述最大目标像素值及所述最小目标像素值确定窗宽及窗位;
基于所述目标像素值范围、所述窗宽及所述窗位对所述原始像素值矩阵中的每一个所述原始像素值进行归一化处理,获取归一化像素值矩阵,所述归一化像素值矩阵由所述多个像素的归一化像素值组成。
可选地,所述基于所述最大目标像素值及所述最小目标像素值确定窗宽及窗位,包括:
基于所述最大目标像素值和所述最小目标像素值的均值确定所述窗宽;
基于所述最大目标像素值和所述最小目标像素值的差值确定所述窗位。
可选地,所述基于所述目标像素值范围、所述窗宽及所述窗位对所述原始像素值矩阵中的每一个所述原始像素值进行归一化处理,获取归一化像素值矩阵,包括;
对于每一个所述原始像素值,
基于所述窗宽及所述窗位确定原始像素值的初始归一化像素值;
判断所述初始归一化像素值是否大于所述最大目标像素值;
若所述初始归一化像素值大于所述最大目标像素值,将所述最大目标像素值作为原始像素值的归一化像素值;
若所述初始归一化像素值小于所述最大目标像素值,判断所述初始归一化像素值是否小于所述最小目标像素值;
若所述初始归一化像素值小于所述最小目标像素值,将所述最小目标像素值作为原始像素值的归一化像素值;
若所述初始归一化像素值大于所述最小目标像素值,将所述初始归一化像素值作为原始像素值的归一化像素值。
可选地,所述基于所述窗宽及所述窗位确定所述原始像素值的初始归一化像素值,包括:
通过以下公式计算所述初始归一化像素值:
其中,
为所述初始归一化像素值;
为原始像素值;
为窗宽;
为
窗位。
可选地,所述基于与所述各个目标器官对应的所述特征增强后的医学图像重建三维图像,包括:
利用机器学习模型对所述特征增强后的医学图像中的各个目标器官进行分割,得到对应的所述目标器官的掩膜图像;
基于所述掩膜图像重建三维图像。
可选地,所述机器学习模型包括U-Net卷积神经网络及EfficientNet卷积神经网络。
可选地,所述方法还包括:
获取图像操作指令;
基于所述图像操作指令对所述三维图像进行操作,获取显示图像,其中,所述操作包括显示颜色选择、旋转、缩放中的至少一种。
相应地,本发明还提供一种医学图像三维重建系统,包括:
图像获取模块,用于获取医学图像;
预处理模块,用于识别所述医学图像中的各个目标器官,分别确定所述各个目标器官的目标像素值范围,基于所述目标像素值范围对所述医学图像进行预处理,获取与所述目标器官对应的特征增强后的医学图像;
三维重建模块,用于通过机器学习模型基于与所述各个目标器官对应的所述特征增强后的医学图像重建三维图像。
根据本发明提供的医学图像三维重建方法及系统,通过识别医学图像中的各个目标器官,并基于目标器官的像素范围对医学图像进行预处理,获取与各个目标器官对应的特征增强后的医学图像,从而有针对性地增强图像的特征,减少多余的数据,减弱了其他非重建部位噪声的干扰,使机器学习模型更加容易捕获图像的特征,并且减少了三维重建过程中人为因素的影响,提高了三维重建结果的准确性及效率。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的三维重建系统100的应用场景示意图。
三维重建系统100可以通过实施本说明书中披露的方法和/或过程确定扫描对象的医学图像。
如图1所示,本说明书实施例所涉及的三维重建系统100包括处理设备110、网络120、终端130及存储设备140。
处理设备110可以用于处理来自三维重建系统100的至少一个组件或外部数据源(例如,云数据中心)的数据和/或信息。例如,处理设备110可以从扫描设备150获取扫描对象的医学图像。处理设备110可以通过网络120从终端130和/或存储设备140访问数据和/或信息。处理设备110可以直接连接终端130和/或存储设备140以访问信息和/或数据。例如,处理设备110可以对医学图像进行预处理,获取特征增强后的医学图像;并通过机器学习模型基于特征增强后的医学图像重建扫描对象的三维图像。处理设备110可以是单个服务器或服务器组。处理设备110可以是本地的、远程的。处理设备110可以在云平台上实现。关于处理设备110的更多描述可以参见图2及其相关描述,此处不再赘述。
网络120可以包括提供能够促进三维重建系统100的信息和/或数据交换的任何合适的网络。三维重建系统100的一个或多个组件(例如,处理设备110、终端130以及存储设备140)之间可以通过网络120交换信息和/或数据。网络120可以包括局域网(LAN)、广域网(WAN)、有线网络、无线网络等或其任意组合。
终端130指用户所使用的一个或多个终端设备或软件。终端130可以是移动设备、平板计算机等或其任意组合。终端130可以通过网络120与三维重建系统100中的其他组件交互。例如,终端130可以向处理设备110发送图像操作指令。终端130可以是处理设备110的一部分。
存储设备140可以用于存储数据、指令和/或任何其他信息。存储设备140可以存储从例如处理设备110、终端130等获得的数据和/或信息。例如,存储设备140可以存储扫描对象的医学图像。存储设备140可包括大容量存储器、可移除存储器等或其任意组合。
图2是根据本说明书一些实施例所示的处理设备110的示例性框图。
处理设备110可以包括图像获取模块210、预处理模块220、三维重建模块230及图像显示模块240。
图像获取模块210可以用于获取医学图像。关于医学图像的更多描述可以参见图3及其相关描述。
预处理模块220可以用于识别医学图像中的各个目标器官,分别确定各个目标器官的目标像素值范围。预处理模块220还可以用于对于每个目标器官,基于目标像素值范围对医学图像进行预处理,获取与目标器官对应的特征增强后的医学图像。关于目标像素值范围、预处理及特征增强后的医学图像的更多描述可以参见图3及其相关描述。
三维重建模块230可以用于通过机器学习模型基于与各个目标器官对应的特征增强后的医学图像重建三维图像。关于机器学习模型及三维图像的更多描述可以参见图3及其相关描述。
需要注意的是,以上对于处理设备110及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该处理设备110的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。图2中披露的图像获取模块210、预处理模块220、三维重建模块230及图像显示模块240可以是一个处理设备110中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
图3是根据本说明书一些实施例所示的三维重建方法的示例性流程图,该流程可以由三维重建系统100执行,包括下述步骤:
步骤310,获取医学图像。步骤310可以由图像获取模块210执行。
医学图像可以是计算机断层扫描设备对扫描对象(例如,人的腹部、胸部等)进行射线扫描后获取的CT图像,或者是MRI磁共振成像。
还可以基于本方法对其他扫描设备150扫描的图像进行三维重建,其中,扫描设备150可以包括但不限于计算机X线摄影仪(CR)、数字化X线摄影仪(DR)、计算机断层扫描(CT)、屏片X射线机、移动X射线设备(比如移动C臂机)、数字减影血管造影扫描仪(DSA)、直线加速器、发射型计算机断层扫描仪(ECT)、磁共振增强扫描仪(MR)等中的一种或其任意组合。
图像获取模块210可以从扫描设备150(例如,计算机断层扫描(CT)设备)获取医学图像。图像获取模块210还可以从终端130、存储设备140或外部数据源获取医学图像。
步骤320,识别医学图像中的各个目标器官,分别确定各个目标器官的目标像素值范围。步骤320可以由预处理模块220执行。
医学图像中可以包括多个目标器官,例如,扫描对象为胸部时,医学图像可以包括多个目标器官:肺、支气管、肺总血管等。
预处理模块220可以通过图像识别模型识别医学图像中的各个目标器官,其中,图像识别模型的类型可以包括但不限于深度神经网络模型、循环神经网络模型、自定义的模型等。预处理模块220还可以从终端130、存储设备140或外部数据源获取医学图像中的各个目标器官的信息。
目标像素值范围可以表征归一化图像的每个像素的像素值的范围。不同的目标器官对应的目标像素值范围不同。例如,支气管对应的目标像素值为[c1,c2](例如,[0,255]),肺总血管对应的目标像素值为[c3,c4](例如,[30,255])。预处理模块220可以从终端130、存储设备140或外部数据源获取目标器官对应的目标像素值。
步骤330,对于每个目标器官,基于目标像素值范围对医学图像进行预处理,获取与目标器官对应的特征增强后的医学图像。步骤330可以由预处理模块220执行。
预处理可以包括图像去噪、图像增强等。其中,图像去噪是指去除医学图像中的干扰信息。医学图像中的干扰信息会降低医学图像的质量。预处理模块220可以通过中值滤波器、机器学习模型等实现图像去噪。图像增强是指增加医学图像中的缺失信息。医学图像中的缺失信息会造成图像模糊。预处理模块220可以通过平滑滤波器、中值滤波器等实现图像增强。
预处理模块220对医学图像进行预处理还可以包括:对于每个目标器官,基于该目标器官对应的目标像素值范围对医学图像进行归一化处理,获取归一化图像,从而增强图像的特征,减少多余的数据,减弱了其他非重建部位噪声的干扰,使三维重建模块230更加容易捕获图像的特征。
对应于医学图像包括的x个目标器官,预处理模块220可以获取分别与x个目标器官对应的x张归一化图像。
结合图4,预处理模块220基于目标像素值范围对医学图像的像素进行归一化处理,可以包括:
获取医学图像的原始像素值矩阵,其中,原始像素值矩阵由医学图像的多个像素的原始像素值组成,原始像素值为医学图像中像素的像素值;
获取目标像素值范围中的最大目标像素值及最小目标像素值;
基于最大目标像素值及最小目标像素值确定窗宽及窗位;
基于目标像素值范围、窗宽及窗位对原始像素值矩阵中的每一个原始像素值进行归一化处理,获取归一化像素值矩阵,其中,归一化像素值矩阵由多个像素的归一化像素值组成。
医学图像可以由m*n个像素组成,其中,m可以表征医学图像中一行像素的总数,m可以表征医学图像中一列像素的总数。对应于医学图像的像素数量,原始像素值矩阵的大小为m*n。对应原始像素值矩阵,归一化像素值矩阵的大小为m*n。
预处理模块220可以基于最大目标像素值和最小目标像素值的均值确定窗宽。例
如,
,其中,
为窗宽,
为最小目标像素值,
为最小目标像素值。
预处理模块220可以基于最大目标像素值和最小目标像素值的差值确定窗位。例
如,
,其中,
为窗位,
为最小目标像素值,
为最小目标像素值。
结合图5,预处理模块220基于目标像素值范围、窗宽及窗位对原始像素值矩阵中的每一个像素值进行归一化处理,获取归一化像素值矩阵,可以包括;
对于每一个原始像素值,
基于窗宽及窗位确定像素的初始归一化像素值;
判断初始归一化像素值是否大于最大目标像素值;
若初始归一化像素值大于最大目标像素值,将最大目标像素值作为像素的归一化像素值;
若初始归一化像素值小于最大目标像素值,判断初始归一化像素值是否小于最小目标像素值;
若初始归一化像素值小于最小目标像素值,将最小目标像素值作为像素的归一化像素值;
若初始归一化像素值大于最小目标像素值,将初始归一化像素值作为像素的归一化像素值。
例如,目标像素值范围为[30,255],则目标像素值范围中的最大目标像素值为255,目标像素值范围中的最小目标像素值为0,对于像素a,获得的该像素初始的初始归一化像素值为300,像素a的初始归一化像素值大于255,则使像素a的归一化像素值设置为255;对于某一个像素b,获得的该像素初始的初始归一化像素值为230,像素b的初始归一化像素值位于[30,255]内,则使像素b的归一化像素值设置为230;对于像素c,获得的该像素初始的初始归一化像素值为10,像素b的初始归一化像素值小于30,则使像素c的归一化像素值设置为30。
预处理模块220可以通过以下公式计算初始归一化像素值;
其中,
为初始归一化像素值;
为原始像素值;
为窗宽;
为窗位。
预处理模块220可以通过预处理模型基于目标像素值范围对医学图像的像素进行归一化处理,其中,预处理模型的输入可以为医学图像的原始像素值矩阵、目标像素值范围中的最大目标像素值、目标像素值范围中的最小目标像素值,预处理模型的输出可以为归一化像素值矩阵。预处理模型可以包括但不限于深度神经网络模型、循环神经网络模型、自定义的模型等。
步骤340,通过机器学习模型基于与各个目标器官对应的特征增强后的医学图像重建三维图像。步骤340可以由三维重建模块230执行。
结合图6,在一些实施例中,三维重建模块230可以利用机器学习模型对特征增强后的医学图像中的各个目标器官进行分割,得到对应的目标器官的掩膜图像;基于掩膜图像重建三维图像。其中,机器学习模型可以包括U-Net卷积神经网络及EfficientNet卷积神经网络,EfficientNet卷积神经网络替换了U-Net卷积神经网络的下采样区,上采样区通过U-Net卷积神经网络实现。可以理解的,对应于多个目标器官,三维重建模块230可以通过多个机器学习模型分别对多个目标器官的特征增强后的医学图像进行分割,获取各个目标器官的掩膜图像。例如,多个目标器官可以包括肝脏、支气管及肺,三维重建模块230可以使用第一个机器学习模型对肝脏的特征增强后的医学图像进行分割,获取肝脏的掩膜图像;三维重建模块230可以使用第二个机器学习模型对支气管的特征增强后的医学图像进行分割,获取支气管的掩膜图像;三维重建模块230可以使用第三个机器学习模型对肺的特征增强后的医学图像进行分割,获取肺的掩膜图像。
掩膜图像是从特征增强后的医学图像(即归一化图像)中提取目标器官图像后生成的图像。机器学习模型可以对特征增强后的医学图像进行特征提取,然后对生成的特征图像进行特征选择和信息过滤,分割目标器官的图像,对目标器官的图像中的每个像素进行标注。作为举例,如图7所示目标器官为肺部,机器学习模型将肺部对应的特征增强后的医学图像(即归一化图像)中肺部区域的图像标注为黑色,将特征增强后的医学图像中其他区域的图像标注为白色,即:黑色代表肺部,白色代表空,实现语义分割,分割完成后输出肺部对应的掩膜图像。对应于归一化像素值矩阵的大小,掩膜图像可以由m*n个像素组成。
在一些实施例中,三维重建模块230可以通过三维重建模型基于多个机器学习模型分别输出的掩膜图像重建三维图像。重建层可以对多个机器学习模型分别输出的多个掩膜图像进行等值面提取、补洞、网格平滑、平移旋转等处理,生成三维图像。
生成了三维图像后,图像显示模块240可以获取图像操作指令,基于图像操作指令对三维图像进行操作,获取显示图像,其中,操作包括显示颜色选择、旋转、缩放中的至少一种。图像显示模块240可以从终端130、存储设备140或外部数据源获取图像操作指令。图像显示模块240完成图像操作指令后,可以将显示图像发送至显示装置或终端130进行显示。
根据本发明实施例提供的医学图像三维重建方法,通过识别医学图像中的各个目标器官,并基于目标器官的像素范围对医学图像进行预处理,获取与各个目标器官对应的特征增强后的医学图像,从而有针对性地增强图像的特征,减少多余的数据,减弱了其他非重建部位噪声的干扰,使机器学习模型更加容易捕获图像的特征,并且减少了三维重建过程中人为因素的影响,提高了三维重建结果的准确性及效率。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。