CN109360233A - 图像融合方法、装置、设备及存储介质 - Google Patents

图像融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109360233A
CN109360233A CN201811064505.9A CN201811064505A CN109360233A CN 109360233 A CN109360233 A CN 109360233A CN 201811064505 A CN201811064505 A CN 201811064505A CN 109360233 A CN109360233 A CN 109360233A
Authority
CN
China
Prior art keywords
image
reconstruction
color value
sampled
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811064505.9A
Other languages
English (en)
Inventor
孙万明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN201811064505.9A priority Critical patent/CN109360233A/zh
Publication of CN109360233A publication Critical patent/CN109360233A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像融合方法、装置、设备及存储介质，所述方法包括：获取医疗设备对扫描对象进行扫描得到的体数据；确定重建平面的位置信息；基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多重面重建融合图像。旨在提供一种新的图像后处理技术，使得医生仅通过该种图像后处理技术绘制的图像就能完成查看病变部位的位置形态及疾病诊断等操作。

Description

图像融合方法、装置、设备及存储介质
技术领域
本申请涉及医学图像处理技术领域，特别涉及图像融合方法、装置、设备及存储介质。
背景技术
多平面重建(Multi-Planar Reformation,MPR)技术是一种根据体数据的横断面图像重建出不同方向的截面图的医疗图像的后处理技术。但是，通过MPR技术重建的图像只有二维信息，缺少三维的深度信息。
体绘制(Volume Rendering,VR)技术也是一种医疗图像的后处理技术，该技术可以将体数据以三维模型的形式进行显示，使医生方便的确定不同组织在人体中的空间位置、形态和周围组织的情况。但是，通过VR技术绘制得到的图像经过渲染处理，不一定能真实反应病变部位的真实状况。
由于上述MPR技术和VR技术各有其优缺点，所以，在目前的疾病诊断过程中，医生需要先通过VR技术绘制的图像查看病变部位的位置形态等信息，再通过MPR技术重建得到的图像进行疾病的诊断，使得医生在诊断疾病时需要在MPR技术重建得到的图像和VR技术绘制的图像之间来回转换。
发明内容
有鉴于此，本申请提出图像融合方法、装置、设备及存储介质以解决上述技术问题。
为了达到上述目的，本申请所采用的技术方案为：
本申请提供图像融合方法、装置、设备及机器可读存储介质。
根据本申请实施例的第一方面，提出了种图像融合方法，所述方法包括：
获取医疗设备对扫描对象进行扫描得到的体数据；
确定重建平面的位置信息；
基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多重面重建融合图像。
在一些例子中，所述基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多平面重建融合图像，包括：
若所述体绘制处理过程中的光线采样路径与所述重建平面存在交点，在所述光线采样路径上对所述体数据进行采样，将所述交点处对应的多重面重建颜色值及其他采样点的体绘制颜色值进行叠加处理，获得目标颜色值，所述目标颜色值为体绘制/多平面重建融合图像中所述光线采样路径对应的像素点的颜色值。
在一些例子中，在所述光线采样路径上对所述体数据进行采样，将所述交点处对应的多重面重建颜色值及其他采样点的体绘制颜色值进行叠加处理，获得目标颜色值，包括步骤：
确定新的光线采样路径；
若所述交点为新的光线采样路径的起点，在所述交点位置处，获取所述交点对应的多重面重建颜色值；
从所述交点开始沿新的光线采样路径对所述体数据采样，获取各采样点的体绘制颜色值；
按照被采样的先后顺序，将所述多重面重建颜色值及各采样点的体绘制颜色值进行叠加处理，获得目标颜色值。
在一些例子中，在所述新的光线采样路径上对所述体数据进行采样，将所述交点处对应的多重面重建颜色值及其他采样点的体绘制颜色值进行叠加处理，获得目标颜色值，包括步骤：
确定新的光线采样路径；
若所述交点为所述新的光线采样路径的终点，沿新的光线采样路径对所述体数据采样，获取各采样点的体绘制颜色值；
采样至交点位置处，获取所述交点对应的多重面重建颜色值；
按照被采样的先后顺序，将所述多重面重建颜色值及各采样点的体绘制颜色值进行叠加处理，获得目标颜色值。
在一些例子中，所述基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多平面重建融合图像，包括：
若所述体绘制处理过程中的光线采样路径与所述重建平面不存在交点，沿所述光线采样路径对所述体数据进行采样，获得各采样点的体绘制颜色值，将各采样点的体绘制颜色值进行叠加处理，获得目标颜色值，所述目标颜色值为体绘制/多平面重建融合图像中所述光线采样路径对应的像素点的颜色值。
在一些例子中，所述基于多重面重建技术进行多重面重建图像的重建时或之前，所述方法还包括：
将所述重建平面所在位置处扫描值或体数据值超过预设值的体数据删除，以去除多重面重建图像中扫描对象周围的空气。
在一些例子中，所述基于多重面重建技术进行多重面重建图像的重建之后，所述方法还包括：
对所述多重面重建图像进行图像识别，识别出所述多重面重建图像中扫描对象周围的空气区域，去除所述多重面重建图像中的所述空气区域。
在一些例子中，所述方法还包括步骤：
依据用户指令，设定所述多重面重建图像在显示时的透明度参数。
在一些例子中，所述光线投射算法中的光线采样路径的方向基于用户指令确定。
在本申请的第二方面，提供一种图像融合装置，所述装置包括：
获取模块，用于获取医疗设备对扫描对象进行扫描得到的体数据；
处理模块，用于确定重建平面的位置信息；基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处，基于多重面重建技术进行多重面重建图像的重建，得到体绘制体绘制/多重面重建融合图像。
在本申请的第三方面，提供一种图像融合设备，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上述第一方面所述方法的操作。
在本申请的第四方面，提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如上述第一方面所述方法的操作。
本申请实施例提出的图像融合方案为一种新的医疗图像后处理技术，该新的后处理技术通过在沿光线采样路径对体数据采样绘制VR图像的过程中，在指定的重建平面(截面)所在位置处，基于MPR技术进行MPR图像的重建，获得MPR/VR融合图像，使得MPR/VR融合图像中能够真实反映患者的扫描结果的MPR重建平面显示在具有三维信息的VR图像的对应的位置，将MPR平面的深度信息被直观地表达出来。使得医生通过一种图像后处理技术绘制的图像就能完成查看病变部位的位置形态及疾病诊断等操作。
附图说明
图1为示意性示出的现有技术的MPR图像示意图；
图2为示意性示出的现有技术的VR图像示意图；
图3为本申请实施例示意性示出的一种图像融合方法的部分流程图；
图4为本申请实施例示意性示出的一种光线采样路径的示意图；
图5为本申请实施例示意性示出的另一种图像融合方法的部分流程图；
图6a为本申请实施例示意性示出的一种获得目标颜色值的部分流程图；
图6b为本申请实施例示意性示出的一种MPR/VR图像的示意图；
图7a为本申请实施例示意性示出的一种获得目标颜色值的部分流程图；
图7b为本申请实施例示意性示出的另一MPR/VR图像的示意图；
图8为本申请实施例示意性示出的另一MPR/VR图像的示意图；
图9为本申请实施例示意性示出的一种图像融合装置的框图；
图10为本申请实施例示意性示出的一种图像融合设备的的逻辑框图。
具体实施方式
以下将结合附图所示的具体实施方式对本申请进行详细描述。但这些实施方式并不限制本申请，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本申请的保护范围内。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
X线计算机体层成像仪(Computed Tomography，CT)等医疗设备对扫描对象进行扫描得到的数据是以多幅断层二维图像堆叠组成的体数据。但是，通过上述体数据仅能显示横断面的断层二维图像，不便于医生对病情的诊断。为了解决上述问题，可以通过医疗图像的后处理技术对体数据进行再加工并从定性到定量对图像进行分析得到便于医生诊断的图像。所述医疗图像的后处理技术种类很多，例如包括：多平面重建(Multi-PlanarReformation,MPR)技术及体绘制(Volume Rendering,VR)技术等。但是，现有的所有的后处理技术均有其独特的优缺点，下面以所述MPR技术及VR技术为例进行介绍：
MPR技术是根据体数据的横断面图像重建出不同方向的截面图的技术。MPR技术一般将重建的平面分为：扫描对象正面朝向的冠状面、扫描对象侧面朝向的矢状面、扫描对象横断朝向的横断面和任意朝向的斜切面。参照图1，为现有技术中扫描对象为脑部的MPR冠状面示意图110、MPR矢状面示意图120和MPR横断面示意图130。MPR技术的优点是能够查看多个方向的截面图像，而不仅局限于横断面图像；并且截面图像是由横断面图像重建得到的，能够真实反映患者的扫描结果，可以作为医生诊断病变的金标准。但是，通过MPR技术重建的图像只有二维信息，缺少三维的深度信息。
VR技术是将体数据以三维模型的形式进行显示的技术。通常使用光线投射(RayCasting)算法对体数据进行采样。VR技术的优点是将体数据以三维的形式进行显示，显示的图像中具有了空间结构和深度信息，医生可以方便的确定不同组织在人体中的空间位置、形态和周围组织的情况。参照图2，为现有技术的VR表面示意图210和VR切割面示意图220。虽然VR技术绘制的图像可以保留图像的空间结构和深度信息，但是，VR技术绘制的图像的显示内容经过渲染处理，不一定能真实反应病变部位的状况。
由于上述后处理技术均有其不可避免的缺点，使得在目前的疾病诊断过程中，医生只能先通过VR技术绘制的图像查看病变部位的位置形态等信息，再通过MPR技术重建得到的图像进行疾病的诊断。
为了解决上述技术问题，本申请提出一种图像融合方法、装置、设备及可读存储介质，参照图3，为本申请实施例示意性示出的一种图像融合方法的部分流程图，所述方法可以运用在电子设备上，所述电子设备可以为医疗设备，所述医疗设备可以是：X线计算机体层成像仪(Computedtomography，CT)、正电子发射断层显像(Positron EmissionTomography，PET)及磁共振成像仪(Magnetic Resonance Imaging，MRI)等；所述电子设备还可以是与医疗设备相连的控制台设备，或任意具有图像处理功能的计算机等，本申请不限制电子设备的类型。所述方法的部分步骤如下：
S310：获取医疗设备对扫描对象进行扫描得到的体数据。
本申请实施例提出的体数据为医疗设备扫描出的横断面图像序列，它是由多幅连续的横断面图像组成。
S320：确定重建平面的位置信息。
本申请实施例提出的重建平面为用户指定的截面。
S330：基于光线投射算法对所述体数据进行VR处理的过程中，在所述重建平面所在位置处进行MPR图像的重建，得到MPR/VR融合图像。
本申请实施例提出的光线投射(Ray Casting)算法是基于体数据的直接体绘制算法。从图像的每一个像素，沿固定方向(通常是视线方向)发射一条光线，光线穿越整个体数据，并在这个过程中，对体数据进行采样获取颜色信息，同时依据光线吸收模型将颜色值进行累加，直至光线穿越整个体数据，最后得到的颜色值就是图像中对应的像素点的颜色值。在本申请实施例中所述光线穿越整个体数据时，对体数据进行采样的路径被称为光线采样路径。在本申请一些例子中，光线第一次接触体数据的点被称为光线采样路径的起点，光线离开所述体数据的点被称为光线采样路径的终点，当然，在本申请一些例子中，所述光线采样路径的起点和终点可以由用户设定，光线采样路径方向由起点指向终点。
本申请提出的MPR/VR融合图像中的各像素点均与一条光线采样路径相对应。
本申请实施例提出的图像融合方案为一种新的医疗图像后处理技术，该新的后处理技术通过在沿光线采样路径对体数据采样绘制VR图像的过程中，在指定的重建平面(截面)所在位置处，基于MPR技术进行MPR图像的重建，获得MPR/VR融合图像，使得MPR/VR融合图像中能够真实反映患者的扫描结果的MPR重建平面显示在具有三维信息的VR图像的对应的位置，将MPR平面的深度信息被直观地表达出来。使得医生通过一种图像后处理技术绘制的图像就能完成查看病变部位的位置形态及疾病诊断等操作。
在另外一些例子中，以其中一条光线为例进行说明，所述步骤S330可以参照图5所述的步骤执行：
S510：判断所述重建平面与进行VR处理的光线采样路径是否存在交点。
S520：若所述体绘制处理过程中的光线采样路径与所述重建平面存在交点，在所述光线采样路径上对所述体数据进行采样，将所述交点处对应的MPR颜色值及其他采样点的VR颜色值进行叠加处理，获得目标颜色值，所述目标颜色值为VR/MPR融合图像中所述光线采样路径对应的像素点的颜色值。
在一些例子中，参照图4，所述步骤S520具体可以是：从投影面430上一点发出的其中一条光线410沿着投影面430法向量方向前进，光线在光线采样路径上对经过的体数据进行采样，其中采样的起点为点411，采样的终点为点413，当采样至重建平面420与光线采样路径的交点412时，基于MPR技术进行MPR图像的重建，获得所述光线采样路径穿过MPR图像中对应像素点的MPR颜色值，并在所述交点412处，按照被采样的先后顺序，将所述MPR颜色值与其他采样点的VR颜色值进行叠加处理，获得光线411对应MPR/VR融合图像中的像素点的目标颜色值。对于整幅MPR/VR融合图像，是将投影面430发出的所有光线采样路径在重建平面420所在位置进行MPR图像重建，得到MPR/VR融合图像所有像素点的目标颜色值，并依据所述所有像素点的目标颜色值，显示所述MPR/VR融合图像。
在一些例子中，本申请实施例所述采样点的VR颜色值根据所述采样点的体数据通过传递函数转换得到。在一些例子中，本申请实施例所述的MPR颜色值可以根据重建平面(交点)处的体数据通过颜色查找表(Look Up Table，LUT)映射得到。
在叠加处理过程中，还可以根据所述采样点的体数据通过传递函数转换得到各采样点的透明度(或阻光度)，根据各采样点的透明度(或阻光度)，按照各采样点的采样顺序，将所述交点处对应的MPR颜色值及其他采样点的VR颜色值进行叠加处理，获得目标颜色值。例如：采样路径上4个采样点，按采样顺序分别是：点1、点2、点3及点4，其中点2为交点，点1、点3及点4的VR颜色值及阻光度分别为：v1，z1；v3，z3及v4，z4；点2的MPR颜色值及阻光度为m2，z2；采样光线在采样点1、2、3及4的光线剩余阻光度分别为a1、a2、a3及a4，目标颜色值可以根据以下叠加算法得到：目标颜色值colour＝colour0+v1*z1*a1+m2*z2*a2+v3*z3*a3+v4*z4*a4，其中colour0为光线的初始颜色值。当然，上述实施例仅仅为其中一种通过叠加算法获得目标颜色值的方式，本申请可以利用现有的VR绘制中的光线吸收模型，按照被采样的顺序，对MPR颜色值及各采样点的VR颜色进行叠加，获得目标颜色值。
进一步，用户可以确定光线采样路径的起点与终点，以获得用户期望显示的MPR/VR融合图像。例如，用户选择查看截面图时，即查看以重建平面为截面的MPR/VR融合图像，可以根据上述用户的选择指令(用户指令)，确定新的光线采样路径，在查看以重建平面为截面的MPR/VR融合图像的例子中，新的光线采样路径中，以重建平面与光线采样路径的交点为起点，具体的，所述S520可以根据图6a所述的步骤实现。参照图6a，部分步骤如下：
S610：根据用户指令，确定新的光线采样路径。
S620：若所述交点为新的光线采样路径的起点，在所述交点位置处，获取所述交点对应的MPR颜色值。
S630：从所述交点开始沿新的光线采样路径对所述体数据采样，获取各采样点的VR颜色值。
该步骤中，获取各采样点的VR颜色值的同时，还可以获取各采样点的透明度(或阻光度)。
S640：按照被采样的先后顺序，将所述MPR颜色值及各采样点的VR颜色值进行叠加处理，获得目标颜色值。
具体的，本步骤可以采用前述叠加算法，依次将MPR颜色值及各采样点的VR颜色值进行叠加，获得目标颜色值，例如：采样路径上4个采样点，按采样顺序分别是：点1、点2、点3及点4，其中点1为交点，点2、点3及点4的VR颜色值及阻光度分别为：v2，z2；v3，z3及v4，z4；点1的MPR颜色值及阻光度为m1，z1；采样光线在采样点1、2、3及4的光线剩余阻光度分别为a1、a2、a3及a4，目标颜色值可以根据以下叠加算法得到：目标颜色值colour＝colour0+m1*z1*a1+v2*z2*a2+v3*z3*a3+v4*z4*a4，其中colour0为光线的初始颜色值。也可以利用光线吸收模型，按照各采样点被采样的先后顺序，依次将MPR颜色值及各采样点的VR颜色值进行叠加，获得目标颜色值。
根据图6a所述的步骤得到的MPR/VR融合图像可以参照图6b，图6b中，MPR/VR融合图像610的光线采样路径与重建平面611的法向量平行，重建平面611位置处展示了MPR图像。MPR/VR融合图像620的光线采样路径与重建平面621的法向量的不平行也不垂直，重建平面621位置处展示了MPR图像。从图6b可以看出，用户可以选择查看任意的截面图(MPR图像)。当然可以理解，光线采样路径的方向也可以依据用户的指令确定，例如通过用户旋转、平移及缩放所述MPR/VR融合图像的指令，来改变所述光线采样路径的方向。当通过用户指令改变光线采样路径的方向时，可以使MPR图像随着VR内容进行旋转、平移、缩放，便于用户从不同角度和距离查看到融合结果。
在一些例子中，S520的步骤也可以依照图7a所述的步骤执行，参照图7a，步骤步骤如下：
S710：根据用户指令，确定新的光线采样路径。
S720：若所述交点为所述新的光线采样路径的终点，沿新的光线采样路径对所述体数据采样，获取各采样点的VR颜色值。
所述交点为所述新的光线采样路径的终点，所述用户指令可以是以重建平面为截面，且显示截面之前的内容。
S730：采样至交点位置处，获取所述交点对应的MPR颜色值；
S740：按照被采样的先后顺序，将所述MPR颜色值及各采样点的VR颜色值进行叠加处理，获得目标颜色值。
具体的，本步骤可以采用前述叠加算法，依次将MPR颜色值及各采样点的VR颜色值进行叠加，获得目标颜色值，例如：采样路径上4个采样点，按采样顺序分别是：点1、点2、点3及点4，其中点4为交点，点1、点2及点3的VR颜色值及阻光度分别为：v1，z1；v2，z2及v3，z3；点4的MPR颜色值及阻光度为m4，z4；采样光线在采样点1、2、3及4的光线剩余阻光度分别为a1、a2、a3及a4，目标颜色值可以根据以下叠加算法得到：目标颜色值colour＝colour0+v1*z1*a1+v2*z2*a2+v3*z3*a3+m4*z4*a4，其中colour0为光线的初始颜色值。也可以利用光线吸收模型，按照各采样点被采样的先后顺序，依次将MPR颜色值及各采样点的VR颜色值进行叠加，获得目标颜色值。
根据图7a所述步骤得到的MPR/VR融合图像的显示结果可以参照图7b，MPR/VR融合图像710的光线采样路径与重建平面711的法向量平行，所述MPR/VR融合图像710显示了重建平面之前的VR内容。
S530：若所述重建平面与进行VR处理的光线采样路径不存在交点，沿所述光线采样路径对所述体数据进行采样，对各采样点的VR颜色值进行叠加处理，得到目标颜色值。
所述重建平面与进行VR处理的光线采样路径不存在交点的情况可以包括如下两种，第一种：光线采样路径(投射光线)与重建平面的法向量垂直；第二种：光线采样路径未穿过重建平面，例如，如图6b中的图像620所示，当光线采样路径与重建平面621既不平行也不垂直时，区域622的像素点对应的光线采样路径与重建平面621没有交点。
具体的，S530中，可以是获得光线采样路径各采样点的VR颜色值，按照被采样的先后顺序，按照前述实施例提出的叠加算法或光线吸收模型将各采样点的VR颜色值进行叠加处理，得到目标颜色值。
在实际应用中，体数据中扫描对象的周围往往存在一圈空气，在传统的MPR图像中身体周围的空气不会对显示结果造成影响，但是当重建平面处的MPR图像以三维形式显示时会阻挡平面后的VR内容显示，对显示结果造成干扰。在一些例子中，可以将扫描对象周围的空气去除，使得MPR图像的边缘收缩到扫描对象的边缘，不会对MPR图像后的内容造成遮挡。
具体的，可以利用空气与扫描对象的测量值存在着巨大的差异，去除体数据中扫描对象周围的空气。在一些例子中，可以在医疗设备对所述扫描对象进行扫描获得体数据的过程中，通过阈值分割的方法，使得得到的体数据中不包括扫描对象周围的空气的体数据，即可以将扫描值超过预设阈值的部分去除。以CT设备为例，扫描值为CT值，CT值由身体组织对X射线的线性吸收系数决定，空气的CT值通常为-1000Hu，可以使用-850Hu作为阈值分割掉扫描对象周围的空气，获得扫描对象周围没有空气的体数据。
在一些例子中，也可以在图3所述的步骤S310之后，基于MPR技术进行MPR图像的重建之前，或基于MPR技术进行MPR图像的重建时，根据阈值分割的方法，将所述重建平面所在位置处体数据值超过预设值的体数据删除，以去除MPR图像中扫描对象周围的空气。
在一些例子中，也可以在基于MPR技术进行MPR图像的重建之后，得到MPR/VR融合图像之前，通过图像识别算法，将MPR图像中扫描对象周围的空气去除，具体的，一个例子中，可以是通过图像识别算法，识别出MPR图像中的扫描对象，将所述扫描对象以外的部分去除。
在一些例子中，本申请实施例还可以对MPR图像增加了一个透明度参数，用于控制MPR图像的透明程度。具体可以是：依据用户指令，设定所述MPR图像在显示时的透明度。例如参照图8，MPR/VR融合图像810为MPR图像811的透明度为0％的脑部切割面图，根据用户指令，调整所述MPR图像的透明度后，得到MPR/VR融合图像820，所述MPR/VR融合图像820中MPR图像821的透明度为100％。通过控制MPR图像的透明度，使得用户可以根据自身需求，查看重建平面处MPR图像，或是被遮挡在MPR图像后的VR显示内容，以提高用户的诊断效率。具体的，可以是在将所述交点处对应的MPR颜色值及其他采样点的VR颜色值进行叠加处理的阶段，基于所述增加的透明度参数得到一系数，将所述MPR颜色值乘以所述系数后与其他采样点的VR颜色值进行叠加处理，得到目标颜色值，以使在VR/MPR图像显示时，体现MPR图像的透明程度。
此外，各个步骤的描述，可以实现为软件、硬件或者其结合的形式，例如，本领域技术人员可以将其实现为软件代码的形式，可以为能够实现所述步骤对应的逻辑功能的计算机可执行指令。当其以软件的方式实现时，所述的可执行指令可以存储在存储器中，并被设备中的处理器执行。
与前述图像融合方法的实施例相对应，本申请还提供了图像融合装置、电子设备及存储介质的实施例。
参见图9，为本申请一种图像融合装置900的一个实施例框图，该装置包括：
获取模块910，用于获取医疗设备对扫描对象进行扫描得到的体数据；
处理模块920，用于确定重建平面的位置信息；基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多重面重建融合图像。
在一些例子中，处理模块920具体用于：
在所述体绘制处理过程中的光线采样路径与所述重建平面存在交点时，在所述光线采样路径上对所述体数据进行采样，将所述交点处对应的多重面重建颜色值及其他采样点的体绘制颜色值进行叠加处理，获得目标颜色值，所述目标颜色值为体绘制/多平面重建融合图像中所述光线采样路径对应的像素点的颜色值。
在一些例子中，处理模块920具体用于：
确定新的光线采样路径；
若所述交点为新的光线采样路径的起点，在所述交点位置处，获取所述交点对应的多重面重建颜色值；
从所述交点开始沿新的光线采样路径对所述体数据采样，获取各采样点的体绘制颜色值；
按照被采样的先后顺序，将所述多重面重建颜色值及各采样点的体绘制颜色值进行叠加处理，获得目标颜色值。
在一些例子中，处理模块920具体用于：
确定新的光线采样路径；
若所述交点为所述新的光线采样路径的终点，沿新的光线采样路径对所述体数据采样，获取各采样点的体绘制颜色值；
采样至交点位置处，获取所述交点对应的多重面重建颜色值；
按照被采样的先后顺序，将所述多重面重建颜色值及各采样点的体绘制颜色值进行叠加处理，获得目标颜色值。
在一些例子中，处理模块920具体用于：
若所述体绘制处理过程中的光线采样路径与所述重建平面不存在交点，沿所述光线采样路径对所述体数据进行采样，获得各采样点的体绘制颜色值，将各采样点的体绘制颜色值进行叠加处理，获得目标颜色值，所述目标颜色值为体绘制/多平面重建融合图像中所述光线采样路径对应的像素点的颜色值。
在一些例子中，处理模块920还用于：
将所述重建平面所在位置处扫描值或体数据值超过预设值的体数据删除，以去除多重面重建图像中扫描对象周围的空气。
在一些例子中，处理模块920还用于：
对所述多重面重建图像进行图像识别，识别出所述多重面重建图像中扫描对象周围的空气区域，去除所述多重面重建图像中的所述空气区域。
在一些例子中，处理模块920还用于：
依据用户指令，设定所述多重面重建图像在显示时的透明度参数。
在一些例子中，所述光线投射算法中的光线采样路径的方向基于用户指令确定。
参见图10，为本申请提出一种医疗设备的一个实施例示意图，该电子设备1000可以包括：存储处理器可执行指令的存储器1002；其中，所述处理器1001耦合于所述存储器1002，用于读取所述存储器1002存储的程序指令，并作为响应，执行如下操作：
获取医疗设备对扫描对象进行扫描得到的体数据；
确定重建平面的位置信息；
基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多重面重建融合图像。
在本申请实施例中，计算机可读存储介质可以是多种形式，比如，在不同的例子中，所述机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。特殊的，所述的计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。使用这些介质，这些程序可以被通过电学的方式获取到(例如，光学扫描)、可以被以合适的方式编译、解释和处理，然后可以被存储到计算机介质中。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由本申请的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像融合方法，其特征在于，所述方法包括：
获取医疗设备对扫描对象进行扫描得到的体数据；
确定重建平面的位置信息；
基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多重面重建融合图像。
2.根据权利要求1所述的方法，其特征在于，所述基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多平面重建融合图像，包括：
若所述体绘制处理过程中的光线采样路径与所述重建平面存在交点，在所述光线采样路径上对所述体数据进行采样，将所述交点处对应的多重面重建颜色值及其他采样点的体绘制颜色值进行叠加处理，获得目标颜色值，所述目标颜色值为体绘制/多平面重建融合图像中所述光线采样路径对应的像素点的颜色值。
3.根据权利要求2所述的方法，其特征在于，在所述光线采样路径上对所述体数据进行采样，将所述交点处对应的多重面重建颜色值及其他采样点的体绘制颜色值进行叠加处理，获得目标颜色值，包括步骤：
确定新的光线采样路径；
若所述交点为新的光线采样路径的起点，在所述交点位置处，获取所述交点对应的多重面重建颜色值；
从所述交点开始沿新的光线采样路径对所述体数据采样，获取各采样点的体绘制颜色值；
按照被采样的先后顺序，将所述多重面重建颜色值及各采样点的体绘制颜色值进行叠加处理，获得目标颜色值。
4.根据权利要求2所述的方法，其特征在于，在所述新的光线采样路径上对所述体数据进行采样，将所述交点处对应的多重面重建颜色值及其他采样点的体绘制颜色值进行叠加处理，获得目标颜色值，包括步骤：
确定新的光线采样路径；
若所述交点为所述新的光线采样路径的终点，沿新的光线采样路径对所述体数据采样，获取各采样点的体绘制颜色值；
采样至交点位置处，获取所述交点对应的多重面重建颜色值；
按照被采样的先后顺序，将所述多重面重建颜色值及各采样点的体绘制颜色值进行叠加处理，获得目标颜色值。
5.根据权利要求1所述的方法，其特征在于，所述基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处进行多平面重建图像的重建，得到体绘制/多平面重建融合图像，包括：
若所述体绘制处理过程中的光线采样路径与所述重建平面不存在交点，沿所述光线采样路径对所述体数据进行采样，获得各采样点的体绘制颜色值，将各采样点的体绘制颜色值进行叠加处理，获得目标颜色值，所述目标颜色值为体绘制/多平面重建融合图像中所述光线采样路径对应的像素点的颜色值。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于多重面重建技术进行多重面重建图像的重建时或之前，所述方法还包括：
将所述重建平面所在位置处扫描值或体数据值超过预设值的体数据删除，以去除多重面重建图像中扫描对象周围的空气。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述基于多重面重建技术进行多重面重建图像的重建之后，所述方法还包括：
对所述多重面重建图像进行图像识别，识别出所述多重面重建图像中扫描对象周围的空气区域，去除所述多重面重建图像中的所述空气区域。
8.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括步骤：
依据用户指令，设定所述多重面重建图像在显示时的透明度参数。
9.根据权利要求1所述的方法，其特征在于，所述光线投射算法中的光线采样路径的方向基于用户指令确定。
10.一种图像融合装置，其特征在于，所述装置包括：
获取模块，用于获取医疗设备对扫描对象进行扫描得到的体数据；
处理模块，用于确定重建平面的位置信息；基于光线投射算法对所述体数据进行体绘制处理的过程中，在所述重建平面所在位置处，基于多重面重建技术进行多重面重建图像的重建，得到体绘制体绘制/多重面重建融合图像。
11.一种图像融合设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至9任一项所述方法的操作。
12.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如权利要求1至9任一项所述方法的操作。
CN201811064505.9A 2018-09-12 2018-09-12 图像融合方法、装置、设备及存储介质 Pending CN109360233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811064505.9A CN109360233A (zh) 2018-09-12 2018-09-12 图像融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811064505.9A CN109360233A (zh) 2018-09-12 2018-09-12 图像融合方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109360233A true CN109360233A (zh) 2019-02-19

Family

ID=65351017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811064505.9A Pending CN109360233A (zh) 2018-09-12 2018-09-12 图像融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109360233A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210898A (zh) * 2019-12-30 2020-05-29 赛诺联合医疗科技（北京）有限公司 一种对dicom数据进行处理的方法和装置
CN112397198A (zh) * 2020-11-17 2021-02-23 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112669941A (zh) * 2020-12-28 2021-04-16 上海联影医疗科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1639737A (zh) * 2002-03-06 2005-07-13 西门子共同研究公司 容积－容积融合的可视化
US20060056681A1 (en) * 2004-08-11 2006-03-16 Ziosoft, Inc. Image display method and image display program
US20060155800A1 (en) * 2004-12-14 2006-07-13 Ziosoft, Inc. Image processing system for volume rendering
CN101188024A (zh) * 2006-11-20 2008-05-28 爱克发医疗保健公司 融合3d体绘制图像上拾取和根据拾取动作更新相应视图
CN103295256A (zh) * 2012-01-24 2013-09-11 株式会社东芝 医用图像处理装置以及医用图像处理程序
US20130249913A1 (en) * 2012-03-22 2013-09-26 Andrew Michael Christian Smout Image processing method and apparatus
CN103366394A (zh) * 2013-06-27 2013-10-23 浙江工业大学 医学体数据特征抽象的直接体绘制方法
CN104969265A (zh) * 2012-11-23 2015-10-07 卡丹医学成像股份有限公司 为用户显示第一绘制投影和第二绘制投影之间的过渡的方法和系统
CN106408645A (zh) * 2016-09-05 2017-02-15 上海联影医疗科技有限公司 一种医学图像绘制的方法和设备
CN107705350A (zh) * 2017-09-05 2018-02-16 沈阳东软医疗系统有限公司 医学图像生成方法、装置及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1639737A (zh) * 2002-03-06 2005-07-13 西门子共同研究公司 容积－容积融合的可视化
US20060056681A1 (en) * 2004-08-11 2006-03-16 Ziosoft, Inc. Image display method and image display program
US20060155800A1 (en) * 2004-12-14 2006-07-13 Ziosoft, Inc. Image processing system for volume rendering
CN101188024A (zh) * 2006-11-20 2008-05-28 爱克发医疗保健公司 融合3d体绘制图像上拾取和根据拾取动作更新相应视图
CN103295256A (zh) * 2012-01-24 2013-09-11 株式会社东芝 医用图像处理装置以及医用图像处理程序
US20130249913A1 (en) * 2012-03-22 2013-09-26 Andrew Michael Christian Smout Image processing method and apparatus
CN104969265A (zh) * 2012-11-23 2015-10-07 卡丹医学成像股份有限公司 为用户显示第一绘制投影和第二绘制投影之间的过渡的方法和系统
CN108378865A (zh) * 2012-11-23 2018-08-10 卡丹医学成像股份有限公司 为用户显示投影之间的过渡的方法和系统
CN103366394A (zh) * 2013-06-27 2013-10-23 浙江工业大学 医学体数据特征抽象的直接体绘制方法
CN106408645A (zh) * 2016-09-05 2017-02-15 上海联影医疗科技有限公司 一种医学图像绘制的方法和设备
CN107705350A (zh) * 2017-09-05 2018-02-16 沈阳东软医疗系统有限公司 医学图像生成方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丁娟等: "320排CT血管成像评价筛前动脉的初步探讨", 《中华临床医师杂志》 *
徐建: "医学影像三维重建系统的实现探讨", 《影像技术》 *
管仪芳: "颅面骨螺旋CT三维重建对颞下颌关节区骨折诊断价值的临床研究", 《中国优秀博硕士学位论文全文数据库(硕士) 医药卫生科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210898A (zh) * 2019-12-30 2020-05-29 赛诺联合医疗科技（北京）有限公司 一种对dicom数据进行处理的方法和装置
CN111210898B (zh) * 2019-12-30 2023-08-01 赛诺联合医疗科技（北京）有限公司 一种对dicom数据进行处理的方法和装置
CN112397198A (zh) * 2020-11-17 2021-02-23 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112669941A (zh) * 2020-12-28 2021-04-16 上海联影医疗科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质
CN112669941B (zh) * 2020-12-28 2023-05-26 上海联影医疗科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US10395398B2 (en) Appartus and method for visualizing digital breast tomosynthesis and other volumetric images
EP0968683B1 (en) Method and apparatus for forming and displaying image from a plurality of sectional images
US8165365B2 (en) Method and system for displaying tomosynthesis images
US8929635B2 (en) Method and system for tooth segmentation in dental images
US8761493B2 (en) Method and system for tooth segmentation in dental images
WO2016004902A1 (en) System and method for image processing
US20170135655A1 (en) Facial texture mapping to volume image
US8970581B2 (en) System and method for interactive contouring for 3D medical images
CN104299222B (zh) 医用图像处理装置以及医用图像处理方法
JP2007537770A (ja) 内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法
JPH10502194A (ja) 三次元像の構築及び表示を行う方法及びシステム
US20040202990A1 (en) System and method for performing a virtual endoscopy
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
CN109360233A (zh) 图像融合方法、装置、设备及存储介质
CN102663818A (zh) 颅颌面三维形貌模型的构建方法及其装置
JP2005522296A (ja) 画像体積レビューを追跡するグラフィックな装置及び方法
EP1923840B1 (en) Picking on fused 3D volume rendered images and updating corresponding views according to a picking action
US20220343589A1 (en) System and method for image processing
Williams et al. Volumetric curved planar reformation for virtual endoscopy
US20070064002A1 (en) Method and apparatus for providing efficient space leaping using a neighbor guided emptiness map in octree traversal for a fast ray casting algorithm
CN114445431A (zh) 一种医学三维影像任意切割的方法与装置
CN107705350B (zh) 医学图像生成方法、装置及设备
US20170365076A1 (en) Virtual projection image method
JP2006000127A (ja) 画像処理方法および装置並びにプログラム
CN100583161C (zh) 用于显示以立体数据组成像的对象的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 110167 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province

Applicant after: Shenyang Neusoft Medical Systems Co.,Ltd.

Address before: 110167 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province

Applicant before: SHENYANG NEUSOFT MEDICAL SYSTEMS Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219