CN108876783A - 图像融合方法及系统、医疗设备和图像融合终端 - Google Patents

图像融合方法及系统、医疗设备和图像融合终端 Download PDF

Info

Publication number
CN108876783A
CN108876783A CN201810677958.2A CN201810677958A CN108876783A CN 108876783 A CN108876783 A CN 108876783A CN 201810677958 A CN201810677958 A CN 201810677958A CN 108876783 A CN108876783 A CN 108876783A
Authority
CN
China
Prior art keywords
stereo
picture
image
sample color
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810677958.2A
Other languages
English (en)
Other versions
CN108876783B (zh
Inventor
张骈
万俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201810677958.2A priority Critical patent/CN108876783B/zh
Publication of CN108876783A publication Critical patent/CN108876783A/zh
Priority to US16/455,708 priority patent/US10885700B2/en
Priority to US17/140,152 priority patent/US11200727B2/en
Application granted granted Critical
Publication of CN108876783B publication Critical patent/CN108876783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

本发明提出了一种图像融合方法及系统、医疗设备和图像融合终端，该方法包括：获取第一立体图像和第二立体图像；根据对第一立体图像的每根光线进行积分的结果，获取第一立体图像的最大灰度值处的位置和第一采样颜色；在第二立体图像中采样至对应第一立体图像的最大灰度值处的位置，得到第二采样颜色；根据第一采样颜色和第二采样颜色，融合得到第三采样颜色；以对应的位置为起点，根据对应的位置所属的光线对第二立体图像进行采样至光线终点，得到采样结果；将采样结果与第三采样颜色进行融合，得到融合图像对应的第四采样颜色。本发明的技术方案可提升融合图像的准确性。

Description

图像融合方法及系统、医疗设备和图像融合终端
【技术领域】
本发明涉及图像处理技术领域，尤其涉及一种图像融合方法及系统、医疗设备和图像融合终端。
【背景技术】
目前，在实际临床应用中，单一模态图像往往不能提供医生所需要的足够信息，对此，需要将不同模态图像融合在一起，得到更丰富的信息，以便更精准地获取病变组织或器官的综合信息，从而做出准确的诊断或制订出合适的治疗方案。
相关技术中提出了二维图像融合的方案，二维图像融合是指将多源图像传感器所采集到的关于同一目标的二维图像经过一定的图像处理，提取各自的有用信息，最后综合成同一图像以供观察或进一步处理，融合后的新二维图像将比组成它的各个二维图像具有更优越的性能。根据被融合图像成像方式的不同，可分为同类方式融合和交互方式融合。同类方式融合(也称单模融合)是指相同成像方式的图像融合，如SPECT(Single-PhotonEmission Computed Tomography，单光子发射计算机断层成像术)图像间融合、MR(Magnetic Resonance，磁共振)图像间融合等，交互方式融合(也称多模融合)是指不同成像方式的图像融合，如SPECT与MR图像融合、PET(Positron Emission Tomography，正电子发射计算机断层显像)与CT(Computed Tomography，电子计算机断层扫描)图像融合等。
然而，相关技术中在进行PET的最大密度投影图像(MIP，Maximum IntensityProjection)和CT的体绘制(VolRen，Volume Rendering)图像融合时，是将二维的最大密度投影图像与二维的体绘制图像进行融合，很难正确显示最大密度投影图像上组织的深度关系，换句话说，得到的融合图像难以准确反映扫描内容，不利于对融合图像的分析处理，影响诊断准确性。
因此，如何获取更有效的融合图像以提升诊断效果，成为目前亟待解决的技术问题。
【发明内容】
本发明实施例提供了一种图像融合方法及系统、医疗设备和图像融合终端，旨在解决相关技术中融合图像难以准确反映扫描内容的技术问题，能够获取更有效的融合图像以提升诊断效果。
第一方面，本发明实施例提供了一种图像融合方法，包括：获取第一立体图像和第二立体图像；根据对所述第一立体图像的每根光线进行积分的结果，获取所述第一立体图像的最大灰度值处的位置和第一采样颜色；在所述第二立体图像中采样至对应所述第一立体图像的最大灰度值处的所述位置，得到第二采样颜色；根据所述第一采样颜色和所述第二采样颜色，融合得到第三采样颜色；以所述第二立体图像中对应的所述位置为起点，根据所述对应的所述位置所属的光线对所述第二立体图像进行采样至光线终点，得到采样结果；将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色。
在本发明上述实施例中，可选地，所述第一立体图像和所述第二立体图像分别为最大密度投影图像和体绘制图像。
在本发明上述实施例中，可选地，所述根据对所述第一立体图像的每根光线进行积分的结果，获取所述第一立体图像的最大灰度值处的位置和第一采样颜色，包括：根据对所述第一立体图像的每根光线进行积分的结果，确定所述第一立体图像的最大灰度值；确定所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
在本发明上述实施例中，可选地，所述根据对所述第一立体图像的每根光线进行积分的结果，确定所述第一立体图像的最大灰度值，包括：遍历所述每根光线上的所有体素；根据遍历结果，确定最大灰度值对应的体素，其中，所述体素的位置和采样颜色即为所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
在本发明上述实施例中，可选地，所述以所述对应的所述位置为起点，根据所述对应的所述位置所属的光线对所述第二立体图像进行采样至光线终点，包括：以对应的所述位置为起点，在所属的光线上的每个采样步长对所述第二立体图像进行采样；所述将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色，包括：将对所述每个采样步长的采样结果逐一融合至所述第三采样颜色，得到所述第四采样颜色。
在本发明上述实施例中，可选地，所述每个采样步长大于零个体素。
第二方面，本发明实施例提供了一种图像融合系统，包括：第一获取单元，获取第一立体图像和第二立体图像；第二获取单元，根据对所述第一立体图像的每根光线进行积分的结果，获取所述第一立体图像的最大灰度值处的位置和第一采样颜色；第一采样单元，在所述第二立体图像中采样至对应所述第一立体图像的最大灰度值处的所述位置，得到第二采样颜色；第一融合单元，根据所述第一采样颜色和所述第二采样颜色，融合得到第三采样颜色；第二采样单元，以所述第二立体图像中对应的所述位置为起点，根据所述对应的所述位置所属的光线对所述第二立体图像进行采样至光线终点，得到采样结果；第二融合单元，将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色。
在本发明上述实施例中，可选地，所述第一立体图像和所述第二立体图像分别为最大密度投影图像和体绘制图像。
在本发明上述实施例中，可选地，所述第二获取单元用于：根据对所述第一立体图像的每根光线进行积分的结果，确定所述第一立体图像的最大灰度值；确定所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
在本发明上述实施例中，可选地，所述第二获取单元用于：遍历所述每根光线上的所有体素；根据遍历结果，确定最大灰度值对应的体素，其中，所述体素的位置和采样颜色即为所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
在本发明上述实施例中，可选地，所述第二采样单元用于：以对应的所述位置为起点，在所属的光线上的每个采样步长对所述第二立体图像进行采样；所述将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色，包括：将对所述每个采样步长的采样结果逐一融合至所述第三采样颜色，得到所述第四采样颜色。
在本发明上述实施例中，可选地，所述每个采样步长大于零个体素。
第三方面，本发明实施例提供了一种医疗设备，包括如第二方面实施例中任一项所述的图像融合系统。
第四方面，本发明实施例提供了一种图像融合终端，所述图像融合终端包括处理器以及存储器，所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述图像融合终端实现如第一方面实施例中任一项所述的方法流程。
通过以上技术方案，针对相关技术中的融合图像难以准确反映扫描内容的技术问题，能够获取更有效的融合图像以提升诊断效果。
具体来说，可将待融合的第一立体图像和第二立体图像视为处于立体坐标系中，由于平面图像由一个个方形的像素连接而成，则立体图像也是由立方体状的体素组成，对于立体图像中穿过的任一光线，其均依次经过路径上的多个体素，而每个体素具有自己的颜色。
在此基础上，对第一立体图像的每根光线进行积分，直至达到最大灰度值处的体素，停止，确定该体素的位置和第一采样颜色。接着，在第二立体图像也对应采样到同样的位置处，得到第二立体图像中该位置处体素的第二采样颜色，由此，在第一立体图像与第二立体图像位置一一对应进行融合时，将每个光线上最大灰度值位置处的第一采样颜色与第二采样颜色进行融合，得到第三采样颜色。
接着，可以对第二立体图像中每个光线上最大灰度值位置处起往后的位置的每个体素，进行逐个采样，将采样结果依次融合至第三采样颜色，得到最终的第四采样图像。
也就是说，对于第一立体图像与第二立体图像中的任一同路径光线，将其由开始至最大灰度值位置处的体素一一进行融合，可以最大限度地在融合后的图像中保持颜色变化情况与融合前的单一图像的相似性，而从最大灰度值位置处起逐个体素进行颜色叠加，更是进一步增加了图像融合的精细程度，便于在融合的基础上保持正确的显像深度，避免因融合时如第一立体图像的深色位置与第二立体图像的浅色位置融合而导致的图像内容不清楚或被遮挡的情况，便于在融合后仍能清晰体现第一立体图像和/或第二立体图像的深度，提升了融合图像的准确性。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本发明的一个实施例的图像融合方法的流程图；
图2示出了本发明的另一个实施例的图像融合方法的流程图；
图3示出了本发明的一个实施例的图像融合系统的框图；
图4示出了本发明的一个实施例的医疗设备的框图；
图5示出了本发明的一个实施例的最大密度投影图像和体绘制图像的对比图；
图6示出了本发明的一个实施例的不同窗宽窗位的效果图；
图7示出了本发明的一个实施例的解剖像与TOF数据的融合效果图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
图1示出了本发明的一个实施例的图像融合方法的流程图。
如图1所示，本发明实施例提供了一种图像融合方法，包括：
步骤102，获取第一立体图像和第二立体图像。可通过不同的医学影像设备拍摄同一扫描对象的相同位置的两个立体图像，当然，还可以从任何设备的存储位置获取同一扫描对象的相同位置的两个立体图像。
步骤104，根据对所述第一立体图像的每根光线进行积分的结果，获取所述第一立体图像的最大灰度值处的位置和第一采样颜色。
步骤106，在所述第二立体图像中采样至对应所述第一立体图像的最大灰度值处的所述位置，得到第二采样颜色。
步骤108，根据所述第一采样颜色和所述第二采样颜色，融合得到第三采样颜色。
具体来说，可将待融合的第一立体图像和第二立体图像视为处于立体坐标系中，由于平面图像由一个个方形的像素连接而成，则立体图像也是由立方体状的体素组成，对于立体图像中穿过的任一光线，其均依次经过路径上的多个体素，而每个体素具有自己的颜色。
在此基础上，对第一立体图像的每根光线进行积分，直至达到最大灰度值处的体素，停止，确定该体素的位置和第一采样颜色。接着，在第二立体图像也对应采样到同样的位置处，得到第二立体图像中该位置处体素的第二采样颜色，由此，在第一立体图像与第二立体图像位置一一对应进行融合时，将每个光线上最大灰度值位置处的第一采样颜色与第二采样颜色进行融合，得到第三采样颜色。
步骤110，以所述第二立体图像中对应的所述位置为起点，根据所述对应的所述位置所属的光线对所述第二立体图像进行采样至光线终点，得到采样结果。
步骤112，将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色。
接着，可以对第二立体图像中每个光线上最大灰度值位置处起往后的位置的每个体素，进行逐个采样，将采样结果依次融合至第三采样颜色，得到最终的第四采样图像。
也就是说，对于第一立体图像与第二立体图像中的任一同路径光线，将其由开始至最大灰度值位置处的体素一一进行融合，可以最大限度地在融合后的图像中保持颜色变化情况与融合前的单一图像的相似性，而从最大灰度值位置处起逐个体素进行颜色叠加，更是进一步增加了图像融合的精细程度，便于在融合的基础上保持正确的显像深度，避免因融合时如第一立体图像的深色位置与第二立体图像的浅色位置融合而导致的图像内容不清楚或被遮挡的情况，便于在融合后仍能清晰体现第一立体图像和/或第二立体图像的深度，保证在各种交互操作过程中始终能正确反映第一立体图像的组织与第二立体图像中的组织的正确位置关系，提升了融合图像的准确性。
在本发明的一种实现方式中，所述第一立体图像和所述第二立体图像分别为最大密度投影图像和体绘制图像。其中，最大密度投影图像是基于医学图像透视及绘制的最大强度投影图像，可以显示扫描对象的内部组织结构的投影；体绘制图像是光线积分过程中颜色值不断累加得到的图像。
在相关技术中，如果直接融合最大密度投影图像和体绘制图像，比如对于人体整体图像，心脏、肿瘤、脑组织会明显遮挡在前面，分层不清晰，不能体现正确的深度关系。而使用本发明的技术方案，则可以在融合后依旧结构清晰，不会互相遮挡，能正确反映深度，便于观察和诊断。
再比如，若肿瘤在肋骨下，直接融合最大密度投影图像和体绘制图像，会导致肿瘤被遮挡，而使用本发明的技术方案，最大密度投影图像和体绘制图像融合后其肿瘤与肋骨的深度关系正确，便于直接观察到肋骨内的肿瘤。
由此可知，本发明的技术方案可用于PET的最大密度投影图像和CT的体绘制图像的融合，可保证在各种交互操作过程中始终能正确反映最大密度投影绘制的组织与体绘制绘制的组织的正确位置关系。
在本发明的另外一种实现方式中，所述第一立体图像和所述第二立体图像分别为体绘制图像和最大密度投影图像。
需要知晓，在实际场景中，第一立体图像和第二立体图像还可以是除了体绘制图像和最大密度投影图像以外的任何其他类型的三维图像。
在本发明的一种实现方式中，步骤104包括：根据对所述第一立体图像的每根光线进行积分的结果，确定所述第一立体图像的最大灰度值；确定所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
其中，所述根据对所述第一立体图像的每根光线进行积分的结果，确定所述第一立体图像的最大灰度值，包括：遍历所述每根光线上的所有体素；根据遍历结果，确定最大灰度值对应的体素，其中，所述体素的位置和采样颜色即为所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
立体图像中每个体素的颜色由R、G、B三个原色构成，根据对颜色的值的对比，可以在每条光线路径上的所有体素中选择灰度值最高的体素，作为融合基点，每个体素对应有一个位置，并分布有颜色。
步骤110包括：以对应的所述位置为起点，在所属的光线上的每个采样步长对所述第二立体图像进行采样；所述将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色，包括：将对所述每个采样步长的采样结果逐一融合至所述第三采样颜色，得到所述第四采样颜色。
在完成步骤108后，可以从将每个光线路径上灰度值最高位置处后第一个体素开始，确定每个体素的采样颜色，并将该采样颜色逐个融合至第三采样颜色，得到最终的第四采样颜色。
这样，由于对每个光线都进行最大灰度值前体素的对应融合和最大灰度值后体素的逐一融合，便于在融合后仍能清晰体现第一立体图像和/或第二立体图像的深度，保证在各种交互操作过程中始终能正确反映第一立体图像的组织与第二立体图像中的组织的正确位置关系，提升了融合图像的准确性。
其中，所述每个采样步长大于零个体素。如根据实际需要，如果第一立体图像和第二立体图像的位置并不是一一对应的，存在需把第一立体图像的多个体素与第二立体图像的单个体素进行融合，或把第一立体图像的单个体素与第二立体图像的多个体素进行融合等情况，以适应实际诊断需求。
图2示出了本发明的另一个实施例的图像融合方法的流程图。
如图2所示，当第一立体图像和第二立体图像分别为最大密度投影图像和体绘制图像时，本发明的另一个实施例的图像融合方法，包括：
步骤202，每根光线积分过程中先求出最大密度投影的最大灰度值MaxGray、位置MaxStep、采样颜色SampleColor最大密度投影。
步骤204，对体绘制从光线起点采样到MaxStep，采样颜色为vecSampleColor，再跟最大密度投影的采样颜色SampleColor最大密度投影进行融合，结果赋值到给vecSampleColor。其中的融合方式可为：
vecSampleColor+＝(1.0-vecSampleColor.a)*sampleColorMIP.rgb
vecSampleColor.a+＝sampleColorMIP.a*(1.0-vecSampleColor.a)
步骤206，再对体绘制从MaxStep+1采样到光线结束位置EndStep，每一个采样步长的结果与vecSampleColor进行融合，最终融合结果赋值给vecSampleColor。即在最大灰度值MaxGray之后开始，逐个对单个体素进行采样。
其中，每一个采样步长融合方式为：
vecSampleColor.rgb+＝(1.0-vecSampleColor.a)*vecGlobalColor.rgb
*vecGlobalColor.a
vecSampleColor.a+＝vecGlobalColor.a*(1.0-vecSampleColor.a)
两个三维立体数据的体绘制与最大密度投影融合时，光线投射过程中先求出每一根光线上最大密度投影的最大灰度值和位置；再对体绘制进行光线累积求和，当每根光线到达最大密度投影最大灰度值的位置时将此时的采样颜色与最大密度投影的采样颜色进行融合再继续光线积分求和，直至结束。最终的显示结果能反映出两个立体数据正确的深度关系。
图3示出了本发明的一个实施例的图像融合系统的框图。
如图3所示，本发明实施例提供了一种图像融合系统300，包括：第一获取单元302，获取第一立体图像和第二立体图像；第二获取单元304，根据对所述第一立体图像的每根光线进行积分的结果，获取所述第一立体图像的最大灰度值处的位置和第一采样颜色；第一采样单元306，在所述第二立体图像中采样至对应所述第一立体图像的最大灰度值处的所述位置，得到第二采样颜色；第一融合单元308，根据所述第一采样颜色和所述第二采样颜色，融合得到第三采样颜色；第二采样单元310，以所述第二立体图像中对应的所述位置为起点，根据所述对应的所述位置所属的光线对所述第二立体图像进行采样至光线终点，得到采样结果；第二融合单元312，将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色。
该图像融合系统300使用图1和图2示出的任一实施例所述的方案，因此，具有上述所有技术效果，在此不再赘述。图像融合系统300还具有以下技术特征：
在本发明上述实施例中，所述第一立体图像和所述第二立体图像分别为MIP最大密度投影图像和VolRen体绘制图像。
在本发明上述实施例中，可选地，所述第二获取单元304用于：根据对所述第一立体图像的每根光线进行积分的结果，确定所述第一立体图像的最大灰度值；确定所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
在本发明上述实施例中，可选地，所述第二获取单元304用于：遍历所述每根光线上的所有体素；根据遍历结果，确定最大灰度值对应的体素，其中，所述体素的位置和采样颜色即为所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
在本发明上述实施例中，可选地，所述第二采样单元310用于：以对应的所述位置为起点，在所属的光线上的每个采样步长对所述第二立体图像进行采样；所述将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色，包括：将对所述每个采样步长的采样结果逐一融合至所述第三采样颜色，得到所述第四采样颜色。
在本发明上述实施例中，可选地，所述每个采样步长大于零个体素。
图4示出了本发明的一个实施例的医疗设备的框图。
如图4所示，本发明的一个实施例的医疗设备400，包括图3示出的图像融合系统300，因此，该医疗设备400具有和图3示出的图像融合系统300相同的技术效果，在此不再赘述。
另外，本发明实施例提供了一种图像融合终端，所述图像融合终端包括处理器以及存储器，所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述图像融合终端实现如第一方面实施例中任一项所述的方法流程。
下面通过图5至图7的实际效果图对本发明的技术方案进行进一步描述。
图5示出了本发明的一个实施例的最大密度投影图像和体绘制图像的对比图，如图5所示，两幅图都是CT的体绘制图像与PET的最大密度投影图像融合效果图，左图分别求出体绘制图像与最大密度投影图像的采样颜色，然后进行融合，心脏、肿瘤、脑组织明显遮挡在前面，不能体现正确的深度关系。右图是使用本专利的融合效果图，遮挡关系能正确反映深度。
图6示出了本发明的一个实施例的不同窗宽窗位的效果图，如图6所示，肿瘤在肺在不同窗宽窗位下的融合效果图。左图半透明情况下可观察到肿瘤，且与肋骨深度正确，右图不透明情况下肿瘤被遮挡。
图7为MR去头皮的解剖像的体绘制图像与TOF数据的最大密度投影图像的融合效果图，同样能够正确反映深度，便于进行观察和诊断。
以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，保证在各种交互操作过程中始终能正确反映第一立体图像的组织与第二立体图像中的组织的正确位置关系，提升融合图像的准确性。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3播放器、MP4播放器等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种图像融合方法，其特征在于，包括：
获取第一立体图像和第二立体图像；
根据对所述第一立体图像的每根光线进行积分的结果，获取所述第一立体图像的最大灰度值处的位置和第一采样颜色；
在所述第二立体图像中采样至对应所述第一立体图像的最大灰度值处的所述位置，得到第二采样颜色；
根据所述第一采样颜色和所述第二采样颜色，融合得到第三采样颜色；
以所述第二立体图像中对应的所述位置为起点，根据所述对应的所述位置所属的光线对所述第二立体图像进行采样至光线终点，得到采样结果；
将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色。
2.根据权利要求1所述的图像融合方法，其特征在于，所述第一立体图像和所述第二立体图像分别为最大密度投影图像和体绘制图像。
3.根据权利要求1所述的图像融合方法，其特征在于，所述根据对所述第一立体图像的每根光线进行积分的结果，获取所述第一立体图像的最大灰度值处的位置和第一采样颜色，包括：
根据对所述第一立体图像的每根光线进行积分的结果，确定所述第一立体图像的最大灰度值；
确定所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
4.根据权利要求3所述的图像融合方法，其特征在于，所述根据对所述第一立体图像的每根光线进行积分的结果，确定所述第一立体图像的最大灰度值，包括：
遍历所述每根光线上的所有体素；
根据遍历结果，确定最大灰度值对应的体素，其中，所述体素的位置和采样颜色即为所述最大灰度值处在所述第一立体图像中所处的所述位置和对应的所述第一采样颜色。
5.根据权利要求1所述的图像融合方法，其特征在于，所述以所述对应的所述位置为起点，根据所述对应的所述位置所属的光线对所述第二立体图像进行采样至光线终点，包括：
以对应的所述位置为起点，在所属的光线上的每个采样步长对所述第二立体图像进行采样；
所述将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色，包括：
将对所述每个采样步长的采样结果逐一融合至所述第三采样颜色，得到所述第四采样颜色。
6.根据权利要求5所述的图像融合方法，其特征在于，所述每个采样步长大于零个体素。
7.一种图像融合系统，其特征在于，包括：
第一获取单元，获取第一立体图像和第二立体图像；
第二获取单元，根据对所述第一立体图像的每根光线进行积分的结果，获取所述第一立体图像的最大灰度值处的位置和第一采样颜色；
第一采样单元，在所述第二立体图像中采样至对应所述第一立体图像的最大灰度值处的所述位置，得到第二采样颜色；
第一融合单元，根据所述第一采样颜色和所述第二采样颜色，融合得到第三采样颜色；
第二采样单元，以所述第二立体图像中对应的所述位置为起点，根据所述对应的所述位置所属的光线对所述第二立体图像进行采样至光线终点，得到采样结果；
第二融合单元，将所述采样结果与所述第三采样颜色进行融合，得到融合图像对应的第四采样颜色。
8.根据权利要求7所述的图像融合系统，其特征在于，所述第一立体图像和所述第二立体图像分别为最大密度投影图像和体绘制图像。
9.一种医疗设备，其特征在于，包括如权利要求7或8所述的图像融合系统。
10.一种图像融合终端，其特征在于，所述图像融合终端包括处理器以及存储器，所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述图像融合终端实现如权利要求1至6中任一项所述的方法。
CN201810677958.2A 2018-06-27 2018-06-27 图像融合方法及系统、医疗设备和图像融合终端 Active CN108876783B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810677958.2A CN108876783B (zh) 2018-06-27 2018-06-27 图像融合方法及系统、医疗设备和图像融合终端
US16/455,708 US10885700B2 (en) 2018-06-27 2019-06-27 Method and system for fusing image data
US17/140,152 US11200727B2 (en) 2018-06-27 2021-01-04 Method and system for fusing image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810677958.2A CN108876783B (zh) 2018-06-27 2018-06-27 图像融合方法及系统、医疗设备和图像融合终端

Publications (2)

Publication Number Publication Date
CN108876783A true CN108876783A (zh) 2018-11-23
CN108876783B CN108876783B (zh) 2021-02-05

Family

ID=64295114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810677958.2A Active CN108876783B (zh) 2018-06-27 2018-06-27 图像融合方法及系统、医疗设备和图像融合终端

Country Status (2)

Country Link
US (2) US10885700B2 (zh)
CN (1) CN108876783B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
CN115514885B (zh) * 2022-08-26 2024-03-01 燕山大学 基于单双目融合的远程增强现实随动感知系统及方法
CN117456135A (zh) * 2023-10-24 2024-01-26 济南伊特网络信息有限公司 基于智能手机摄像头的实时3d模型与实景融合系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903141A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于不透明度加权的多地震属性融合纹理映射体绘制方法
CN103366394A (zh) * 2013-06-27 2013-10-23 浙江工业大学 医学体数据特征抽象的直接体绘制方法
CN103745495A (zh) * 2014-02-08 2014-04-23 黑龙江八一农垦大学 基于医学体数据的体绘制方法
US20140294266A1 (en) * 2010-06-04 2014-10-02 Leica Biosystems Imaging, Inc. System and Method To Determine Slide Quality of a Digitized Microscope Slide
CN104394309A (zh) * 2014-12-16 2015-03-04 中国科学院国家天文台 一种图像稳定的超分辨率成像系统及方法
US20150199585A1 (en) * 2014-01-14 2015-07-16 Samsung Techwin Co., Ltd. Method of sampling feature points, image matching method using the same, and image matching apparatus
CN104851095A (zh) * 2015-05-14 2015-08-19 江南大学 基于改进型形状上下文的工件图像稀疏立体匹配方法
CN105787919A (zh) * 2014-12-23 2016-07-20 清华大学 一种安检ct三维图像的操作方法和装置
CN106408643A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于图像空间的图像景深模拟方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4421016B2 (ja) * 1999-07-01 2010-02-24 東芝医用システムエンジニアリング株式会社 医用画像処理装置
CN1658796A (zh) * 2002-06-03 2005-08-24 株式会社日立医药 多层面x线ct装置
US7117026B2 (en) * 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
US7439974B2 (en) * 2005-02-09 2008-10-21 Siemens Medical Solutions Usa, Inc. System and method for fast 3-dimensional data fusion
JP4267598B2 (ja) * 2005-07-11 2009-05-27 ザイオソフト株式会社 画像融合処理方法、画像融合処理プログラム、画像融合処理装置
US7889194B2 (en) * 2006-03-30 2011-02-15 Siemens Medical Solutions Usa, Inc. System and method for in-context MPR visualization using virtual incision volume visualization
CN102104784A (zh) * 2010-04-28 2011-06-22 梁威 一种大数据量的像素集窗宽窗位调节方法
JP5978516B2 (ja) * 2013-01-28 2016-08-24 株式会社日立製作所 Ｘ線ｃｔ装置及び画像再構成方法
US10008026B2 (en) * 2013-07-19 2018-06-26 Toshiba Medical Systems Corporation Apparatus for, and method of, rendering image data
US10002457B2 (en) * 2014-07-01 2018-06-19 Toshiba Medical Systems Corporation Image rendering apparatus and method
US9984493B2 (en) * 2015-03-09 2018-05-29 Siemens Healthcare Gmbh Method and system for volume rendering based on 3D image filtering and real-time cinematic rendering
US9761042B2 (en) * 2015-05-27 2017-09-12 Siemens Healthcare Gmbh Method for streaming-optimized medical raytracing
DE102016200225B4 (de) * 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils
US9875569B2 (en) * 2016-02-16 2018-01-23 Siemens Healthcare Gmbh Unified 3D volume rendering and maximum intensity projection viewing based on physically based rendering
US10339699B2 (en) * 2017-06-07 2019-07-02 Siemens Healthcare Gmbh Adaptive usage of available storage for accelerated volume rendering
US10265138B2 (en) * 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
CN116741352A (zh) * 2017-11-24 2023-09-12 佳能医疗系统株式会社 医用数据处理装置、磁共振成像装置及学习完毕模型生成方法
US10665007B2 (en) * 2018-01-15 2020-05-26 Siemens Healthcare Gmbh Hybrid interactive mode for rendering medical images with ray tracing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294266A1 (en) * 2010-06-04 2014-10-02 Leica Biosystems Imaging, Inc. System and Method To Determine Slide Quality of a Digitized Microscope Slide
CN102903141A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于不透明度加权的多地震属性融合纹理映射体绘制方法
CN103366394A (zh) * 2013-06-27 2013-10-23 浙江工业大学 医学体数据特征抽象的直接体绘制方法
US20150199585A1 (en) * 2014-01-14 2015-07-16 Samsung Techwin Co., Ltd. Method of sampling feature points, image matching method using the same, and image matching apparatus
CN103745495A (zh) * 2014-02-08 2014-04-23 黑龙江八一农垦大学 基于医学体数据的体绘制方法
CN104394309A (zh) * 2014-12-16 2015-03-04 中国科学院国家天文台 一种图像稳定的超分辨率成像系统及方法
CN105787919A (zh) * 2014-12-23 2016-07-20 清华大学 一种安检ct三维图像的操作方法和装置
CN104851095A (zh) * 2015-05-14 2015-08-19 江南大学 基于改进型形状上下文的工件图像稀疏立体匹配方法
CN106408643A (zh) * 2016-08-31 2017-02-15 上海交通大学 一种基于图像空间的图像景深模拟方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU, BIN 等: "Research of X-ray Automatic Image Mosaic Method", 《MIPPR 2013: PARALLEL PROCESSING OF IMAGES AND OPTIMIZATION AND MEDICAL IMAGING PROCESSING》 *
朱峥嵘: "基于ITK的医学图像配准系统平台设计与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN108876783B (zh) 2021-02-05
US10885700B2 (en) 2021-01-05
US11200727B2 (en) 2021-12-14
US20210158604A1 (en) 2021-05-27
US20200005520A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
US10692272B2 (en) System and method for removing voxel image data from being rendered according to a cutting region
US10092191B2 (en) Joint visualization of 3D reconstructed photograph and internal medical scan
CN104299222B (zh) 医用图像处理装置以及医用图像处理方法
US9865079B2 (en) Virtual endoscopic image generated using an opacity curve
KR101579111B1 (ko) 영상 진단 방법, 장치 및 기록매체
KR101728044B1 (ko) 의료 영상을 디스플레이 하기 위한 방법 및 장치
JP2007537770A (ja) 内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法
KR20150074304A (ko) 의료 영상 정보를 제공하는 방법 및 그 장치
CN111540025A (zh) 预测用于图像处理的图像
CN111598989B (zh) 一种图像渲染参数设置方法、装置、电子设备及存储介质
CN108876783A (zh) 图像融合方法及系统、医疗设备和图像融合终端
US20220343589A1 (en) System and method for image processing
US10013778B2 (en) Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus
CN107705350B (zh) 医学图像生成方法、装置及设备
KR20230159696A (ko) 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법 및 시스템
KR102111707B1 (ko) 렌더링을 수행하기 위한 방법 및 시스템
KR101659959B1 (ko) 의료 영상 정보를 제공하는 방법 및 그 장치
CN109360233A (zh) 图像融合方法、装置、设备及存储介质
CN100583161C (zh) 用于显示以立体数据组成像的对象的方法
Turlington et al. New techniques for efficient sliding thin-slab volume visualization
US11259782B2 (en) Medical imaging data processing apparatus and method
US20150320507A1 (en) Path creation using medical imaging for planning device insertion
US20110285695A1 (en) Pictorial Representation in Virtual Endoscopy
CN106296707A (zh) 医学图像处理方法及装置
CN110546684B (zh) 时变数据的定量评估

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201807 Shanghai city Jiading District Industrial Zone Jiading Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co., Ltd

Address before: 201807 Shanghai city Jiading District Industrial Zone Jiading Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant