CN108701220B - 用于处理多模态图像的系统和方法 - Google Patents

用于处理多模态图像的系统和方法 Download PDF

Info

Publication number
CN108701220B
CN108701220B CN201780009714.0A CN201780009714A CN108701220B CN 108701220 B CN108701220 B CN 108701220B CN 201780009714 A CN201780009714 A CN 201780009714A CN 108701220 B CN108701220 B CN 108701220B
Authority
CN
China
Prior art keywords
images
anatomical portion
point cloud
cranium
cranial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780009714.0A
Other languages
English (en)
Other versions
CN108701220A (zh
Inventor
余良吟
刘明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108701220A publication Critical patent/CN108701220A/zh
Application granted granted Critical
Publication of CN108701220B publication Critical patent/CN108701220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10084—Hybrid tomography; Concurrent acquisition with multiple different tomographic modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

在此公开了一种用于处理多模态图像的系统和方法的各方面。根据实施例，所述系统包括产生结构化点云的图像处理装置，所述结构化点云表示解剖部分的边缘点。所述结构化点云是基于未结构化点云的收缩包裹到所述解剖部分的边界来产生的。执行扩散滤波以使与所述结构化点云相对应的边缘点扩张，以将所述结构化点云上的边缘点相互连接。针对所述解剖部分基于所述扩散滤波创建掩模。

Description

用于处理多模态图像的系统和方法
相关申请的交叉引用/通过引用合并
无
技术领域
本公开的各种实施例涉及多模态图像的处理。更具体地，本公开的各种实施例涉及与对象的解剖部分相关联的多模态图像的处理。
背景技术
医学成像技术和相关联的传感器或装置的领域中的进步已使得可以使用于临床分析和医学目的的身体的内部可视化。不同的模态(例如计算机断层扫描(CT)扫描仪和磁共振成像(MRI)机器)提供了所关注的解剖学部分的不同类型的医学图像。这种不同类型的图像被称为多模态图像。同一对象的同一解剖学部分(例如颅部)的多模态图像可以提供不同的可视化呈现和取决于所使用的模态的变化的信息。由于不同的特性，例如不同的成像传感器的结构差别、分辨率差别、和/或临床用途差别，可能难以配准这种多模态图像。所述多模态图像也具有至少一些共同的信息内容，如果精确地定位和计算所述共同的信息内容，则即使对于从不同的传感器获得的多模态图像也可以实现配准。因此，可能需要先进的技术和/或系统来处理这种多模态图像，以便以改进的精确度产生特定的对象的一个或多个解剖学部分的增强的可视化。这种增强的可视化可以由用户例如医师实现，以用于诊断目的和/或用于提供外科手术中的辅助。
对于本领域的技术人员而言，通过将所描述的系统与本申请的剩余部分中提出的并参照附图的本公开的一些方面相比较，常规的传统方法的另外的限制和缺点将变得明显。
发明内容
如同在权利要求中更完整地提出的，提供了一种基本上如附图中至少之一所示的和/或结合附图中至少之一描述的用于处理多模态图像的方法和系统。
从本公开的下面的详细描述的回顾中，连同附图一起，可以认识到本公开的这些和其它特征和优点，在附图中相似的附图标记始终表示相似的部分。
附图说明
图1是示出了根据本公开的实施例的用于处理多模态图像的网络环境的框图；
图2示出了根据本公开的实施例的用于处理多模态图像的示例性图像处理装置的框图；
图3A至3F总体上示出了根据本公开的实施例的用于实现所述用于处理多模态图像的系统和方法的示例性场景；
图4示出了用于实现根据本公开的实施例的用于处理多模态图像的示例性方法的流程图。
具体实施方式
在所公开的用于处理多模态图像的系统和方法中可以发现下面描述的实现。本公开的示例性方面可以包括通过图像处理装置产生表示解剖学部分的边缘点的结构化点云(structured point cloud)。可以基于非结构化点云的收缩包裹(shrink-wrapping)到所述解剖学部分的边界来产生所述结构化点云。可以执行扩散滤波以使与所述结构化点云相对应的边缘点扩张，以将所述结构化点云上的所述边缘点相互连接。可以根据所述扩散滤波针对所述解剖学部分产生掩模(mask)。
根据实施例，所述解剖部分可以对应于对象的颅部、膝盖骨部分、或对象的其它解剖部分。可以从多个医学成像装置接收多模态图像。所接收的多模态图像可以对应于与对象的所述解剖部分相关联的不同的未配准(unregistered)图像的集合。所述多个多模态图像可以对应于X光计算机断层扫描(CT)、磁共振成像(MRI)、磁共振血管造影术(MRA)、液体衰减反转恢复(FLAIR)、和/或正电子发射断层扫描(PET)。
根据实施例，可以利用第一图像集合来检测对象的解剖部分的体积边缘(volumetric edge)。所述第一图像集合可以从自不同视角拍摄所述解剖部分的多个医学成像装置的至少之一获得。
根据实施例，可以基于所述多模态图像的配准来计算所述解剖部分的一个或多个表面层。可以针对所述对象的解剖部分的相关联的多模态图像中重叠的结构来计算交互信息。可以针对包含所计算的一个或多个表面层中的平滑梯度的重叠结构来测量共现信息(co-occurrence information)的量，以计算所述交互信息。根据实施例，可以利用本领域中已知的梯度递减技术来优化所计算的交互信息。
根据实施例，可以通过与其它表面层相比在所计算的一个或多个表面层中的一个表面层周围应用较高的空间权重来修改所计算的交互信息。所述一个表面层可以对应于颅部表面。根据实施例，可以基于所创建的掩模从MRI数据识别与所述一个表面层相关联的颅部结构信息。
根据实施例，可以产生所述解剖部分的多个多维图形视图。所产生的多个多维图形视图可以包括第一视图集合，所述第一视图集合还包括与所述一个表面层相关联的所识别的颅部结构信息。所产生的多个多维图形视图还可以包括第二视图集合，所述第二视图集合还包括所识别的颅部结构信息以及底层的组织信息，所述组织信息对应于其它的表面层。根据实施例，所产生的多个多维图形视图可以对应于所述解剖部分的三维(3D)视图的一个或多个透视图。
根据本公开的示例性方面，可以产生表示颅部的边缘点的结构化点云。针对颅部的结构化点云可以基于非结构化点云的收缩包裹到所述颅部的边界来产生。可以针对与所述颅部相关联的多模态图像中的重叠的多个结构计算交互信息。所述颅部的边界对应于所述多个重叠的结构之一。所述计算的交互信息可以通过与所述颅部的其它底层的大脑表面层相比在所述颅部的颅表面层周围应用较高的空间权重来计算。所述颅部的所述颅表面层和所述底层的大脑表面层可以基于所述多模态图像中的所述颅部的骨结构的对准来计算。
图1是示出了根据本公开的实施例的用于处理多模态图像的网络环境的框图。参照图1，示出了示例性的网络环境100。网络环境100可以包括图像处理装置102、多个医学成像装置104、多模态图像106、服务器108、通信网络110、一个或多个用户，例如人类对象112、以及医学助理114。所述多模态图像106可以包括诸如人类对象112之类的对象的解剖部分的不同的未配准图像的集合106a至106e。图像处理装置102可以经由通信网络110可通信地耦合到所述多个医学成像装置104和所述服务器108。
图像处理装置102可以包括从所述多个医学成像装置104获得的可被配置用于处理多模态图像106的适当的逻辑、电路、接口、和/或代码。根据实施例，图像处理装置102可以被配置用于显示解剖部分的多个多维的(例如二维(2D)或三维(3D))图形视图。所述解剖部分(例如颅部)的多个多维的图形视图可以是多模态图像106的处理的结果。根据实施例，这种显示可以实时地或接近于实时地发生，而外科手术或诊断过程在诸如人类对象112之类的对象的解剖区域上执行。根据实施例，按照用户定义的配置设置，这种显示也可以在对象的术前、术中或术后状态中发生。图像处理装置102的示例可以包括但不限于与计算机辅助外科手术系统或机器人辅助外科手术系统相关联的用户终端或电子装置、医疗装置、电子外科手术仪器、平板计算机、笔记本电脑、显示装置、和/或计算装置。
多个医学成像装置104可以对应于用于产生诸如人类对象112之类的对象的内部结构或解剖部分的视觉表示的诊断设备。来自所述诊断设备的视觉表示可以用于临床分析和医疗干预。多个医学成像装置104的示例可以包括但不限于X光计算机断层扫描(CT)扫描仪、磁共振成像(MRI)扫描仪、磁共振血管造影术(MRA)扫描仪、基于液体衰减反转恢复(FLAIR)的扫描仪、和/或正电子发射断层扫描(PET)扫描仪。
多模态图像106对应于从诸如多个医学成像装置104之类的多模态获得的图像和/或数据。例如，多模态图像106可以包括对象的诸如颅部之类的解剖部分的不同的未配准图像的集合106a至106e。多模态图像106可以对应于从MRI多模态获得的图像106a或数据的第一集合。多模态图像106还可以对应于从基于CT的医学成像技术获得的图像106b的第二集合。类似地，多模态图像106也可以包括从基于MRA的医学成像技术获得的图像106c的第三集合、从基于FLAIR的医学成像技术获得的图像106d的第四集合、以及最终的从基于PET的医学成像技术获得的图像106e的第五集合。
服务器108可以包括可被配置用于接收和中心存储从多个医学成像装置104获得的多模态图像106及相关联的数据的适当的逻辑、电路、接口和/或代码。根据实施例，服务器108可以被配置用于将存储的多模态图像106提供给图像处理装置102。根据实施例，图像处理装置102可以从多个医学成像装置104直接地接收多模态图像106。根据实施例，服务器108和图像处理装置102可以是计算机辅助外科手术系统的部分。根据实施例，利用本领域的技术人员众所周知的若干技术，服务器108可以被实现为多个基于云的资源。服务器108的示例可以包括但不限于数据库服务器、文件服务器、应用服务器、网页服务器、和/或其组合。
通信网络110可以包括图像处理装置102、多个医学成像装置104和/或服务器108通过其可以相互通信的介质。通信网络110可以是有线的或无线的通信网络。通信网络110的示例可以包括但不限于局域网(LAN)、无线局域网(WLAN)、云网络(cloud network)、长期演进(LTE)网络、普通老式电话业务(POTS)、城域网(MAN)、和/或因特网。根据各种有线的和无线的通信协议，网络环境100中的各种业务可以被配置用于连接到通信网络110。这种有线的和无线的通信协议的示例可以包括但不限于传输控制协议和因特网协议(TCP/IP)、用户数据报协议(UDP)、超级文本传输协议(HTTP)、文件传输协议(FTP)、紫蜂(ZigBee)、边缘(EDGE)、红外(IR)、IEEE 802.11、802.16、蜂窝通信协议、和/或蓝牙(BT)通信协议。
在操作中，图像处理装置102可以被配置用于接收来自多个医学成像装置104的多模态图像106。所接收的多模态图像106可以对应于与诸如人类对象112之类的对象的解剖部分相关联的不同的未配准的图像的集合106a至106e。根据实施例，所述解剖部分可以是人类对象112的颅部。根据实施例，所述解剖部分可以是膝盖骨部分、或人类对象112的其它解剖部分。具有本领域的普通技术的人将理解，本公开的范围不限于如同所示出的所公开的用于处理人类对象112的解剖部分的多模态图像106的系统和方法的实现。根据实施例，可以根据需要来处理动物对象的解剖部分的多模态图像106，而不背离本公开的范围。
多模态图像106可以在不同的未配准图像的集合106a至106e中展现结构、分辨率、和/或临床使用差别。例如，当在第一图像集合106a、第二图像集合106b、以及第三图像集合106c当中执行比较时，可以观察到结构差别。第一图像集合106a(从MRI获得)可以提供用于诸如颅部之类的解剖部分的组织和骨结构信息。第二图像集合106b(从基于CT的医学成像技术获得)可以提供解剖部分的骨结构信息而不是组织信息。第三图像集合106c也可以包括同一解剖部分的血管信息，例如同一对象的脑表面结构。
在另一示例中，第五图像集合106e的分辨率(从基于PET的医学成像技术获得)与其它图像集合(例如第四图像集合106d(从FLAIR获得))相比可以较低。第一图像集合106a(从MRI获得)和/或第二图像集合106b(从基于CT的医学成像技术获得)可以具有与第五图像集合106e的分辨率相比较高的分辨率。因此分辨率差别也可以在多模态图像16中观察到。此外，第一图像集合106a(从MRI获得)可以用于计划外科手术的目的。相反地，第四无限集合106d(从FLAIR获得)和第五图像集合106e(从PET获得)通常用于诊断目的。因此，临床使用差别也可以在多模态图像106中观察到。
根据实施例，为了从不同的模态(例如CT和MRI)配准多模态图像106，多模态图像106必须包括重叠的内容。在多模态图像106的不同的未配准图像的集合106a至106e中的结构、分辨率和/或临床使用的差别可以使得配准成为困难的任务。根据实施例，图像处理装置102可以被配置用于跨多模态图像106地定位公共信息内容。至少可以识别和利用在从不同模态获得的两个或更多个图像集合中对相同对象不变的基准点，以用于配准所述多模态图像106。例如，对于配准，图像处理装置102可以被配置用于使多模态图像106(可包括从同一对象的CT扫描和MRI中获得的数据)中的颅部的骨结构对准。对于同一对象不变的公共信息内容可以被跨不同图像模态地识别和隔离，作为颅部的骨结构的空间对准。专注于特定结构(例如解剖学的颅部的骨结构)可以允许图像内容的非重叠片段被排除，这提高了配准的精确性。
根据实施例，图像处理装置102可以被配置用于检测诸如人类对象112之类的对象的解剖部分的体积边缘。解剖部分的体积边缘可以利用从自不同视角拍摄所述解剖部分的所述多个医疗成像装置104中的至少一个获得的数据来检测。根据实施例，所述数据可以是从MRI获得的诸如颅部之类的解剖部分的第一图像集合106a。
图像处理装置102可以被配置用于基于所识别的基准点来配准所述多模态图像，例如不同的图像集合106a至106e。根据实施例，图像处理装置102可以被配置用于基于所述多模态图像的配准来计算所述解剖部分的一个或多个表面层。例如图像处理装置102可以基于多模态图像106中的颅部的骨结构的对准来计算颅部分的颅表面层和底层大脑表面层。
根据实施例，图像处理装置102可以被配置用于针对可以与对象的解剖部分相关联的多模态图像106中的重叠结构来计算交互信息。非重叠结构可以被认为孤立点(outlier)。可以针对所计算的一个或多个表面层中的具有平滑梯度的重叠结构来测量共现信息的量。结果可以用于计算所述交互信息。所述用于多模态图像106中的重叠结构的交互信息可以利用以下数学表达式来计算：
Figure BDA0001752810380000081
I(A,B)＝H(A)+H(B)-H(A,B) (2)
H(x)＝-∑ip(xi)logp(xi) (3)
根据表达式(1)，“I(A,B)”对应于与多模态图像106相关联的两个离散随机变量A和B的交互信息。“PAB(a)”可以是随机变量A和B的联合概率分布函数“PA(a)”可以是随机变量A的边缘概率分布函数，“PB(b)”可以是另一随机变量B的边缘概率分布函数。根据表达式(2)，“H(A)”和“H(B)”对应于相关联的多模态图像106的相应的离散随机变量A和B的边缘熵，并且“H(A，B)”对应于离散随机变量A和B的联合熵。根据表达式(3)，香农熵“H(x)”对应于具有与一定数量的多模态图像106相关联的有限样本的可能值{x1，x2，…，xn}的离散随机变量“x”的熵，其中“p(xi)”是离散随机变量“x”中的字符编号“i”的信息概率。香农熵可以测量所述离散随机变量“x”中的不确定性。
根据实施例，图像处理装置102可以被配置用于修改所计算的交互信息。可以通过与其它表面层相比在所计算的一个或多个表面层中的一个表面层(例如颅表面层)周围应用较高的空间权重来修改所计算的交互信息。
根据实施例，图像处理装置102可以被配置用于产生结构化点云(例如颅点云)，其表示解剖部分的边缘点(例如颅表面上的边缘点)。所述结构化点云可以基于未结构化的点云的收缩包裹到所述解剖部分的边界来产生(在示例中在图3C中描述)。根据实施例，所述边界可以对应于所述对象的所述解剖部分(例如颅部)的所检测的体积边缘。
根据实施例，图像处理装置102可以被配置用于执行扩散滤波以使所述结构化点云的边缘点扩张(在图3D中进一步描述)。所述结构化点云的边缘点的扩张可以被执行以使所述结构化点云中的边缘点相互连接。图像处理装置102可以被配置用于基于所述扩散滤波来创建用于解剖部分的掩模。所述掩模可以是使得各种数据(例如解剖部分的MRI数据)的最优使用成为可能的连续表面，以实现从多模态源获得的信息的精确融合。根据扩散滤波的掩模的创建可以是有效的过程。与根据结构化的点云创建多边形或三角形网格结构获得连续表面相比，根据扩散滤波的掩模的创建可以是较少计算强化的操作。此外，在多边形或三角形网格结构中，可能需要与所创建的掩模相比更高的存储空间。
根据实施例，图像处理装置102可以被配置用于根据MRI数据基于所创建的掩模进一步识别与所述一个表面层(例如颅表面层)相关联的颅结构信息。图像处理装置102可以被配置用于将来自MRI数据和/或其它计算的和修改的交互信息的识别的颅结构信息应用于所创建的掩模之上和/或之内，以产生增强的视觉表示。
图像处理装置102可以被配置用于根据需要产生所述解剖部分的多个多维图形视图，例如三维视图，所述多维图形视图可以用于对解剖部分计划或执行外科手术，或用于解剖部分中的疾病的增强的诊断。基于手术状态(例如术前、术中或术后)和/或接收的用户输入，可以产生所述解剖部分的不同的交互图形视图。根据实施例，可以通过医疗助理114基于来自配准的执业医师的指令来预定义或实时地或接近于实时地改变用户配置。用户配置可以用于根据需要产生所述解剖部分的不同的多个多维图形视图。因此，所产生的多个多维图形视图可以是用户控制的和交互式的，并且根据医疗需要可以被改变和可视化。
根据实施例，所产生的多个多维图形视图可以提供来自一个或多个透视图的所述解剖部分的增强的视图。所产生的多个多维图形视图可以包括第一视图集合，所述第一视图集合包括与所述一个表面层(例如所述颅表面层)相关联的识别的颅结构信息。所产生的多个多维图形视图也可以包括第二视图集合，所述第二视图集合包括识别的颅结构信息连同对应于其它表面层的底层组织信息，其它表面层例如当所述解剖部分是颅部时的脑表面结构。所述脑表面结构可以是灰质、白质、室结构、组织结构、丘脑和/或其它组织结构。
图2示出了根据本公开的实施例的用于处理多模态图像的示例性图形处理装置的框图。结合来自图1的元件来说明图2。参照图2，示出了图像处理装置102。图像处理装置102可以包括一个或多个处理器，例如处理器202、存储器204、一个或多个输入/输出(I/O)装置(例如I/O装置206)以及网络接口208。I/O装置206可以包括显示器210。
处理器202可以可通信地耦合到I/O装置206、存储器204和网络接口208。网络接口208可以在处理器202的控制下经由通信网络110与一个或多个服务器(例如服务器108)和/或多个医学成像装置104相通信。
处理器202可以包括可被配置用于执行存储在存储器204中的指令集的适当的逻辑、电路、接口和/或代码。处理器202还可被配置用于处理从多个医学成像装置104或中央装置(例如服务器108)接收的多模态图像106。处理器202可以基于本领域中已知的许多处理器技术来实现。处理器202的示例可以是基于X86的处理器、基于X86-64的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、中央处理器单元(CPU)、显式并行指令计算(EPIC)处理器、超长指令字(VLIW)处理器、和/或其它的处理器或电路。
存储器204可以包括可被配置用于存储由处理器202执行的机器代码和/或指令集的适当的逻辑、电路和/或接口。存储器204可以被配置用于存储来自与对象(例如人类对象112)的生理数据或医疗历史相关联的一个或多个用户概况的信息。存储器204还可以被配置用于存储用户定义的配置设置，以产生所述颅部的多个多维图形视图。所述颅部的多个多维图形视图可以显示在显示器210上呈现的用户接口(UI)上。UI可以是三维观看器或二维观看器。存储器204还可以被配置用于存储操作系统和相关联的应用。存储器204的实现的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、中央处理器(CPU)缓存、和/或安全数字(SD)卡。
I/O装置206可以包括可被配置用于接收来自用户的输入并向用户提供输出的适当的逻辑、电路、接口和/或代码，用户例如医疗助理114。I/O装置206可以包括可被配置用于便利于图形处理装置102与用户(例如医疗助理114)之间的通信的各种输入和输出装置。输入装置的示例可以包括但不限于触摸屏、摄像头、键盘、鼠标、操纵杆、麦克风、运动传感器、光传感器和/或对接站(docking station)。输出装置的示例可以包括但不限于显示器210、投影仪屏幕和/或扬声器。
网络接口208可以包括可被配置用于经由通信网络110(如图1所示)与一个或多个服务器(例如服务器108)和/或多个医疗成像装置104相通信的适当的逻辑、电路、接口和/或代码。网络接口208可以实现用于支持图形处理装置102与图像网络110之间的有线的或无线的通信的已知的技术。网络接口208可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码解码器(CODEC)芯片组、用户识别模块(SIM)卡、和/或本地缓冲器。网络接口208可以经由有线的或无线的通信与图像网络110进行通信。无线通信可以使用诸如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、长期演进(LTE)、无线保真(Wi-Fi)(例如IEEE802.11a、IEEE802.11b、IEEE802.11g和/或IEEE802.11n)、因特网语音(VoIP)、全球微波互联接入(Wi-MAX)、用于电子邮件的协议、即时通讯、和/或短消息服务(SMS)之类的通信标准、协议和技术中的一个或多个。
显示器210可以通过若干已知的技术来实现，例如基于电子射线管(CRT)的显示器、液晶显示器(LCD)、基于发光二极管(LED)的显示器、有机LED显示器技术、视网膜显示器技术等。根据实施例，显示器210可以能够接收来自用户(例如医疗助理114)的输入。在这种场景中，显示器210可以是使得用户能够提供输入的触摸屏幕。所述触摸屏幕可以对应于电阻式触摸屏、电容式触摸屏或热显示屏中的至少一个。根据实施例，显示器210可以通过虚拟键盘、触针、基于手势的输入、和/或基于触摸的输入来接收所述输入。在此情况下，所述输入装置可以被集成在显示器210内部。根据实施例，所述图像处理装置102可以包括与显示器210相分离的二级输入装置，所述显示器210可以是基于触摸屏的显示器。
在操作中，处理器202可以被配置用于利用网络接口208接收来自多个医学成像装置104的多模态图像106。所接收的多模态图像106可以对应于与诸如人类对象112之类的对象的颅部相关联的不同的未配准图像的集合106a至106e。在图3A至3F中通过作为解剖部分的人类对象112的颅骨部分的示例已经进一步描述了处理器202所执行的操作。尽管如此，所述解剖部分也可以是对象的膝盖骨部分或其它解剖部分，其多模态图像106可以从所述多个医学成像装置104获得，而非限定本公开的范围。
图3A至3F总体上示出了根据本公开的实施例的用于实现所公开的用于处理多模态图像的系统和方法的示例性场景。图3A示出了根据本公开的实施例的用于实现所述系统和方法的示例性场景中对对象的颅部的多模态图像接收。结合图1和图2来说明图3A。参照图3A，示出了从多个医学成像装置104(例如分别是MRI扫描仪304a、CT扫描仪304b、MRA扫描仪304c、FLAIR扫描仪304d以及PET扫描仪)接收的相同对象的相同颅部的医学图像302a至302e。还示出了对于医学图像302a至302e而言共同的人类对象112的颅部的骨结构306。
根据示例性场景，颅部的医学图像302a至302e可以对应于多模态图像106。医学图像302a可以是人类对象112的颅部的MRI扫描仪304a的输出。可以从MRI扫描仪304a从不同的视角获得大量医学图像，可称为第一医学图像集合。所述第一医学图像集合可以对应于第一图像集合106a(图1)。由于医学图像302a表示从一个视角的颅部的视图，因此第一医学图像集合可以表示从不同的视角拍摄的颅部的视图。类似地，医学图像302b可以从CT扫描仪304b获得。医学图像302c可以从MRA扫描仪304c获得。医学图像302d可以从FLAIR扫描仪304d获得，并且最终医学图像302e可以从PET扫描仪304e获得。如上文所述，从多模态源接收的诸如医学图像302a至302e之类的输出可以被存储在中央装置处，例如服务器108。在这种情况下，处理器202可以接收来自服务器108的医学图像302a至302e。根据实施例，医学图像302a至302e可以被存储在存储器204中。
根据实施例，处理器202可以被配置用于处理所接收的医学图像302a至302e。处理器202可以被配置为使相同的人类对象112的相同的颅部的骨结构306对准来用于未配准的医学图像302a至302e的配准。由于骨结构306对于相同的人类对象112是不变的，因此骨结构306可以用作用于初步配准医学图像302a至302e的基准点。处理器202可以被配置用于跨接收的医学图像302a至302e地识别和隔离颅部的骨结构306。这使得可以排除医学图像302a至302e中的骨结构306的非重叠部分或孤立点。
根据实施例，处理器202可以被配置用于利用MRI扫描仪304a从不同的视角拍摄的第一医学图像集合(也称为MRI切片)来检测人类对象112的颅部的体积边缘。换言之，针对来自单个模态(例如MRI扫描仪304a)的同一颅部从各种视角拍摄的不同的医学图像或数据也可以用于基于作为基准点的骨结构306的对准来检测所述颅部的体积边缘。根据实施例，所述颅部的体积边缘可以表示三维空间中的颅部的边界。
图3B示出了基于根据本公开的实施例的用于实现所述系统和方法的示例性场景中的多模态图像的配准来计算的颅部部分的表面层。结合图1、2和3A来说明图3B。参照图3B，示出了基于医学图像302a至302e中的颅部的骨结构306的对准而计算的颅表面层308和大脑表面层310。颅表面层308可以标识颅部的颅表面。大脑表面层310可以包括一个或多个大脑表面结构，例如大脑表面结构、大脑表面结构、血管结构、其它大脑组织信息或脑室结构。
根据实施例，处理器202可以被配置用于基于所述配准来计算颅部的一个或多个表面层。处理器202可以基于医学图像302a至302e(例如多模态图像)中的颅部的骨结构306的对准来计算颅表面层308。根据实施例，处理器202可以基于医学图像302a至302e中的颅部的骨结构的对准来计算颅部的颅表面层308和底层的脑表面层310。根据实施例，第一医学图像集合，例如MRI数据或从一个或两个模态而非所有的多个医学成像装置104获得的数据可以根据需要用于计算所述颅部的所述一个或多个表面层。
根据实施例，处理器202可以被配置用于计算与人类对象112的颅部相关联的医学图像302a至302e中重叠的结构的交互信息。所述交互信息可以根据数学表达式(1)、(2)和/或(3)来计算，如图1中所描述的那样。可以针对所计算的一个或多个表面层(例如颅表面层308和脑表面层310)中的具有平滑梯度的重叠结构来测量共现信息的量，以计算所述交互信息。
根据实施例，处理器202可以被配置用于通过与其它表面层相比在所计算的一个或多个表面层中的一个表面层(例如颅表面层)周围应用较高的空间权重来修改所计算的交互信息。换言之，与相对较不可靠的结构例如脑表面层310的肌肉结构相比，可靠的结构(例如颅表面层308)被施加更大的权重。在可靠的结构周围应用较高的空间权重提高了用于跨医学图像302a至302e的交互信息的计算的精确度。
图3C示出了用于实现根据本公开的实施例的系统和方法的示例性场景中的颅部的掩模的创建。结合图1、2、3A和3B来说明图3C。参照图3C，示出了颅点云312和掩模314。颅点云312对应于所述解剖部分的结构化点云。根据实施例，颅点云312可以表示所述颅部的所检测的体积边缘的边缘点，例如作为点云的颅表面的边界。掩模314可以是从颅点云312产生的连续的结构。掩模314可以表示颅部的颅表面层308。掩模314也可以表示当前的颅状态，例如外科手术期间的颅的开放状态或外科手术的术前或术后阶段中的颅的闭合状态。
根据实施例，处理器202可以被配置用于产生所述结构化点云，例如颅点云312，其表示颅表面上的边缘点。所述结构化点云可以基于未结构化的点云的收缩包裹到颅部的边界来产生。根据实施例，所述颅部的边界可以对应于人类对象112的颅部的检测到的体积边缘。
根据实施例，所述未结构化的点云可以对应于从本领域中已知的3D扫描仪或其它点云产生器(例如激光距离扫描仪(LRS))获得的点云。根据实施例，所述未结构化的点云可以对应于利用来自立体视觉的立体图像或基于可从多个视角拍摄颅部的计算视觉获得的点云。根据实施例，所述未结构化的点云可以对应于从2D医学图像302a至302e创建的点云(颅部的多模态图像)。
根据实施例，处理器202可以被配置用于执行扩散滤波，以使颅点云312的边缘点扩张，以将颅点云312中的边缘点相互连接。处理器202可以被配置用于基于所述扩散滤波创建掩模314。
图3D示出根据本公开的实施例的用于实现所述系统和方法的示例性场景中的示例性颅点云的边缘点的扩散滤波。结合图1、2、3A、3B和3C来说明图3D。参照图3D，示出了颅点云312、点中心316和图形318。
点中心316对应于所示出的颅点云312的点的质心(centroid)。图形318对应于表示Y轴上的滤波强度以及距X轴上的点中心316的距离的扩散滤波，如图所示出的。扩散滤波域可以是在所有三个方向(例如X轴方向、Y轴方向和Z轴方向)上具有相同描述的分布的三维球面，如箭头所示。
根据实施例，处理器202可以被配置用于控制颅表面层308的厚度。基于对扩散滤波的衰减所占用的总时间以及总时间的后续配置的计算，可以控制颅表面层308的厚度。换言之，基于扩散滤波衰减有多快，可以控制颅厚度。根据实施例，所述扩散滤波可以在所述颅点云312的每个点处为中心，并与颅点云312相卷积。相应地，颅点云312的每个点可以扩张以相互交互连接。这种扩张和交互连接可以在所有三个方向例如X方向、Y方向和Z方向上发生，以创建颅部的掩模314。
根据实施例，处理器202可以被配置用于基于所创建的掩模314从MRI数据中识别与颅表面层308相关联的颅结构信息。根据实施例，处理器220可以被配置用于根据数学表达式(1)、(2)和/或(3)基于所计算的交互信息来识别脑表面层310的组织信息，如图1中所描述的。
图3E示出了根据本公开的实施例的用于实现所述系统和方法的示例性场景中的颅部的增强视图的产生。结合图1、2、3A、3B、3C和3D来说明图3E。参照图3E，示出了颅部的增强视图320。
处理器202可以被配置用于利用颅部的MRI数据和所创建的掩模314来产生颅部的增强视图320。根据实施例，可以在用于产生颅部的增强视图3210的所创建的掩模314上应用颅部的MRI数据。所述MRI数据可以是与颅部相关联的所识别的颅结构信息。根据实施例，与颅表面层308相关联的所修改的交互信息和与颅部相关联的其它计算的交互信息可以被进一步利用和应用于所创建的掩模314，以产生颅部的增强视图320。
图3F示出了根据本公开的实施例的用于实现所述系统和方法的示例性场景中的颅部的不同视图。结合图1、2、3A、3B、3C、3D和3E来说明图3F。参照图3F，示出了术前状态中的颅部的第一俯视图322和术中状态中的颅部的第二俯视图324。还示出了颅点云312的第一仰视图326、术中状态中的颅部的第二仰视图328、以及术前状态中的颅部的第三仰视图连同脑组织信息332。
处理器202可以被配置用于产生多个多维图形视图，例如颅部的视图322至332。所产生的多个多维图形视图可以提供从一个或多个视角的颅部的增强视图。所产生的多个多维图形视图可以包括第一视图集合，所述第一视图集合包括与颅表面层308相关联的所识别的颅结构信息。第一俯视图322、第二俯视图324、第一仰视图326和第二仰视图328全部对应于第一视图集合，所述第一视图集合包括与所述颅表面层308相关联的所识别的颅结构信息。
所产生的多个多维图形视图还可以包括第二视图集合，所述第二视图集合包括所识别的颅结构信息连同对应于其它表面层的底层组织信息，例如脑表面层310的脑表面结构。术前状态中的颅部的第三仰视图330连同脑组织信息332对应于包括所识别的颅结构信息连同底层的组织信息的第二视图集合。
处理器202可以被配置用于控制所产生的多个多维图形视图的显示，例如UI上的颅部的2D视图或3D视图。基于从I/O装置206接收的输入，所显示的多个多维图形视图可以是交互的和用户控制的。用户输入可以利用图形处理装置102的显示器210上呈现的UI来接收。响应于所接收的用户输入，例如医学助理114提供的输入，多个多维图形视图的显示可以被改变和更新。UI上的这种颅部的多维图形视图的增强的可视化可以被用户(例如医生)利用，以用于诊断目的和/或提供外科手术中的实时的或接近于实时的辅助。
图4示出了根据本公开的实施例的用于处理多模态图像的示例性方法的实现的流程图。参照图4，示出了流程图400。结合图1、2、3A至3F来描述流程图400。根据流程图400，可以在图像处理装置102中实现所述方法。所述方法在步骤402处开始并进行到步骤404。
在步骤404处，可以接收来自多个医学成像装置104的多模态图像106。所接收的多模态图像106可以对应于与对象(例如人类对象112)的解剖部分相关联的不同的未配准图像106a至106e的集合。所述解剖部分可以是对象的颅部、膝盖骨部分或其它解剖部分。所述对象可以是人类对象112或动物对象(未示出)。在步骤406处，可以利用第一图像集合来检测对象的解剖部分的体积边缘。来自不同的未配准图像的集合的第一图像集合可以从多个医学成像装置104中的自不同视角拍摄所述解剖部分的至少一个(例如MRI扫描仪)获得。
在步骤408处，基于基准点，多模态图像106可以被配准。例如，对于配准，图像处理装置102可以被配置用于使多模态图像106中的颅部的骨结构306(例如从CT扫描和MRI获得的数据)对准。在步骤410处，可以基于多模态图像106(例如医学图像302a至302e)的配准来计算解剖部分的一个或多个表面层。例如，可以基于医学图像302a至302e中的颅部的骨结构306的对准来计算颅部的颅表面层308和底层的脑表面层310。
在步骤412处，与对象(例如人类对象112)的解剖部分相关联的，可以针对多模态图像106中重叠的结构来计算交互信息。可以根据数学表达式(1)、(2)和/或(3)来计算所述交互信息，如图1所示。可以针对所计算的一个或多个表面层中的具有平滑梯度的重叠结构来测量共现信息的量，以计算所述交互信息。在步骤414处，可以通过在所计算的一个或多个表面层中的一个表面层(例如颅表面层308)周围与其它表面层(例如脑表面层310)相比应用较高的空间权重来修改所计算的交互信息。
在步骤416处，可以产生颅部的结构化点云，例如颅点云312(表示边缘点，例如颅表面上的边缘点)。所述结构化点可以基于未配准的点云的收缩包裹到所述解剖部分的边界来产生。在步骤418处，可以执行扩散滤波，以使所述结构化点云的边缘点扩张，以将所述结构化点云的边缘点相互连接。
在步骤420处，可以基于扩散滤波针对所述解剖部分创建例如掩模314。在步骤422处，可以基于所创建的掩模根据MRI数据识别与所述一个表面层(例如颅表面层308)相关联的颅结构信息。
在步骤424处，颅结构信息和/或修改的和计算的交互信息可以被应用于所创建的掩模上。在步骤426处，可以产生颅部的多个多维图形视图，例如3D视图。所产生的多个多维图形视图可以提供所述解剖部分的从一个或多个视角的增强视图。所产生的多个多维图形视图可以包括第一视图集合，所述第一视图集合包括与所述一个表面层(例如颅表面)相关联的所识别的颅结构信息。所产生的多个多维图形视图还可以包括第二视图集合，所述第二视图集合包括所识别的颅结构信息连同与其它表面层(例如脑表面结构)相对应的底层的组织信息。在图3F中已示出和描述了颅部的所产生的多个多维图形视图的示例。控制进行到结束步骤428。
根据本公开的实施例，用于处理多模态图像的系统可以包括图像处理装置102(图1)。图像处理器装置102可以包括一个或多个电路，例如处理器202(图2)。处理器202可以被配置用于基于未结构化的点云的收缩包裹到解剖部分的边界来产生表示解剖部分的边缘点的结构化点云。处理器202还可以被配置用于执行扩散滤波以使对应于所述结构化点云的边缘点扩张，以将所述结构化点云上的边缘点交互连接。处理器202还可以被配置用于基于所述扩散滤波来创建用于所述解剖部分的掩模。
本公开的各个实施例可以提供非瞬时性计算机可读介质和/或存储介质、和/或其上存储有机器代码的非瞬时性机器可读介质和/或存储介质、和/或可被机器和/或计算机执行用于处理多模态图像的指令集合。图像处理装置102中的指令集合可以使得所述机器和/或所述计算机执行包括产生表示解剖部分的边缘点的结构化点云的步骤。所述结构化点云可以基于未结构化的点云的收缩包裹到解剖部分的边界来产生。扩散滤波可以被执行以使与结构化点云相对应的边缘点扩张，以将所述结构化点云上的所述边缘点交互连接。可以基于所述扩散滤波针对所述解剖部分来创建掩模。
本公开可以在硬件或硬件和软件的组合中实现。在至少一个计算机系统中，本公开可以以中心化方式实现，或者以分布式方式实现，其中不同的元件可以散布在若干相互连接的计算机系统周围。可以安装适合于执行在此描述的方法的计算机系统或其它设备。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当所述计算机程序被加载和运行时，可以控制所述计算机系统使得其执行在此描述的方法。本公开可以在包括也执行其它功能的集成电路的部分的硬件中实现。
本公开也可以被嵌入在计算机程序产品中，所述计算机程序产品包括使得在此描述的方法能够实现的所有特性，当所述计算机程序产品被加载在计算机系统中时，其能够执行这些方法。本上下文中的计算机程序意味着指令集的以任何语言、代码或注释的任何表达旨在使得具有信息处理能力的系统直接地或在以下情况中的任一或两者之后执行特定的功能：a)转换为另一语言、代码或注释；b)以不同的材料形式重新产生。
虽然已经参照一定的实施例描述了本公开，但是本领域的技术人员应当理解，可以进行各种变化，并且可以替换等同物，而不背离本公开的范围。此外，可以对本公开的教导进行许多修改以采用特定的情况或材料，而不背离本公开的范围。因此，本公开旨在不限定于所公开的特定实施例，而是本公开将包括落入所附的权利要求的范围内的所有实施例。

Claims (21)

1.一种用于处理多模态图像的系统，所述系统包括：
图像处理装置中的一个或多个电路，被配置用于：
基于未结构化点云的收缩包裹到解剖部分的边界来产生表示所述解剖部分的边缘点的结构化点云；
执行扩散滤波，以使与所述结构化点云相对应的边缘点扩张，以将所述结构化点云上的所述边缘点相互连接；
基于所述扩散滤波创建用于所述解剖部分的掩模；以及
使用来自不同视角的第一图像集合检测所述解剖部分的体积边缘。
2.根据权利要求1所述的系统，其中所述解剖部分对应于对象的颅部、膝盖骨部分或其它解剖部分之一。
3.根据权利要求1所述的系统，其中所述一个或多个电路还被配置用于接收来自多个医学成像装置的所述多模态图像，其中接收的所述多模态图像对应于与对象的所述解剖部分相关联的不同的未配准图像的集合，以及其中多个所述多模态图像对应于X光计算机断层扫描(CT)、磁共振成像(MRI)、磁共振血管造影术(MRA)、液体衰减反转恢复(FLAIR)和正电子发射断层扫描(PET)中的两个或更多个。
4.根据权利要求3所述的系统，其中所述第一图像集合是从自不同视角拍摄所述解剖部分的所述多个医学成像装置中的至少之一获得的。
5.根据权利要求1所述的系统，其中所述一个或多个电路还被配置用于基于所述多模态图像的配准来计算所述解剖部分的一个或多个表面层。
6.根据权利要求5所述的系统，其中所述一个或多个电路还被配置用于计算与对象的所述解剖部分相关联的所述多模态图像中的重叠结构的交互信息，其中针对计算的所述一个或多个表面层中的具有平滑梯度的重叠结构来测量共现信息的量，以计算所述交互信息。
7.根据权利要求6所述的系统，其中所述一个或多个电路还被配置用于通过与其它表面层相比在计算的所述一个或多个表面层中的一个表面层周围应用较高的空间权重来修改计算的交互信息，其中所述一个表面层对应于颅表面。
8.根据权利要求7所述的系统，其中所述一个或多个电路还被配置用于基于创建的掩模根据磁共振成像(MRI)数据来识别与所述一个表面层相关联的颅结构信息。
9.根据权利要求8所述的系统，其中所述一个或多个电路还被配置用于产生所述解剖部分的多个多维图形视图，其中产生的所述多个多维图形视图包括以下中的一个或多个：包括与所述一个表面层相关联的识别的所述颅结构信息的第一视图集合、以及包括识别的所述颅结构信息连同对应于所述其它表面层的底层组织信息和/或血管信息一起的第二视图集合。
10.根据权利要求9所述的系统，其中产生的所述多个多维图形视图对应于来自一个或多个透视图的所述解剖部分的三维视图。
11.一种用于处理多模态图像的系统，所述系统包括：
图像处理装置中的一个或多个电路，被配置用于：
基于未结构化点云的收缩包裹到颅部的边界来产生表示所述颅部的边缘点的结构化点云；
计算与所述颅部相关联的多模态图像中的多个重叠结构的交互信息，其中所述颅部的所述边界对应于所述多个重叠结构之一；以及
通过与所述颅部的底层的大脑表面层相比在所述颅部的颅表面层周围应用较高的空间权重来修改所述计算的交互信息。
12.根据权利要求11所述的系统，其中所述一个或多个电路还被配置用于基于所述多模态图像中的所述颅部的骨结构的对准来计算所述颅部的所述颅表面层和底层的大脑表面层。
13.一种用于处理多模态图像的方法，所述方法包括：
基于未结构化点云的收缩包裹到解剖部分的边界，通过图像处理装置中的一个或多个电路产生表示所述解剖部分的边缘点的结构化点云；
通过所述一个或多个电路执行扩散滤波，以使与所述结构化点云相对应的边缘点扩张，以将所述结构化点云上的所述边缘点相互连接；
通过所述一个或多个电路基于所述扩散滤波来创建用于所述解剖部分的掩模；以及
使用来自不同视角的第一图像集合检测所述解剖部分的体积边缘。
14.根据权利要求13所述的方法，其中所述解剖部分对应于对象的颅、膝盖骨或其它解剖部分之一。
15.根据权利要求13所述的方法，还包括：通过所述一个或多个电路接收来自多个医学成像装置的所述多模态图像，其中接收的所述多模态图像对应于与对象的所述解剖部分相关联的不同的未配准图像的集合，以及其中多个所述多模态图像对应于以下中的两个或更多个：X光计算机断层扫描(CT)、磁共振成像(MRI)、磁共振血管造影术(MRA)、液体衰减反转恢复(FLAIR)和正电子发射断层扫描(PET)。
16.根据权利要求15所述的方法，其中所述第一图像集合是从自不同视角拍摄所述解剖部分的所述多个医学成像装置中的至少一个获得的。
17.根据权利要求13所述的方法，还包括：通过所述一个或多个电路基于所述多模态图像的配准来计算所述解剖部分的一个或多个表面层。
18.根据权利要求17所述的方法，还包括：通过所述一个或多个电路计算与对象的所述解剖部分相关联的所接收的所述多模态图像中的重叠结构的交互信息，其中针对计算的所述一个或多个表面层中的具有平滑梯度的重叠结构来测量共现信息的量，以计算所述交互信息。
19.根据权利要求18所述的方法，还包括：通过所述一个或多个电路，通过与其它表面层相比在计算的所述一个或多个表面层中的一个表面层周围应用较高的空间权重来修改计算的交互信息，其中所述一个表面层对应于颅表面。
20.根据权利要求19所述的方法，还包括通过所述一个或多个电路基于创建的所述掩模根据MRI数据来识别与所述一个表面层相关联的颅结构信息。
21.根据权利要求20所述的方法，还包括：通过所述一个或多个电路产生所述解剖部分的多个多维图形视图，其中产生的所述多个多维图形视图包括以下中的一个或多个：包括与所述一个表面层相关联的识别的所述颅结构信息的第一视图集合，以及包括识别的所述颅结构信息连同对应于所述其它表面层的底层组织信息和/或血管信息的第二视图集合。
CN201780009714.0A 2016-02-05 2017-01-27 用于处理多模态图像的系统和方法 Active CN108701220B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/017,021 US9934586B2 (en) 2016-02-05 2016-02-05 System and method for processing multimodal images
US15/017,021 2016-02-05
PCT/US2017/015315 WO2017136232A1 (en) 2016-02-05 2017-01-27 System and method for processing multimodal images

Publications (2)

Publication Number Publication Date
CN108701220A CN108701220A (zh) 2018-10-23
CN108701220B true CN108701220B (zh) 2022-03-29

Family

ID=59496453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009714.0A Active CN108701220B (zh) 2016-02-05 2017-01-27 用于处理多模态图像的系统和方法

Country Status (4)

Country Link
US (1) US9934586B2 (zh)
JP (1) JP6700622B2 (zh)
CN (1) CN108701220B (zh)
WO (1) WO2017136232A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10034610B2 (en) * 2014-12-24 2018-07-31 Infosys Limited System and method for registration of brain images
US10282871B2 (en) 2017-07-10 2019-05-07 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for pet image reconstruction
EP3651637A4 (en) 2017-07-12 2021-04-28 K2M, Inc. SYSTEMS AND METHODS FOR MODELING SPINE AND TREATMENT OF SPINE BASED ON SPINE MODELS
US11207135B2 (en) 2017-07-12 2021-12-28 K2M, Inc. Systems and methods for modeling spines and treating spines based on spine models
US11000334B1 (en) 2017-07-12 2021-05-11 K2M, Inc. Systems and methods for modeling spines and treating spines based on spine models
US10892058B2 (en) * 2017-09-29 2021-01-12 K2M, Inc. Systems and methods for simulating spine and skeletal system pathologies
US10874460B2 (en) * 2017-09-29 2020-12-29 K2M, Inc. Systems and methods for modeling spines and treating spines based on spine models
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US20210209808A1 (en) * 2018-06-01 2021-07-08 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US10902588B2 (en) 2018-08-13 2021-01-26 International Business Machines Corporation Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
WO2020068788A1 (en) 2018-09-24 2020-04-02 K2M, Inc. System and method for isolating anatomical features in computerized tomography data
CN111386555B (zh) * 2018-10-30 2024-03-29 西安大医集团股份有限公司 图像引导方法及装置、医疗设备、计算机可读存储介质
CN111080536A (zh) * 2019-11-13 2020-04-28 武汉华中天经通视科技有限公司 一种机载激光雷达点云的自适应滤波方法
CN112732956A (zh) * 2020-12-24 2021-04-30 江苏智水智能科技有限责任公司 基于感知多模态大数据的高效查询方法
CN113344992B (zh) * 2021-05-31 2022-06-28 山东大学 一种全局点云配准方法、系统、存储介质及设备
WO2022265551A1 (en) * 2021-06-18 2022-12-22 Hjn Sverige Ab Multimodal modelling system
KR20240018722A (ko) * 2022-08-02 2024-02-14 니어브레인(주) 뇌혈류 데이터를 연산하는 방법 및 뇌혈류 데이터를 연산하기 위한 신경망 모델의 학습 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775399B1 (en) * 1999-11-17 2004-08-10 Analogic Corporation ROI segmentation image processing system
CN101320485A (zh) * 2008-06-03 2008-12-10 东南大学 一种基于立体匹配的人脸三维模型获取方法
US8463021B2 (en) * 2010-09-16 2013-06-11 Indian Institute Of Technology Kanpur Four dimensional reconstruction and characterization system
CN103180864A (zh) * 2011-04-12 2013-06-26 索尼公司 数字病理图像中的颜色像素数据的有效表达和处理的方法
CN104517316A (zh) * 2014-12-31 2015-04-15 中科创达软件股份有限公司 一种三维物体建模方法及终端设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466848B2 (en) * 2002-12-13 2008-12-16 Rutgers, The State University Of New Jersey Method and apparatus for automatically detecting breast lesions and tumors in images
US20050088515A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Camera ring for three-dimensional (3D) surface imaging
CN1299642C (zh) 2003-12-23 2007-02-14 中国科学院自动化研究所 一种基于互信息敏感区域的多模态医学图像配准方法
US7394530B2 (en) * 2004-03-30 2008-07-01 Budd Gerald W Surface inspection technology for the detection of porosity and surface imperfections on machined metal surfaces
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
WO2006121410A1 (en) * 2005-05-11 2006-11-16 Agency For Science, Technology And Research Method, apparatus and computer software for segmenting the brain from mr data
US8000941B2 (en) 2007-12-30 2011-08-16 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for surface reconstruction from an unstructured point set
US8979871B2 (en) 2009-08-13 2015-03-17 Monteris Medical Corporation Image-guided therapy of a tissue
US9004757B2 (en) * 2010-03-24 2015-04-14 PaloDEx Grou Oy Systems, assemblies, computer readable media and methods for medical imaging
CN103247045B (zh) * 2013-04-18 2015-12-23 上海交通大学 一种从多视图中得到人造场景主方向及图像边缘的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775399B1 (en) * 1999-11-17 2004-08-10 Analogic Corporation ROI segmentation image processing system
CN101320485A (zh) * 2008-06-03 2008-12-10 东南大学 一种基于立体匹配的人脸三维模型获取方法
US8463021B2 (en) * 2010-09-16 2013-06-11 Indian Institute Of Technology Kanpur Four dimensional reconstruction and characterization system
CN103180864A (zh) * 2011-04-12 2013-06-26 索尼公司 数字病理图像中的颜色像素数据的有效表达和处理的方法
CN104517316A (zh) * 2014-12-31 2015-04-15 中科创达软件股份有限公司 一种三维物体建模方法及终端设备

Also Published As

Publication number Publication date
JP2019512279A (ja) 2019-05-16
JP6700622B2 (ja) 2020-05-27
US9934586B2 (en) 2018-04-03
CN108701220A (zh) 2018-10-23
US20170228896A1 (en) 2017-08-10
WO2017136232A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
CN108701220B (zh) 用于处理多模态图像的系统和方法
US9990744B2 (en) Image registration device, image registration method, and image registration program
US9786058B2 (en) Method and system for segmentation of vascular structure in a volumetric image dataset
US8928318B2 (en) MRI apparatus and method for generating automatically positioned 2D slice images of heart tissue from acquired 3D heart image data
US10002424B2 (en) Image processing system and method to reconstruct a three-dimensional (3D) anatomical surface
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
JP2014512229A (ja) 臓器および解剖学的構造の画像セグメンテーション
US20180064409A1 (en) Simultaneously displaying medical images
EP3025303A1 (en) Multi-modal segmentation of image data
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
EP2541501B1 (en) Shape data generation method and apparatus
CN108601512B (zh) 在存在组织变形的情况下提供外科手术辅助的系统和方法
EP3516621A1 (en) Apparatus for adaptive contouring of a body part
WO2020031071A1 (en) Internal organ localization of a subject for providing assistance during surgery
US9727965B2 (en) Medical image processing apparatus and medical image processing method
US11138736B2 (en) Information processing apparatus and information processing method
WO2020094277A1 (en) Hypersurface reconstruction of microscope view
JP5989498B2 (ja) 画像処理装置及びプログラム
KR20230066526A (ko) 이미지 처리 방법, 장치, 컴퓨팅 디바이스 및 저장 매체
JP2023096807A (ja) 画像処理方法、画像処理装置、プログラムおよび学習済みモデル
CN113409211A (zh) 一种医学图像处理方法和装置
Vishwanatha Mobile Cloud Computing Based Non Rigid Registration for Image Guided Surgery
JP2014023607A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant