CN108601512B - 在存在组织变形的情况下提供外科手术辅助的系统和方法 - Google Patents

在存在组织变形的情况下提供外科手术辅助的系统和方法 Download PDF

Info

Publication number
CN108601512B
CN108601512B CN201780010361.6A CN201780010361A CN108601512B CN 108601512 B CN108601512 B CN 108601512B CN 201780010361 A CN201780010361 A CN 201780010361A CN 108601512 B CN108601512 B CN 108601512B
Authority
CN
China
Prior art keywords
anatomical portion
deformation
anatomical
displacement
circuits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780010361.6A
Other languages
English (en)
Other versions
CN108601512A (zh
Inventor
余良吟
宋璧
刘明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108601512A publication Critical patent/CN108601512A/zh
Application granted granted Critical
Publication of CN108601512B publication Critical patent/CN108601512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Cardiology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本文公开了在存在组织变形的情况下在外科手术中提供辅助的系统和方法的各个方面。根据实施例，该系统包括电子设备，该电子设备接收解剖部分的多个表面结构的一个或多个组织材料特性。还可以接收与解剖部分相关联的一个或多个边界条件。解剖部分的表面位移可以通过匹配变形之前解剖部分的第一表面与变形之后解剖部分的对应第二表面来确定。可以基于所确定的表面位移、接收到的一个或多个组织材料特性以及接收到的一个或多个边界条件来计算解剖部分的体积位移场。

Description

在存在组织变形的情况下提供外科手术辅助的系统和方法
对相关申请的交叉引用/通过引用并入
无。
技术领域
本公开的各种实施例涉及在外科手术中提供辅助的系统和方法。更具体而言，本公开的各种实施例涉及在存在组织变形的情况下在外科手术中提供辅助的系统和方法。
背景技术
医学成像技术和相关传感器和/或设备领域的进步使得有可能将身体内部可视化以用于临床分析和医学目的。在某些场景下，外科医生可以在实际执行外科手术之前规划外科手术，以接近受试者的复杂解剖结构。外科医生还可以规划一条或多条路径以接近要进行外科手术的解剖部分的感兴趣区域。由于解剖结构的复杂性以及在外科手术期间暴露解剖部分的组织之后组织的某些变形，可能难以在手术期间在心理上评估解剖结构的位移。除非适当地进行补偿，否则可能难以准确且安全地执行外科手术。
当前的系统和技术使用解剖部分的术中成像来可视化解剖结构以及在外科手术期间暴露的解剖部分的组织的变形。但是，出于各种原因，诸如在术中成像期间暴露于辐射的风险，这种术中成像对于受试者可能是不安全的。因此，可能需要改进的技术和/或系统，其降低对于外科医生的复杂性，并且提供安全、准确和快速的辅助以执行具有改进的准确性和安全性的外科手术。
通过将所描述的系统与本公开的一些方面进行比较，常规和传统方法的进一步限制和缺点将对本领域技术人员变得显而易见，如在本公开的其余部分中并参考附图阐述的。
发明内容
描述了在存在组织变形的情况下在外科手术中提供辅助的系统和方法，如在附图中的至少一个图中所示和/或结合附图中的至少一个图所描述的，如在权利要求中更完整地阐述的。
通过阅读本公开的以下详细描述以及附图，可以认识到本公开的这些和其它特征及优点，其中相同的标号始终指相同的部分。
附图说明
图1是图示根据本公开的施例的在存在组织变形的情况下在外科手术中提供辅助的网络环境的框图。
图2图示了根据本公开实施例的示例性电子设备的框图，该电子设备在存在组织变形的情况下在外科手术中提供辅助。
图3A至3D共同图示了根据本公开实施例的用于实现在存在组织变形的情况下在外科手术中提供辅助的系统和方法的示例性场景。
图4A和4B共同图示了根据本公开实施例的用于实现在存在组织变形的情况下在外科手术中提供辅助的示例性方法的流程图。
具体实施方式
可以在所公开的系统和方法中找到以下描述的实现，以在存在组织变形的情况下在外科手术中提供辅助。本公开的示例性方面可以包括通过电子设备接收解剖部分的多个表面结构的一个或多个组织材料特性。还可以接收与解剖部分相关联的一个或多个边界条件。解剖部分的表面位移可以根据变形之前解剖部分的第一表面与变形之后解剖部分的相应第二表面之间的匹配来确定。可以基于所确定的表面位移、接收到的一个或多个组织材料特性和/或接收到的一个或多个边界条件来计算解剖部分的体积位移场。
根据实施例，解剖部分的多个表面结构可以与异质解剖表面结构对应。根据实施例，解剖部分可以与大脑的至少一部分对应。当存在于受试者的解剖部分中时，多个表面结构可以与当存在于受试者的解剖部分中时的皮质、血管、心室和/或肿瘤结构对应。
根据实施例，接收到的一个或多个边界条件可以包括移位的边界条件和/或静止边界条件。可以基于与解剖部分相关联的数据集的配准来重建解剖部分的多个表面结构。可以从磁共振成像(MRI)扫描仪或从可以包括MRI扫描仪的多模态源接收数据集。
根据实施例，可以对解剖部分的多个表面结构执行表面分割。当解剖部分在外科手术之前处于未打开状态时，可以通过在变形之前使用MRI数据来执行表面分割。根据实施例，可以基于二维(2D)到3D几何处理和表面分割来创建解剖部分的三维(3D)结构。所创建的3D结构可以包括与第一表面对应的多个表面结构。
根据实施例，立体视觉可以被用于在变形之后重建解剖部分的一个或多个表面。当手术期间解剖部分处于打开状态时，立体视觉可以被用于确定变形之后的表面位移。变形之后的解剖部分的重建的一个或多个表面可以与第二表面对应。
根据实施例，可以在3D坐标系中执行处于打开状态的解剖部分的重建的一个或多个表面到处于未打开状态的解剖部分的3D结构的配准。在解剖部分是受试者的大脑的至少一部分的情况下，可以通过使用受试者的颅骨的骨结构的对准来执行配准。
根据实施例，可以在有限元方法(FEM)框架中测量与解剖部分的变形相关联的体素的位移。可以基于相对于变形之前对应体素的位置的变形之后移位体素的当前位置来测量体素的位移。测量可以在解剖部分的体积内执行并且可以基于确定的表面位移。体素位移的测量可以与体积位移场的计算对应。解剖部分的体积可以表示解剖部分的整个组织内容。
根据实施例，计算出的体积位移场可以被应用于对多个表面结构中的一个或多个的变形补偿。可以生成解剖部分的多个多维图形视图。可以在变形之后生成多个多维图形视图。当解剖部分在打开状态下变形时，这种图形视图可以被用于在手术期间辅助。所生成的多个多维图形视图可以包括在解剖部分的多个表面结构中移位的一个或多个感兴趣区域。所生成的多个多维图形视图还可以包括解剖部分内表示变形后的体积变化的体积位移。多个多维图形视图可以与包括来自一个或多个视角(perspective)的多个表面结构的解剖部分的3D视图对应。
图1是图示根据本公开实施例的在存在组织变形的情况下在外科手术中提供辅助的网络环境的框图。参考图1，示出了网络环境100，其可以包括电子设备102、多个医学成像设备104、一个或多个立体相机106、服务器108和通信网络110。示出了解剖部分112，以及一个或多个用户(诸如人类受试者114和外科医生116)。电子设备102可以经由通信网络110通信耦合到多个医学成像设备104、一个或多个立体相机106和服务器108。
电子设备102可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置为确定解剖部分112的表面位移。表面位移可以通过匹配变形之前和之后解剖部分112的表面来确定。在存在经受外科手术的解剖部分112的组织变形的情况下，电子设备102可以在外科手术中提供实时或近实时的辅助。电子设备102的示例可以包括但不限于与计算机辅助的外科手术系统或机器人辅助的外科手术系统相关联的用户终端、医疗设备、电子手术器械、显示设备和/或计算设备。
多个医学成像设备104可以与用于创建内部结构或解剖部分(诸如人类受试者114的解剖部分112)的视觉表示的诊断设备对应。内部结构或解剖部分的这种视觉表示可以在人类受试者114处于术前状态时被创建，以用于临床分析和医疗干预。多个医学成像设备104可以是用于获得与解剖部分112相关的数据集的多模态源。多个医学成像设备104的示例可以包括但不限于X射线计算机断层摄影(CT)扫描仪、磁共振成像(MRI)扫描仪、磁共振血管造影(MRA)扫描仪、基于流体衰减反转恢复(FLAIR)的扫描仪和/或正电子发射断层扫描(PET)扫描仪。
一个或多个立体相机106可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置为捕获并生成人类受试者114的解剖部分(诸如解剖部分112)3D立体图像或3D结构数据。可以从空间中的不同视点获取多个图像，以在术中状态下生成解剖部分112的3D立体图像或3D结构数据。可以通过使用来自不同视点的多个相机、单个立体相机的多个相机镜头或单个移动相机来获取诸如立体图像对之类的多个图像。可以从一个或多个立体相机106的立体视觉重建暴露表面(诸如处于术中状态的暴露的大脑表面)的3D结构数据。根据实施例，一个或多个立体相机106可以安装在用于执行显微外科手术的外科手术显微镜上。
服务器108可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置为接收并集中存储从多个医学成像设备104获得的一个或多个数据集。一个或多个数据集可以与在解剖部分112中发生组织变形之前处于术前状态的解剖部分112的成像数据对应。根据实施例，一个或多个数据集可以与多模态图像对应。根据实施例，服务器108可以被配置为经由通信网络110将预先存储的一个或多个数据集提供给电子设备102。根据实施例，电子设备102可以从多个医学成像设备104直接接收一个或多个数据集。根据实施例，服务器108和电子设备102都可以是计算机辅助的外科手术系统的一部分。根据实施例，可以通过使用本领域技术人员众所周知的若干技术将服务器108实现为多个基于云的资源。服务器108的示例可以包括但不限于数据库服务器、文件服务器、应用服务器、web服务器和/或它们的组合。
通信网络110可以包括介质，电子设备102、多个医学成像设备104、一个或多个立体相机106和/或服务器108可以通过该介质彼此通信。通信网络110可以是有线或无线通信网络。通信网络110的示例可以包括但不限于局域网(LAN)、无线局域网(WLAN)、云网络、长期演进(LTE)网络、普通老式电话服务(POTS)、城域网(MAN)和/或互联网。根据各种有线和无线通信协议，网络环境100中的各种设备可以被配置为连接到通信网络110。这种有线和无线通信协议的示例可以包括但不限于传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE802.11、802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。
解剖部分112可以是受试者(诸如人类受试者114)的解剖区域和/或器官。解剖部分112可以包括多个表面结构。解剖部分112的多个表面结构可以是异质解剖表面结构。解剖部分112的多个表面结构中的每个表面结构可以具有其自身的组织材料特性。根据实施例，解剖部分112可以是人类受试者114的大脑(头颅(cranial)区域)或大脑的至少一部分。在这种实施例中，多个表面结构可以是皮质、血管和/或脑室。多个表面结构还可以包括人类受试者114的大脑内的肿瘤结构。根据实施例，解剖部分112可以是心脏(心脏(cardiac)区域)，其还包括异质解剖表面结构。
本领域普通技术人员将理解的是，本公开的范围不限于所公开的辅助人类受试者114的解剖部分112的外科手术的系统和方法的实现，如图所示。根据实施例，所公开的系统和方法可以被用于辅助动物受试者的解剖部分或解剖区域的外科手术。另外，如上面所讨论的，所公开的系统和方法对于在除脑或心脏之外的解剖部分或区域的外科手术中提供辅助也是有用的。
在操作中，电子设备102可以被配置为从MRI扫描仪接收至少与解剖部分112相关联的数据集。数据集可以包括多个2D图像，其表示通过解剖部分112的体积截取的切片平面，诸如穿过人类受试者114的头骨的切片。数据集可以与外科手术前(术前状态)拍摄的MRI数据对应。电子设备102可以被配置为配准与解剖部分112相关联的接收到的数据集。
根据实施例，电子设备102可以被配置为从多模态源接收与解剖部分112相关联的多个数据集。多模态源可以是多个医学成像设备104，其采用基于MRI-、CT-、PET-、FLAIR-和MRA-的医学成像技术来获取与解剖部分112相关联的多个数据集。根据实施例，为了配置与来自不同的多模态源(诸如CT和MRI)的解剖部分112相关联的多个数据集，多个数据集必须具有重叠的内容。在这种实施例中，电子设备102可以被配置为基于重叠内容的识别来配准与解剖部分112相关联的接收到的多个数据集。
基于从MRI扫描仪接收到的数据集或来自多模态源的多个数据集，电子设备102可以被配置为基于配准来重建解剖部分112的多个表面结构。例如，当解剖部分112是大脑时，电子设备102可以重建脑表面结构，诸如小脑皮质、大脑皮质、脑血管结构和/或脑室(ventricle)。
根据实施例，电子设备102可以被配置为对解剖部分112的重建的多个表面结构执行表面分割。当解剖部分112在外科手术之前处于未打开状态时，表面分割可以通过在解剖部分112的组织变形之前使用MRI数据来执行。
根据实施例，电子设备102可以被配置为基于2D到3D几何处理和表面分割来创建解剖部分112的3D结构。2D到3D几何处理可以是网(mesh)几何处理或网格几何处理。所创建的3D结构可以包括重建的多个表面结构。电子设备102可以被配置为显示所创建的解剖部分112的3D结构的一个或多个视图。这样显示的一个或多个视图可以与外科手术之前解剖部分112的组织变形之前解剖部分112的3D结构对应。外科医生116可以基于所显示的解剖部分112的3D结构的一个或多个视图来规划针对解剖部分112要进行的外科手术。
根据实施例，在术中状态下(当执行外科手术时)，解剖部分112的组织可以由于一个或多个因素而变形。一个或多个因素的示例可以包括但不限于当组织在术中状态下暴露时，解剖部分112的组织结构的复杂程度、重力和/或解剖部分112周围的流体(诸如脑脊髓液)的损失。一个或多个因素可以包括在外科手术期间解剖部分112的组织的柔软程度、血压和/或与解剖部分112相关联的保护性覆盖物或支撑结构的位移程度。解剖部分112的组织的变形可以使某些解剖组织结构移位，由此也可以在外科手术期间改变先前规划的接近解剖部分112中的感兴趣区域的路径。因此，外科医生116在执行外科手术时快速且准确地知道变形区域和组织结构的位移会是有利的。
根据实施例，电子设备102可以被配置为在外科手术期间当解剖部分112处于打开状态时利用立体视觉来确定变形后的表面位移。一个或多个立体相机106可以被用于在术中状态下捕获并生成解剖部分112的3D立体图像或3D结构数据。电子设备102可以被配置为重建解剖部分112的一个或多个表面(在变形之后)。
根据实施例，电子设备102可以被配置为在3D坐标系中执行打开状态下的解剖部分112的重建的一个或多个表面到未打开状态下的解剖部分112的3D结构的配准。根据实施例，可以通过使用解剖部分112的共同参考点来执行配准，该坐标系可以在外科手术的两个阶段中都是不变的，诸如在组织变形之前的术前状态和组织变形之后的术中状态。例如，当解剖部分112是大脑时，人类受试者114的颅骨的骨结构(在这种情况下是共同且不变的参考点)的对准可以被用于配准。此类配准可以是单步配准。
根据实施例，电子设备102可以被配置为接收解剖部分112的多个表面结构的一个或多个组织材料特性。电子设备102可以被配置为还接收与解剖部分112相关联的一个或多个边界条件。根据实施例，电子设备102可以被配置为接收两个边界条件，诸如移位的(或变形)边界条件和静止边界条件。例如，并非解剖部分112的所有表面结构都可以移位。另外，由于多个表面结构的定位，与其它表面结构相比，一些表面结构更易于变形。由于来自相关联解剖结构的有利定位或支撑而具有较低变形倾向的表面结构可以与静止边界条件对应。如上所述，表现出相对更大的变形倾向的表面结构可以与变形边界条件对应。因此，与解剖部分112相关联的这种接收到的边界条件可以增加确定解剖部分112的表面位移的准确度。
根据实施例，电子设备102可以被配置为匹配解剖部分112的第一表面(在变形之前)与解剖部分112的对应第二表面(在变形之后)。第一表面和第二表面可以是解剖部分112的相同表面，在不同的时间点和/或变形状态。如上所述，解剖部分112的第一表面可以与所创建的3D结构的至少一个或多个表面(在变形之前)对应。解剖部分112的第二表面可以与解剖部分112的重建的一个或多个表面(在变形之后)对应。根据实施例，电子设备102可以被配置为基于匹配的结果确定解剖部分112的表面位移。
根据实施例，接收到的多个表面结构的一个或多个组织材料特性、接收到的一个或多个边界条件以及所确定的解剖部分112的表面位移可以被馈送到有限元方法(FEM)框架。根据实施例，电子设备102可以被配置为计算解剖部分112的体积位移场。计算出的体积位移可以基于所确定的表面位移、接收到的一个或多个组织材料特性以及接收到的一个或多个边界条件。电子设备102可以被配置为利用FEM框架来进行解剖部分112的体积位移场的这种计算。
根据实施例，电子设备102可以被配置为测量与解剖部分112相关联的体素(在变形之后)相对于FEM框架中解剖部分112(在变形之前)的位移。基于所确定的表面位移，可以在整个体积内执行体素位移的测量，诸如解剖部分112的整个组织内容。体素位移的测量可以与体积位移场的计算对应。
根据实施例，电子设备102可以被配置为将计算出的体积位移场用于对解剖部分112的多个表面结构中的一个或多个的变形补偿。然后，电子设备102可以生成解剖部分112的多个多维图形视图(在变形之后)。所生成的多个多维图形视图可以包括在解剖部分112的多个表面结构中移位的一个或多个感兴趣区域和/或解剖部分112内的体积位移。体积位移可以表示变形之后的体积变化。多个多维图形视图可以与解剖部分112的3D视图的一个或多个视角对应，其包括多个表面结构。
电子设备102可以被配置为控制所生成的解剖部分112的多个多维图形视图的显示(在变形之后)。在存在组织变形的情况下这样生成和显示解剖部分112的多个多维图形视图可以发生，以在外科医生116执行解剖部分112的外科手术时实时或近实时地辅助外科医生116。可以根据医疗要求对生成的多个多维图形视图进行用户控制、修改和可视化。
图2图示了根据本公开实施例的示例性电子设备的框图，该电子设备在存在组织变形的情况下在外科手术中提供辅助。结合图1中的元件来解释图2。参考图2，示出了电子设备102。电子设备102可以包括一个或多个处理器(诸如处理器202)、存储器204、一个或多个输入/输出(I/O)设备(诸如I/O设备206)和网络接口208。I/O设备206可以包括显示器210。
处理器202可以通信耦合到存储器204、I/O设备206和网络接口208。网络接口208可以处理器202的控制下经由通信网络110与多个医学成像设备104、一个或多个立体相机106和/或一个或多个服务器(例如服务器108)通信。
处理器202可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置为执行存储在存储器204中的指令集。处理器202可以基于本领域中已知的多种处理器技术来实现。处理器202的示例可以是基于X86的处理器、基于X86-64的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、中央处理单元(CPU)、显式并行指令计算(EPIC)处理器、超长指令字(VLIW)处理器和/或其它处理器或电路。
存储器204可以包括合适的逻辑、电路系统和/或接口，其可以被配置为存储可由处理器202执行的机器代码和/或指令集。存储器204可以被配置为存储来自与受试者(诸如人类受试者114)的生理数据或病史相关联的一个或多个用户简档的信息。根据实施例，可以不存储受试者(诸如人类受试者114)的病史。可替代地，一个或多个用户简档信息项可以存储在服务器108处。存储器204可以存储用户界面(UI)，诸如应用UI。UI可以是三维(3D)查看器或二维(2D)查看器，用于查看解剖部分112的多个多维图形视图。存储器204还可以被配置为存储操作系统和相关联的应用。存储器204的实现的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓存和/或安全数字(SD)卡。
I/O设备206可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置为从用户(诸如外科医生116)接收输入并向其提供输出。I/O设备206可以包括各种输入和输出设备，其可以被配置为促进电子设备102与用户(诸如外科医生116)之间的通信。输入设备的示例可以包括但不限于触摸屏、相机、键盘、鼠标、操纵杆、麦克风、运动传感器、光传感器和/或扩展坞。输出设备的示例可以包括但不限于显示器210、投影仪屏幕和/或扬声器。
网络接口208可以包括合适的逻辑、电路系统、接口和/或代码，其可以被配置为经由通信网络110与多个医学成像设备104、一个或多个立体相机106和/或服务器108通信(如图1所示)。网络接口208可以实现已知技术，以支持电子设备102与通信网络110的有线或无线通信。网络接口208可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片组、订户身份模块(SIM)卡和/或本地缓冲器。网络接口208可以经由有线或无线通信与通信网络110通信。无线通信可以使用通信标准、协议和技术中的一个或多个，诸如全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、长期演进(LTE)、无线保真(Wi-Fi)(诸如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、基于互联网协议的语音(VoIP)、Wi-MAX，用于电子邮件、即时消息传递和/或短消息服务的协议(SMS)。
显示器210可以通过几种已知技术实现，诸如基于阴极射线管(CRT)的显示器、液晶显示器(LCD)、基于发光二极管(LED)的显示器、有机LED显示器技术、视网膜显示技术等。根据实施例，显示器210可以能够接收来自用户(诸如外科医生116)的输入。在这种场景下，显示器210可以是使用户能够提供输入的触摸屏。触摸屏可以与电阻式触摸屏、电容式触摸屏或热触摸屏中的至少一个对应。根据实施例，显示器210可以通过虚拟小键盘、触控笔、基于手势的输入和/或基于触摸的输入来接收输入。在这种情况下，输入设备可以集成在显示器210内。
在操作中，处理器202可以被配置为通过使用网络接口208来接收与解剖部分112相关联的至少一个数据集。可以经由通信网络110从MRI扫描仪接收这至少一个数据集。处理器202还可以被配置为通过使用网络接口208将接收到的数据集传送到处理器202。处理器202可以被配置为配准与解剖部分112相关联的接收到的数据集。根据实施例，处理器202可以被配置为从多模态源(诸如多个医学成像设备104)接收与解剖部分112相关联的多个数据集。处理器202执行的操作已在图3A至3D中利用人类受试者114的大脑作为感兴趣的解剖部分112的示例进一步描述。尽管如此，解剖部分112也可以是受试者的其它解剖部分，而不限制本公开的范围。
图3A至3D共同图示了根据本公开实施例的用于实现在存在组织变形的情况下在外科手术中提供辅助的系统和方法的示例性场景。图3A图示了根据本公开实施例的在发生组织变形之前在外科手术之前接收到的与大脑的至少一部分相关联的MRI数据的处理。结合图1和图2的元件解释图3A。参考图3A，示出了MRI数据302、大脑304、皮质结构304A、血管结构304B、脑室结构304C、大脑304的第一3D结构306和大脑304的第二3D结构308。
根据示例性场景，MRI数据302可以与从MRI扫描仪接收的与解剖部分112(诸如大脑304)相关联的数据集对应。可以在外科手术之前捕获MRI数据302。MRI数据302可以包括多个2D图像，其表示通过大脑304的体积取得的切片平面，诸如通过人类受试者114的头部的切片。大脑304可以与人类受试者114的解剖部分112对应。皮质结构304A、血管结构304B和脑室结构304C可以与大脑304的多个表面结构对应。根据实施例，皮质结构304A可以与大脑皮层和小脑皮层对应。大脑304的第一3D结构306可以与从2D到3D网几何处理获得的3D结构对应。大脑304的第二3D结构308可以与从2D到3D网格几何处理获得的另一个3D结构对应。
根据实施例，处理器202可以被配置为从MRI扫描仪接收MRI数据302。MRI数据302可以存储在电子设备102的存储器204中。根据实施例，MRI数据302可以存储在中央存储位置(诸如服务器108)。在这种情况下，处理器202可以通过使用网络接口208经由通信网络110从服务器108接收MRI数据302。
根据实施例，处理器202可以被配置为处理接收到的MRI数据302，以识别MRI数据302上的相关内容，以执行配准。根据实施例，为了配准MRI数据302，处理器202可以被配置为对准人类受试者114的颅骨段的骨骼结构。处理器202可以被配置为配准接收到的与大脑304相关联的MRI数据302。基于配准，处理器202可以被配置为重建大脑304的多个表面结构(诸如皮质结构304A、血管结构304B和脑室结构304C)，如图3A中所示。
根据实施例，处理器202可以被配置为对重建的大脑304或大脑304的至少一部分的多个表面结构执行表面分割。可以在大脑304在外科手术前处于未打开状态时执行表面分割。在这种未打开状态下，大脑304的组织可以不变形。
根据实施例，处理器202可以被配置为基于2D到3D几何处理和表面分割来创建大脑304的由306和308描绘的一个或多个3D结构。大脑304的第一3D结构306可以是从网几何处理技术获得的大脑304的3D结构的示例。第二3D结构308可以是从2D到3D网格几何处理技术获得的大脑304的3D结构的另一个示例。第一3D结构306描绘了重建的血管结构304B和心室结构304C。第一3D结构306还以三角网形式描绘了皮质结构304A。第二3D结构描绘了重建的皮质结构304A，并且结构304B的一些血管覆盖在皮质结构304A的表面上。
处理器202可以被配置为控制所创建的大脑304的3D结构306和308的一个或多个视图、大脑304的其它相关联MRI数据302和/或预先存储的受试者(诸如患者)的生理数据在显示器210上的显示。外科医生116可以基于所显示的一个或多个视图来规划要对大脑304进行的外科手术。
图3B图示了根据本公开实施例的在用于实现系统和方法的示例性场景中基于立体视觉的变形之后大脑304的3D表面重建。结合图1、2和3A的元件解释图3B。参考图3B，示出了当大脑304在手术期间处于打开状态时大脑304的立体表面重建的示意图310。还示出了用于大脑304的立体数据310A和3D结构数据310B。还在图3B中示出了来自大脑304的3D结构数据310B的第一放大截口部分310C和第二放大截口部分310D。
根据实施例，一个或多个立体相机106可以被用于捕获立体数据310A并为处于术中状态的大脑304生成3D立体图像或3D结构数据310B。一些现有系统和技术可以使用术中MRI成像来用于可视化解剖结构和变形的存在。当在外科手术期间解剖部分112的组织暴露时，由于暴露于辐射的风险，这种术中MRI成像对于受试者可以是不安全的。另外，手术室可能未配备必要的MRI扫描仪和/或多个医学成像设备104。因此，可能需要期间将患者(诸如人类受试者114)移到另一个房间以进行这种医学成像，这进一步增加了生命危险。因此，在手术室中部署一个或多个立体相机106而不是庞大的MRI扫描仪可以是相对安全和容易的。另外，在立体视觉的术中状态下不存在解剖部分112的组织辐射暴露的风险。
处理器202可以被配置为在组织变形之后从大脑304的3D结构数据310B重建一个或多个表面(诸如大脑304的皮质和血管)。大脑304的第一放大截口部分310C示出了与大脑304的皮质结构(由点线箭头标记所示)对应的表面重建(在变形之后)。大脑的第二放大截口部分310D描绘了在组织变形之后基于立体视觉在大脑304的表面上重建血管结构(由点线箭头标记示出)。根据实施例，处理器202可以被配置为在3D坐标系中执行大脑304的重建的一个或多个表面(在变形之后)到大脑304的所创建的3D结构306和308(在变形之前)的配准。
图3C图示了根据本公开实施例的通过在示例性场景中使用FEM框架来实现系统和方法的大脑304的表面变形测量。结合图1、2、3A和3B的元件解释图3C。参考图3C，示出了多个组织材料特性312、变形边界条件314、静止边界条件316、表面位移测量数据318、FEM框架320和大脑304的体积位移场322。
根据实施例，处理器202可以被配置为接收多个组织材料特性312，诸如大脑304的皮质结构、血管结构、脑室结构的组织材料特性。在实施例中，处理器202可以被配置为计算大脑304的变形边界条件314和静止边界条件316。根据实施例，可以为受试者的各种解剖部分(诸如大脑304)预先确定变形边界条件314和静止边界条件316。处理器202可以接收大脑304的变形边界条件314和静止边界条件316。
根据实施例，处理器202可以被配置为通过匹配在变形之前和之后大脑304的表面来确定与大脑304相关联的表面位移。与大脑304相关联的所确定的表面位移的表面位移对应的测量数据318可以存储在存储器204中。
一些现有技术可以执行点匹配以确定位移，而不是直接匹配两个表面，这可以是耗时且计算密集的处理。由于变形之前和之后两个对应表面可以直接匹配，因此处理器202可以快速确定大脑304的表面位移。表面位移的快速确定还可以加快其它相关和后续处理，这进而可以有利于在外科手术的执行期间向外科医生116提供快速且及时的辅助。
根据实施例，可以将接收到的多个表面结构的多个组织材料特性312馈送到FEM框架320中。另外，接收到的多个边界条件(诸如变形边界条件314和静止边界条件316)和表面位移测量数据318也可以馈送到FEM框架320中。
FEM框架320和/或生化模型可以由处理器202用于计算体积位移场322。根据实施例，处理器202可以基于接收到的表面位移测量数据318、接收到的多个组织材料特性312以及接收到的变形边界条件314和静止边界条件316来计算大脑304的体积位移场322。
图3D图示了根据本公开实施例的用于实现系统和方法的示例性场景中的变形补偿。结合图1、2、3A、3B和3C的元件解释图3D。参考图3D，示出了具有体积位移场322的大脑304的剖视图324。还示出了大脑304的第一视图326和第二视图328，其描绘了体积位移场322在大脑空间中的应用，以及大脑304的输出3D结构330，其中解剖结构由体积位移场322进行补偿。
根据实施例，处理器202可以被配置为在FEM框架320中测量大脑304的体积内体素的位移(在相对于变形之前大脑304的体积变形之后)。大脑304的体积可以与大脑304的整个组织内容而不是仅仅大脑304的表面结构对应。体素的位移的测量可以与计算出的体积位移场322的传播对应。
根据实施例，处理器202可以被配置为在大脑空间中应用计算出的体积位移场322。这可以用于对大脑304的多个表面结构中的一个或多个进行变形补偿。第一视图326描绘了计算出的体积位移场322在大脑空间中的应用，以补偿大脑304的皮质结构304A。第二视图328描绘了计算出的体积位移场322在大脑空间中的应用，以补偿大脑304的其它解剖结构(诸如血管结构304B和脑室结构304C)。处理器202可以被配置为基于大脑304的体积内测得的体素的位移来执行体积插值。体积插值可以是来自计算出的体积位移场322的密集插值，其可以在FEM框架320中以散射的形式。
根据实施例，处理器202可以被配置为生成具有解剖结构的输出3D结构330，诸如多个表面结构(由点线箭头标记示出)。这样的多个表面结构可以通过体积位移场322准确地补偿。具有补偿的多个表面结构的输出3D结构330的生成还可以基于体积插值。具有补偿的多个表面结构的输出3D结构330的生成和随后的显示可以在外科医生116执行大脑304的外科手术时实时或近实时地发生。根据实施例，输出3D结构330和大脑304的多个多维图形视图中的其它图形视图可以用在各种术中应用中。例如，生成的输出3D结构330可以在组织变形的量化中采用，其进而被用于确定变形组织的生存力。
根据实施例，处理器202可以被配置为在变形之后控制大脑304的多个多维图形视图的显示。输出3D结构330可以是大脑304的多个多维图形视图中的一个或多个。其它生成的多个多维图形视图还可以包括在大脑304的多个表面结构中移位的一个或多个感兴趣区域，和/或大脑304内的体积位移。来自一个或多个视角的多个多维图形视图可以与包括多个表面结构的大脑304的3D视图对应。在存在大脑304的组织变形的情况下，大脑304的多个多维图形视图的这种生成和显示可以向外科医生116提供快速且准确的辅助。
根据实施例，可以在UI上呈现多个多维图形视图，其可以在显示器210上显示。基于从I/O设备206接收的输入，所显示的多个多维图形视图可以是交互式的并且是用户控制的。可以利用包括大脑304的经补偿的多个表面结构的多维图形视图的这种增强的可视化在外科手术中提供实时或近实时的辅助，诸如人类受试者114的图像引导或机器人辅助的开放式颅外科手术。
图4A和4B共同图示了根据本公开实施例的用于实现在存在组织变形的情况下在外科手术中提供辅助的示例性方法的流程图。参考图4A和4B，示出了流程图400。结合图1、2和3A至3D的元件描述流程图400。根据流程图400，该方法可以在电子设备102中实现。该方法在步骤402开始并前进到步骤404。
在步骤404处，可以从一个或多个多模态源(诸如多个医学成像设备104)接收与解剖部分112相关联的一个或多个数据集。接收到的一个或多个数据集可以与在外科手术之前对解剖部分112执行的医学成像(诸如MRI)对应。数据集的示例可以是从MRI扫描仪接收的与大脑304相关联的MRI数据302，如图3A中所描述的。
在步骤406处，可以配准与解剖部分112相关联的接收到的一个或多个数据集。在从多模态源接收多个数据集的情况下，可以基于接收到的多个数据集上的重叠内容的识别来配准接收到的多个数据集。
在步骤408处，基于从MRI扫描仪或多模态源接收到的一个或多个数据集，可以基于配来准重建解剖部分112的多个表面结构。解剖部分112的重建的多个表面结构的示例可以是大脑304的皮质结构304A、血管结构304B和脑结构304C，如图3A中所示和描述的。
在步骤410处，可以对解剖部分112的重建的多个表面结构执行表面分割。可以在当解剖部分112在外科手术之前处于未打开状态时解剖部分112的组织变形之前通过使用MRI数据(诸如MRI数据302)来执行表面分割。
在步骤412处，可以基于2D到3D几何处理和表面分割来创建解剖部分112的3D结构。2D到3D几何处理可以是网几何处理或网格几何处理。所创建的解剖部分112的3D结构的示例可以是从网几何处理技术获得的大脑304的第一3D结构306，和/或从2D到3D网格几何处理技术获得的第二3D结构308(图3A)。
在步骤414处，当解剖部分112在外科手术期间处于打开状态时，立体视觉可以被用于重建解剖部分112的一个或多个表面(在变形之后)。例如，一个或多个立体相机106可以被用于在术中状态下捕获立体数据310A并生成用于大脑304的3D立体图像或3D结构数据310B。可以在组织变形之后从大脑304的3D结构数据310B(图3B)重建一个或多个表面(诸如大脑304的皮质和血管)。
在步骤416处，在3D坐标系中，可以执行打开状态下解剖部分112的重建的一个或多个表面到未打开状态下解剖部分112的3D结构的配准。例如，在3D坐标系中，可以将重建的大脑304的一个或多个表面(在变形之后)配准到所创建的大脑304的3D结构306和308(在变形之前)。
在步骤418处，可以接收解剖部分112的多个表面结构的一个或多个组织材料特性。一个或多个组织材料特性的示例可以是大脑304的皮质结构304A、血管结构304B和/或脑室结构304C的组织材料特性。
在步骤420处，还可以接收与解剖部分112相关联的一个或多个边界条件。与解剖部分112相关联的一个或多个边界条件的示例可以是大脑304的变形边界条件314和静止边界条件316。
在步骤422处，变形之前解剖部分112的第一表面可以与变形之后解剖部分112的对应第二表面匹配。解剖部分112的第一表面可以与变形之前所创建的3D结构的至少一个或多个表面对应。解剖部分112的第二表面可以与变形之后解剖部分112的重建的一个或多个表面对应。
在步骤424处，可以在解剖结构部分112的组织变形之后基于匹配的结果确定解剖部分112的表面位移。所确定的解剖部分112的表面位移的示例可以是表面位移测量数据318，其与大脑304相关联的所确定的表面位移对应。
在步骤426处，可以将接收到的多个表面结构的一个或多个组织材料特性、接收到的一个或多个边界条件以及所确定的解剖部分112的表面位移馈送到FEM框架(诸如FEM框架320)中。可以采用FEM框架和/或生化建模来分析接收到的数据。
在步骤428，可以基于所确定的表面位移、接收到的一个或多个组织材料特性以及接收到的一个或多个边界条件来计算解剖部分112的体积位移场。电子设备102可以被配置为利用FEM框架来计算解剖部分112的体积位移场。解剖部分112的计算出的体积位移场的示例可以是大脑304的体积位移场322，如图3C中所示和描述的。
在步骤430处，可以在FEM框架中的变形之前相对于解剖部分112测量在变形之后与解剖部分112相关联的体素的位移。可以针对解剖部分112的整个组织内容测量体素的位移。
在步骤432处，计算出的体积位移场可以应用于解剖部分112的多个表面结构中的一个或多个，用于变形补偿。例如，第一视图326描绘了计算出的体积位移场322在大脑空间中的应用，以补偿大脑304的皮质结构304A。第二视图328描绘了计算出的体积位移场322在大脑空间中的应用，以补偿大脑304的其它解剖结构(诸如血管结构304B和脑室结构304C)(图3D)。可以基于测得的大脑304的体积内体素的位移来执行体积插值。
在步骤434处，可以生成变形之后解剖部分112的多个多维图形视图。所生成的多个多维图形视图可以包括解剖部分112的多个表面结构中移位的一个或多个感兴趣区域，和/或解剖部分112内的体积位移。体积位移可以表示由于变形引起的解剖部分112和/或移位的组织区域的体积的变化。所生成的多个多维图形视图的示例可以是大脑304的输出3D结构330，其可以包括大脑304的经补偿的多个表面结构。
在步骤436处，可以基于用户输入来控制在UI上的变形之后生成的解剖部分112的多个多维图形视图的显示。可以通过使用在电子设备102的显示器210上呈现的UI来接收用户输入。可以响应于接收到的用户输入(诸如由外科医生116提供的输入)来改变和更新多个多维图形视图的显示。控制转到结束步骤438。
根据本公开的实施例，在存在组织变形的情况下在外科手术中提供辅助的系统可以包括电子设备102(图1)。电子设备102可以包括一个或多个电路，诸如处理器202(图2)。处理器202可以被配置为接收解剖部分112的多个表面结构的一个或多个组织材料特性。处理器202还可以被配置为接收与解剖部分112相关联的一个或多个边界条件。处理器202还可以被配置为通过匹配变形之前解剖部分112的第一表面与变形之后解剖部分的对应第二表面来确定解剖部分112的表面位移。处理器202还可以被配置为基于所确定的表面位移、接收到的一个或多个组织材料特性以及接收到的一个或多个边界条件来计算解剖部分112的体积位移场。
本公开的各种实施例可以提供其上存储有可由机器和/或计算机执行的在存在组织变形的情况下在外科手术中提供辅助的机器代码和/或指令集的非瞬态计算机可读介质和/或存储介质和/或非瞬态机器可读介质和/或存储介质。电子设备102中的指令集可以使机器和/或计算机执行包括接收解剖部分112(图1)的多个表面结构的一个或多个组织材料特性的步骤。可以接收与解剖部分112相关联的一个或多个边界条件。解剖部分112的表面位移可以通过匹配变形之前解剖部分112的第一表面与变形之后解剖部分112的对应第二表面来确定。可以基于所确定的表面位移、接收到的一个或多个组织材料特性以及接收到的一个或多个边界条件来计算解剖部分112的体积位移场。
本公开可以用硬件或硬件和软件的组合来实现。本公开可以以集中方式、以至少一个计算机系统或以其中不同元件可以分布在若干互连计算机系统上的分布式方式实现。适于执行本文描述的方法的计算机系统或其它装置可以是适合的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载和执行时可以控制计算机系统，使得它执行本文描述的方法。本公开可以以包括还执行其它功能的集成电路的一部分的硬件来实现。
本公开还可以嵌入在计算机程序产品中，其中计算机程序产品包括使得能够实现本文所述的方法的所有特征，并且当其被加载到计算机系统中时能够执行这些方法。在此背景下，计算机程序指任何语言、代码或符号形式的指令集的任何表示，所述指令要使具有信息处理能力的系统直接地或者在以下：a)转换成另一种语言、代码或符号；b)在不同材料形式中复制的任何一个或两者之后执行特定的功能。
虽然已参考某些实施例对本公开进行了描述，但是本领域技术人员将理解的是，在不背离本公开的范围的情况下，可以进行各种改变并且等价物可以被替换。此外，在不背离其范围的情况下，可进行许多修改以使特定的情形或材料适于本公开的教导。因此，本公开不是要限于所公开的特定实施例，而是本公开将包括属于所附权利要求的范围内的所有实施例。

Claims (23)

1.一种用于外科手术辅助的系统，所述系统包括：
电子设备中的一个或多个电路，被配置为：
接收解剖部分的多个表面结构的一个或多个组织材料特性；
接收与所述解剖部分的所述多个表面结构的变形倾向相关联的一个或多个边界条件；
将在所述解剖部分的所述多个表面结构的所述变形之前所述解剖部分的第一表面与所述变形之后所述解剖部分的对应第二表面直接匹配；
基于所述第一表面与所述对应第二表面的所述匹配，确定所述解剖部分的表面位移；
基于所述确定的表面位移、所述接收到的一个或多个组织材料特性以及所述接收到的一个或多个边界条件，计算所述解剖部分的体积位移场；以及
将所述计算出的所述体积位移场应用于对所述多个表面结构中的一个或多个表面结构的变形补偿。
2.如权利要求1所述的系统，其中所述解剖部分的所述多个表面结构与异质解剖表面结构对应。
3.如权利要求1所述的系统，其中所述解剖部分与大脑的至少一部分对应，并且所述多个表面结构与以下两个或更多个对应：在受试者的所述解剖部分中存在时的皮质、血管、脑室和/或肿瘤结构。
4.如权利要求1所述的系统，其中所述接收到的一个或多个边界条件包括至少位移边界条件和/或静止边界条件。
5.如权利要求1所述的系统，其中所述一个或多个电路还被配置为基于从磁共振成像(MRI)扫描仪或包括所述MRI扫描仪的多模态源接收的与所述解剖部分相关联的数据集的配准来重建所述解剖部分的所述多个表面结构。
6.如权利要求1所述的系统，其中所述一个或多个电路还被配置为当所述解剖部分在外科手术之前处于未打开状态时在所述变形之前使用MRI数据对所述解剖部分的所述多个表面结构执行表面分割。
7.如权利要求6所述的系统，其中所述一个或多个电路还被配置为基于二维(2D)到3D几何处理和所述表面分割来创建所述解剖部分的三维(3D)结构，其中所述创建的3D结构包括与所述第一表面对应的所述多个表面结构。
8.如权利要求7所述的系统，其中所述一个或多个电路还被配置为对于所述表面位移的所述确定利用立体视觉，以在所述解剖部分在手术期间处于打开状态时在变形之后重建所述解剖部分的一个或多个表面，其中在变形之后所述解剖部分的所述重建的一个或多个表面与所述第二表面对应。
9.如权利要求8所述的系统，其中所述一个或多个电路还被配置为在3D坐标系中执行处于所述打开状态的所述解剖部分的所述重建的一个或多个表面到处于所述未打开状态的所述解剖部分的所述3D结构的配准，其中所述配准是在所述解剖部分是受试者的大脑的至少一部分时使用所述受试者的颅骨的骨结构的对准来执行的。
10.如权利要求1所述的系统，其中所述一个或多个电路还被配置为在有限元方法(FEM)框架中测量所述变形之后与所述解剖部分相关联的体素相对于所述变形之前所述解剖部分的位移，其中所述测量是基于所述确定的表面位移在所述解剖部分的体积内执行的，其中所述体素位移的所述测量与所述体积位移场的所述计算对应，并且所述解剖部分的所述体积表示所述解剖部分的整个组织内容。
11.如权利要求1所述的系统，其中所述一个或多个电路还被配置为生成在变形之后所述解剖部分的多个多维图形视图，以在所述解剖部分处于打开状态下变形时在手术期间提供辅助，其中所述生成的多个多维图形视图包括在所述解剖部分的所述多个表面结构中移位的一个或多个感兴趣区域和/或表示在所述变形之后的体积变化的、在所述解剖部分内的体积位移。
12.如权利要求11所述的系统，其中所述多个多维图形视图与包括来自一个或多个视角的所述多个表面结构的所述解剖部分的两个或更多个三维视图对应。
13.一种用于外科手术辅助的方法，所述方法包括：
由电子设备中的一个或多个电路接收解剖部分的多个表面结构的组织材料特性；
由所述一个或多个电路接收与所述解剖部分的所述多个表面结构的变形倾向相关联的一个或多个边界条件；
由所述一个或多个电路将在所述解剖部分的所述多个表面结构的所述变形之前所述解剖部分的第一表面与所述变形之后所述解剖部分的对应第二表面直接匹配；
由所述一个或多个电路基于所述第一表面与所述对应第二表面的所述匹配来确定所述解剖部分的表面位移；
由所述一个或多个电路基于所述确定的表面位移、所述接收到的组织材料特性以及所述接收到的一个或多个边界条件来计算所述解剖部分的体积位移场；以及
由所述一个或多个电路将所述计算出的所述体积位移场应用于对所述多个表面结构中的一个或多个表面结构的变形补偿。
14.如权利要求13所述的方法，其中所述解剖部分与大脑的一部分对应，并且所述多个表面结构与以下两个或更多个对应：当存在于受试者的所述解剖结构中时的皮质、血管、脑室和/或肿瘤结构。
15.如权利要求13所述的方法，其中所述接收到的一个或多个边界条件包括至少位移边界条件和静止边界条件。
16.如权利要求13所述的方法，还包括由所述一个或多个电路基于从磁共振成像(MRI)扫描仪或包括所述MRI扫描仪的多模态源接收的与所述解剖部分相关联的数据集的配准来重建所述解剖部分的所述多个表面结构。
17.如权利要求13所述的方法，还包括由所述一个或多个电路在外科手术之前所述解剖部分处于未打开状态时在所述变形之前使用MRI数据对所述解剖部分的所述多个表面结构执行表面分割。
18.如权利要求17所述的方法，还包括由所述一个或多个电路基于二维(2D)到3D几何处理和所述表面分割来创建所述解剖部分的三维(3D)结构，其中所述创建的3D结构包括与所述第一表面对应的所述多个表面结构。
19.如权利要求18所述的方法，还包括当所述解剖部分在外科手术期间处于打开状态时由所述一个或多个电路利用立体视觉在变形之后重建所述解剖部分的一个或多个表面用于所述表面位移的所述确定，其中在变形之后所述解剖部分的所述重建的一个或多个表面与所述第二表面对应。
20.如权利要求19所述的方法，还包括由所述一个或多个电路在3D坐标系中执行处于所述打开状态的所述解剖部分的所述重建的一个或多个表面与处于所述未打开状态的所述解剖部分的所述3D结构的配准，其中所述配准是当所述解剖部分是受试者的大脑的一部分时使用所述受试者的颅骨的骨结构的对准来执行的。
21.如权利要求13所述的方法，还包括由所述一个或多个电路在有限元方法(FEM)框架中测量在所述变形之后与所述解剖部分相关联的体素相对于在所述变形之前所述解剖部分的位移，其中所述测量基于所述确定的表面位移在所述解剖部分的体积内执行，其中所述体素位移的所述测量与所述体积位移场的所述计算对应，并且所述解剖部分的所述体积表示所述解剖部分的整个组织内容。
22.如权利要求13所述的方法，还包括由所述一个或多个电路生成变形之后所述解剖部分的多个多维图形视图，以在外科手术期间当所述解剖部分处于打开状态下变形时提供辅助，其中所述生成的多个多维图形视图包括在所述解剖部分的所述多个表面结构中移位的一个或多个区域和/或表示在所述变形之后的体积变化的、在所述解剖部分内的体积位移。
23.如权利要求22所述的方法，其中所述生成的多个多维图形视图与包括来自一个或多个视角的所述多个表面结构的所述解剖部分的三维视图对应。
CN201780010361.6A 2016-02-22 2017-01-27 在存在组织变形的情况下提供外科手术辅助的系统和方法 Active CN108601512B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/049,870 US10467497B2 (en) 2016-02-22 2016-02-22 System and method for providing assistance in surgery in presence of tissue deformation
US15/049,870 2016-02-22
PCT/US2017/015439 WO2017146872A1 (en) 2016-02-22 2017-01-27 System and method for providing assistance in surgery in presence of tissue deformation

Publications (2)

Publication Number Publication Date
CN108601512A CN108601512A (zh) 2018-09-28
CN108601512B true CN108601512B (zh) 2020-10-02

Family

ID=59631148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780010361.6A Active CN108601512B (zh) 2016-02-22 2017-01-27 在存在组织变形的情况下提供外科手术辅助的系统和方法

Country Status (5)

Country Link
US (1) US10467497B2 (zh)
EP (1) EP3397131A4 (zh)
JP (1) JP6703315B2 (zh)
CN (1) CN108601512B (zh)
WO (1) WO2017146872A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10918310B2 (en) * 2018-01-03 2021-02-16 Biosense Webster (Israel) Ltd. Fast anatomical mapping (FAM) using volume filling
CN113317872B (zh) * 2021-05-11 2024-05-17 南通罗伯特医疗科技有限公司 一种口内切口的下颌骨手术空间建模方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582863A (zh) * 2004-06-01 2005-02-23 复旦大学 一种神经外科手术导航系统中脑组织变形校正的方法
CN102844789A (zh) * 2010-01-22 2012-12-26 范德比尔特大学 在影像引导手术过程中用于纠正变形的数据的系统和方法
CN104603836A (zh) * 2012-08-06 2015-05-06 范德比尔特大学 用于在图像引导手术期间校正数据变形的改进的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10128717A1 (de) * 2001-06-13 2002-12-19 Tst Touchless Sensor Technolog Verfahren und Vorrichtung zur Erkennung natürlicher Haut
EP1603076A1 (en) * 2004-05-13 2005-12-07 Aalborg Universitet Computerized cortex boundary extraction from MR images
US8660325B2 (en) * 2006-07-17 2014-02-25 Koninklijke Philips N.V. Efficient user interaction with polygonal meshes for medical image segmentation
WO2008063494A2 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US8024525B2 (en) * 2007-07-25 2011-09-20 Digi-Data Corporation Storage control unit with memory cache protection via recorded log
FR2936889B1 (fr) * 2008-10-03 2012-09-28 Univ Grenoble 1 Procede pour le recalage d'un ensemble de points dans des images
WO2011143820A1 (zh) 2010-05-20 2011-11-24 复旦大学 一种模拟脑组织图像变形及矫正的方法
EP2468207A1 (en) 2010-12-21 2012-06-27 Renishaw (Ireland) Limited Method and apparatus for analysing images
EP2686829B1 (en) 2011-03-18 2020-11-11 Koninklijke Philips N.V. Tracking brain deformation during neurosurgery
JP5387629B2 (ja) * 2011-07-30 2014-01-15 株式会社デンソー Ｄｃｄｃコンバータの制御装置
US9336592B2 (en) * 2012-02-03 2016-05-10 The Trustees Of Dartmouth College Method and apparatus for determining tumor shift during surgery using a stereo-optical three-dimensional surface-mapping system
KR20140015965A (ko) * 2012-07-27 2014-02-07 삼성전자주식회사 변형 가능한 대상체의 변형량을 실시간으로 계산하는 방법 및 장치
WO2014093376A1 (en) 2012-12-10 2014-06-19 The Cleveland Clinic Foundation Mage fusion with automated compensation for brain deformation
US8989472B2 (en) * 2013-02-13 2015-03-24 Mitsubishi Electric Research Laboratories, Inc. Method for simulating thoracic 4DCT
US9262583B2 (en) * 2013-03-29 2016-02-16 Case Western Reserve University Image similarity-based finite element model registration
US10311694B2 (en) 2014-02-06 2019-06-04 Empoweryu, Inc. System and method for adaptive indirect monitoring of subject for well-being in unattended setting
US10426372B2 (en) * 2014-07-23 2019-10-01 Sony Corporation Image registration system with non-rigid registration and method of operation thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582863A (zh) * 2004-06-01 2005-02-23 复旦大学 一种神经外科手术导航系统中脑组织变形校正的方法
CN102844789A (zh) * 2010-01-22 2012-12-26 范德比尔特大学 在影像引导手术过程中用于纠正变形的数据的系统和方法
CN104603836A (zh) * 2012-08-06 2015-05-06 范德比尔特大学 用于在图像引导手术期间校正数据变形的改进的方法

Also Published As

Publication number Publication date
WO2017146872A1 (en) 2017-08-31
US10467497B2 (en) 2019-11-05
JP2019512284A (ja) 2019-05-16
US20170243344A1 (en) 2017-08-24
JP6703315B2 (ja) 2020-06-03
EP3397131A1 (en) 2018-11-07
EP3397131A4 (en) 2019-08-14
CN108601512A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
JP7125019B2 (ja) 術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置
CN108701220B (zh) 用于处理多模态图像的系统和方法
US9990744B2 (en) Image registration device, image registration method, and image registration program
CN108701170B (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
US8942455B2 (en) 2D/3D image registration method
US10002424B2 (en) Image processing system and method to reconstruct a three-dimensional (3D) anatomical surface
US10052032B2 (en) Stenosis therapy planning
CN109152566B (zh) 校正超声融合成像系统中的探头引起的变形
EP3203914B1 (en) Radiation dose applied to different anatomical stages
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
EP3025303A1 (en) Multi-modal segmentation of image data
JP2016189946A (ja) 医用画像位置合わせ装置および方法並びにプログラム
CN108601512B (zh) 在存在组织变形的情况下提供外科手术辅助的系统和方法
US10896501B2 (en) Rib developed image generation apparatus using a core line, method, and program
WO2020031071A1 (en) Internal organ localization of a subject for providing assistance during surgery
US11138736B2 (en) Information processing apparatus and information processing method
US10438368B2 (en) Apparatus, method, and system for calculating diameters of three-dimensional medical imaging subject
US20230237711A1 (en) Augmenting a medical image with an intelligent ruler
KR20230066526A (ko) 이미지 처리 방법, 장치, 컴퓨팅 디바이스 및 저장 매체
JP6068032B2 (ja) 医用画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant