CN108701170A - 用于产生解剖部分的三维(3d)视图的图像处理系统和方法 - Google Patents

用于产生解剖部分的三维(3d)视图的图像处理系统和方法 Download PDF

Info

Publication number
CN108701170A
CN108701170A CN201780015280.5A CN201780015280A CN108701170A CN 108701170 A CN108701170 A CN 108701170A CN 201780015280 A CN201780015280 A CN 201780015280A CN 108701170 A CN108701170 A CN 108701170A
Authority
CN
China
Prior art keywords
anatomic part
views
anatomic
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780015280.5A
Other languages
English (en)
Other versions
CN108701170B (zh
Inventor
黄科凯
刘明昌
小林诚司
坂口竜己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108701170A publication Critical patent/CN108701170A/zh
Application granted granted Critical
Publication of CN108701170B publication Critical patent/CN108701170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pulmonology (AREA)

Abstract

本文公开了用于产生解剖部分的三维(3D)视图的图像处理系统和方法的各方面。所述系统包括图像处理装置，该图像处理装置被配置为接收与解剖部分相关联的多个二维(2D)图像，每个2D图像具有第一视场(FOV)值。从解剖部分的3D重构产生解剖部分的具有第二FOV值的第一3D视图。3D重构是通过使用从接收的多个2D图像选择的2D图像帧集合而获得的。第二FOV值大于解剖部分的所述多个2D图像中的每个的第一FOV值。基于产生的第一3D视图与解剖部分的术前状态所关联的3D数据的对齐来产生第二3D视图。

Description

用于产生解剖部分的三维(3D)视图的图像处理系统和方法
相关申请的交叉引用/通过引用并入
本申请要求2016年3月11日提交的美国临时专利申请序列号62/306,817的优先权，该申请的全部内容特此通过引用并入。
技术领域
本公开的各种实施例涉及一种图像处理系统和方法。更具体地说，本公开的各种实施例涉及一种用于产生解剖部分的3D视图的图像处理系统和方法。
背景技术
医学图像计算领域中的最近的发展已经导致各种图像处理技术中的进步，其中，医学图像的维数是关键参数。通常，在图像引导的手术过程之前(诸如磁共振成像(MRI)/计算机断层扫描(CT))，获取患者(或“对象”)数据。在图像引导的手术过程期间，将对象定位在手术室(OR)中。其后，可以执行对象对齐以将MRI/CT数据加入到手术导航系统中。
常规方法(诸如基准标记物、头部掩模、表面示踪物、解剖标志物或附加的MRI/CT数据)用于执行这样的对象对齐。在这样的情况下，对齐是基于激光辅助和/或集成工具的。因此，对象的解剖部分的表面可以被追踪，并且掩模被映射在解剖部分的被追踪表面上。然而，通过使用常规方法执行的这样的对象对齐可能不足够鲁棒而产生在手术期间将使用的解剖部分的高维视图。因此，用于快速地产生在手术期间可以使用的、对象的解剖部分的增强视图的先进技术可能是期望的。
通过将所描述的系统与如在本申请的其余部分中参照附图阐述的本公开的一些方面进行比较，常规的传统方法的进一步的限制和缺点对于本领域技术人员将变得清晰。
发明内容
一种用于产生解剖部分的三维(3D)视图的图像处理系统和方法大体上是如附图中的至少一个中示出的和/或结合附图中的至少一个描述的、如权利要求中更完全地阐述的那样提供的。
本公开的这些特征和优点以及其他特征和优点可以通过审阅本公开的以下详细描述、连同附图领会到，在附图中，相似的标号始终指代相似的部分。
附图说明
图1是例示说明根据本公开的实施例的用于产生解剖部分的三维(3D)视图的图像处理系统网络的框图。
图2是例示说明根据本公开的实施例的产生解剖部分的3D视图的示例性图像处理装置的详细框图。
图3是例示说明根据本公开的实施例的所公开的用于产生解剖部分的3D视图的图像处理系统和方法的实施方式的示例性情境的详细框图。
图4是例示说明根据本公开的实施例的用于产生解剖部分的3D视图的示例性图像处理方法的流程图。
具体实施方式
各种实施方式可以在用于产生解剖部分的3D视图的图像处理系统和/或方法中找到。本公开的示例性方面可以包括图像处理装置接收与解剖部分的术中状态相关联的多个二维(2D)图像的方法。多个2D图像中的每个均可以具有第一视场(FOV)值。基于特定准则，可以从解剖部分的3D重构产生具有第二FOV值的解剖部分的第一3D视图。可以通过使用从接收的多个2D图像选择的2D图像帧集合来获得3D重构。解剖部分的第一3D视图的第二FOV值可以大于解剖部分的所述多个2D图像中的每个的第一FOV值。可以基于产生的第一3D视图与解剖部分的术前状态所关联的3D数据的对齐来产生第二3D视图。
根据实施例，可以在术中状态下从围绕解剖部分的多个位置捕获多个2D图像。根据实施例，从接收的解剖部分的多个2D图像选择2D图像帧集合的特定准则可以是成像装置覆盖的相对距离。成像装置可以对应于照相机、显微成像器、立体成像器和/或腹腔镜成像器。根据实施例，可以根据从接收的多个2D图像选择的2D图像帧集合逐帧地执行解剖部分的3D重构。
根据实施例，可以从获得的解剖部分的3D重构提取感兴趣区域(ROI)。根据实施例，可以从获得的解剖部分的3D重构和提取的ROI估计解剖部分的3D姿态。
根据实施例，产生的解剖部分的第一3D视图在第一坐标空间中的第一3D点云可以与解剖部分的3D数据在第二坐标空间中的第二3D点云对齐。根据实施例，关于手术计划，产生的第二3D视图的坐标变换可以通过使用变换参数集合、基于与解剖部分的术前状态相关联的3D数据。与解剖部分的术前状态相关联的3D数据可以对应于解剖部分的磁共振成像(MRI)、计算机断层扫描(CT)图像或正电子发射断层扫描(PET)扫描。
图1是例示说明根据本公开的实施例的产生解剖部分的3D视图的图像处理系统的网络图的框图。参照图1，示出了网络系统100。网络系统100可以包括图像处理装置102、成像装置104、3D数据源106、显示装置108和通信网络110。图像处理装置102可以经由通信网络110通信地耦合到成像装置104、3D数据源106和显示装置108。
图像处理装置102可以包括可以被配置为经由通信网络110从成像装置104接收多个2D图像的合适的逻辑、电路、接口和/或代码。所述多个2D图像可以与对象的解剖部分的术中状态相关联。所述多个2D图像中的每个均可以具有第一视场(FOV)值，诸如窄FOV。图像处理装置102的功能可以在本地装置(诸如医学诊断装置或高速计算装置)或远程装置(诸如应用服务器或图形图像处理服务器)中实现。图像处理装置102的例子可以包括，但不限于，可穿戴装置(诸如智能眼镜或头戴装置)、计算装置、服务器、基于增强现实的显示装置、计算机工作站、大型机和/或其他图像处理装置。
根据实施例，解剖部分可以是对象(诸如人类对象)的解剖区域和/或器官。解剖部分可以包括多个异质解剖表面结构。根据实施例，解剖部分可以是人类对象的脑部(头盖区)或脑部的至少一部分。在这样的实施例中，多个异质表面结构可以是脑部的皮质、血管或动脉。多个表面结构可以进一步包括人类对象的脑部内的肿瘤结构。根据实施例，解剖部分可以是心脏(贲门区)，其也包括异质解剖表面结构。
本领域的普通技术人员将理解，本公开的范围不限于所公开的帮助人类对象的解剖部分的手术的系统和方法的实施方式。根据实施例，所公开的系统和方法可以用于帮助动物对象的解剖部分或解剖区域的手术。此外，如上面所讨论的，所公开的系统和方法对于帮助除了脑部或心脏之外的解剖部分或区域的手术也可能是有用的。
成像装置104可以包括可以被配置为捕获与解剖部分的术中状态相关联的多个2D图像的合适的逻辑、电路、接口和/或代码。所述多个2D图像可以由成像装置104在术中状态下从围绕解剖部分的多个位置捕获。所述多个2D图像可以对应于具有第一FOV值(诸如窄FOV)的2D立体图像。此外，成像装置104可以被配置为经由通信网络110将捕获的多个2D图像发送到图像处理装置102。所述多个2D图像(诸如立体图像对)可以通过使用来自不同视点的多个照相机、单个立体照相机的多个照相机镜头或单个移动照相机来获取。成像装置104的例子可以包括，但不限于，照相机、显微成像器、立体成像器、内窥镜成像器和腹腔镜成像器。例如，成像装置104可以安装在用于执行显微手术的手术显微镜上。
3D数据源106可以包括可以被配置为产生与解剖部分的术前状态相关联的3D数据的合适的逻辑、电路、接口和/或代码。3D数据源106可以被进一步配置为经由通信网络110将产生的3D数据发送到图像处理装置102。与解剖部分的术前状态相关联的3D数据可以与产生的第一3D视图对齐，以产生解剖部分的第二3D视图。与解剖部分的术前状态相关联的3D数据可以对应于解剖部分的MRI、CT和/或PET图像。3D数据源106可以对应于磁共振成像(MRI)扫描仪、存储3D数据的服务器或可以包括MRI扫描仪的多模态源。用于获得与解剖部分的术前状态相关联的3D数据的多模态源的例子可以包括，但不限于，X射线计算断层扫描(CT)扫描仪、磁共振成像(MRI)扫描仪、磁共振血管造影(MRA)扫描仪、基于流体衰减反转恢复(FLAIR)的扫描仪和/或正电子发射断层扫描(PET)扫描仪。
显示装置108可以包括可以被配置为渲染产生的解剖部分的第二3D视图的合适的逻辑、电路、接口和/或代码。显示装置108还可以被配置为渲染接收的与解剖部分的术中状态相关联的多个2D图像。显示装置108的例子可以包括，但不限于，显示屏、电视机(TV)、膝上型电脑、平板计算机、智能电话和/或光学头部安装的显示装置。根据实施例，图像处理装置102、成像装置104和显示装置108可以是计算机辅助手术系统的一部分。
通信网络110可以包括图像处理装置102、成像装置104、3D数据源106和显示装置108可以通过其相互通信的介质。通信网络110的例子可以包括，但不限于，互联网、云网络、长期演进(LTE)网络、无线保真(Wi-Fi)网络、无线个域网(WPAN)、无线局域网(WLAN)、局域网(LAN)、无线广域网(WWAN)、电话线(POTS)和/或城域网(MAN)。网络环境100中的各种装置可以可操作为根据各种有线通信协议和无线通信协议连接到通信网络110。网络环境100也可以被称为网络系统100。这样的有线通信协议和无线通信协议的例子可以包括，但不限于，传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、超文本传输协议安全(HTTPS)、文件传输协议(FTP)、Zigbee、EDGE、红外(IR)、IEEE 802.11、802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。
在操作中，图像处理装置102(或另一计算装置(未示出))可以被配置为从MRI扫描仪接收至少与解剖部分相关联的数据集。该数据集可以包括表示穿过解剖部分的体积截取的切片平面(诸如穿过人类对象的颅骨的切片)的若干个2D图像。该数据集可以是在手术之前获取的MRI数据。图像处理装置102(或其他计算装置)可以被配置为配准(register)接收的与解剖部分相关联的数据集。
根据实施例，图像处理装置102可以被配置为从多模态源接收与解剖部分相关联的多个数据集。根据实施例，为了配准来自不同多模态源(诸如CT和MRI)的与解剖部分相关联的多个数据集，所述多个数据集必须具有重叠的内容。在这样的实施例中，图像处理装置102可以被配置为基于对重叠的内容的识别来配准接收的与解剖部分相关联的多个数据集。基于从MRI扫描仪或多模态源接收的一个或多个数据集，图像处理装置102(或其他计算装置)可以被配置为基于配准来重构解剖部分的多个表面结构。例如，当解剖部分是脑部时，可以重构脑部表面结构，诸如小脑皮质、大脑皮质、脑血管结构和/或脑室。
根据实施例，图像处理装置102可以被配置为基于2D到3D几何处理来产生解剖部分在术前状态下的3D数据。2D到3D几何处理可以是网格集合处理或栅格几何处理。产生的3D数据可以对应于可以包括重构的多个表面结构的3D结构(或术前状态下的3D模型)。显示装置108可以被配置为显示在手术之前产生的解剖部分的3D数据的一个或多个视图。外科医生可以基于显示的解剖部分的3D结构的一个或多个视图来计划将对解剖部分进行的手术。在手术计划的规划期间，物理模型(诸如器官模型、血管图、神经图、肌肉和肌腱图、组织结构或它们的组合)可以规划具有最佳的进入路径的手术策略以及在手术期间可以接受手术工具的侵入的安全区域。手术计划可以突出如果进入的话可能造成危险的操作区域、或计划的手术的可以允许外科医生进入的安全区域(未示出)。
根据实施例，在术中状态下(当执行手术时)，成像装置104可以被配置为捕获解剖部分的多个2D图像。成像装置104可以被配置为在多个位置从不同的角度捕获多个2D图像，诸如多视图影像。根据实施例，成像装置104可以内置在图像处理装置102中。可替代地，根据实施例，成像装置104可以不内置在图像处理装置102中。在这样的实施例中，成像装置104可以被配置为经由通信网络110将捕获的多个2D图像发送到图像处理装置102。
根据实施例，图像处理装置102可以被配置为经由通信网络110从成像装置104接收与解剖部分的术中状态相关联的多个2D图像。接收的多个2D图像中的每个均可以具有第一FOV值。接收的多个2D图像中的每个的第一FOV值可以小于预定阈值，诸如窄FOV。图像处理装置102可以进一步经由通信网络110将接收的多个2D图像发送到显示装置108。显示装置108可以被配置为渲染从图像处理装置102接收的多个2D图像。
根据实施例，图像处理装置102可以被配置为基于特定准则从接收的多个2D图像选择2D图像帧集合。特定准则可以对应于当捕获多个2D图像时成像装置104包围的相对距离。
根据实施例，图像处理装置102可以被进一步配置为根据基于特定准则从接收的多个2D图像选择的2D图像帧集合执行解剖部分的3D重构。可以根据选择的手术期间的2D图像帧集合逐帧地执行解剖部分的3D重构。3D重构可以对应于解剖部分的点集数据或3D模型。
根据实施例，图像处理装置102可以被进一步配置为从获得的解剖部分的3D重构提取一个或多个感兴趣区域(ROI)。图像处理装置102可以被进一步配置为基于重构的解剖部分的3D重构和/或提取的一个或多个ROI来估计解剖部分的3D姿态。
基于解剖部分的估计的3D姿态，图像处理装置102可以被进一步配置为重构解剖部分的第一3D视图。产生的解剖部分的第一3D视图可以具有第二FOV值，诸如宽FOV数据。产生的解剖部分的第一3D视图的第二FOV值可以大于接收的解剖部分的多个2D图像中的每个的第一FOV值。图像处理装置102可以被进一步配置为确定第一坐标空间(诸如患者坐标空间)中的与产生的第一3D视图相对应的第一3D点云。
根据实施例，图像处理装置102可以进一步经由通信网络110从3D数据源106接收与3D数据相对应的第二3D点云。3D数据的第二3D点云可以与解剖部分的术前状态相关联。与3D数据相对应的第二3D点云可以在第二坐标空间(诸如图像坐标空间)中。
根据实施例，图像处理装置102可以被配置为基于对齐的数据集来产生第二3D视图。对齐的数据集可以对应于产生的第一3D视图与解剖部分的术前状态所关联的3D数据的对齐。对齐可以基于第一坐标空间(患者坐标空间)中的第一3D点云与解剖部分在第二坐标空间(图像坐标空间)中的第二3D点云的对齐。产生的解剖部分的第二3D视图也可以用可以针对期望的3D输出构造的3D模型来表示。该重构的视图可以基于本领域中已知的3D表面渲染或采样技术。3D模型可以借助于按照用户偏好的3D表面或3D点云来表示。
根据实施例，在对齐期间，图像处理装置102可以被配置为执行产生的第二3D视图的坐标变换。这可以针对手术计划、通过使用变换参数集合、基于产生的与解剖部分的术前状态相关联的3D数据(或结构)来进行。因此，图像处理装置102可以根据外科医生提供的手术计划来产生解剖部分的最终3D视图，最终3D视图可以包括产生的第二3D视图重叠在解剖部分的3D数据上。解剖部分的最终3D视图是基于外科医生提供的手术计划的、高分辨率且详细的针对性术中视图。
图像处理装置102可以被配置为在输出装置(诸如显示屏)上渲染解剖部分的最终3D视图。根据实施例，图像处理装置102可以被配置为经由通信网络110将产生的解剖部分的最终3D视图发送到显示装置108。显示装置108可以被配置为在显示屏上渲染接收的解剖部分的最终3D视图。根据实施例，当图像处理装置102是头戴装置或可穿戴装置时，显示屏可以与图像处理装置102集成以便于手术期间的导航，从而在人类或动物身体的解剖部分或其他区域的手术中提供帮助。
如上面所讨论的，成像装置104可以具有较窄的FOV来捕获足够的数据。根据实施例，当所用的成像装置104具有较窄的FOV(诸如显微镜)以通过来回移动照相机来捕获足以进行准确的患者对齐的数据时，可能难以准确地执行患者空间和MRI/CT空间之间的患者对齐。因此，所公开的系统和方法自动地使用由可以具有捕获表面的足够且详细的数据的较窄FOV的成像器(诸如成像装置104)所获取的2D立体图像输入来重构3D(诸如第二3D视图)中的更宽FOV。3D(诸如第二3D视图)中的该更宽FOV可以使得能够在患者空间和MRI/CT空间之间进行准确的患者对齐，因为当关键的可唯一识别的(一个或多个)特征被成像装置104捕获到时，对齐是最鲁棒的且成功的。因此，所公开的系统和方法可以用于对齐刚性的解剖结构，诸如神经外科中的头部或者骨外科或需要刚性患者对齐的其他外科中的骨头。根据实施例，也可以使得软组织的对齐是可能的。
图2是例示说明根据本公开的实施例的产生解剖部分的3D视图的示例性图像处理装置的框图。图2是结合图1的元件说明的。参照图2，图像处理装置102可以包括图像处理器202、存储器204、一个或多个输入/输出(I/O)装置(诸如I/O装置)206、感测装置208和网络接口210。该框图可以进一步包括各种专用的处理单元，诸如3D重构单元202a、3D姿态估计单元202b、宽FOV整合单元202c、对齐和配准单元202d以及坐标变换单元202e。感测装置208可以进一步包括图像传感器212。
图像处理器202可以通信地耦合到存储器204、I/O装置206、感测装置208和网络接口210。网络接口210可以在图像处理器202的控制下经由通信网络110与成像装置104、3D数据源106和显示装置108通信。
图像处理器202可以包括可以可操作为执行存储在存储器204中的指令集的合适的逻辑、电路、接口和/或代码。图像处理器202可以被配置为将执行一个或多个特定操作的指令提供给一个或多个专门的单元。图像处理器202可以被进一步配置为基于特定准则来执行从多个2D图像选择2D图像帧集合。图像处理器202可以被进一步配置为执行选择的2D图像帧集合的图像矫正和视差估计。图像处理器202可以基于本领域中已知的若干种处理器技术来实现。图像处理器202的例子可以是基于X86的处理器、图形处理单元(GPU)、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、微控制器、中央处理单元(CPU)和/或其他控制电路。
3D重构单元202a可以包括可以被配置为根据2D图像帧集合执行解剖部分的3D重构的合适的逻辑、电路、接口和/或代码。3D重构单元202a可以基于本领域中已知的一种或多种算法(诸如数值逼近算法和双目立体视觉算法)来执行3D重构。
3D姿态估计单元202b可以包括可以被配置为基于解剖部分的3D重构和成像装置104的焦距来估计解剖部分的3D姿态的合适的逻辑、电路、接口和/或代码。解剖部分的3D姿态的估计可以进一步基于从获得的解剖部分的3D重构提取的一个或多个ROI。3D姿态估计单元202b可以包括基于本领域中已知的一种或多种姿态估计算法(诸如依赖于迭代过程和近似投影范例的POSIT和SolvePnP)来估计3D姿态。
宽FOV整合单元202c可以包括可以被配置为重构解剖部分的第一3D视图的合适的逻辑、电路、接口和/或代码。可以基于从3D姿态估计单元202b接收的经变换的数据集(诸如估计的3D姿态)的顺序整合来重构第一3D视图。宽FOV整合单元202c可以进一步利用一种或多种技术(诸如3D表面渲染和/或3D采样)来产生患者坐标空间中的3D表面和/或3D点云。
对齐和配准单元202d可以包括可以被配置为基于产生的第一3D视图与解剖部分的术前状态所关联的3D数据的对齐来产生第二3D视图的合适的逻辑、电路、接口和/或代码。更具体地说，产生的第一3D视图在第一坐标空间中的第一3D点云可以与解剖部分的3D数据在第二坐标空间中的第二3D点云对齐。这样的对齐可以基于本领域中已知的一种或多种算法，诸如形状特征选择、匹配和优化算法。
坐标变换单元202e可以包括可以被配置为基于从3D数据源106接收的3D数据来保持产生的第二3D视图和手术计划之间的位置相关性的合适的逻辑、电路、接口和/或代码。换句话说，可以通过使用变换参数集合，基于与解剖部分的术前状态相关联的3D数据来针对手术计划对产生的第二3D视图执行坐标变换。
在实施例中，外科医生可以基于解剖部分的3D数据来准备手术计划。手术策略可以识别在手术操作期间可以接受手术工具的侵入的最佳的出口路径和安全区域。手术计划可以进一步提供手术操作的要求的广泛细节。操作的手术细节可以包括识别解剖部分的安全区域、入口路径、位置、形状和大小以及如果进入的话可能会伤害患者的危险区域。外科医生可以在手术操作期间对患者的解剖部分执行手术计划。因此，坐标变换单元202e可以根据外科医生提供的手术计划来产生解剖部分的最终3D视图，最终3D视图可以包括重叠在解剖部分的3D数据上的产生的第二3D视图。
参照图2，所述一个或多个专门的处理单元可以实现为图像处理装置102中的单独的处理器或电路。在实施例中，所述一个或多个专门的处理单元和图像处理器202可以实现为共同地执行所述一个或多个专门的处理单元和图像处理器202的功能的集成处理器或处理器集群。在实施例中，所述一个或多个专门的处理单元可以实现为存储在存储器204中的指令集，该指令集当被图像处理器202执行时可以执行图像处理装置102的功能和操作。
存储器204可以包括可以被配置为存储图像处理器202、3D重构单元202a、3D姿态估计单元202b、宽FOV整合单元202c、对齐和配准单元202d以及坐标变换单元202e可执行的机器代码和/或指令集的合适的逻辑、电路和/或接口。存储器204可以被配置为存储与解剖部分的术中状态相关联的多个2D图像、从接收的多个2D图像选择的2D图像帧集合、以及它们对应的第一FOV值。存储器204可以被进一步配置为存储用于选择2D图像帧集合的特定准则、解剖部分的3D重构、与解剖部分的术前状态相关联的3D数据、以及产生的解剖部分的第二3D视图。存储器204可以被进一步配置为存储产生的解剖部分的第二3D视图的第二FOV值以及基于对齐的数据集的变换参数集合。存储器204的实现例子可以包括，但不限于，随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓存和/或安全数字(SD)卡。
I/O装置206可以包括可以被配置为从一个或多个用户(诸如外科医生或患者)接收输入的合适的逻辑、电路、接口和/或代码。I/O装置206可以被进一步配置为将输出提供给所述一个或多个用户。I/O装置206可以包括可以可操作为与图像处理器202通信的各种输入装置和输出装置。输入装置的例子可以包括，但不限于，触摸屏、物理输入按钮、控制杆、麦克风和/或扩展坞。输出装置的例子可以包括，但不限于，集成显示屏、触摸屏显示器和/或扬声器。
感测装置208可以包括可以被配置为检测/测量生物参数、物理参数和/或化学参数的事件或变化并且提供对应的输出(一般作为电信号或光学信号)的合适的逻辑、电路、接口和/或代码。例如，图像传感器212可以使得图像处理装置102能够捕获多个2D图像。感测装置208的其他例子可以包括，但不限于，压力传感器、温度传感器和湿度传感器，其可以监视并调节麻醉机、呼吸器和通风器中的气体流动和气体状况。
网络接口210可以包括可以被配置为经由通信网络110连接外部装置(诸如显示装置108)并与其通信的合适的逻辑、电路、接口和/或代码。网络接口210可以实现已知的技术来支持与通信网络110的有线或无线通信。网络接口210可以包括，但不限于，天线、频率调制(FM)网络接口、射频(RF)网络接口、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、译码器-解码器(CODEC)芯片组、用户身份模块(SIM)卡和/或本地缓冲器。网络接口210可以经由无线通信与网络(诸如互联网、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)))通信。无线通信可以使用多个通信标准、协议和技术中的任何一个，诸如长期演进(LTE)、全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件、即时消息传送和/或短消息服务(SMS)的协议。
在操作中，感测装置208的图像传感器212可以被配置为在手术室(OR)中捕获患者的解剖部分的表面的多个2D图像(诸如立体图像)。多个2D图像可以对应于解剖部分的术中状态，并且可以包括相对于参考从不同角度捕获的解剖部分的多个图像。捕获的多个2D图像中的每个均可以具有第一FOV。多个2D图像可以由图像传感器212基于从用户(诸如护士、医生和其他医疗保健专业人员)接收的输入信号而捕获。输入信号可以由用户经由用户界面上呈现的图形按钮的选择或图像处理装置102处可用的硬件按钮的按钮按压事件而提供。
根据实施例，图像处理器202结合网络接口210可以经由通信网络110从外部数据库(未示出)检索多个2D图像。根据实施例，图像处理装置102结合网络接口210可以经由通信网络110从成像装置104接收多个2D图像。在这样的情况下，成像装置104可以包括被配置为捕获多个2D图像的一个或多个图像传感器。成像装置104的例子可以包括，但不限于，照相机、显微成像器、立体成像器和腹腔镜成像器。
根据实施例，图像处理器202可以将多个2D图像传送给3D重构单元202a。外科医生可能希望以加快的步伐查看2D图像帧集合。在这样的情况下，图像处理器202可以被配置为基于用于加快查看的特定准则来从接收的多个2D图像选择2D图像帧集合。特定准则可以对应于图像传感器212捕获多个2D图像所包围的相对距离。图像处理器202可以被进一步配置为对选择的2D图像帧集合执行图像矫正。图像矫正包括将选择的2D图像帧集合变换到公共图像平面(或公共图坐标系)上。图像矫正可以促进后续3D重构所需的选择的2D图像帧集合之间的匹配点的识别。图像处理器202可以被进一步配置为估计与立体图像相对应的选择的2D图像帧集合中的视差。视差可以对应于来自经矫正的2D图像帧集合中的一对立体图像帧之间的表观像素差异或运动。视差估计可以促进后续3D重构所需的针对选择的2D图像帧集合的视差图的确定。图像处理器202可以将选择的2D图像帧集合的匹配点和视差图传送给3D重构单元202a。
3D重构单元202a可以被配置为基于从图像处理器202接收的匹配点和视差图，来根据选择的2D图像帧集合执行解剖部分的3D重构。可以根据选择的2D图像帧集合逐帧地执行解剖部分的3D重构。可以基于本领域中已知的一种或多种算法(诸如数值逼近算法)来执行解剖部分的3D重构。3D重构单元202a可以被配置为将获得的解剖部分的3D重构传送给图像处理器202。根据实施例，3D重构单元202a结合图像处理器202可以被配置为从获得的3D重构确定一个或多个错误的、异常的和/或有噪声的帧/数据。3D重构单元202a可以被配置为将解剖部分的无噪声3D重构传送给3D姿态估计单元202b。
根据实施例，图像处理器202可以被配置为从获得的解剖部分的3D重构提取ROI。图像处理器202可以被配置为执行2D跟踪以确定解剖部分的3D重构的提取的ROI中的2D特征集合，诸如多个像素的光流。图像处理器202可以被配置为将确定的2D特征传送给3D姿态估计单元202b。
根据实施例，3D姿态估计单元202b可以被进一步配置为估计解剖部分的提取的ROI的3D姿态。可以基于图像处理器202确定的2D特征和3D重构单元202a产生的无噪声3D重构来执行3D姿态估计。
根据实施例，可以经由已知技术(诸如随机抽样一致性(RANSAC)算法)，基于以解剖部分的物理结构为基础的预定模型，通过在3D重构的3D坐标上映射的确定的2D特征来估计3D姿态。根据实施例，可以利用RANSAC算法来移除不适合3D刚性变换(诸如旋转、平移或其他变换假设)的边远匹配。RANSAC算法是用于从包含异常值的观测数据集合估计数学模型的参数的非确定性迭代方法。根据实施例，可以基于帧模型配准的错误检查来修改RANSAC算法。3D姿态估计单元202b可以将估计的3D姿态传送给宽FOV整合单元202c。
根据实施例，宽FOV整合单元202c可以被配置为基于解剖部分的提取的ROI的3D姿态估计来产生解剖部分的第一3D视图。可以基于从3D姿态估计单元202b接收的经变换的数据集(诸如估计的3D姿态)的顺序整合来产生第一3D视图。宽FOV整合单元202c可以被进一步配置为确定解剖部分的第一3D视图的3D表面和/或3D点云。产生的解剖部分的第一3D视图可以具有第二FOV值，诸如具有更多细节的宽FOV。产生的解剖部分的第一3D视图的第二FOV值可以大于接收的解剖部分的多个2D图像中的每个的第一FOV值。宽FOV整合单元202c可以进一步利用一种或多种技术(诸如3D表面渲染和/或3D采样)来产生患者坐标空间中的3D表面和/或3D点云(或第一3D点云)。宽FOV整合单元202c可以将患者坐标空间中的3D点云传送给对齐和配准单元202d。
根据实施例，对齐和配准单元202d结合图像处理器202可以使患者坐标空间中产生的第一3D视图(术中状态)的3D点云与图像坐标空间中与解剖部分的3D数据(术前状态)相对应的另一3D点云对齐。图像处理器202可以被配置为从外部装置(诸如MRI或CT扫描装置)接收图像坐标空间中解剖部分的3D数据的3D点云。与解剖部分的MRI或CT数据相对应的3D数据可以与解剖部分的术前状态相关联。这样的对齐可以基于本领域中已知的一种或多种算法，诸如形状特征选择、匹配和优化算法。产生的解剖部分的第二3D视图也可以基于本领域中已知的3D表面渲染或采样技术用可以针对期望的3D输出构造的3D模型来表示。
根据实施例，对齐和配准单元202d中的点配准模块可以根据需要执行细化以进一步使产生的第一3D视图的3D点云与3D数据的3D点云对齐。基于产生的第一3D视图在患者坐标空间中的3D点云与解剖部分的3D数据在图像坐标空间中的3D点云的对齐，对齐和配准单元202d可以被配置为产生解剖部分的第二3D视图和相关联的经对齐的数据集。第二3D视图可以与一个或多个变换参数相关联。对齐和配准单元202d可以将所述一个或多个变换参数和/或产生的解剖部分的第二3D视图传送给坐标变换单元202e。
坐标变换单元202e可以对解剖部分的第二3D视图、手术计划和历史3D数据(诸如来自术前医学扫描的3D数据)共同进行处理以自动地基于第二3D视图对齐历史3D数据。更具体地说，坐标变换单元202e结合图像处理器202可以执行与经对齐的数据集相关联的点云相对于两个3D点云的坐标变换。一个点云对应于作为第二坐标空间中解剖部分的历史图像数据的3D数据的历史3D点云。历史3D点云可以表示覆盖手术计划的预期进入的区域的皮肤外层。历史3D数据可以在手术计划表示的安排的手术操作之前被捕获长达几天。因此，坐标变换单元202e可以根据外科医生提供的手术计划来产生解剖部分的最终3D视图，最终3D视图包括叠加在解剖部分的3D数据上的产生的第二3D视图。最终3D视图可以与元数据(诸如患者对齐的信息)相关联。最终3D视图可以耦合到图像处理器202管理的增强现实(AR)显示器。最终3D视图的当前表面图像可以耦合到增强现实显示器以建立患者坐标空间，在患者坐标空间中，最终3D视图可以被图像处理器202显示。
根据实施例，图像处理器202可以包括对于解剖部分的最终3D视图的一个或多个部分的一个或多个AR标签。图像处理器202可以在手术过程期间进一步在最终视图中执行手术工具的跟踪。根据实施例，最终3D视图可以与第二3D视图是位置相关的，这使得AR显示器可以实时地呈现用于执行手术计划的手术工具的实际位置。图像处理器202可以进一步基于患者的解剖部分的最终3D视图来执行实时分析并提供医学推荐和/或诊断推荐。
图3是例示说明根据本公开的实施例的所公开的用于产生解剖部分的3D视图的图像处理系统和方法的实施方式的示例性情境的详细框图。图3是结合图1和图2的元件说明的。参照图3，示出了在多个位置处的立体照相机302。立体照相机302可以对应于成像装置104(图1)。该框图进一步例示说明了如图1和图2中说明的各种装置和一个或多个专门的单元。图像处理装置102可以经由通信网络110通信地耦合到立体照相机302、3D数据源106和显示装置108。
在操作中，在解剖部分(诸如头区304)的图像引导的手术过程之前，执行解剖部分的MRI、CT和/或PET扫描。基于扫描技术的结果，可以获取术前3D数据并将该数据存储在3D数据源106中。此外，外科医生可以利用术前3D数据来准备手术计划320，其将在对头区304的图像引导的手术过程期间被执行。
术前3D数据可以进一步用于确定从术前3D数据提取的感兴趣表面的历史3D点云。这样的历史3D点云可以表示覆盖根据手术计划320预期在其上进入的感兴趣表面的区域的皮肤外层。手术计划320可以指示感兴趣表面中的安全区域和危险区域，这可以帮助外科医生执行图像引导的手术过程。术前3D数据可以在手术计划320表示的安排的图像引导的手术过程之前被捕获长达几天。
在图像引导的手术过程期间，患者处于固定的手术位置，该位置可以是与用于捕获术前3D数据的位置大不相同的位置。立体照相机302可以被配置为捕获与患者的头区304的术中状态相关联的多个2D图像308。立体照相机302可以被配置为围绕头区304旋转以从不同位置在相对于参考的不同角度下捕获多个2D图像308。捕获的多个2D图像308中的每个均可以与头区304的术中状态相关联，具有第一FOV值。立体照相机302可以进一步经由通信网络110将捕获的多个2D图像308发送到图像处理装置102。图像处理装置102可以进一步经由通信网络110将接收的多个2D图像发送到显示装置108。显示装置108可以被配置为渲染从图像处理装置102接收的多个2D图像。
图像处理器202结合网络接口210可以从立体照相机302接收多个2D图像308，并且可以基于特定准则从多个2D图像308选择2D图像帧集合310。特定准则可以对应于立体照相机302捕获多个2D图像308所包围的相对距离。图像处理器202可以被进一步配置为对选择的2D图像帧集合310执行图像矫正。图像矫正包括将选择的2D图像帧集合310变换到公共图坐标系上。图像矫正可以促进后续3D重构所需的选择的2D图像帧集合310之间的匹配点的识别。图像处理器202可以被进一步配置为估计与立体图像相对应的选择的2D图像帧集合310中的视差。视差可以对应于来自经矫正的选择的2D图像帧集合310中的一对立体图像帧之间的表观像素差异或运动。视差估计可以促进3D重构的后续重构所需的对于选择的2D图像帧集合310的视差图的确定。图像处理器202可以将选择的2D图像帧集合310的匹配点和视差图传送给3D重构单元202a。
3D重构单元202a可以被配置为基于从图像处理器202接收的匹配点和视图差，根据选择的2D图像帧集合310执行头区304的3D重构312。3D重构单元202a可以被配置为将获得的3D重构312传送给图像处理器202。根据实施例，3D重构单元202a结合图像处理器202可以被配置为从获得的3D重构确定一个或多个错误的、异常的和/或有噪声的帧。3D重构单元202a可以被配置为将无噪声3D重构312a传送给3D姿态估计单元202b。
根据实施例，图像处理器202可以被配置为从头区304的3D重构提取ROI。ROI被提取以识别表面的细节并且从ROI的表面在算法上移除无用的区域，诸如头发。在实施例中，图像处理器202可以对提取的ROI产生当前3D点云。图像处理器202可以被配置为执行2D跟踪以在获得的头区304的3D重构的所提取的ROI中确定2D特征(诸如多个像素的光流)的集合。图像处理器202可以被配置为将确定的2D特征传送给3D姿态估计单元202b。
根据实施例，3D姿态估计单元202b可以被进一步配置为估计头区304的提取的ROI的3D姿态。可以基于图像处理器202确定的2D特征和3D重构单元202a获得的无噪声3D重构312a来执行3D姿态估计。3D姿态估计单元202b可以将估计的3D姿态传送给宽FOV整合单元202c。
根据实施例，宽FOV整合单元202c可以被配置为基于头区304的提取的ROI的3D姿态估计来重构头区304的第一3D视图314。可以基于从3D姿态估计单元202b接收的经变换的数据集(诸如估计的3D姿态)的顺序整合来重构第一3D视图314。宽FOV整合单元202c可以被进一步配置为确定头区304的第一3D视图314的第一3D表面和/或第一3D点云314a。产生的头区304的第一3D视图314可以具有第二FOV值。产生的头区304的第一3D视图314的第二FOV值可以大于头区304的接收的多个2D图像308中的每个的第一FOV值。宽FOV整合单元202c可以进一步利用一种或多种技术(诸如3D表面渲染和/或3D采样)来产生患者坐标空间中的第一3D表面和/或第一3D点云314a。宽FOV整合单元202c可以将患者坐标空间中的第一3D点云314a传送给对齐和配准单元202d。
根据实施例，对齐和配准单元202d结合图像处理器202可以执行产生的第一3D视图314的第一3D点云314a与头区304的术前3D数据的第二3D点云304a的逐特征对齐。第一3D点云314a可以在患者坐标空间中，第二3D点云304a可以在图像坐标空间中。
对齐和配准单元202d可以被配置为从外部装置(诸如MRI或CT扫描装置)接收图像坐标空间中的头区304的3D数据的第二3D点云304a。与头区304的MRI或CT数据相对应的术前3D数据可以与头区304的术前状态相关联。这样的对齐可以基于本领域中已知的一种或多种算法，诸如形状特征选择、匹配和优化算法。
根据实施例，对齐和配准单元202d中的点配准模块可以根据需要执行细化以进一步使产生的第一3D视图314的第一3D点云314a与术前3D数据的第二3D点云304a对齐。基于产生的第一3D视图314在患者坐标空间中的第一3D点云314a与头区304的3D数据在图像坐标空间中的3D点云的对齐，对齐和配准单元202d可以被配置为产生头区304的第二3D视图316和相关联的经对齐的数据集。第二3D视图可以与一个或多个变换参数相关联。
对齐和配准单元202d可以确定3D变换参数，诸如平移、旋转和缩放，这些3D变换参数可以使第二3D点云304a与第一3D点云314a对齐。第二3D视图316可以包括将术前3D数据以适当的对齐定位为与对应于提取的ROI的当前点云一致可能需要的变换信息。因此，患者的头区304的实际位置可以被指示。
第二3D视图316也可以基于本领域中已知的3D表面渲染或采样技术用可以针对期望的3D输出构造的3D模型来表示。对齐和配准单元202d可以将头区304的产生的第二3D视图316和/或一个或多个变换参数传送给坐标变换单元202e。
坐标变换单元202e将来自第二3D视图316的变换参数(诸如平移、旋转和缩放)和手术计划320应用于术前3D数据。坐标变换单元202e可以将来自手术计划320的突出信息与术前3D数据合并以提供最终3D视图318a，最终3D视图318a可以耦合到AR显示器。坐标变换单元202e还可以被配置为提供最终3D视图318a的各种表示，诸如另一最终3D视图318b。坐标变换单元202e基于术前3D数据来保持第二3D视图316和手术计划320之间的位置相关性。坐标变换单元202e可以在没有人为干预的情况下对最终3D视图318a和318b提供连续的更新。
根据实施例，图像处理器202可以包括对于头区304的最终3D视图318a和318b的一个或多个位置的一个或多个AR标签。图像处理器302可以在手术过程期间进一步在最终3D视图318a和318b中执行手术工具的跟踪。根据实施例，最终3D视图318a和318b可以与第二3D视图316是位置相关的，这使得AR显示器可以实时地呈现用于执行手术计划320的手术工具的实际位置。图像处理器202可以进一步基于患者的头区304的最终3D视图318a和318b来执行实时分析并提供医学推荐和/或诊断推荐。
图4是例示说明根据本公开的实施例的用于产生解剖部分的3D视图的图像处理方法的流程图。参照图4，示出了流程图400。流程图400是结合图1、图2和图3描述的。在图像处理装置102处实现的方法在402开始，并且继续进行到422。
在404，图像处理装置102可以经由通信网络110接收与解剖部分的术中状态相关联的多个2D图像。与解剖部分的术中状态相关联的多个2D图像可以由图像处理装置102从感测装置208的图像传感器212接收。接收的多个2D图像中的每个均可以具有第一FOV值。在406，图像处理器202可以基于特定准则从接收的解剖部分的多个2D图像选择2D图像帧集合。
在408，3D重构单元202a可以根据从接收的多个2D图像选择的2D图像帧集合获得解剖部分的3D重构。在410，可以经由图像处理器202从获得的解剖部分的3D重构提取ROI。
在412，3D姿态估计单元202b可以从获得的解剖部分的3D重构和提取的ROI估计解剖部分的3D姿态。在414，基于估计的3D姿态，宽FOV整合单元202c可以产生第一3D视图。产生的解剖部分的第一3D视图可以具有第二FOV值，诸如宽FOV。产生的解剖部分的第一3D视图的第二FOV值可以大于接收的解剖部分的多个2D图像中的每个的第一FOV值。
在416，基于产生的第一3D视图与解剖部分的术前状态所关联的3D数据的对齐，对齐和配准单元202d可以产生第二3D视图。更具体地说，获得的3D重构在第一坐标空间中的第一3D点云可以与解剖部分的3D数据在第二坐标空间中的第二3D点云对齐。
在418，坐标变换单元202e可以通过使用一个或多个变换参数，基于术前3D数据以及产生的第二3D视图关于外科医生提供的手术计划在解剖部分的3D数据上的坐标变换，来产生解剖部分的最终3D视图。在420，可以通过使用图像处理器202管理的显示装置108来显示解剖部分的最终3D视图。控制转到结束422。
根据本公开的实施例，一种用于产生3D视图的图像处理系统可以包括被配置为经由图像处理装置102从成像装置104接收与解剖部分的术中状态相关联的多个2D图像的一个或多个电路，每个2D图像具有第一FOV值。解剖部分的具有第二FOV值的第一3D视图可以由图像处理装置102中的专门的处理单元中的一个(宽FOV整合单元202c)产生。第一3D视图可以从3D重构产生，该3D重构是由3D重构单元202a通过使用基于特定准则从接收的多个2D图像选择的2D图像帧集合而获得的。解剖部分的第一3D视图的第二FOV值可以大于解剖部分的多个2D图像中的每个的第一FOV值。此外，第二3D视图可以由图像处理装置102的对齐和配准单元202d基于产生的第一3D视图与解剖部分的术前状态所关联的3D数据的对齐而产生。
成像装置104可以具有较窄的FOV来捕获足够的数据。根据实施例，当所用的成像装置104具有较窄的FOV(诸如显微镜)而通过在周围移动照相机来捕获用于进行准确的患者对齐的足够数据时，可能难以准确地执行患者空间和MRI/CT空间之间的患者对齐。因此，所公开的系统和方法自动地且在更快速的计算时间内使用由可以具有捕获表面的足够且详细的数据的较窄FOV的成像器(诸如成像装置104)所获取的2D立体图像输入来重构3D(诸如产生的第二3D视图)中的更宽FOV。3D(诸如第二3D视图)中的这个更宽FOV可以使得能够在患者空间和MRI/CT空间之间进行准确的患者对齐，因为当关键的可唯一识别的(一个或多个)特征被成像装置104捕获时，对齐是最鲁棒的且成功的。
通过使用常规方法执行的对象对齐可能鲁棒性不足以产生在手术期间将使用的解剖部分的高维视图。因此，所公开的系统和方法提供用于在更快速的计算时间内产生手术期间可以使用的对象的解剖部分的增强视图的改进技术。应用于医学装置和计算机辅助手术的领域中的数字图像处理、图像捕获和3D虚拟化的技术中的改进是作为在手术期间快速地产生对象的解剖部分的增强视图的结果而提供的。所公开的系统和方法可以用于准确地对齐刚性的解剖结构，诸如神经外科中的头部或者骨外科或需要刚性患者对齐的其他手术中的骨头。根据实施例，软组织的对齐也可以通过所公开的系统和方法来执行。
本公开的各种实施例可以提供一种非暂时性计算机可读介质和/或存储介质、和/或非暂时性机器可读介质和/或存放于其上的存储介质、具有机器和/或计算机可执行的用于进行图像处理以产生3D视图的至少一个代码段的机器代码和/或计算机程序。所述至少一个代码段可以使机器和/或计算机执行包括以下的步骤：图像处理装置从成像装置接收与解剖部分的术中状态相关联的多个2D图像，每个2D图像具有第一FOV值。解剖部分的具有第二FOV值的第一3D视图可以由图像处理装置重构。第一3D视图可以从3D重构产生，该3D重构是通过使用基于特定准则从接收的多个2D图像选择的2D图像帧集合而获得的。解剖部分的第一3D视图的第二FOV值可以大于解剖部分的多个2D图像中的每个的第一FOV值。此外，第二3D视图可以由图像处理装置基于产生的第一3D视图与解剖部分的术前状态所关联的3D数据的对齐而产生。
本发明可以用硬件或硬件和软件的组合来实现。本公开可以在至少一个计算机系统中以集中式的方式实现或者以分布式的方式实现，在分布式的方式中，不同的元件可以跨几个互联的计算机系统铺展。适于执行本文所描述的方法的计算机系统或其他设备可能是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序当被加载和执行时可以控制计算机系统以使得它执行本文所描述的方法。所述计算机系统执行的各种操作可以改进所述计算机系统本身的功能运作，并且使得能够在患者空间和MRI/CT空间之间进行准确的、鲁棒的且成功的患者对齐。本公开可以用包括还执行其他功能的集成电路的一部分的硬件来实现。
本公开也可以嵌入在计算机程序产品中，该计算机程序产品包括使得能够实现本文所描述的方法的所有特征，并且当被加载到计算机系统中时能够执行这些方法。计算机程序在本上下文下意指意图使具有信息处理能力的系统直接地或者在以下操作中的任何一个或两个之后执行特定功能的指令集的使用任何语言、代码或记号的任何表达：a)转换为另一语言、代码或标记；b)以不同的物质形式再现。
虽然已经参照某些实施例描述了本公开，但是本领域技术人员将理解，在不脱离本公开的范围的情况下，可以做出各种改变，并且可以替换等同物。另外，可以在不脱离本公开的范围的情况下进行许多修改以使特定情形或材料适应本公开的教导。因此，意图是，本公开不限于所公开的特定实施例，而是本公开将包括落在所附权利要求的范围内的所有实施例。

Claims (20)

1.一种用于产生三维(3D)视图的图像处理的系统，所述系统包括：
图像处理装置中的一个或多个电路，所述一个或多个电路被配置为：
从成像装置接收与解剖部分的术中状态相关联的多个二维(2D)图像，每个2D图像具有第一视场(FOV)值；
从所述解剖部分的3D重构产生所述解剖部分的具有第二FOV值的第一3D视图，所述解剖部分的3D重构是使用基于特定准则从接收的所述多个2D图像选择的2D图像帧集合而获得的，其中，所述解剖部分的所述第一3D视图的所述第二FOV值大于所述解剖部分的所述多个2D图像中的每个的所述第一FOV值；并且
基于产生的所述第一3D视图与所述解剖部分的术前状态所关联的3D数据的对齐来产生第二3D视图。
2.根据权利要求1所述的系统，其中，所述多个2D图像是在所述术中状态下从围绕所述解剖部分的多个位置捕获的。
3.根据权利要求1所述的系统，其中，用于从所述解剖部分的接收的所述多个2D图像选择所述2D图像帧集合的所述特定准则是所述成像装置覆盖的相对距离。
4.根据权利要求1所述的系统，其中，所述解剖部分的所述3D重构是根据从接收的所述多个2D图像选择的所述2D图像帧集合逐帧地执行的。
5.根据权利要求1所述的系统，其中，所述一个或多个电路被进一步配置为从所述解剖部分的所述3D重构提取感兴趣区域(ROI)。
6.根据权利要求5所述的系统，其中，所述一个或多个电路被进一步配置为从所述解剖部分的所述3D重构和提取的所述ROI估计所述解剖部分的3D姿态。
7.根据权利要求1所述的系统，其中，所述一个或多个电路被进一步配置为使所述解剖部分的产生的所述第一3D视图在第一坐标空间中的第一3D点云与第二坐标空间中所述解剖部分的所述3D数据所关联的第二3D点云对齐。
8.根据权利要求7所述的系统，其中，所述一个或多个电路被进一步配置为通过使用变换参数集合，基于与所述解剖部分的所述术前状态相关联的所述3D数据来执行产生的所述第二3D视图关于手术计划的坐标变换。
9.根据权利要求1所述的系统，其中，与所述解剖部分的所述术前状态相关联的所述3D数据对应于所述解剖部分的磁共振成像(MRI)或计算机断层扫描(CT)图像。
10.根据权利要求1所述的系统，其中，所述一个或多个电路被进一步配置为通过使用显示装置来显示所述解剖部分的所述第二3D视图。
11.根据权利要求1所述的系统，其中，所述成像装置对应于以下中的一个：照相机、显微成像器、立体成像器和腹腔镜成像器。
12.一种用于产生三维(3D)视图的图像处理的方法，所述方法包括：
通过图像处理装置的一个或多个电路从成像装置接收与解剖部分的术中状态相关联的多个二维(2D)图像，每个2D图像具有第一视场(FOV)值；
通过所述一个或多个电路从3D重构产生所述解剖部分的具有第二FOV值的第一3D视图，所述3D重构是使用基于特定准则从接收的所述多个2D图像选择的2D图像帧集合而获得的，其中，所述解剖部分的所述第一3D视图的所述第二FOV值大于所述解剖部分的所述多个2D图像中的每个的所述第一FOV值；并且
通过所述一个或多个电路基于产生的所述第一3D视图与所述解剖部分的术前状态所关联的3D数据的对齐来产生第二3D视图。
13.根据权利要求12所述的方法，其中，所述多个2D图像是在所述术中状态下从围绕所述解剖部分的多个位置捕获的。
14.根据权利要求12所述的方法，其中，用于从所述解剖部分的接收的所述多个2D图像选择所述2D图像帧集合的所述特定准则是所述成像装置覆盖的相对距离。
15.根据权利要求12所述的方法，进一步包括通过所述一个或多个电路从所述解剖部分的所述3D重构提取感兴趣区域(ROI)。
16.根据权利要求15所述的方法，进一步包括通过所述一个或多个电路从所述解剖部分的所述3D重构和提取的所述ROI估计所述解剖部分的3D姿态。
17.根据权利要求12所述的方法，进一步包括通过所述一个或多个电路使所述解剖部分的产生的所述第一3D视图在第一坐标空间中的第一3D点云与所述解剖部分的所述3D数据在第二坐标空间中的第二3D点云对齐。
18.根据权利要求17所述的方法，进一步包括通过所述一个或多个电路经由使用变换参数集合，基于与所述解剖部分的所述术前状态相关联的所述3D数据来执行产生的所述第二3D视图关于手术计划的坐标变换。
19.根据权利要求12所述的方法，其中，与所述解剖部分的所述术前状态相关联的所述3D数据对应于所述解剖部分的磁共振成像(MRI)或计算机断层扫描(CT)图像。
20.根据权利要求12所述的方法，进一步包括通过所述一个或多个电路控制使用显示装置对所述解剖部分的所述第二3D视图的显示。
CN201780015280.5A 2016-03-11 2017-03-08 用于产生解剖部分的三维(3d)视图的图像处理系统和方法 Active CN108701170B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662306817P 2016-03-11 2016-03-11
US62/306,817 2016-03-11
US15/264,824 US10327624B2 (en) 2016-03-11 2016-09-14 System and method for image processing to generate three-dimensional (3D) view of an anatomical portion
US15/264,824 2016-09-14
PCT/US2017/021335 WO2017156110A1 (en) 2016-03-11 2017-03-08 System and method for image processing to generate three-dimensional (3d) view of an anatomical portion

Publications (2)

Publication Number Publication Date
CN108701170A true CN108701170A (zh) 2018-10-23
CN108701170B CN108701170B (zh) 2022-02-22

Family

ID=59788727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780015280.5A Active CN108701170B (zh) 2016-03-11 2017-03-08 用于产生解剖部分的三维(3d)视图的图像处理系统和方法

Country Status (5)

Country Link
US (1) US10327624B2 (zh)
EP (1) EP3411818B1 (zh)
JP (1) JP2019519257A (zh)
CN (1) CN108701170B (zh)
WO (1) WO2017156110A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109856169A (zh) * 2019-02-19 2019-06-07 首都师范大学 一种高分辨显微能谱ct成像方法及系统
CN110570924A (zh) * 2019-08-26 2019-12-13 天津大学 一种面向肿瘤消融的远程诊疗系统及方法
CN117179738A (zh) * 2023-11-08 2023-12-08 安徽福晴医疗装备有限公司 一种血管介入磁共振成像方法及系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
CN108122617A (zh) * 2017-12-22 2018-06-05 广州动医圈网络科技有限公司 一种建立外科动漫知情同意装置系统
CN113164012A (zh) * 2018-09-27 2021-07-23 3 形状股份有限公司 用于扫描人体腔内的电源可适应设备
US10832392B2 (en) * 2018-12-19 2020-11-10 Siemens Healthcare Gmbh Method, learning apparatus, and medical imaging apparatus for registration of images
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
KR20220145153A (ko) 2021-04-21 2022-10-28 에스케이이노베이션 주식회사 폐유분으로부터 제조된 용제 조성물 및 이의 제조방법
KR20220151284A (ko) 2021-05-06 2022-11-15 에스케이이노베이션 주식회사 폐유분으로부터 제조된 용제 조성물 및 이의 제조방법
US11826197B2 (en) 2021-05-13 2023-11-28 General Electric Company Patient-specific neuromodulation alignment structures
US20230013884A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with synthetic aperture multispectral camera array
US20230083538A1 (en) 2021-09-15 2023-03-16 Globus Medical, Inc. Robot surgical platform for cranial surgery

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1537514A (zh) * 2002-10-04 2004-10-20 Ge医药系统环球科技公司 多模态成像方法和装置
CN101379530A (zh) * 2004-12-03 2009-03-04 索尼株式会社 用来捕捉面部和身体动作的系统和方法
US20100239144A1 (en) * 2009-02-20 2010-09-23 Gabor Fichtinger Marker Localization Using Intensity-Based Registration of Imaging Modalities
US20100254630A1 (en) * 2009-04-03 2010-10-07 Sony Corporation Method and apparatus for forming super resolution images from raw data representative of color filter array images
CN102057296A (zh) * 2008-06-05 2011-05-11 皇家飞利浦电子股份有限公司 具有二维阵列探头的扩展视场超声成像
CN102525406A (zh) * 2012-02-14 2012-07-04 苏州微清医疗器械有限公司 一种视网膜三维成像装置
CN103402453A (zh) * 2011-03-03 2013-11-20 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
JP2013236750A (ja) * 2012-05-15 2013-11-28 Denso Corp 画像処理装置、撮像システム、およびプログラム
CN103765878A (zh) * 2011-09-12 2014-04-30 英特尔公司 使用移动视差从2d图像创建3d感知
CN104000655A (zh) * 2013-02-25 2014-08-27 西门子公司 用于腹腔镜外科手术的组合的表面重构和配准
CN104352246A (zh) * 2014-12-02 2015-02-18 东南大学 基于可视化的锥束ct感兴趣区域的扫描方法
US20150150523A1 (en) * 2012-05-22 2015-06-04 Mazor Robotics Ltd. On-site verification of implant positioning
CN104809750A (zh) * 2015-05-04 2015-07-29 重庆大学 一种直线扫描ct系统及图像重建方法
US20150227679A1 (en) * 2012-07-12 2015-08-13 Ao Technology Ag Method for generating a graphical 3d computer model of at least one anatomical structure in a selectable pre-, intra-, or postoperative status

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831076B2 (en) * 2006-12-08 2010-11-09 Biosense Webster, Inc. Coloring electroanatomical maps to indicate ultrasound data acquisition
US20080300478A1 (en) * 2007-05-30 2008-12-04 General Electric Company System and method for displaying real-time state of imaged anatomy during a surgical procedure
JP5476036B2 (ja) * 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
EP2654574B1 (en) 2010-12-22 2017-05-03 ViewRay Technologies, Inc. System and method for image guidance during medical procedures
KR20150058250A (ko) 2012-08-24 2015-05-28 유니버시티 오브 휴스턴 로봇 장치 및 영상 안내 및 로봇 지원 수술을 위한 시스템
US20140276001A1 (en) 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
WO2014165805A2 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
EP3166516A4 (en) 2014-07-09 2018-03-14 Neil Glossop Systems, methods, and devices for assisting or performing guided interventional procedures using custom templates
US20160015469A1 (en) 2014-07-17 2016-01-21 Kyphon Sarl Surgical tissue recognition and navigation apparatus and method
JP6548730B2 (ja) * 2014-08-23 2019-07-24 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置における病理学的データの表示のためのシステム及び方法
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1537514A (zh) * 2002-10-04 2004-10-20 Ge医药系统环球科技公司 多模态成像方法和装置
CN101379530A (zh) * 2004-12-03 2009-03-04 索尼株式会社 用来捕捉面部和身体动作的系统和方法
CN102057296A (zh) * 2008-06-05 2011-05-11 皇家飞利浦电子股份有限公司 具有二维阵列探头的扩展视场超声成像
US20100239144A1 (en) * 2009-02-20 2010-09-23 Gabor Fichtinger Marker Localization Using Intensity-Based Registration of Imaging Modalities
US20100254630A1 (en) * 2009-04-03 2010-10-07 Sony Corporation Method and apparatus for forming super resolution images from raw data representative of color filter array images
CN103402453A (zh) * 2011-03-03 2013-11-20 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
CN103765878A (zh) * 2011-09-12 2014-04-30 英特尔公司 使用移动视差从2d图像创建3d感知
CN102525406A (zh) * 2012-02-14 2012-07-04 苏州微清医疗器械有限公司 一种视网膜三维成像装置
JP2013236750A (ja) * 2012-05-15 2013-11-28 Denso Corp 画像処理装置、撮像システム、およびプログラム
US20150150523A1 (en) * 2012-05-22 2015-06-04 Mazor Robotics Ltd. On-site verification of implant positioning
US20150227679A1 (en) * 2012-07-12 2015-08-13 Ao Technology Ag Method for generating a graphical 3d computer model of at least one anatomical structure in a selectable pre-, intra-, or postoperative status
CN104000655A (zh) * 2013-02-25 2014-08-27 西门子公司 用于腹腔镜外科手术的组合的表面重构和配准
CN104352246A (zh) * 2014-12-02 2015-02-18 东南大学 基于可视化的锥束ct感兴趣区域的扫描方法
CN104809750A (zh) * 2015-05-04 2015-07-29 重庆大学 一种直线扫描ct系统及图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VIRGINIA PASEK等: "Mission-critical software development for a distributed and diverse user base", 《2011 AEROSPACE CONFERENCE》 *
荣国栋等: "inspeck 3D-DF三维扫描仪在数字博物馆中的应用", 《计算机工程与应用》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109856169A (zh) * 2019-02-19 2019-06-07 首都师范大学 一种高分辨显微能谱ct成像方法及系统
CN110570924A (zh) * 2019-08-26 2019-12-13 天津大学 一种面向肿瘤消融的远程诊疗系统及方法
CN117179738A (zh) * 2023-11-08 2023-12-08 安徽福晴医疗装备有限公司 一种血管介入磁共振成像方法及系统
CN117179738B (zh) * 2023-11-08 2024-02-06 安徽福晴医疗装备有限公司 一种血管介入磁共振成像方法及系统

Also Published As

Publication number Publication date
CN108701170B (zh) 2022-02-22
WO2017156110A1 (en) 2017-09-14
EP3411818A1 (en) 2018-12-12
US10327624B2 (en) 2019-06-25
US20170263020A1 (en) 2017-09-14
EP3411818B1 (en) 2023-12-13
EP3411818A4 (en) 2019-09-18
JP2019519257A (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
CN108701170A (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
US11253171B2 (en) System and method for patient positioning
US10002424B2 (en) Image processing system and method to reconstruct a three-dimensional (3D) anatomical surface
US10881353B2 (en) Machine-guided imaging techniques
US20160228075A1 (en) Image processing device, method and recording medium
US20120287131A1 (en) Image processing apparatus and image registration method
KR20210051141A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN111275825B (zh) 一种基于虚拟智能医疗平台的摆位结果可视化方法及装置
US10966688B2 (en) Image registration for CT or MR imagery and ultrasound imagery using mobile device
JP2022520480A (ja) 画像のマッチング方法、装置、デバイス及び記憶媒体
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
KR102433473B1 (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US10631948B2 (en) Image alignment device, method, and program
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
US10896501B2 (en) Rib developed image generation apparatus using a core line, method, and program
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020031071A1 (en) Internal organ localization of a subject for providing assistance during surgery
US10467497B2 (en) System and method for providing assistance in surgery in presence of tissue deformation
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
US20220044052A1 (en) Matching apparatus, matching method, and matching program
JP7394959B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム、医用画像表示システム
TW201211937A (en) Human face matching system and method thereof
EP4298994A1 (en) Methods, systems and computer readable mediums for evaluating and displaying a breathing motion
CN111724883A (zh) 医疗数据处理方法、设备、系统以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant