CN102208114B - 投影图像生成技术 - Google Patents

投影图像生成技术 Download PDF

Info

Publication number
CN102208114B
CN102208114B CN201110034594.4A CN201110034594A CN102208114B CN 102208114 B CN102208114 B CN 102208114B CN 201110034594 A CN201110034594 A CN 201110034594A CN 102208114 B CN102208114 B CN 102208114B
Authority
CN
China
Prior art keywords
projection
endoscope
treatment tool
medical images
forming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110034594.4A
Other languages
English (en)
Other versions
CN102208114A (zh
Inventor
宫本仁树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102208114A publication Critical patent/CN102208114A/zh
Application granted granted Critical
Publication of CN102208114B publication Critical patent/CN102208114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pulmonology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明使得可以容易地理解处置工具朝着被另一结构体遮蔽的结构体接近时的路径的状态。提供一种装置，其具有：用于生成投影图像的单元，该投影图像是将多个视线上的图像信息投影在给定投影面上而形成的图像，所述多个视线上的图像信息从给定视点观察到三维医学图像中的第一结构体；用于在三维图像中设定处置工具的假定位置的单元；用于从三维医学图像中检测第一结构体的表面的单元；用于识别所述三维医学图像中的、位于被第一结构体遮蔽的位置处的第二结构体(如病变)的单元；用于检测在假定路径与第一结构体的表面之间的交点的单元，所述假定路径在处置工具从假定位置朝着第二结构体移动时形成，从而该单元以可识别的方式在如下位置处显示该交点：连接视点和交点的视线上的图像信息投影在该处。

Description

投影图像生成技术
技术领域
本发明涉及用于生成投影图像的技术，该投影图像是将在多个视线上的图像信息投影在预定投影面上而形成的图像，该多个视线上的图像信息从预定视点看到三维医学图像中的结构。
背景技术
近年来，随着例如多排检测器CT(MDCT)之类的医疗设备(modality)的发展，已经可以获得高质量的三维图像数据。在利用这种图像数据的图像诊断技术中，已经越来越频繁地使用虚拟或伪三维被检体图像，以及高分辨率横断面图像。此外，还可以使用图像识别技术从三维医学图像中提取器官结构，并且已经可以从这些结构已得到很好地识别的三维医学图像生成虚拟或伪三维图像。之后，将这样生成的图像用于手术前的规划和模拟、以及手术中的导航。
关于生成虚拟或伪三维图像的方法，采用绘制技术(例如表面绘制或体积绘制)的方法是已知的。具体而言，通过透视投影(中心投影)从被检体内部的虚拟视点所获得的图像被称之为虚拟内窥镜图像，该图像仿佛是通过内窥镜观察到的图像。
有人提出了使用这些虚拟内窥镜图像辅助内窥镜手术的技术。
例如，日本未审查专利公开No.2002-263053描述了这样一种装置：其通过传感器检测内窥镜的位置，并在将所检测的位置作为视点的情况下，生成其场角比内窥镜的场角宽的虚拟内窥镜图像，并以叠加方式显示内窥镜所采集的实际内窥镜图像和虚拟内窥镜图像。
此外，日本未审查专利公开No.2005-021353描述了这样一种装置：其实时检测内窥镜的位置，生成视野与内窥镜的视野相同、并且在该视野内使血管结构可视化的虚拟内窥镜图像，实时检测在内窥镜手术中使用的处置工具的位置，通过将表示处置工具的图像与在处置工具位置处的虚拟内窥镜图像组合而生成复合图像，并显示该复合图像和实际内窥镜图像。
在内窥镜手术中，视线方向与处置工具的操作方向不同。这使得即使采用上述专利文献中所描述的从内窥镜视点看到的虚拟内窥镜图像来透视性地观察器官中的病变，也难以明了处置工具的操作方向(即，处置工具朝着图像中的病变接近的状态)。例如，如在图7中示例性示出的，对于其中视线方向VL对应于视野中心的虚拟内窥镜图像而言，难以明了处置工具进入器官的位置。虽然可以通过半透明处理来观察对手术而言要考虑的器官中的其他结构(例如血管等)，但是难以明了这种结构是否处于处置工具从进入位置到病变的路径当中。
鉴于上述情况开发了本发明。本发明的一个目的是提供用于生成投影图像的技术，该技术使得能够容易地明了相对于被另一结构(例如器官中的病变)所遮蔽的注意结构，处置工具的接近路径的状态。
发明内容
本发明的投影图像生成设备是这样一种设备：其具有投影图像生成装置，其中，通过使用三维医学图像作为输入信息，生成投影图像，该投影图像是将在多个视线上的图像信息投影在给定投影面上而形成的图像，所述多个视线上的图像信息从给定视点看到在三维医学图像中的第一结构体，并且所述投影图像生成设备还包括：
处置工具位置设定装置，用于在三维医学图像的坐标空间中设定处置工具的假定位置；
表面检测装置，用于从三维医学图像中检测第一结构体的表面；
第二结构体识别装置，用于识别所述三维医学图像中的第二结构体，该第二结构体位于当从所述处置工具的所述假定位置观察所述第一结构体时被所述第一结构体遮蔽的位置处；以及
交点检测装置，用于检测当处置工具从假定位置朝着第二结构体移动时所形成的假定路径与第一结构体的表面之间的交点，
其中所述投影图像生成装置是这样一种装置：其生成投影图像，其中所述交点以可识别的方式显示在投影面上的如下位置处：连接所述视点与所述交点的视线上的图像信息投影在该处。
本发明的投影图像生成方法是具有下列步骤的方法：使用三维医学图像作为输入信息，生成投影图像，所述投影图像是将在多个视线上的图像信息投影在给定投影面上而形成的图像，所述多个视线上的图像信息从给定视点看到在三维医学图像中的第一结构体，该方法还包括下列步骤：
在三维医学图像的坐标空间中，当从视点看第一结构体时，在第一结构体的正面并且是该第一结构体的外部的位置处设定处置工具的假定位置；
从三维医学图像中检测第一结构体的表面；
识别当从处置工具的假定位置观察第一结构体时，在被第一结构体遮蔽的位置处的、位于三维医学图像中的第二结构体；以及
检测当处置工具从假定位置朝着第二结构体移动时所形成的假定路径与第一结构体表面之间的交点，
其中所述的生成投影图像的步骤是这样的步骤：其生成投影图像，其中交点以可识别的方式显示在投影面上的如下位置处：连接所述视点与所述交点的视线上的图像信息投影在该处。
其上记录有本发明的投影图像生成程序的计算机可读记录媒介是这样一种媒介：其上记录有使计算机执行上述投影图像生成设备中各个装置的功能作为处理步骤的程序，从而使得计算机发挥投影图像生成设备的作用。
这里，“第一结构体”是这样的结构：当从处置工具的假定位置观察第一结构体时，第一结构体遮蔽“第二结构体”。“第一结构体”和“第二结构体”的实例可以是这样的情况：其中作为第二结构体的病变存在于作为第一结构体的器官的内部。除此以外，可以是这样的情况：其中当从处置工具的假定位置观察第一结构体时，第二结构体位于第一结构体后面。“第一结构体”的另一具体实例可以是体表。另一方面，“第二结构体”通常是处置工具的处置目标，即，手术中的目标区域。
从给定视点向给定投影面投影以生成“投影图像”的投影方法可以是中心投影、或者是在假设视点无限远的情况下的平行投影。
当“在多个视线上的图像信息”被投影时，在每个视线上的图像信息可以是使用视线相邻像素的图像信息、通过内插法而获得的图像信息。
“给定视点”可以是由使用者手动设定的位置，或者是在三维医学图像的三维坐标空间中对应于如下位置的位置：由内窥镜位置检测装置实时检测的内窥镜被插入到被检体体腔中的位置。
在这种情况下，可以采用以下布置：其中，表示体腔内部的实际内窥镜图像通过实时成像形成，并且生成了叠加图像(其中，实际内窥镜图像和投影图像被叠加，该投影图像是在基本上形成实际内窥镜图像的同时，根据由内窥镜位置检测装置所检测到的内窥镜的位置而得到的)。
“处置工具的假定位置”可以是由使用者手动设定的位置，或者是在三维医学图像的三维坐标空间中对应于如下位置的位置：由处置工具位置检测装置实时检测的处置工具被插入到被检体体腔中的位置。
“检测第一结构体”的方法和“检测第二结构体”的方法可以是利用已知的图像识别技术的自动方法、使用者手动进行的方法、或者它们的组合。
“检测交点”的方法的具体实例可以是这样的方法：其通过将第二结构体投影到第一结构体的一部分表面上以检测交点，第一结构体位于第二结构体朝向处置工具的假定位置的方向上。在这种情况下，通过将投影在第一结构体表面的一部分上的第二结构体从给定视点投影到投影面上，交点可以以“可识别的方式”显示在投影图像中。这里，优选的是通过平行投影将已投影在第一结构体表面的一部分上的第二结构体投影到投影面上。
在这种情况下，当从处置工具的位置观察第二结构体时，位于第二结构体前部的第三结构体可以进一步被投影到第一结构体表面的一部分上，该第一结构体位于第二结构体朝向处置工具的假定位置的方向上。“第三结构体”的具体实例可以是在手术中需要注意的解剖结构，例如血管、器官、肿瘤等。
根据本发明，当使用三维医学图像(其包括当从处置工具的假定位置观察第一结构体时，被第一结构体遮蔽的第二结构体)作为输入信息，生成投影图像(其是将在多个视线上的图像信息从给定视点投影在给定投影面上而形成的图像)时，检测当处置工具从假定位置朝着第二结构体移动时所形成的假定路径与第一结构体的表面之间的交点，并将该交点以可识别的方式显示在投影图像的投影面的如下位置处：连接视点和交点的视线上的图像信息投影在该位置处。这使得在给定视点的投影图像中，可以明了处置工具进入到遮蔽第二结构体(即，注意目标)的第一结构体中的进入位置。如果从给定视点看到的投影图像被用作在普通诊断、手术模拟或手术导航中使用的视点图像，则观察者可以明了处置工具对被另一结构(第一结构体)遮蔽的注意结构(第二结构体，例如器官中的病变)的接近路径的状态，与普通手术中观察被影响区域时的感觉相同，没有不舒服的感觉或混乱，这有助于提高手术的精确度和安全性。
附图说明
图1是医学图像诊断系统的示意性构造图，其中安装有根据本发明实施方式的手术模拟功能。
图2是示意性地示出用于实现本发明第一实施方式中的手术模拟功能的构造和处理流程的框图。
图3是示出使用根据本发明实施方式的医学图像诊断系统进行手术模拟的处理流程的流程图。
图4是示意性地示出用于设定视线和处置工具的位置的屏幕实例。
图5示意性地示出在视线方向上的光线投射和在处置工具的操作方向上的光线投射。
图6示意性地示出本发明第一实施方式中生成的投影图像的实例。
图7示意性地示出本发明的比较例中在视线方向上的光线投射。
图8示意性地示出本发明的比较例中生成的投影图像的实例。
图9示意性地示出本发明第二实施方式中的光线投射以及在第二实施方式的比较例中的光线投射。
图10示意性地示出在本发明的第二实施方式和第二实施方式的比较例中生成的投影图像的实例。
图11示意性地示出本发明第三实施方式中生成的投影图像的实例。
图12示意性地示出本发明第四实施方式中如何通过表面绘制来生成投影图像的情况。
图13示出内窥镜检查辅助系统的硬件构造，其中根据本发明的第五实施方式来实施手术导航功能。
图14是第五实施方式的内窥镜检查辅助系统的功能框图。
图15是示出使用第五实施方式的内窥镜检查辅助系统进行手术导航的处理流程的流程图。
图16示意性地示出本发明第五实施方式中的显示图像的实例，其中实际内窥镜图像和虚拟内窥镜图像彼此叠加。
具体实施方式
图1是医学图像诊断系统的示意性硬件构造图，其中根据本发明的第一实施方式实施手术模拟功能。如图1所示，该系统包括通过网络9彼此通讯连接的医疗设备1、图像存储服务器2、以及图像处理工作站3。
医疗设备1包括这样的装置：其将被检体的检查目标部位成像，以生成表示该部位的三维医学图像的图像数据，并通过附加辅助信息(该辅助信息在DICOM(医学数字成像与通信)标准中限定)，从而作为图像信息而输出该图像数据。该装置的具体实例包括(例如)CT、MRI等。在本实施方式中，将描述下列情况：其中通过用CT沿体轴方向扫描人体，生成三维图像数据，该三维图像数据显示待被检查的人体的腹部(包括肝脏)。
图像存储服务器2是这样的计算机，其将通过医疗设备1获得医学图像数据、以及通过在图像处理工作站3处的图像处理而生成的医学图像的图像数据存储在数据库中，并管理它们，图像存储服务器2包括大容量外部存储单元和数据库管理软件(例如，对象关系数据库(ORDB))。
图像处理工作站3是这样的计算机，其响应来自影像读取机(radiology reader)的要求，对来自医疗设备1或图像存储服务器2的医学图像数据进行图像处理(包括图像分析)，并显示所生成的图像。图像处理工作站3具有已知的CPU硬件构造、主存储单元、辅助存储单元、输入/输出接口、通讯接口、输入设备(鼠标、键盘等等)、显示设备(显示器)、数据总线等，并具有安装在其上的已知操作系统。使用本发明的投影图像生成处理，在图像处理工作站3中实施手术模拟功能，并且该处理是通过执行安装自记录介质(例如CD-ROM等)的程序而实现的。可供选择地，该程序可以是在从服务器的存储单元下载之后安装的程序，该服务器通过网络(例如互联网等)连接。
图像数据的存储格式以及通过网络9连接的系统的各个元件之间的通讯基于DICOM协议等。
图2是示出与根据本发明第一实施方式的手术模拟处理相关的图像处理工作站3的一部分功能的框图。如图2所示，根据本发明第一实施方式的手术模拟处理通过三维图像获取单元11、视线设定单元12、处置工具位置设定单元13、病变位置识别单元14、表面位置检测单元15、交点检测单元16、投影图像生成单元17和显示控制单元18实现。在图2中，三维医学图像V、投影图像Ip、投影图像Ip中的视线VL、处置工具假定位置(在下文中，称为处置工具位置)PT、肝脏病变位置PI、肝脏表面位置SF、以及在处置工具操作方向和肝脏表面位置之间的交点PA是通过上述各个单元写入到图像处理工作站3的预定存储区、并从中读出的数据。
图3是示出用户操作、计算处理、显示处理等流程的流程图，这些处理在用于本发明第一实施方式的手术模拟的软件下进行。将参照图2和图3来描述本发明第一实施方式的手术模拟流程。
首先，通过医疗设备1对被检体的腹部成像，并形成三维图像V。在图像处理工作站3中，三维图像获取单元11获得了医疗设备1所形成的三维图像V(#1)，病变位置识别单元14提取出由三维医学图像V所表示的肝脏中的病变、并识别其位置PI(#2)，并且表面位置检测单元15检测肝脏的表面位置SF(#3)。同时，视线设定单元12和处置工具位置设定单元13根据用户操作，分别设定要在后一步骤中生成的投影图像IP的视线VL、以及用于手术的处置工具的位置PT(#4)。
然后，使用三维图像作为输入信息，投影图像生成单元17生成投影图像IP，该图像是通过将在多个视线上的图像信息投影到预定投影面上而生成的图像，该多个视线是通过视线设定单元12设定的(#5、#6、#8、#9、#10)。同时，交点检测单元16检测以下两者之间的交点PA：当处置工具从处置工具位置设定单元13所设定的处置工具位置朝着由病变位置识别单元14所识别的病变位置PI移动时要形成的假定路径(操作方向)与由表面位置检测单元15所检测的肝脏表面位置SF(#7)，并且投影图像生成单元17生成投影图像IP，其中被交点检测单元16检测的交点PA以可识别的方式显示在下列位置处：在穿过交点PA的视线VL上的图像信息被投影在该位置处(#8)。虽然将在后面详细描述这一系列处理，但是通过将病变位置识别单元14所提取的病变位置PI沿处置工具的操作方向平行投影到肝脏的表面SF，本实施方式中的交点检测单元16适于检测交点PA，并且对于每条视线，在投影图像生成单元17的投影处理中顺次进行交点检测单元16的处理。
之后，显示控制单元18使得所生成的投影图像IP显示在图像处理工作站3的显示设备上(#11)。
下面将详细描述在图像处理工作站3的各个单元中进行的处理。
三维医学图像获取单元11具有通讯接口功能，以从医疗设备1接收三维医学图像V，并将该图像V存储到图像处理工作站3的预定存储区。
视线设定单元12和处置工具位置设定单元13具有用户接口，包括在图4中作为例子示出的设定屏幕，以分别接受用户操作，以在投影图像IP中设定视线VL以及在手术中使用的处置工具的位置PT。如图4所示，视线设定单元12和处置工具位置设定单元13基于三维医学图像V来生成轴向横断面图像，并使得已生成的图像显示在设定屏幕中。这里，轴向横断面图像的位置可以(例如)是在生成轴向横断面图像之前，穿过由病变位置识别单元14所识别的病变位置PI的中心的位置。此外，横断面的位置可以根据用户使用键盘、点击设备等操作来改变。将标记叠加在表示病变的区域(在图中用PI表示的区域)。例如，如果使用者使用点击设备从工具条(未示出)中选择用于设定视线的图标，然后通过在轴向横断面图像中的所需位置处保持点击操作同时进行拖动操作，来绘制表示视线方向的箭头(图中的VL)，则视线设定单元12检测该操作并确定视线VL在三维医学图像V的坐标空间中的方向，并将确定结果存储在预定的存储空间。同时，例如，如果使用者使用点击设备从工具条(未示出)中选择出用于设定处置工具的位置的图标，然后在轴向横断面图像中的处置工具的所需假定位置(图中的点PT)处进行点击操作，则处置工具位置设定单元13检测该操作，并识别处置工具位置PT在三维医学图像V的坐标空间中的位置，并将识别结果存储在预定的存储空间中。注意的是，处置工具朝向病变位置PI的中心的方向，即，处置工具的操作方向(图中的TL)通过处置工具位置PT的确定而确定。
病变位置识别单元14使用三维医学图像V作为输入信息，并采用已知的图像识别方法从图像V中提取出手术目标肝脏病变区域，从而识别病变位置PI。例如，当使用由本申请人在日本未审查专利公开No.2008-245719中所提出的方法时，病变位置识别单元14可以通过如下方法提取出病变区域：借助于点击设备操作等来接受在轴向横断面图像中病变区域的任意点的用户设定，使用预先限定的病变区域的可能尺寸的信息来确定病变区域的可能存在的三维范围，并且基于使用者所设定的点以及在所述存在范围之外的点采用区域分割方法(例如图切割)。在本实施方式中，病变位置PI指的是表示被病变位置识别单元14提取的三维病变区域的点的集合。下文中，病变位置PI有时根据上下文可称之为病变区域PI。
表面位置检测单元15使用三维医学图像V作为输入信息，并采用已知的图像识别方法从图像V中检测肝脏的表面位置SF。例如，当使用由本申请人在日本未审查专利公开No.2009-211138中所提出的方法时，采用表面位置检测单元15以下列方式从三维医学图像中检测肝脏区域。首先，作为对在轴向横断面图像(其表示肝脏)中用户的点击设备操作的反应，用户在肝脏区域中设定任意点(下文中，称为用户设定点)。然后使用通过机器学习(例如AdaBoost法)而获得的鉴别器，检测肝脏区域轮廓的棱角部分作为基准点。然后，以用户设定点为中心，对于尺寸足以包括肝脏区域的三维区域(下文中，称为处理目标区域)中的每个点(像素)，使用通过机器学习(例如AdaBoost法)而获得的鉴别器，计算估算值，该估算值表明每个点是否是位于肝脏区域轮廓上的点。然后，在确定将在处理目标区域的周边上的每个点作为肝脏区域外的背景区域中的点，同时确定将用户设定点和基准点作为肝脏区域中的点之后，通过使用在处理目标区域中每个点的估算值，应用图切割方法从三维医学图像V中提取出肝脏区域。这里，所提取的肝脏区域的轮廓是表面位置SF。
交点检测单元16应用已知的光线投射方法，以将病变位置PI沿处置工具的操作方向TL投影到表面位置SF上，从而获得在处置工具的操作方向TL与肝脏的表面位置SF之间的交点PA，即，处置工具进入肝脏的位置。
同时，投影图像生成单元17如下生成投影图像IP：使用三维医学图像V作为输入信息，并使用体积绘制方法(其采用已知的光线投射)平行投影到视线VL的方向。
在本实施方式中，如在图3的流程图的步骤#6到#10中所示，交点检测单元16和投影图像生成单元17进行一体化处理。在下文中，将参照图5中示出的示意图来描述该处理。注意的是，通过程序开始参数或通过设置文件进行下列预定义：将彩色信息(R、G、B的各个信号值)CI和不透明度αI(＝1)分配到属于被病变位置识别单元14所识别的病变位置PI的每个像素，将彩色信息CSF和不透明度αSF(＝1)分配到表示肝脏的表面位置SF(其由表面位置检测单元15检测)的每个像素，并将彩色信息COT和不透明度αOH(＝0)分配到其他区域。
首先，投影图像生成单元17读取视线VL上的第一搜索点的信息(#5)，并确定该搜索点是否是在表面位置SF上(#6)。更具体地讲，确定搜索点本身、或者相邻的八个体素中的至少一个是否是在表面位置SF上。如果搜索点不在表面位置SF上(#6：否)，则利用被分配到该搜索点的彩色信息和不透明度进行光线投射(视线方向光线投射)(#9)。另一方面，如果搜索点在表面位置SF上(#6：YES)，则交点检测单元16从搜索点朝着操作方向TL上的被检体的内部进行光线投射(操作方向光线投射)，以获得彩色信息CTL和累积不透明度αTL的计算结果(#7)。然后，基于被分配到表面位置SF上的搜索点的彩色信息CSF，以及通过操作方向光线投射而获得的彩色信息CTL和累积不透明度αTL，投影图像生成单元17用αTL·CTL+(1-αTL)·CSF代替搜索点的彩色信息，并进行视线方向光线投射(#8)。这使得在视线方向的一个搜索点的光线投射终止。此时，如果满足视线方向光线投射的终止条件，即，如果累积不透明度αVL在视线方向光线投射中达到值1，或者如果搜索点在三维医学图像V的范围外(#10：YES)，则视线方向光线投射终止。另一方面，如果不满足终止条件(#10：否)，则获得在视线方向的下一个搜索点的信息(#5)，重复步骤#6到#9，直到满足终止条件(#10：YES)。虽然没有在图3的流程中清楚地表示，但是对于多个视线的每一个(其对应于构成投影图像IP的每个像素)并列地或按顺序地进行步骤#5至#10。
在图5所示的实例中，在沿着视线VL1和VL2中的每一个的视线方向光线投射中，各个搜索点的不透明度αOH的值均是0，直至搜索点到达肝脏的表面位置，因此，彩色信息不被累积。当在每个视线方向光线投射中，搜索点到达肝脏的表面位置SF时，进行沿着操作方向TL1的光线投射以及沿着操作方向TL2的光线投射。对于位于肝脏的表面位置SF上的视线VL1上的搜索点，从搜索点直至搜索点到达病变区域PI中的操作方向光线投射中，每个搜索点的不透明度αOH的值是0，因此，彩色信息CTL1和累积不透明度αTL1不被累积。然而，当搜索点到达病变区域PI时，彩色信息CI被累积，并且由于病变区域PI中每个搜索点的不透明度αI的值是1，所以满足操作方向光线投射的终止条件(与视线方向的终止条件相同)，从而操作方向光线投射终止。因此，通过操作方向光线投射获得彩色信息CTL1(＝病变区域PI中的彩色信息CI)和累积不透明度αTL1(＝病变区域PI＝1中的不透明度αI)。这里，返回到视线方向光线投射，从分配到肝脏的表面位置SF的彩色信息CSF、通过操作方向光线投射而获得的彩色信息CTL1(＝CI)和累积不透明度αTL1(＝1)，得到搜索点的彩色信息是αTL1·CTL1+(1-αTL1)·CSF＝CI，并且被分配到肝脏的表面位置SF的搜索点的不透明度αSF的值是1，从而也满足了视线方向光线投射的终止条件，光线投射终止。这导致对应于视线VL1的投影图像IP的像素的彩色信息是CI。同时，对于位于肝脏的表面位置SF上的视线VL2上的搜索点，因为在操作方向TL2上不存在病变区域PI中的搜索点，因此在操作方向TL2上所有搜索点中的每一个的不透明度αOH的值均是0，使得在彩色信息CTL2和不透明度αTL2不累积的情况下搜索点到达三维医学图像V的范围外，从而满足终止条件，并且在彩色信息CTL2和累积不透明度αTL2的值均保持为0的情况下终止操作方向光线投射。这里，返回到视线方向光线投射，从通过操作方向光线投射而获得的彩色信息CTL2(＝0)和累积不透明度αTL2(＝0)中，得到搜索点的彩色信息是αTL2·CTL2+(1-αTL2)·CSF＝CSF，并且被分配到肝脏的表面位置SF上的搜索点的不透明度αSF的值是1，从而也满足了视线方向光线投射的终止条件，光线投射终止。这导致对应于视线VL2的投影图像IP的像素的彩色信息是CSF。
如上所述，视线方向光线投射和操作方向光线投射的组合进行使得病变区域PI在操作方向上被平行投影到肝脏的表面SF，并且通过在视线方向上的平行投影，使得不同于肝脏表面其他区域的彩色信息被投影到投影图像IP的投影面上。即，检测处置工具从处置工具位置PT到病变位置PI的操作路径与肝脏表面SF之间的交点PA，并以可识别的方式将交点PA显示在投影图像IP中。
图6示意性地示出以如上所述的方式生成的投影图像IP的例子。如图6所示，将交点PA(其是处置工具从假定位置PT向着病变区域PI移动的进入位置)叠加在体积绘制图像(其中肝脏的表面SF投影在该图像中)上。
与此形成对比的是，图7和8示出了本发明第一实施方式的比较例。如图7中所示意性示出的，当沿着视线VL将病变区域PI平行投影到肝脏的表面位置SF时，所生成的投影图像类似于图8中示出的投影图像，并且病变区域PI的投影位置PA′不同于本发明第一实施方式中的投影位置PA，导致投影位置PA′不对应于处置工具的进入位置。注意的是，示出图8中的投影位置PA仅是为了比较的目的，其并不是按照图7所示的投影方法实际描绘。
如上所述，根据本发明的第一实施方式，当使用三维医学图像V作为输入信息、通过投影图像生成单元17生成投影图像IP(其是将位于多个视线VL上的图像信息投影到预定投影面上而形成的图像，所述视线VL由视线设定单元12设定)时，通过将病变位置识别单元14识别的病变区域PI在处置工具的操作方向(其是当处置工具从处置工具位置设定单元13所设定的假定位置PT移动到病变区域PI时处置工具的方向)上平行投影到肝脏的表面上，用交点检测单元16检测交点PA，并且可以通过投影图像生成单元17生成投影图像IP，其中将检测到的交点PA以可识别的方式显示在下列位置处：穿过所检测的交点PA的视线上的图像信息被投影在该位置处。这使得可以容易且正确地明了投影图像IP中处置工具进入具有病变区域PI的肝脏中的位置。此外，投影图像IP可以具有与手术时的视野一样的视野。因此，在手术模拟中使用投影图像IP使得观察者明了处置工具接近肝脏中的病变区域PI的路径，这与普通手术中观察被影响区域的感觉相同，没有不舒服的感觉或混乱，有助于提高手术的精确度和安全性。
此外，将病变位置识别单元14所提取的病变位置PI沿着处置工具的操作方向平行投影到肝脏的表面SF上，可以直接地反映该病变位置PI的形状和尺寸，从而可以得到更适于观察的投影图像IP。
在上述实施方式中，交点检测单元16和投影图像生成单元17一体地进行处理。但是也可以采用这样的布置：其中，交点检测单元16将病变区域PI沿着操作方向TL投影到肝脏的表面SF，并用αTL·CTL+(1-αTL)·CSF代替肝脏表面SF上的位置(病变区域PI投影到该处)的彩色信息，然后投影图像生成单元17沿视线方向VL进行平行投影。或者，可以采用这样的布置：其中，首先投影图像生成单元17沿视线方向VL进行平行投影，然后交点检测单元16将病变区域PI沿着操作方向TL投影到肝脏的表面SF上，然后识别投影图像IP中的位置(投影位置PA投影到此处)，并用αTL·CTL+(1-αTL)·CSF替换已识别的位置的彩色信息。
本发明的第二实施方式是这样的实施方式：其中将彩色信息Cx(≠0)和不透明度αx(0＜αx＜1)分配到肝脏内部的结构体Px(例如血管)，并在0＜αI＜1的范围内改变病变区域PI的不透明度αx。此外，交点检测单元16和投影图像生成单元17不一体化进行处理，而是按照交点检测单元16和投影图像生成单元17的顺序或者以与此相反的顺序进行处理。
如图9中示意性示出的，这使得当通过交点检测单元16沿处置工具的操作方向进行光线投射时，结构体Px(其具有分配到其上的彩色信息Cx和不透明度αx，并位于连接处置工具位置PT和病变区域PI之间的直线上)以及病变区域PI被投影到肝脏的表面SF上。图10示意性地示出在本发明的第二实施方式中生成的投影图像IP。如图10所示，将表示病变区域PI的区域PA和表示其他结构体Px的区域PB投影到操作方向TL与投影图像IP中的肝脏表面SF相交的位置处。这使得容易地明了病变区域PI与其他结构体Px在处置工具的操作方向上的位置关系，并且可以容易地发现在手术时要注意的结构体(在该例子中是PX)，从而可以进一步提高手术的精确度和安全性。同时，与本发明的第一实施方式的比较例一样，当将病变区域PI和其他结构体Px沿视线方向VL投影时，它们分别投影为投影图像IP中的PA′和PB′，从而难以明了病变区域PI与其他结构体Px在处置工具的操作方向TL上的位置关系。
本发明的第三实施方式与第二实施方式相同，不同之处在于：在0＜αSF＜1的范围内改变被分配到肝脏表面SF的不透明度αSF。如图11中示意性示出的，在病变区域PI和结构体Px沿处置工具的操作方向TL被投影到肝脏表面SF并叠加的情况下，生成投影图像IP，该投影图像IP是其中使得肝脏的表面SF半透明，并且肝脏的内部结构(例如血管等)视觉上可辨别的体积绘制图像，从而有利于观察肝脏的内部结构，同时可以明了处置工具的进入位置。
本发明的第四实施方式是这样的实施方式：其中使用已知的表面绘制方法生成投影图像IP。更具体地讲，如图12中示意性示出的，病变位置识别单元14生成病变区域的表面模型PI，表面位置检测单元15生成肝脏的表面模型SF，当沿着处置工具的操作方向TL将表面模型PI投影时，在表面模型PI与肝脏的表面模型SF之间的交点处，交点检测单元16附加上表示病变区域的表面模型PI的结构，并且投影图像生成单元17生成投影图像IP，其中将肝脏的表面模型SF(表示病变区域的表面模型PI的结构被附加在该肝脏的表面模型SF)可视化。尽管绘制方法不同，但是这可以提供与第一实施方式相同的有利效果。
本发明的第五实施方式是其中安装有手术导航功能的内窥镜检查辅助系统。图13是该内窥镜检查辅助系统的硬件构造图，示出了其概貌。如图13所示，该系统包括内窥镜101、数字处理器102、光源单元103、实际内窥镜图像显示器104、医疗设备105、处置工具106、内窥镜标记107a、处置工具标记107b、位置感测器108、图像处理工作站109以及用于图像处理工作站的显示器110(下文中称为WS显示器)。
在本实施方式中，内窥镜101是用于腹腔的刚性内窥镜，其被插入到被检体的腹腔中。被来自光源单元103的光纤导向的光从内窥镜101的尖端部分输出，并通过内窥镜101的成像光学系统获得被检体腹腔内部的图像。数字处理器102将通过内窥镜101获得的图像信号转化成数字图像信号，通过进行数字信号处理(例如白平衡调整、阴影校正等)校正图像质量，并通过附加由DICOM标准定义的辅助信息来输出校正过的图像信号作为实际内窥镜图像数据(IRE)。根据符合DICOM标准的通信协议，将输出的实际内窥镜图像数据(IRE)通过LAN传输到图像处理工作站109。另外，数字处理器102将实际内窥镜图像数据(IRE)转化为模拟信号，并将该模拟信号输出到实际内窥镜图像显示器104，从而将实际内窥镜图像(IRE)显示在实际内窥镜图像显示器104上。通过内窥镜101在预定的帧速率下获得图像信号，并且实际内窥镜图像显示器104显示实际内窥镜图像(IRE)作为表示腹腔内部的动画片。此外，内窥镜101还可以根据用户操作得到其他图像。
医疗设备105与第一至第四实施方式中的医疗设备1相同，并且根据符合DICOM标准的通信协议，通过LAN将形成的三维图像数据(V)传输到图像处理工作站109。
内窥镜标记107a、处置工具标记107b以及位置感测器108构成了已知的三维位置测量设备。内窥镜标记107a和处置工具标记107b分别设置在靠近内窥镜101和处置工具106的把柄部位，并且光学位置感测器108以预定的时间间隔检测每个标记107a和107b的三维位置。内窥镜标记107a和处置工具标记107b均包括多个标记片，并且位置感测器108可以从每个标记片之间的位置关系检测到内窥镜101和处置工具106的方向，并且可以通过偏移量计算方法来计算内窥镜101和处置工具106的尖端部分的三维位置(PSE、PST)。位置感测器108将计算得到的内窥镜101和处置工具106的三维位置数据(PSE、PST)通过USB接口传输到图像处理工作站109。
图像处理工作站109是这样的计算机：其具有已知的CPU硬件构造、主存储单元、辅助存储单元、I/O接口、通信接口、数据总线等，并且输入设备(点击设备、键盘等)和WS显示器110彼此连接。图像处理工作站109通过LAN连接与数字处理器102和医疗设备105相连接，并通过USB连接与位置感测器108相连接。此外，图像处理工作站109具有已知的操作系统和安装在其中的多种类型的应用软件。还安装有用于执行本发明的手术导航功能的应用软件。这些软件可以从记录媒介(例如CD-ROM等)安装，或者从服务器(通过网络，例如因特网等连接)的存储单元下载之后安装。
图14是根据本发明的第五实施方式、按功能分开的内窥镜检查辅助系统的框图。如图14所示，根据本发明的第五实施方式的内窥镜检查辅助系统包括内窥镜101、实际内窥镜成像单元102、实际内窥镜图像显示器104、三维图像形成单元105、处置工具106、WS显示器110、内窥镜位置检测单元111、处置工具位置检测单元112、实际内窥镜图像获取单元121、内窥镜位置获取单元122、处置工具位置获取单元123、三维图像获取单元124、病变位置识别单元125、表面位置检测单元126、交点检测单元127、虚拟内窥镜图像生成单元128以及显示控制单元129。注意的是，相同的参考数字用于图13所示的硬件设备以及与其基本上一一对应的图14所示的功能块。即，实际内窥镜成像单元12的功能由图13中所示的数字处理器来实现，三维图像形成单元105的功能由图13中所示的医疗设备来实现。同时，内窥镜位置检测单元111的功能通过内窥镜标记107a和位置感测108来实现，并且处置工具位置检测单元112的功能通过处置工具标记107b和位置感测器108来实现。图14中的虚线框表示图像处理工作站109，并且虚线框中各单元的功能通过执行图像处理工作站109上的预定程序来实现。此外，实际内窥镜图像IRE、内窥镜位置PE、处置工具位置PT、三维医学图像V、病变位置PI、遮蔽病变的结构(下文中称为遮蔽结构)的表面位置SF、在虚线框中示出的虚拟内窥镜图像IVE是被虚线框中的各个单元写入图像处理工作站109的预定存储区并从其中读取的数据。
现在将利用图15中示出的流程图来概述在根据本发明第五实施方式的内窥镜检查辅助系统中进行的用户操作流程，以及在上述各个单元中进行的处理。
首先，在使用内窥镜101对被检体的腹腔进行内部检查之前，通过用三维图像形成单元105将被检体的腹腔内部成像以形成三维医学图像V。在图像处理工作站109中，三维图像获取单元124获得该三维医学图像V(#101)，并且病变位置识别单元125提取出在三维医学图像V中出现的病变区域，并识别该位置PI(下文中也称之为病变区域PI，如在第一实施方式中所述的那样)(#102)，并且表面位置检测单元126从三维医学图像V中检测出遮蔽结构的表面位置SF(#103)。
如图15的流程图右侧所述，在病变区域PI的内窥镜手术中，即，在观察被检体的腹腔内部的过程中，实际内窥镜成像单元102在预定的帧速率下、通过插入到体腔中的内窥镜101重复地形成实际内窥镜图像IRE，并且所形成的实际内窥镜图像IRE以动画片的形式实时地显示在实际内窥镜图像显示器104中，直至观察结束(#113：YES)。内窥镜位置检测单元111和处置工具位置检测单元112分别以预定的时间间隔，实时地重复检测插入到体腔内的内窥镜101和处置工具106的位置PSE和PST。
在图像处理工作站109中，实际内窥镜图像获取单元121获得由实际内窥镜成像单元102形成的实际内窥镜图像IRE(#104)。基本上与此同时，内窥镜位置获取单元122获得由内窥镜位置检测单元111所检测到的内窥镜位置PSE，将所获得的内窥镜位置PSE转化成三维医学图像V的坐标体系中的位置，并输出所获得的内窥镜位置PE，同时，处置工具获取单元123获得由处置工具位置检测单元112检测到的处置工具位置PST，将所获得的处置工具位置PST转化为三维医学图像V的坐标体系中的位置，并输出所获得的处置工具位置PT(#105)。
使用由三维图像获取单元124所获得的三维医学图像V作为输入信息，虚拟内窥镜图像生成单元128生成虚拟内窥镜图像IVE，该虚拟内窥镜图像IVE是在假定由内窥镜位置获取单元122所获得的内窥镜位置PE为视点的情况下，将多个视线上的图像信息中心投影到预定的投影面上而形成的图像(#106、#107、#109、#110、#111)。同时，交点检测单元127检测在假定路径(操作方向)与由表面位置检测单元126检测到的遮蔽结构的表面SF之间的交点PA，其中所述假定路径是在当处置工具从由处置工具位置获取单元123所获得的处置工具位置PT处朝着由病变位置识别单元125所识别的病变位置PI移动时形成的(#108)。然后，虚拟内窥镜图像生成单元128生成虚拟内窥镜图像IVE，其中交点PA以可识别的方式显示在如下位置处：穿过被交点检测单元127所检测的交点PA的视线上的图像信息投影在该处(#109)。
然后，显示控制单元129使得由实际内窥镜图像获取单元121获得的实际内窥镜图像IRE以及由虚拟内窥镜图像生成单元128生成的虚拟内窥镜图像IVE，以叠加的方式显示在WS显示器110上(#112)。
在图像处理工作站109中，重复如下步骤：采集新的实际内窥镜图像IRE(#104)、同时采集内窥镜位置PE以及处置工具位置PT(#105)、生成虚拟内窥镜图像IVE(#106至#111)、并更新实际内窥镜图像IRE和虚拟内窥镜图像IVE的叠加显示(#112)，直至观察到操作指示终止(#113：否)。
接下来，将详细描述在图像处理工作站109的每个单元中进行的处理。
实际内窥镜图像获取单元121是这样的通信接口：其通过与实际内窥镜成像单元(数字处理器)102通信，从而接收实际内窥镜图像IRE，并将接收到的图像存储在图像处理工作站109的预定存储区中。根据实际内窥镜图像获取单元121的要求，从实际内窥镜成像单元102中转移实际内窥镜图像IRE。
内窥镜位置获取单元122具有通过与内窥镜位置检测单元111通信而获得内窥镜位置PSE的通信接口功能，并且还具有将所获得的内窥镜位置PSE转换成内窥镜位置PE(该位置用来自位置感测器108的三维坐标体系的三维医学图像V的三维坐标体系中的坐标值来表示)、并将内窥镜位置PE存储在图像处理工作站109的预定存储区中的功能。在前者的通信接口功能中，根据内窥镜位置获取单元122的要求，从内窥镜位置检测单元111获得内窥镜位置PSE。在后者的坐标转换功能中，如果根据位置感测器的三维坐标体系的各坐标轴的方向与三维医学图像V的三维坐标体系的各坐标轴的方向之间的对应关系预先获得各轴的旋转量，并预先测量在被检体中的位置(其对应于三维医学图像V原点)在位置感测器108的三维坐标体系中的坐标值，以及根据原点的坐标值预先计算得到两个对应坐标轴之间的平移量，则可以使用进行了旋转量的旋转以及平移量的平移的矩阵，将在位置感测器108的三维坐标体系中所表示的内窥镜位置PSE，转换为由三维医学图像V的三维坐标体系的坐标值所表示的内窥镜位置PE。
处置工具位置获取单元123类似于内窥镜位置获取单元122，具有用于通过与处置工具位置检测单元112通信从而获得处置工具位置PST的通信接口功能，并且还具有将所获得的处置工具位置PST转换成内窥镜位置PT(该位置用来自位置感测器108的三维坐标体系的三维医学图像V的三维坐标体系中的坐标值来表示)、并将处置工具位置PT存储到图像处理工作站109的预定存储区中的功能。
三维图像获取单元124具有用于从三维医学图像形成单元105接收三维医学图像V，并将所接收的图像存储在图像处理工作站109的预定存储区中的通信接口功能。
病变位置识别单元125与第一至第四实施方式的病变位置识别单元14相同。
表面位置检测单元126通过采用已知的图像识别技术(与第一实施方式中一样)的方法，或者通过检测从内窥镜位置PE的中心投影中每个视线上的位置(像素值在预定阈值以上急剧改变的位置、或者像素值大于预定阈值的位置)，来检测遮蔽结构的表面SF。
交点检测单元127与第一至第四实施方式的交点检测单元16相同，不同之处在于：处置工具位置PT是从处置工具位置获取单元123获得的处置工具106的实际位置。
虚拟内窥镜图像生成单元128与第一至第四实施方式的投影图像生成单元17相同，不同之处在于：由内窥镜位置获取单元122获得的内窥镜101的实际位置PE作为视点，通过中心投影生成投影图像，而不是沿视线VL的方向平行投影生成投影图像。即，虚拟内窥镜图像生成单元128对应于投影图像生成装置。
因此，图15中的步骤#106至#111与图3中的步骤#5至#10相同。即，通过虚拟内窥镜图像生成单元128进行的视线方向光线投射与通过交点检测单元127进行的操作方向光线投射的组合，使得病变区域PI沿处置工具106的实际操作方向被平行投影到遮蔽结构的表面SF上，并使得通过从实际内窥镜位置PE的中心投影，不同于遮蔽结构的表面SF的彩色信息的其它彩色信息被投影到虚拟内窥镜图像IVE的投影面上。
显示控制单元129生成这样的显示图像：其中，实际内窥镜图像IRE和虚拟内窥镜图像IVE彼此叠加使得视野中心彼此对应，并且将该显示图像输出到WS显示器110。关于两个图像的叠加，可以使用已知的α共混法。图16示意性地示出该显示图像的例子，其中实际内窥镜图像IRE和具有较宽视野的虚拟内窥镜图像IVE叠加，并且沿操作方向投影在遮蔽结构的表面SF上的病变区域PI以可识别的方式在虚拟内窥镜图像IVE中显示为PA。
如上所述，在本发明的第五实施方式中，使用由处置工具位置检测单元112检测的、并通过处置工具位置获取单元123进行坐标转换的处置工具106的实际实时位置PT，交点检测单元127确定了病变位置PI在该方向上被投影的操作方向，并且在通过内窥镜位置检测单元111检测的、并被内窥镜位置获取单元122坐标转换的内窥镜101的实际实时位置PE作为中心投影的视点的情况下，虚拟内窥镜图像生成单元128生成虚拟内窥镜图像IVE。因此，其中通过实时反馈内窥镜位置检测单元111和处置工具位置检测单元112检测的内窥镜101和处置工具106的位置结果，就能够实时改变虚拟内窥镜的视野以及处置工具106进入遮蔽结构的位置PA，从而连续生成虚拟内窥镜图像IVE，使得所谓的增强现实感显示器(augmented reality display)得以实现，从而动态且正确地辅助内窥镜手术。
上述的实施方式仅是示例性目的，并不能理解为限制本发明的技术范围。
应当理解的是，可以在不脱离本发明的精神的情况下，对上述的实施方式中的系统构造、硬件构造、处理流程、模块结构、用户界面、具体处理内容等进行的多种变型和改变也包括在本发明的范围内。
例如，对于系统构造，可以在图1的系统构造中设置多个图像处理工作站3，并且处理可以被每个工作站共享。此外，在图13的系统构造中，图像存储服务器可以与LAN连接，由医疗设备105形成的三维医学图像V可以暂时存储在该图像存储服务器的数据库中，并且响应来自图像处理工作站109的要求，可以将三维医学图像V从图像存储服务器转移到图像处理工作站109。
对于硬件构造，除了上述的CT系统之外，图1中的医疗设备1和图13中的医疗设备105还可以是超声波诊断系统或MRI系统。图13中的内窥镜101可以是软性内窥镜或胶囊内窥镜而不是刚性内窥镜。此外，关于内窥镜位置检测单元111和处置工具位置检测单元112，可以使用磁性编码器，或使用在日本未审查专利公开No.2005-21353中所述的陀螺编码器或旋转编码器。
此外，除了肝脏或腹腔之外，例如胸腔等的被检体区域可以作为检查区。
在图像处理工作站3和109进行的处理中，三维医学图像获取单元11和124可以被构造为在手术前或手术过程中获得三维图像V。这里，在第五实施方式的情况下，当在手术期间获得三维图像V时，可以在不使用内窥镜标记107a、处置工具标记107b和位置感测器108的情况下，通过已知的图案识别方法，由手术期间所获得的三维图像V来检测内窥镜101和处置工具106的位置。此外，当在手术期间连续获得三维图像时，为了降低被检体受到的辐射量，优选的是使用超声波诊断系统作为医疗设备1或105。
病变位置识别单元125可以适合于获得与三维图像V的辅助信息相关联的病变位置PI信息。
交点检测单元16和127可以适合于将病变位置PI平行投影到等同于表面位置SF的位置(例如，远离表面位置SF若干像素的位置)，而不是投影到表面位置SF。
此外，不用将病变位置PI沿着操作方向平行投影到表面位置SF上，取而代之的是，交点检测单元16和127可以适合于计算直线(该直线连接着病变区域PI的中心和处置工具位置PT并表示操作方向)与表面位置SF之间的交点PA的位置，而投影图像生成单元17或虚拟内窥镜图像生成单元128适合于在投影图像IP或虚拟内窥镜图像IVE中的交点PA位置处添加批注，例如箭头标记、圆圈标记、文字评述等。
第一实施方式中的投影图像生成单元17可以适合于通过中心投影而生成投影图像IP。在这种情况下，设置用于手动设定视点位置的处理单元，以代替视线设定单元12。
可以采用下列布置：其中，在虚拟内窥镜生成单元128中进行在内窥镜位置获取单元122和处置工具位置获取单元123中所进行的坐标转换。

Claims (15)

1.一种投影图像生成设备，具有投影图像生成装置，该投影图像生成装置利用三维医学图像作为输入信息而生成投影图像，所述投影图像是将在多个视线上的图像信息投影在给定投影面上而形成的图像，所述在多个视线上的图像信息从给定视点观察到三维医学图像中的第一结构体，所述给定视点是在三维医学图像的三维坐标空间中对应于如下位置的位置：由内窥镜位置检测装置实时检测的内窥镜被插入到被检体体腔中的位置，所述投影图像生成设备还包括：
处置工具位置设定装置，用于在所述三维医学图像的坐标空间中设定处置工具的假定位置；
表面检测装置，用于从所述三维医学图像中检测所述第一结构体的表面；
第二结构体识别装置，用于识别所述三维医学图像中的第二结构体，该第二结构体位于当从所述处置工具的所述假定位置观察所述第一结构体时被所述第一结构体遮蔽的位置处；以及
交点检测装置，用于检测在假定路径与所述第一结构体的表面之间的交点，所述假定路径是在所述处置工具从所述假定位置朝着第二结构体移动时形成的，
其中所述投影图像生成装置是生成投影图像的装置，其中所述交点以可识别的方式显示在所述投影面的如下位置处：连接所述给定视点与所述交点的视线上的图像信息被投影在该位置处。
2.权利要求1所述的投影图像生成设备，其中：
所述交点检测装置是这样的装置：其通过将所述第二结构体投影到所述第一结构体的一部分表面上以检测所述交点，所述第一结构体位于所述第二结构体朝着所述处置工具的假定位置的方向上；并且
所述投影图像生成装置是这样的装置：其通过将已投影在所述第一结构体的一部分表面上的所述第二结构体从所述视点投影到所述投影面上，从而以可识别的方式显示所述交点。
3.权利要求2所述的投影图像生成设备，其中所述交点检测装置是这样的装置：其进一步将第三结构体投影到所述第一结构体的一部分表面上，当从所述处置工具的位置观察第二结构体时，所述第三结构体位于所述第二结构体的前面，并且所述第一结构体位于所述第二结构体朝着所述处置工具的假定位置的方向上。
4.权利要求2或3所述的投影图像生成设备，其中所述第一结构体的一部分表面上的所述投影是平行投影。
5.权利要求1至3中任意一项所述的投影图像生成设备，其中：
所述投影图像生成设备还包括内窥镜位置检测装置，用于实时检测插入到被检体体腔中的内窥镜的位置；并且
所述给定视点位置是在所述三维医学图像的坐标空间中的位置，其对应于由所述内窥镜位置检测装置检测到的所述内窥镜的位置。
6.权利要求4所述的投影图像生成设备，其中：
所述投影图像生成设备还包括内窥镜位置检测装置，用于实时检测插入到被检体体腔中的内窥镜的位置；并且
所述给定视点位置是在所述三维医学图像的坐标空间中的位置，其对应于由所述内窥镜位置检测装置检测到的所述内窥镜的位置。
7.权利要求5所述的投影图像生成设备，还包括：
实际内窥镜图像形成装置，用于通过实时成像来形成表示体腔内部的实际内窥镜图像；以及
用于生成叠加图像的叠加图像生成装置，其中所述实际内窥镜图像与投影图像被叠加，该投影图像是在基本上与形成所述实际内窥镜图像的同时，基于由所述内窥镜位置检测装置检测到的所述内窥镜的位置而形成的。
8.权利要求6所述的投影图像生成设备，还包括：
实际内窥镜图像形成装置，用于通过实时成像来形成表示体腔内部的实际内窥镜图像；以及
用于生成叠加图像的叠加图像生成装置，其中所述实际内窥镜图像与投影图像被叠加，该投影图像是在基本上与形成所述实际内窥镜图像的同时，基于由所述内窥镜位置检测装置检测到的所述内窥镜的位置而形成的。
9.权利要求1至3中任意一项所述的投影图像生成设备，其中：
所述投影图像生成设备还包括处置工具位置检测装置，用于实时检测插入到被检体体腔中的处置工具的位置；并且
所述处置工具的所述假定位置是在所述三维医学图像的坐标空间中的位置，其对应于由所述处置工具位置检测装置检测到的所述处置工具的位置。
10.权利要求4所述的投影图像生成设备，其中：
所述投影图像生成设备还包括处置工具位置检测装置，用于实时检测插入到被检体体腔中的处置工具的位置；并且
所述处置工具的所述假定位置是在所述三维医学图像的坐标空间中的位置，其对应于由所述处置工具位置检测装置检测到的所述处置工具的位置。
11.权利要求5所述的投影图像生成设备，其中：
所述投影图像生成设备还包括处置工具位置检测装置，用于实时检测插入到被检体体腔中的处置工具的位置；并且
所述处置工具的所述假定位置是在所述三维医学图像的坐标空间中的位置，其对应于由所述处置工具位置检测装置检测到的所述处置工具的位置。
12.权利要求7所述的投影图像生成设备，其中：
所述投影图像生成设备还包括处置工具位置检测装置，用于实时检测插入到被检体体腔中的处置工具的位置；并且
所述处置工具的所述假定位置是在所述三维医学图像的坐标空间中的位置，其对应于由所述处置工具位置检测装置检测到的所述处置工具的位置。
13.权利要求1所述的投影图像生成设备，其中所述第二结构体是手术目标区域。
14.权利要求3所述的投影图像生成设备，其中所述第三结构体是在手术过程中需要注意的解剖结构。
15.一种投影图像生成方法，具有下列步骤：利用三维医学图像作为输入信息，生成投影图像，该投影图像是将在多个视线上的图像信息投影在给定投影面上而形成的图像，所述多个视线上的图像信息从给定视点观察到三维医学图像中的第一结构体，所述给定视点是在三维医学图像的三维坐标空间中对应于如下位置的位置：由内窥镜位置检测装置实时检测的内窥镜被插入到被检体体腔中的位置，该方法还包括下列步骤：
在所述三维医学图像的坐标空间中，当从所述视点观察第一结构体时，在第一结构体的正面并且是该第一结构体的外部的位置处设定处置工具的假定位置；
从所述三维医学图像中检测第一结构体的表面；
识别当从所述处置工具的所述假定位置观察第一结构体时，在被第一结构体遮蔽的位置处的、位于所述三维医学图像中的第二结构体；以及
检测当所述处置工具从所述假定位置朝着第二结构体移动时所形成的假定路径与第一结构体表面之间的交点，
其中所述的生成投影图像的步骤是这样的步骤：其生成投影图像，其中交点以可识别的方式显示在所述投影面的如下位置处：连接所述给定视点与所述交点的视线上的图像信息投影在该位置处。
CN201110034594.4A 2010-03-31 2011-01-31 投影图像生成技术 Active CN102208114B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-084272 2010-03-31
JP2010084272A JP5551957B2 (ja) 2010-03-31 2010-03-31 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム

Publications (2)

Publication Number Publication Date
CN102208114A CN102208114A (zh) 2011-10-05
CN102208114B true CN102208114B (zh) 2016-08-17

Family

ID=44202067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110034594.4A Active CN102208114B (zh) 2010-03-31 2011-01-31 投影图像生成技术

Country Status (4)

Country Link
US (1) US8611988B2 (zh)
EP (1) EP2372660A2 (zh)
JP (1) JP5551957B2 (zh)
CN (1) CN102208114B (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011001322A1 (en) * 2009-06-29 2011-01-06 Koninklijke Philips Electronics N.V. Visualizing surgical trajectories
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
DE102011005259A1 (de) * 2011-03-08 2012-09-13 Olympus Winter & Ibe Gmbh Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops
JP2013009956A (ja) * 2011-06-01 2013-01-17 Toshiba Corp 医用画像表示装置及び医用画像診断装置
JP5874398B2 (ja) * 2012-01-05 2016-03-02 オムロン株式会社 画像検査装置の検査領域設定方法
WO2013106926A1 (en) * 2012-01-17 2013-07-25 Sunnybrook Health Sciences Centre Method for three-dimensional localization of an object from a two-dimensional medical image
JP5918548B2 (ja) * 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP5881559B2 (ja) * 2012-08-30 2016-03-09 オリンパス株式会社 医療機器
JP6221166B2 (ja) * 2012-10-22 2017-11-01 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 表示装置、医用装置、およびプログラム
US8983156B2 (en) * 2012-11-23 2015-03-17 Icad, Inc. System and method for improving workflow efficiences in reading tomosynthesis medical image data
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
JP2014127011A (ja) * 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
DE102013200898A1 (de) * 2013-01-21 2014-07-24 Siemens Aktiengesellschaft Endoskop, insbesondere für die minimal-invasive Chirurgie
JP6026932B2 (ja) * 2013-03-22 2016-11-16 富士フイルム株式会社 医用画像表示制御装置および方法並びにプログラム
JP6178615B2 (ja) * 2013-05-15 2017-08-09 国立大学法人 東京大学 画像処理装置及びプログラム
JP6145875B2 (ja) * 2013-07-31 2017-06-14 富士フイルム株式会社 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US10002457B2 (en) * 2014-07-01 2018-06-19 Toshiba Medical Systems Corporation Image rendering apparatus and method
JP6254053B2 (ja) * 2014-08-13 2017-12-27 富士フイルム株式会社 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
JP6750194B2 (ja) * 2015-06-19 2020-09-02 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
CN107924459B (zh) * 2015-06-24 2021-08-27 埃达技术股份有限公司 用于肾结石去除程序的交互式3d镜放置和测量的方法和系统
JP6667231B2 (ja) * 2015-08-31 2020-03-18 キヤノン株式会社 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。
JP2017113050A (ja) * 2015-12-21 2017-06-29 キヤノンマーケティングジャパン株式会社 医用画像処理装置、その制御方法、及びプログラム
DE102015226669B4 (de) 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
WO2017131184A1 (ja) 2016-01-28 2017-08-03 シャープ株式会社 書物電子化方法および書物電子化装置
EP3179450B1 (de) * 2016-04-12 2020-09-09 Siemens Healthcare GmbH Verfahren zur multisensorischen darstellung eines objekts und darstellungssystem
JP2018019993A (ja) * 2016-08-05 2018-02-08 国立大学法人千葉大学 画像作成装置、画像作成システム、画像作成方法およびダミー器具
US10610302B2 (en) * 2016-09-20 2020-04-07 Siemens Healthcare Gmbh Liver disease assessment in medical imaging
US10201389B2 (en) * 2016-10-31 2019-02-12 Edda Technology, Inc. Method and system for interactive grid placement and measurements for lesion removal
JP7160529B2 (ja) * 2016-12-12 2022-10-25 キヤノンメディカルシステムズ株式会社 医用画像処理装置、ｘ線診断装置及び医用画像処理方法
DE102017203048B3 (de) * 2017-02-24 2018-03-15 Siemens Healthcare Gmbh Verfahren zum Bestimmen eines Projektionsdatensatzes, Projektionsbestimmungssystem, Computerprogrammprodukt und computerlesbares Speichermedium
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
CN109272483B (zh) * 2018-08-01 2021-03-30 安翰科技(武汉)股份有限公司 胶囊内镜阅片及质量控制的系统及控制方法
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
WO2020110278A1 (ja) 2018-11-30 2020-06-04 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
JP7414585B2 (ja) 2020-02-28 2024-01-16 富士フイルムヘルスケア株式会社 医用画像録画装置およびｘ線撮像装置
CN111609847B (zh) * 2020-04-23 2023-08-15 上海理工大学 一种面向薄板件的机器人拍照测量系统自动规划方法
CN113645396B (zh) * 2020-04-27 2023-07-25 成都术通科技有限公司 图像叠加方法、装置、设备及存储介质
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11610682B2 (en) 2021-06-22 2023-03-21 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
CA3233118A1 (en) * 2021-09-27 2023-03-30 Neil Duggal Anatomical scanning, targeting, and visualization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1803102A (zh) * 2005-12-02 2006-07-19 北京航空航天大学 基于医学图像的预显示穿刺轨迹的受限手术规划方法
US7536216B2 (en) * 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
CN101477706A (zh) * 2008-12-19 2009-07-08 天津工业大学 基于医用图像的模拟手术规划方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9609484A (pt) * 1995-07-16 1999-12-14 Yoav Paltieli Processo e aparelho para direcionamento à mão livre de uma agulha so sentido de um alvo localizado em um volume corpóreo e aparelho de agulha
US5638819A (en) * 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
JP4248050B2 (ja) * 1998-09-08 2009-04-02 株式会社東芝 Ｘ線コンピュータ断層撮影装置
JP3749400B2 (ja) * 1998-10-27 2006-02-22 株式会社島津製作所 断層撮影装置
JP2002253480A (ja) * 2001-03-02 2002-09-10 Olympus Optical Co Ltd 医療処置補助装置
JP5030335B2 (ja) 2001-03-06 2012-09-19 オリンパス株式会社 医用画像表示装置
JP4193201B2 (ja) * 2002-05-24 2008-12-10 株式会社日立メディコ 臓器の切除領域抽出表示装置
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
WO2004110242A2 (en) * 2003-06-18 2004-12-23 Koninklijke Philips Electronics N.V. Remotely held needle guide for ct fluoroscopy
JP4365630B2 (ja) 2003-07-01 2009-11-18 オリンパス株式会社 手術支援装置
JP2005052217A (ja) * 2003-08-06 2005-03-03 Ge Medical Systems Global Technology Co Llc Ｃｔ画像表示方法およびｃｔ装置
JP4467927B2 (ja) * 2003-08-19 2010-05-26 株式会社東芝 超音波診断装置
JP2007531553A (ja) * 2003-10-21 2007-11-08 ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニヴァーシティ 術中ターゲティングのシステムおよび方法
US7232409B2 (en) * 2003-11-20 2007-06-19 Karl Storz Development Corp. Method and apparatus for displaying endoscopic images
JP4698966B2 (ja) * 2004-03-29 2011-06-08 オリンパス株式会社 手技支援システム
JP4109224B2 (ja) * 2004-07-01 2008-07-02 ザイオソフト株式会社 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
JP4916114B2 (ja) * 2005-01-04 2012-04-11 オリンパス株式会社 内視鏡装置
JP2006218129A (ja) * 2005-02-10 2006-08-24 Olympus Corp 手術支援システム
JP4152402B2 (ja) * 2005-06-29 2008-09-17 株式会社日立メディコ 手術支援装置
JP4450797B2 (ja) * 2006-01-05 2010-04-14 ザイオソフト株式会社 画像処理方法および画像処理プログラム
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
JP4493679B2 (ja) 2007-03-29 2010-06-30 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム
JP4964171B2 (ja) 2008-02-29 2012-06-27 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536216B2 (en) * 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
CN1803102A (zh) * 2005-12-02 2006-07-19 北京航空航天大学 基于医学图像的预显示穿刺轨迹的受限手术规划方法
CN101477706A (zh) * 2008-12-19 2009-07-08 天津工业大学 基于医用图像的模拟手术规划方法

Also Published As

Publication number Publication date
EP2372660A2 (en) 2011-10-05
US8611988B2 (en) 2013-12-17
US20110245660A1 (en) 2011-10-06
JP5551957B2 (ja) 2014-07-16
CN102208114A (zh) 2011-10-05
JP2011212301A (ja) 2011-10-27

Similar Documents

Publication Publication Date Title
CN102208114B (zh) 投影图像生成技术
JP6509906B2 (ja) 医療機器の作動方法
US11520415B2 (en) Interactive 3D cursor for use in medical imaging
US8538504B2 (en) Method for merging medical images
EP2637593B1 (en) Visualization of anatomical data by augmented reality
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
CN102713976B (zh) 对介入装置进行导航
CN109998678A (zh) 在医学规程期间使用增强现实辅助导航
CN108140242A (zh) 视频摄像机与医学成像的配准
CN107106043A (zh) 椎体特征识别
CN103356155A (zh) 虚拟内窥镜辅助的腔体病灶检查系统
JP2000182078A (ja) 三次元（３ｄ）イメ―ジングシステム及び三次元（３ｄ）イメ―ジにおける境界を決定する方法
JP2013153883A (ja) 画像処理装置、撮影システム及び画像処理方法
CN111553979B (zh) 基于医学影像三维重建的手术辅助系统及方法
CN102074039A (zh) 一种体绘制裁剪面绘制方法
GB2524955A (en) Method for cell envelope segmentation and visualisation
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
US20170365051A1 (en) Medical image data processing system and method
US20120188240A1 (en) Medical image display apparatus, method and program
JP5502578B2 (ja) 医用情報提示装置
CN106028943A (zh) 超声虚拟内窥成像系统和方法及其装置
KR101464330B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
JP2017023834A (ja) 画像処理装置、撮影システム及び画像処理方法
DE102021206565A1 (de) Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant