CN107527379A - 医用图像诊断装置及医用图像处理装置 - Google Patents

医用图像诊断装置及医用图像处理装置 Download PDF

Info

Publication number
CN107527379A
CN107527379A CN201710468810.3A CN201710468810A CN107527379A CN 107527379 A CN107527379 A CN 107527379A CN 201710468810 A CN201710468810 A CN 201710468810A CN 107527379 A CN107527379 A CN 107527379A
Authority
CN
China
Prior art keywords
mentioned
light source
medical
image
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710468810.3A
Other languages
English (en)
Other versions
CN107527379B (zh
Inventor
M·瓦伦伯格
T·劳顿
T·戴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Publication of CN107527379A publication Critical patent/CN107527379A/zh
Application granted granted Critical
Publication of CN107527379B publication Critical patent/CN107527379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)

Abstract

提供一种能够简单地辨识对象部位、插入到被检体内的医用器具或电子设备的路径、或对象部位与医用器具或电子设备的位置关系的医用图像诊断装置等。有关实施方式的医用图像诊断装置具有扫描部、处理部。扫描部对被检体的三维区域执行扫描。处理部基于扫描的结果生成三维区域的医用图像数据，检测三维区域内的目标的位置，将检测出的上述目标的位置作为光源的位置，执行对于上述医用图像数据的绘制处理。

Description

医用图像诊断装置及医用图像处理装置
技术领域
本实施方式涉及例如医用图像诊断装置及医用图像处理装置。
背景技术
使用穿刺针的生物体检测通常是为了从患者或其他被检体收集组织试样而实施的。此外，存在使用穿刺针将肿瘤部烧灼的治疗法。在这些生物体检测、烧灼治疗中，针被插入到组织中，使用关注区域的医用摄像来引导。关注区域的医用摄像例如也可以包括使用超声波探头取得的摄像等实时摄像。针的位置也可以使用实时摄像来追踪。此外，针的位置可以使用位置传感器替代性地或追加性地追踪。
在穿刺术之前取得的在先图像(例如比穿刺术靠前取得的在先三维医用图像或图集图像)与实时摄像一起显示。所谓在先三维医用图像，例如也可以是用CT、MR等的医用图像诊断装置取得的三维图像或三维超声波图像。有将在先三维医用图像与实时超声波图像一起配准(registration)的情况。
对于正在引导生物体检测针的临床医师而言，在先三维医用图像可以包含有益的信息。例如，在先三维医用图像可以表示希望的被采样的解剖学特征(肿瘤等)的大小或位置。在先三维医用图像由于根据三维的性质及/或以不同的模式拍摄，所以可能呈现比实时摄像更多的信息量。
其中，有表示为被配准了在先三维医用图像的MPR(多平面重建)图像的情况。被配准后的MPR图像可以示出与用实时摄像表示的平面图像对应的在先三维医用图像的切片。
此外，在某个情形下，有将在先三维医用图像表示为三维体绘制(rendering)图像的情况。通过将在先三维医用图像显示为三维体绘制图像，与MPR图像相比，可以考虑伴随着更多的事实关系(context)的概要性的整体像。
三维体绘制图像使得能够从仅伴随着针和探头的几何学的位置关系的移动的固定的位置看到在先图像。另一方面，配准后的MPR图像可能如从仅在针和探头的几何学上的位置关系的移动中被固定的位置观察在先三维医用图像那样、在整体上的位置及方向上不带来相同的感觉。
专利文献1：美国专利申请公开第2014/0232719A1号说明书
希望例如在穿刺术中，将关于针尖及针尖周围的关联信息视觉化。但是，在三维体绘制的特性上、在三维体绘制中包含针的描绘的情况下，通常难以用眼睛捕捉实际针尖处在哪里。这是因为，针尖有可能被针所插入的表面或物质堵塞。
针由于主要面向软组织，所以在在先三维医用图像的标准的直接体绘制图像(classical Direct Volume Rendering images)中有可能看起来较粗。以往的直接体绘制有可能不将软组织良好地绘制，所以在主要的组织类型及/或该主要的组织类型周围的大半是软组织的情况下，对于在先三维医用图像的绘制有可能不适当。
图像中的噪声有可能因局部阴影而变得更严重。噪声的影响如果在先图像是三维超声波体，则可能会特别严重。在某种状况下，噪声影响有可能会使针的几何学的位置关系(needle geometry)变得更难观察。
发明内容
鉴于以上，本技术方案的目的是提供一种在手术前的模拟或手术中、能够比以往更简单地辨识对象部位、插入到被检体内的医用器具或电子设备的路径、或对象部位与医用器具或电子设备的位置关系的医用图像诊断装置、医用图像处理装置。
有关实施方式的医用图像诊断装置具有扫描部、处理部。扫描部对被检体的三维区域执行扫描。处理部基于扫描的结果生成三维区域的医用图像数据，检测三维区域内的目标的位置，将检测出的上述目标的位置作为光源的位置，执行对于上述医用图像数据的绘制处理。
附图说明
图1是有关实施方式的医用图像诊断装置的概要图。
图2是描绘了实施方式的处理整体的流程图。
图3是表示在针尖上具有具备电源的(active)虚拟光源的针生物体检测图像的概要图。
图4是表示基于针尖的前表面的超声弹性成像(Elastography)的颜色和亮度调节器的概要图。
图5是表示基于从在先PET/CT图像进行FDG摄取(FDG uptake)的颜色和亮度调节器的概要图。
图6是表示距收集点的距离的计测的概要图。
图7是表示距实际超声波面的距离的计测的概要图。
具体实施方式
以下，按照附图说明各实施方式。另外，在以下的说明中，关于具有大致相同的功能及结构的构成要素赋予相同的标号，仅在需要的情况下进行重复说明。
此外，在以下的实施方式中，为了使说明变得具体，以实施方式的医用图像诊断装置是超声波诊断装置的情况为例进行说明。但是，以下叙述的本实施方式的图像处理方法并不限定于超声波诊断装置的例子，例如在X射线计算机断层摄像装置、磁共振成像装置、X射线诊断装置、PET、SPECT等的其他的医用图像诊断装置中也能够应用。
在图1中表示有关实施方式的超声波诊断装置1。超声波诊断装置1具备作为摄影设备的超声波扫描器14、和对由该超声波扫描器14取得的超声波数据进行处理的作为个人计算机(PC)或工作站的医用图像处理装置12。医用图像处理装置12连接在超声波扫描器14、一个以上的显示设备50或其他显示设备、以及计算机键盘、鼠标或跟踪球等输入装置或多个输入装置18上。
超声波诊断装置1或医用图像处理装置12例如在进行在其手术计划阶段中掌握作为手术的对象的部位的位置、进行向被检体插入的医用器具或电子设备的路径的模拟、或手术中的手术对象部位与医用器具或电子设备的位置关系的监视等的情况下使用。另外，以下为了使说明变具体，以将作为医用器具的穿刺针向被检体内插入的情况为例。另外，本实施方式中，将被检体内的手术对象部位、医用器具的位置、电子设备的位置、或由用户手动指定的位置等配置有虚拟光源的位置的总称作为目标。
超声波扫描器14也可以是构成为收集对患者或其他被检体的区域进行描绘的超声波数据(ultrasound data representative of a region)的任意的超声波扫描器。患者或其他被检体的区域可能具备至少一个关注的解剖学的构造。
在本实施方式中，超声波扫描器14构成为，收集二维超声波数据。超声波扫描器14构成为，实时或大致实时(near-real-time)地收集二维超声波数据。在代替性的实施方式中，在医用图像诊断装置为其他的采集设备的情况下，超声波扫描器14也可以与例如MRI(磁共振摄像)扫描器、X射线扫描器、PET(正电子放射断层摄影法)扫描器、SPECT(单光子放出计算机断层摄影)扫描器或CT扫描器等构成为提供二维或三维医用摄像数据的任意的摄像采集设备内的任意的体扫描器替换或被补充。
另外，在超声波诊断装置1上，连接着以决定有可能被插入到执行生物体检测手术的患者或其他被检体的身体中的生物体检测针的位置的方式构成的位置检测器21。在本实施方式中，为了检测生物体检测针的位置而使用周知的类型的磁检波器。
在实施方式中，位置检测器21不具备电磁铁追踪系统。此外，在实施方式中，有电磁铁传感器被埋入在生物体检测针(或其他医疗器具)中的结构。电磁铁传感器的位置即生物体检测针的位置使用一个以上的电磁铁发送机来决定。
在代替的实施方式中，也可以使用例如立体视角针检测器等任意的适当的其他类型的检测器。立体视角针检测器可能具备追踪探头和针、并计算探头和针的几何学关系(geometric relationship)的两台照相机。在进一步的实施方式中，位置检测器21构成为，在任意的适当的插入手术中决定任意的适当的医用设备被插入的位置。
如图1所示，超声波诊断装置1具备装置主体10、超声波探头70、显示设备50及输入装置18。装置主体10经由网络100与外部装置40连接。此外，装置主体10与显示设备50及输入装置18连接。
超声波探头70具有多个压电振子、设在压电振子上的整合层、以及防止超声波从压电振子向后方传播的背衬材料等。超声波探头70与装置主体10拆装自如地连接。多个压电振子基于从装置主体10所具有的超声波发送部11a供给的驱动信号，产生超声波。此外，在超声波探头70上，配置有在后述的补偿(offset)处理或超声波图像的冻结等时被按下的按钮。
如果从超声波探头70向被检体P发送超声波，则发送来的超声波被被检体P的体内组织中的声响阻抗的不连续面逐次反射，作为反射波信号而被超声波探头70具有的多个压电振子接收。接收的反射波信号的振幅依赖于超声波被反射的不连续面的声响阻抗的差。另外，发送来的超声波脉冲被移动的血流或心脏壁等的表面反射的情况下的反射波信号根据多普勒效应，依赖于移动体相对于超声波发送方向的速度成分而受到频率偏移。超声波探头70接收来自被检体P的反射波信号而变换为电信号。超声波探头70例如是多个超声波振子沿着规定的方向排列而成的一维阵列探头。另外，超声波探头70并不限于一维阵列探头，作为能够取得体数据者，也可以是二维阵列探头(多个超声波振子排列为二维矩阵状的探头)、或机械4D探头(能够一边将超声波振子列在与其排列方向正交的方向上机械地晃动一边执行超声波扫描的探头)等。
图1所示的装置主体10是基于超声波探头70接收到的反射波信号而生成超声波图像的装置。装置主体10如图1所示，包括超声波发送部11a、超声波接收部11b、B模式处理部13a、多普勒处理部13b、图像存储器34(影像存储器)、内部存储部20、数据处理部22、通信接口电路35、控制部(CPU)30、图像数据库31、输入接口电路32。
超声波发送部11a是向超声波探头70供给驱动信号的处理器。超声波发送部11a例如通过触发发生电路、延迟电路、脉冲发生器电路等实现。触发发生电路在控制部30的控制下，以规定的速率频率，反复发生用来形成发送超声波的速率脉冲。延迟电路对触发发生电路发生的各速率脉冲赋予为了将从超声波探头70发生的超声波集束为波束状从而决定发送指向性所需要的各个压电振子的延迟时间。脉冲发生器电路在控制部30的控制下，以基于速率脉冲的定时，向超声波探头70施加驱动信号(驱动脉冲)。通过使由延迟电路对各速率脉冲赋予的延迟时间变化，能够任意地调整从压电振子面起的发送方向。
超声波接收部11b是对超声波探头70接收到的反射波信号实施各种处理、生成接收信号的处理器。超声波接收部11b例如由放大器电路、A/D变换器、接收延迟电路、加法器等实现。放大器电路将超声波探头70接收到的反射波信号按照每个通道放大而进行增益修正处理。A/D变换器将增益修正后的反射波信号变换为数字信号。接收延迟电路对数字信号赋予为了决定接收指向性所需要的延迟时间。加法器将被赋予了延迟时间的多个数字信号相加。通过加法器的加法处理，产生强调了来自与接收指向性对应的方向的反射成分的接收信号。
B模式处理部13a是基于从超声波接收部11b接受到的接收信号而生成B模式数据的处理器。B模式处理部13a对从超声波接收部11b接受到的接收信号实施包络线检波处理及对数放大处理等，生成将信号强度用亮度的明亮度表现的数据(B模式数据)。生成的B模式数据被作为二维的超声波扫描线上的B模式RAW数据，存储到未图示的RAW数据存储器中。
多普勒处理部13b是基于从超声波接收部11b接受到的接收信号而生成多普勒波形及多普勒数据的处理器。多普勒处理部13b从接收信号中提取血流信号，根据提取出的血流信号生成多普勒波形，并且根据血流信号生成关于多点提取了平均速度、方差及强度等的信息的数据(多普勒数据)。将所生成的多普勒数据作为二维的超声波扫描线上的多普勒RAW数据向未图示的RAW数据存储器存储。
数据处理部22是基于由B模式处理部13a及多普勒处理部13b生成的数据而执行各种数据处理的处理器。
数据处理部22具有位置决定部24、配准处理部26、图像生成部28、图像处理部29。
位置决定部24基于位置检测器21检测出的穿刺针的基准位置(例如前端位置)决定体数据内的该基准位置的位置。
配准处理部26按照刚性配准、仿射变换、非刚性配准等的规定的方法，将超声波体数据和在先体数据(例如CT体数据)配准。
图像生成部28基于存储在RAW数据存储器中的B模式RAW数据而生成B模式图像数据。此外，图像生成部28基于存储在RAW数据存储器中的多普勒RAW数据，生成有关平均速度图像、方差图像、强度图像等的多普勒图像数据。
进而，图像生成部28通过对存储在RAW数据存储器中的B模式数据执行包括添加了空间上的位置信息的插补处理在内的RAW-体素(voxel)变换，生成表示形态信息的B模式体数据。此外，数据处理部22通过对存储在RAW数据存储器中的多普勒数据执行包括添加了空间上的位置信息的插补处理在内的RAW-体素(voxel)变换，生成表示血流信息的血流(彩色多普勒)体数据。B模式体数据及血流体数据由希望的范围的体素构成。
图像处理部29使用产生的各种体数据，生成绘制图像、MPR图像等。此外，图像处理部29执行阴影等的规定的图像处理。
显示处理部16是使显示设备50显示各种图像的处理器。显示处理部16通过坐标变换处理等，生成作为显示图像的超声波图像数据。所谓坐标变换处理，例如是将由B模式数据及多普勒数据构成的超声波扫描的扫描线的信号列变换为作为以电视等为代表的通常的视频格式的扫描线信号列的视频信号的处理。生成的超声波图像数据被变换为例如依据DICOM(digital imaging and communication in medicine)规格的格式，存储到例如图像数据库19中。
此外，显示处理部16通过对在数据处理部22中生成的各种图像数据执行动态范围、亮度(辉度)、对比度、γ曲线修正及RGB变换等的各种处理，将图像数据变换为视频信号。显示处理部16使视频信号作为超声波图像显示在显示设备50上。
另外，显示处理部16也可以生成用于操作者(例如手术者)通过输入接口电路32输入各种指示的用户接口(GUI：Graphical User Interface)，使显示设备50显示GUI。作为显示设备50，例如可以应用CRT显示器或液晶显示器、有机EL显示器、LED显示器、等离子显示器、或在该技术领域中周知的其他的任意的显示器。
内部存储部20例如具有磁或光学性记录介质、或能够由半导体存储器等处理器读取的记录介质等。内部存储部20存储有用来实现超声波收发的控制程序、用来进行图像处理的控制程序、以及用来进行显示处理的控制程序等。此外，内部存储部20存储有用来实现有关本实施方式的各种功能的控制程序。此外，内部存储部20存储有将诊断信息(例如，患者ID、医生的意见等)、诊断协议、身体标识生成程序、以及用于影像化的颜色数据的范围按照每个诊断部位而预先设定的变换表等的数据群。此外，内部存储部20也可以存储有与生物体内的内脏的构造有关的解剖学图谱、例如图集。
此外，关于内部存储部20，在本实施方式中，由超声波扫描器14收集到的超声波数据集被保存到内部存储部20中，然后被向医用图像处理装置12提供。在替代的实施方式中，超声波数据集被从能够形成图像保管通信系统(PACS)的一部分的远程数据仓库(未图示)供给。内部存储部20或远程数据仓库也可以具备存储设备的任意的适当的形态。
内部存储部20还保存对患者或其他被检体描绘后的三维CT数据。保存的三维CT数据是使用CT扫描器在之前收集到的数据。保存的三维CT数据如以下更详细地说明的那样，被用在摄像处理中。在替代的实施方式中，CT数据被从远程数据仓库供给。在另一实施方式中，CT数据也可以用例如使用MRI、X射线、PET、SPECT或超声波摄像采集装置等任意的其他适当的摄像采集装置收集到的三维医用摄像数据替换或补充。
图像存储器34例如具有磁或光学性记录介质、或能够由半导体存储器等处理器读取的记录介质等。图像存储器34保存经由输入接口电路32输入的即将冻结操作前的多个帧所对应的图像数据。存储在图像存储器34中的图像数据例如被连续显示(影像显示)。
图像数据库31存储从外部装置40传送的图像数据。例如，图像数据库31从外部装置40取得在过去的诊察中取得的关于同一患者的过去图像数据并存储。在过去图像数据中，包括有超声波图像数据、CT(Computed Tomography)图像数据、MR图像数据、PET(Positron Emission Tomography)-CT图像数据、PET-MR图像数据及X射线图像数据。此外，过去图像数据例如被作为三维体数据及绘制图像数据存储。这些过去图像数据在本实施方式中被作为在先医用图像利用。
另外，图像数据库31也可以通过将记录在MO、CD-R、DVD等记录介质(介质)中的图像数据读入，而保存希望的图像数据。
输入接口电路32经由输入装置18受理来自操作者的各种指示。在输入装置18中，例如包括鼠标、键盘、面板开关、滑块开关、拨盘开关(dial switch)、跟踪球、旋转编码器、操作面板及接触命令屏幕(TCS)等。
输入接口电路32例如经由总线与控制部30连接，将从操作者输入的操作指示向电信号变换，将电信号向控制部30输出。另外，在本实施方式中，输入接口电路32并不仅限于与鼠标及键盘等物理性的操作零件连接者。例如，受理从与超声波诊断装置1分体地设置的外部的输入设备输入的操作指示所对应的电信号作为无线信号、并将该电信号向控制部30输出的电信号的处理电路，也包含在输入接口电路32的例子中。
通信接口电路35经由网络100等与外部装置40连接，在与外部装置40之间进行数据通信。外部装置40例如是管理各种医用图像的数据的系统即PACS(Picture Archivingand Communication System，图象编档和通信系统)的数据库、管理附加有医用图像的电子病历的电子病历系统的数据库等。此外，外部装置40例如是X射线CT装置及MRI(MagneticResonance Imaging)装置、核医学诊断装置(PET、SPECT)、以及X射线诊断装置等，本实施方式的超声波诊断装置1以外的各种医用图像诊断装置。另外，与外部装置40的通信的规格是怎样的规格都可以，例如可以举出DICOM。
控制部(CPU)30具有处理器，作为超声波诊断装置1的中枢发挥功能。控制部30基于从超声波接收部11b产生的接收信号，控制B模式处理部13a、多普勒处理部13b、数据处理部22及显示处理部16等，生成规定的超声波图像数据，将所生成的超声波图像数据显示到显示设备上。控制部30经由输入接口电路32受理来自操作者等的各种指示。控制部30将受理的各种指示向控制部30输入。
在本实施方式中，位置决定部24、配准处理部26和图像生成部28由医用图像处理装置12用具有能够执行实施方式方法的计算机可读指示的计算机程序的方法分别执行。例如，位置决定部24、配准处理部26和图像生成部28有可能例如被控制部30作为能够由医用图像处理装置12执行的独立的计算机程序或算法来分别执行。但是，在另一实施方式中，电路也可以被作为一个以上的ASICs(面向特定用途的集成电路)或FPGAs(现场可编程门阵列)执行。
医用图像处理装置12还包括包含硬盘驱动器及RAM、ROM的PC的其他构成要素、包含数据总线、各种各样的设备驱动器的操作系统、包含图形卡的硬件设备。这样的构成要素为了变得明确而在图1中没有图示。
如通过以下详细说明的那样，在生物体检测针被向患者或其他被检体的身体插入的期间中、描绘了生物体检测针的至少一部分的图像的特性可以被在图像上显示，是图1的实施方式的特征。该显示的图像，例如是根据使用绘制处理预先收集到的CT数据生成的、患者或其他被检体的身体的至少一部分的三维绘制图像。作为绘制处理的一部分，有可能将虚拟光源与生物体检测针的至少一部分建立关联，以使得在针移动时绘制图像的至少一部分的观感变化。例如，也可以随着针运动而虚拟光源的位置及/或亮度变化。
根据CT数据生成的三维绘制图像例如可以用于对根据生物体检测针的插入中或将生物体检测针拔出的期间中实时地从超声波扫描器14收集到的超声波数据生成的实时图像进行补充。例如，在实施方式中，根据CT数据生成的图像也可以在显示设备50或不同的例如接近的显示屏幕上在超声波图像的旁边/同时显示，当根据图像决定与一个以上的关注特征关联的生物体检测针的位置时，能够对用户进行支援。
生物体检测针插入手术期间的图1的系统的操作在图2的流程图中被描绘了概要。
生物体检测针插入手术被概略地描绘在图3中，图3示出了生物体检测针200穿过患者或其他的被检体的肉体202而向有可能包含想要执行生物体检测的一个以上的点的关注区域204插入的部位。
在处理的第一阶段100，医用图像处理装置12从内部存储部20或远程数据仓库中检索描绘了患者或其他的被检体的CT摄像数据。在本实施方式中，CT数据具备三维CT数据，所述三维CT数据具备在扫描体的对应的位置表示通过CT扫描决定的X射线吸收的程度的各个体素的亮度值、以及体素的集合。本实施方式中的CT摄像数据，是从以前的扫描中预先收集到的CT数据。在另一实施方式中，医用图像处理装置12检索任意的适当的三维医用摄像数据集。
在处理的下个阶段102中，位置决定部24从描绘生物体检测针200的位置的位置检测器21中收集位置数据，根据该位置数据决定生物体检测针200的当前位置。
在下个阶段104中，医用图像处理装置12从描绘对患者或其他的被检体使用超声波扫描器14执行的超声波计测的超声波扫描器14收集实时超声波数据。在另一实施方式中，也可以从阶段100到104同时或以任意的顺序执行。在实施方式中，还有与从位置检测器21收集位置数据相比，从实时超声波数据收集位置数据的方式。
CT扫描器或CT数据的各自、超声波扫描器14或超声波数据、以及位置检测器21或位置数据有具有它们独自的坐标系的情况，所以将一个以上的超声波数据、CT数据或位置数据与一个以上的超声波数据、CT数据或位置数据组合而使用的尝试，有可能带来误校准的结果。因而，在已叙述的实施方式中，为了使将CT数据、超声波数据及/或位置数据用共通的坐标系校准变得可靠，执行校准步骤。
校准步骤可以由配准处理部26执行，基于在先配准步骤或在先标准化步骤。可以使用任意的适当的配准步骤或标准化步骤。例如，最初的超声波数据集可以从超声波扫描器14收集，并且也可以为了将超声波数据集与配准到CT数据而使用任意的适当的周知的配准步骤(例如，任意的适当的周知的刚性、仿射变换或非刚性配准步骤)，其结果，变为收集可以用于对超声波数据或CT数据的坐标系系统进行校准的平移或坐标偏移的集合。配准步骤例如也可以基于解剖学的特性的各自数据集及/或位置处的亮度值。
同样，例如在生物体检测针200处于与患者或其他的被检体关联的规定位置(例如，接触在被检体上但没有刺入等)的情况下、或在相对于患者顶板或超声波扫描器14处于规定位置的情况下，最初的位置数据可以从位置检测器21收集。最初的位置数据也可以由配准处理部26使用用来决定可以为了将位置检测器21的坐标系或位置数据与一个以上的CT扫描器或CT数据、超声波扫描器14或超声波数据校准而使用的平移或坐标偏移的集合。
在本实施方式中，平移或坐标偏移的集合如上述那样由在先配准或标准化步骤收集。在本实施方式的阶段106中，医用图像处理装置12(例如配准处理部26)为了将在阶段100中检测到的CT数据摄像数据、在阶段102中收集到的位置数据、在阶段104中取得的超声波数据校准，而使用在在先配准或标准化步骤中收集到的平移或坐标偏移的集合。
在实施方式中，平移或坐标偏移的集合既可以为了将CT数据、超声波数据或位置数据校准而由数据处理部22(例如由配准处理部26)使用，为了将CT数据、超声波数据及/或位置数据校准，分别收集在时间上较新的(each time new)CT数据、超声波数据(即，分别依次相对于阶段100、102或104)。在替代的实施方式中，平移或坐标偏移的集合有可能被提供给一个以上的CT扫描器、内部存储部20、超声波扫描器14或位置检测器21，校准也可以在数据被提供给医用图像处理装置12之前实施。在再一个实施方式中，CT数据、超声波数据以及位置数据分别被用相同的坐标系生成，不需要校准。
在阶段106的校准后，CT数据在用来将患者或其他被检体的至少一部分图像绘制的绘制处理中由图像生成部28使用。将虚拟光源在绘制处理中使用是图1的实施方式的特征。这样，在阶段108中决定虚拟光源的位置。基于生物体检测针200的至少一部分的被决定的位置(根据在阶段102中收集到的位置数据由位置决定部24决定)在阶段108中决定虚拟光源的位置，是图1的实施方式的进一步的特征。
另外，在阶段108中，虚拟光源的位置决定并不限定于上述使用了位置检测器21的方法，可以采用各种各样的方法。例如，也可以显示与规定的截面对应的二维CT图像或二维超声波图像，用户在该图像上经由输入装置18通过手工操作输入虚拟光源位置(目标的位置)。
此外，还可以通过使用了三维图像的手工操作进行虚拟光源位置的输入。例如，对于由PET-CT取得的三维图像(即，PET图像和CT图像的三维合成图像)，用户经由输入装置18通过手工操作输入虚拟光源位置(目标的位置)。位置决定部24通过从输入的位置(至少一点)向深度方向前进、以最先到达PET图像的坐标为基准，能够决定虚拟光源位置。
进而，位置决定部24也可以通过阈值处理或图案匹配等的方法来自动地决定虚拟光源位置。
如以上这样，在图1的实施方式中，决定虚拟光源，以使得虚拟光源是与生物体检测针200的前端位置对应的位置。在本实施方式中，虚拟光源是一点的光源。
在下个阶段110，图像生成部28通过将CT数据处理并使用虚拟光源，将图像绘制并显示。本公开中的虚拟光源的位置被在阶段108中决定，以对应于生物体检测针200的前端位置。也可以使用任意的适当的绘制方法，例如有全局照明(global illumination)及/或透射照明(transillumination)及/或光子映射及/或光线追踪方法及/或其他绘制方法，此外，例如有在美国申请2014/0232719、美国申请2015/0022523或美国申请2015/0164475中叙述那样的任意的方法，但各自的内容通过对这里赋予标号而引入。绘制方法例如也可以使用共著，用于交互式体绘制的体积照明技术检查(A Survey of VolumetricIllumination Techniques for Interactive Volume Rendering)，计算机图形论坛，第33卷，1号，2014年2月中叙述的绘制方法之一。
在本实施方式中，由图像生成部28执行的绘制处理具备通过从多个虚拟光源分别将虚拟光线向与CT数据的体的至少一部分对应的体中投射来决定放射照度体的处理。被投射虚拟光线的体包括关注区域。
虚拟光源中的一个是在阶段108中定义的虚拟光源，位于生物体检测针200的前端。至少一个进一步的虚拟光源被用于提供周围照明。在另一实施方式中，可以使用虚拟光源的任意的数量或任意的类型。
多个虚拟光源的放射照度依赖于CT数据的体素亮度，使用分配给体素的吸收特性，由体中的点的较大的阵列(each of a large array of points)分别决定。点的阵列中的放射照度的值被作为放射照度体保存。
在本实施方式中，全局照明发光模型被放在绘制处理中使用。全局照明发光模型可以包含由从光源直接照过来的(coming)光进行的直接照明、和例如由从别的表面散射来的光进行的照明等的间接照明这两者。
图像生成部28为了将显示用的图像绘制而使用放射照度体。光线是来自虚拟照相机的投射(例如，与绘制结果图像的各个像素对应的一个光线)，来自分别沿着光线的点的放射照度为了提供用于绘制最终图像的像素颜色而被统一。
在本实施方式中，绘制处理是放射照度体的决定和来自放射照度体的图像的绘制这两阶段(two－pass)处理，但在另一实施方式中也可以使用一阶段处理。可以利用使用虚拟光源的任意的适当的绘制技术。绘制技术可以使用也可以不使用全局照明发光模型。绘制技术既可以包含也可以不包含反射、折射及/或散射等的影响。
在图1的实施方式中，绘制处理是体绘制处理，在阶段110中显示的图像是尽管被显示在屏幕或其他二维显示设备上、但有可能给用户带来表示三维中的特征这样的印象的二维投影。该图像因此可以被称作三维图像。该图像可以包括一个以上的阴影、深度、表面纹理特征。
在图1的实施方式中，图像生成部28在绘制图像中包含描绘了生物体检测针200的至少一部分的图像特征。在本实施方式中，图像特征是由图像生成电路28叠加在绘制图像上的线(叠加线)。也可以在替代的实施方式中使用任意的其他适当的图像特征。在实施方式中，描绘了生物体检测针的至少一部分的图像特征有由多边形几何赋予了特征者或叠加线者。
在实施方式中，也有针的代表性的图像特征在图像中什么都看不到的情况。仅唯一虚拟光源表示针的位置。
在实施方式中，有显示两张三维图像者(例如，相同的绘制图像的两张的拷贝)。三维图像中的一张包含光源的点，其他的三维图像例如包含由多边形几何赋予了特征者或叠加线等将生物体检测针的至少一部分具体化而成的图像特性。图像特性和点光源可能在相同视角下不能被使用。
在阶段112中，图像生成部28根据超声波数据生成进一步的图像并显示。也可以为了生成超声波图像而使用任意的适当的周知的图像生成处理。例如，也可以使用任意的适当的商业用超声波图像处理软件。在本实施方式中，在阶段112中根据超声波数据生成的图像是二维图像。在另一实施方式中，在阶段104中接收到的数据可以是任意的适当的实时数据，在阶段104中接收到的数据可以为了收集任意的适当的二维或三维图像而处理。
将阶段102至112作为从超声波扫描器14及/或位置检测器21接收到的新的数据而被反复进行。例如，超声波扫描器14可能收集各秒超声波数据的几个集合。阶段112为了生成新的图像而对于超声波数据的各个新的集合被反复进行。位置检测器有可能每秒返回几次新的位置数据。阶段110对于新的位置数据的各自的集合被反复进行。
在本实施方式中，将最近的超声波图像相邻于最近的绘制图像而显示在显示屏幕16上。每当收集到新的位置数据及新的超声波数据就将图像更新。
超声波图像表示当前被图像化的超声波面。绘制图像表示被虚拟光源指示的生物体检测针200的位置所处的关注区域的绘制三维图像。绘制三维图像中的虚拟光源的位置随着生物体检测针200移动而变化。
通过将虚拟光源与生物体检测针200建立关联而将生物体检测针200插入到患者或其他被检体中或拔出，图像的状况变化。在本实施方式中，由虚拟光源提供的虚拟光的亮度及颜色是不变的原状。但是，阶段110的结果图像中可看到的光的量及光的颜色依赖于生物体检测针200的位置。
如果生物体检测针200的前端接近于肉体202的表面，则由生物体检测针200的前端处的虚拟光源提供的光在绘制图像中看起来非常亮。此外，如果将生物体检测针200的前端向肉体202进一步插入，则由虚拟光源提供的光看起来稍稍变暗或发红。进而，在组织的有些类型中，有可能比其他的组织的类型更多吸收光。结果，图像中的光的明亮度有可能依赖于生物体检测针200被插入的组织的类型。
绘制三维图像对二维超声波图像进行补充。绘制三维图像有时提供超声波图像与超声波探头的位置一起变化的视角、另一方面提供生物体检测针200的位置变化的关注区域被固定的视角。绘制三维图像对于关注的解剖的构造的整体像(overview perspective)是可能的。绘制三维图像能够给出整体上的位置及整体方向的感觉。
绘制三维图像在与超声波图像比较时，能够提供追加的解剖学的信息。例如，绘制三维图像有可能为了识别特定的解剖学特征而被分段。绘制三维图像有可能是比超声波图像更高的分辨率，及/或有可能为了更好地检测特定的特征(例如，软组织中的特征)而应用。
在本实施方式中，虚拟光源通过位于生物体检测针200的前端而被与生物体检测针200建立关联。在另一实施方式中，虚拟光源也可以与任意的适当的医用设备的任意的适当的部分关联而定位。
使用在针尖上具备电源的光源，有可能更好地适合于全局照明绘制模型。为了将针尖上的点光定位而使用全局照明，从而不需要过度的透明度或叠加的使用就有可能将针尖表示在关注区域的内侧。
在绘制图像中显示生物体检测针200的方法是使用三维多边形几何。多边形模型的使用可能与全局照明算法适合。但是，针的几何形状有可能在绘制图像中衰减而不能看清。针的几何学位置关系(geometry)是否能看到可能也取决于照明条件。将具备电源的光源定位到针尖上，有可能作为比插入的几何学位置关系(geometry)更容易看到的有效位置标识而发挥作用。
如果将生物体检测针200仅用多边形几何表示，则只要在肉体202的绘制中不使用过度的透明性，在生物体检测针200被向肉体202插入时就有可能会变得不醒目。使用用来绘制肉体202的较高的透明性既可能会限制能够对用户显示的有益的信息量，及/或也有可能使用户更加难以理解肉体202的解剖学构造的描绘。
作为在绘制图像中显示生物体检测针200的别的方法，有在绘制图像上叠加的方法。假如将生物体检测针200仅用叠加表示在图像上，则生物体检测针200向肉体202的插入的深度对于用户而言有可能变得不明确。叠加有可能不与三维方法中的体相互作用，此外，由于GI(全局照明，Global Illumination)视角也不是物理性的，所以也有可能妨碍GI。
在实施方式中，生物体检测针200也不通过多边形几何或叠加描绘，而有将针尖用虚拟光源描绘的方式。在另一实施方式中，虚拟光源为了补偿使用多边形几何或叠加的生物体检测针200的描绘而被使用。
在本实施方式中，具备电源的照明的针尖点也可以考虑会起到信标那样的作用。生物体检测针200的描绘有可能提供生物体检测针自身的照亮，由此不依赖于对于生物体检测针的视觉性的其他的照明条件。使用虚拟光源的生物体检测针200的描绘用三维的方法与体相互地作用。
处于生物体检测针200的前端的虚拟光的定位可能能够根据绘制三维图像中的生物体检测针200的之前的位置而用直观性的方法观察来掌握。图像的二维的针尖的位置用图像中的光的位置表示。图像中的光的明亮度及/或颜色可能与针尖的深度(即，沿着朝向屏幕中的维度的针尖的位置)及/或光经过的组织中的类型对应。
概念实证通过位于动脉瘤内的虚拟光而被准备出。可以认为，在动脉瘤中处于不同的位置的光位置可清晰地区别。如果光位于动脉瘤的背后，则与光位于动脉瘤的内侧的图像相比，光的明亮度及性质不同。在此情况下，光起到作为有效位置指示器的作用。
在图1的实施方式中，由针尖的虚拟光源发出的虚拟光的明亮度是一定的状态(结果图像中的明亮度根据例如深度等位置而一看就不同)。在进一步的实施方式中，调节由针尖上的虚拟光源发出的虚拟光的颜色/亮度，以表示有益的体特性。
图4例示了由针尖上的虚拟光源发出的虚拟光的颜色是基于生物体检测针200周边的超声波弹性计测较小的区域的实施方式。生物体检测针200被插入到肉体202和关注区域204中。超声波探头206收集包括关注的区域204的超声波摄像区域208所用的超声波数据。
弹性计测被相对于关注区域中的点进行收集。弹性计测可以使用任意的适当的方法及任意的适当的采集装置来收集。例如，弹性计测可以从使用超声波探头206收集到的超声波数据中收集。弹性计测例如也可以在生物体检测针200被插入到肉体之前等、执行插入手术之前收集。弹性计测被与CT数据校准。
对于关注区域中的点的集合(例如，像素或体素)，图像生成部28分别基于点周边的较小的区域中的弹性计测来决定弹性值。图像生成部28分别将弹性值与颜色建立关联。例如，可以将较高的弹性值与红、将较低的弹性值与蓝建立关联。图像生成部28结果决定了颜色表示弹性的对于关注区域的色彩图。
图4的嵌入区域210具备对于关注区域204的一部分的色彩图的灰度的描绘。不同的灰度值描绘弹性不同的值。
图像生成部28使用色彩图和生物体检测针200的前端位置，决定由生物体检测针200的前端发出的虚拟光的颜色。由针尖发出的虚拟光的颜色与对于针尖的位置的色彩图中的颜色对应。例如，图4中表示的针尖位置与色彩图的红色的部分一致。红色的虚拟光因而是在针尖处于该红色的部分位置的情况下由处于针尖的虚拟光源发出的。假如针尖向色彩图的蓝色的部分移动，则由针尖的虚拟光源发出蓝的光。
实际显示的图像不显示作为图4的嵌入区域而表示的色彩图。代之，由针尖的虚拟光源发出的虚拟光随着生物体检测针200移动而变化，虚拟光源的颜色与色彩图关联并依赖于针尖的位置(并且，颜色自身基于弹性计测)。
通过基于弹性计测使虚拟光源的颜色变化，可能用对于用户而言直观性的视角表示生物体检测针200的前端是关注区域的弹性较高的部分还是较低的部分。
图5是由与针尖建立了关联的虚拟光源发出的虚拟光的颜色是基于针尖周边的计测出的PET FDG(氟代脱氧葡萄糖(18F))摄取的实施方式的概略图。生物体检测针200被向肉体202和关注区域204插入。
FDG摄取值被相对于关注区域中的点进行收集。在图5的实施方式中，FDG摄取由在先的PET/CT决定，也用于提供为了将绘制三维图像绘制而使用的三维医用摄像数据。在另一实施方式中，FDG摄取也可以根据任意的适当的数据集决定，该数据集既可以与在三维图像的绘制中使用的数据集相同也可以不同。在再一个实施方式中，也可以使用FDG以外的标识。可以将光基于来自例如PET等作为线源的核医学药剂的任意的适当的值来调节。
对于关注区域中的点的集合(例如，像素或体素)，图像生成部28分别决定对于某个点的FDG摄取值。图像生成部28分别将FDG摄取值与颜色建立关联。图像生成部28由此决定颜色表示FDG摄取的、对于关注区域的色彩图。
图5中的灰度阴影212是将FDG摄取从红(高摄取)到蓝(低摄取)用颜色表示的色彩图的描绘。图像生成电路28使用色彩图212和生物体检测针200的前端位置，决定由生物体检测针200的前端发出的虚拟光的颜色。由针尖发出的虚拟光的颜色与对于针尖的位置的色彩图212中的颜色对应。
在图5中，针尖与色彩图212的绿的区域相一致。因而，从针尖的虚拟光源发出的虚拟光成为绿色。如果针尖向色彩图的蓝色的区域移动，则由针尖的虚拟光源发出的虚拟光成为蓝色。针尖处的虚拟光的颜色随着色彩图中的位置而变化(并且，也随着由此计测出的FDG摄取而变化)。用户能够根据光的颜色来判断生物体检测针200的前端是处于低摄取区域中还是处于高摄取区域中。
在另一实施方式中，由针尖处的虚拟光源发出的光的颜色有可能依赖于对于针尖或针尖周边的组织的任意的适当的计测的值。在实施方式中，有光的颜色依赖于例如为了PET或SPECT摄像而使用的任意的适当的示踪物等任意的适当的示踪物的摄取的情况。光的颜色也可以依赖于任意的适当的放射性核种的摄取。在实施方式中，也有光的颜色依赖于锝-99m的形态。光的颜色也可以依赖于根据超声波或MR电谱法(例如对于电气活性的值)、计算压力、CFD(计算机流体力学)模拟、或CT灌注值收集的值。
在虚拟光源的颜色的决定中，也可以使用色彩图、传递函数或任意的其他适当的函数，或者也可以直接基于不使用色彩图或传递函数的计测值。
在再一个实施方式中，虚拟光源的任意的适当的参数也可以依赖于任意的适当的计测的值。例如，光的亮度、颜色、方向或位置也可以依赖于计测值(例如，对于示踪物摄取的值、弹性、粘性、压力或流速、或灌注)。由虚拟光源产生的光线或光圆锥的方向及/或尺寸有可能依赖于计测值。在实施方式中，有虚拟光源产生脉冲状的光、脉冲状的光的脉冲持续时间及/或脉冲频率基于计测值的情况。
在实施方式中，CT数据(或图像被绘制的原来的其他三维数据)在绘制之前被分段。不同的解剖学特征可以用在CT数据中不同的分段的区域表示。虚拟光源的参数(例如颜色或亮度)根据针尖是否处于特定的分段的区域的内侧来调节。
在一实施方式中，将描绘了不同的解剖学构造的被分段的区域与不同的颜色建立关联。用户通过观察虚拟光源的颜色的变化，能够看到针尖是否向特定的分段的区域进入。
在另一实施方式中，生物体检测针200被向肝肿瘤附近的组织插入。在绘制图像中，生物体检测针200的前端看起来如点光那样。如果针200进入到肿瘤中，则光的亮度上升。通过观察光的亮度，用户能够目击针200进入到肿瘤中。
在图4及图5的实施方式中，虚拟光源的性质被针尖位置处的计测左右。在另一实施方式中，虚拟光源的性质取决于针尖是否处于例如分段的区域等特定的区域中。此外，在另一实施方式中，虚拟光源的性质被与希望的位置关联的针尖的位置左右。
希望的位置也可以是希望的收集点。所谓希望的收集点，也可以是使用生物体检测针200的、想要收集试样的点。希望的位置也可以与以前的收集点关联来决定。例如，所谓希望的位置，可以是距以前的收集点或多个点为规定的距离处的位置。希望的位置可以与计测的位置关联来决定。此外，希望的位置有与基准点关联来决定的情况。进而，希望的位置也有在图像中或在进一步的图像中与点或特征关联来决定的情况。
图6表示关注区域204中的希望的收集点214的四点被确定的情况。在实施方式中，有将希望的收集点214使用绘制三维图像来确定的情况。在另一实施方式中，也可以将希望的收集点214通过任意的最优的方法来确定。
图6表示从希望的收集点214中的一点(距针尖最近的点)到生物体检测针200的前端的距离216。在图6的实施方式中，来自针尖处的虚拟光源的光的亮度依赖于从针尖向最近的希望的收集点214的距离216。针尖距最近的希望的收集点214越近(即，距离216越缩小)，虚拟光源越亮。在另一实施方式中，虚拟光源的任意的适当的特性也可以对应于距离216而变化。例如，来自虚拟光源的光的颜色、方向、脉冲持续时间或脉冲重复数也可以随着针尖向最近的希望的收集点214接近而变化。在实施方式中，有将不同的希望的收集点214与光的不同的颜色建立关联的情况。
在图6的实施方式中，光的亮度依赖于从针尖到希望的收集点214的距离。在另一实施方式中，光的性质依赖于针尖是否靠近以前进行生物体检测的位置(以前的收集点)。光的适当的特性也可以基于依赖于向以前的收集点214的距离及/或预先准备的向收集点214的距离。
在实施方式中，有光的特性是基于距解剖学的距离的距离的情况。例如，光的特性也可以基于距作为表示肿瘤的区域等被分段的区域的距离。光的特性也可以基于距解剖学的记号的距离。
在实施方式中，有光的特性是基于例如距进一步的针的距离等、距不同的设备的距离的情况。在一实施方式中，为了冻结切除而将多个针向患者插入。将独立的虚拟光源与多个针分别建立了关联。各个虚拟光源的颜色及/或亮度基于针与接近的针之间的间隔。
在实施方式中，有光的特性是基于距与进一步的图像建立了关联的位置的距离的情况。例如，在实施方式中，有根据进一步的图像决定基准位置的情况。光的特性是基于针尖与基准位置之间的距离的。所谓进一步的图像，既可以是在阶段112中生成的超声波图像，或者也可以是不同的图像。在实施方式中，有根据进一步的图像决定基准面、光的特性是基于针尖与基准面之间的距离的情况。
图7描绘了针尖的虚拟光源的颜色及/或亮度依赖于针尖从与由超声波扫描器14收集到的超声波图像对应的实况二维超声波面的偏移的、再一个实施方式。在图7中，生物体检测针200的前端从距离220处的实况二维超声波面218偏移。因而，当前的超声波视角(如在图2的阶段112中生成的超声波图像上表示的那样)与针200不为一直线(is out ofalignment with)。在图7的实施方式中，如果针200与实况二维超声波面为一直线，则虚拟光源的亮度变得更亮。在另一实施方式中，虚拟光源的任意的适当的参数是基于距实况超声波面的距离的(该距离有可能被表现为不均衡计测)。
在以图1至图7为参考到此为止叙述的实施方式中，位置数据是描绘了针200的位置的数据，虚拟光源位于针200的前端。在另一实施方式中，虚拟光源可以相对于针200的任意的部分取位。在实施方式中，分布的虚拟光源或多个光源沿着针200的长度取位。因而，用户不是单单看到前端，而是看到产生了光的针整体200。在实施方式中，有针200的前端产生远远多于沿着针200的其他的点的量的虚拟光的光的情况。
在图1至图7的实施方式中，位于针的前端的虚拟光源是点光源。在另一实施方式中，虚拟光源是具有指向性的光源。另一实施方式中，针尖的虚拟光源朝向最近的希望的收集点发出光线或光的圆锥。光线或光的圆锥起到针要运动的方向的指示器的作用。在另一实施方式中，光线或光的圆锥也可以与针200的轴排列为一直线。光线或光的圆锥也可以与针200的移动的方向排列为一直线。
在图1至图7的实施方式中，由位置检测器21取得的位置数据是描绘了生物体检测针200的位置的数据，虚拟光源被与生物体检测针200建立了关联。在另一实施方式中，位置数据有可能描绘向人体或动物体中插入的任意的医用设备的位置。虚拟光源有可能与医用设备的任意的适当的部分建立了关联。虚拟光源有可能位于医用设备的前端。虚拟光源也可以沿着医用设备的长度的至少一部分分布。
图像生成部28也可以构成为，按照医用设备的任意的部分的位置来改变虚拟光源的任意的参数。
虚拟光源有可能与构成为执行医用设备处理的医用设备的一部分建立了关联。医用设备处理有可能具备例如生物体检测试样的取得或切除的执行。医用设备处理有可能具备图像的取得。所谓医用设备的一部分，构成为执行医用设备处理，例如可以具备照相机、点、刀片或天线等。医用设备有可能为了具备一个以上的医用设备处理(例如，一个以上的生物体检测)的插入手术(例如生物体检测针插入手术)的执行而被插入。各个医用设备处理可以在独立的位置执行。
该医用设备，有可能是例如针、支架、身体部分的置换、人口中安装工具、计测设备、外科装置、阀、心脏瓣膜、摄像设备、内窥镜设备、导管、移植物(implant)或电子设备等。所谓电子设备，有可能有例如内窥镜或超声波探头。所谓插入手术，有可能具备例如生物体检测针插入手术、内窥镜检查、导管法、移植物插入手术。虚拟光源可以是点光源或分布的光源。
在实施方式中，有医用设备为内窥镜的情况。虚拟光源有可能被与例如内窥镜的前端等内窥镜的点建立了关联。虚拟光源有可能位于内窥镜的观察点。虚拟光源的特性依赖于内窥镜的观察点的位置的图像有可能被绘制。
在实施方式中，有医用设备是导管、虚拟光源被与导管的前端建立了关联的情况。在实施方式中，还有医用设备是移植物、虚拟光源被与移植物上的点、例如角落或中心点、基准点、附着点等的点建立了关联的情况。
在一实施方式中，医用设备是构成为执行经食道心回波图(TOE或TEE)的超声波探头。虚拟光源被与超声波探头建立了关联。
在实施方式中，虚拟光源的任意的参数可以依赖于手术的进展而变化。例如，虚拟光源的任意的参数可以根据插入手术的进展而变化。虚拟光源的参数可以根据插入手术的持续时间而变化。例如，虚拟光源的颜色/亮度有可能与时间一同变化。虚拟光源的参数例如可能与依赖于已执行的医用设备处理的数量等已实现了的情况相比，更依赖于插入手术的阶段而变化。例如，虚拟光源的颜色有可能根据收集来的希望的试样的比例而变化。虚拟光源的参数可以根据插入手术的完成度的水平而变化。
在由上述叙述的实施方式中，使虚拟光源的一个以上的参数变化。在另一实施方式中，图像生成部28构成为，改变与虚拟光源有关的至少一个参数，可以是虚拟光源自身的参数，也可以不是。例如，图像生成部28例如有可能使描绘了解剖学特征的图像的一部分等图像的任意的部分的或图像的整体的颜色或其他特性变化。图像生成部28可以构成为，使图像生成处理的任意的参数变化。
在实施方式中，有可以使用不位于医用设备上的虚拟光源的情况。例如，虚拟光源有可能处于希望的收集点等希望的位置。希望的位置处的虚拟光源的参数有可能依赖于医用设备距希望的位置的距离而变化。例如，希望的位置处的虚拟光源有可能随着医用设备接近于希望的位置而在颜色及/或亮度上变化。在实施方式中，有不位于医用设备上的虚拟光源的参数也可以依赖于插入手术的进展而变化的情况。例如，也可以是，如果医用设备处理被顺利地执行则图像的颜色不变化。
在实施方式中，有通过使用位于医用设备上的虚拟光源、从而与不位于医用设备上的虚拟光源的图像相比提供图像的解释变得更容易的好处的形态。例如，观察如针那样较小的物体关于点光源怎样移动比较困难，另一方面，可能容易地看出点光源关于其的周边怎样移动。
在实施方式中，有绘制三维图像是虚拟内窥镜图像、虚拟光源在虚拟内窥镜图像的观察点处或相对于观察点取位的情况。此外，在实施方式中，还有将虚拟内窥镜图像向绘制三维图像追加而被绘制的形态。
内窥镜图像可能具备例如从内窥镜的视角的点生成的虚拟视角，以便模拟可能由在内窥镜检查的期间中位于内窥镜的上方的照相机导出的图像。有可能通过替代或追加，图像具备内窥镜自身的描绘。
在实施方式中，虚拟内窥镜图像的观察点的位置(例如，从浏览器观察图像那样可以看到的地方的位置)可能与内窥镜的前端位置对应。在实施方式中，图像生成部28构成为，使关于虚拟光源(例如至少一个颜色或亮度)的至少一个参数依赖于虚拟内窥镜图像的观察点的位置而变化。例如，虚拟光源的颜色或亮度可能随着观察点向有关注的点或区域接近而变化。
在实施方式中，医用图像处理装置12有构成为在三维医用图像数据的处理中接收用户输入、使用用户输入的情况。在实施方式中，有图像生成部28构成为接收用户输入、基于用户输入而配置关于医用设备的虚拟光源的情况。例如，也可以是用户向图像生成部28指示，以将虚拟光源配置到医用装置的前端上、或医用设备的任意的适当的位置。用户可以选择虚拟光源的参数。用户也可以进行选择，使虚拟光源的参数依赖于医用设备的位置而变化。例如，可能是用户选择是否希望虚拟光源的颜色及/或亮度随着医用设备向希望的位置接近而变化。
用户可以选择显示到图像上的是否是关注区域及/或解剖学特征。用户能够选择医用设备的描绘。例如，用户有可能使用一个以上的叠加、多边形几何以及虚拟光源，选择是否表示医用设备。用户也可以做出进行/不进行有任意的可能性的描绘的切换。
特定的实施方式能够提供具备医用摄像设备、被追踪的生物体检测针和显示装置的医用摄像装置。即，在其中，光源是为了将作为点光而使在先扫描中的针尖位置视觉化而使用的。
光的颜色及/或亮度有可能基于使用超声波弹性成像的针周边的弹性的计测来调节。光的颜色及/或亮度有可能基于例如PET等来自核医学源的值来调节。光的颜色及/或亮度也可以基于从已经收集到的生物体检测试样向针的点的距离来调节。此外，光的颜色及/或亮度也可以基于针向预先计划的生物体检测点的距离来调节。进而，光的颜色/及亮度也可能基于针的实况超声波面上的高度来调节。
光线或光的圆锥也可以是作为针向哪个方向移动的指示器而是朝向最近的点的投射。
关于针，叙述了许多的实施方式，但也可以使用任意的医用设备。医用设备也可以被向任意的人体或动物体的任意的部分插入。虚拟光源也可以在任意的医用设备的任意的适当的位置或相对于位置而取位。虚拟光源如果医用设备被向人体或动物样本的被检体插入，则能够表示该人体或动物样本的被检体的至少一部分的三维图像中的医用设备的位置。医用设备可以在任意的适当的医用手术或兽医手术中使用。
在上述实施方式中，以使用了穿刺针的生物体检测为例进行了说明。但是，并不局限于该例，本实施方式在使用了穿刺针的烧灼治疗中也能够应用。例如，在烧灼治疗的事前的模拟时，可以通过在步骤108中将虚拟光源设定在烧灼计划范围(目标)内，在步骤110中基于距虚拟光源的距离决定存在于烧灼计划范围中的体素的亮度值、以便由该虚拟光源将烧灼计划范围照亮来实现。此外，例如在烧灼治疗时的监视中，在步骤108中将被检体内的电极的位置设定为虚拟光源，在步骤110中基于距虚拟光源的距离决定存在于可烧灼范围中的体素的亮度值、以便从该电极的位置将烧灼可能范围照亮来实现。
在本说明书中说明了特定的电路，但在代替性的实施方式中，也可以由这些电路的一个以上的功能性单一的处理资源或其他构成要素提供，或者，也可以通过由单一的电路提供的功能性为两个以上的处理资源或其他的构成要素的组合来提供。向单一电路的言及，包含尽管许多构成要素相互离开、但提供单一的电路的功能性的许多构成要素；向多个电路的言及，包含提供多个电路的功能性的单一的构成要素。
说明了特定的实施方式，但这些实施方式单单仅是作为一例提示的，并不是要限定本发明的范围。实际上，在本说明书中说明的新的方法及系统也可以以其他各种各样的形态实施。进而，在本说明书所记载的方法及系统的形态中，也可以不脱离本发明的主旨而进行各种各样的省略、替换及变更来进行。权利要求书及其等价物被认为包含进入到本发明的范围内的那样的形态及修正形态。
标号说明
1超声波诊断装置；10装置主体；11a超声波发送部；11b超声波接收部；12医用图像处理装置；13a B模式处理部；13b多普勒处理部；14超声波扫描器；16显示处理部；18输入装置；19图像数据库；20内部存储部；21位置检测器；22数据处理部；24位置决定部；26配准处理部；28图像生成部；29图像处理部；30控制部；31图像数据库；32输入接口电路；34图像存储器；35通信接口电路；40外部装置；50显示设备；70超声波探头。

Claims (17)

1.一种医用图像诊断装置，具备：
扫描部，对被检体的三维区域执行扫描；以及
处理部，基于上述扫描的结果生成上述三维区域的医用图像数据，检测上述三维区域内的目标的位置，将检测出的上述目标的位置作为光源的位置，执行对于上述医用图像数据的绘制处理。
2.如权利要求1所述的医用图像诊断装置，其中，
上述处理部检测存在于上述三维区域内的医用器具或电子设备的位置作为上述目标的位置。
3.如权利要求2所述的医用图像诊断装置，其中，
上述医用器具包括穿刺针、导管、支架及移植物中的至少一个。
4.如权利要求2所述的医用图像诊断装置，其中，
上述电子设备包括体内式的超声波探头、内窥镜中的至少一个。
5.如权利要求1～4中任一项所述的医用图像诊断装置，其中，
上述处理部基于上述扫描的结果，生成上述三维区域内的管状组织的虚拟内窥镜图像，检测上述虚拟内窥镜图像的视点的位置作为上述目标的位置。
6.如权利要求1～5中任一项所述的医用图像诊断装置，其中，
上述处理部检测经由用户接口由用户指定的上述三维区域内的位置作为上述目标的位置。
7.如权利要求1～6中任一项所述的医用图像诊断装置，其中，
上述处理部检测存在于上述三维区域内的穿刺针的轴位置作为上述目标的位置。
8.如权利要求1～6中任一项所述的医用图像诊断装置，其中，
上述处理部检测存在于上述三维区域内的穿刺针的前端位置作为上述目标的位置。
9.如权利要求8所述的医用图像诊断装置，其中，
上述处理部基于作为穿刺的对象的试样位置与检测出的上述穿刺针的前端位置之间的距离，决定上述光源的颜色及强度中的至少一方。
10.如权利要求8所述的医用图像诊断装置，其中，
上述处理部基于在规定的穿刺计划中决定的位置与检测出的上述穿刺针的前端位置之间的距离，决定上述光源的颜色及强度中的至少一方。
11.如权利要求1～10中任一项所述的医用图像诊断装置，其中，
上述目标在上述被检体内行进；
上述处理部设定上述光源，以将光在上述目标的行进方向上投射。
12.如权利要求1～11中任一项所述的医用图像诊断装置，其中，
上述扫描部包括执行超声波扫描的超声波探头；
上述处理部基于执行了上述超声波探头进行的超声波扫描的现场扫描截面的位置与上述目标的位置之间的距离，决定上述光源的颜色及强度中的至少一方。
13.如权利要求1～12中任一项所述的医用图像诊断装置，其中，
上述处理部基于关于包含上述目标的位置在内的区域、或上述目标所存在的位置的周边而计算出的组织性状信息，决定上述光源的颜色及强度中的至少一方。
14.如权利要求1～12中任一项所述的医用图像诊断装置，其中，
上述处理部基于关于包含上述目标的位置在内的区域、或上述目标所存在的位置的周边而计算出的功能信息，决定上述光源的颜色及强度中的至少一方。
15.如权利要求14所述的医用图像诊断装置，其中，
上述功能信息由其他的医用图像诊断装置计算。
16.如权利要求1～11中任一项所述的医用图像诊断装置，其中，
上述扫描部包括执行超声波扫描的超声波探头；
上述处理部基于设在超声波探头上的位置传感器的输出、设在穿刺针上的位置传感器的输出、以及上述图像数据中的至少1个，检测上述目标的位置。
17.一种医用图像处理装置，其中，
具备处理部，上述处理部取得由医用图像诊断装置生成的被检体的三维区域的医用图像数据，检测上述三维区域内的目标的位置，将检测出的上述目标的位置作为光源位置，执行对于上述医用图像数据的绘制处理。
CN201710468810.3A 2016-06-20 2017-06-20 医用图像诊断装置及医用图像处理装置 Active CN107527379B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/186,733 2016-06-20
US15/186,733 US10342633B2 (en) 2016-06-20 2016-06-20 Medical image data processing system and method

Publications (2)

Publication Number Publication Date
CN107527379A true CN107527379A (zh) 2017-12-29
CN107527379B CN107527379B (zh) 2021-05-25

Family

ID=60661386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710468810.3A Active CN107527379B (zh) 2016-06-20 2017-06-20 医用图像诊断装置及医用图像处理装置

Country Status (3)

Country Link
US (1) US10342633B2 (zh)
JP (1) JP7171168B2 (zh)
CN (1) CN107527379B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766033A (zh) * 2019-05-21 2020-02-07 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、电子设备及存储介质
CN118177870A (zh) * 2024-04-07 2024-06-14 中国医学科学院肿瘤医院 一种基于超声影像神经阻滞的行针可视化及预警方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10991149B2 (en) * 2017-03-29 2021-04-27 Koninklijke Philips N.V. Embedded virtual light source in 3D volume linked to MPR view crosshairs
US20200359968A1 (en) * 2017-09-01 2020-11-19 St. Jude Medical, Cardiology Division, Inc. System and method for visualizing a proximity of a catheter electrode to a 3d geometry of biological tissue
US11204677B2 (en) * 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement
US11954785B2 (en) 2021-12-07 2024-04-09 Canon Medical Systems Corporation Data processing method and apparatus
TWI821149B (zh) * 2023-05-18 2023-11-01 國立中正大學 內視鏡冗餘影像除去方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102133110A (zh) * 2010-01-27 2011-07-27 株式会社东芝 超声波诊断装置、医用图像诊断装置
CN103200871A (zh) * 2011-07-19 2013-07-10 株式会社东芝 图像处理系统、装置、方法以及医用图像诊断装置
US20140142426A1 (en) * 2009-02-17 2014-05-22 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001276066A (ja) * 2000-03-29 2001-10-09 Toshiba Corp 三次元画像処理装置
JP4709419B2 (ja) * 2001-04-24 2011-06-22 株式会社東芝 細径プローブ型超音波診断装置
US7660385B2 (en) * 2007-09-28 2010-02-09 Searete Llc Time of flight aspects for X-Ray fluorescence visualizer, imager, or information provider
WO2009107770A1 (ja) * 2008-02-29 2009-09-03 株式会社 日立メディコ 医用画像表示装置、医用画像撮影装置、及び、医用画像表示方法
US20130303887A1 (en) * 2010-08-20 2013-11-14 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
US9107634B2 (en) * 2010-09-21 2015-08-18 Hitachi Medical Corporation Ultrasonic diagnostic apparatus and method of displaying ultrasonic image
WO2012115187A1 (ja) * 2011-02-23 2012-08-30 独立行政法人物質・材料研究機構 Ｔｉ－Ｍｏ合金とその製造方法
WO2014034905A1 (ja) 2012-08-30 2014-03-06 株式会社東芝 超音波診断装置、画像処理装置及び画像処理方法
US9055975B2 (en) * 2012-09-29 2015-06-16 DePuy Synthes Products, Inc. Surgical instrument and method of positioning an acetabular prosthetic component
JP6125256B2 (ja) * 2013-02-07 2017-05-10 東芝メディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理プログラム
US9330485B2 (en) * 2013-02-20 2016-05-03 Kabushiki Kaisha Toshiba Volume rendering of medical images
US10008026B2 (en) * 2013-07-19 2018-06-26 Toshiba Medical Systems Corporation Apparatus for, and method of, rendering image data
JP2015134132A (ja) * 2014-01-20 2015-07-27 日立アロカメディカル株式会社 超音波診断装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140142426A1 (en) * 2009-02-17 2014-05-22 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
CN102133110A (zh) * 2010-01-27 2011-07-27 株式会社东芝 超声波诊断装置、医用图像诊断装置
CN103200871A (zh) * 2011-07-19 2013-07-10 株式会社东芝 图像处理系统、装置、方法以及医用图像诊断装置
US20140132605A1 (en) * 2011-07-19 2014-05-15 Toshiba Medical Systems Corporation System, apparatus, and method for image processing and medical image diagnosis apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766033A (zh) * 2019-05-21 2020-02-07 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、电子设备及存储介质
CN110766033B (zh) * 2019-05-21 2021-02-23 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、电子设备及存储介质
CN118177870A (zh) * 2024-04-07 2024-06-14 中国医学科学院肿瘤医院 一种基于超声影像神经阻滞的行针可视化及预警方法

Also Published As

Publication number Publication date
JP7171168B2 (ja) 2022-11-15
US20170365051A1 (en) 2017-12-21
JP2017225819A (ja) 2017-12-28
CN107527379B (zh) 2021-05-25
US10342633B2 (en) 2019-07-09

Similar Documents

Publication Publication Date Title
CN107527379A (zh) 医用图像诊断装置及医用图像处理装置
CN105451663B (zh) 对目标视图的超声采集反馈引导
US9561016B2 (en) Systems and methods to identify interventional instruments
CN104411249B (zh) 用于图像引导流程的超声成像系统和方法
US20100121189A1 (en) Systems and methods for image presentation for medical examination and interventional procedures
CN108140242A (zh) 视频摄像机与医学成像的配准
WO2015161728A1 (zh) 三维模型的构建方法及装置、图像监控方法及装置
US11642096B2 (en) Method for postural independent location of targets in diagnostic images acquired by multimodal acquisitions and system for carrying out the method
JP2005169116A (ja) 融合画像表示方法
CN217907826U (zh) 医学分析系统
US20160030008A1 (en) System and method for registering ultrasound information to an x-ray image
US20070118100A1 (en) System and method for improved ablation of tumors
KR101446780B1 (ko) 초음파 영상과 초음파 영상에 관련된 정보를 디스플레이하기 위한 방법 및 장치
CN101467894A (zh) 解剖结构的闪光图
US10667796B2 (en) Method and system for registering a medical image with a graphical model
KR20140127635A (ko) 영상 정합 방법 및 장치
Lee et al. Three‐dimensional Ultrasonography Using the Minimum Transparent Mode in Obstructive Biliary Diseases: Early Experience
JP2022545219A (ja) 超音波ガイダンスダイナミックモード切り替え
US20050058326A1 (en) System and method for the creation of a virtual observation and access channel in medical 3D images
US11850101B2 (en) Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method
US8870750B2 (en) Imaging method for medical diagnostics and device operating according to this method
JP7560273B2 (ja) 医用画像診断装置及び医用画像処理装置
US20220296303A1 (en) Systems and methods for registering imaging data from different imaging modalities based on subsurface image scanning
US12089997B2 (en) System and methods for image fusion
WO2012140396A1 (en) Biomedical visualisation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant