CN110139609A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN110139609A
CN110139609A CN201780075602.5A CN201780075602A CN110139609A CN 110139609 A CN110139609 A CN 110139609A CN 201780075602 A CN201780075602 A CN 201780075602A CN 110139609 A CN110139609 A CN 110139609A
Authority
CN
China
Prior art keywords
image
brightness
voxel
image processing
volume data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780075602.5A
Other languages
English (en)
Other versions
CN110139609B (zh
Inventor
关口博之
梅泽孝太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110139609A publication Critical patent/CN110139609A/zh
Application granted granted Critical
Publication of CN110139609B publication Critical patent/CN110139609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明即使在图像数据是通过其给出的关于对象的界面的图像信息较差的成像方法而获取的时,也可以使用图像数据来估计定义对象的界面的连续表面。图像处理设备包括估计单元,该估计单元使用构成表示重建图像的体数据的体素组的亮度梯度来估计连续表面,该连续表面定义与体数据相对应的对象的界面。

Description

图像处理装置、图像处理方法和程序
技术领域
本发明涉及图像处理装置、图像处理方法和程序。
背景技术
在通过X射线计算机断层扫描(CT)或磁共振成像(MRI)对对象(例如,生物组织)成像时,对象的体表(例如,皮肤)的图像被包括在对象的图像中。在这些图像的情况下,因为体表附近与体内之间的亮度差较小,相对容易的是通过从图像中提取体表来生成体表、并且掩盖体表附近的中断图像解释的血管(浅表血管)。在通过磁共振血管造影(MRA)捕获的图像的情况下,不捕获中断图像解释的浅表血管,因此不必提取体表并掩盖浅表血管。
另一方面,在光声层析成像(PAT)和超声图像诊断方法的情况下,体内的亮度低于体表附近的亮度,因此由于体表附近的高亮度图像中断解释而难以辨别体内的图像。因此,需要降低体表附近的图像的亮度或者消除该图像。特别是在PAT图像的情况下,表面模糊,并且在体表附近的血管中亮度高,而在体内的血管中亮度低。因此,需要手动操作以除去具有复杂形状的对象(例如手)的表面上的图像,这需要耗费大量时间。如果通过MRI血管造影术对对象(例如,生物组织)进行成像,则不在图像中捕获体表的图像,或者即使在图像中捕获体表的图像,也限制关于体表的信息。因此,即使在这类图像的情况下,也要在图像解释之前手动地从图像中除去浅表血管的图像。
此外,关于光声图像,专利文献1公开了一种通过沿着深度方向从对象的体表定义一条线并且计算在这条线上出现的光声数据组的微分值的分布来检测体表附近的区域的方法。
引文列表
专利文献
[专利文献1]:日本专利申请公开No.2013-188461
发明内容
[技术问题]
然而,如上所述,从图像手动地除去浅表血管图像的操作耗费很长时间。另一方面,专利文献1中公开的方法是以线单位检测体表的近似区域的方法,并且检测结果仅属于计算目标线。因此,在整个体表上,会离散地确定近似区域。换句话说,不能确定体表的平滑界面。
本发明的一个目的是,即使图像数据是通过其中关于对象的界面的图像信息受限的成像方法而获取的,也能使用图像数据来估计对象的界面。
[问题的解决方案]
将描述根据本说明书的本发明的示例。
本发明的根据权利要求1的方面是一种具有估计单元的图像处理装置,估计单元使用构成表示重建图像的体数据的体素组的亮度梯度来估计连续表面,所述连续表面定义与体数据对应的对象的界面。
本发明的根据权利要求2的方面是根据权利要求1的图像处理装置,其还包括显示控制单元,该显示控制单元显示叠加在体数据上的连续表面。
本发明的根据权利要求3的方面是根据权利要求1的图像处理装置,其还包括显示控制单元,该显示控制单元根据距连续表面的深度而改变用于显示每个体素的亮度值的亮度倍率。
本发明的根据权利要求4的方面是根据权利要求3的图像处理装置,其中显示控制单元改变亮度倍率,使得位于浅区域中的体素的所有显示亮度值低于位于深区域中的体素的显示亮度值的最大值。
本发明的根据权利要求5的方面是根据权利要求1的图像处理装置,其中估计单元向亮度梯度的分布应用物理模型,从而估计连续表面,该物理模型允许通过将具有质量的每个格点经由弹簧相互连接而形成的格点组因重力而从对象上方的区域自由地下落。
本发明的根据权利要求6的方面是根据权利要求5的图像处理装置,其中估计单元基于亮度梯度的分布确定每个体素的法线方向,并且使用法线方向作为作用在物理模型上的阻力的方向。
本发明的根据权利要求7的方面是根据权利要求1的图像处理装置,其中估计单元通过处理亮度值超过预先确定的噪声水平的体素而估计连续表面。
本发明的根据权利要求8的方面是根据权利要求7的图像处理装置,其中估计单元通过设置在用户界面屏幕上的输入栏接收噪声水平的指定。
本发明的根据权利要求9的方面是根据权利要求1的图像处理装置,其还包括显示控制单元,该显示控制单元显示用于从用户界面屏幕上的显示目标除去存在于体数据的深区域中的高亮度体素的按钮。
本发明的根据权利要求10的方面是根据权利要求1的图像处理装置,其中体数据是光声层析图像数据、超声图像数据和MRI血管造影图像数据中的一种。
本发明的根据权利要求11的方面是根据权利要求1的图像处理装置,其中在构成体数据的体素按亮度值的递降顺序重新排列、并且设置在较低亮度侧的体素对于整个体素数据的比率为预定值或更小时的情况下,估计单元确定由体素组中的最大亮度值归一化的亮度值的亮度梯度。
本发明的根据权利要求12的方面是根据权利要求11的图像处理装置,其中所述预定值为至少99%且不大于99.99%的值。
本发明的根据权利要求13的方面是根据权利要求1的图像处理装置,其具有显示对象的功能,其中改变体素在从限定对象的界面的连续表面到对象内部的方向上的色度。
本发明的根据权利要求14的方面是一种图像处理方法,其包括:使用构成表示重建图像的体数据的体素组的亮度梯度来估计连续表面的处理,该连续表面定义与体数据相对应的对象的界面;和显示叠加在体数据上的连续表面的处理。
本发明的根据权利要求15的方面是一种使计算机执行以下功能的程序:使用构成表示重建图像的体数据的体素组的亮度梯度来估计连续表面的功能,该连续表面定义与体数据相对应的对象的界面;以及显示叠加在体数据上的连续表面的功能。
[本发明的有益效果]
根据本发明,即使图像数据是通过其中对象的界面上的图像信息受限的成像方法而获取的,也可以使用该图像数据来估计对象的界面。现在将解释本公开中公开的发明的效果。
在本发明的根据权利要求1的方面的情况下,与不使用构成表示重建图像的体数据的体素组的亮度梯度的情况不同,可以估计定义对象的界面的连续表面。
在本发明的根据权利要求2的方面的情况下,与不显示叠加在体数据上的连续表面的情况不同,可以确认估计精度。
在本发明的根据权利要求3的方面的情况下,与不根据距连续表面的深度改变亮度倍率的情况相比,可以容易地解释目标图像。
在本发明的根据权利要求4的方面的情况下,与不使位于浅区域中的体素的显示亮度值低于位于深区域中的体素的显示亮度值的最大值的情况相比,可以容易地解释深区域中的图像。
在本发明的根据权利要求5的方面的情况下,与不使用布料模拟估计连续表面的情况相比,可以在抑制明显不同的亮度值的影响的情况下提高界面的估计精度。
在本发明的根据权利要求6的方面的情况下,与不使用布料模拟估计连续表面的情况相比,可以在抑制明显不同的亮度值的影响的情况下提高界面的估计精度。
在本发明的根据权利要求7的方面的情况下,与不除去具有预先确定的噪声水平的体素的情况相比,可以提高限定界面的连续表面的估计精度。
在本发明的根据权利要求8的方面的情况下,与不能调节噪声水平的情况不同,可以调节限定界面的连续表面的估计精度。
在本发明的根据权利要求9的方面的情况下,与不从显示目标除去出现在深区域中的高亮度体素的情况不同,可以容易地解释目标图像。
在本发明的根据权利要求10的方面的情况下,与不使用构成表示重建图像的体数据的体素组的亮度梯度的情况不同,可以估计限定对象的界面的连续表面。
在本发明的根据权利要求11的方面的情况下,与不通过亮度值的水平的比率对体素数据进行归一化的情况不同,可以获取不取决于体素数据的估计结果。
在本发明的根据权利要求12的方面的情况下,与不通过亮度值的水平的比率对体素数据进行归一化的情况不同,可以获取不取决于体素数据的估计结果。
在本发明的根据权利要求13的方面的情况下,在改变体素在从对象的界面(其由本发明的根据权利要求1的方面限定)到内部的方向上的色度的情况下显示对象,因此可以容易地确认从对象的表面附近到对象内部在对象内部存在的组织和器官的位置关系。
在本发明的根据权利要求14的方面的情况下,与不使用构成表示重建图像的体数据的体素组的亮度梯度的情况不同,可以估计限定对象的界面的连续表面,并且还可以确认估计精度。
在本发明的根据权利要求15的方面的情况下,与不使用构成表示重建图像的体数据的体素组的亮度梯度的情况不同,可以估计限定对象的界面的连续表面,并且还可以确认估计精度。
附图说明
图1是描述形成并显示重建图像的图像处理系统的硬件配置示例的图。
图2是描述根据该实施例的控制单元的功能配置的图。
图3是用于描述亮度梯度的图像的图。
图4是用于描述布料模拟的图。
图5是用于描述布料模型的配置示例的图。
图6是用于描述作用于计算布料模拟所需的每个节点上的力的图。
图7是用于描述体表罩的图,该体表罩是通过该实施例中描述的布料模拟估计的连续表面。
图8是用于描述由比较例提取的表面的示例的图。
图9是叠加并显示通过光声层析成像对手掌成像而获取的体数据和体表罩的屏幕示例。
图10是用于描述在图9中的X-X处截取的浅表血管和体表罩之间的位置关系的剖视图。
图11是叠加并显示通过光声层析成像对乳房成像而获得的体数据和体表罩的屏幕示例。
图12是用于描述在图11中的XII-XII处截取的浅表血管和体表罩之间的位置关系的剖视图。
图13是描述在显示单元上显示的用户界面屏幕的示例的图。
图14是描述由该实施例的控制单元进行的图像处理过程的流程图。
图15是用于描述在浅表血管模式中起作用的显示控制单元应用于每个体素的亮度值的亮度倍率模式的图。
图16是浅表血管模式中的重建图像的显示示例。
图17是用于描述在浅表区域除去模式(深部血管模式)中起作用的显示控制单元应用于每个体素的亮度值的亮度倍率模式的图。
图18是浅表区域除去模式(深部血管模式)中的重建图像的显示示例。
图19是用于描述当在浅表区域除去模式(深部血管模式)中高亮并显示深区域时显示控制单元应用于每个体素的亮度值的亮度倍率模式的图。
图20是用于描述在深区域噪声除去模式中起作用的显示控制单元应用于每个体素的亮度值的亮度倍率模式的图。
图21是在除去底部噪声之前重建图像的显示示例。
图22是在除去底部噪声之后重建图像的显示示例。
具体实施方式
将参考附图详细描述本发明的实施例。
<实施例1>
<系统配置>
图1是描述形成并显示重建图像的图像处理系统10的硬件配置示例的图。图像处理系统10包括处理对象的三维图像数据(体数据)的图像处理装置100、存储三维图像数据并存储用于生成三维图像数据的层析图像数据的文件服务器110、和对对象执行层析成像的成像装置120。
图像处理装置100包括:控制单元101,其控制整个装置的操作;存储单元105,其存储处理目标图像数据;显示单元106,其用于显示操作接收屏幕和重建图像;操作接收单元107,其接收由用户输入的输入操作;通信单元108,其连通文件服务器110与成像装置120。这些单元中的每一个通过总线109连接,并且数据通过该总线109传输。
控制单元101是计算机,并且由以下部件构成:执行程序的中央处理单元(CPU)102;只读存储器(ROM)103,其存储诸如基本输入/输出系统(BIOS)和固件之类的程序、以及数据;以及为程序提供工作区的随机存取存储器(RAM)104。后文将描述由执行程序的CPU102实施的功能。
存储单元105由诸如硬盘设备和半导体存储器的存储设备构成,并且存储从文件服务器110和成像装置120获取的图像数据。在实施例1中,医疗领域中的图像数据被假定为图像数据。显示单元106由例如液晶显示器构成。液晶显示器由液晶面板、背光源等构成。显示单元106可以是有机电致发光(EL)显示器。
操作接收单元107是例如鼠标和定点设备的输入设备,其用于接收由用户输入的操作输入。通信单元108由电缆接口电路或无线接口电路构成。
文件服务器110是网络上的存储设备,其中通过堆叠层析图像数据而生成的体数据和各个层析图像数据被存储为文件数据,并且文件服务器110例如由大容量硬盘设备构成。体数据由作为三维空间中的单位像素的体素的集合(体素组)构成。各个体素由坐标值和亮度值构成。
在文件服务器110中,直接存储从例如成像装置120输出的层析图像数据。此外,在文件服务器110中,可以存储由图像处理装置100在重建处理(层析图像数据的堆叠处理)中创建的体数据,或者可以存储由未示出的图像处理装置在重建处理中创建的体数据。
成像装置120是通过光声层析成像、超声图像诊断方法、MRI血管造影等获取对象(例如,生物组织)的层析图像的装置。在实施例1中,通过每种成像方法获取的图像数据被称为光声层析图像数据、超声图像数据和MRI血管造影图像数据。
对应于光声层析成像的成像装置120由向对象照射脉冲激光的光源和检测来自对象的超声波的超声波探头(探头)构成。对应于超声图像诊断方法的成像装置120由向对象照射超声波的超声波源和检测来自对象的超声波的超声波探头(探头)构成。对应于MRI血管造影的成像装置120由静磁场磁体、梯度线圈、RF线圈和控制设备构成。
<功能配置>
图2是描述根据实施例1的控制单元101的功能配置的图。通过执行程序来实施图2中所示的功能配置。根据实施例1的控制单元101由以下部件构成:接收单元201,其接收处理目标体数据;重新排列单元202,其按照亮度值的递降顺序重新排列构成体数据的体素组;归一化单元203,其使用参考值对体数据的每个亮度值进行归一化,该参考值是被提取以使得低亮度侧体素组相对于所有体素的比率不超过预定值(例如不超过99.9%)的低亮度侧体素组中的最大亮度值;噪声处理单元204,其除去亮度值不大于噪声水平的体素;亮度梯度计算单元205,其计算作为处理目标提取的体素的亮度梯度;连续表面估计单元206,其基于计算出的亮度梯度而估计连续表面;显示控制单元207,其根据显示项和显示条件控制重建图像的显示。
当接收单元201从在显示单元106的屏幕上显示的文件名列表中接收处理目标文件名时,接收单元201从文件服务器110读取相应的体数据,并执行处理功能以将体数据存储至存储单元105。重新排列单元202使用已知方法执行处理功能,以按照亮度值的递降顺序重新排列构成体数据的体素组。
归一化单元203是这样的功能单元:当构成较低亮度侧体素组的体素的数量相对于所有体素的数量的比率是通过操作屏幕(未示出)接收的目标比率(例如,99.9%)时,该功能单元对所有体素的亮度值进行归一化,使得较低亮度侧的体素组的最大亮度值被转换为参考值(例如,1.0)。无论处理目标体数据的亮度分布的差异如何,均执行归一化处理以使后续阶段中的处理功能标准化。稍后将描述用于输入参考值的操作屏幕的示例。
噪声处理单元204执行处理功能,该处理功能仅提取具有超过经由操作屏幕(未示出)接收的噪声水平的亮度值的体素作为处理目标。换句话说,噪声处理单元204执行除去亮度值不大于噪声水平的体素的处理功能。例如,用户经由操作屏幕(未示出)输入用作阈值的噪声水平。亮度梯度计算单元205执行计算作为处理目标提取的体素的亮度梯度的处理功能(后文详细描述)。
亮度梯度是由梯度大小和梯度方向表示的矢量,梯度大小指示单个体素与位于该体素周围(邻近)的体素之间的最大亮度差,梯度方向指示获得最大亮度差所沿的方向。这里预先设置周围范围(像素的数量),并且其最小值是“1”。图3A和图3B是用于描述亮度梯度300的图像的图。在图3中,具有高亮度值的位置由白色表示,而具有低亮度值的位置由黑色表示。
图3中的每个矢量的长度表示每个位置处的亮度梯度的大小,并且矢量的方向表示每个位置处的亮度梯度300的方向。图3A表示各亮度值朝向亮度最低的中心同心地减小的情况下的亮度梯度300。图3B表示亮度在线301的左侧和右侧之间改变的情况下的亮度梯度300。线301的左侧表示其中亮度值在线301的位置处最高且沿向左方向减小的亮度梯度300。相反地,线301的右侧表示亮度相对于线302的位置沿相反方向变化的情况。
可以针对构成体数据的所有体素组计算亮度梯度300,或者可以仅针对散布在体数据的表面层部分上的体素组计算亮度梯度300。在仅针对体数据的表面层部分计算亮度梯度的情况下,可被估计的连续表面限于体表,但是计算量减少并且处理时间缩短。然而,在确定定义内部结构的界面的连续表面的情况下,至少在界面更可能存在的深度处的体素也包括在计算目标中。
连续表面估计单元206基于计算出的亮度梯度300执行处理功能以估计连续表面(后文详细描述)。如果亮度梯度300精确地指示界面的形状并且亮度梯度300处于理想状态而非过多或不足,则连续表面估计单元206可以从亮度梯度300组直接再现界面的形状。但是,在实施例1的处理目标体数据的情况下,关于对象的体表的信息没有或很少。换句话说,可以在体数据的表面层部分中使用的大多数亮度值源自于浅表血管和噪声。
因此,根据实施例1的连续表面估计单元206执行处理功能,以将对象的体表估计为在用布料覆盖体数据的表面时出现的形状。换句话说,根据实施例1,“布料模拟”应用于体数据。布料模拟是这样的模拟,其中具有质量的格点通过弹簧相互连接的格点组被看作是布料,并且估计在允许布料因重力而从对象上方的区域自由落下时布料的形状。
图4是用于描述布料模拟的图。在图4中,布料模型400布置在指示体素数据中的高亮度值的浅表血管和深部血管上方的位置处,然后允许布料模型400自由下落。在应用该物理模型时,布料模型400变形,从而在浅表血管与浅表血管之间形成悬垂线。在实施例1中,由布料模型400形成的表面被看作是对象的体表。
图5是用于描述布料模型400的配置示例的图。在图5中,布料模型400是弹簧-节点模型。图5中的圆圈是具有质量的节点401,并且每个节点401经由弹簧402互连。这里的节点是格点的示例。图5是仅设置结构弹簧的示例,但是可以在对角线方向上添加剪切弹簧。在实施例1中,节点401的面内密度小于构成体素数据的体素的面内密度。换句话说,在特定的区域中,存在比节点401更多的体素。这意味着节点401总是接触体素中的任一个。
图6是用于描述作用于计算布料模拟所需的每个节点401上的力的图。布料模拟需要:空气阻力fv,其沿着与运动方向相反的方向作用;重力g,其作用于具有质量m的节点401上;吸引力或排斥力-kΔx,其作用于外围节点401;以及节点401与体素接触所接收的阻力N。为了计算阻力N作用的方向,使用上述亮度梯度300的梯度方向。具体而言,在节点401接触时针对体素计算的亮度梯度300的方向用作对象表面的法线方向,所述法线方向确定阻力N作用的方向。经由操作接收单元107提供关于使布料模型400停止变形的速度和位置的信息。
图7是用于描述体表罩500的图,该体表罩500是通过实施例1中描述的布料模拟估计的连续表面。在实施例1的情况下,使用由浅表血管而不是体表产生的亮度值来应用布料模拟,获得沿着浅表血管变化的体表罩500。由于布料模拟的性质,忽略亮度值等非常不同于周边体素的明显不同点(体素)。结果,体表罩500被确定为其中离散地出现在表层表面中的高亮度体素通过悬垂线连接的连续表面。
图8是用于描述根据比较例提取的表面的示例的图。比较例表示通过在深度方向上线性地比较每个体素的亮度值和阈值并且连接亮度值超过阈值的体素而生成的提取表面501的示例。在比较例中,浅表血管中的体素和深部血管中的体素这两者都被检测为具有超过阈值的亮度值的体素,因此提取表面501具有与体表不相似的形状。
作为参考,描述了通过布料模拟生成的体表罩500的示例。图9是叠加并显示通过光声层析成像对手掌成像而获取的体数据和体表罩500的屏幕示例。在图9中,表示连续表面的体表罩500由用于产生体表罩500的布料模型400的节点401(参见图5)表示,使得可以观察内部结构。如图9所示,布料模型400由大约10,000(101×101)个节点401构成。
图10是用于描述在图9中的X-X处截取的浅表血管和体表罩500之间的位置关系的剖视图。X-X剖面定位成使得四根手指被水平地横切。因此,图10中的体表罩500在手指部分处沿着体表的形状弯曲,并且在手指之间形成悬垂线。
图11是叠加并显示通过光声层析成像对乳房成像而获取的体数据和体表罩500的屏幕示例。同样在图11的情况下,体表罩500由用于产生体表罩500的布料模型400的节点401表示,从而可以观察内部结构。图11中的布料模型400也由大约10,000(101×101)个节点401构成。
图12是用于描述在图11中的XII-XII处截取的浅表血管和体表罩500之间的位置关系的剖视图。XII-XII剖面定位成使得乳房在厚度(高度)方向上被横切。因此,图12中的体表罩500沿着乳房的体表的形状弯曲。在图11和图12的情况下,干扰图像解释的许多噪声(底部噪声)包括在乳房的底表面(深区域)中。稍后将描述除去这些噪声的显示功能。
显示控制单元207根据经由操作接收单元107输入的显示项和显示条件来校正重建图像,并执行在显示单元106上显示的处理功能。对于显示项,可以指定估计的连续表面、浅表血管(静脉)、深部血管(动脉)、在底表面上产生的噪声等(后文详细描述)。通过后面提到的用户界面屏幕指定用于显示这些显示目标的指令。
对于显示条件,可以指定在不用于显示的亮度水平范围内产生最大值的噪声水平、用于浅表血管和深部血管的颜色编码显示、关于重建图像在表面层区域中的体素与在深区域中的体素的比率、浅表区域的高亮显示和深区域的高亮显示(在实施例1中根据深度设定亮度倍率)等。通过后面提到的用户界面屏幕指定用于这些条件的指令。
<用户界面屏幕的示例>
图13是描述在显示单元106上显示的用户界面屏幕600的示例的图。用户界面屏幕600由为输入上述显示项和显示条件而创建的多个输入栏构成。
表面删除栏601用于选择血管显示模式。图13中指出的表面删除栏601包括:“不(不删除)”,其表示显示浅表血管;“删除”,其表示从显示屏幕上删除浅表血管;“表面”,其表示只显示浅表血管;和“颜色编码”,其表示浅表血管和深部血管用颜色编码并被显示。在实施例1的情况下,浅表血管和深部血管通过在从体表罩500的位置朝向深部区域的方向上的像素(体素)的数量而区分。换句话说,体素的色度可以从限定对象的界面的连续表面(例如体表罩500)朝向对象内部改变。在根据距表面的深度进行颜色编码的情况下,优选根据距体表罩500在法线方向上的最短距离进行颜色编码。
例如,假设在深度方向上距体表罩10个体素的范围是表面层区域,并且属于表面层区域的高亮度体素是浅表血管。此外,在深度方向上距体表罩500超过30个体素的范围是深区域,并且属于深区域的高亮度体素是深部血管。
表面层区域/深区域栏602用于输入属于表面层区域的体素与属于深区域的体素之间的显示比率。在图13中的表面层区域/深区域栏602的示例的情况下,通过移动滑块来改变属于表面层区域的体素与属于深区域的体素之间的比率。
深区域高亮栏603用于指定深区域的高亮显示的程度。该深区域高亮栏中的数值表示亮度系数,属于深区域的体素的亮度值被乘以该亮度系数。在图13的情况下,亮度系数是“1.50”。底部除去栏604用于从显示目标除去出现在体数据的底部(底表面)区域中的高亮度体素。在图13的情况下,如果在复选框中进行了复选,则从显示目标除去底部区域中的高亮度体素。
亮度倍率设定栏604A用于设定属于表面层区域的体素的亮度值所乘的亮度倍率、以及属于深部区域的体素的亮度值所乘的亮度倍率。在图13的情况下,“0.40”是应用于表面层区域的亮度系数,“1.00”是应用于深区域的亮度系数。在图13中的示例的情况下,属于表面层区域的体素的显示亮度低于原始亮度值,而属于深区域的体素的显示亮度与原始亮度值相同。
噪声水平栏605用于指定作为噪声水平处理的亮度值的值。通过适当地设定噪声水平,可以增大体表罩500的估计精度。在图13中的示例的情况下,被作为噪声水平处理的较低亮度侧的体素的比率设定为百分比。作为替代,可以在此设定被作为噪声水平处理的亮度值的最大值。在实施例1的情况下,用户可以调整噪声水平。通过适当地调整噪声水平,可以调整体表罩500的估计精度。
创建罩栏606用于创建体表罩500。当指向并点击“罩创建”按钮时,执行亮度梯度计算单元205和连续表面估计单元206的上述处理。
罩生成参数栏607是用于生成体表罩500的输入栏,并且由下面描述的一些输入栏构成。目标比率栏608用于输入用于归一化处理的目标比率。在图13中的示例的情况下,“99.9%”被指定为在以亮度值的递降顺序重新排列体素之后低亮度侧的体素的数量相对于体素的总数的比率。本发明人通过实验证实,当目标比率为99.9%时获得了良好的显示结果,但优选的是该值可以在99%至99.9%的范围内调节。
布料模拟参数栏609用于输入用于布料模拟的弹簧常数、空气阻力和节点质量。在图13中的示例的情况下,“弹簧常数”是“1000”,“空气阻力”是“200”,“节点质量”是“1.00”。
停止条件栏610用于输入停止速度和停止位置。这些项目设定结束布料模拟的条件,即停止振动操作的条件。表面节点输出栏611用于指定体表罩500是否叠加显示在表示重建图像的体数据上。在图13的情况下,如果在复选框中进行了复选,则体表罩500被叠加显示在重建图像上。在这种情况下,显示其中体表罩500被叠加显示在重建图像上的屏幕,如图9和图11所示。通过显示叠加在重建图像上的所创建体表罩500,用户可以确认体表罩500的估计结果是否合适。删除罩按钮612用于从显示目标删除叠加显示在体数据上的体表罩500。
<处理操作>
将描述根据实施例1的图像处理装置100的处理操作。图14是描述实施例1的控制单元进行的图像处理过程的流程图。
控制单元101使用接收单元201的功能接收处理目标文件名的选择(步骤101)。然后,控制单元101从文件服务器110读取与所选文件名对应的体数据(步骤102)。该处理对应于获取包括结构的对象的图像数据的处理。然后,使用重新排列单元202的功能,控制单元101按亮度值的递降顺序重新排列构成读取体素数据的体素组(步骤103)。
然后,控制单元101使用归一化单元203的功能对重新排列的体数据进行归一化(步骤104)。在归一化处理中,所有体素的亮度值被转换,使得满足目标比率的较低亮度侧的体素组中的最大亮度值被转换为参考值。通过该归一化处理,无论构成体数据的体素的亮度分布的差异如何,体表的估计精度都保持较高。
然后,使用噪声处理单元204的功能,控制单元101仅从归一化体素数据中提取具有超过噪声水平的亮度值的体素作为处理目标(步骤105)。该处理对应于通过对图像数据执行图像处理来获取指示结构位置的信息的处理。然后,使用亮度梯度计算单元205的功能,控制单元101计算作为处理目标提取的每个体素的亮度梯度(步骤106)。
然后,使用连续表面估计单元206的功能,控制单元101估计定义对象的体表的连续表面(在实施例1的情况下为体表罩500)(步骤107)。该处理对应于通过使用指示结构位置的信息的处理来估计对象的界面的处理。在实施例1的情况下,在步骤106中计算的亮度梯度被用作布料模拟的参数之一,并且对体素数据执行布料模拟,由此估计覆盖浅表血管的体表罩500。以这种方式,在估计对象的界面的处理中,除了指示结构位置的信息之外,还可以使用图像数据(在该情况下为图像数据的亮度梯度)。
然后,使用显示控制单元207的功能,控制单元101预处理重建图像,使得显示内容与在上述用户界面屏幕600上指定的项目和条件匹配(步骤108)。对于预处理,例如执行仅从显示目标除去特定血管的处理以及添加颜色的处理。此外,对于预处理,执行显示叠加在重建图像上的体表罩500的处理。在预处理之后,控制单元101在显示单元106上显示重建图像(步骤109)。
<显示屏幕示例>
将描述使用用户界面屏幕600实现的显示屏幕示例。
<屏幕示例1>
图15是用于描述亮度倍率模式的图,在浅表血管模式中起作用的显示控制单元207将该亮度倍率模式应用于每个体素的亮度值。当用户点击用户界面屏幕600上的表面删除栏601中的“表面”按钮(参见图13)时,执行浅表血管模式。
如图15所示,在浅表血管模式下操作的显示控制单元207从体表罩500的位置降低到预定的第一深度(例如,10个体素)以相同的倍率保持用于确定每个体素的亮度值的亮度倍率,然后将亮度倍率连续地(或平滑地)降低到预定的第二深度(例如,30个体素),并且对于比预定的第二深度更深的区域将亮度倍率设定为0。
在浅表血管模式中显示的情况下,所需要的仅是当在第一和第二深度处视觉地检查时获得足够的对比度。因此,优选的是,第二深度处的亮度比第一深度处的亮度低至少一位数。除了通过亮度强度区分第一深度和第二深度之外,还可以改变显示的色度。例如,第一深度可以以红色显示,第二深度可以以蓝色显示。在这种情况下,可以通过显示第一深度信息和第二深度信息来识别组织和器官,因此提高了可视性。
在实施例1中,“连续”是指其中与亮度倍率的变化对应的函数连续地变化的状态,并且包括值离散地变化的情况,如数字处理的情况。在图15中,深度由像素的数量(体素的数量)表示,但是可以由距离(例如,mm)表示。
图16是浅表血管模式中的重建图像的显示示例。在图16的情况下,重建图像仅由浅表血管构成。这是因为,如图15所示,存在于比第二深度更深的位置处的体素的亮度值乘以0。因此,使用图16中的显示,用户可以准确地仅确认浅表血管的状态。如图15所示,亮度倍率从第一深度到第二深度连续(或平滑)地降低。使用这种变化是因为显示变得更自然,并且浅表血管存在的范围取决于个体。
<屏幕示例2>
图17是用于描述在浅表区域除去模式(深部血管模式)中起作用的显示控制单元207应用于每个体素的亮度值的亮度倍率模式的图。当用户点击用户界面屏幕600上的表面删除栏601中的“删除”按钮(参见图13)时,执行浅表区域除去模式。
如图17所示,在浅表区域除去模式中操作的显示控制单元207从体表罩500的位置降低到预定的第一深度(例如,10个体素)保持用于确定显示每个体素的亮度值的亮度倍率为0,然后将亮度倍率连续地(或平滑地)增大到预定的第二深度(例如,30个体素),并且对于比预定的第二深度更深的区域将亮度倍率设定为1。同样在图17中,深度由像素的数量(体素的数量)表示,但是也可以由距离(例如,mm)表示。在实施例1中,深度方向是体表罩500的局部法线方向(例如±5°范围)。
图18是浅表区域除去模式(深部血管模式)中的重建图像的显示示例。在图18的情况下,重建图像仅由深部血管构成。这是因为,如图17所示,存在于比第一深度更浅的位置处的体素的亮度值乘以0。因此,使用图18中的显示,用户可以准确地仅确认深部血管的状态。如图17所示,亮度倍率从第一深度连续(或平滑)地增加到第二深度。使用这种变化是因为显示变得更自然,并且深部血管存在的范围取决于个体。
在图17的情况下,将存在于比第一深度更浅的位置处的体素的亮度值所乘的亮度倍率设定为0,但是大于0且小于1的值可以用于该区域中的体素所乘的亮度倍率。在这种情况下,可以在浅表血管的显示亮度降低的状态下观察深部血管。
然而,即使在这种情况下,如果位于浅区域中的体素的亮度值较高,则会中断深部血管的图像的解释。为了防止这个问题,优选的是改变位于浅区域中的体素所乘的亮度倍率,使得位于浅区域中的每个体素的显示亮度(原始亮度值乘以亮度倍率之后的亮度)小于位于深区域中的体素的显示亮度(图17的情况下为原始亮度值)的最大值。
在图17的情况下,将位于深区域中的体素的亮度值所乘的亮度倍率设定为1,但是可以高亮显示位于深区域中的体素的亮度值。图19是用于描述亮度倍率模式的图,当在浅表区域除去模式(深部血管模式)中高亮显示位于深部区域中的体素时,显示控制单元207将该亮度倍率模式应用于每个体素的亮度值。当用户在用户界面屏幕600中的深区域高亮栏603(参见图13)中输入大于1的亮度倍率时,执行图19。只有在复选框中进行了复选时才可以执行此功能。
在图19的情况下,用于确定显示每个体素的亮度值的亮度倍率从体表罩500到预定的第一深度(例如10个体素)保持为0,如图17中提到的,但是预定的第二深度(例如,30个体素)中的亮度倍率被设定为大于1的值(例如1.5)。亮度倍率从第一深度到第二深度由0连续(或平滑)地变化到1.5。在这种情况下,深部血管的可见性进一步提高,并且深部血管的图像解释变得更容易。如上所述,该技术还可以应用于将位于浅区域中的体素的亮度值所乘的亮度倍率设定为大于0且小于1的值的情况。
<屏幕示例3>
图20是用于描述在底部噪声除去模式中起作用的显示控制单元207应用于每个体素的亮度值的亮度倍率模式的图。当用户在用户界面屏幕600上的底部除去栏604(参见图13)中对复选框进行了复选时执行基底噪声除去模式。
如图20所示,在底部噪声除去模式中操作的显示控制单元207从体表罩500的位置降低到预定的第一深度a将用于确定每个体素的亮度值的亮度倍率保持为1,然后将亮度倍率连续地(或平滑地)降低到预定的第二深度b,并且对于比预定的第二深度b更深的区域将亮度倍率设定为0。同样在图20中,深度由像素的数量(体素的数量)表示,但是也可以由距离(例如,mm)表示。在实施例1中,确定第一深度a,以便在视觉上识别浅表血管和深部血管。
图21是在除去底部噪声之前重建图像的显示示例。图21中的重建图像是在通过光声层析成像对乳房进行成像时的显示示例。左边的图像对应于通过从人体的正面方向对乳房成像而生成的图像,右边的图像对应于穿过乳头的剖切图像。在图21左侧的图像中,具有高亮度的底部噪声叠加显示在浅表血管和深部血管上,这中断了对血管图像的解释。如右侧的图像所示,高亮度体素集中在底部处。
因此,在实施例1中,根据深部血管出现的深度确定距体表罩500的位置的第一深度a,并且在高亮度体素的最浅位置处确定第二深度b。这里的第一深度a和第二深度b可以预先设置为初始值,或者可以在核查屏幕时设置。
图22是在除去底部噪声之后重建图像的显示示例。图22对应于在底部除去栏604中对复选框进行了复选时的显示示例。左侧的图像对应于通过从人体的正面方向对乳房进行成像而生成的图像,右侧的图像对应于穿过乳头的剖切图像。在图22左侧的图像中,已经除去了基底噪声,并且可以容易地解释浅表血管和深部血管的图像。如右侧的图像所示,已经除去了高亮度体素。
<其他实施例>
在根据实施例1的上述图像处理装置100中,处理目标是医学领域中的图像数据,特别是通过其中体表信息受限的成像方法获取的图像数据,但是本发明可以应用于由计算机模拟处理的图像数据。如果使用本发明,则可以简化估计连续表面的处理,该连续表面定义外边缘部分不清楚的对象的界面。
在实施例1中,使用布料模拟来估计连续表面,但是在亮度梯度300的精度高的情况下,可以使用亮度梯度300估计定义对象的界面的连续表面。
在实施例1中,估计定义对象的体表的连续表面,但是可以估计定义出现在对象的内部结构中的界面的连续表面。
将描述通过光声层析成像对对象进行成像来获取体数据的方法的示例。通过光声层析成像对对象进行成像的成像装置120可以包括光照射单元、超声波探头、数据采集系统(DAS)、计算机、输入单元和显示单元。
光照射单元将光照射到对象上,然后在对象内部产生超声波。基于光声效应由光产生的超声波也称为光声波。超声波探头接收光声波并输出作为模拟信号的电信号(光声信号)。
DAS将从超声波探头输出的模拟信号转换为数字信号,并将数字信号输出到计算机。计算机将从DAS输出的数字信号存储为源自光声波的信号数据。
计算机对存储的数字信号执行信号处理,以生成表示关于对象的信息(对象信息)的三维空间分布的体数据。基于来自用户和计算机的存储指令,体数据经由计算机中的存储单元和通信单元180存储在存储单元105中。
对于将信号数据转换为体数据(空间分布)的重建算法,可以使用分析重建方法(例如时域中的反投影方法和傅里叶域中的反投影方法)、以及基于模型方法(重复操作方法)。例如,对于时域中的反投影方法,可以使用通用反投影(UBP)、滤波反投影(FBP)和延迟加总。
通过光声层析成像获取的体数据是表示光声波的生成声压(初始声压)、光吸收能量密度、光吸收系数、构成对象的物质浓度(氧饱和度)等中的至少一个对象信息的空间分布的体数据。
(光照射单元)
光照射单元包括发射光的光源、以及将从光源发出的光引导到对象的光学系统。光包括脉冲光,例如矩形波和三角波。
从光源发出的光的脉冲宽度可以是从1ns至100ns的脉冲宽度。光的波长可以是处于400nm至1600nm范围内的波长。在以高分辨率对血管进行成像的情况下,可以使用光被血管良好地吸收的波长(400nm至700nm)。在对活体的深部区域进行成像的情况下,可以使用光的波长不被活体的背景组织(例如水、脂肪)吸收得非常多的光(700nm至1100nm)。
对于光源,可以使用激光器或发光二极管。在使用多个波长的光进行测量的情况下,可以使用波长可改变的光源。在向对象照射具有多个波长的光的情况下,可以提供多个光源,每个光源产生具有相互不同的波长的光,使得每个光源交替地照射光。即使使用多个光源,在本说明书中这些光源也被看作是一个光源。对于激光器,可以使用各种激光器,例如固态激光器、气体激光器、染料激光器和半导体激光器。例如,可以使用诸如Nd:YAG激光器和翠绿宝石激光器的脉冲激光器作为光源。可以使用采用Nd:YAG激光作为激发光的Ti:Sa激光器和光学参量振荡器(OPO)激光器。此外,对于光源111,可以使用闪光灯或发光二极管。微波源也可用于光源。
对于光学系统,可以使用诸如透镜、反射镜、棱镜、光纤、漫射板和快门之类的光学元件。
允许照射到生物组织的光的强度(即最大允许曝光量(MPE))由以下安全标准规定:(IEC 60825-1:激光产品的安全性;JIS C6802:激光产品的安全标准;FDA:21CFR Part1040.10;ANSI Z136.1:激光安全标准等)。最大允许曝光量规定允许在单位面积中照射的光的强度。这意味着一次性在对象E的表面上照射光的宽面积越大,可以向对象照射的光就越多,由此可以以更高的SN比接收光声波。在对象是生物组织(例如乳房)的情况下,光学系统的发射单元可以由漫射光的漫射板等构成,使得高能光的光束直径加宽然后再照射。另一方面,在光声显微镜的情况下,光学系统的发光单元可以由透镜等构成,从而聚焦光束然后再照射以提高分辨率。
光照射单元可以不包括光学系统,并且可以将光直接从光源照射至对象。
(超声波探头)
作为构成超声波探头的换能器的材料,例如可以使用诸如锆钛酸铅(PZT)的压电陶瓷材料、或者诸如聚偏二氟乙烯(PVDF)的高聚物压电膜材料。换能器可以由除压电元件之外的元件构成。例如,对于换能器,可以使用电容式微机械超声换能器(CMUT)或采用法布里-珀罗干涉仪的元件。可以使用任何换能器,只要换能器可以通过接收声波而输出电信号即可。
构成光声波的频率分量通常为100KHz至100MHz,并且可以检测这些频率的超声波探头可以用作本发明的超声波探头。
超声波探头可以具有其中多个换能器布置在平面或曲面上的配置,其中形成1D阵列、1.5D阵列、1.75D阵列、2D阵列等。
超声波探头可以包括放大器,其放大从换能器输出的时间序列模拟信号。超声波探头可以包括A/D转换器,其将从换能器输出的时间序列模拟信号转换为时间序列数字信号。换句话说,超声波探头可以具有DAS的功能。
为了从各种角度检测超声波、声波和光声波,理想的是将换能器设置成完全包围对象。如果对象太大而不能将换能器设置成完全包围对象,则换能器可以以半球设置,使得对象大部分被换能器包围。
可以根据对象优化换能器的位置和数量,并且所有类型的超声波探头都可以用于本发明。
超声波探头和对象之间的空间可以由其中声波可以传播的介质填充。介质可以是使得对象和超声波探头的声学特性在对象和超声波探头之间的边界空间处匹配、并且其中超声波、声波和光声波的透射率高的材料。例如,水、超声波凝胶等可以用于介质。
(DAS)
DAS包括:放大器,其用于放大电信号,该电信号是从换能器输出的模拟信号;以及将从放大器输出的模拟信号转换为数字信号的A/D转换器。DAS可以由现场可编程门阵列(FPGA)芯片构成。从DAS输出的数字信号存储在计算机的存储单元中。
(计算机)
用作体数据生成单元的计算机包括操作单元、存储单元和控制单元。操作单元可以由诸如CPU和图形处理单元(GPU)之类的处理器以及诸如现场可编程门阵列(FPGA)芯片之类的运算电路构成。这些单元可以由单个处理器或运算电路构成,或者可以由多个处理器和运算电路构成。
存储单元可以由例如只读存储器(ROM)、磁盘或闪存的非暂时性存储介质构成。存储单元也可以是易失性介质,例如随机存取存储器(RAM)。存储程序的存储介质是非暂时性存储介质。存储单元可以由一个存储介质或多个存储介质构成。
控制单元由诸如CPU的运算元件构成。控制单元控制成像装置120的每个组成元件的操作。控制单元可以基于来自输入单元的指令信号经由诸如测量开始的各种操作来控制成像装置120的每个组成元件。控制单元还读取存储在存储单元中的程序代码,并控制成像装置120的每个组成元件的操作。例如,控制单元可以经由控制线控制光源的发射定时。如果光学系统包括快门,则控制单元可以经由控制线控制快门的打开/关闭。
计算机可以是专用工作站。计算机的每个组成元件可以由不同的硬件构成。计算机的组成元件的至少一部分可以由一个硬件组件构成。
(显示单元)
显示单元是诸如液晶显示器、有机电致发光(EL)FED、眼镜型显示器和头戴式显示器的显示器。显示单元是基于由计算机获取的体数据显示图像、特定位置的数值等的设备。显示单元可以显示用于处理基于体数据的图像以及用于操作该装置的GUI。显示单元可以与成像装置120分开地设置。
(输入单元)
对于输入单元,可以使用用户可以操作并且由鼠标和键盘构成的操作控制台。显示单元可以被构造为触摸面板,并且该显示单元可以用作输入单元。
输入单元可以被构造成使得可以输入关于感兴趣区域等的信息。为了输入信息,可以输入数值,或者可以操作滑动条。此外,可以根据输入的信息更新在显示单元上显示的图像。然后,用户可以在核查通过用户操作确定的参数所生成的图像的同时设定适当的参数。用户可以操作成像装置120的远程地设置的输入单元,使得使用输入单元输入的信息经由网络发送到成像装置120。
成像装置120的每个组成元件可以分别构造为独立的装置,或者可以集成为一个装置。此外,成像装置120的至少一部分组成元件可以集成为一个装置。
可以经由电缆或无线地在成像装置120的组成元件之间发送/接收信息。
图像处理装置100的控制单元101可以包括:获取包括结构的对象的图像数据的单元;通过对图像数据执行图像处理来获取指示结构位置的信息的单元;以及通过使用指示结构位置的信息进行处理来估计对象的界面的单元。此外,控制单元101不仅可以使用指示结构的位置的信息,而且还可以使用图像数据,来估计对象的界面。通过采取多个步骤:通过对图像数据进行图像处理来获取指示结构位置的信息的处理步骤;以及基于图像数据和指示结构位置的信息估计对象的界面的处理步骤,可以精确地估计对象的界面。下面将描述通过具有这些单元的控制单元101估计界面的方法的修改方案。
<修改方案1>
在修改方案1中,将描述控制单元101通过对对象的体数据执行图像处理来确定对象中的结构的位置的方法的示例。
首先,将描述通过评估体数据的图像值的绝对值来确定结构(血管)的位置的示例。控制单元101设定阈值,并且确定体数据的图像值至少为阈值的位置为结构的位置。为了设定阈值,假设操作者在核查显示在显示单元上的体数据的图像的同时通过移动滑动条来设定阈值。这里,滑动条存在于显示器上的应用的UI中,并且被构造成使得滑动条可以通过操作接收单元107(例如,鼠标、键盘)滑动。通过使用滑动条改变阈值,在显示单元上显示的图像中的除了结构之外的背景组织的影响改变。因此,在通过移动滑动条选择性地显示结构的图像时,操作者可以指定阈值。在指定阈值之后,操作者按下存在于UI中的边界估计按钮,由此开始估计计算。此时,控制单元101可以获取关于显示在显示单元上的结构位置的信息,并且可以使用该信息来估计界面。然而,代替使用这种方法,控制单元101可以凭经验设定由此可以辨别所获取的血管图像的阈值,从而自动地设定结构(血管)的位置。换句话说,控制单元101可以使用预先存储在存储单元中的阈值。
控制单元101可以通过评估体数据的图像值的空间微分值来确定结构的位置,正如评估体数据的图像值的绝对值的情况一样。换句话说,控制单元101可以将其中体数据的图像值的空间微分值至少为阈值的位置确定为结构的位置。
控制单元101可以将血管提取算法应用于体数据,并且将提取的血管的位置确定为结构的位置。例如,可以通过自适应二值化处理局部地改变阈值来提取血管图像,或者可以通过在二值化之后使用Hessian矩阵等增强血管来提取血管,或者可以使用动态轮廓方法(例如Snake方法)或图形分割方法来提取血管。Snake方法是这样的图像处理方法,其中围绕该区域的闭合曲线中的具有最低能量的闭合曲线被看作是该形式的界面,并且可以通过调整确定能量限制条件下的闭合曲线的张力和刚度的系数来提取血管。图形分割方法也是像Snake方法一样的图像分割方法,并且通过计算每个像素之间的亮度流的最小分割来执行对象中的结构的分割,以使能量最小化。
在通过对体数据执行图像处理来确定结构的位置之前,可以对体数据执行降低噪声的预处理(例如,平滑处理)。由于该预处理减少了由噪声引起的图像的局部变化,因此可以更准确地估计结构的位置。对于平滑方法,可以使用二维或三维平均滤波器、双边滤波器或诸如总变差最小化的已知方法。
<修改方案2>
在修改方案2中,将描述指定成像区域以确定与成像区域对应的布料模拟的参数的示例。
当通过布料模拟估计界面时,控制单元101设定布料模拟的参数。在布料模拟中,需要设定参数,例如质量m和弹簧的长度。控制单元101可以使用指示成像区域的信息来设定布料模拟的参数。
例如,如果成像区域是乳房,则与手掌相比在许多区域中稀疏地存在血管图像。在这种情况下,如果布料模拟中的质点的质量太重或者如果弹簧的长度太短,则在不存在血管的区域中估计的界面可能与实际的界面不同。因此,在接收到指示成像区域是乳房的信息时,控制单元101设定适合于乳房的根据经验获取的参数值。可以在约束条件下计算参数值,使得表面不会变得过度不规则,并且布料模拟的表面轮廓变得平滑。
指示多个成像区域与对应于每个成像区域的参数之间的关系的表格可以存储在存储单元中。在这种情况下,控制单元101可以获取指示成像区域的信息,并从表格中读取与成像区域相对应的参数。
当成像区域是乳房时,优选的是布料模拟中的质点的质量比成像区域是手掌时的情况下的质点的质量轻。当成像区域是乳房时,优选的是布料模拟中的弹簧长度比成像区域是手掌时的情况下的弹簧长度长。
如果操作者使用操作接收单元107指定成像区域,则控制单元101可以经由操作接收单元107获取指示成像区域的信息。操作者可以使用UI指定成像区域。
<修改方案3>
在修改方案3中,将描述减少可能对根据体数据估计界面产生负面影响的图像的处理的示例。
如果体数据中存在除对象之外的强伪像或图像,则会对界面的估计产生负面影响。例如,如果通过布料模拟估计界面时在除了界面以外的区域中存在强伪像,则布料被钩到该伪像上,并且可能将与界面不同的位置定义为界面。
操作者可以在核查显示在显示单元上的体数据的图像的同时,使用操作接收单元107指定可能对界面的估计产生负面影响的区域。控制单元101可以减少或删除指定区域中的图像值。这里,通过手动输入目标来确定其图像值减小的目标,但是控制单元101可以通过对体数据执行图像处理来确定其图像值减小的目标。此外,控制单元101可以首先执行预处理(例如,平滑)来减少噪声,然后可以通过对体数据执行图像处理来确定其图像值减小的目标。
<修改方案4>
在修改方案4中,将描述使用指示估计界面的信息进行处理以再次生成体数据或者进行处理以校正体数据的示例。
控制单元101可以使用指示估计的界面的信息来确定声速改变的边界。当对象和声学匹配材料(例如水)形成界面时,控制单元101将对象的声速分配到界面的对象侧,并将声学匹配材料的声速分配到界面的声学匹配材料侧。然后,控制单元101使用分配的声速分布执行重建处理,由此生成体数据。
如果对象的声速和声学匹配材料的声速中的至少一者是未知的,则将估计的界面看作声速分布的边界,对于界面的每一侧的每个区域估计声速。估计声速的方法可以是已知方法。例如,控制单元101将声速分配给界面的每一侧的每个区域,并且在通过使用分配的声速重建每个区域而生成的图像的边缘的总和最大时,将声速估计为最佳声速。
如上所述,通过使用指示估计的界面的信息可以精确地设定声速分布。
控制单元101可以使用指示估计的界面的信息来确定对象内部的光量分布。控制单元101还可以使用指示对象内部的光量分布的信息来校正由光量的变化引起的体数据图像值的变化。
例如,控制单元101将照射光的光量分布投影到估计的界面的位置,由此可以确定界面的位置处的光量分布。控制单元101将界面的位置处的光量分布设定为界面处的虚拟光源的发射光量,并计算从虚拟光源产生的光的传播。可以使用指示估计的界面的信息来像这样计算对象内部的光量分布。然后,通过使用计算出的光量分布校正体数据的图像的变化,控制单元101可以精确地生成包括光吸收系数和氧饱和度的体数据。
已经描述了本发明的实施例,但是本发明的技术范围不限于实施例的描述。如权利要求指出的,实施例的各种变化和修改包括在本发明的技术范围内。
[附图标记列表]
10 图像处理系统
100 图像处理装置
101 控制单元
110 文件服务器
120 成像装置
201 接收单元
202 重新排列单元
203 归一化单元
204 噪声处理单元
205 亮度梯度计算单元
206 连续表面估计单元
207 显示控制单元
300 亮度梯度
400 布料模型
401 节点
402 弹簧
500 体表罩
600 用户界面屏幕
601 表面删除栏
602 表面层区域/深区域栏
603 深区域高亮栏
604 底部除去栏
605 噪音水平栏
606 创建罩栏
607 罩生成参数栏
608 目标比率栏
609 布料模拟参数栏
610 停止条件栏
611 表面节点输出栏
612 删除罩按钮

Claims (19)

1.一种图像处理装置,包括:
估计单元,所述估计单元使用构成表示重建图像的体数据的体素组的亮度梯度来估计连续表面,所述连续表面定义与体数据相对应的对象的界面。
2.根据权利要求1所述的图像处理装置,还包括:
显示叠加在体数据上的连续表面的显示控制单元。
3.根据权利要求1所述的图像处理装置,还包括:
根据距连续表面的深度改变亮度倍率的显示控制单元,所述亮度倍率用于显示每个体素的亮度值。
4.根据权利要求3所述的图像处理装置,其中
显示控制单元改变亮度倍率,使得位于浅区域中的体素的所有显示亮度值都小于位于深区域中的体素的显示亮度值的最大值。
5.根据权利要求1所述的图像处理装置,其中
估计单元向亮度梯度的分布应用物理模型,从而估计连续表面,所述物理模型允许通过将具有质量的每个格点经由弹簧相互连接而形成的格点组由于重力而从对象上方的区域自由地下落。
6.根据权利要求5所述的图像处理装置,其中
估计单元基于亮度梯度的分布而确定每个体素的法线方向,并且使用法线方向作为作用于物理模型上的阻力的方向。
7.根据权利要求1所述的图像处理装置,其中
估计单元通过处理亮度值超过预先确定的噪声水平的体素来估计连续表面。
8.根据权利要求7所述的图像处理装置,其中
估计单元经由布置在用户界面屏幕上的输入栏接收噪声水平的指定。
9.根据权利要求1所述的图像处理装置,还包括:
显示控制单元,所述显示控制单元在用户界面屏幕上显示用于从显示目标除去存在于体数据的深区域中的高亮度体素的按钮。
10.根据权利要求1所述的图像处理装置,其中
体数据是光声层析图像数据、超声图像数据和MRI血管造影图像数据中的一种。
11.根据权利要求1所述的图像处理装置,其中
在构成体数据的体素按亮度值的递降顺序重新排列、并且在较低亮度侧的体素组与整个体数据的比率为预定值或更小的情况下,估计单元确定通过体素组中的最大亮度值归一化的亮度值的亮度梯度。
12.根据权利要求11所述的图像处理装置,其中
所述预定值是至少99%且不大于99.99%的值。
13.根据权利要求1所述的图像处理装置,其具有显示对象的功能,其中体素在从定义对象的界面的连续表面到对象内部的方向上改变色度。
14.根据权利要求5所述的图像处理装置,其中
估计单元获取指示成像区域的信息,并且基于指示成像区域的信息设定格点的质量和弹簧的长度中的至少一者。
15.一种图像处理装置,包括:
获取包括结构的对象的图像数据的单元;
通过对图像数据进行图像处理获取指示结构位置的信息的单元;和
通过使用指示结构位置的所述信息进行处理来估计对象的界面的单元。
16.一种图像处理方法,包括:
使用构成表示重建图像的体数据的体素组的亮度梯度来估计连续表面的处理,所述连续表面定义与体数据对应的对象的界面;和
显示叠加在体数据上的连续表面的处理。
17.一种图像处理方法,包括:
获取包括结构的对象的图像数据的处理;
通过对图像数据进行图像处理来获取指示结构位置的信息的处理;和
使用指示结构位置的信息来估计对象的界面的处理。
18.一种使计算机执行以下功能的程序:
使用构成表示重建图像的体数据的体素组的亮度梯度来估计连续表面的功能,所述连续表面定义与体数据对应的对象的界面;和
显示叠加在体数据上的连续表面的功能。
19.一种使计算机执行以下功能的程序:
获取包括结构的对象的图像数据的功能;
通过对图像数据进行图像处理来获取指示结构位置的信息的功能;和
通过使用指示结构位置的所述信息进行处理来估计对象的界面的功能。
CN201780075602.5A 2016-12-12 2017-12-12 图像处理装置、图像处理方法和程序 Active CN110139609B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-240504 2016-12-12
JP2016240504 2016-12-12
PCT/JP2017/044600 WO2018110558A1 (ja) 2016-12-12 2017-12-12 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110139609A true CN110139609A (zh) 2019-08-16
CN110139609B CN110139609B (zh) 2022-06-03

Family

ID=62558644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075602.5A Active CN110139609B (zh) 2016-12-12 2017-12-12 图像处理装置、图像处理方法和程序

Country Status (5)

Country Link
US (1) US10997699B2 (zh)
EP (1) EP3552553B1 (zh)
JP (1) JP6870001B2 (zh)
CN (1) CN110139609B (zh)
WO (1) WO2018110558A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639556A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种非均匀插值的手指轴旋转指静脉图像纠正方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10705170B1 (en) * 2019-02-15 2020-07-07 GE Precision Healthcare LLC Methods and systems for removing spike noise in magnetic resonance imaging
JP7199338B2 (ja) 2019-11-21 2023-01-05 株式会社東芝 処理装置、検査システム、処理方法、プログラム、及び記憶媒体
CN114071209A (zh) * 2020-08-05 2022-02-18 晶晨半导体(上海)股份有限公司 实时检测视频图像显示区域的方法和装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1493258A (zh) * 2002-10-28 2004-05-05 ��ʽ���綫֥ 图像处理设备与超声波诊断设备
US20070036411A1 (en) * 2005-08-01 2007-02-15 Gregoire Guetat System and method for body extraction in medical image volumes

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363199B2 (en) * 2001-04-25 2008-04-22 Telekinesys Research Limited Method and apparatus for simulating soft object movement
JP4122463B2 (ja) * 2002-07-26 2008-07-23 将吾 畦元 医療用可視画像の生成方法
KR100500897B1 (ko) * 2003-09-03 2005-07-14 한국전자통신연구원 방향을 갖는 질점과 일반화된 스프링 모델을 이용한비정형 물체의 애니메이션 방법
JP4864532B2 (ja) * 2006-05-12 2012-02-01 株式会社東芝 超音波診断装置、画像データ表示装置及び3次元画像データ生成方法
EP2415018B1 (en) * 2009-04-03 2017-10-25 Koninklijke Philips N.V. System and method for interactive live-mesh segmentation
WO2012007892A1 (en) * 2010-07-10 2012-01-19 UNIVERSITé LAVAL Image intensity standardization
JPWO2012140984A1 (ja) * 2011-04-14 2014-07-28 株式会社日立メディコ 超音波診断装置と超音波画像描出方法
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
JP5852597B2 (ja) 2012-02-13 2016-02-03 富士フイルム株式会社 光音響画像化方法および装置
JP6346445B2 (ja) * 2014-01-10 2018-06-20 キヤノン株式会社 処理装置、処理装置の制御方法、およびプログラム
JP2018536951A (ja) * 2015-10-09 2018-12-13 アウダーチェス オートマサン エ インフォーマティカ インダストリアル エルティーディーエイAudaces Automacao E Informatica Industrial Ltda 仮想三次元環境においてマネキンの身体上に衣服を表現する面を作成および編集するためのコンピュータ化された方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1493258A (zh) * 2002-10-28 2004-05-05 ��ʽ���綫֥ 图像处理设备与超声波诊断设备
US20070036411A1 (en) * 2005-08-01 2007-02-15 Gregoire Guetat System and method for body extraction in medical image volumes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639556A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种非均匀插值的手指轴旋转指静脉图像纠正方法

Also Published As

Publication number Publication date
JPWO2018110558A1 (ja) 2019-10-24
EP3552553A4 (en) 2020-10-28
CN110139609B (zh) 2022-06-03
EP3552553B1 (en) 2023-11-15
EP3552553A1 (en) 2019-10-16
WO2018110558A1 (ja) 2018-06-21
JP6870001B2 (ja) 2021-05-12
US20190287228A1 (en) 2019-09-19
US10997699B2 (en) 2021-05-04

Similar Documents

Publication Publication Date Title
CN110139609A (zh) 图像处理装置、图像处理方法和程序
US10275881B2 (en) Semi-automated image segmentation system and method
CN106073700B (zh) 图像生成方法和图像生成装置
JP2018538076A (ja) 灌流デジタルサブトラクション血管造影
JP6071260B2 (ja) 被検体情報取得装置および情報処理方法
JP2011177535A (ja) 試料の機械的歪み及び弾性的性質を測定するプロセス、システム及びソフトウェア
DE102016107220B4 (de) Verfahren und System zur automatischen Abschätzung von Schermodul und Viskosität aus Scherwellen-Bildgebung
TW201302154A (zh) 決定皮膚發炎分數之裝置及方法
CN109310399A (zh) 医学超声图像处理设备
JP2014213134A (ja) 被検体情報取得装置、被検体情報取得装置の制御方法
US20170168150A1 (en) Photoacoustic apparatus, display control method, and storage medium
Glaßer et al. Combined visualization of wall thickness and wall shear stress for the evaluation of aneurysms
CN107529982B (zh) Oct图像修改
US20160345837A1 (en) Imaging apparatus, imaging method, and program
JP6732476B2 (ja) 被検体情報取得装置
WO2014013285A1 (en) Apparatus and method for determining optimal positions of a hifu probe
EP3105741B1 (en) Systems for monitoring lesion size trends and methods of operation thereof
US20190029526A1 (en) Image processing apparatus, image processing method, and storage medium
US20170265750A1 (en) Information processing system and display control method
IT201800001656A1 (it) Metodo di elaborazione di immagini e metodo per la determinazione di caratteristiche quantitative e/o qualitative degli oggetti riprodotti in una immagine, sistema per l’elaborazione di immagini e sistema per la determinazione di caratteristiche quantitative e/o qualitative degli oggetti riprodotti in una immagine
KR20180062393A (ko) 표시 제어장치, 표시 제어방법, 및 기억매체
KR101851221B1 (ko) 초음파 영상 장치 및 그 제어 방법
CN109620140A (zh) 图像处理装置、图像处理方法和存储介质
JP6698505B2 (ja) 超音波撮像装置、画像処理装置、および、画像処理方法
JP6381718B2 (ja) 装置および画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant