CN104939864A - 诊断图像生成装置以及诊断图像生成方法 - Google Patents

诊断图像生成装置以及诊断图像生成方法 Download PDF

Info

Publication number
CN104939864A
CN104939864A CN201510098120.4A CN201510098120A CN104939864A CN 104939864 A CN104939864 A CN 104939864A CN 201510098120 A CN201510098120 A CN 201510098120A CN 104939864 A CN104939864 A CN 104939864A
Authority
CN
China
Prior art keywords
boundary curve
image
pixel
curve
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510098120.4A
Other languages
English (en)
Other versions
CN104939864B (zh
Inventor
荻野昌宏
野口喜实
柴原琢磨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Healthcare Corp
Original Assignee
Hitachi Aloka Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Aloka Medical Ltd filed Critical Hitachi Aloka Medical Ltd
Publication of CN104939864A publication Critical patent/CN104939864A/zh
Application granted granted Critical
Publication of CN104939864B publication Critical patent/CN104939864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/100764D tomography; Time-sequential 3D tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pregnancy & Childbirth (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种诊断图像生成装置以及诊断图像生成方法,在由医用体数据通过渲染生成三维投影图像时,可以不增加操作者负担,使用简单的方法,高精度地支援3D-ROI的设定,使利用诊断图像生成装置的三维影像读解、诊断流程高效化。在规定的断层面,将预先设定的开始点作为基准,生成能量图,探索能量为最小的路径,将该路径设定为3D-ROI的边界线。开始点可以基于用户输出入的边界线决定,可以由用户设定。用户可以调整已设定的边界线。另外,在与规定的断层面正交的面上,还可以使用同样的方法决定边界线。

Description

诊断图像生成装置以及诊断图像生成方法
技术领域
本发明涉及诊断图像生成装置中的三维投影图像生成技术,特别是涉及对于取得的体数据,设定应用渲染处理的三维关注区域的技术。
背景技术
在以超声波诊断装置为首的取得医用图像的诊断图像生成装置中,需要根据得到的三维图像数据(医用体数据)生成二维图像(投影图像),使图像化对象组织的图像可视化。为此,配备了使用体渲染的三维投影图像生成、显示功能。在生成三维投影图像时,将应用渲染处理的范围设定为三维关注区域(以下记载为3D-ROI:(Region Of Interest关注区域))。在图像化对象组织例如具有胎儿那样的复杂形状时,若不尽可能正确地进行3D-ROI时,在得到的图像中,例如,由于羊水里的悬浮物或胎盘这样的图像化非对象组织,图像化对象组织被隐藏,妨碍观察。然而,由于图像化对象组织为复杂的形状,当想要正确设定3D-ROI时,需要非常复杂的操作。
作为解决该问题的技术,具有以下的技术:由操作者指定图像化对象区域,例如胎儿轮廓上的点,从该轮廓点检测图像化对象区域的轮廓线,通过将该轮廓线作为3D-ROI的边界线,来设定3D-ROI(参考专利文献1)。
在专利文献1的方法中,接受1点的指定,使用指定的点周围的亮度信息(亮度值的大小)确定轮廓。但是,实际的体数据无法根据亮度值清楚地区分图像化对象组织和图像化非对象组织。因此,该方法无法精度良好地提取图像化对象组织来设定3D-ROI。
专利文献1:日本特开2012-010965号公报
发明内容
本发明是鉴于上述情况而提出的,其目的在于提供以下的技术:在根据医用体数据通过渲染生成三维投影图像时,可以不增加操作者的负担,使用简单的方法高精度地支援希望的3D-ROI的设定,使使用了诊断图像生成装置的三维影像读解、诊断流程高效化。
本发明在规定的断层面,将预先设定的开始点作为基准,生成能量图,探索能量为最小的路径,将该路径设定为3D-ROI的边界线。开始点可以基于用户输入的边界线决定,也可以由用户设定。用户也可以调整已设定的边界线。另外,在与规定的断层面正交的面上,可以用同样的方法决定边界线。
具体地说,提供一种诊断图像生成装置,其特征在于,具有:三维关注区域设定部,对于从生物体内的三维空间取得的数据集合体即体数据,设定应用渲染处理的三维关注区域;投影图像生成部,使用所述三维关注区域内的所述数据执行渲染处理,生成三维投影图像,所述三维关注区域设定部具有:接受部,在所述体数据的预先决定的断层图像上接受来自用户的指示;剪裁面决定部,决定所述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面;所述剪裁面决定部在所述断层图像上决定边界曲线,并且根据该边界曲线决定所述剪裁面,所述边界曲线经过基于所述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
此外,提供一种诊断图像生成方法,其特征在于,包括,接受步骤,在从生物体内的三维空间取得的数据的集合体即体数据的预先决定的断层图像上,接受来自用户的指示;剪裁面决定步骤,决定对于所述体数据应用渲染处理的三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面;投影图像生成步骤,对于通过所述剪裁面确定的所述三维关注区域的所述体数据,执行渲染处理;所述剪裁面决定步骤在所述断层图像上决定边界曲线,并且根据该边界曲线决定所述剪裁面,所述边界曲线经过基于所述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
根据本发明,在根据医用体数据通过渲染生成三维投影图像时,可以不增加操作者的负担,使用简单的方法高精度地支援希望的3D-ROI的设定,使使用了诊断图像生成装置的三维影像读解、诊断流程高效化。
附图说明
图1是第一实施方式的超声波图像取得装置(诊断图像生成装置)的功能框图。
图2是用于说明通过诊断图像生成装置的三维扫描得到的体数据的一例的图。
图3(a)是用于说明诊断图像生成装置的轴向面上的三维关注区域(3D-ROI)的说明图,(b)是用于说明诊断图像生成装置的径向面上的3D-ROI的说明图。
图4是用于说明诊断图像生成装置的3D-ROI的图。
图5(a)以及(b)是用于说明现有的诊断图像生成装置中的3D-ROI的设定方法的说明图。
图6是用于说明现有方法中难以划定边界线的例子的说明图,并且是说明第一实施方式的处理的说明图。
图7是第一实施方式的三维关注区域设定部的功能框图。
图8是用于对第一实施方式的能量图生成处理进行说明的说明图。
图9是用于对第一实施方式的能量图生成处理进行说明的说明图。
图10是用于对在第一实施方式中生成的能量图进行说明的说明图。
图11是用于对第一实施方式的最小能量路径探索处理进行说明的说明图。
图12是用于对第一实施方式的最小能量路径探索处理进行说明的说明图。
图13是用于对第一实施方式的有效性判定处理进行说明的说明图。
图14是用于对第一实施方式的修正边界曲线的一例进行说明的说明图。
图15是第一实施方式的三维关注区域设定处理的流程图。
图16(a)以及(b)是用于说明第一实施方式的变形例的有效性判定处理的说明图。
图17是用于说明第二实施方式的用户进行的设定的说明图。
图18是第二实施方式的三维关注区域设定部的功能框图。
图19是第二实施方式的三维关注区域设定处理的流程图。
图20是第二实施方式的变形例的三维关注区域设定部的功能框图。
图21是第三实施方式的三维关注区域设定部的功能框图。
图22(a)以及(b)是用于说明第三实施方式的修正处理的说明图。
图23是用于对第三实施方式的修正处理进行说明的说明图。
图24是用于对第四实施方式的剪裁面生成处理进行说明的说明图。
图25是第四实施方式的三维关注区域设定部的功能框图。
图26是第四实施方式的三维关注区域设定处理的流程图。
符号说明
100:超声波图像取得装置;101:探头;102:收发部;103:A/D转换部;104:BF处理部;105:图像处理部;106:坐标变换部;107:投影图像生成部;108:显示部;109:输入部;110:三维关注区域设定部;110a:三维关注区域设定部;110b:三维关注区域设定部;110c:三维关注区域设定部;110d:三维关注区域设定部;210:接受部;210a:接受部;220:剪裁面决定部;221:开始点检测部222:能量图生成部;223:路径探索部;224:有效性判断部;225:结合部;226:剪裁面生成部;227:路径探索判断部;228:修正部;229:第二开始点检测部;230:噪声降低部;400:轴向图像;401:初始边界曲线;403:最大距离;404:修正边界曲线;405:修正边界曲线;409:轴向ROI;411:开始点;411a:开始点;412:处理对象像素;414:当前位置像素;416:追加指定点;460:剪裁面;420:分割图像;421:能量图;422:探索开始点;430:分割图像;431:能量图;440:分割图像;450:分割图像;501:手腕;502:脸;604:修正边界曲线;900:体数据;901:胎儿;910:轴向面;911:轴向图像;912:轴向ROI;920:径向面;921:径向图像;922:区域;932:3D-ROI;942:样条曲线
具体实施方式
(第一实施方式)
下面对应用本发明的第一实施方式进行说明。这里,作为诊断图像生成装置,以超声波图像取得装置为例进行说明。此外,将胎儿作为图像化对象组织。由此,图像化非对象组织为羊水里的悬浮物和胎盘等。
(超声波图像取得装置的结构)
图1是本实施方式的超声波图像取得装置(诊断图像生成装置)的功能框图。如图所示,本实施方式的超声波图像取得装置100具备:用于取得三维回声数据的由超声波振子构成的探头101;进行发送脉冲的控制、接收回声信号的放大的收发部102;将放大后的接收回声信号进行数字化处理的模拟/数字转换部(A/D)103;将来自多个振子的接收回声聚集(相位相加)的波束成形处理部(BF)104;图像处理部105;坐标变换部106;投影图像生成部107;显示部108;输入部109;以及三维关注区域设定部110。
图像处理部105对来自BF处理部104的RF信号进行图像处理,生成断层图像数据(以下简称为断层图像)。这里进行的图像处理是动态范围压缩、滤波处理等以及扫描变换处理等。另外,在显示部108中显示图像处理部105生成的断层图像。
坐标变换部106对断层图像进行正交三维坐标变换,生成体数据。
三维关注区域设定部110对于体数据,设定应用渲染处理的三维关注区域(3D-ROI)。本实施方式的3D-ROI具有将图像化对象组织和图像化非对象组织空间分离的剪裁面。如上所述,剪裁面成为渲染处理的开始面。本实施方式中,在预先决定的断层图像上,设定作为该断层图像和剪裁面的交线的边界曲线,决定剪裁面。
投影图像生成部107在体数据中,使用3D-ROI内的上述数据,执行渲染处理,生成三维投影图像。
显示部108对图像处理部105生成的断层图像、投影图像生成部107生成的投影图像等进行显示。此外,例如具备触摸板,接受来自用户的输入。触摸板由在显示部108的显示器表面上配置的多个触摸传感器构成。
输入部由109例如由触摸板、键盘、轨迹球等构成,是接受来自用户的各种输入的用户界面。
关于探头101,能取得3D数据即可,可以是手绘方式、机械扫描方式、二维阵列探头方式中的任意一种方式。
此外,图像处理部105、坐标变换部106、投影图像生成部107、三维关注区域设定部110在具有CPU、存储器、存储装置的信息处理装置中,通过由CPU将预先保存在存储装置中的程序加载到存储器中执行来实现。
(三维关注区域设定部)
本实施方式的三维关注区域设定部110对于从生物体内的三维空间取得的数据集合体即体数据,设定应用渲染处理的3D-ROI。
本实施方式的三维关注区域设定部110在规定的断层图像上,从用户接受边界曲线的输入。如上所述,边界曲线是剪裁面和断层图像的交线。然后,修正接受的边界曲线,得到修正边界曲线。将修正边界曲线扩展为三维,得到剪裁面,设定3D-ROI。
本实施方式中,作为边界曲线接受曲线(样条曲线)。以下,在说明各部的处理之前,对接受样条曲线来作为边界曲线的理由、需要修正的理由进行说明。这里,以将胎儿作为摄影对象(图像化对象组织)的情况为例进行说明。
首先,对于现有的3D-ROI设定处理,以胎儿影像为例进行说明。图2表示通过超声波图像取得装置100中的三维扫描取得的体数据900。这里,将与包含胎儿901的身体轴线的断层面910平行的面称为轴向(Axial)面,将与身体轴线正交的断层面920称为径向(Saggital)面。轴向面910与径向面920正交。
此外,将轴向面910的断层图像称为轴向图像,将径向面920的断层图像称为径向图像。图3(a)是轴向图像911,图3(b)是径向图像921。
3D-ROI如其名字一样是三维区域。一般来说,在最适合表示胎儿901的断层面的图像(基本上是轴向图像911)中,设定与3D-ROI的交线,并以此为基础进行三维扩展。
如图3(a)所示,在轴向图像911中,设定与3D-ROI的交线(轴向ROI)912,决定图4所示的3D-ROI932。通过将在任意的轴向面中设定的轴向ROI912复制到全部轴向面,来生成3D-ROI932。
生成的3D-ROI在任意的径向图像921中,如图3(b)所示,跨越径向图像921的横向全部范围,将与轴向ROI912的交线作为高度,成为与径向图像921的上下边平行的区域922。
设定3D-ROI932,通过仅对该区域内的体数据应用渲染处理,可以减少渲染处理量,并且可以提高实时性。此外,可以排除在关注区域的周围存在的悬浮物或多重反射等造成的噪声。由此,3D-ROI的设定在三维投影图像显示中是非常重要的功能。
当由3D-ROI包围的图像化对象组织,如图5(a)所示的胎儿那样具有复杂的形状时,轴向ROI912的图中上边942的设定是重要的。以下,将该上边称为边界曲线942。为了使图像化对象组织的抽取精度进一步提高,边界曲线942不是图5(a)所示的直线,而是使用图5(b)所示的样条曲线942进行设定。
如图5(b)所示那样,将边界曲线942设定为胎儿和胎盘的边界。胎儿和胎盘之间的羊水区域的形状,从经验上看大致为凸面或者凹面。因此,通过使用样条曲线生成边界曲线942,由此确定的3D-ROI实现了平滑的凸面或者凹面。通过该3D-ROI,能够得到恰当的三维投影图像。
但是,在现实的临床数据中,即使使用样条曲线指定边界曲线942,也有不少难以在胎盘和胎儿之间的羊水区域划定边界线的情况。例如,在图6所示的例子中,在应用具有使用样条曲线设定的边界曲线401的轴向ROI409(3D-ROI),执行渲染处理时,胎儿的鼻子、嘴产生欠缺。
这里,在本实施方式中,对于图6那样的情况,对用户使用样条曲线设定的边界曲线401进行修正,从而避免不恰当的3D-ROI设定。由此,追求更进一步的高功能化。以下,对该三维关注区域设定部110进行说明。
为了使其得到实现,本实施方式的三维关注区域设定部110如图7所示,具有:接受部210,在预先决定的断层图像上接受来自用户的指示;剪裁面决定部220,决定三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面,剪裁面决定部220在断层图像上决定边界曲线,并根据该边界曲线来决定上述裁剪面,上述边界曲线经过基于上述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
本实施方式的接受部210,作为上述指示接受上述断层图像(断层面)与上述剪裁面的交线即边界曲线(样条曲线),将其作为初始边界曲线。以下,在本实施方式中,将预先决定的断层面作为轴向面,将断层图像作为轴向图像。
本实施方式中,如图6所示,在显示部108上显示轴向图像,在该图像上接受初始边界曲线401。显示的轴向图像400是图像处理部105生成的断层图像。通过显示部108具备的触摸板接受初始边界曲线401。用户输入例如经过胎盘和胎儿之间的羊水区域的曲线。接受输入的曲线来作为样条曲线。
本实施方式的剪裁面决定部220对上述初始边界曲线进行修正,决定修正边界曲线,并决定剪裁面。为了将其实现,本实施方式的剪裁面决定部220具有:开始点检测部,在上述初始边界曲线上检测上述开始点;能量图生成部222,利用经过上述开始点的像素串将上述断层图像进行2分割,在分割后的各图像上分别计算各像素的上述能量值,并分别生成能量图;路径探索部223,在上述各能量图上探索最小能量路径,上述最小能量路径是连接像素值的总和为最小的像素的路径;有效性判定部224,根据上述初始边界曲线和上述最小能量路径之间的最大距离,分别决定上述分割后的各图像的分割边界曲线;以及,结合部225,将上述分割边界曲线结合,得到上述边界曲线;以及剪裁面生成部226。
(开始点检测部)
如图6所示,开始点检测部221在初始边界曲线401上,检测确实认为是羊水区域(图像化非对象区域)的点来作为开始点411。本实施方式中,将轴向图像400的初始边界曲线401上的亮度值最低的像素(亮度值最小像素)检测为开始点411。此外,在存在多个亮度值最小像素时,将最先检测到的像素作为开始点411。
一般来说,众所周知羊水区域的亮度等级低,并且,用户(医生、检查技师)设定的初始边界曲线401是最低也有1点经过羊水区域的假想的基础。
此外,在由开始点检测部221检测开始点411时,可以设定阈值处理。在阈值处理中,判断在初始边界曲线401上是否存在规定阈值以下的亮度值。仅当存在规定阈值以下的亮度值的像素时,进行开始点检测处理。另一方面,当规定阈值以下的亮度值的像素1点也没有时,中断开始点检测处理,并还结束3D-ROI修正处理。而且,可以将错误信息与已设定的初始边界曲线(样条曲线)401一同输出。
(能量图生成部)
能量图生成部222通过上述开始点411将断层图像(轴向图像400)进行2分割,在各个图像(分割图像)中生成能量图。
使用图8、图9以及图10说明由能量图生成部222进行的能量图生成处理。以下,为了说明,将轴向图像400的深度方向(超声波束的行进方向)称为z方向,在轴向图像400上,将与z方向正交的方向(左右方向)称为x方向。
能量图生成部222使用经过开始点411的z方向的线(像素串)将轴向图像400在x方向上进行2分割。将分割后的断层图像(分割图像)分别设为420、430。图中,使用右侧的分割图像420对之后的处理进行说明。
能量图生成部222如图9所示,从与处理对象像素412的,生成能量图的行进方向(+x方向)的反向侧邻接的3个像素(左边的邻接像素、左上的邻接像素以及左下的邻接像素)413中,将亮度值最小的像素的像素值与处理对象像素412的像素值相加。并且,当在邻接的3个像素中,存在两个以上的亮度值最小的像素时,预先决定要选择的像素。
从开始点411侧开始,对2分割图像420、430的全体进行该加法处理。由此,生成图10所示的能量图EM(i,j)421、431。此外,在得到的能量图EM中,亮度越低的区域(像素)能量越小。
以上说明的能量图EM(i,j)的生成过程可以通过下式(1)来表示。
式(1)
EM(i,j)=E(i,j)+min(EM(i-1,j-1),EM(i-1,j),EM(i-1,j+1))…(1)
这里,E(i,j)表示像素位置(i,j)的能量值。
此外,本实施方式中,使用亮度值来作为能量值,但并不限定于此。例如,可以使用亮度的梯度信息、边缘量、熵、似然、HoG、显著图(SaliencyMap)、L1、L2范数等或者它们的组合。
(路径探索部)
路径探索部223对追寻上述能量图421、431的能量最小值的路径进行探索。该探索在各个能量图421、431中进行。
使用图11以及图12对路径探索部223的最小能量路径探索处理进行说明。路径探索部223从生成的能量图421、431探索最小能量路径。
具体地说,从探索开始点422、432开始,通过下记方法朝向开始点411进行探索,生成路径候补。将探索开始点422、432设为生成的各个能量图421、431的与开始点411相反端的像素值最小的像素。如图11所示,在能量图421中,从探索点422进行探索,在能量图431中从左端进行探索。
使用分割图像420(能量图421)说明探索的详细内容。在探索时,如图12所示对于当前位置像素414,从与探索的进行方向(-x方向;左侧)邻接的3个像素(左侧邻接像素、左上邻接像素、左下邻接像素)415中,选择能量值最低的像素,并将其作为下一个当前位置像素414。然后,通过将选择的当前位置像素414依次连接,生成经过开始点411的最小能量路径。
在路径探索部223的最小能量路径探索处理中,将划定胎盘和胎儿之间的边界线的课题,归结于对式(2)求解的动态规划法的问题上。
式(2)
R min = arg min R i Σ i = 1 m EM ( R i ) . . . ( 2 )
这里,Rmin是最小能量路径,EM(Ri)是探索到的路径候补i的总能量值(能量相加值),argminf(x)表示使函数f(x)最小化的x。此外,轴向图像400的图像尺寸为x方向(水平方向)上n像素,z方向(垂直方向)上m像素(n、m是1以上的整数)。
如此,在本实施方式中,针对各路径候补i,计算能量的相加值,并将该相加值最小的路径候补i作为最小能量路径。
此外,本实施方式中,在能量图生成时以及最小能量路径探索时,都是将周围3个像素的能量值作为判断对象,当然并不局限于此。
(有效性判定部)
有效性判定部224判定探索出的最小能量路径的有效性,当有效时,将其作为修正后的分割边界曲线。另一方面,当不是有效时,将初始边界曲线作为修正后的分割边界曲线。
例如,通过用户设定的初始边界曲线与生成的最小能量路径的最大距离是否在规定的阈值以上来进行判定。检测两者间的最大距离,当最大距离比阈值小时,判断为有效,当最大距离在阈值以上时,判断为不是有效。即,本实施方式的有效性判定部224在初始边界曲线与最小能量路径之间的最大距离在预先决定的距离阈值以上时,将初始边界曲线作为边界曲线,当最大距离小于上述距离阈值时,将上述最小能量路径作为上述边界曲线。
例如,如图13所示,当初始边界曲线401和最小能量路径402之间的最大距离403在阈值以上时,不使用生成的最小能量路径402,而是使用初始边界曲线401。
此外,本实施方式中,将初始边界曲线401和生成的最小能量路径402之间的最大距离403作为判断信息,但并不局限于此。例如,也可以采用对使用了离散值等的曲线类似度进行测量的方法或使用能量值本身,来判定生成的最小能量路径的有效性。
(结合部)
结合部225将由有效性判定部224在各个2分割图像420、430上决定为修正后的分割边界曲线的2个曲线进行结合,作为修正后的边界曲线(修正边界曲线)进行输出。将生成的修正边界曲线404与轴向图像400一同在显示部108上显示。图14表示显示例子。
(剪裁面生成部)
剪裁面生成部226由在任意的轴向图像400上得到的修正边界曲线生成剪裁面。例如,剪裁面生成部226将在1个轴向图像上生成的修正边界曲线复制到全部轴向面上,将包含全部的修正边界曲线的面作为剪裁面。
如本图所示,还可以在在样条曲线中难以设定的胎盘和胎儿的边界设定通过本实施方式的步骤得到的修正边界曲线404。根据由该修正边界曲线生成的剪裁面,可以对胎儿(图像化对象组织)的区域和胎儿以外多余组织(图像化非对象组织)的区域进行高精度区分。因此,可以不将胎儿以外的多余数据用于渲染处理,从而提高最终得到的三维投影图像的画质。
(三维关注区域设定处理的流程)
本实施方式的三维关注区域设定处理的流程进行说明。图15是本实施方式的三维关注区域设定部110进行的三维关注区域设定处理的处理流程。
接受部210将断层图像(轴向图像400)显示在显示部108(步骤S1101)。然后,从用户接受边界曲线(初始边界曲线)401的输入(步骤S1102)。
开始点检测部221从初始边界曲线401检测开始点411(步骤S1103)。能量图生成部222利用开始点411分割轴向图像400,生成能量图421、431(步骤S1104)。路径探索部223探索能量图421、431,得到最小能量路径(步骤S1105)。
有效性判定部224判定探测出的最小能量路径的有效性,取得分割边界曲线(步骤S1106)。结合部225从分割边界曲线得到修正边界曲线404(步骤S1107)。
剪裁面生成部226基于在轴向图像400上决定的修正边界曲线404,生成剪裁面,并设定3D-ROI(步骤S1108)。
如以上说明那样,本实施方式的诊断图像生成装置(超音波图像取得装置)100具有:三维关注区域设定部110,针对从生物体内的三维空间取得的数据的集合体即体数据,设定应用渲染处理的三维关注区域;投影图像生成部107,使用上述三维关注区域内的上述数据执行渲染处理,生成三维投影图像,上述三维关注区域设定部110具有:接受部210,在上述体数据的预先决定的断层图像上,接受来自用户的指示;剪裁面决定部220,决定上述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面,上述剪裁面决定部220在上述断层图像上决定边界曲线,并且根据该边界曲线决定上述剪裁面,上述边界曲线经过基于上述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
上述接受部210将希望的剪裁面与上述断层图像的交线即初始边界曲线作为上述指示进行接受,所述剪裁面决定部可以具有在上述初始边界曲线上检测上述开始点的开始点检测部221。
上述剪裁面决定部220还可以具有能量图生成部222,使用经过上述开始点的像素串将上述断层图像进行2分割,在分割后的各图像上分别计算各像素的上述能量值,分别生成能量图;路径探索部223,在上述各能量图上,探索最小能量路径,上述最小能量路径是连接像素值的总和为最小的像素的路径;有效性判定部224,根据上述初始边界曲线和上述最小能量路径之间的最大距离,分别决定上述分割后的各图像的分割边界曲线;结合部25,将上述分割边界曲线结合,得到上述边界曲线。
上述有效性判定部224在上述初始边界曲线与上述最小能量路径之间的最大距离在预先决定的距离阈值以上时,将上述初始边界曲线作为上述边界曲线,当上述最大距离小于上述距离阈值时,将上述最小能量路径作为上述边界曲线。
在本实施方式中,将用户设定的曲线即初始边界曲线401修正为连接亮度最低的像素的线,得到修正边界曲线。使用能量图,通过探索能量最小的线来进行修正。在探索中通过使用能量图,在全局上可以得到上述线,并可以抑制错误的发生。
因此,根据本实施方式,由于用户设定的曲线、或者根据该曲线得到的初始边界曲线401多少有些不正确,即使胎儿的一部分发生欠缺,或是包含较多的胎盘,只要初始边界曲线401的一部分通过羊水区域,就可以正确地设定胎盘与胎儿的边界曲线。
即,可以实现高度健全的系统。换而言之,可以提高用户设定的自由度,并可以使设定操作简单化。
另外,本实施方式中,在探索最小能量路径时,由于将探索方向限定在3个像素方向上,因此可以通过线性时间进行计算。此外,在探索最小能量路径时,由于设定了必须通过初始边界曲线401上的一点,因此可以大幅抑制运算成本。
并且,由于具备有效性判定部224,可以最低限度地保证从用户自身设定的曲线得到的在初始边界曲线401上的显示。
如以上说明,根据本实施方式,将用户设定的曲线作为起点,可以修正为最佳的曲线,可以实现最终得到的三维投影图像的画质提升、高度健全性以及用户操作性的提高。例如,能够以更高的画质且高度健全地得到胎儿的3D影像显示。
(变形例)
此外,有效性判定部224的有效性判定方法并不局限于上述方法。例如,也可以设定2个阈值,使用这些阈值判定有效性。以下,对该情况的判定方法进行说明。这里,将使用的2个阈值设为第一阈值th1和比第一阈值小的第二阈值th2。
与上述相同,首先,将初始边界曲线401以及最小能量路径402之间的距离的最大值(最大距离)403与第一阈值th1进行比较,当最大距离403比第一阈值th1小时,判断为有效,当最大距离403在第一阈值th1以上时,判断为不是有效。在上述方法中,当判断为有效时,采用了最小能量路径402,但是在此,还进一步将两者间的距离与第二阈值th2进行比较,仅当在第二阈值th2以下时,采用最小能量路径402,其他情况时采用第二阈值th2。
使用图16(a)以及图16(b),通过具体的例子说明该方法。在图16(a)中,虚线表示初始边界曲线401,点线表示最小能量路径402,实线表示最终采用的修正后的边界曲线(修正边界曲线)404。此外,图16(b)表示初始边界曲线401与最小能量路径402之间的距离D。
在该例子中,例如,在从0到x1之间,由于两者间的距离D在第二阈值th2以下,所以采用最小能量路径402。从x1到x2之间,由于两者间的距离D比第二阈值th2大,所以采用第二阈值th2。从x2到x5之间,由于两者间的距离D在第二阈值th2以下,所以采用最小能量路径402。从x5到x6之间,由于两者间的距离D比第二阈值th2大,所以采用第二阈值th2。从x6到x7(端部)之间,由于两者间的距离D在第二阈值th2以下,所以采用最小能量路径402。
如此,有效性判定部224在初始边界曲线401和最小能量路径402之间的最大距离403在预先设定的第一阈值th1以上时,可以将初始边界曲线401作为分割边界曲线,当最大距离403比第一距离阈值th1小,且在比第一距离阈值th1小的第二距离阈值th2以上时,可以将第二距离阈值th2作为分割边界曲线,当最大距离403比第二距离阈值th2小时,可以将最小能量路径402作为分割边界曲线。
连接在各区间中采用的曲线、值,得到分割边界曲线。由此,可以采用最大限度地应用计算出的最小能量路径402的曲线。
(第二实施方式)
对应用本法明的第二实施方式进行说明。在第一实施方式中,用户与以往一样输入边界曲线。然后,基于用户输入的边界曲线,决定生成能量图的开始点,将该点作为起点修正边界曲线。另一方面,在本实施方式中,用户输入边界曲线的开始点来取代输入边界曲线。
本实施方式的超声波图像取得装置100基本上具有与第一实施方式相同的结构。但是,由于用户输入的信息不是边界曲线而是开始点,所以三维关注区域设定部100a的结构不同。以下,主要着眼于与第一实施方式不同的结构来对本实施方式进行说明。
此外,在本实施方式的说明中,以将图像化对象组织设为胎儿,将图像化非对象组织设为其他组织的情况为例进行说明。即,如图17所示,在本实施方式中,通过用户仅指定胎盘和胎儿之间的羊水区域的1点,生成边界曲线。
如图18所示,本实施方式的三维关注区域设定部110a具有作为来自用户的指定接受开始点的接受部210a和剪裁面决定部220。本实施方式的剪裁面决定部220具有:能量图生成部222,利用经过上述开始点的像素串对上述断层图像进行2分割,在分割后的各图像上分别计算各像素的上述能量值,并分别生成能量图;路径探索判定部227,在上述各能量图上,探索连接像素值的总和为最小的像素的路径即最小能量路径,并分别决定上述分割后的各图像的分割边界曲线;结合部225,将上述分割边界曲线结合,得到上述边界曲线;以及剪裁面生成部226,上述路径探索判定部227进一步计算在探索上述最小能量路径时得到的1个以上的各路径候补的像素值的离散,将上述像素值的总和在第一阈值以下、且上述离散在第二阈值以下的路径候补作为上述分割边界曲线。
如上上述,在本实施方式中,用户输入的信息为开始点。因此,如图18所示那样,本实施方式的三维关注区域设定部110a不具备开始点检测部221。而且,接受部210a的处理不同。
此外,由于没有成为基准的初始边界曲线,在最小能量路径探索时,同时还对有效性进行判定。因此,具备路径探索判定部227,来替代路径探索部223以及有效性判定部224。
(接受部)
本实施方式的接受部210a,如图17所示,从图像处理部105生成的断层图像中,将规定的断层图像显示在显示部108,在该图像上,从用户接受开始点411a的指定。本实施方式中,作为断层图像,以显示轴向图像400的情况为例来进行说明。
显示部108与第一实施方式相同具备触摸板,通过该触摸板接受来自用户的开始点411a的指定。用户指定并输入胎盘和胎儿之间的羊水区域的1点。
(能量图生成部)
本实施方式的能量图生成部222的处理基本上与第一实施方式相同。即,根据用户设定的开始点411,将轴向图像400进行2分割,在2分割后的图像420、430中,分别生成能量图421、431。
(路径探索判定部)
路径探索判定部227是将第一实施方式的路径探索部223和有效性判定部224的功能合并后的处理部。即,在各分割图像420、430中,对追寻能量图421、431的能量最小值的路径进行探索,生成最小能量路径402的同时,还判定有效性。本实施方式中,由于没有作为判断基准的初始边界曲线,所以利用以下方法进行判定。
路径探索判定部227利用与第一实施方式相同的方法,从能量图的端部的像素(探索开始点)422、432起开始进行探索。这时,在本实施方式中,对于各路径候补i,与能量的总和值相加,计算离散值。
具体地说,关于各路径候补i,对下式(3)以及下式(4)进行计算。
EM ‾ = 1 m Σ i = 1 m EM ( R i ) . . . ( 3 )
EM σ 2 = 1 m Σ i = 1 m ( EM ( R i ) - EM ‾ ) 2 . . . ( 4 )
然后,与各路径候补i的总能量值相加,进行使用了各路径离散值EMσ2的判定。也就是说,选择总能量值在第一阈值T1以下,且离散值EMσ2在第二阈值T2以下的路径。然后,将选择的路径作为修正后的分割边界曲线进行输出。
此外,此时,当没有符合上述条件的路径时,提示用户无法设定关注区域,敦促用户追加羊水区域的指定点。
(结合部,剪裁面生成部)
本实施方式的结合部225与第一实施方式相同,将在各2分割图像420、430计算出的修正后的分割边界曲线结合,生成修正边界曲线404,并在轴向图像400上进行显示。此外,剪裁面生成部226也是通过与第一实施方式相同的方法,由修正边界曲线404生成剪裁面。
(三维关注区域设定处理的流程)
下面,对该三维关注区域设定部110a进行的三维关注区域设定处理的流程进行说明。图19是本实施方式的三维关注区域设定处理的流程图。
接受部210a将断层图像(轴向图像400)显示在显示部108(步骤S1101)。然后,从用户接受开始点411a的输入(步骤S2102)。能量图生成部222根据开始点411a将轴向图像400进行分割,分别在分割图像420、430中生成能量图421、431(步骤S1104)。
路径探索判定部227使用与第一实施方式相同的方法,开始探索最小能量路径(步骤S2103)。这时,在本实施方式中,关于各路径候补i,不仅计算出能量的相加值,还计算离散值。
路径探索判定部227判断有无满足上述条件的最小能量路径(步骤S2104)。
当存在满足上述条件的路径时,路径探索判定部227将该最小能量路径作为分割边界曲线输出(步骤S2105)。然后,结合部225从分割边界曲线得到修正边界曲线(步骤S1107)。
剪裁面生成部226基于在轴向图像400上决定的修正边界曲线404,生成剪裁面,并设定3D-ROI(步骤S1108)。
当不存在满足上述条件的路径时,路径探索判定部227向用户提示无法设定关注区域,并敦促追加羊水区域的开始点(步骤S2106)。
当接受部210接受了新的开始点411a的指定时,返回步骤S2102。
如以上说明的那样,本实施方式的诊断图像生成装置(超声波图像取得装置)100与第一实施方式相同,具备三维关注区域设定部110a和投影图像生成部107。然后,本实施方式的三维关注区域设定部110a具备:接受部210a,在上述体数据的预先决定的断层图像上,接受来自用户的指示;剪裁面决定部220,决定上述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面,上述剪裁面决定部在上述断层图像上决定边界曲线,并且根据该边界曲线决定上述剪裁面,上述边界曲线经过基于上述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
上述接受部210a将上述开始点作为上述指示接受,上述剪裁面决定部220具有:能量图生成部222,利用经过上述开始点的像素串将上述断层图像进行2分割,在分割后的各图像上分别计算各像素的上述能量值,并分别生成能量图;路径探索判定部227,在上述各能量图上,探索连接像素值的总和为最小的像素的路径即最小能量路径,并分别决定上述分割后的各图像的分割边界曲线;结合部225,将上述分割边界曲线结合,得到上述边界曲线,上述路径探索判定部227进一步计算在探索上述最小能量路径时得到的1个以上的各路径候补的像素值的离散,将上述像素值的总和在第一阈值以下,且上述离散在第二阈值以下的路径候补作为上述分割边界曲线。
根据本实施方式,从用户指定的开始点使用能量图,将能量最小的线作为修正边界曲线。因此,可以得到与第一实施方式相同的效果。
此外,如上所述,在本实施方式中,通过用户仅指定胎盘和胎儿之间的羊水区域的1点,生成边界曲线,可以设定3D-ROI。因此,用户的操作性飞跃性地提高。即,用户指定1点即可,例如可以通过简单的操作实现高品质的胎儿的三维投影图像。
此外,在通过有效性的判定,判断为生成曲线的可靠性低时,向用户通知该主旨,并变更指定点。由此,可以进一步提高3D-ROI的设定精度,可以提高作为结果最终得到的三维投影图像的精度。
并且,在本实施方式中,基本上将能量值作为可靠性指标来使用进行判定。本实施方式的该最小能量路径探索判定处理也可以应用于第一实施方式。
此外,相反,也可以预先生成曲线模型,将其作为第一实施方式的初始边界曲线,使用与第一实施方式相同的方法,进行最小能量探索处理和有效性判定处理。例如预先积蓄胎盘和胎儿之间的曲线(胎儿的形状)的数据,使用机械学习提取其特征量,由此来生成模型曲线。
(变形例)
另外,如图20所示,三维关注区域设定部110b还可以具有进行噪声降低处理的噪声降低部230。
噪声降低部230,对于在三维关注区域设定部110b的处理中使用的断层图像(在此是指轴向图像400),进行噪声降低处理。作为噪声降低处理,具有高斯或中值等的平滑化处理、滤波处理等。在滤波处理中使用的滤波器是只去除由于亮度值比较低的羊水内的悬浮物或多重反射等产生的噪声,保持胎儿的形状信息的双边滤波器、引导滤波器(GuideFilter)等边缘保持滤波器。
接受部210a将噪声降低后的轴向图像400提示给用户,接受开始点411的指定。另外,能量图生成部222利用噪声降低后的轴向图像400,生成能量图421、431。
由此,充分进行平滑化处理,除去悬浮物等在只有大致形状的图像上生成能量图,生成的能量图421、431的精度提高,从而最终得到的边界曲线的精度、3D-ROI的精度也提高。
此外,在坐标变换部106以及投影图像生成部107中,不使用平滑化的图像,而使用噪声降低处理前的断层图像,进行体数据的生成以及三维投影图像的生成。
此外,对于三维关注区域设定部110b使用的断层图像的噪声降低处理,同样可以应用于第一实施方式。
(第三实施方式)
下面,说明本发明的第三实施方式。本实施方式中,使第一实施方式或者第二实施方式的三维关注区域设定部生成的修正边界曲线,可以进一步由用户进行修正。以下,对于本实施方式,以在第二实施方式中追加该功能的情况为例进行说明。
本实施方式的超声波图像取得装置100的结构基本上与第二实施方式相同。此外,本实施方式的三维关注区域设定部100c也如图21所示那样,具有基本上与第二实施方式相同的结构。
如本图所示,本实施方式的三维关注区域设定部100c具有:接受部210a,在体数据的预先决定的断层图像上,接受来自用户的指示;剪裁面决定部220,决定上述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面。然后,本实施方式的剪裁面决定部220与第二实施方式相同,具有能量图生成部222、路径探索判定部227、结合部225和剪裁面生成部226。并且,本实施方式的剪裁面决定部220还具有修正上述边界曲线的修正部228,上述修正部228在上述边界曲线上接受追加的指定点,将上述边界曲线修正为经过该指定点,并且连接亮度值最小的像素的曲线。
修正部228对于路径探索判定部227生成并修正后的分割边界曲线,接受来自用户的修正指示,进行修正。本实施方式的修正部228将计算出的边界曲线在被选择的断层图像上显示,经由该显示,接受修正指示。即,修正部228通过来自用户的追加互动进行曲线修正。
用户指定开始点411a,生成的修正边界曲线404在图22(a)中表示。本实施方式的修正部228经由该显示,如图22(b)所示那样,接受追加指定点416的指示。然后,接受指示,修正部228将修正边界曲线404修正为经过开始点411a以及追加的指定点(追加指定点)416两方的曲线405。
在图22(a)以及图22(b)中,501是胎儿的手腕。最初生成的修正边界曲线404在胎儿的手腕501上方经过。因此,当基于该边界曲线404生成剪裁面时,直至胎儿手腕也被包含在3D-ROI中。通过用户指定追加指定点416,可以从3D-ROI中去除手腕501,仅将脸502部分作为图像化对象区域。
修正部228当接受了追加指定点416时,将该追加指定点416作为开始点,利用与第二实施方式相同的方法,使各部(能量图生成部222、路径探索判定部227、结合部225)动作,生成经过该追加指定点416的修正边界曲线。另外,这时,以还经过先前指定的开始点411a的方式生产修正边界曲线。
如图23所示,修正部228以开始点411a和追加指定点416为起点,将图像进行3分割(分割图像430、440、450),在分割图像440以及450中,进行在第二实施方式中说明的最小能量路径探索有效性判定处理。
具体地说,如图23所示,使用经过开始点411a的z轴方向的线(串)以及经过追加指定点416的z轴方向的线(串),对轴向图像400进行分割。然后,在开始点411a和追加指定点416之间的区域(分割图像440)、从追加指定点416开始到与开始点411a相反侧的端部为止的区域(分割图像450)中,将追加指定点416作为开始点,使用与第二实施方式相同的方法,生成修正后的分割边界曲线。
这时,在分割图像440中,将经过开始点411a以及追加指定点416两方作为限制条件。即,在分割图像440中,不是选择最小能量路径,而是从经过追加指定点416的路径候补中选择成为最小能量且有效的路径。
生成的3个分割边界曲线通过结合部225被连接,并作为修正边界曲线405输出,如图22(b)所示,在轴向图像400上进行显示。
另外,在本实施方式中,在由路径探索判定部227进行的最小能量路径探索判断处理中,可以使用有意识地使上述追加指定点416的能量值为最小值,为了必然经过追加指定点416进行再探索的方法。
另外,不限定用户设定追加指定点416的次数。每次指定追加指定点416,修正部228使用上述方法对断层图像(轴向图像400)进行分割,更新修正边界曲线。
另外,1次的追加指定点416的接受数量不限定为1点。可以从用户接受多个追加指定点416的输入。修正部228使用经过各追加指定点416的串分割轴向图像400,在各分割图像中,进行最小能量路径探索判定处理,决定分割边界曲线。这时,将经过两端的各追加指定点416作为限制条件。
这时,修正部228可以基于由用户指定的追加指定点416的个数,即,基于轴向图像499的分割数,使能量图生成部222和路径探索判定部227并行动作。
如上述说明,本实施方式的诊断图像生成装置(超声波图像取得装置)100和第二实施方式相同,具有三维关注区域设定部110c,投影图像生成部107。并且,本实施方式的三维关注区域设定部110c还具有修正上述边界曲线的修正部228,上述修正部228在上述边界曲线上接受追加的指定点,并将上述边界曲线修正为经过该指定点,且连接亮度值最小的像素的曲线。
如此,在本实施方式中,将生成的边界曲线重叠在断层图像上来向用户进行提示,通过来自用户的追加互动进一步进行修正。根据本实施方式,用户可以根据喜好、诊断的种类等,修正生成的边界曲线。此外,通过输入多个指定点,可以更快速地得到并显示用户需要的三维投影图像。
根据本实施方式,例如,可以通过更简单的操作正确地实现胎儿的三维投影图像显示。
此外,本实施方式中,可以对开始点411a以及追加指定点416进行变更。即,在显示断层图像400时,还将开始点411a以及追加指定点416与边界曲线一同显示,接受将当前已设定的开始点411a以及追加指定点416中的任意一个删除的指示。然后,重新计算仅经过剩余的开始点411a以及/或者追加指定点416的边界曲线。本处理例如是从图22(b)的边界曲线405返回图22(a)的边界曲线404的处理。
另外,本实施方式以使用第二实施方式的方法,生成最初的修正边界曲线404的情况为例进行了说明,但是也可以使用第一实施方式得到最初的修正边界曲线404。
(第四实施方式)
接下来,对第四实施方式进行说明。在本实施方式中,在与第一断层面正交的多个第二段层面中,能够与第一断层面相同地修正边界曲线。以下,以将第一断层面设为轴向面,将第二段层面设为径向面的情况为例进行说明。
如图24所示,本实施方式中,使用上述第二实施方式的方法,首先,在轴向面上决定修正边界曲线404。接下来,在预先设定的多个径向面上,分别生成修正边界曲线604。这时,将修正边界曲线404和各个径向面的交点作为开始点。然后,在各径向面上,使用第二实施方式的方法,生成修正边界曲线604。然后,生成包含全部的修正边界曲线404以及修正边界曲线604的面来作为剪裁面460。
本实施方式的超声波图像取得装置100具有基本上与第二实施方式相同的结构。另外,本实施方式的三维关注区域设定部110d也具有基本上与第二实施方式相同的结构。但是,本实施方式中,使用在轴向面上的修正边界曲线404,设定多个径向面中的开始点。因此,如图25所示,本实施方式的三维关注区域设定部110d还具有第二开始点检测部229。另外,剪裁面生成部226的处理也不同。
(第二开始点检测部)
本实施方式的第二开始点检测部229检测结合部225生成的修正边界曲线404与预先决定的1个以上的径向面的交点,并将其作为各径向面的开始点。预先决定1个以上的径向面。
(剪裁面生成部)
本实施方式的剪裁面决定部220当在各径向面上生成了修正边界曲线604时,先将在径向面上生成的修正边界曲线404和多个修正边界曲线604连接,生成剪裁面。即,本实施方式的剪裁面决定部220进一步在与上述断层图像正交的断层图像上,决定经过与上述边界曲线的交点即开始点,且连接最小亮度值的像素的第二边界曲线,生成包含上述边界曲线以及上述第二边界曲线的面来作为剪裁面。
具体地说,如图24所示,关于轴向面,将在预先决定的轴向面上生成的边界曲线404直接复制到全部轴向面上。
关于径向面,使用在上述多个径向面上生成的边界曲线604进行扩展。关于没有生成边界曲线604的径向面,将接近的生成边界曲线的径向面的边界曲线604直接复制,或者通过径向面之间的距离赋予权重,进行插值处理来生成。
预设决定多个径向面。此外,各径向面间的间隔可以是等间隔,也可以是不等间隔。可以由用户设定,也可以预先进行设定。
(三维关注区域设定处理)
图26是本实施方式的三维关注区域设定处理的处理流程。这里,在M张(M是1以上的整数)径向面上生成修正边界曲线604。
三维关注区域设定部110d的各部执行第二实施方式的三维关注区域设定处理的步骤S1101~S1107,在轴向图像400上,生成修正边界曲线404(步骤S4101)。
第二开始点检测部229通过检测各径向面与修正边界曲线404的交点,得到各径向面的开始点(步骤S4102)。
关于各径向面,进行以下步骤S4104到步骤S4108的处理(步骤S4103、S4111、S4112)。
能量图生成部222由检出的开始点生成能量图(步骤S4104)。路径探索判定部227探索最小能量路径(步骤S4105),判断有无满足在第二实施方式中说明的条件的最小能量路径(S4106)。当存在满足条件的路径时,路径探索判定部227将该路径作为分割边界曲线进行输出(步骤S4107)。然后,结合部225从分割边界曲线得到修正边界曲线604(步骤S4108)。
另一方面,在步骤S4106中,当没有满足条件的路径时,向用户提示无法设定的主旨,并且敦促设定新的开始点(步骤S4109)。当接受部210a接受了开始点时(步骤S4110),转向步骤S4104继续处理。
最后,剪裁面生成部226由在步骤S4101内生成的修正边界曲线404和在步骤S4108生成的修正边界曲线604生成剪裁面(步骤S4113)。
如上述说明的那样,本实施方式的诊断图像生成装置(超声波图像取得装置)100a与第一实施方式相同,具备三维关注区域设定部110d和投影图像生成部107。然后,本实施方式的三维关注区域设定部110d与第二实施方式相同,具有:接受部210a,在上述体数据的预先决定的断层图像上接受来自用户的指示;剪裁面决定部220,决定上述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面,剪裁面决定部还在与上述断层图像正交的断层图像上,决定经过与上述边界曲线的交点即开始点,且连接最小亮度值的像素的第二边界曲线,上述剪裁面生成部生成包含上述边界曲线以及上述第二边界曲线的面来作为剪裁面。
如此,根据本实施方式,基于用户的设定,将边界曲线修正为连接亮度最低的像素的的曲线,并由修正后的边界曲线决定剪裁面。因此,与上述各实施方式相同,能够高精度地得到图像化对象区域和图像化非对象区域之间的边界曲线。结果,可以得到高精度的三维投影图像。
并且,根据本实施方式,在生成3D-ROI时关于径向面也进行同样的处理。由此,从多方向决定图像化对象区域和图像化非对象区域的边界曲线。因此,可以更高精度地设定3D-ROI,可以生成去除了关注区域以外的悬浮物或噪声的更高精度的体数据。
另外,修正边界曲线404的生成也可以使用第一实施方式或者第三实施方式的方法。

Claims (10)

1.一种诊断图像生成装置,其具有:
三维关注区域设定部,对于从生物体内的三维空间取得的数据的集合体即体数据,设定应用渲染处理的三维关注区域;
投影图像生成部,使用所述三维关注区域内的所述数据执行渲染处理,生成三维投影图像,
所述诊断图像生成装置的特征在于,
所述三维关注区域设定部,具有:
接受部,在所述体数据的预先决定的断层图像上接受来自用户的指示;
剪裁面决定部,决定所述三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面;
所述剪裁面决定部在所述断层图像上决定边界曲线,并且根据该边界曲线决定所述剪裁面,所述边界曲线经过基于所述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
2.根据权利要求1所述的诊断图像生成装置,其特征在于,
所述接受部将希望的剪裁面与所述断层图像的交线即初始边界曲线作为所述指示进行接受,
所述剪裁面决定部具有在所述初始边界曲线上检测所述开始点的开始点检测部。
3.根据权利要求1所述的诊断图像生成装置,其特征在于,
所述接受部将所述开始点作为所述指示进行接受。
4.根据权利要求1所述的诊断图像生成装置,其特征在于,
所述剪裁面决定部还具有修正所述边界曲线的修正部,
所述修正部在所述边界曲线上接受追加的指定点,将所述边界曲线修改为经过该指定点且连接亮度值最小的像素的曲线。
5.根据权利要求1所述的诊断图像生成装置,其特征在于,
所述剪裁面决定部进一步在与所述断层图像正交的断层图像上,决定经过与所述边界曲线的交点即开始点且连接最小亮度值的像素的第二边界曲线,将包含所述边界曲线以及所述第二边界曲线的面决定为剪裁面。
6.根据权利要求2所述的诊断图像生成装置,其特征在于,
所述剪裁面决定部具有:
能量图生成部,使用经过所述开始点的像素串将所述断层图像进行2分割,在分割后的各图像上分别计算各像素的所述能量值,分别生成能量图;
路径探索部,在所述各能量图上,探索最小能量路径,所述最小能量路径是连接像素值的总和为最小的像素的路径;
有效性判定部,根据所述初始边界曲线和所述最小能量路径之间的最大距离,分别决定所述分割后的各图像的分割边界曲线;
结合部,将所述分割边界曲线结合,得到所述边界曲线。
7.根据权利要求3所述的诊断图像生成装置,其特征在于,
所述剪裁面决定部具有:
能量图生成部,使用经过所述开始点的像素串将所述断层图像进行2分割,在分割后的各图像上分别计算各像素的所述能量值,分别生成能量图;
路径探索判定部,在所述各能量图上,探索连接像素值的总和为最小的像素的路径即最小能量路径,分别决定所述分割后的各图像的分割边界曲线;
结合部,将所述分割边界曲线结合,得到所述边界曲线,
所述路径探索判定部,进一步计算在探索所述最小能量路径时得到的1个以上的各路径候补的像素值的离散,将所述像素值的总和在第一阈值以下且所述离散在第二阈值以下的路径候补,作为所述分割边界曲线。
8.根据权利要求6所述的诊断图像生成装置,其特征在于,
所述有效性判定部在所述初始边界曲线与所述最小能量路径之间的最大距离在预先决定的距离阈值以上时,将所述初始边界曲线作为所述边界曲线,当所述最大距离小于所述距离阈值时,将所述最小能量路径作为所述边界曲线。
9.根据权利要求6所述的诊断图像生成装置,其特征在于,
有效性判定部在所述初始边界曲线和所述最小能量路径之间的最大距离在预先决定的第一距离阈值以上时,将所述初始边界曲线作为所述边界曲线,在所述最大距离比所述第一距离阈值小,且在比所述第一距离阈值小的第二距离阈值以上时,将所述第二距离阈值作为所述边界曲线,在所述最大距离比所述第二距离阈值小时,将所述最小能量路径作为所述边界曲线。
10.一种诊断图像生成方法,其特征在于,包括:
接受步骤,在从生物体内的三维空间取得的数据的集合体即体数据的预先决定的断层图像上,接受来自用户的指示;
剪裁面决定步骤,决定对于所述体数据应用渲染处理的三维关注区域的将图像化对象组织和图像化非对象组织空间分离的剪裁面;
投影图像生成步骤,对于通过所述剪裁面确定的所述三维关注区域的所述体数据,执行渲染处理;
所述剪裁面决定步骤在所述断层图像上决定边界曲线,并且根据该边界曲线决定所述剪裁面,所述边界曲线经过基于所述指示确定的开始点,并且连接反映了与各像素的亮度值邻接的像素的亮度值的能量值的总和为最小的像素。
CN201510098120.4A 2014-03-28 2015-03-05 诊断图像生成装置以及诊断图像生成方法 Active CN104939864B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-068619 2014-03-28
JP2014068619A JP5990834B2 (ja) 2014-03-28 2014-03-28 診断画像生成装置および診断画像生成方法

Publications (2)

Publication Number Publication Date
CN104939864A true CN104939864A (zh) 2015-09-30
CN104939864B CN104939864B (zh) 2017-12-08

Family

ID=52997181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510098120.4A Active CN104939864B (zh) 2014-03-28 2015-03-05 诊断图像生成装置以及诊断图像生成方法

Country Status (4)

Country Link
US (2) US9761041B2 (zh)
EP (1) EP2924656B1 (zh)
JP (1) JP5990834B2 (zh)
CN (1) CN104939864B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106725593A (zh) * 2016-11-22 2017-05-31 深圳开立生物医疗科技股份有限公司 超声三维胎儿面部轮廓图像处理方法系统
WO2020082269A1 (zh) * 2018-10-24 2020-04-30 中国医学科学院北京协和医院 一种成像方法以及成像系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6643827B2 (ja) * 2015-07-31 2020-02-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7341668B2 (ja) * 2018-02-16 2023-09-11 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置、及び画像処理プログラム
US20190374165A1 (en) * 2018-06-07 2019-12-12 Canon Medical Systems Corporation Image processing apparatus and method
JP7079680B2 (ja) * 2018-07-05 2022-06-02 富士フイルムヘルスケア株式会社 超音波撮像装置、および、画像処理装置
JP2021149145A (ja) 2020-03-16 2021-09-27 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
US11457891B2 (en) * 2020-08-17 2022-10-04 Clarius Mobile Health Corp. Method and system for defining cut lines to generate a 3D fetal representation
CN114255272A (zh) * 2020-09-25 2022-03-29 广东博智林机器人有限公司 基于靶标图像的定位方法及装置
CN112330633B (zh) * 2020-11-05 2021-06-15 哈尔滨市科佳通用机电股份有限公司 基于自适应带通滤波的跨接线胶带破损故障图像分割方法
CN113096145B (zh) * 2021-03-29 2024-05-14 毫末智行科技有限公司 基于霍夫变换及线性回归的目标边界检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1676104A (zh) * 2004-04-01 2005-10-05 株式会社美蒂森 用于形成3d超声图像的设备和方法
US20060058605A1 (en) * 2004-08-27 2006-03-16 Harald Deischinger User interactive method for indicating a region of interest
US20090219301A1 (en) * 2005-10-20 2009-09-03 Koninklijke Philips Electronics N.V. Ultrasonic imaging system and method
CN101833757A (zh) * 2009-03-11 2010-09-15 深圳迈瑞生物医疗电子股份有限公司 血管图像组织结构的边缘检测及血管内膜检测方法和系统
CN102038518A (zh) * 2009-10-15 2011-05-04 阿洛卡株式会社 超声波体数据处理装置
CN102163326A (zh) * 2010-12-22 2011-08-24 武汉沃生科学技术研究中心有限公司 血管超声图像中颈动脉血管内中膜的计算机自动分割和厚度均匀度分析方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4868843B2 (ja) * 2005-01-26 2012-02-01 株式会社東芝 超音波診断装置及び超音波診断装置の制御プログラム
JP4693465B2 (ja) * 2005-04-06 2011-06-01 株式会社東芝 3次元超音波診断装置及びボリュームデータ表示領域設定方法
JP5437767B2 (ja) * 2009-10-15 2014-03-12 日立アロカメディカル株式会社 超音波ボリュームデータ処理装置
CN102081697B (zh) * 2009-11-27 2013-12-11 深圳迈瑞生物医疗电子股份有限公司 一种在超声成像空间中定义感兴趣容积的方法及其装置
US20110255762A1 (en) * 2010-04-15 2011-10-20 Harald Deischinger Method and system for determining a region of interest in ultrasound data
JP2012010965A (ja) * 2010-06-30 2012-01-19 Toshiba Corp 超音波診断装置および超音波診断装置の制御方法
CN102883662B (zh) * 2011-05-11 2015-04-08 株式会社东芝 医疗图像处理设备以及其方法
JP2013141515A (ja) * 2012-01-11 2013-07-22 Hitachi Aloka Medical Ltd 医用画像装置及び医用画像構成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1676104A (zh) * 2004-04-01 2005-10-05 株式会社美蒂森 用于形成3d超声图像的设备和方法
US20060058605A1 (en) * 2004-08-27 2006-03-16 Harald Deischinger User interactive method for indicating a region of interest
US20090219301A1 (en) * 2005-10-20 2009-09-03 Koninklijke Philips Electronics N.V. Ultrasonic imaging system and method
CN101833757A (zh) * 2009-03-11 2010-09-15 深圳迈瑞生物医疗电子股份有限公司 血管图像组织结构的边缘检测及血管内膜检测方法和系统
CN102038518A (zh) * 2009-10-15 2011-05-04 阿洛卡株式会社 超声波体数据处理装置
CN102163326A (zh) * 2010-12-22 2011-08-24 武汉沃生科学技术研究中心有限公司 血管超声图像中颈动脉血管内中膜的计算机自动分割和厚度均匀度分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
E.MORTENSEN ET.AL.: "Adaptive boundary detection using `live-wire" two-dimensional dynamic programming", 《PROCEEDINGS COMPUTERS IN CARDIOLOGY》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106725593A (zh) * 2016-11-22 2017-05-31 深圳开立生物医疗科技股份有限公司 超声三维胎儿面部轮廓图像处理方法系统
WO2018095058A1 (zh) * 2016-11-22 2018-05-31 深圳开立生物医疗科技股份有限公司 超声三维胎儿面部轮廓图像处理方法及系统
CN106725593B (zh) * 2016-11-22 2020-08-11 深圳开立生物医疗科技股份有限公司 超声三维胎儿面部轮廓图像处理方法系统
WO2020082269A1 (zh) * 2018-10-24 2020-04-30 中国医学科学院北京协和医院 一种成像方法以及成像系统

Also Published As

Publication number Publication date
JP2015188617A (ja) 2015-11-02
US10347035B2 (en) 2019-07-09
EP2924656A1 (en) 2015-09-30
CN104939864B (zh) 2017-12-08
US20170270706A1 (en) 2017-09-21
JP5990834B2 (ja) 2016-09-14
US20150279086A1 (en) 2015-10-01
US9761041B2 (en) 2017-09-12
EP2924656B1 (en) 2020-03-18

Similar Documents

Publication Publication Date Title
CN104939864A (zh) 诊断图像生成装置以及诊断图像生成方法
US9119559B2 (en) Method and system of generating a 3D visualization from 2D images
US10878565B2 (en) Analyzing apparatus and analyzing method
KR101805619B1 (ko) 3차원 의료 영상으로부터 최적의 2차원 의료 영상을 자동으로 생성하는 방법 및 장치
KR101140934B1 (ko) 초음파 영상의 음속도 추정 방법 및 이를 적용한 초음파 진단 장치
US9008387B2 (en) Method and apparatus for processing ultrasound images
EP3826544A1 (en) Ultrasound system with an artificial neural network for guided liver imaging
US20120065499A1 (en) Medical image diagnosis device and region-of-interest setting method therefore
US20130267846A1 (en) Methods for Automatic Segmentation and Temporal Tracking
US9357981B2 (en) Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same
US20120078102A1 (en) 3-dimensional (3d) ultrasound system using image filtering and method for operating 3d ultrasound system
CN102525563B (zh) 超声波诊断装置、图像生成方法以及图像处理装置
CN113260314B (zh) 用于对比增强成像的系统和方法
US9629608B2 (en) Ultrasound diagnosis apparatus and control method
US20200305837A1 (en) System and method for guided ultrasound imaging
JP6204544B2 (ja) 診断画像生成装置
JP4528247B2 (ja) 超音波診断装置及び超音波画像処理方法
US20230270414A1 (en) Method and device for characterizing at least one object depicted in an ultrasound image
WO2020217860A1 (ja) 診断支援装置及び診断支援方法
CN116058875A (zh) 超声成像方法和超声成像系统
CN108289655B (zh) 具有中轴弯曲和横向偏心的心脏的超声心脏评估
JP2013223625A (ja) 超音波画像解析装置および超音波画像解析方法
US11413097B2 (en) Three dimensional mapping system for cranial surgical pathways with semi-targets and method
WO2020203873A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
CN116491986A (zh) 一种超声成像方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160721

Address after: Tokyo, Japan, Japan

Applicant after: Hitachi Ltd.

Address before: Tokyo, Japan, Japan

Applicant before: Hitachi Aloka Medical Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211111

Address after: Chiba County, Japan

Patentee after: Fujifilm medical health Co., Ltd

Address before: Tokyo, Japan

Patentee before: Hitachi Manufacturing Co., Ltd

TR01 Transfer of patent right