CN110638477B - 医用图像诊断装置以及对位方法 - Google Patents

医用图像诊断装置以及对位方法 Download PDF

Info

Publication number
CN110638477B
CN110638477B CN201810670240.0A CN201810670240A CN110638477B CN 110638477 B CN110638477 B CN 110638477B CN 201810670240 A CN201810670240 A CN 201810670240A CN 110638477 B CN110638477 B CN 110638477B
Authority
CN
China
Prior art keywords
image data
superpixel
super
tubular structure
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810670240.0A
Other languages
English (en)
Other versions
CN110638477A (zh
Inventor
简伟健
唐喆
陈颀
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to CN201810670240.0A priority Critical patent/CN110638477B/zh
Priority to JP2019094382A priority patent/JP7309447B2/ja
Priority to US16/451,802 priority patent/US11139069B2/en
Publication of CN110638477A publication Critical patent/CN110638477A/zh
Application granted granted Critical
Publication of CN110638477B publication Critical patent/CN110638477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种医用图像诊断装置以及对位方法,该医用图像诊断装置具有在医用图像数据间进行对位的功能,具备:输入部,受理相对于至少一方的上述医用图像数据所包含的被检体的管状构造物的标签付与;生成部,基于付与的上述标签生成与在上述医用图像数据内确定的多个小划区对应的多个超像素;以及对位部,使用生成的上述多个超像素来进行上述医用图像数据间的对位。

Description

医用图像诊断装置以及对位方法
技术领域
本发明涉及能够在医用图像数据间进行对位的医用图像诊断装置以及对位方法。
背景技术
针对由CT、MR、超声扫描仪等设备扫描而获得的单张图像,在现有的医用图像诊断装置中,存在通过对血管等管状组织通过人工标记来获得整个血管部分的图像的技术。
但是,针对同一患者,当进行了不同设备的扫描时,例如既进行了CT扫描又进行了超声扫描时,有时需要针对同一组织、例如同一血管,比对其在不同模态图像、即在CT扫描图像和在超声扫描图像中的特征,从而找出该血管的病变部位等。但有时由于在图像中血管很多,用户难以在上述两张扫描图像中找出对应的同一血管,从而无法进行迅速而又准确的诊断。
发明内容
因此,鉴于上述情况,本发明提供一种能够在不同的医用图像数据间找出相同的管状构造物的医用图像诊断装置以及对位方法。
本发明的医用图像诊断装置,具有在医用图像数据间进行对位的功能,具备:输入部,受理相对于至少一方的上述医用图像数据所包含的被检体的管状构造物的标签付与;生成部,基于付与的上述标签生成与在上述医用图像数据内确定的多个小划区对应的多个超像素;以及对位部,使用生成的上述多个超像素来进行上述医用图像数据间的对位。
另外,本发明的对位方法,在医用图像数据间进行对位,具备如下步骤:受理相对于至少一方的上述医用图像数据所包含的被检体的管状构造物的标签付与;基于付与的上述标签生成与在上述医用图像数据内确定的多个小划区对应的多个超像素;以及使用生成的上述多个超像素来进行上述医用图像数据间的对位。
发明效果
用户能够在针对同一患者以多种拍摄方法拍摄的多个图像中容易地找出相应的同一血管,实现不同模态图像之间的对位,从而能够进行迅速而又准确的诊断。
附图说明
图1是本发明的第1实施方式的医用图像诊断装置的结构框图。
图2是用于对医用图像进行超像素分割的示意图。
图3是超像素计算单元的结构图。
图4是用于说明医用图像数据之间的对位处理的图。
图5是用于说明医用图像数据之间的对位处理的流程图。
图6是用于说明如何在浮动图像中找出对应的超像素的流程图。
图7是表示对医用图像数据进行对位后的状态的示意图。
图8是本发明的第2实施方式的医用图像诊断装置的结构框图。
图9是在浮动图像中所计算的超像素错误时进行修正的说明图。
图10是本发明的第2实施方式的医用图像数据的对位处理的流程图。
图11是本发明的第3实施方式的医用图像诊断装置的结构框图。
图12是本发明的第3实施方式的医用图像数据的对位处理的流程图。
具体实施方式
下面,参考附图对本发明的医用图像诊断装置以及其中的对位方法进行说明。
第1实施方式
下面,基于图1~图7对本发明的第1实施方式的医用图像诊断装置进行说明。
图1是医用图像诊断装置100的结构框图。
如图1所示,医用图像诊断装置100具备特征提取单元101、图像分割单元102、超像素标记单元103以及超像素计算单元104。
特征提取单元101针对医生等用户所选择出的医用图像,提取灰度值、梯度、形状、位置以及黑森矩阵等图像特征。
图像分割单元102用于对用户所选择出的各医用图像进行超像素分割。
超像素分割是为了定位图像中的物体和边界等将图像细分为多个图像子区域、即超像素的过程。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。
图2示出了对同一患者拍摄的两幅图像,其中,(a)的左侧的图像是超声图像P1,(b)的左侧的图像是CT图像P2,在该两幅图中分别示出有相同的血管,在超声图像P1中示出有血管vs1,CT图像P2中示出有与血管vs1相同的血管vs2。
在图2中,(a)的右侧的图是将超声图像P1进行超像素分割后的将图中的方框部分放大示出的包括血管vs1的超像素分割图S1,(b)的右侧的图是将CT图像P2进行超像素分割后的将图中的方框部分放大示出的包括血管vs2的超像素分割图S2。超像素分割图S1以及超像素分割图S2分别由多个超像素sp构成。
在图2的(a)中,仅清楚地示出了包括血管vs1的Y形血管,在图2的(b)中,清楚地示出了包括血管vs2的Y形血管,但这是为了描述方便而选择的附图,通常在各个图像中会同时存在多条血管,假设在超声图像P1中定位了血管vs1的情况下,很难用肉眼在CT图像P2中找出其对应的相同的血管vs2。
另外,在本发明中,用超声图像P1来代表参考图像,并用CT图像P2来代表浮动图像,通过在以超声图像P1为代表的参考图像上连续标记构成血管的超像素,能够自动地在以CT图像P2为代表的浮动图像上显示对应的血管的超像素,从而显示出对应的血管。
超像素标记单元103受理用户用手指或者电容笔等对显示于触控面板上的超像素分割图进行的标记、即标签付与,能够将所标记的点所处于的超像素或者所标记的线所经过的超像素进行强调显示,也就是说,能够基于付与的标签生成与在各医用图像数据内确定的多个小划区对应的多个超像素。该强调显示例如可以是通过改变超像素的颜色等而与其它超像素区别开来。
超像素计算单元104针对参考图像和浮动图像中的同一组成部分、如血管,根据在参考图像上进行连续的划线标记而强调显示的多个超像素以及在浮动图像上标记的起始超像素,而在浮动图像上计算与参考图像上的超像素对应的超像素,并进行强调显示,从而进行参考图像与浮动图像的数据间的对位。
图3是示出超像素计算单元104的结构的结构图。超像素计算单元104具备中心点计算单元1041、矩阵生成单元1042、坐标转换单元1043、选择单元1044、特征取得单元1045、相似度计算单元1046、判断单元1047以及决定单元1048。
中心点计算单元1041能够针对超像素标记单元103强调显示的超像素而计算出该超像素的重心来作为该超像素的中心点。
图4是用于说明医用图像数据之间的对位处理的图,其中,(a)对应图2的(a)中的超像素分割图S1,(b)对应图2的(b)中的超像素分割图S2,在图4中,为了使各个标记更加清楚,去除了超像素分割图S1以及S2中的灰度。
如图4所示,在超像素分割图S1中,中心点计算单元1041能够计算出通过标记而获得的超像素sp1以及超像素sp2的中心点,将该中心点分别以坐标x1以及x2来表示,在超像素分割图S2中,中心点计算单元1041能够计算出通过标记而获得的超像素sp1′的中心点,将该中心点以坐标y1来表示。
矩阵生成单元1042根据超像素分割图S1的血管vs1的多个超像素(至少2个超像素)的中心点坐标以及超像素分割图S2的血管vs2的与血管vs1的上述多个超像素对应的超像素的中心点坐标来生成超像素分割图S1的血管vs1与超像素分割图S2的血管vs2之间的变换矩阵T。该变换矩阵T例如为仿射变换矩阵,该仿射变换矩阵例如能够通过最小二乘法来计算。
坐标转换单元1043将坐标x2与变换矩阵T相乘来获得超像素分割图S2的超像素sp2′的推测坐标C(x2)。
选择单元1044在以坐标C(x2)为中心的半径r的范围内,分别选择全部或部分处于该范围内的超像素,如图4所示,分别选择超像素spx′、spy′、spz′、sp2′。当然,该半径r的大小可以根据需要来进行设定。
特征取得单元1045针对这些超像素spx′、spy′、spz′、sp2′的每个从特征提取部101提取的特征中取得其各自的特征,如灰度值、梯度、形状、位置以及黑森矩阵等。
例如取得超像素的1~d个特征,在取得超像素spx′的特征时,将其特征以集合aj=(aj1,aj2,…,ajd)来表示。同时,特征取得单元1045针对超像素分割图S1中的超像素sp2取得其特征a2=(a21,a22,…,a2d)。
相似度计算单元1046计算超像素分割图S1中的超像素sp2与超像素分割图S2中的超像素spx′的特征的相似度,具体为,将特征aj与a2放入一个集合,即形成集合ak=(a2,aj)=(a21,a22,…,a2d,aj1,aj2,…,ajd),并对各个特征进行比对,来计算特征aj与a2的整体的相似度s2j
判断单元1047判断在CT图像P2的超像素分割图S2中以坐标C(x2)为中心的半径r的范围内是否所有超像素都被选择。
决定单元1048通过比较超像素spx′、spy′、spz′、sp2′的每个的特征与超像素sp2的特征的相似度来将具有最近似的相似度(相似度最高)的超像素决定为CT图像P2中的与超像素sp2对应的超像素。
下面,基于图2、图4、图5来说明医用图像数据的对位处理,其中,图5是用于说明医用图像数据的对位处理的流程图。
首先,用户找出对同一患者拍摄的两幅图像,即、超声图像P1(参考图像)和CT图像P2(浮动图像),在该两幅图像中,通过用户对图像切片位置的比对等判断应该存在相同的血管,即、超声图像P1中的血管vs1和CT图像P2中的血管vs2。也就是说,用户获得存在相同的血管的参考图像和浮动图像(步骤S11)。
然后,特征提取单元101针对超声图像P1和CT图像P2,提取灰度值、梯度、形状、位置以及黑森矩阵等图像特征(步骤S12)。
然后,如图2的右侧部分的超像素分割图S1以及超像素分割图S2所示,图像分割单元102对用户所选择出的超声图像P1和CT图像P2进行超像素分割(步骤S13)。
然后,如图4的(b)所示,在超像素分割图S2、即CT图像P2中,用户用手指或者电容笔等触碰超像素sp1′所在的位置来进行手工标记,超像素标记单元103受理用户的标记、即标签付与,从而将所标记的点所处于的超像素sp1′进行强调显示、即生成超像素sp1′(步骤S14)。
然后,如图4的(a)所示,在超像素分割图S1、即超声图像P1中,用户用手指或者电容笔等沿着血管vs1的延伸方向,以与超像素sp1′对应的超像素sp1所位于的位置为起点连续地划线,从而对血管vs1进行手工标记,超像素标记单元103受理用户的标记、即标签付与,从而将所标记的划线所处于的超像素sp1、sp2等进行强调显示,血管vs1被逐渐显示(步骤S15)。
然后,超像素计算单元104根据在超像素分割图S1、即超声图像P1上进行连续的划线标记而强调显示的多个超像素以及在超像素分割图S2、即CT图像P2上标记的起始像素,而在超像素分割图S2、即CT图像P2中计算与超声图像P1的多个超像素对应的超像素,并进行强调显示而自动进行标记(步骤S16)。
下面,基于图4、图6来说明在CT图像P2中计算对应的超像素的方法,其中,图6是用于说明如何在浮动图像中找出对应的超像素的流程图。
首先,如图4的(a)所示,针对超像素分割图S1,中心点计算单元1041计算连续划线标记出的超像素sp1以及超像素sp2的中心点坐标x1以及x2,针对超像素分割图S2,中心点计算单元1041计算通过标记而获得的超像素sp1′的中心点坐标y1,矩阵生成单元1042根据中心点坐标x1、x2以及y1,生成超像素分割图S1的血管vs1与超像素分割图S2的血管vs2之间的变换矩阵T(步骤S161)。
然后,如图4的(b)所示,在超像素分割图S2、即CT图像P2中,坐标转换单元1043将坐标x2与变换矩阵T相乘来获得超像素分割图S2的超像素sp2′的推测坐标C(x2)(步骤S162)。
然后,如图4的(a)所示,在超像素分割图S1、即超声图像P1中,特征取得单元1045取得在划线标记中后标记、即最新标记的超像素sp2的特征a2=(a21,a22,…,a2d)(步骤S163)。
然后,如图4的(b)所示,在超像素分割图S2、即CT图像P2中,选择单元1044在以坐标C(x2)为中心的半径r的范围内,选择部分处于该范围内的超像素spx′,特征取得单元1045针对该超像素spx′,从特征提取部101提取的特征中取得其特征aj=(aj1,aj2,…,ajd)(步骤S164)。
然后,相似度计算单元1046将特征aj与a2放入一个集合,即形成集合ak=(a2,aj)=(a21,a22,…,a2d,aj1,aj2,…,ajd),并对各个特征进行比对,来计算特征a2与aj的整体的相似度s2j,从而计算超像素分割图S1中的超像素sp2与超像素分割图S2中的超像素spx′的特征的相似度(步骤S165)。
然后,判断单元1047判断在以坐标C(x2)为中心的半径r的范围内的所有超像素是否都被选择(步骤S166)。在判断为未都被选择的情况下(步骤S166的否),返回步骤S164,如图4的(b)所示,在超像素分割图S2中,选择超像素spy′、spz′或者sp2′并取得其特征,然后进行步骤S165。在判断为超像素spx′、spy′、spz′、sp2′都被选择的情况下(步骤S166的是),决定单元1048通过比较超像素spx′、spy′、spz′、sp2′的每个的特征与超像素sp2的特征的相似度来将具有最近似的相似度的超像素决定为CT图像P2中的对应超像素(步骤S167),在此,由于超像素sp2′与超像素sp2的灰度值最相似,都是血管,且形状也相似等,因此在CT图像P2中,将超像素sp2′决定为与超声图像P1中的超像素sp2对应的超像素。
图7是表示对医用图像数据进行对位后的状态的图。在图7的(b)中,在CT图像P2中的超像素分割图S2中,当在超像素sp1′(起始超像素)所处的区域的某一点进行了标记的情况下,在图7的(a)中,在超声图像P1中的超像素分割图S1中,从超像素sp1(起始超像素)所处的区域的某一点开始沿着血管vs1的方向连续划线至超像素sp6所处的区域的某一点时,如图7的(b)所示,能够在CT图像P2中的超像素分割图S2中自动地标记至超像素sp6′,从而自动地找出与血管vs1对应的血管vs2。因此,用户能够在超声图像P1以及CT图像P2这两张扫描图像中容易地找出同一血管,从而能够进行迅速而又准确的诊断。
另外,在超像素计算单元104中,也可以不具备特征取得单元1045和判断单元1047,在不具备特征取得单元1045时,由特征提取单元101提供超像素的特征,在不具备判断单元1047时,省略图6中的步骤S166,此时,在步骤S164中,如图4的(b)所示,在超像素分割图S2、即CT图像P2中,选择单元1044在以坐标C(x2)为中心的半径r的范围内,选择部分处于该范围内的所有超像素spx′、spy′、spz′以及sp2′,并由特征提取单元101提供各超像素的特征,然后,在步骤S165中,相似度计算单元1046计算超像素分割图S1中的超像素sp2分别与超像素分割图S2中的超像素spx′、spy′、spz′以及sp2′的特征的相似度,然后,在步骤S167中,决定单元1048将超像素spx′、spy′、spz′、sp2′中与超像素sp2的特征最近似的超像素决定为CT图像P2中的对应超像素。
另外,如上所述,以图4为例说明了计算对应的超像素的方法,在图7中,在计算超像素sp6′时,根据超像素分割图S1中的血管vs1的各个超像素的中心点坐标x1、x2、x3、x4、x5以及超像素分割图S2中的血管vs2的与上述各超像素的中心点坐标对应的超像素的中心点的坐标y1、y2、y3、y4、y5,来计算血管vs1与血管vs2之间的变换矩阵T,并根据超像素sp6的中心点坐标x6与变换矩阵T相乘来计算出超像素sp6′的中心点的推测坐标,之后的超像素sp6′的计算方法如图6中的步骤S163~步骤S167。
第2实施方式
下面,基于图8~图10对本发明的第2实施方式的医用图像诊断装置200进行说明。
而且,仅对不同于第1实施方式的区别点进行说明,对与第1实施方式相同的部分赋予相应的附图标记而省略重复说明或简化说明。
图8是医用图像诊断装置200的结构框图,图9是在CT图像的超像素分割图S2中所计算的超像素错误时进行修正的说明图,图10是医用图像数据的对位处理的流程图。
如图8所示,医用图像诊断装置200具备特征提取单元201、图像分割单元202、超像素标记单元203、超像素计算单元204以及修正输入单元205。
其中,特征提取单元201、图像分割单元202、超像素标记单元203以及超像素计算单元204的功能与第一实施方式中的特征提取单元101、图像分割单元102、超像素标记单元103以及超像素计算单元104的功能相同,因此对这些单元进行简化说明。
特征提取单元201针对医生等用户所选择出的医用图像,提取灰度值、梯度、形状、位置以及黑森矩阵等图像特征。
图像分割单元202用于对用户所选择出的各医用图像进行超像素分割。
超像素标记单元203受理用户用手指或者电容笔等对显示于触控面板上的超像素分割图进行的标记、即标签付与,能够将所标记的点所处于的超像素或者所标记的线所经过的超像素进行强调显示。
超像素计算单元204根据在参考图像上进行连续的划线标记而强调显示的多个超像素,而在浮动图像上计算对应的超像素,并进行强调显示。
修正输入单元205针对超像素计算单元204的计算结果(对位结果),由用户(操作者)判断该计算结果是否适当,在判断为不适当的情况下,受理用户通过付与标签而进行的修正指示。
下面,基于图9对修正输入单元205的功能进行说明。
在图9的(b)中,在CT图像中的超像素分割图S2中,当在超像素sp1′(起始超像素)所处的区域的某一点进行了标记的情况下,由超像素标记单元203生成超像素sp1′,在图9的(a)中,在超声图像中的超像素分割图S1中,从超像素sp1(起始超像素)所处的区域的某一点开始沿着血管vs1的方向经由超像素sp2、sp3连续划线至超像素sp4所处的区域的某一点时,针对超像素sp2、sp3,超像素计算单元204在超像素分割图S2的血管vs2中计算为其对应的超像素为sp2′、sp 3′,但针对超像素sp4,超像素计算单元204计算为其对应的超像素为sp0′,此时,用户意识到该计算结果是不适当、即错误的,用户以用手指或者电容笔等触摸显示屏而将超像素sp0′拖动至正确的超像素sp4′或者先点击超像素sp0′然后点击超像素sp4′等的方式付与标签来进行修正指示,修正输入单元205受理用户的该修正指示。
下面,基于图9、图10来说明医用图像数据的对位处理。
其中,步骤S21~步骤S26与第一实施方式的步骤S11~步骤S16相同,因此省略重复的说明。
在步骤S27中,当用户判断为超像素计算单元204的计算结果正确的情况下(步骤S27的是),返回步骤S25,在超声图像、即参考图像中继续连续地手工标记血管的动作,当用户判断为超像素计算单元204的计算结果不适当、即错误的情况下(步骤S27的否),由用户付与标签来进行修正指示,修正输入单元205受理用户的该修正指示,超像素标记单元203基于该修正指示后的标签,以将该标签所处于的超像素进行强调显示的方式生成该超像素,如图9的(b)所示那样,将错误的超像素sp0′修正为正确的超像素sp4′,即人工选择对应的正确的超像素(步骤S28),然后,返回步骤S25,在超声图像、即参考图像中继续连续地手工标记血管的动作。
因此,当超像素计算单元204的计算结果错误的情况下,能够人工地将错误的超像素修正为正确的超像素,从而用户能够在CT图像、即浮动图像中容易地找出与超声图像、即参考图像中的血管vs1相同的血管vs2,从而能够进行迅速而又准确的诊断。
第3实施方式
下面,基于图11~图12对本发明的第3实施方式的医用图像诊断装置进行说明。
而且,仅对不同于第2实施方式的区别点进行说明,对与第2实施方式相同的部分赋予相应的附图标记而省略重复说明。
图11是本发明的医用图像诊断装置300的结构框图。图12是医用图像数据的对位处理的流程图。
医用图像诊断装置300具有特征提取单元301、图像分割单元302、超像素标记单元303、超像素计算单元304、修正输入单元305以及训练单元306。
其中,特征提取单元301、图像分割单元302、超像素标记单元303、超像素计算单元304以及修正输入单元305的功能与第二实施方式中的特征提取单元201、图像分割单元202、超像素标记单元203、超像素计算单元204以及修正输入单元205的功能相同,因此省略对这些单元的说明。
训练单元306以如下方式训练超像素计算单元304:对修正输入单元305所受理的修正指示和超像素计算单元304所计算的超像素的计算结果进行存储,对超像素的正确的计算结果付与大的权重,对被修正指示的错误的计算结果付与小的权重,随着训练过程的迭代,在以后,使正确的超像素被选取的概率越来越高。
下面,基于图12来说明医用图像数据的对位处理。
其中,步骤S31~步骤S35、步骤S37、步骤S38与第二实施方式的步骤S21~步骤S25、步骤S27、步骤S28相同,因此省略重复的说明。
在步骤S39中,训练单元306根据修正输入单元305所受理的修正指示以及超像素计算单元304所计算出的正确的超像素的计算结果来训练超像素计算单元304,将该训练结果反应到以后的超像素的生成中,以便在以后的超像素的生成中,生成正确的超像素。
在步骤S36中,超像素计算单元304参考训练单元306对该超像素计算单元304进行训练而得到的以往的训练结果,在CT图像、即浮动图像中计算与超声图像、即参考图像中的超像素对应的超像素,并对该超像素自动进行标记。
在上述实施方式中,通过训练单元306对超像素计算单元304的训练,能够使超像素计算单元304的超像素的计算结果更加准确,从而用户能够进行更加迅速且准确的诊断。
而且,在上述实施方式中,也可以构成为,超像素计算单元304具有学习部,该学习部学习修正输入单元305所受理的修正指示,并将该学习结果反应到医用图像诊断装置300的超像素计算单元304的以后的超像素的生成中。
在本发明中,举出了超声图像和CT图像为例,来进行它们的数据之间的对位,但也可以是以其它拍摄方法拍摄而获得的图像,另外,为了说明方便,使用了参考图像和浮动图像这样的名称,但只要是对同一患者拍摄的多种图像,也可以使用其它名称。
如上所述,虽然对本发明的多个实施方式进行了说明,但这些实施方式是作为例子而示出的,并不意图对发明的范围进行限定。这些新的实施方式能够以其他各种方式加以实施,在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨中,并包含于技术方案所记载的发明和与其等同的范围中。

Claims (7)

1.一种医用图像诊断装置,具有在医用图像数据间进行对位的功能,其特征在于,具备:
输入部,受理相对于至少一方的上述医用图像数据所包含的被检体的管状构造物的标签付与;
生成部,基于付与的上述标签生成与在上述医用图像数据内确定的多个小划区对应的多个超像素;以及
对位部,使用生成的上述多个超像素来进行上述医用图像数据间的对位,
上述医用图像数据包含第1图像数据和第2图像数据,
上述第1图像数据是参考图像的数据,上述第2图像数据是浮动图像的数据,
上述生成部针对上述第1图像数据以及上述第2图像数据分别生成多个超像素,
上述对位部根据通过在上述第1图像数据中包含的被检体的管状构造物的第1图像上进行连续的划线标记而生成的多个超像素以及在上述第2图像数据中包含的被检体的同一管状构造物的第2图像上标记的起始超像素,针对上述第2图像计算并生成与上述第1图像的超像素对应的超像素,由此进行上述第1图像数据与上述第2图像数据之间的对位。
2.如权利要求1所述的医用图像诊断装置,其特征在于,
上述管状构造物为血管。
3.如权利要求1所述的医用图像诊断装置,其特征在于,
上述对位部具备:
中心点计算单元,计算超像素的重心来作为该超像素的中心点;
矩阵生成单元,根据上述第1图像数据中的第1管状构造物的至少2个超像素的中心点的坐标以及上述第2图像数据中的第2管状构造物的与上述至少2个超像素对应的超像素的中心点的坐标生成上述第1管状构造物与上述第2管状构造物之间的变换矩阵;
坐标转换单元,根据上述第1管状构造物的第1超像素的中心点的坐标和上述变换矩阵来生成上述第2管状构造物的与上述第1超像素对应的第2超像素的中心点的推测坐标;
选择单元,在以上述推测坐标为中心的规定的半径的范围内,选择多个超像素;
相似度计算单元,计算上述第1管状构造物的上述第1超像素的特征与上述选择单元所选择的上述多个超像素的每个的特征的相似度;以及
决定单元,将上述第2管状构造物的由上述选择单元所选择的上述多个超像素中的特征的相似度最高的超像素决定为上述第2超像素。
4.如权利要求1~3中任一项所述的医用图像诊断装置,其特征在于,
还具备修正输入部,该修正输入部针对上述对位部的对位结果,受理操作者通过付与上述标签而进行的修正指示,
上述生成部再生成基于该修正指示后的标签的超像素。
5.如权利要求4所述的医用图像诊断装置,其特征在于,
还具备学习部,该学习部学习上述修正输入部所受理的修正指示,并将学习的结果反映到以后的超像素的生成中。
6.一种对位方法,在医用图像数据间进行对位,其特征在于,具备如下步骤:
受理相对于至少一方的上述医用图像数据所包含的被检体的管状构造物的标签付与;
基于付与的上述标签生成与在上述医用图像数据内确定的多个小划区对应的多个超像素;以及
使用生成的上述多个超像素来进行上述医用图像数据间的对位,
上述医用图像数据包含第1图像数据和第2图像数据,
上述第1图像数据是参考图像的数据,上述第2图像数据是浮动图像的数据,
在上述对位方法中,针对上述第1图像数据以及上述第2图像数据分别生成多个超像素,
根据通过在上述第1图像数据中包含的被检体的管状构造物的第1图像上进行连续的划线标记而生成的多个超像素以及在上述第2图像数据中包含的被检体的同一管状构造物的第2图像上标记的起始超像素,针对上述第2图像计算并生成与上述第1图像的超像素对应的超像素,由此进行上述第1图像数据与上述第2图像数据之间的对位。
7.如权利要求6所述的对位方法,其特征在于,
上述医用图像数据间的对位具备如下步骤:
计算超像素的重心来作为该超像素的中心点;
根据上述第1图像数据中的第1管状构造物的至少2个超像素的中心点的坐标以及上述第2图像数据中的第2管状构造物的与上述至少2个超像素对应的超像素的中心点的坐标生成上述第1管状构造物与上述第2管状构造物之间的变换矩阵;
根据上述第1管状构造物的第1超像素的中心点的坐标和上述变换矩阵来生成上述第2管状构造物的与上述第1超像素对应的第2超像素的中心点的推测坐标;
在以上述推测坐标为中心的规定的半径的范围内,选择多个超像素;
计算上述第1管状构造物的上述第1超像素的特征与所选择的上述多个超像素的每个的特征的相似度;以及
将上述第2管状构造物的所选择的上述多个超像素中的特征的相似度最高的超像素决定为上述第2超像素。
CN201810670240.0A 2018-06-26 2018-06-26 医用图像诊断装置以及对位方法 Active CN110638477B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810670240.0A CN110638477B (zh) 2018-06-26 2018-06-26 医用图像诊断装置以及对位方法
JP2019094382A JP7309447B2 (ja) 2018-06-26 2019-05-20 医用画像診断装置、画像処理装置及び位置合わせ方法
US16/451,802 US11139069B2 (en) 2018-06-26 2019-06-25 Medical image diagnostic apparatus, image processing apparatus, and registration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810670240.0A CN110638477B (zh) 2018-06-26 2018-06-26 医用图像诊断装置以及对位方法

Publications (2)

Publication Number Publication Date
CN110638477A CN110638477A (zh) 2020-01-03
CN110638477B true CN110638477B (zh) 2023-08-11

Family

ID=68988374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810670240.0A Active CN110638477B (zh) 2018-06-26 2018-06-26 医用图像诊断装置以及对位方法

Country Status (2)

Country Link
JP (1) JP7309447B2 (zh)
CN (1) CN110638477B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308381B1 (ko) * 2020-11-09 2021-10-06 인그래디언트 주식회사 유연한 슈퍼픽셀에 기초한 의료 영상 라벨링 방법 및 이를 위한 장치

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009022459A (ja) * 2007-07-18 2009-02-05 Toshiba Corp 医用画像処理表示装置、およびその処理プログラム
EP2639745A1 (en) * 2012-03-16 2013-09-18 Thomson Licensing Object identification in images or image sequences
JP2014134517A (ja) * 2013-01-11 2014-07-24 Tokyo Institute Of Technology 病理組織画像解析方法、病理組織画像解析装置及び病理組織画像解析プログラム
CN104622495A (zh) * 2013-11-11 2015-05-20 株式会社东芝 医用图像处理装置以及医用图像处理方法
CN105246409A (zh) * 2013-06-06 2016-01-13 株式会社日立制作所 图像处理装置及图像处理方法
WO2016061502A1 (en) * 2014-10-17 2016-04-21 Washington University Super-pixel detection for wearable diffuse optical tomography
CN105825502A (zh) * 2016-03-12 2016-08-03 浙江大学 一种基于显著性指导的词典学习的弱监督图像解析方法
CN105957063A (zh) * 2016-04-22 2016-09-21 北京理工大学 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统
CN106780485A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于超像素分割和特征学习的sar图像变化检测方法
CN106991676A (zh) * 2017-04-06 2017-07-28 哈尔滨理工大学 一种局部相关的超像素融合方法
CN107146228A (zh) * 2017-03-22 2017-09-08 东南大学 一种基于先验知识的大脑磁共振图像超体素生成方法
CN107230206A (zh) * 2017-06-02 2017-10-03 太原理工大学 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN107730542A (zh) * 2017-08-29 2018-02-23 北京大学 锥束计算机断层扫描图像对应与配准方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2520338A (en) * 2013-11-19 2015-05-20 Nokia Corp Automatic scene parsing
JP6437286B2 (ja) * 2014-11-26 2018-12-12 株式会社東芝 画像処理装置、画像処理プログラム、画像処理方法及び治療システム
JP6383483B2 (ja) * 2015-02-26 2018-08-29 株式会社日立製作所 超音波撮像装置、および、画像処理装置
US10037603B2 (en) * 2015-05-04 2018-07-31 Siemens Healthcare Gmbh Method and system for whole body bone removal and vascular visualization in medical image data
US9576356B2 (en) * 2015-05-08 2017-02-21 Siemens Healthcare Gmbh Region clustering forest for analyzing medical imaging data
US10169871B2 (en) * 2016-01-21 2019-01-01 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
JP6611660B2 (ja) * 2016-04-13 2019-11-27 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009022459A (ja) * 2007-07-18 2009-02-05 Toshiba Corp 医用画像処理表示装置、およびその処理プログラム
EP2639745A1 (en) * 2012-03-16 2013-09-18 Thomson Licensing Object identification in images or image sequences
JP2014134517A (ja) * 2013-01-11 2014-07-24 Tokyo Institute Of Technology 病理組織画像解析方法、病理組織画像解析装置及び病理組織画像解析プログラム
CN105246409A (zh) * 2013-06-06 2016-01-13 株式会社日立制作所 图像处理装置及图像处理方法
CN104622495A (zh) * 2013-11-11 2015-05-20 株式会社东芝 医用图像处理装置以及医用图像处理方法
WO2016061502A1 (en) * 2014-10-17 2016-04-21 Washington University Super-pixel detection for wearable diffuse optical tomography
CN105825502A (zh) * 2016-03-12 2016-08-03 浙江大学 一种基于显著性指导的词典学习的弱监督图像解析方法
CN105957063A (zh) * 2016-04-22 2016-09-21 北京理工大学 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN106780485A (zh) * 2017-01-12 2017-05-31 西安电子科技大学 基于超像素分割和特征学习的sar图像变化检测方法
CN107146228A (zh) * 2017-03-22 2017-09-08 东南大学 一种基于先验知识的大脑磁共振图像超体素生成方法
CN106991676A (zh) * 2017-04-06 2017-07-28 哈尔滨理工大学 一种局部相关的超像素融合方法
CN107230206A (zh) * 2017-06-02 2017-10-03 太原理工大学 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
CN107730542A (zh) * 2017-08-29 2018-02-23 北京大学 锥束计算机断层扫描图像对应与配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
癌症诊疗中的医学图像配准和分割算法研究;苏坡;《中国博士学位论文全文数据库 信息科技辑》;20150715(第7期);参见第69-114页 *

Also Published As

Publication number Publication date
JP7309447B2 (ja) 2023-07-18
JP2020000852A (ja) 2020-01-09
CN110638477A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
US7995864B2 (en) Method and system for performing image registration
US8290303B2 (en) Enhanced system and method for volume based registration
EP3509013A1 (en) Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
EP1204074B1 (en) Apparatus for automatically setting measurement reference element and measuring geometric feature of image
US8295568B2 (en) Medical image display processing apparatus and medical image display processing program
US9542741B2 (en) Method and system for automatic pelvis unfolding from 3D computed tomography images
CN109124662B (zh) 肋骨中心线检测装置及方法
JP2016147026A (ja) 画像処理装置、画像処理方法およびプログラム
JP6886260B2 (ja) 画像処理装置、その制御方法、およびプログラム
JP6490820B2 (ja) 超音波撮像装置、画像処理装置、及び方法
WO2004051571A2 (en) Image fusion with registration confidence measure
CN112381811B (zh) 一种实现医学影像数据标注的方法、装置及设备
CN113643184B (zh) 基于光学相干断层扫描的眼底血管展示方法、系统及介质
CN115713590A (zh) 一种基于ct的三维重建图像处理方法及系统
CN107633478B (zh) 图像处理装置、图像处理方法以及计算机可读介质
CN110638477B (zh) 医用图像诊断装置以及对位方法
US20220249174A1 (en) Surgical navigation system, information processing device and information processing method
JP2007105352A (ja) 差分画像表示装置、差分画像表示方法およびそのプログラム
US11139069B2 (en) Medical image diagnostic apparatus, image processing apparatus, and registration method
JP5923067B2 (ja) 診断支援装置および診断支援方法並びに診断支援プログラム
WO2023183699A9 (en) Method and system for cross-referencing of two-dimensional (2d) ultrasound scans of a tissue volume
CN110680321A (zh) 脊柱mri扫描参数的确定方法、装置及图像处理设备
JP6821303B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2021138262A1 (en) Systems and methods for telestration with spatial memory
WO2009077938A1 (en) Successive landmark-based image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant