CN107440730B - 乳房影像对位方法与影像处理装置 - Google Patents

乳房影像对位方法与影像处理装置 Download PDF

Info

Publication number
CN107440730B
CN107440730B CN201710324965.XA CN201710324965A CN107440730B CN 107440730 B CN107440730 B CN 107440730B CN 201710324965 A CN201710324965 A CN 201710324965A CN 107440730 B CN107440730 B CN 107440730B
Authority
CN
China
Prior art keywords
breast
image
interest
region
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710324965.XA
Other languages
English (en)
Other versions
CN107440730A (zh
Inventor
张瑞峰
陈荣泰
陈鸿豪
徐振峰
赖信宏
张元严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taihao Medical Inc
Original Assignee
Taihao Medical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taihao Medical Inc filed Critical Taihao Medical Inc
Publication of CN107440730A publication Critical patent/CN107440730A/zh
Application granted granted Critical
Publication of CN107440730B publication Critical patent/CN107440730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种乳房影像对位方法以及其影像处理装置。乳房影像对位方法包括下列步骤。取得以X光由不同的拍摄方向所拍摄的一组第一乳房影像。取得以超音波所扫描的第二乳房影像。在该组的第一乳房影像上，选取共同的第一关注区域。计算第一关注区域在每一第一乳房影像的距离参数与方位参数。通过跨模态对位模型，基于距离参数与方位参数，判断第一关注区域在第二乳房影像中的位置。

Description

乳房影像对位方法与影像处理装置
技术领域
本发明涉及一种影像对位技术以及相关的装置，且特别是涉及一种乳房影像的对位方法以及相关的影像处理装置。
背景技术
乳腺癌(mammary carcinoma)是女性常见的恶性肿瘤之一，其主要症状包括乳房肿瘤(tumor)、异常分泌物或形状变异等。提早筛检出乳房的异常症状，将有助于尽早针对肿瘤进行治疗，以降低癌细胞恶化或扩散等问题。诸如临床或自我乳房检测、活体组织检查、乳房摄影术(mammography)、超音波(ultrasound)显像或磁共振(magnetic resonance)显像等筛检方式已广泛在临床上使用或成为学术研究的重要议题。
一般而言，不论是乳房摄影术(mammography)、超音波(ultrasound)显像或磁共振(magnetic resonance)显像等显像技术，为了确保后续的乳房检查范围可以囊括整个乳房，每个乳房都需要由多个方向进行拍摄或扫描以取得多张乳房影像，而组成相对的三维立体影像更需要数百张的切片。当存在大量的乳房影像，特别是前述乳房影像分别由多种显像技术来取得时，不管是通过人眼或者是使用电脑辅助检测(Computer AidedDetection；CADe)系统来逐一地对每张影像上是否存在肿瘤、肿块或钙化点进行检查，都是相当耗时且浪费人力资源或硬件资源。
发明内容
本发明实施例提供乳房影像对位方法以及其影像处理装置，可以有效地降低对一系列乳房影像进行查验的时间并提升查验的效能。
本发明实施例提供一种乳房影像对位方法，包括下列步骤。取得以X光(X-ray)由不同的拍摄方向所拍摄的一组第一乳房影像，并且取得以超音波所扫描的第二乳房影像。在该组的第一乳房影像上，选取共同的第一关注区域(Region of interest,ROI)。计算第一关注区域在每一第一乳房影像的距离参数与方位参数。通过跨模态对位模型，基于前述距离参数与前述方位参数，判断第一关注区域在第二乳房影像中的位置。
本发明实施例另提供一种影像处理装置。影像处理装置包括存储单元与处理单元。存储单元储存以X光由不同的拍摄方向所拍摄的一组第一乳房影像、以超音波所扫描的第二乳房影像以及记录多个模块。处理单元耦接存储单元，且存取并执行存储单元所记录的模块。前述模块包括影像输入模块、第一选取模块、第一计算模块与第一判断模块。影像输入模块取得该组的第一乳房影像与第二乳房影像。第一选取模块在该组的第一乳房影像上，选取共同的第一关注区域。第一计算模块计算第一关注区域在每一第一乳房影像的距离参数与方位参数。第一判断模块通过跨模态对位模型，基于前述距离参数与前述方位参数，判断第一关注区域在第二乳房影像中的位置。
基于上述，本发明实施例所提供的乳房影像对位方法以及其影像处理装置，基于第一关注区域在第一乳房影像上的各项距离参数与方位参数，通过跨模态对位模型来判断第一关注区域在第二乳房影像中的位置。第一乳房影像与第二乳房影像例如是经由不同摄像技术所取得的乳房影像。换言之，前述乳房影像对位方法以及其影像处理装置，针对选定的关注区域，能自动地在其他相关的乳房影像上进行自动对位，藉以大幅度地降低对每张乳房影像进行查验所需花费的时间并提升查验效能。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1A为依据本发明一实施例所示出的影像处理装置的方块示意图。
图1B为依据本发明另一实施例所示出的影像处理装置的方块示意图。
图2为依据本发明一实施例所示出的乳房影像对位方法的流程图。
图3为依据本发明一实施例所示出的第一乳房影像的拍摄示意图。
图4为依据本发明一实施例所示出的距离参数与方位参数的拍摄示意图。
图5为依据本发明一实施例所示出的第一关注区域在第二乳房影像上的示意图。
图6为依据本发明另一实施例所示出的乳房影像对位方法的流程图。
图7为依据本发明一实施例所示出的第二关注区域在目标乳房影像上的对应位置的示意图。
附图标记说明
100：影像处理装置
120：处理单元
140：存储单元
142：影像输入模块
144：第一选取模块
146：第一计算模块
148：第一判断模块
150：第一训练模块
152：第二选取模块
154：第二计算模块
156：目标选取模块
158：目标计算模块
160：差异计算模块
162：第二判断模块
164：第二训练模块
R：第一关注区域
H：水平延伸线
r：中心点
S：邻近点
N：乳头特征
I：水平点
Mdist：距离
Mori：方位角度
PR：关注区域的对应位置
S110、S115、S120、S125、S130：乳房影像对位方法的步骤
S115、S135、S140、S145、S150、S155、S160、S165：乳房影像对位方法的步骤
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的装置与方法的范例。
在本发明的实施例中所提出的乳房影像对位方法与其影像处理装置，可以针对不同摄像技术所取得的乳房影像进行影像对位。具体而言，针对一组第一乳房影像上的第一关注区域，通过前述乳房影像对位方法与其影像处理装置，能对应地取得第一关注区域在第二乳房影像上的位置。在本发明的一实施例中，该组的第一乳房影像例如是以X光由不同的拍摄方向所拍摄的乳房影像，而第二乳房影像例如是以超音波所扫描的乳房影像。
更有甚者，在本发明的实施例中所提出的乳房影像对位方法与其影像处理装置，还可以针对同一摄像技术所取得的乳房影像进行影像对位。具体而言，针对第二乳房影像上的第二关注区域，通过前述乳房影像对位方法与其影像处理装置，能对应地取得第二关注区域在目标乳房影像上的对应位置。在本发明的一实施例中，第二乳房影像与目标乳房影像例如为超音波在相同的扫描时间但不同的扫描方向进行扫描而取得，或者是例如为超音波在不同的扫描时间但相同的扫描方向进行扫描而取得。
图1A为依据本发明一实施例所示出的影像处理装置的方块示意图。参照图1A，影像处理装置100至少包括处理单元120以及存储单元140，并且处理单元120耦接至存储单元140，但本发明不限于此。影像处理装置100可以是服务器、台式电脑、笔记本电脑、工作站、个人数字助理(Personal digital assistant,PDA)、平板个人电脑(Personal computer,PC)、电脑辅助检测(CADe)系统等电子装置，但不以此为限。影像处理装置100例如是连接乳房X光摄影机与自动乳房超声波系统(Automated breast ultrasound system,ABUS)。
在本发明的一实施例中，处理单元120例如是以中央处理单元(Centralprocessing unit,CPU)、数字信号处理(Digital signal processing,DSP)芯片、场可程序化逻辑门阵列(Field programmable gate array,FPGA)、微处理器、微控制器等可程序化单元来实施，但本发明不限于此。处理单元120也可以独立电子装置或集成电路(Integrated circuit,IC)来实施。
在本发明的一实施例中，存储单元140可以是任何型态的固定或可移动随机存取存储器(Random access memory,RAM)、只读存储器(Read-only memory,ROM)、闪存(Flashmemory)或类似元件或上述元件的组合。在本实施例中，存储单元140储存以不同摄像技术取得的乳房影像，例如是以X光所拍摄的第一乳房影像、第一训练乳房影像以及以超音波所扫描的第二乳房影像、目标乳房影像、第二训练乳房影像。另一方面，存储单元140还储存各项参数与影像特征。
参照图1A所示的影像处理装置100，在本实施例中，存储单元140记录影像输入模块142、第一选取模块144、第一计算模块146、第一判断模块148与第一训练模块150等模块，而前述模块可运作以针对不同摄像技术所取得的乳房影像进行影像对位。前述模块的详细运作内容待稍后实施例详细说明。然而，存储单元140所记录的模块并不限于此。
图1B为依据本发明另一实施例所示出的影像处理装置的方块示意图。参照图1B所示的影像处理装置100，在本实施例中，存储单元140还记录第二选取模块152、第二计算模块154、目标选取模块156、目标计算模块158、差异计算模块160、第二判断模块162与第二训练模块164等模块，而前述模块可运作以针对同一摄像技术所取得的乳房影像进行影像对位。前述模块的详细运作内容待稍后实施例详细说明。
值得注意的是，前述实施例中所述的存储单元140并未限制是单一存储器元件，上述的各模块也可以分开储存在两个或两个以上相同或不同型态的存储器元件中。在本实施例中，前述模块以软件形式存放于存储单元140，并且由处理单元120存取并执行，但本发明不限于此。在本发明的其他实施例中，前述模块还例如是分别以特定的电路结构而实现。
为了方便理解本发明实施例的操作流程，以下将举诸多实施例详细说明本发明实施例中影像处理装置100对乳房影像进行影像对位的流程。图2为依据本发明一实施例所示出的乳房影像对位方法的流程图。参照图2，本实施例的方法适用于图1A与图1B中的影像处理装置100，下文中，将搭配影像处理装置100中的各项元件及模块说明本发明实施例所述的方法。
在本实施例中，影像输入模块142取得以X光由不同的拍摄方向所拍摄的一组第一乳房影像(步骤S110)，并且取得以超音波所扫描的第二乳房影像(步骤S115)。
在本发明的一实施例中，第一乳房影像例如是由乳房X光摄影机对应乳房部位而在不同的拍摄方向所拍摄的乳房影像，而第二乳房影像例如是由自动乳房超声波系统(ABUS)对应乳房部位所扫描的乳房影像。影像输入模块142例如是通过有线通讯或无线通讯而从乳房X光摄影机与自动乳房超声波系统(ABUS)取得第一乳房影像与第二乳房影像，或者影像输入模块142由存储单元140取得第一乳房影像与第二乳房影像。
具体而言，在本实施例中，一组第一乳房影像通常包括斜位向乳房影像以及头脚向乳房影像。图3为依据本发明一实施例所示出的第一乳房影像的拍摄示意图。参照图3，斜位向乳房影像以及头脚向乳房影像为乳房X光摄影机在不同拍摄方向(斜位向、头脚向)且相同或相近的拍摄时间所分别取得的乳房影像。
参照图2，在本实施例中，取得第一乳房影像后，第一选取模块144在该组的第一乳房影像上，选取共同的第一关注区域(步骤S120)。具体而言，第一选取模块144例如是基于电脑辅助检测(CADe)系统对第一乳房影像的检测结果而选定第一关注区域，并且第一关注区域可能是乳房部位中疑似存在肿瘤、肿块或钙化点的区域或位置，但本发明不限于此。在另一实施例中，第一选取模块144还例如是基于使用者以输入界面在第一乳房影像上所指定的区位或位置而选定第一关注区域。值得注意的是，第一关注区域在斜位向乳房影像以及头脚向乳房影像上会因两者的拍摄方位而有呈现上的偏差。
参照图2，在本实施例中，选取第一关注区域后，第一计算模块146计算第一关注区域在每一张第一乳房影像的距离参数与方位参数(步骤S125)。详细而言，前述距离参数与方位参数是以第一乳房影像中的乳头特征、乳房皮肤作为参考基准而计算取得，并且可用于判断第一关注区域在乳房部位的位置。
图4为依据本发明一实施例所示出的距离参数与方位参数的拍摄示意图。具体而言，图4以一张第一乳房影像作为范例来说明各项距离参数与方位参数。参照图4，第一关注区域R与乳房皮肤在第一乳房影像上具有相距最近的一个邻近点S。另一方面，第一关注区域R在第一乳房影像上的水平延伸线H与乳房皮肤相交于一个水平点I。在本实施例中，距离参数包括第一关注区域R与邻近点S的距离RS、邻近点S与乳头特征N沿乳房皮肤的弧线距离SN以及水平点I与乳头特征N沿乳房皮肤的弧线距离IN。相对来说，方位参数则为第一关注区域R在第一乳房影像相对于乳头特征N的方位角度。需要注意的是，计算前述距离参数以及方位参数时，例如是以第一关注区域R内的中心点r作为基准点来进行计算，但本发明不限于此。
对于一组第一乳房影像中的斜位向乳房影像以及头脚向乳房影像来说，第一计算模块146会分别计算距离参数以及方位参数。换言的，第一计算模块146会计算斜位向乳房影像的距离参数与方位参数MLOori，而斜位向乳房影像的距离参数包括距离RSMLO、距离SNMLO以及距离INMLO。另一方面，第一计算模块146会计算头脚向乳房影像的距离参数与方位参数CCori，而头脚向乳房影像的距离参数包括距离RSCC、距离SNCC以及距离INCC。
参照图2，在本实施例中，取得距离参数与方位参数后，第一判断模块148通过跨模态对位模型，基于距离参数与方位参数，判断第一关注区域R在第二乳房影像中的位置(步骤S130)。详细而言，在本实施例中，第一判断模块148将一组第一乳房影像的距离参数与方位参数分别代入跨模态对位模型而取得第一关注区域R在第二乳房影像中的位置。
在本发明的一实施例中，跨模态对位模型包括距离预测模型以及方位预测模型。针对前述的第一乳房影像，第一判断模块148依据该组的第一乳房影像的距离参数，并且利用跨模态对位模型的距离预测模型，藉以计算第一关注区域R在第二乳房影像上相对于乳头特征N的距离Mdist。详细而言，距离预测模型包括一组第一权重αMLO、βMLO、γMLO以及一组第二权重αCC、βCC、γCC，并且以距离预测模型计算距离Mdist的方式如下。
MLOdist＝αMLO×RSMLO+βMLO×SNMLO+γMLO×INMLO…(1)
CCdist＝αCC×RSCC|βCC×SNCC|γCC×INCC…(2)
Figure BDA0001290879630000071
另一方面，针对前述的第一乳房影像，第一判断模块148依据该组的第一乳房影像的方位参数，并且利用跨模态对位模型的方位预测模型，藉以计算第一关注区域R在第二乳房影像上相对于乳头特征N的方位角度。方位预测模型包括一组第三权重μMLO、νCC，并且以方位预测模型计算方位角度Mori的方式如下。
Mori＝μMLO×MLOori+vCC×CCori…(4)
第一权重αMLO、βMLO、γMLO、第二权重αCC、βCC、γCC与第三权重μMLO、νCC的各个权重值是分别介于0与1的间，并且各组的权重值相加为1。通过距离Mdist以及方位角度Mori，影像处理装置100可以进一步示出第一关注区域R在第二乳房影像上相对于乳头特征N的位置。
图5为依据本发明一实施例所示出的第一关注区域在第二乳房影像上的示意图。参照图5，通过距离Mdist以及方位角度Mori，第一关注区域R在第二乳房影像上相对于乳头特征N的位置PR可以被取得。在图5中，第二乳房影像为冠状面的乳房影像。
然而，在本发明的一实施例中，在利用跨模态对位模型进行第一乳房影像与第二乳房影像间的影像对位前，第一训练模块150也通过多组第一训练乳房影像来训练跨模态对位模型内的距离预测模型与方位预测模型。以X光由不同的拍摄方向所拍摄的多组第一训练乳房影像存放于存储单元140内，并且由影像输入模块142所取得。
每一组的第一训练乳房影像分别包括斜位向训练乳房影像与头脚向训练乳房影像，并且每一组的第一训练乳房影像还分别对应一张对位训练影像。对位训练影像为以超音波所扫描的训练乳房影像。每一组第一训练乳房影像以及所对应的对位训练影像具有共同的关注区域，并且前述关注区域在第一训练乳房影像以及所对应的对位训练影像上的位置皆为已知。
在本实施例中，第一训练模块150以斜位向训练乳房影像，训练距离预测模型的第一权重αMLO、βMLO、γMLO，以头脚向训练乳房影像，训练距离预测模型的第二权重αCC、βCC、γCC，并且以斜位向训练乳房影像与头脚向训练乳房影像，训练方位预测模型的第三权重μMLO、νCC。详细而言，第一训练模块150例如是逻辑回归(Logistic Regression)、支持向量机器(Support Vector Machine；SVM)、类神经网络(Neural network；NN)等方式训练跨模态对位模型，但本发明不限于此。
图2以及前述相关的实施例，主要是针对不同摄像技术所取得的乳房影像进行影像对位的影像对位方法，但本发明不限于此。图6为依据本发明另一实施例所示出的乳房影像对位方法的流程图。具体而言，图6示出了针对同一摄像技术所取得的乳房影像进行影像对位的影像对位方法。参照图6，本实施例的方法适用于图1B中的影像处理装置100，下文中，将搭配影像处理装置100中的各项元件及模块说明本发明实施例所述的方法。
在本实施例中，影像输入模块142取得以超音波所扫描的第二乳房影像(步骤S115)，并且取得以超音波所扫描的目标乳房影像(步骤S135)。具体而言，第二乳房影像与目标乳房影像为超音波在相同或相近的扫描时间但不同的扫描方向进行扫描而取得。一般而言，由自动乳房超声波系统(ABUS)对应乳房部位所扫描的乳房影像，依据扫描方向的不同而可以分别为冠状面、矢状面与横状面的乳房影像，但本发明不限于此。在其他实施例中，第二乳房影像与目标乳房影像为超音波在不同或不相近的扫描时间但相同的扫描方向进行扫描而取得。
参照图6，在本实施例中，取得第二乳房影像后，第二选取模块152在第二乳房影像上选取第二关注区域(步骤S140)。类似于选取第一关注区域，第二选取模块152例如是基于电脑辅助检测(CADe)系统对第二乳房影像的检测结果或者是基于使用者以输入介面在第二乳房影像上所指定的区位或位置而选定第二关注区域。第二关注区域可能是乳房部位中疑似存在肿瘤、肿块或钙化点的区域或位置，但本发明不限于此。
参照图6，在本实施例中，在第二乳房影像选定第二关注区域后，第二计算模块154取得第二关注区域在第二乳房影像上的特征参数(步骤S145)。在本发明的一实施例中，第二关注区域在第二乳房影像的特征参数包括位置特征(Location feature)、亮度特征(Intensity feature)、型态学特征(Morphology feature)以及纹理特征(Texturefeature)。
在本发明的一实施例中，位置特征(Location feature)包括第二关注区域在第二乳房影像上相对于乳头特征的距离、第二关注区域在第二乳房影像上相对于乳头特征的方位角度、复数个第二关注区域在第二乳房影像上的距离等，但本发明不限于此。亮度特征(Intensity feature)包括第二关注区域内的亮度标准差、第二关注区域与邻近区域的亮度差异等，但本发明不限于此。型态学特征(Morphology feature)包括第二关注区域的本征值向量、主要轴长、次要轴长等，但本发明不限于此。纹理特征(Texture feature)包括以不同灰度共生矩阵(gray-level co-occurrence matrix；GLCM)对第二关注区域进行计算而得到的平均及标准差、能量、熵、相关度等，但本发明不限于此。
参照图6，在本实施例中，取得前述的特征参数后，目标选取模块156基于第二关注区域在第二乳房影像上相对于乳头特征的位置信息，在目标乳房影像选定目标范围(步骤S150)。一般而言，由自动乳房超声波系统(ABUS)对应乳房部位所扫描的乳房影像都具有乳头特征。因此，在取得第二关注区域在第二乳房影像上的特征参数后，目标选取模块156可基于第二关注区域在第二乳房影像上相对于乳头特征的位置信息来于目标乳房影像选定目标范围，并且前述的目标范围内可能是第二关注区域在目标乳房影像上的对应位置。
参照图6，在本实施例中，目标计算模块158更取得目标范围在目标乳房影像上的目标特征参数(步骤S155)。目标特征参数的种类与形式类似于前述实施例提及的第二关注区域在第二乳房影像的特征参数，在此不再赘述。接着，差异计算模块160计算前述特征参数与目标特征参数的特征差值(步骤S160)。具体而言，差异计算模块160计算第二关注区域在第二乳房影像的特征参数与目标范围在目标乳房影像的目标特征参数间的特征差值。值得注意的是，差异计算模块160是计算相同形式的特征参数与目标特征参数的间的特征差值。换言的，基于特征参数与目标特征参数在形式上的数量，特征差值的数量也会有所变化。
参照图6，在本实施例中，取得特征差值后，第二判断模块162通过同模态对位模型，基于前述特征差值，判断目标范围是否为第二关注区域在目标乳房影像上的对应位置(步骤S165)。具体而言，同模态对位模型是基于第二关注区域与目标范围在各项特征参数与目标特征参数间的特征差值来判断目标范围是否为第二关注区域在目标乳房影像上的对应位置。因此，在使用同模态对位模型进行判断前，第二训练模块164也通过多张的第二训练乳房影像来训练同模态对位模型。
以超音波所扫描的多张第二训练乳房影像例如是存放于存储单元140，并且由影像输入模块142所取得。对于多张第二训练乳房影像，第二训练模块164以第二训练乳房影像中的多个匹配影像对，计算多组匹配特征差值，然而再以该些匹配特征差值，训练同模态对位模型。在本发明的一实施例中，匹配影像对为已知且对位成功的多张训练乳房影像，或者是训练乳房影像上已知且对位成功的关注区域。需要注意的是，匹配影像对内部的多张训练乳房影像为超音波在相同或相近的扫描时间但不同的扫描方向进行扫描而取得的训练乳房影像，或者是超音波在相同的扫描方向但不同或不相近的扫描时间进行扫描而取得的训练乳房影像。
基于前述匹配特征值，第二训练模块164例如是逻辑回归(LogisticRegression)、支持向量机器(Support Vector Machine；SVM)、类神经网路(Neuralnetwork；NN)等方式训练同模态对位模型，但本发明不限于此。
第二判断模块164对同模态对位模型输入所取得的特征差值后，即可依据同模态对位模型的输出结果判断目标范围是否为第二关注区域在目标乳房影像上的对应位置。
需要注意的是，当第二乳房影像与目标乳房影像为超音波在相同或相近的扫描时间但不同的扫描方向进行扫描而取得时，若目标范围为第二关注区域在目标乳房影像上的对应位置，则代表目标范围与第二关注区域为重复扫描的部分。相对而言，当第二乳房影像与目标乳房影像为超音波在不同或不相近的扫描时间但相同的扫描方向进行扫描而取得时，若目标范围经由同模态对位模型判断为第二关注区域在目标乳房影像上的对应位置，可代表乳房部位的该区域并无显著变化。
图7为依据本发明一实施例所示出的第二关注区域在目标乳房影像上的对应位置的示意图。通过图6所示的乳房影像对位方法，对于在不同扫描方向上取得的乳房影像，例如是冠状面的乳房影像、横状面的乳房影像、矢状面的乳房影像，皆可取得第二关注区域的对应位置PR。值得注意的是，图2与图6所分别示出的乳房影像对位方法可以合并使用，藉以分别在不同摄像技术取得的多张乳房影像以及相同摄像技术取得的多张乳房影像中，同时或连续地进行影像对位。此时，第一关注区域与第二关注区域可能是相同的关注区域。
综上所述，本发明实施例所提供的乳房影像对位方法以及其影像处理装置，基于第一关注区域在第一乳房影像上的各项距离参数与方位参数，通过跨模态对位模型来判断第一关注区域在第二乳房影像中的位置。第一乳房影像与第二乳房影像例如是经由不同摄像技术所取得的乳房影像。另一方面，本发明实施例还提供乳房影像对位方法与其影像处理装置，用以在相同摄像技术所取得的乳房影像上进行影像对位。换言的，前述乳房影像对位方法以及其影像处理装置，针对选定的关注区域，能自动地在其他相关的乳房影像上进行自动对位，藉以大幅度地降低对每张乳房影像进行查验所需花费的时间并提升查验效能。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (10)

1.一种乳房影像对位方法，包括：
取得以X光由不同的拍摄方向所拍摄的一组第一乳房影像；
取得以超音波所扫描的第二乳房影像；
在该组的多个所述第一乳房影像上，选取共同的第一关注区域；
计算所述第一关注区域在每一所述第一乳房影像的距离参数与方位参数；以及
通过跨模态对位模型，基于多个所述距离参数与多个所述方位参数，判断所述第一关注区域在所述第二乳房影像中的位置；
其中透过所述跨模态对位模型判断所述第一关注区域在所述第二乳房影像的所述位置的步骤，包括：
依据该组的多个所述第一乳房影像的多个所述距离参数，利用所述跨模态对位模型的距离预测模型，计算所述第一关注区域在所述第二乳房影像上相对于乳头特征的距离；以及
依据该组的多个所述第一乳房影像的多个所述方位参数，利用所述跨模态对位模型的方位预测模型，计算所述第一关注区域在所述第二乳房影像上相对于所述乳头特征的方位角度，
其中所述第一关注区域与乳房皮肤在每一多个所述第一乳房影像上具有相距最近的一个邻近点，所述第一关注区域的水平延伸线与所述乳房皮肤在每一多个所述第一乳房影像上相交于一个水平点，每一多个所述第一乳房影像的多个所述距离参数包括所述第一关注区域与所述邻近点的距离、所述邻近点与乳头特征的距离以及所述水平点与所述乳头特征的距离，而每一多个所述第一乳房影像的所述方位参数为所述第一关注区域在所述第一乳房影像相对于所述乳头特征的方位角度。
2.根据权利要求1所述的方法，其中通过所述跨模态对位模型判断所述第一关注区域在所述第二乳房影像的所述位置的步骤之前，还包括：
取得以所述X光由不同的多个所述拍摄方向所拍摄的多组第一训练乳房影像，其中每一组的多个所述第一训练乳房影像分别包括斜位向训练乳房影像与头脚向训练乳房影像；
以多个所述斜位向训练乳房影像，训练所述跨模态对位模型的距离预测模型的一组第一权重；
以多个所述头脚向训练乳房影像，训练所述跨模态对位模型的所述距离预测模型的一组第二权重；以及
以多个所述斜位向训练乳房影像与多个所述头脚向训练乳房影像，训练所述跨模态对位模型的方位预测模型的一组第三权重。
3.根据权利要求1所述的方法，还包括：
取得以所述超音波所扫描的目标乳房影像；
在所述第二乳房影像上，选取第二关注区域；
取得所述第二关注区域在所述第二乳房影像上的特征参数，其中所述特征参数包括位置特征、亮度特征、型态学特征以及纹理特征；
基于所述第二关注区域在所述第二乳房影像上相对于乳头特征的位置信息，在所述目标乳房影像选定一目标范围；
取得所述目标范围在所述目标乳房影像上的目标特征参数，其中所述目标特征参数的种类对应于所述特征参数；
计算多个所述特征参数与多个所述目标特征参数的特征差值；以及
通过同模态对位模型，基于多个所述特征差值，判断所述目标范围是否为所述第二关注区域在所述目标乳房影像上的对应位置。
4.根据权利要求3所述的方法，其中通过所述同模态对位模型判断所述目标范围是否为所述第二关注区域在所述目标乳房影像上的所述对应位置的步骤之前，包括：
取得以所述超音波所扫描的多张第二训练乳房影像；
由多张所述第二训练乳房影像中的多个匹配影像对，计算多组匹配特征差值；以及
以多组所述匹配特征差值，训练所述同模态对位模型。
5.根据权利要求3所述的方法，其中所述第二乳房影像与所述目标乳房影像为所述超音波在相同的扫描时间但不同的扫描方向进行扫描而取得，
或者所述第二乳房影像与所述目标乳房影像为所述超音波在不同的多个所述扫描时间但相同的多个所述扫描方向进行扫描而取得。
6.一种影像处理装置，包括：
存储单元，储存以X光不同的拍摄方向所拍摄的一组第一乳房影像与以超音波所扫描的第二乳房影像，且记录多个模块；以及
处理单元，耦接所述存储单元，且存取并执行所述存储单元所记录的多个所述模块，多个所述模块包括：
影像输入模块，取得该组的多个所述第一乳房影像与所述第二乳房影像；
第一选取模块，在该组的多个所述第一乳房影像上，选取共同的第一关注区域；
第一计算模块，计算所述第一关注区域在每一多个所述第一乳房影像的距离参数与方位参数；以及
第一判断模块，通过跨模态对位模型，基于多个所述距离参数与多个所述方位参数，判断所述第一关注区域在所述第二乳房影像中的位置，
其中所述第一判断模块依据所述组的多个所述第一乳房影像的多个所述距离参数，利用所述跨模态对位模型的距离预测模型，计算所述第一关注区域在所述第二乳房影像上相对于乳头特征的距离，
并且所述第一判断模块依据所述组的多个所述第一乳房影像的多个所述方位参数，利用所述跨模态对位模型的方位预测模型，计算所述第一关注区域在所述第二乳房影像上相对于所述乳头特征的方位角度，
其中所述第一关注区域与乳房皮肤在每一多个所述第一乳房影像上具有相距最近的一个邻近点，所述第一关注区域的水平延伸线与所述乳房皮肤在每一所述第一乳房影像上相交于一个水平点，每一所述第一乳房影像的多个所述距离参数包括所述第一关注区域与所述邻近点的距离、所述邻近点与乳头特征的距离以及所述水平点与所述乳头特征的距离，而每一所述第一乳房影像的所述方位参数为所述第一关注区域在所述第一乳房影像相对于所述乳头特征的方位角度。
7.根据权利要求6所述的影像处理装置，其中所述存储单元还储存以所述X光由不同的多个所述拍摄方向所拍摄的多组第一训练乳房影像，而所述影像输入模块取得所述多组的多个所述第一训练乳房影像，每一组的多个所述第一训练乳房影像分别包括斜位向训练乳房影像与头脚向训练乳房影像，所述存储单元所记录的多个所述模块，还包括：
第一训练模块，以多个所述斜位向训练乳房影像，训练所述跨模态对位模型的距离预测模型的一组第一权重，以多个所述头脚向训练乳房影像，训练所述跨模态对位模型的所述距离预测模型的一组第二权重，并且以多个所述斜位向训练乳房影像与多个所述头脚向训练乳房影像，训练所述跨模态对位模型的方位预测模型的一组第三权重。
8.根据权利要求6所述的影像处理装置，其中所述存储单元还储存以所述超音波所扫描的目标乳房影像，所述影像输入模块取得所述目标乳房影像，而所述存储单元所记录的多个所述模块，还包括：
第二选取模块，在所述第二乳房影像上，选取第二关注区域；
第二计算模块，取得所述第二关注区域在所述第二乳房影像上的特征参数，其中所述特征参数包括位置特征、亮度特征、型态学特征以及纹理特征；
目标选取模块，基于所述第二关注区域在所述第二乳房影像上相对于乳头特征的位置信息，在所述目标乳房影像选定一目标范围；
目标计算模块，取得所述目标范围在所述目标乳房影像上的目标特征参数，其中所述目标特征参数的种类对应于所述特征参数；
差异计算模块，计算多个所述特征参数与多个所述目标特征参数的特征差值；以及
第二判断模块，通过同模态对位模型，基于多个所述特征差值，判断所述目标范围是否为所述第二关注区域在所述目标乳房影像上的对应位置。
9.根据权利要求8所述的影像处理装置，其中所述存储单元还储存以所述超音波所扫描的多张第二训练乳房影像，所述影像输入模块取得所述多张第二训练乳房影像，而所述存储单元所记录的所述多个模块，还包括：
第二训练模块，由所述多张第二训练乳房影像中的多个匹配影像对，计算多组匹配特征差值，并且以所述多组匹配特征差值，训练所述同模态对位模型。
10.根据权利要求8所述的影像处理装置，其中所述第二乳房影像与所述目标乳房影像为所述超音波在相同的扫描时间但不同的扫描方向进行扫描而取得，
或者所述第二乳房影像与所述目标乳房影像为所述超音波在不同的多个所述扫描时间但相同的多个所述扫描方向进行扫描而取得。
CN201710324965.XA 2016-05-12 2017-05-10 乳房影像对位方法与影像处理装置 Active CN107440730B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105114679A TWI609674B (zh) 2016-05-12 2016-05-12 乳房影像對位方法與影像處理裝置
TW105114679 2016-05-12

Publications (2)

Publication Number Publication Date
CN107440730A CN107440730A (zh) 2017-12-08
CN107440730B true CN107440730B (zh) 2020-09-01

Family

ID=60486927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710324965.XA Active CN107440730B (zh) 2016-05-12 2017-05-10 乳房影像对位方法与影像处理装置

Country Status (2)

Country Link
CN (1) CN107440730B (zh)
TW (1) TWI609674B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11850021B2 (en) 2017-06-20 2023-12-26 Hologic, Inc. Dynamic self-learning medical image method and system

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5554927B2 (ja) 2006-02-15 2014-07-23 ホロジック， インコーポレイテッド トモシンセシスシステムを使用した乳房バイオプシおよびニードル位置特定
ES2862525T3 (es) 2009-10-08 2021-10-07 Hologic Inc Sistema de biopsia de mama con aguja y método de uso
US9075903B2 (en) 2010-11-26 2015-07-07 Hologic, Inc. User interface for medical image review workstation
WO2012122399A1 (en) 2011-03-08 2012-09-13 Hologic, Inc. System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy
EP2782505B1 (en) 2011-11-27 2020-04-22 Hologic, Inc. System and method for generating a 2d image using mammography and/or tomosynthesis image data
CN104135935A (zh) 2012-02-13 2014-11-05 霍罗吉克公司 用于利用合成图像数据导航层析堆的系统和方法
EP2967479B1 (en) 2013-03-15 2018-01-31 Hologic Inc. Tomosynthesis-guided biopsy in prone
EP3060132B1 (en) 2013-10-24 2019-12-04 Hologic, Inc. System and method for navigating x-ray guided breast biopsy
EP3868301B1 (en) 2014-02-28 2023-04-05 Hologic, Inc. System and method for generating and displaying tomosynthesis image slabs
EP3600051B1 (en) 2017-03-30 2024-05-01 Hologic, Inc. Method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
CN110621231B (zh) 2017-03-30 2024-02-23 豪洛捷公司 用于分层次多级特征图像合成和表示的系统以及方法
WO2018183550A1 (en) 2017-03-30 2018-10-04 Hologic, Inc. System and method for targeted object enhancement to generate synthetic breast tissue images
CN108392215B (zh) * 2018-02-09 2021-07-27 南方医科大学 一种同侧异位乳腺钼靶图像的点位置关联方法
TWI717817B (zh) * 2019-08-29 2021-02-01 宏碁股份有限公司 預測模型遷移方法與預測模型遷移裝置
US11699234B2 (en) * 2020-06-03 2023-07-11 Here Global B.V. Semantic segmentation ground truth correction with spatial transformer networks
CN114305502B (zh) * 2020-09-29 2024-09-20 深圳迈瑞生物医疗电子股份有限公司 乳腺超声扫描方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003101303A1 (en) * 2002-05-31 2003-12-11 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
JP2015231438A (ja) * 2014-06-09 2015-12-24 株式会社東芝 医用画像診断装置、超音波診断装置および医用画像処理装置
CN105433969A (zh) * 2014-09-22 2016-03-30 柯尼卡美能达株式会社 医用图像系统以及推定临床位置信息显示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012116746A1 (en) * 2011-03-02 2012-09-07 Mevis Medical Solutions Ag Image processing device for finding corresponding regions in two image data sets of an object
EP2631873B1 (en) * 2012-02-27 2015-12-16 Agfa Healthcare Image alignment of breast images
JP2015104465A (ja) * 2013-11-29 2015-06-08 コニカミノルタ株式会社 医用画像システム及びプログラム
US9443161B2 (en) * 2014-02-24 2016-09-13 Dimensions And Shapes, Llc Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
TWM526875U (zh) * 2016-05-12 2016-08-11 太豪生醫股份有限公司 影像處理裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003101303A1 (en) * 2002-05-31 2003-12-11 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
JP2015231438A (ja) * 2014-06-09 2015-12-24 株式会社東芝 医用画像診断装置、超音波診断装置および医用画像処理装置
CN105433969A (zh) * 2014-09-22 2016-03-30 柯尼卡美能达株式会社 医用图像系统以及推定临床位置信息显示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11850021B2 (en) 2017-06-20 2023-12-26 Hologic, Inc. Dynamic self-learning medical image method and system

Also Published As

Publication number Publication date
TWI609674B (zh) 2018-01-01
TW201739423A (zh) 2017-11-16
CN107440730A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107440730B (zh) 乳房影像对位方法与影像处理装置
Dey et al. Diagnostic classification of lung nodules using 3D neural networks
Novitasari et al. Application of feature extraction for breast cancer using one order statistic, GLCM, GLRLM, and GLDM
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
Dandıl et al. Artificial neural network-based classification system for lung nodules on computed tomography scans
WO2021021329A1 (en) System and method for interpretation of multiple medical images using deep learning
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN111768366A (zh) 超声成像系统、bi-rads分级方法及模型训练方法
EP2987114B1 (en) Method and system for determining a phenotype of a neoplasm in a human or animal body
Patel Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning
CN111481233B (zh) 胎儿颈项透明层厚度测量方法
Jarosik et al. Breast lesion classification based on ultrasonic radio-frequency signals using convolutional neural networks
TWI839758B (zh) 醫療影像的處理方法及處理醫療影像的運算裝置
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
TWI574671B (zh) 乳房影像的分析方法以及其電子裝置
CN113205111B (zh) 适用于肝脏肿瘤的识别方法、装置及电子设备
Poonguzhali et al. Optimal feature selection and automatic classification of abnormal masses in ultrasound liver images
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
Kabir et al. Classification of breast tumour in Contourlet transform domain
TWI722297B (zh) 醫學影像之體內邊緣偵測處理系統及其方法
TWM526875U (zh) 影像處理裝置
Michahial et al. A novel algorithm to select a seed point automatically in breast ultrasound image
WO2023133929A1 (zh) 一种基于超声的人体组织对称性检测分析方法
KR102332472B1 (ko) 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법
Shaharuddin et al. Feature analysis of kidney ultrasound image in four different ultrasound using gray level co-occurrence matrix (GLCM) and intensity histogram (IH)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant