CN106061379A - 处理设备、处理方法及程序 - Google Patents
处理设备、处理方法及程序 Download PDFInfo
- Publication number
- CN106061379A CN106061379A CN201480072631.2A CN201480072631A CN106061379A CN 106061379 A CN106061379 A CN 106061379A CN 201480072631 A CN201480072631 A CN 201480072631A CN 106061379 A CN106061379 A CN 106061379A
- Authority
- CN
- China
- Prior art keywords
- shape
- case
- image
- deformation
- mri image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 187
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000010606 normalization Methods 0.000 claims abstract description 75
- 230000009466 transformation Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims description 349
- 230000008569 process Effects 0.000 claims description 264
- 238000006243 chemical reaction Methods 0.000 claims description 79
- 210000000062 pectoralis major Anatomy 0.000 claims description 70
- 210000000481 breast Anatomy 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 21
- 230000001131 transforming effect Effects 0.000 abstract description 45
- 230000006870 function Effects 0.000 description 170
- 239000013598 vector Substances 0.000 description 72
- 238000013179 statistical model Methods 0.000 description 36
- 210000002445 nipple Anatomy 0.000 description 35
- 238000000605 extraction Methods 0.000 description 27
- 239000000284 extract Substances 0.000 description 18
- 230000000694 effects Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000000513 principal component analysis Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000036544 posture Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 238000005452 bending Methods 0.000 description 7
- 210000003484 anatomy Anatomy 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002922 epistatic effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000000465 moulding Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- NRNCYVBFPDDJNE-UHFFFAOYSA-N pemoline Chemical compound O1C(N)=NC(=O)C1C1=CC=CC=C1 NRNCYVBFPDDJNE-UHFFFAOYSA-N 0.000 description 3
- 238000011524 similarity measure Methods 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000003130 cardiopathic effect Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000005075 mammary gland Anatomy 0.000 description 2
- 208000037921 secondary disease Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000009774 resonance method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4312—Breast evaluation or disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Gynecology & Obstetrics (AREA)
- Reproductive Health (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Primary Health Care (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
Abstract
处理设备从目标被摄体的图像获得目标被摄体的感兴趣区的轮廓和轮廓上的基准点,计算轮廓上的任意位置处的距基准点的距离和方位,并且基于距离和方位来产生用于将目标被摄体的感兴趣区的形状变换到预定的基准形状的规格化变换信息。
Description
技术领域
本发明涉及处理设备、处理方法及程序,其处理通过各种医疗图像获取设备(医疗器械)(诸如核磁共振设备(MRI)、X射线计算层析成像设备(X射线CT)和超声诊断设备(US))获得的医疗图像。
背景技术
在医学领域中,有时它是当感兴趣区存在于通过给定医疗器械获得的图像上时在通过其它医疗器械获得的图像上识别对应区域并且然后基于它们之间的比较执行诊断的情况。如果在医疗器械之间成像姿势不同,在成像时被摄体的形状不同。这使得它难以识别被摄体。在该环境之下,已经尝试估计医疗器械之间的被摄体的变形(也就是说,伴随变形的图像之间的对准)。这使得可以基于感兴趣区的位置信息估计对应区域的位置并且通过使一个图像变形从而具有与其它图像相同的形状来产生图像。
NPL 1公开了通过使伴随变形的被摄体的形状规格化来便于其变形前后的被摄体的形状之间的比较的技术。更具体地,公开了计算被摄体的表面形状的测地距离(geodesicdistance)矩阵并且通过使用利用计算的矩阵的多维度缩放来使表面形状规格化的方法。这个方法能够在不改变被摄体表面的测地距离矩阵的情况下使变形的被摄体的形状规格化从而允许变形前后的被摄体的形状之间的直接比较。这使得可以容易比较伴随变形的被摄体的变形的形状并且基于其形状识别被摄体。
引文列表
非专利文献
NPL 1:A.Elad和R.Kimmel,"On bending invariant signatures forsurfaces,"IEEE Trans.PAMI,25(10),2003
NPL 2:Daniel Rueckert,Alejandro F.Frangi和Julia A.Shnabel,"Automaticconstruction of 3-D statistical deformation models of the brain usingNonrigid registration,"IEEE Transaction on medical imaging,Vol.22,No.8,2003
发明内容
技术问题
使用NPL 1中公开的方法能够执行其变形前后的具有复杂形状的被摄体的形状之间的规格化,并且因此能够相对容易执行对准。然而,存在如下的问题,即,当被摄体的形状相对单调并且仅存在能够在变形的形状之间彼此关联的少量地标等时,规格化之后的被摄体的姿势仍然不稳定。
考虑到上述问题已经做出本发明,并且本发明作为它的一个目的而提供了能够简单地且稳定地执行不同的形状之间的规格化的机构。另外,本发明的一个目的在于,提供基于规格化精确地执行形状之间的对准的机构。
问题的解决方案
为了实现上述目的,根据本发明的一个方面的处理设备具有下面的布置。即,这个布置包括:获得装置,用于从目标被摄体的图像获得目标被摄体的感兴趣区的轮廓和轮廓上的基准点;计算装置,用于计算轮廓上的任意位置处的距基准点的距离和方位;以及规格化装置,用于基于距离和方位来产生用于将目标被摄体的感兴趣区的形状变换到预定的基准形状的规格化变换信息。
本发明的有利效果
根据本发明,可以提供能够简单地且稳定地执行不同形状之间的规格化的机构。另外,可以提供能够基于规格化精确地执行形状之间的对准的机构。
从结合附图进行的以下描述中本发明的其它特征和优点将明显,其中相似的附图标记在其所有附图中指定相同或类似的部件。
附图说明
被加入且构成说明书一部分的附图示出了本发明的实施例,并且与描述一起用来说明本发明的原理。
图1是示出根据第一实施例的处理系统的功能布置的框图;
图2是示出根据第一实施例的处理系统的设备布置的框图;
图3是示出根据第一实施例的处理设备执行的处理过程的流程图;
图4是俯卧位MRI图像中描绘的被摄体的示意图;
图5是示出根据第一实施例的步骤S320中的处理过程的流程图;
图6A是用于说明根据第一实施例的规格化坐标系的图;
图6B是用于说明根据第一实施例的规格化坐标系的图;
图7A是用于说明根据第一实施例的图像变形处理的图;
图7B是用于说明根据第一实施例的图像变形处理的图;
图7C是用于说明根据第一实施例的图像变形处理的图;
图7D是用于说明根据第一实施例的图像变形处理的图;
图8是示出根据第三实施例的处理系统的功能布置的框图;
图9是示出根据第三实施例的处理设备中的学习阶段中的处理过程的流程图;
图10是示出根据第三实施例的处理设备中的步骤S580中的处理过程的流程图;
图11是示出根据第三实施例的处理设备中的变形估计阶段中的处理过程的流程图;
图12是示出根据第四实施例的处理系统的功能布置的框图;
图13是示出根据第四实施例的处理设备执行的处理过程的流程图;
图14是示出根据第五实施例的处理系统的功能布置的框图;
图15是示出根据第五实施例的处理设备中的学习阶段中的处理过程的流程图;
图16是示出根据第五实施例的处理设备中的变形估计阶段中的处理过程的流程图;
图17是示出根据第六实施例的处理系统的功能布置的框图;
图18是示出根据第六实施例的处理设备中的学习阶段中的处理过程的流程图;
图19是示出根据第六实施例的处理设备中的变形估计阶段中的处理过程的流程图。
具体实施方式
下面将参考附图详细描述根据本发明的处理设备和方法的实施例。本发明的范围不限于附图中示出的示例。
[第一实施例]
(第一实施例的概述)
当通过以两个不同类型的姿势对作为感兴趣区的被摄体的乳房成像而获得医疗图像时,根据本实施例的处理设备获得用于将每个医疗图像变换到基准形状的规格化变换(规格化变换信息),并且经由获得的规格化变换执行图像之间的变形对准。这个规格化变换是被摄体的乳房到在解剖学上几乎彼此匹配的空间的坐标变换,该乳房已经在由不同的姿势引起的不同的变形状态中被成像。
在该情况下,生物力学上已知以下的关于俯卧位与仰卧位之间的乳房的变形的特性。首先,相对于乳头的方位(azimuth)基本上保持在冠状面上。第二,相对于乳头的测地距离基本上保持在体表面上。基于这些特性,采用其中相对于乳头的方位和测地距离被规格化的空间,并且不同的变形状态中的乳房中的每一个被变换到该空间中的坐标。这基本上吸收在俯卧位和仰卧位之间导致的变形时的位置变化,并且能够执行到在解剖学上共同的空间的变换。经由这个变换执行图像之间的变形对准使得可以实现比直接执行原始图像之间的变形对准更高精度的对准。
本实施例被配置为从获得的医疗图像中的每一个中提取被摄体的乳房的轮廓并且基于轮廓上的基准点计算用于乳房的形状到作为基准形状的矩形形状的坐标变换的规格化变换。虽然下面将描述其中被摄体是仰卧位和俯卧位中的人体的乳房的情况,但是被摄体的区域和姿势不受特别地限制。另外,本实施例将例示其中三维的MRI图像被用作医疗图像的情况。然而,要使用的医疗图像不限于MRI图像,并且可以使用其它类型的三维图像。例如,本实施例能够被应用于X射线CT图像、3D超声图像和PET图像。
(功能布置)
图1是示出根据本实施例的处理系统的布置的框图。如图1所示,根据本实施例的处理设备100包括图像获得单元1000、解剖学特征提取单元1020、规格化单元1040、图像变形单元1060和观察图像产生单元1080。处理设备100连接到数据服务器120和监视器160。MRI成像设备110是通过利用核磁共振方法获得关于作为人体的被摄体内的三维区域的信息来获得图像(即,MRI图像)的设备。MRI成像设备110连接到数据服务器120,并且将获得的MRI图像传送到数据服务器120。数据服务器120是保持由MRI成像设备110获得的MRI图像并且响应于来自处理设备100的指示而将保持的MRI图像传输到处理设备100的设备。
接下来将描述构成处理设备100的每个元件。图像获得单元1000经由数据服务器120将由MRI成像设备110成像的被摄体(目标被摄体)的MRI图像输入到处理设备100。解剖学特征提取单元1020处理由图像获得单元1000输入的MRI图像以便提取被摄体的解剖学特征。规格化单元1040基于由解剖学特征提取单元1020提取的被摄体的解剖学特征来计算用于将被摄体的形状变换(规格化)到基准形状的变换。稍后将详细描述规格化。图像变形单元1060基于由规格化单元1040计算的变换来执行俯卧位与仰卧位之间的对准,并且使俯卧位MRI图像变形以便产生匹配仰卧位MRI图像的变形图像。观察图像产生单元1080通过使用由图像获得单元1000输入的MRI图像和由图像变形单元1060产生的变形图像来产生呈现给用户的观察图像。观察图像产生单元1080然后将观察图像输出到监视器160。监视器160显示由观察图像产生单元1080产生的观察图像。
(设备布置)
图2是示出根据本实施例的处理系统的设备布置的框图。根据本实施例的处理系统包括处理设备100、MRI成像设备110、数据服务器120、监视器160、鼠标170和键盘180。处理设备100能够由例如PC(个人计算机)实现。处理设备100包括CPU(中央处理单元)211、主存储器212、磁盘213和显示存储器214。
CPU 211主要控制处理设备100的每个组成元件的操作。主存储器212存储由CPU211运行的控制程序,并且为CPU 211对程序的运行提供工作区。磁盘213存储OS(操作系统)、用于外围装置的装置驱动、包括用于(稍后要描述的)处理的运行的程序的各种类型的应用软件等等。显示存储器214临时地存储用于监视器160的显示数据。监视器160例如是CRT监视器或液晶监视器,并且基于来自显示存储器214的数据而显示图像。鼠标170和键盘180每个都由用户使用来执行指向(pointing)输入操作并且输入字符、命令等等。上述组成元件经由公共总线218彼此可通信地连接。
(处理过程)
接下来将参考图3的流程图详细描述由处理设备100执行的处理。图3是示出根据本实施例的处理设备100运行的处理的流程图。在本实施例中,CPU 211运行存储在主存储器212中的程序来实现各个单元的功能。另外,下面要描述的处理设备100执行的每个处理的结果通过被存储在主存储器212中而被记录。将顺序地描述图3中示出的各个处理步骤中的过程的细节。
(步骤S300)获得俯卧位MRI图像
在步骤S300中,图像获得单元1000经由数据服务器120将MRI成像设备110通过对处于俯卧位的被摄体的乳房成像而获得的MRI图像(俯卧位MRI图像)输入到处理设备100。假设在该情况下俯卧位MRI图像是三维体数据,并且具有三维正交坐标系(已经经受这种坐标变换),其中从被摄体的脚到头的方向为Z轴,从腹部到背部的方向为Y轴,并且被摄体的向左方向为X轴。在本实施例中,这个坐标系被称作俯卧位MRI图像坐标系。另外,俯卧位MRI图像的强度值被表达为标量函数Ip(x),其中俯卧位MRI图像坐标系中的三维位置x作为自变量。
(步骤S310)从俯卧位MRI图像提取解剖学特征
在步骤S310中,解剖学特征提取单元1020通过处理在步骤S300中获得的俯卧位MRI图像来提取俯卧位的被摄体的解剖学特征。在本实施例中,解剖学特征包括被摄体的乳头位置、体表面形状、胸大肌表面形状以及胸大肌表面上的基准位置。
图4是用于说明俯卧位MRI图像上的解剖学特征的图。虽然实际俯卧位MRI图像是三维图像,但是出于方便在纸上说明的缘故将描述三维图像上的二维切片。俯卧位MRI图像400包括空气区域403、乳房区域402以及内部区域405。体表面401是空气区域403与乳房区域402之间的边界位置的集合,并且具有三维弯曲表面。胸大肌表面404是乳房区域402与内部区域405之间的边界位置的集合,并且具有三维弯曲表面。在这个处理步骤中,解剖学特征提取单元1020通过已知的方法(诸如阈值处理或边缘检测)处理俯卧位MRI图像400以便检测体表面401。然而注意当检测体表面401时,不必检测俯卧位MRI图像中描绘的被摄体的整个体表面,并且只是要求仅检测与乳房区域及其周边区域有关的体表面。在本实施例中,通过使用鼠标170或键盘180的用户输入操作获得俯卧位MRI图像中的乳房区域的中心位置,并且设定从中心位置的预定范围作为处理目标。
通过上述方法检测体表面401。在本实施例中,作为空气区域403与乳房区域402之间的边界(作为体表面)的位置的集合的体表面形状被表达为sp,surface,i(1≤i≤Np,surface),其中Np,surface是构成体表面形状的位置(点)的数量。同样地,通过图像处理检测胸大肌表面形状。在本实施例中,这个形状被表达为sp,pectral,i(1≤i≤Np,pectral),其中Np,pectral是构成胸大肌表面形状的位置(点)的数量。假设在该情况下,体表面形状与胸大肌表面形状伴随有构成它们的点之间的连接信息。也就是说,假设体表面形状和胸大肌表面形状具有表示它们的位置的多个点(点群)的信息和关于通过点群形成的表面的信息两者。
解剖学特征提取单元1020然后检测乳头位置。能够通过进一步处理由上述方法检测的体表面形状来检测乳头位置。例如,计算体表面形状的局部曲率,并且能够检测曲率最大处的位置作为乳头位置。可替代地,可以选择构成体表面形状的全部位置中的其处MRI图像坐标系中的Y轴上的坐标值为最小值(最靠近腹部侧)的一个位置作为乳头位置。另外,可以通过处理俯卧位MRI图像检测乳头位置。在本实施例中,检测出的乳头位置被表达为三维坐标值xp,surface。然后解剖学特征提取单元1020检测胸大肌表面上的基准位置。通过例如选择构成胸大肌表面形状的全部位置中的最靠近乳头位置的一个位置,来执行处理。在本实施例中,检测出的胸大肌表面上的基准位置被表达为xp,pectral。
然后解剖学特征提取单元1020执行俯卧位MRI图像坐标系的坐标变换使得以上述方式检测出的乳头位置xp,surface变为原点。更具体地,通过上述处理获得的值sp,surface,i、sp,pectral,i、xp,surface和xp,pectral被平移了-xp,surface。利用上述处理,在步骤S310中提取解剖学特征。
虽然上面已经描述了通过使得解剖学特征提取单元1020处理俯卧位MRI图像来提取解剖学特征的方法,但是这不是穷举的。例如,处理设备100可以在监视器160上显示俯卧位MRI图像以便允许用户利用鼠标170和键盘180向处理设备100输入关于解剖学特征的信息。另外,用户可以利用鼠标170和键盘180修改和改变通过图像处理提取的解剖学特征。此外,处理设备100可以通过图像处理提取一些解剖学特征并且可以通过用户输入获得其它解剖学特征。在这时候,可以在监视器160上显示通过图像处理提取的一些解剖学特征。例如,处理设备100通过图像处理提取体表面形状和胸大肌表面形状,并且在监视器160上显示结果。然后用户可以在参考显示的体表面形状和胸大肌表面形状的同时通过使用鼠标170和键盘180向处理设备100输入胸大肌表面上的基准位置和乳头位置。
(步骤S320)计算到俯卧位规格化坐标系的变换
在步骤S320中,规格化单元1040基于在步骤S310中提取的俯卧位中的被摄体的解剖学特征来推导用于将俯卧位中的被摄体的形状变换为基准形状的规格化变换。更具体地,规格化单元1040计算这些坐标系之间的坐标变换函数作为表示从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变换的信息。执行这个变换使得MRI图像坐标系中的体表面和胸大肌表面位于俯卧位规格化坐标系中的预定表面上。另外,执行变换使得在拓扑方面在变换前后尽可能地不损害乳房区域中的任意结构。下面将参考图5的流程图详细描述用于计算上述坐标变换函数的步骤S320中执行的具体处理过程。
<步骤S3200>体表面上的测地距离的计算
在步骤S3200中,规格化单元1040基于在步骤S310中提取的解剖学特征来计算在构成俯卧位中的被摄体的体表面形状的每个位置处相对于乳头位置的测地距离。也就是说,除了测地距离为0的乳头位置以外,规格化单元1040计算构成体表面形状的各个位置中的任意位置处的距乳头的测地距离。注意,可以使用任何已知的计算测地距离的方法。在本实施例中的体表面形状是构成体表面的位置的集合并且伴随有关于它们之间的连接的信息。因此可以使用例如迪杰斯特拉(Dijkstra)算法作为计算测地距离的方法。利用上述处理,规格化单元1040计算构成体表面形状的每个位置处的测地距离dp,surface,i(1≤i≤Np,surface)。在该情况下,后缀“i”与体表面形状sp,surface,i(1≤i≤Np,surface)的后缀“i”公共,并且体表面形状的第i个位置sp,surface,i处的测地距离被表达为dp,surface,i。
<步骤S3210>体表面上的方位的计算
在步骤S3210中,规格化单元1040基于在步骤S310中提取的解剖学特征来计算在构成俯卧位中的被摄体的体表面形状的每个位置处相对于乳头位置的方位。在该情况下,方位可以是例如MRI图像坐标系中的X-Z平面上的方位。在该情况下,规格化单元1040可以使用构成体表面形状的每个位置处的坐标值sp,surface,i(1≤i≤Np,surface)的X坐标值xi和Z坐标值zi通过由等式(1)表示的计算来计算方位ap,surface,i[rad]。
ap,surface,i=tan-1(zi/xi) (1)
在该情况下,后缀“i”与体表面形状sp,surface,i(1≤i≤Np,surface)的后缀“i”公共,并且体表面形状的第i个位置sp,surface,i处的方位被表达为ap,surface,i。
注意,要使用的方位计算方法不限于上述方法。例如,可以通过下面的方法计算方位。假设连接乳头位置到胸大肌表面上的基准位置的向量被定义为Y轴,并且被摄体的体轴方向(从脚到头的方向)被定义为Z轴。然而注意如果Z轴和Y轴彼此不正交,则要求校正。在Y轴和Z轴的叉积方向设定为X轴时,可以计算等式(1)。上述方法具有即使被摄体的姿势在MRI图像坐标系中斜地倾斜也能够计算相对于MRI图像中描绘的被摄体的姿势的坐标轴上的方位的效果。
<步骤S3220>胸大肌表面上的测地距离的计算
在步骤S3220中,规格化单元1040基于在步骤S310中提取的解剖学特征,来计算在构成俯卧位中的被摄体的胸大肌表面形状的每个位置sp,pectral,i处相对于胸大肌表面上的基准位置xp,pectral的测地距离dp,pectral,i(1≤i≤Np,pectral)。规格化单元1040通过将与步骤S3200中以体表面为对象的处理相同的处理应用于胸大肌表面来执行这个处理步骤。
<步骤S3230>胸大肌表面上的方位的计算
在步骤S3230中,规格化单元1040基于在步骤S310中提取的解剖学特征,计算在构成俯卧位中的被摄体的胸大肌表面的每个位置sp,pectral,i处相对于胸大肌表面上的基准位置xp,pectral的方位ap,pectral,i(1≤i≤Np,pectral)。规格化单元1040通过将与步骤S3210中以体表面为对象的处理相同的处理应用于胸大肌表面来执行处理步骤。
<步骤S3240>体表面到规格化坐标系的坐标变换
在步骤S3240中,规格化单元1040基于在步骤S3200和S3210中计算的体表面上的方位和测地距离来获得用于将俯卧位中的被摄体的体表面形状坐标变换到俯卧位规格化坐标系中的预定表面的变换。更具体地,规格化单元1040计算与构成俯卧位MRI图像坐标系中的体表面形状的每个位置sp,surface,i对应的俯卧位规格化坐标系中的位置s'p,surface,i。
将参考图6A和6B描述这个处理。图6A是俯卧位MRI图像400中的乳房的示意图。图6B是由俯卧位规格化坐标系表示的俯卧位规格化空间中的乳房的示意图。为了描述方便起见,图6A和图6B两者示例性地示出了二维图像。然而,在实际处理中,每个图像具有三维空间。例如,体表面401是图6A中的曲线但是在实际处理中是曲面。同样地,规格化体表面411是图6B中的直线但是在实际处理中是平面。在这个处理步骤中,如图6A所示,规格化单元1040执行其轮廓形状是曲面的体表面401到作为矩形形状的上侧的平面的规格化体表面411的坐标变换。假设规格化乳头413的位置被定义在俯卧位规格化坐标系中的预定位置处。本实施例将例示其中规格化乳头413的位置被定义在俯卧位规格化坐标系的原点处的情况。
将描述与体表面401到规格化体表面411的坐标变换有关的具体处理过程。体表面401是表达为sp,surface,i的Np,surface个点的集合。在这些点中的每一个处,已经通过步骤S3200和S3210中的处理计算了测地距离dp,surface,i和方位ap,surface,i。在这个处理步骤中,规格化单元1040基于这些计算结果计算俯卧位规格化坐标系中的对应位置。更具体地,规格化单元1040通过由等式(2)到(4)表示的计算来计算坐标值。
xi=dp,surface,i·cos(ap,surface,i) (2)
yi=0 (3)
zi=dp,surface,i·sin(ap,surface,i) (4)
这些计算表明规格化单元1040对体表面401上的所有点执行坐标变换。也就是说,规格化单元1040执行俯卧位MRI图像坐标系中的体表面401上的所有点到俯卧位规格化坐标系中的在y=0的情况下的x-z平面上的点的坐标变换。另外,规格化单元1040执行坐标变换使得俯卧位规格化坐标系中的相对于规格化乳头413的所有点处的距离和方位匹配俯卧位MRI图像坐标系中的对应的相对于乳头406的测地距离和方位。通过上述处理计算的俯卧位规格化坐标系中的规格化体表面上的每个位置被表达为s'p,surface,i(1≤i≤Np,surface)。
<步骤S3250>胸大肌表面到规格化坐标系的坐标变换
在步骤S3250中,规格化单元1040基于在步骤S3220和S3230中计算的方位和测地距离来获得用于将俯卧位中的被摄体的胸大肌表面形状坐标变换到俯卧位规格化坐标系中的预定表面的变换。更具体地,规格化单元1040计算与构成俯卧位MRI图像坐标系中的胸大肌表面形状的每个位置sp,pectral,i对应的俯卧位规格化坐标系中的位置s'p,pectral,i。
将参考图6A和图6B描述这个处理。在这个处理步骤中,规格化单元1040以与以体表面为对象的步骤S3240中的方式相同的方式执行对于胸大肌表面的处理。也就是说,规格化单元1040执行如图6A所示的其轮廓形状是曲面的胸大肌表面404到作为矩形形状的下侧的平面的规格化胸大肌表面412的坐标变换。假设在该情况下,规格化胸大肌表面上的基准点414的位置被定义在俯卧位规格化坐标系中的预定位置处。本实施例将例示其中胸大肌表面上的基准点414被定义在俯卧位规格化坐标系中的坐标值(0,100,0)处的情况。
更具体地,规格化单元1040通过对于胸大肌表面404上的所有点sp,pectral,i计算等式(5)到(7)来执行处理。也就是说,规格化单元1040执行所有点到与规格化胸大肌表面上的基准点414齐平的x-z平面上的点的坐标变换。在这时候,规格化单元1040执行坐标变换使得相对于规格化胸大肌表面上的基准点414的距离和方位匹配俯卧位MRI图像坐标系中的相对于胸大肌表面上的基准点的测地距离dp,pectral,i和方位ap,pectral,i。
xi=dp,pectral,i·cos(ap,pectral,i) (5)
yi=100 (6)
Zi=dp,pectral,i·sin(ap,pectral,i)(7)
通过上述处理计算的俯卧位规格化坐标系中的规格化胸大肌表面上的每个位置被表达为s'p,pectral,i(1≤i≤Np,pectral)。
<步骤S3260>规格化变形的计算
在步骤S3260中,规格化单元1040计算坐标系之间的坐标变换函数(变形场)作为表示从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变换的信息。也就是说,规格化单元1040通过空间地内插在步骤S3240和S3250中获得的体表面和胸大肌表面的到俯卧位规格化坐标系的离散坐标变换的结果群,来计算从俯卧位MRI图像坐标系到俯卧位规格化坐标系的密集(dense)变换。更具体地,这个处理可以由使用径向基函数、B样条函数(B-spline)等的已知的内插方法来实现。这个处理步骤中计算的从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变换函数在本实施例中被表达为注意,是用于接收俯卧位MRI图像坐标系中的位置坐标值作为自变量并且返回俯卧位规格化坐标系中的对应位置坐标值的函数。
与相反,规格化单元1040还计算用于接收俯卧位规格化坐标系中的位置坐标值作为自变量并且返回俯卧位MRI图像坐标系中的对应位置的函数。在本实施例中,这个函数被表达为φp -1(x)。假设在该情况下,φp -1(x)被定义在俯卧位规格化坐标系中的预定的矩形区域中。矩形区域例如是包括所有位置s'p,surface,i和s'p,pectral,i的矩形区域。
注意,由上述方法计算的变换函数和φp -1(x)具有由等式(8)到(11)表示的性质。
在本实施例中步骤S320中的处理由上面描述的步骤S3200到S3260中的处理执行。
(步骤S340)获得仰卧位MRI图像
在步骤S340中,图像获得单元1000将MRI成像设备110通过对处于仰卧位的被摄体的乳房成像而获得的MRI图像(仰卧位MRI图像)从数据服务器120输入到处理设备100。由于可以通过与以俯卧位MRI图像为对象的步骤S300中的过程相同的过程执行该处理,因此将省略该处理的详细描述。获得的仰卧位MRI图像是仰卧位MRI图像坐标系中的三维体数据。
(步骤S350)从仰卧位MRI图像提取解剖学特征
在步骤S350中,解剖学特征提取单元1020通过处理在步骤S340中获得的仰卧位MRI图像来提取仰卧位的被摄体的解剖学特征。由于可以通过将与以俯卧位MRI图像为对象的步骤S310中相同的处理应用于仰卧位MRI图像来执行这个处理,因此将省略该处理的详细描述。注意,在下面的描述中,仰卧位中的体表面形状、胸大肌表面形状、乳头位置和胸大肌表面上的基准点分别表示为ss,surface,i(1≤i≤Ns,surface)、ss,pectral,i(1≤i≤Ns,pectral)、xs,surface和xs,pectral。
(步骤S360)计算到仰卧位规格化坐标系的变换
在步骤S360中,规格化单元1040基于在步骤S350中提取的仰卧位中的被摄体的解剖学特征来推导用于将仰卧位中的被摄体的形状变换为基准形状的规格化变换。更具体地,规格化单元1040计算这些坐标系之间的坐标变换函数作为表示从仰卧位MRI图像坐标系到仰卧位规格化坐标系的变换的信息。可以通过将与以俯卧位中的解剖学特征为对象的步骤S320中相同的过程应用于仰卧位中的解剖学特征来执行这个处理,因此将省略该处理的详细描述。注意,在下面的描述中,在这个处理步骤中获得的从仰卧位MRI图像坐标系到仰卧位规格化坐标系的变换函数被表达为φs(x)。另外,从仰卧位规格化坐标系到仰卧位MRI图像坐标系的变换函数被表达为φs -1(x)。
(步骤S380)MRI图像的变形
在步骤S380中,图像变形单元1060通过基于在步骤S320和S360中获得的处理结果使俯卧位MRI图像变形为仰卧位图像来产生变形的图像。更具体地,图像变形单元1060通过由等式(12)表示的计算来执行构成俯卧位MRI图像的所有体元(构成体数据的像素)中的每一个体元的位置xp的坐标变换,由此计算变换之后的位置xd。
xd=φs -1[φps{φp(xp)}] (12)
图像变形单元1060然后产生在变换之后的位置xd处具有强度值Ip(xp)的体数据。注意,函数φps(x)是从俯卧位规格化坐标系到仰卧位规格化坐标系的任意变换函数,并且是由等式(13)表示的恒等函数(identity function)。另外,变换函数φps(x)的域是与φp -1(x)相同的矩形区域。
通过上述处理产生的体数据被表达为变形的MRI图像Id(x)。也就是说,变形的MRI图像Id(x)是通过由等式(14)表示的计算根据俯卧位MRI图像Ip(x)计算的。
Id(x)=Ip[φp -1{φps -1(φs(x))}] (14)
在这个处理步骤中执行的由等式(12)表示的计算具体地表明以下。也就是说,俯卧位MRI图像坐标系中的位置xp被变换到俯卧位规格化坐标系,并且俯卧位规格化坐标系等同于仰卧位规格化坐标系。然后坐标值被变换到仰卧位MRI图像坐标系。也就是说,假设俯卧位和仰卧位之间的在形状上的差别通过各自的规格化而被消除(每个在解剖学上等同的点通过规格化被映射到规格化坐标系中的几乎匹配的坐标)。基于上述假设获得俯卧位MRI图像坐标系和仰卧位MRI图像坐标系之间的变换(执行变形对准)。
上述描述已经例示了其中恒等函数被用作俯卧位规格化坐标系和仰卧位规格化坐标系之间的坐标变换φps(x)的情况。然而,可以使用任意坐标变换。例如,φps(x)可以是改善变形的MRI图像和仰卧位MRI图像之间的图像间相似度的变形函数。例如,φps(x)可以由FFD(自由形式变形)表达,该FFD是用于非线性坐标变换的典型的技术之一。在该情况下,执行优化FFD的变形参数的处理以便使由等式(15)表示的图像间相似度最大化。
注意,Is(x)表示仰卧位MRI图像,并且Ω表示仰卧位MRI图像坐标系中的乳房区域。FFD的变形参数的优化由诸如最大坡度方法之类的已知的非线性优化方法实现。另外,可以通过除了由等式(15)表示的计算方法以外的任何已知的图像间相似度计算方法(诸如使用互相关或相互信息量的方法)来计算图像间相似度。使用上述方法使得可以除了MRI图像中描绘的被摄体的体表面、胸大肌表面等的形状信息之外还在具有俯卧位MRI图像和仰卧位MRI图像之间的高强度值的相似度的情况下产生变形。这使得可以以更高精度执行俯卧位MRI图像和仰卧位MRI图像之间的对准。
(步骤S390)显示变形的图像
在步骤S390中,观察图像产生单元1080产生观察图像使得在步骤S380中产生的变形的图像Id(x)和仰卧位MRI图像Is(x)彼此并列。在这时候,观察图像产生单元1080可以通过根据用户的操作沿着任意平面切割变形的图像Id(x)和仰卧位MRI图像Is(x)来修剪图像(断层图像)并且通过并列修剪后的图像来产生观察图像。可替代地,观察图像产生单元1080可以通过并列通过变形的图像Id(x)和仰卧位MRI图像Is(x)的体积呈现获得的图像来产生观察图像。观察图像产生单元1080可以通过重叠或结合根据变形的图像Id(x)和仰卧位MRI图像Is(x)产生的断层图像来形成观察图像。观察图像产生单元1080然后在监视器160上显示通过上述处理产生的观察图像。
通过上述方法执行根据第一实施例的处理设备100中的处理。根据本实施例,考虑到与乳房的变形有关的生物力学特性来执行规格化,可以吸收在变形的情况下的大部分位置变化并且执行到在解剖学上公共空间的变换。这使得可以执行将俯卧位和仰卧位中成像的被摄体的乳房映射到在解剖学上几乎匹配的空间的规格化变换。另外,可以提供能够通过简单方法执行俯卧位和仰卧位中成像的被摄体的乳房MRI图像之间的变形对准的机构。
(第一实施例的变型)除了矩形形状以外的规格化空间
第一实施例已经例示了其中规格化单元1040在步骤S320中产生用于将图6A中示出的乳房区域402变形到图6B中示出的矩形形状的规格化变形的情况。然而,这不是穷举的。例如,规格化坐标系中的乳房区域可以具有除了矩形形状以外的形状。例如,乳房区域可以具有由任意几何曲面(诸如二次曲面)包围的形状。另外,处理设备100可以存储多条预定形状信息并且允许用户从它们中任意地选择信息。在该情况下,处理设备100例如通过将例如俯卧位MRI图像和仰卧位MRI图像显示在监视器160上来将它们呈现给用户。用户可以在观察图像时选择合适的形状信息。这个方法使得能够根据对于每个被摄体可以具有各种形状的乳房的特性来适应性选择规格化变换方法,由此具有能够执行更精确的对准的效果。
[第二实施例]弯曲切片显示
第一实施例已经例示了其中图像变形单元1060通过在步骤S380中的处理中使俯卧位MRI图像变形来产生变形的MRI图像的情况。然而,要产生的MRI图像不限于此。本发明的第二实施例将例示其中图像变形单元1060通过将俯卧位MRI图像变换到俯卧位规格化坐标系来产生俯卧位规格化图像,并且通过使仰卧位MRI图像变换到仰卧位规格化坐标系来产生仰卧位规格化图像,并且并排显示图像的情况。
下面将仅描述与第一实施例不同的点。注意,除图像变形单元1060的功能之外,根据本实施例的处理设备的功能布置与图1中示出的相同。根据本实施例的图像变形单元1060产生俯卧位规格化图像Ipd和仰卧位规格化图像Isd。根据本实施例的处理设备中的处理过程除在步骤S380和S390中的处理的内容之外与图3中示出的相同。下面将描述本实施例中的步骤S380和S390中的处理。
在步骤S380中,图像变形单元1060通过基于变换函数φp -1(x)将俯卧位MRI图像Ip变换到俯卧位规格化坐标系来产生俯卧位规格化图像Ipd。图7A到7D是示出通过这个处理产生的图像的具体示例的图。参考图7A,俯卧位MRI图像400是示意性地示出俯卧位MRI图像Ip的示例。图像变形单元1060通过基于变换函数φp -1(x)使俯卧位MRI图像400变形来产生俯卧位规格化图像410,即,俯卧位规格化图像Ipd,作为俯卧位规格化坐标系中的图像,如图7B所示。在步骤S380中,图像变形单元1060对于仰卧位MRI图像Is执行类似的处理,并且通过基于φs -1(x)使图7C中的仰卧位MRI图像420变形来产生图7D中的仰卧位规格化图像430,即,仰卧位规格化图像Isd。利用上述处理,产生俯卧位规格化图像Ipd和仰卧位规格化图像Isd作为三维体数据。
在步骤S390中,观察图像产生单元1080基于在步骤S380中产生的俯卧位规格化图像Ipd和仰卧位规格化图像Isd产生观察图像。更具体地,观察图像产生单元1080通过沿着y=任意常数时的x-z平面切割俯卧位规格化图像Ipd和仰卧位规格化图像Isd两者来产生断层图像Islice,pd和Islice,sd,并且通过并列断层图像来产生图像作为观察图像。在该情况下,在俯卧位规格化坐标系和仰卧位规格化坐标系中的每一个中,Y坐标的值基本上表示体表面和胸大肌表面之间的距离的比例。因此,作为断层图像Islice,pd和Islice,sd,曲面形状上的切片(弯曲切片)被切割使得俯卧位MRI图像坐标系中和仰卧位MRI图像坐标系中的体表面和胸大肌表面之间的距离的比例变为恒定。这使得可以便于在医疗/解剖方面在两个图像之间进行高级的比较。例如,这产生允许在单个断层图像中的整个较宽范围内比较观察存在于乳房的体表面附近的表面血管的行走、乳房区域中的乳腺的扩展等的效果。
(第二实施例的变型)
以上述方式产生和显示MRI图像的弯曲切片的处理不必总是对于俯卧位MRI图像和仰卧位MRI图像两者执行。例如,处理设备100可以输入俯卧位MRI图像和仰卧位MRI图像中的任何一个,并且可以通过执行第一实施例中的步骤S300到S320中的处理产生和显示上述弯曲切片。这个方法具有允许在医疗和解剖学方面高级的图像观察表面血管的行走、乳腺的扩展等的效果。
[第三实施例]统计变形模型产生和对准
根据本实施例的处理设备200通过将与第一实施例中相同的规格化处理应用于许多病例(学习病例)并且统计地处理各个规格化病例的变形来构造关于变形的模型(统计变形模型)。下面将描述不同的病例之间的规格化。至少正常人体在拓扑方面具有几乎相同的解剖结构,尽管有个体差异。另外,个体差异可以基本上由尺度变换(相似变换)吸收。然而,对于乳房,由于开发机制,通过上面描述的尺度变换的个体差异的吸收具有其限制。相反,在正常人体中,乳头、体表面、胸大肌表面、中线、头尾方向(体轴)等等是在解剖学方面所有个体共有的特性几何结构。
除了个体之间的尺度变换之外,根据本实施例的处理设备200还考虑上述特性和设定作为具有特性几何结构的基准空间的空间,并且执行不同的个体人体的乳房到空间的坐标变换。这基本上吸收个体之间的差别并且允许变换到在解剖学上公共的空间。本实施例将例示其中Nsamples个病例的俯卧位和仰卧位MRI图像被用作学习病例的情况。另外,处理设备200通过将统计变形模型应用于与学习病例不同的未知病例(目标病例)来估计变形。利用这个操作,处理设备200精确地执行目标病例的俯卧位和仰卧位MRI图像之间的变形对准。
(功能布置)
图8是示出根据本实施例的处理系统的布置的框图。在本实施例中,与图1中相同的附图标记表示具有与第一实施例中相同的作用的组成元件,并且将省略它们的描述。如图8所示,根据本实施例的处理设备200包括图像获得单元1000、解剖学特征提取单元1020、规格化单元1040、学习病例变形产生单元1220、尺度计算单元1230、统计变形模型产生单元1240、目标病例变形产生单元1420、图像变形单元1060以及观察图像产生单元1080。
学习病例变形产生单元1220基于每个学习病例的MRI图像产生从俯卧位到仰卧位的变形。尺度计算单元1230计算关于各个学习病例的尺度。统计变形模型产生单元1240基于变形和关于每个学习病例的尺度产生统计变形模型。目标病例变形产生单元1420产生目标病例的从俯卧位到仰卧位的变形。
(处理过程)
接下来将描述处理设备200执行的总体操作。在本实施例中,CPU211运行存储在主存储器212中的程序来实现各个单元的功能。另外,下面要描述的处理设备200执行的每个处理的结果通过被存储在主存储器212中而被记录。
根据本实施例的处理设备200执行的处理包括学习阶段中的处理和变形估计阶段中的处理。处理设备200首先执行学习阶段中的处理,并且然后执行变形估计阶段中的处理。在学习阶段中的处理中,处理设备200学习许多病例的俯卧位和仰卧位MRI图像之间的变形并且产生统计变形模型。在变形估计阶段中的处理中,处理设备200通过使用在学习阶段中计算的统计变形模型来执行目标病例的俯卧位和仰卧位之间的变形对准。
虽然本实施例将例示其中处理设备200执行学习阶段中的处理和变形估计阶段中的处理两者的情况,但是不同的处理设备可以执行学习阶段中的处理和变形估计阶段中的处理。另外,根据本实施例的处理设备200可以执行例如仅学习阶段中的处理而不是执行学习阶段中的处理和变形估计阶段中的处理两者。另外,作为学习阶段中的处理的结果获得的统计变形模型本身的提供被并入本实施例。
(学习阶段中的处理)
图9是用于说明由根据本实施例的处理设备200执行的学习阶段中的处理过程的流程图。下面将根据这个流程图中示出的处理过程详细描述根据本实施例的学习阶段中的处理。
(步骤S500)计算学习病例的图像
在步骤S500中,图像获得单元1000获得Nsamples个学习病例的俯卧位MRI图像和仰卧位MRI图像。这个处理可以通过将与第一实施例中的步骤S300和S340中的处理相同的处理应用于Nsamples个学习病例中的每一个来执行。将省略该处理的详细描述。
(步骤S510)提取学习病例的解剖学特征
在步骤S510中,解剖学特征提取单元1020通过处理在步骤S500中获得的学习病例的俯卧位MRI图像和仰卧位MRI图像来提取解剖学特征。这个处理可以通过将与第一实施例中的步骤S310和S350中的处理相同的处理应用于Nsamples个学习病例中的每一个来执行。将省略该处理的详细描述。
(步骤S520)计算学习病例的到规格化坐标系的变形函数。
在步骤S520中,规格化单元1040基于在步骤S510中提取的每个学习病例的解剖学特征来推导关于每个学习病例的用于将被摄体的形状变换为基准形状的规格化变换。更具体地,规格化单元1040基于每个俯卧位MRI图像计算从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变形函数。另外,规格化单元1040基于每个仰卧位MRI图像计算从仰卧位MRI图像坐标系到仰卧位规格化坐标系的变形函数。这些处理可以通过与第一实施例中描述的步骤S320和S360中的处理相同的处理来执行。将省略该处理的详细描述。
通过上述处理计算的每个学习病例的从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变形函数被表达为φp,j(x)。另外,从仰卧位MRI图像坐标系到仰卧位规格化坐标系的变形函数被表达为φs,j(x)。在该情况下,j表示学习病例的病例编号,并且由1≤j≤Nsamples限定。也就是说,执行获得关于Nsamples个学习病例中的每一个的变形函数的处理。
(步骤S540)计算每个学习病例的从俯卧位规格化坐标系到仰卧位规格化坐标系的变换函数
在步骤S540中,学习病例变形产生单元1220计算关于每个学习病例的从俯卧位规格化坐标系到仰卧位规格化坐标系的变换函数。更具体地,学习病例变形产生单元1220对于Nsamples个学习病例中的每一个执行以下处理。
首先,学习病例变形产生单元1220通过使用鼠标170和键盘180的用户输入操作获得俯卧位MRI图像坐标系和仰卧位MRI图像坐标系中的对应位置。假设在该情况下,对应位置由用户输入。输入的俯卧位MRI图像坐标系和仰卧位MRI图像坐标系中的对应位置分别由xp,corres,k和xs,corres,k表示。注意,k表示对应点的索引(index),并且由1≤k≤Ncorres限定,其中Ncorres是对应位置的数量。在该情况下,对应位置与例如MRI图像中的血管的分支点、乳腺的具有特性结构的区域等对应,并且是可以使得用户彼此视觉上对应的位置的集合。
学习病例变形产生单元1220然后通过使用步骤S520中获得的到规格化坐标系的变换来变换获得的位置xp,corres,k和xs,corres,k。更具体地,学习病例变形产生单元1220执行由等式(16)表示的处理来计算俯卧位规格化坐标系和仰卧位规格化坐标系中的位置x'p,corres,k和x's,corres,k。
X’p,corres,k=φp,j(Xp,corres,k)(1≤k≤Ncorres) (16)
X’s,corres,k=φs,j(Xs,corres,k)(1≤k≤Ncorres) (17)
另外,在这个处理步骤中,学习病例变形产生单元1220基于计算的位置x'p,corres,k和x's,corres,k来计算从俯卧位规格化坐标系到仰卧位规格化坐标系的变换函数φps,j(x)。更具体地,学习病例变形产生单元1220计算变换函数φps,j(x)从而在最小误差的情况下近似由等式(18)表示的关系。
X’s,corres,k=φps,j(X’p,corres,k)(1≤k≤Ncorres) (18)
注意,作为等式(18)的误差,可以使用例如关于Ncorres个对应位置的平方和误差。在该情况下,变换函数φps,j(x)是在俯卧位规格化坐标系中定义的连续函数。更具体地,函数φps,j(x)可以通过使用FFD(自由形式变形)、RBF(径向基函数)等来表达。
在这时候,学习病例变形产生单元1220优选地设置有预定的约束,使得在俯卧位规格化坐标系中的体表面上的位置(在本实施例中为y=0的平面)处的变换函数φps,j(x)的值输出仰卧位规格化坐标系中的体表面上的位置(同样y=0的平面)。同样地,学习病例变形产生单元1220优选地设置有预定的约束使得在俯卧位规格化坐标系中的胸大肌表面上的位置(在本实施例中为y=100的平面)处的变换函数φps,j(x)的值输出仰卧位规格化坐标系中的胸大肌表面上的位置(同样y=100的平面)。利用这个操作,学习病例变形产生单元1220可以在俯卧位和仰卧位之间的位置关系中考虑到体表面和胸大肌表面彼此匹配的条件和关于由用户输入的乳房内的对应位置的信息两者,获得变换函数。在这个处理步骤中,学习病例变形产生单元1220针对Nsamples个学习病例中的每一个执行上述处理,并且针对每个病例计算从俯卧位规格化坐标系到仰卧位规格化坐标系的变换函数φps,j(x)。
以上描述已经例示了其中学习病例变形产生单元1220获得关于俯卧位MRI图像坐标系和仰卧位MRI图像坐标系中的对应位置的信息并且基于获得的信息计算变形函数φps,j(x)的情况。然而,计算变形函数φps,j(x)的方法不限于此示例。例如,如以与第一实施例中的步骤S380中的处理中描述的相同的方式,学习病例变形产生单元1220可以基于俯卧位MRI图像和仰卧位MRI图像之间的图像间相似度计算变形函数φps,j(x)。另外,除了俯卧位MRI图像坐标系和仰卧位MRI图像坐标系中的对应位置的信息之外,学习病例变形产生单元1220还可以基于俯卧位MRI图像和仰卧位MRI图像之间的图像间相似度计算变形函数φps,j(x)。以上方法具有能够更精确地获得每个学习病例的变形的效果。
(步骤S550)计算学习病例的尺度(Scale)
在步骤S550中,尺度计算单元1230计算每个学习病例的尺度。在该情况下,病例的尺度是表示对于每个病例不同的乳房区域的尺寸的数值。通过例如测量俯卧位中的被摄体的乳头位置与最靠近乳头位置的中线上的体表面位置之间的距离的值,来计算尺度。用户可以通过向处理设备200输入使用测量仪器针对俯卧位中的被摄体直接测量的数值来执行这个处理。可替代地,处理设备200可以被配置为测量俯卧位MRI图像上的距离的值。在该情况下,处理设备200可以通过自动地处理俯卧位MRI图像来计算上述测量值。可替代地,处理设备200可以被配置为通过使用监视器160等向用户呈现俯卧位MRI图像并且通过用户操作鼠标170和键盘180来获得测量值。例如,处理设备200在监视器160上显示俯卧位MRI图像,使得用户指定图像上描绘的被摄体的乳头位置和最靠近乳头位置的中线上的体表面位置,并且计算位置之间的距离,由此实现上述处理。
以上描述已经例示了通过使用乳头位置与最靠近乳头位置的中线上的体表面位置之间的距离(欧几里德距离)计算病例的尺度的方法。然而,要使用的尺度计算方法不限于此方法。例如,可以通过使用上述两点之间的测地距离来计算尺度。这具有能够还考虑到各个病例的乳房之间的形状差别来计算尺度值的效果。另外,除了上述两点之间的测地距离或距离之外,还可以基于例如乳房区域的体积、到乳房的外端的距离、被摄体的胸围来计算尺度。此外,计算尺度的方法不限于一种方法。例如,可以基于通过多种类型的方法计算的值来计算尺度。在该情况下,通过多种类型的方法计算的值可以被向量化成多维的尺度值。可替代地,可以通过执行通过多种类型的方法计算的值的平均操作或线性组合操作来计算尺度值作为标量值。在任何情况下,优选的是对于Nsamples个病例使用相同的方法和基准来计算尺度。
通过上述方法计算的尺度被表达为vj(1≤j≤Nsamples)。在本实施例中,尺度值是作为俯卧位中的乳头位置与最靠近乳头位置的中线上的体表面位置之间的距离(欧几里德距离)的标量值和预定的基准值之间的比例。在该情况下,预定的基准值是例如从标准乳房上的乳头位置到最靠近乳头位置的中线上的体表面位置的距离的值。
(步骤S580)产生统计变形模型
在步骤S580中,统计变形模型产生单元1240基于通过步骤S500到S570中的处理计算的关于Nsamples个病例的φps,j(x)和vj产生统计变形模型。图10是用于更详细地说明步骤S580中的处理的流程图。将沿着图10的流程图描述这个处理。
<步骤S5800>φps,j(x)的缩放
在步骤S5800中,统计变形模型产生单元1240通过基于关于Nsamples个病例的变换函数φps,j(x)和尺度vj缩放变换函数φps,j(x)来计算变换函数φ'ps,j(x)。更具体地,统计变形模型产生单元1240根据等式(19)计算变换函数φ'ps,j(x)。
φ’ps,j(x’)=φps,j(x)/vj (19)
然而,在该情况下,当x=(x,y,z)T时,x'=(x×vj,y,z×vj)T。也就是说,φ'ps,j(x)是通过对于X坐标和Z坐标利用病例的尺度值vj缩放φps,j(x)而获得的函数。注意,φ'ps,j(x)的域对于x坐标和z坐标由于病例的尺度值vj而小于φps,j(x)的域。统计变形模型产生单元1240对于所有Nsamples个病例执行对于变换函数φps,j(x)(1≤j≤Nsamples)的上述处理,并且通过缩放各个病例来计算变换函数φ'ps,j(x)(1≤j≤Nsamples)。
<步骤S5820>φ'ps,j(x)的向量化
在步骤S5820中,统计变形模型产生单元1240离散化步骤S5800中计算的缩放后的变换函数φ'ps,j(x)。这个离散化处理通过以下过程执行。
首先,统计变形模型产生单元1240获得关于Nsamples个病例的变换函数φ'ps,j(x)所公共的域。Nsamples个变换函数φ'ps,j(x)根据各个病例的体表面和胸大肌表面的形状、尺度值等而分别具有不同的域。假设在本实施例中,其中定义φ'ps,j(x)的域为所有Nsamples个病例所公共。因此,在这个域中,所有Nsamples个变换函数φ'ps,j(x)具有值。
统计变形模型产生单元1240然后在上面描述的公共域之上采样变换函数φ'ps,j(x)的值,并且通过垂直地排列采样结果产生离散化的向量。在该情况下,统计变形模型产生单元1240通过顺序地排列在上述域之内以预定间隔以光栅扫描形式采样的值从而形成向量来产生离散化的向量。注意,变换函数φ'ps,j(x)是用于返回x、y和z的三维值的函数,并且因此统计变形模型产生单元1240对于每个坐标轴产生离散化的向量。在该情况下,沿着三维坐标轴x、y和z的离散化的向量分别由px,j、py,j和pz,j表示。离散化的向量是具有与通过上述光栅扫描方案采样的次数对应的维度的实向量。
统计变形模型产生单元1240将上述处理应用于Nsamples个变换函数φ'ps,j(x)。利用这个操作,统计变形模型产生单元1240获得Nsamples个离散化的向量px,j、py,j和pz,j。注意,上面描述的通过以光栅扫描形式采样获得的离散化的向量可以通过使用任意内插函数等逆向地变换到实空间中的变换函数。假设在本实施例中,φ'ps,j(x)由具有离散化的向量px,j、py,j和pz,j和实空间中的位置x作为自变量的内插函数finterp(px,j,py,j,pz,j,x)近似。
<步骤S5840>通过主成分分析产生统计变形模型
在步骤S5840中,统计变形模型产生单元1240通过执行在步骤S5820中计算的离散化的向量px,j、py,j和pz,j(1≤j≤Nsamples)的主成分分析来产生统计变形模型。由于可以通过已知的方法执行主成分分析,因此将省略详细描述。作为主成分分析的结果,统计变形模型产生单元1240获得关于各个离散化的向量的平均向量eave,x、eave,y和eave,z以及本征向量ex,k、ey,k和ez,k(1≤k≤Nmode),其中Nmode是通过主成分分析计算的本征向量的总数,并且可以通过例如相对于通过主成分分析计算的累积贡献率设定预定的阈值来设定。在本实施例中,通过上述处理计算的平均向量和本征向量将被称为统计变形模型。
注意,平均向量和本征向量可以通过计算等式(20)来近似离散化的向量,等式(20)利用合适的权重计算这些向量的线性和。
其中Ex是横向排列的向量ex,k的矩阵,并且b是通过纵向排列bk获得的向量,其在本实施例中被称作系数向量。已经已知,通常,当病例数Nsamples足够大时,表示它们的变形的离散化的向量可以由数量小于Nsamples的本征向量和平均向量的线性和精确地近似。
在本实施例中的学习阶段中的处理通过上面描述的步骤S500到S580中的处理执行。作为这个处理的结果,产生统计变形模型。
(变形估计阶段中的处理)
图11是用于说明由根据本实施例的处理设备200执行的变形估计阶段中的处理过程的流程图。下面将根据这个流程图中示出的处理过程详细描述根据本实施例的变形估计阶段中的处理。
(步骤S600)读取统计变形模型
在步骤S600中,处理设备200将通过学习阶段中的处理产生的统计变形模型读出到处理设备200的主存储器212。
(步骤S602)获得目标病例的图像
在步骤S602中,图像获得单元1000获得目标病例的俯卧位MRI图像和仰卧位MRI图像。这个处理可以以与第一实施例中的步骤S300和S340中的处理相同的方式执行。将省略这个处理的详细描述。
(步骤S604)提取目标病例的解剖学特征
在步骤S604中,解剖学特征提取单元1020通过处理步骤S602中获得的目标病例的俯卧位MRI图像和仰卧位MRI图像而从目标病例中提取解剖学特征。这个处理可以以与第一实施例中的步骤S310和S350中的处理相同的方式执行。将省略该处理的详细描述。
(步骤S610)计算目标病例的到规格化坐标系的变换
在步骤S610中,规格化单元1040基于步骤S604中提取的目标病例的解剖学特征来计算从目标病例的俯卧位MRI图像坐标系到俯卧位规格化坐标系的变换和从仰卧位MRI图像坐标系到仰卧位规格化坐标系的变换。规格化单元1040通过将与已经作为学习阶段中的处理描述的步骤S520中的处理相同的处理应用于目标病例来执行这个处理。将省略该处理的详细描述。通过这个处理计算的从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变换被表达为φp,target(x)。另外,从仰卧位MRI图像坐标系到仰卧位规格化坐标系的变换被表达为φs,target(x)。
(步骤S630)计算目标病例的尺度
在步骤S600中,尺度计算单元1230计算目标病例的尺度。尺度计算单元1230通过将与已经作为学习阶段中的处理描述的步骤S550中的处理相同的处理应用于目标病例来执行这个处理。将省略该处理的详细描述。通过这个处理计算的目标病例的尺度被表达为vtarget。
(步骤S640)优化统计变形模型的系数
在步骤S600中,目标病例变形产生单元1420计算目标病例的俯卧位MRI图像坐标系和仰卧位MRI图像坐标系之间的变换。也就是说,目标病例变形产生单元1420执行俯卧位MRI图像和仰卧位MRI图像之间的变形对准处理。目标病例变形产生单元1420基于通过学习阶段中的处理获得的统计变形模型以及目标病例的俯卧位和仰卧位MRI图像来执行这个处理。更具体地,目标病例变形产生单元1420计算系数向量b,其使通过由等式(21)表示的计算而算出的评价函数G(b)最大化。
G(b)=Gsimil{D(Ip,b),Is} (21)
其中Ip是目标病例的俯卧位MRI图像,并且Is是目标病例的仰卧位MRI图像。另外,函数Gsimil(I1,I2)是用于评价被提供作为自变量的两个图像之间的相似度的函数,并且可以通过诸如SSD、SAD、互相关或相互信息量方法之类的已知的图像间相似度评价方法实现。
另外,函数D(I,b)是用于基于统计变形模型的系数向量b使图像I变形的函数。更具体地,函数D(I,b)执行以下处理。也就是说,这个函数基于系数向量b通过由表达式(22)表示的计算来计算离散化的向量px、py和pz。
目标病例变形产生单元1420基于计算的离散化的向量px、py和pz通过等式(23)获得变形函数φtarget(x)。
φtarget(x)=φs -1[finterp{px,py,pz,φp(x)}] (23)
统计变形模型产生单元1240根据等式(24)通过使用步骤S630中计算的目标病例的尺度vtarget缩放变换函数φtarget(x)来进一步计算变换函数φ'target(x)。
φ’target(x’)=φtarget(x)×vtarget (24)
在该情况下,如果x=(x,y,z)T,则x'=(x×vtarget,y,z×vtarget)T。也就是说,φ’target(x)是通过关于X坐标和Z坐标利用目标病例的尺度值vj缩放φtarget(x)并且利用尺度值vtarget进一步缩放函数的值而获得的函数。
函数D(I,b)然后基于变形函数φ'target(x)使图像I变形。也就是说,等式(21)中的D(Ip,b)执行由下面给出的等式(25)表示的计算。
D(Ip,b)=Ip{φ’target(x)} (25)
如上所述,由等式(21)表示的评价函数G(b)基于系数向量b评价通过使俯卧位MRI图像变形而获得的图像和仰卧位MRI图像之间的相似度。在这个处理步骤中,目标病例变形产生单元1420通过使用诸如最陡下降法、准牛顿法或共轭梯度法之类的非线性优化方法来计算系数向量b,其使由等式(21)表示的评价函数的值最大化。通过这个处理获得的系数向量被表达为bopt。
上述描述已经例示了其中基于通过使俯卧位MRI图像变形而获得的变形MRI图像与仰卧位MRI图像之间的图像间相似度计算系数向量的情况。然而,要使用的系数向量计算方法不限于此。如果例如可以识别目标病例的俯卧位MRI图像和仰卧位MRI图像之间的对应位置,处理设备200可以获得这些位置信息,并且目标病例变形产生单元1420可以计算系数向量从而近似它们之间的对应关系。当例如处理设备200通过用户输入获得这些对应位置时,可以估计变形从而匹配用户想要在两个图像之间匹配的位置。
另外,可以通过将用于在目标病例的俯卧位MRI图像和仰卧位MRI图像之间的对应位置之间的误差的评价函数加到由等式(21)表示的图像间相似度评价函数,产生新的评价函数。这个函数具有能够基于关于图像间相似度的信息和关于用户输入的对应位置的信息两者以更高精度执行变形估计的效果。注意,关于对应位置的信息不限于用户输入的信息,并且可以通过使用例如特征点检测/特征点关联法(诸如nSIFT)被自动地从俯卧位MRI图像和仰卧位MRI图像两者中获得。这使得可以更有效地执行变形估计。
另外,这个处理步骤中要计算的系数向量不必总是通过例如使评价函数最大化获得。例如,系数向量可以是0向量。在该情况下,这个处理步骤中计算的变形是作为在本实施例中的学习阶段中的处理的步骤S580中计算的平均变形。与上述第一实施例中的使用作为恒等函数的φps(x)的变形估计相比,可以以更高精度执行变形估计。
(步骤S650)MRI图像的变形
在步骤S600中,图像变形单元1060通过基于步骤S640中计算的变换使俯卧位MRI图像变形来产生变形MRI图像。更具体地,图像变形单元1060通过基于系数向量bopt使用由等式(24)表示的图像变形函数D(I,b)使目标病例的俯卧位MRI图像Ip变形来计算变形MRI图像Id。
(步骤S660)显示变形后的图像
在步骤S600中,观察图像产生单元1080产生具有并列的在步骤S650中产生的变形后的MRI图像Id以及目标病例的仰卧位MRI图像的观察图像。这个处理步骤中的具体处理与第一实施例中的步骤S390中的处理相同,并且因此将省略该处理的详细描述。
利用上面描述的步骤S600到S660中的处理,执行在本实施例中的变形估计阶段中的处理。作为这个处理的结果,在目标病例的俯卧位MRI图像和仰卧位MRI图像之间执行变形估计处理。变形后的MRI图像是通过使俯卧位MRI图像变形为与仰卧位MRI图像对应来产生的并且与仰卧位MRI图像一起显示,由此以允许容易比较的形式呈现输入图像。
(第三实施例的第一变型)包括俯卧位和仰卧位之间不同的规格化的到标准形状(包括碗状形状和圆锥体)的规格化
本实施例已经例示了其中在步骤S540和S610中的处理中基于从作为基准点的乳头位置到构成体表面和胸大肌表面的点群的距离和方位计算到规格化坐标系的变换φp和φs的情况。然而,计算变换φp和φs的方法不限于此示例。例如,步骤S540和S610中的到规格化坐标系的变换φp和φs可以是到关于俯卧位和仰卧位的标准形状的变换函数。在该情况下,标准形状可以是具体病例的乳房形状。
更具体地,用户可以任意地选择本实施例中学习的Nsamples个病例中的一个,并且选择的病例的体表面形状和胸大肌形状可以是标准形状。可替代地,标准形状可以是要学习的Nsamples个病例的平均形状。另外,标准形状不一定是从学习病例中选择的,并且可以使用与学习病例不同的病例的体表面形状和胸大肌形状。此外,标准形状不限于存在的具体病例的形状,并且可以是人造乳房的模拟形状。例如,可以使用通过切割球或椭圆体而获得的形状、像圆锥体或碗状形状一样的形状等作为标准形状。另外,俯卧位和仰卧位中相同的形状可以被用作标准形状,或俯卧位和仰卧位中不同的形状可以被用作标准形状。可替代地,处理设备200可以具有关于多个预定标准形状的信息,并且可以基于学习病例的解剖学特征选择合适的标准形状。在任何情况下,在本实施例中的统计变形模型是近似表示关于俯卧位中的标准形状的坐标系与关于仰卧位中的标准形状的坐标系之间的变换函数的模型。
(第三实施例的第二变型)其中学习病例的到规格化坐标系的变形可以是FFD的情况;在该情况下,SDM可以被用作统计模型
本实施例已经例示了其中在步骤S580中的处理中步骤S540中计算的变形φps,j(x)在规格化坐标系的空间中扩展作为变形场(离散化的向量)的情况。然而,这个扩展可以以其它的形式执行。例如,在步骤S540中,变形φps,j(x)可以用FFD表示,并且离散化的向量px,j、py,j和pz,j可以通过FFD的参数(控制点的控制量)的向量化来计算。在该情况下,统计变形模型可以用NPL 2中公开的方法(统计变形模型方法)构造。这个方法消除步骤S580中的将变形φps,j(x)扩展到变形场中的离散化的向量的必要性,并且具有能够减少计算处理量和存储容量的消耗的效果。
[第四实施例]构造俯卧位中的乳房的统计图册(Atlas)的示例
根据本实施例的处理设备800使用通过对俯卧位中的许多病例的乳房成像而获得的MRI图像作为学习数据,并且规格化在各个病例之间不同的乳房的形状,由此构造有效地表示乳房的形状的统计形状模型。虽然本实施例将例示其中通过对俯卧位中的乳房成像而获得的数据被用作本实施例中的学习数据的情况,但是可以使用通过对其它姿势中的乳房成像而获得的数据。例如,该姿势可以是仰卧位、直立位置等等。
(功能布置)
图12是示出根据本实施例的处理系统的布置的框图。在本实施例中,与图1中相同的附图标记表示具有与第一实施例中相同的作用的组成元件,并且将省略它们的描述。如图12所示,根据本实施例的处理设备800包括图像获得单元1000、解剖学特征提取单元1020、规格化单元1040、尺度计算单元1620以及统计形状模型产生单元1640。尺度计算单元1620计算关于每个学习病例的尺度。统计形状模型产生单元1640基于关于每个学习病例的变形/尺度产生统计形状模型。
(处理过程)
接下来,将描述处理设备800的整个操作。在本实施例中,CPU211运行存储在主存储器212中的程序来实现各个单元的功能。另外,下面要描述的处理设备200执行的每个处理的结果通过被存储在主存储器212中而被记录。图13是用于说明由根据本实施例的处理设备800执行的处理过程的流程图。将参考图13描述这个过程。
(步骤S700)获得学习病例的图像
在步骤S700中,图像获得单元1000获得学习病例的俯卧位MRI图像。在本实施例中,图像获得单元1000获得Nsamples个学习病例的俯卧位MRI图像。类似于第一实施例中的步骤S300中的处理的处理被应用于Nsamples个学习病例中的每一个。将省略这个处理的详细描述。
(步骤S705)提取学习病例的解剖学特征
在步骤S705中,解剖学特征提取单元1020通过处理在步骤S700中获得的学习病例的俯卧位MRI图像中的每一个来提取每个学习病例的解剖学特征。解剖学特征提取单元1020将类似于第一实施例中的步骤S310中的处理的处理应用于Nsamples个学习病例中的每一个。将省略该处理的详细描述。
(步骤S710)计算学习病例的到规格化坐标系的变换
在步骤S710中,规格化单元1040推导用于将多个学习病例中的每一个中的被摄体的形状变换到基准形状的规格化变换。更具体地,规格化单元1040计算从MRI图像坐标系到规格化坐标系的坐标变换函数。规格化单元1040将类似于第一实施例中的步骤S320中的处理的处理应用于Nsamples个学习病例中的每一个。将省略该处理的详细描述。
在本实施例中,计算的到规格化坐标系的变换被表达为函数φp,j(x)。在该情况下,函数φp,j(x)是对于每个病例计算的,并且是对于每个病例的从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变换函数。也以与第一实施例中相同的方式计算从俯卧位规格化坐标系到俯卧位MRI图像坐标系的变换。这个变换被表达为φ-1 p,j(x),其中j是学习病例的病例编号的索引,并且在本实施例中1≤j≤Nsamples。注意,在本实施例中,对于每个学习病例,已经提前平移俯卧位MRI图像或俯卧位MRI图像坐标系以便将图像中的乳头位置与坐标系的原点匹配。
(步骤S720)计算每个学习病例的尺度
在步骤S720中,尺度计算单元1620计算每个学习病例的尺度。尺度计算单元1620以与第三实施例中的步骤S550中相同的方式执行这个处理。将省略该处理的详细描述。每个计算的尺度被表达为vj(1≤j≤Nsamples)。
(步骤S740)缩放变换函数
在步骤S740中,统计形状模型产生单元1640通过基于关于Nsamples个病例的变换函数φ-1 p,j(x)和尺度vj缩放变换函数φ-1 p,j(x)来计算变换函数φ'-1 p,j(x)。更具体地,统计形状模型产生单元1640根据等式(26)计算变换函数φ'-1 p,j(x)。
φ’-1 p,j(x’)=φ-1 p,j(x)/vj (26)
在该情况下,如果x=(x,y,z)T,则x'=(x×vj,y,z×vj)T。也就是说,φ'-1 p,j(x)是通过在域中在x坐标和z坐标的方向上利用每个学习病例的尺度值vj缩放φ-1 p,j(x)并且利用尺度值vj进一步缩放函数的值而获得的函数。统计形状模型产生单元1640通过对于所有Nsamples个病例的变换函数φ-1 p,j(x)(1≤j≤Nsamples)执行上述处理并且缩放每个病例,计算变换函数φ'-1 p,j(x)(1≤j≤Nsamples)。
(步骤S760)产生统计形状模型
在步骤S760中,统计形状模型产生单元1640通过统计地处理步骤S740中计算的变换函数φ'-1 p,j(x)(1≤j≤Nsamples)来产生统计形状模型。将省略这个处理的详细描述。
首先,统计形状模型产生单元1640离散化变换函数φ'-1 p,j(x)。统计形状模型产生单元1640对于在本实施例中的变换函数φ'-1 p,j(x)执行类似于第三实施例中的步骤S5820中的针对φ'ps,j(x)的处理的处理。将省略这个处理的详细描述。通过处理获得的离散化的向量分别由qx,j、qy,j以及qz,j表示。统计形状模型产生单元1640将这个处理应用于所有Nsamples个变换函数φ'-1 p,j(x)。在该情况下,计算的离散化的向量qx,j、qy,j以及qz,j是通过采样规格化坐标系中的变换函数获得的向量。在规格化坐标系中,每个学习病例具有在解剖学上几乎匹配的位置关系。为此,相同的维度中的这些离散化的向量的值具有各个学习病例中的在解剖学上几乎相同的位置处的变换函数的值。
统计形状模型产生单元1640然后通过借助于主成分分析统计地处理计算的离散化的向量qx,j、qy,j以及qz,j(1≤j≤Nsamples),产生统计形状模型。统计形状模型产生单元1640以与第三实施例中的步骤S5840中相同的方式执行这个处理。将省略该处理的详细描述。通过上述处理获得的平均向量分别表示为e'ave,x、e'ave,y和e'ave,z。另外,获得的本征向量分别表示为e'x,k、e'y,k和e'z,k,其中k是通过主成分分析获得的本征向量的索引。当获得N'mode个本征向量时,1≤k≤N'mode。
利用上面描述的步骤S700到S760中的处理,根据本实施例的处理设备800基于学习病例产生统计形状模型。这个统计形状模型是用于以较小数量的基底有效地近似每个学习病例的变换函数φ'-1 p,j(x)的模型,如关于第三实施例中的步骤S5840描述的等式(20)所指示的。这个模型考虑到为学习病例所共有的统计特征而产生。即使提供未被包括在学习病例中未知的病例,也可以预期该模型精确地近似用于该病例的变换函数。在该情况下,变换函数是具有规格化坐标系作为域的函数。由于规格化坐标系中的体表面和胸大肌表面的位置已知,因此可以以下方式使用统计形状模型。
也就是说,可以获得统计形状模型的系数向量使得从未知病例的俯卧位MRI图像中提取的体表面和胸大肌表面的形状几乎匹配由统计形状模型表示的体表面和胸大肌表面的形状。在该情况下,从未知病例的俯卧位MRI图像中提取的体表面和胸大肌表面的形状可以部分地包括信息损失或噪声。也就是说,系数向量可以是从关于来自未知病例的俯卧位MRI图像的体表面和胸大肌表面的形状的有限的观察信息中获得的。计算系数向量使得可以估计用于该未知病例的变换函数并且因此产生补偿有限的观察信息的信息。也就是说,统计形状模型可以被用于乳房区域的片段。
[第五实施例]
本实施例将例示处理设备900,其构造第三实施例中描述的统计变形模型和第四实施例中描述的统计形状模型两者,并且通过使用这些模型对于目标病例简单地和稳健地执行规格化处理。
(功能布置)
图14是示出根据本实施例的处理系统的布置的框图。在本实施例中,相同的附图标记表示具有与第一到第四实施例中相同的作用的组成元件,并且将省略它们的描述。如图14所示,根据该实施例的处理设备900包括图像获得单元1000、解剖学特征提取单元1020、规格化单元1040、尺度计算单元1230、统计形状模型产生单元1640以及统计变形模型产生单元1240。处理设备900还包括目标病例形状提取单元1800、目标病例规格化单元1820、目标病例尺度计算单元1830、目标病例变形产生单元1420、图像变形单元1060以及观察图像产生单元1080。
目标病例形状提取单元1800从通过图像获得单元1000获得的目标病例的MRI图像中提取目标病例的体表面和胸大肌表面形状。目标病例尺度计算单元1830基于通过图像获得单元获得的目标病例的MRI图像以及通过目标病例形状提取单元1800提取的目标病例的体表面和胸大肌表面形状计算目标病例的尺度。目标病例规格化单元1820基于通过统计形状模型产生单元1640产生的统计形状模型、通过目标病例形状提取单元1800提取的目标病例的体表面和胸大肌表面的形状、以及通过目标病例尺度计算单元1830计算的目标病例的尺度,来计算目标病例的到规格化坐标系的变换。
(处理过程)
接下来将描述处理设备900执行的总体操作。在本实施例中,CPU211运行存储在主存储器212中的程序来实现各个单元的功能。另外,下面要描述的处理设备900执行的每个处理的结果通过被存储在主存储器212中而被记录。本实施例中的处理设备900执行的处理包括学习阶段中的处理和变形估计阶段中的处理。处理设备900首先执行学习阶段中的处理,并且然后执行变形估计阶段中的处理。在学习阶段中的处理中,处理设备900学习许多病例的俯卧位和仰卧位中的MRI图像之间的变形并且产生统计变形模型。另外,在学习阶段中的处理中,处理设备900学习许多病例的俯卧位形状和仰卧位形状并且产生统计形状模型。在变形估计阶段中的处理中,处理设备900通过使用在学习阶段中产生的统计变形模型和统计形状模型来执行目标病例的俯卧位和仰卧位之间的变形对准。
本实施例的以下描述将例示其中处理设备900执行学习阶段中的处理和变形估计阶段中的处理两者的情况。然而,不同的处理设备可以执行学习阶段中的处理和变形估计阶段中的处理。另外,根据本实施例的处理设备900可以执行例如仅学习阶段中的处理而不是执行学习阶段中的处理和变形估计阶段中的处理两者。另外,作为学习阶段中的处理的结果获得的统计变形模型和统计形状模型本身的提供被并入本实施例。
(学习阶段中的处理)
图15是用于说明由根据本实施例的处理设备900执行的学习阶段中的处理过程的流程图。将沿着图15描述该处理。
(S6000)到(S6050)
在步骤S6000到S6050中,处理设备900执行与第三实施例中处理设备200执行的步骤S500到S580中相同的处理。步骤S6040中计算的学习病例的尺度值被表达为vj,其中j是学习病例的病例编号的索引,并且在本实施例中1≤j≤Nsamples。另外,步骤S6050中产生的统计变形模型的平均向量分别表示为edeform ave,x,edeform ave,y和edeform ave,z,并且本征向量分别表示为edeform,x,k,edeform y,k和edeform z,k,其中k是通过主成分分析获得的多个本征向量的索引。假设在本实施例中获得Ndeform mode个本征向量。也就是说,1≤k≤Ndeform mode。将省略这个处理的详细描述。
(S6070)产生俯卧位统计形状模型
在步骤S6070中,统计形状模型产生单元1640通过对于俯卧位中的学习病例的形状执行与第四实施例中的步骤S740和S760中的处理相同的处理来产生关于俯卧位中的学习病例的形状的统计形状模型。在这个处理中,用于缩放每个学习病例的尺度值是步骤S6040中计算的尺度值vj。利用上述处理,产生俯卧位统计形状模型。在该情况下产生的俯卧位统计形状模型的平均向量分别表示为ep shape,ave,x,ep shape,ave,y和ep shape,ave,z,并且本征向量分别表示为ep shape,x,k,ep shape,y,k和ep shape,z,k,其中k是通过主成分分析获得的多个本征向量的索引。假设在本实施例中获得Np shape mode个本征向量。也就是说,1≤k≤Np shape mode。将省略这个处理的详细描述以避免第四实施例中的步骤S740和S760中的处理的重复说明。
(S6080)产生仰卧位统计形状模型
在步骤S6080中,统计形状模型产生单元1640通过对于仰卧位中的学习病例的形状执行与第四实施例中的步骤S740和S760中的处理相同的处理来产生关于仰卧位中的学习病例的形状的统计形状模型。在这个处理中,用于缩放每个学习病例的尺度值是步骤S6040中计算的尺度值vj。
利用上述处理,产生仰卧位统计形状模型。在该情况下产生的仰卧位统计形状模型的平均向量分别表示为es shape,ave,x,es shape,ave,y和es shape,ave,z,并且本征向量分别表示为es shape,x,k,es shape,y,k和es shape,z,k,其中k是通过主成分分析获得的本征向量的索引。假设在本实施例中获得Ns shape mode个本征向量。也就是说,1≤k≤Ns shape mode。将省略这个处理的详细描述以避免第四实施例中的步骤S740和S760中的处理的重复说明。利用上述处理,处理设备900产生关于学习病例的统计变形模型和俯卧位和仰卧位统计形状模型。
(变形估计阶段中的处理)
接下来将参考图16的流程图描述处理设备900执行的变形估计阶段中的处理过程。
(S6100)
在步骤S6100中,处理设备900将通过学习阶段中的处理产生的俯卧位和仰卧位统计形状模型从处理设备900的主存储器212读出。
从(S6110)到(S6120):读取统计变形模型/获得目标病例的图像
在步骤S6110到S6120中,处理设备900执行与根据第三实施例的处理设备200作为变形估计阶段中的处理而执行的步骤S600到S602中相同的处理。将省略这个处理的描述。
(S6130)提取目标病例的形状
在步骤S6130中,目标病例形状提取单元1800通过处理在步骤S6120中获得的目标病例的俯卧位MRI图像和仰卧位MRI图像来提取俯卧位和仰卧位中的目标病例的体表面和胸大肌表面的形状。更具体地,目标病例形状提取单元1800从每个MRI图像中提取表示体表面和胸大肌表面的位置的多个点群。这个处理部分地与根据第三实施例的处理设备200执行的步骤S604中的处理相同。然而注意上述形状提取处理不必针对每个MRI图像中描绘的被摄体的整个乳房区域,并且仅要求检测乳房区域的一部分或其周边区域的形状。另外,要提取的形状不必像描述为第三实施例中的步骤S604中的处理的解剖学特征的提取结果那样是密集的点群,并且可以是相对稀疏的点群。在本实施例中,提取的俯卧位形状被表达为sp,surface,i(1≤i≤Np,surface),并且提取的仰卧位形状被表达为ss,surface,i(1≤i≤Ns,surface)。在该情况下,Np,surface指示表示俯卧位形状的点的数量。同样地,Ns,surface指示表示仰卧位形状的点的数量。
另外,在步骤S6130中,在执行上述处理的同时,目标病例形状提取单元1800获得俯卧位和仰卧位中的目标病例的胸大肌表面上的基准位置和乳头位置。例如以下面方式执行这个处理。处理设备900在监视器160上显示俯卧位MRI图像和仰卧位MRI图像。用户利用鼠标170和键盘180指定显示屏幕上的位置。目标病例形状提取单元1800然后获得指定结果。
(S6140)计算目标病例的尺度
在步骤S6140中,目标病例尺度计算单元1830对于目标病例执行与本实施例中的学习阶段中的步骤S6040中对于学习病例执行的处理相同的处理。利用这个处理,目标病例尺度计算单元1830计算目标病例的尺度vtarget。
(S6150)使用统计形状模型的规格化
在步骤S6150中,目标病例规格化单元1820基于俯卧位形状sp,surface,i、仰卧位形状ss,surface,i以及目标病例的尺度vtarget对于目标病例优化统计形状模型的参数,并且计算到规格化坐标系的变换。
更具体地,目标病例规格化单元1820执行以下处理。首先,目标病例规格化单元1820优化步骤S6070中获得的关于俯卧位统计形状模型的参数。在该情况下,参数是对于统计形状模型的多个本征向量的加权系数并且是维度数等于本征向量的数量的向量。这个向量的值基于以下准则优化。这是如下的准则,即在俯卧位MRI图像中的俯卧位形状sp,surface,i变换到俯卧位形状sp,surface,i'时使规格化坐标系中的俯卧位形状sp,surface,i'表明的位置和规格化坐标系中的基准形状之间的差别最小化。也就是说,目标病例规格化单元1820优化统计形状模型的参数从而将俯卧位形状sp,surface,i适当地映射到基准形状。
在本实施例中的俯卧位统计形状模型是表示从俯卧位规格化坐标系到俯卧位MRI图像坐标系的变换的模型。为此,具体地,在下面过程中执行上述优化处理。首先,目标病例规格化单元1820通过使用点群或多边形的任意形状表达式表达俯卧位规格化坐标系中的体表面和胸大肌表面的形状。注意,在本实施例中,俯卧位规格化坐标系中的体表面和胸大肌表面的形状两者是平面。目标病例规格化单元1820然后设定任意初始值为俯卧位统计形状模型的参数,并且通过使用由该参数表示的俯卧位统计形状模型将体表面和胸大肌表面的形状变换到俯卧位MRI图像坐标系中的形状。目标病例规格化单元1820评价变换的体表面和胸大肌表面的形状与俯卧位MRI图像坐标系中的形状sp,surface,i之间的差别。目标病例规格化单元1820变化地改变俯卧位统计形状模型的参数以便搜索使上述差别评价最小化的参数。也就是说,目标病例规格化单元1820通过基于上述差别评价重复处理来优化俯卧位统计形状模型的参数。
注意,在上述处理中,考虑到步骤S6140中计算的尺度vtarget在统计形状模型和目标病例的俯卧位MRI图像坐标系中的形状sp,surface,i的坐标值之间执行缩放。同样地,在处理仰卧位统计形状模型时,目标病例规格化单元1820基于仰卧位形状ss,surface,i优化步骤S6080中获得的仰卧位统计形状模型的参数。
利用上述处理,对于目标病例的形状优化关于俯卧位和仰卧位的统计形状模型的参数。这将计算关于目标病例的俯卧位的到规格化坐标系的变换φp,target(x)以及关于仰卧位的到规格化坐标系的变换φs,target(x)。
从(S6160)到(S6180)优化统计变形模型/MRI图像变形/显示
在步骤S6160到S6180中,处理设备900执行与根据第三实施例的处理设备200执行的步骤S640到S660中相同的处理。将省略这个处理的详细描述。
利用上面描述的步骤S6100到S6180中的处理,执行在本实施例中的变形估计阶段中的处理。作为这个处理的结果,在目标病例的俯卧位MRI图像和仰卧位MRI图像之间执行变形估计处理。变形后的MRI图像是通过使俯卧位MRI图像变形为与仰卧位MRI图像对应来产生的并且与仰卧位MRI图像一起显示,由此以允许容易比较的形式呈现输入图像。
相比根据第三实施例的处理设备,根据第五实施例的处理设备消除提取包括关于表示目标病例的体表面形状和胸大肌表面形状的密集的点群的信息的解剖学特征的必要性,并且仅要求提取相对稀疏的体表面形状和胸大肌表面形状。这是因为,即使表示体表面形状和胸大肌表面形状的点群是空间稀疏的,也可以估计统计形状模型的参数,并且基于参数计算从MRI图像坐标系到每个规格化坐标系的变换。这使得即使由于目标病例的每个MRI图像的图像质量等的影响而难以提取表示体表面形状和胸大肌表面形状的密集的点群也可以执行两个图像之间的变形对准。
(第五实施例的第一变型)统计形状模型的使用与不使用之间的切换
本实施例已经例示其中在变形估计阶段中使用俯卧位统计形状模型与仰卧位统计形状模型两者的情况。然而,可以使用模型之一。例如,与第三实施例中的步骤S604中相同的处理可以作为关于步骤S6130的处理中的俯卧位和仰卧位之一的处理而执行。在该情况下,在执行步骤S6150中的处理作为后续处理时,可以作为与第三实施例中的步骤S610中相同的处理执行计算关于上述俯卧位和仰卧位之一的到规格化坐标系的变换的处理。这使得可以在可获得俯卧位和仰卧位之一中的目标病例的密集的体表面形状和胸大肌表面形状时更精确地计算从MRI图像坐标系到规格化坐标系的变换。
另外,在本实施例和上述变型中的任何方法可以基于对目标病例的解剖学特征的提取结果被切换和执行。假设在第三实施例中描述的处理方法作为标准处理而执行时,难以或者预期难以从目标病例的MRI图像中提取密集的体表面形状和胸大肌表面形状。在该情况下,在本实施例中的处理和上述变型中的处理可以被选择性地执行。这使得可以考虑到目标病例的MRI图像的图像质量等选择性地使用合适的处理方法。因此可以更稳健地执行目标病例的变形对准。
另外,本实施例不限于其中获得俯卧位和仰卧位两者中的目标病例的MRI图像的情况。例如,实施例可以被应用于其中不可以获得俯卧位和仰卧位之一中的目标病例的MRI图像而仅可以获得相对稀疏的体表面形状的情况。假设不获得仰卧位的目标病例的MRI图像,并且通过使用能够位置测量的触笔(stylus)等测量仰卧位的目标病例的体表面。在该情况下,关于目标病例的俯卧位的MRI图像在变形估计阶段中的处理中的步骤S6120中获得,并且在步骤S6130的处理中执行与和仰卧位关联的第三实施例中的步骤S604中相同的处理,并且关于仰卧位获得通过使用触笔等测量的稀疏的体表面形状。在步骤S6150中,以与第三实施例中的步骤S610中相同的方式执行计算关于俯卧位的到规格化坐标系的变换的处理。对于仰卧位,基于稀疏的体表面形状执行在本实施例中的步骤S6150中的处理。以与本实施例中描述的相同的方式执行步骤S6160中以及之后的处理。
上述方法可以使目标病例的俯卧位MRI图像变形并且显示其,从而匹配基于统计形状模型估计的仰卧位中的胸大肌表面的形状和仰卧位中的目标病例的体表面形状。根据上述方法,例如,可以有效地支持对目标病例的外科手术。更具体地,可以基于在仰卧位中执行的外科手术时测量的体表面形状使俯卧位中的目标病例的MRI图像(其是外科手术之前的图像)变形并且显示其。这使得可以向用户呈现在仰卧位的外科手术时俯卧位MRI图像上的感兴趣区等的具体位置。
(第五实施例的第二变型)俯卧位/仰卧位集成模型
本实施例已经例示其中统计形状模型产生单元1640分离地构造关于俯卧位和仰卧位的统计形状模型的情况。然而,这不是穷举的。例如,统计形状模型产生单元1640可以通过集成关于俯卧位形状的信息和关于仰卧位形状的信息构造集成的形状模型。更具体地,作为学习阶段中的处理,执行以下处理代替步骤S6070和S6080中的处理。也就是说,统计形状模型产生单元1640对于学习病例的俯卧位和仰卧位中的每一个执行对于离散化的向量qx,j、qy,j以及qz,j的计算处理,其通过第四实施例中描述的处理设备800在步骤S760中执行。在该情况下,关于俯卧位计算的离散化的向量分别表示为qp x,j、qp y,j以及qp z,j,并且关于仰卧位计算的离散化的向量分别表示为qs x,j、qs y,j以及qs z,j。
统计形状模型产生单元1640然后对于每个学习病例通过结合这六个向量来计算向量,并且然后通过执行向量组的主成分分析计算平均向量和本征向量。这些信息在本实施例中将被称为俯卧位/仰卧位集成形状模型。俯卧位/仰卧位集成形状模型是表示关于学习病例的从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变换和从仰卧位MRI图像坐标系到仰卧位规格化坐标系的变换两者的模型。这个模型也是描述两个变换之间的统计特征的模型。在变形估计阶段中,执行以下处理代替步骤S6150中的处理。也就是说,目标病例规格化单元1820通过对于上述模型的参数的优化处理计算从俯卧位和仰卧位MRI图像坐标系到各自的规格化坐标系的变换。这使得可以考虑到变换之间的统计特征来计算从目标病例的俯卧位和仰卧位到各自的规格化坐标系的变换,由此更精确地执行到规格化坐标系的变换。
另外,可以分离地(通过,例如,第四实施例中描述的方法)计算从目标病例的俯卧位和仰卧位之一到规格化坐标系之一的变换,可以通过使用上述俯卧位/仰卧位集成形状模型估计另一变换。例如,即使不能提取俯卧位和仰卧位中的目标病例的形状之一,使用上述集成形状模型也可以估计到另一规格化坐标系的变换。这使得可以在变形估计阶段中的处理中执行步骤S6160中和之后的处理。据此方法,即使不能获得俯卧位和仰卧位之一中的目标病例的MRI图像,也可以实现允许获得MRI图像的姿势中的目标病例的MRI图像到另一姿势中的MRI图像的统计的似然(likelihood)变形。
[第六实施例]
第五实施例已经例示其中产生关于俯卧位和仰卧位的统计变形模型和统计形状模型并且通过使用每个模型估计目标病例的俯卧位MRI图像和仰卧位MRI图像之间的变形的情况。第六实施例将例示通过集成从俯卧位和仰卧位MRI图像坐标系到各自的规格化坐标系的变换以及各自的规格化坐标系之间的变形来产生模型并且通过使用产生的模型估计目标病例的俯卧位MRI图像和仰卧位MRI图像之间的变形的方法。在本实施例中,产生的模型将被称为统计模型。
(功能布置)
图17是示出根据本实施例的处理设备950的功能布置的框图。参考图17,与第一到第五实施例中相同的附图标记表示具有与各个实施例中相同的作用的组成元件,并且将省略它们的描述。统计模型产生单元1840基于通过规格化单元1040、学习病例变形产生单元1220和尺度计算单元1230执行的处理的结果产生学习病例的统计模型。目标病例变形产生单元1850基于通过统计模型产生单元1840产生的统计模型、通过解剖学特征提取单元1020提取的目标病例的解剖学特征和通过尺度计算单元1230计算的尺度产生目标病例的变形。
(处理过程)
接下来将描述处理设备950执行的总体操作。在本实施例中,CPU211运行存储在主存储器212中的程序来实现各个单元的功能。另外,下面要描述的处理设备200执行的每个处理的结果通过被存储在主存储器212中而被记录。根据本实施例的处理设备950执行的处理与第五实施例中一样包括学习阶段中的处理和变形估计阶段中的处理。与第五实施例中一样,处理设备950首先执行学习阶段中的处理,并且然后执行变形估计阶段中的处理。在学习阶段中的处理中,处理设备950学习许多病例的俯卧位和仰卧位MRI图像之间的变形并且产生统计模型。在变形估计阶段中的处理中,处理设备950通过使用在学习阶段中产生的统计模型来执行目标病例的俯卧位和仰卧位之间的变形对准。
(学习阶段中的处理)
图18是用于说明由根据本实施例的处理设备950执行的学习阶段中的处理过程的流程图。下面将根据这个流程图中示出的处理过程详细描述根据本实施例的学习阶段中的处理。
从(S7000)到(S7040)
处理设备950以与根据第五实施例的处理设备900执行的步骤S6000到S6040中相同的方式执行步骤S7000到S7040中的处理。将省略这个处理的详细描述。
(S7050)
在步骤S7050中,统计模型产生单元1840产生统计模型。这个处理将被详细描述。首先,统计模型产生单元1840对于每个学习病例的俯卧位和仰卧位中的每一个执行类似于第四实施例中的步骤S740和S760中的处理的一部分的处理,并且计算关于从MRI图像坐标系到规格化坐标系的变换的离散化的向量。在本实施例中,关于从俯卧位MRI图像坐标系到俯卧位规格化坐标系的变换的离散化的向量分别表示为qp x,j,qp y,j和qp z,j。同样,关于从仰卧位MRI坐标系到仰卧位规格化坐标系的变换的离散化的向量分别表示为qs x,j,qs y,j和qs z,j。
统计模型产生单元1840然后计算关于每个学习病例的俯卧位和仰卧位与各自的规格化坐标系之间的变形的离散化的向量px,j、py,j和pz,j。统计模型产生单元1840以与第三实施例中的步骤S5800和S5820中相同的方式执行这个处理。将省略这个处理的详细描述。
统计模型产生单元1840然后通过结合通过上述方法对于每个病例计算的向量来产生向量。统计模型产生单元1840通过执行对于每个病例的结合向量的主成分分析来计算平均向量和多个本征向量。其后,通过这个处理计算的平均向量和多个本征向量将被称为统计模型。这个统计模型在变形估计阶段(稍后要描述)中使用。统计模型的平均向量和多个本征向量的加权和描述从MRI图像坐标系到规格化坐标系的变换和各个规格化坐标系之间的变形的统计特征。
在本实施例中的学习阶段中的处理通过上面描述的步骤S7000到S7040中的处理执行。作为这个处理的结果,产生统计模型。
(变形估计阶段中的处理)
图19是用于说明由根据本实施例的处理设备950执行的变形估计阶段中的处理过程的流程图。将根据这个流程图中示出的处理过程详细描述根据本实施例的变形估计阶段中的处理。
(S7100)
在步骤S6700中,处理设备950将学习阶段中产生的统计模型读出到主存储器212。
从(S7120)到(S7140)
处理设备950以与根据第五实施例的处理设备900执行的步骤S6120到S6140中相同的方式执行步骤S7120到步骤S7140中的处理。将省略这个处理的详细描述。
(S7160)
在步骤S7160中,目标病例变形产生单元1850基于步骤S7100中获得的统计模型、步骤S7130中获得的目标病例的体表面和胸大肌表面的形状、以及步骤S7140中计算的尺度来产生目标病例的变形。以下这个处理将被详细描述。
在这个处理步骤中,目标病例变形产生单元1850通过对于目标病例优化关于步骤S7100中获得的统计模型的参数来估计变形。在该情况下的参数是表示对于产生的统计模型的本征向量的加权系数的向量。目标病例变形产生单元1850基于参数计算统计模型的平均向量和本征向量的加权线性和,以便产生从俯卧位和仰卧位MRI图像到规格化坐标系的变换以及各个规格化坐标系之间的变形。
关于统计模型的参数可以基于结合以下评价准则做出的评价来优化。也就是说,参数优化可以通过结合关于描述为第五实施例中的步骤S6150中的处理的统计形状模型的优化的准则(被称为对于规格化评价的准则)以及描述为第三实施例中的步骤S640中的处理的评价函数G(被称为对于变形评价的准则)来执行。更具体地,目标病例变形产生单元1850优化关于统计模型的参数从而使基于对于规格化评价的准则和对于变形评价的准则两者计算的评价值最小化或使根据布置的评价值最大化。
利用上述处理,关于统计模型的参数被优化以便估计从目标病例的俯卧位和仰卧位MRI图像坐标系到各自的规格化坐标系的变换和各个规格化坐标系之间的变形。
从(S7170)到(S7180)
处理设备950以与根据第五实施例的处理设备900执行的步骤S6170到S6180中相同的方式执行步骤S7170到S7180中的处理。将省略这个处理的详细描述。
利用上面描述的步骤S7100到S7180中的处理,执行在本实施例中的变形估计阶段中的处理。作为这个处理的结果,在目标病例的俯卧位MRI图像和仰卧位MRI图像之间执行变形估计处理。变形后的MRI图像是通过使俯卧位MRI图像变形为与仰卧位MRI图像对应来产生的并且与仰卧位MRI图像一起显示,由此以允许容易比较的形式呈现输入图像。
根据本实施例的处理设备在学习阶段中产生具有关于每个学习病例的从俯卧位和仰卧位MRI图像坐标系到规格化坐标系的变换以及各个规格化坐标系之间的变形两者的统计特征的统计模型。在该情况下,从MRI图像坐标系到规格化坐标系的变换被主要执行以便吸收各个病例之间的在形状上的差别,并且自身包括关于每个病例的形状的信息。本实施例被配置为通过执行作为关于从MRI图像坐标系到规格化坐标系的变换和各个规格化坐标系之间的变形的信息对的学习数据的主成分分析来产生统计模型。这产生反映各个病例的形状和变形之间的统计特征的模型。因此可以考虑到目标病例的形状和变形两者通过使用变形估计阶段中产生的统计模型的变形估计来估计统计的似然变形。这产生能够以比根据第五实施例的处理设备更高精度执行变形估计的效果。
(第六实施例的第一变型)形成分级的模型
本实施例已经例示其中在步骤S7050中的处理中统计模型产生单元1840计算关于每个学习病例的从MRI图像坐标系到各个规格化坐标系的变换和各个规格化坐标系之间的变形的离散化的向量并且基于通过结合计算的离散化的向量获得的向量产生统计模型的情况。然而,作为变型,像第五实施例中描述的处理设备900一样,统计模型产生单元1840可以计算统计形状模型和统计变形模型,并且可以另外构造这两个模型的上位模型。
更具体地,首先,如第五实施例中一样,统计模型产生单元1840产生统计形状模型和统计变形模型。统计模型产生单元1840然后对于每个学习病例计算在通过使用统计形状模型表示从俯卧位和仰卧位MRI图像坐标系到各个规格化坐标系的变换时的参数。计算的参数被形成为向量bshape,j(1≤j≤Nsamples)。另外,统计模型产生单元1840对于每个学习病例产生在通过使用统计变形模型表示俯卧位和仰卧位规格化坐标系之间的变形时的参数。计算的参数被形成为向量bdeform,j(1≤j≤Nsamples)。统计模型产生单元1840然后通过结合对于每个学习病例的向量bshape,j和bdeform,j来产生向量,并且对于结合的向量执行主成分分析。这可以使用计算的平均向量和多个本征向量产生上位模型。在该情况下,在变形估计阶段中,可以通过估计关于上位模型的参数来估计目标病例的变形。
上述方法允许在统计形状模型和统计变形模型之间使用不同数量的本征向量。除了第六实施例中描述的处理设备950的效果之外,这还产生能够更灵活地产生统计模型的效果。
[第七实施例]
第一到第六实施例中的每个已经例示其中人乳房是处理目标的情况。然而,处理目标不限于人乳房。例如,处理目标可以是除了人以外的动物的乳房。可替代地,处理目标可以是其它器官。在例如心脏是目标时,上述实施例可以通过设定由心脏的外壁和内壁包围的区域作为心脏区域并且从心脏的外壁形状提取尖点(cusp)作为基准点而被应用。在该情况下,根据本实施例的处理设备可以通过对准作为诊断目标的心脏的形状与正常心脏的形状来比较它们来产生关于形状中出现的心脏病的分析信息。
另外,根据上述实施例的处理设备可以通过执行在通过对搏动的心脏成像并且依时间次序跟踪心脏形状而获得的时序图像之间的对准来产生关于心脏的形状的变化中出现的心脏病的分析信息。此外,根据本实施例的处理设备可以通过应用实施例以便在通过对相同的病例成像而获得的过去和现在图像之间或在不同的时间获得的多个过去的图像之间进行对准,来产生表明心脏病等的进展的阶段的分析信息。本发明的实施例也可以被应用于其它器官,诸如肝脏和肺。
另外,上述实施例的使用不限于对于人器官的医疗目的。例如,实施例也可以被应用于例如工业部件的形状分析、精度分析等等。例如,在通过按压模制部件时,本发明可以被应用于在模制部件的形状和模子的形状之间进行比较。根据本发明,即使模制部件之间的在形状上的变化相对大,也可以预期稳健地比较形状。
(其它实施例)
本发明可以通过经由网络或存储介质将用于实现上述实施例的一个或更多个功能的程序供应到系统或设备并且使得系统或设备的计算机中的一个或更多个处理器读出和执行该程序的处理来被实现。另外,本发明可以通过用于实现一个或更多个功能的电路(例如,ASIC)实现。
本发明不限于上述实施例并且可以在本发明的精神和范围内做出各种改变和变型。因此,为了告知公众本发明的范围,做出以下权利要求。
本申请要求2014年1月10日提交的日本专利申请No.2014-003698的权益,该日本专利申请的整体通过参考被并入于此。
Claims (11)
1.一种处理设备,其特征在于包括:
获得装置,用于从目标被摄体的图像获得目标被摄体的感兴趣区的轮廓和轮廓上的基准点;
计算装置,用于计算轮廓上的任意位置处的距基准点的距离和方位;以及
规格化装置,用于基于距离和方位来产生用于将目标被摄体的感兴趣区的形状变换到预定的基准形状的规格化变换信息。
2.根据权利要求1所述的处理设备,其特征在于,规格化装置产生用于变换感兴趣区的规格化变换信息以使得关于感兴趣区的形状的距离和方位基本上匹配关于基于规格化变换信息规格化的感兴趣区的形状的距离和方位。
3.根据权利要求1或2所述的处理设备,其特征在于,规格化装置产生用于将感兴趣区的形状变换到矩形形状的规格化变换信息。
4.根据权利要求1或2所述的处理设备,其特征在于,规格化装置产生用于将感兴趣区的形状变换到通过用预定的几何曲面包围感兴趣区的形状而获得的形状的规格化变换信息。
5.根据权利要求1到4中任何一个所述的处理设备,其特征在于,利用对于多个不同姿势中成像的目标被摄体的感兴趣区的图像中的每一个图像的处理,
获得装置获得多个轮廓和基准点,
计算装置计算多个距离和方位,以及
规格化装置产生多条规格化变换信息。
6.根据权利要求5所述的处理设备,其特征在于,还包括变形装置,该变形装置用于通过基于多条规格化变换信息使目标被摄体的多个不同姿势中的至少一个姿势中的感兴趣区的图像变形来产生其它姿势中的感兴趣区的图像。
7.根据权利要求6所述的处理设备,其特征在于,在与变形之前的图像上的预定位置对应的位置处,变形后的图像具有与该预定位置处的强度值对应的强度值。
8.根据权利要求5所述的处理设备,其特征在于,还包括模型产生装置,该模型产生装置用于基于多条规格化变换信息产生表示多个不同姿势中成像的目标被摄体的多个感兴趣区之间的关系的统计变形模型。
9.根据权利要求1到8中任何一个所述的处理设备,其特征在于,目标被摄体包括人体,感兴趣区包括乳房,以及
获得装置获得体表面的轮廓和胸大肌表面的轮廓作为轮廓,并且获得乳头位置作为基准点。
10.一种处理方法,其特征在于包括:
获得步骤,从目标被摄体的图像获得目标被摄体的感兴趣区的轮廓和该轮廓上的基准点;
计算步骤,计算轮廓上的任意位置处的距基准点的距离和方位;以及
规格化步骤,基于距离和方位产生用于将目标被摄体的感兴趣区的形状变换到预定的基准形状的规格化变换信息。
11.一种程序,其特征在于使得计算机用作权利要求1到9中任何一个所述的处理设备。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-003698 | 2014-01-10 | ||
JP2014003698A JP6346445B2 (ja) | 2014-01-10 | 2014-01-10 | 処理装置、処理装置の制御方法、およびプログラム |
PCT/JP2014/005893 WO2015104745A1 (ja) | 2014-01-10 | 2014-11-25 | 処理装置、処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106061379A true CN106061379A (zh) | 2016-10-26 |
CN106061379B CN106061379B (zh) | 2019-03-08 |
Family
ID=53523606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480072631.2A Active CN106061379B (zh) | 2014-01-10 | 2014-11-25 | 处理设备、处理方法及程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10102622B2 (zh) |
EP (1) | EP3092947B1 (zh) |
JP (1) | JP6346445B2 (zh) |
CN (1) | CN106061379B (zh) |
WO (1) | WO2015104745A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090889A (zh) * | 2016-11-21 | 2018-05-29 | 医渡云(北京)技术有限公司 | 乳腺图像坐标系建立方法及装置 |
CN113349812A (zh) * | 2021-06-08 | 2021-09-07 | 梅州市人民医院(梅州市医学科学院) | 一种基于动态pet影像图像增强显示方法、介质及设备 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201219261D0 (en) * | 2012-10-26 | 2012-12-12 | Jaguar Cars | Vehicle access system and method |
US9792675B1 (en) * | 2014-12-05 | 2017-10-17 | Matrox Electronic Systems, Ltd. | Object recognition using morphologically-processed images |
WO2017130263A1 (en) | 2016-01-29 | 2017-08-03 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing system, and program |
JP6821403B2 (ja) | 2016-01-29 | 2021-01-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム。 |
JP7079738B6 (ja) * | 2016-06-30 | 2022-06-23 | コーニンクレッカ フィリップス エヌ ヴェ | 統計的な胸部モデルの生成及びパーソナライズ |
JP6886260B2 (ja) | 2016-09-07 | 2021-06-16 | キヤノン株式会社 | 画像処理装置、その制御方法、およびプログラム |
JP6870001B2 (ja) * | 2016-12-12 | 2021-05-12 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US10102665B2 (en) * | 2016-12-30 | 2018-10-16 | Biosense Webster (Israel) Ltd. | Selecting points on an electroanatomical map |
JP2018156617A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社東芝 | 処理装置および処理システム |
US11382587B2 (en) * | 2017-03-15 | 2022-07-12 | Hologic, Inc. | Techniques for patient positioning quality assurance prior to mammographic image acquisition |
JP6982978B2 (ja) | 2017-04-26 | 2021-12-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11481993B2 (en) * | 2017-09-11 | 2022-10-25 | Hover Inc. | Trained machine learning model for estimating structure feature measurements |
AU2018377863B2 (en) * | 2017-12-01 | 2022-08-04 | Hearables 3D Pty Ltd | Customization method and apparatus |
WO2020054503A1 (ja) * | 2018-09-13 | 2020-03-19 | 国立大学法人京都大学 | 機械学習装置、推定装置、プログラム及び学習済みモデル |
JP7270453B2 (ja) | 2019-04-26 | 2023-05-10 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7098835B2 (ja) * | 2019-05-28 | 2022-07-11 | 富士フイルム株式会社 | マッチング装置、方法およびプログラム |
US20220057499A1 (en) * | 2020-08-20 | 2022-02-24 | Coda Octopus Group, Inc. | System and techniques for clipping sonar image data |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040184646A1 (en) * | 2003-03-19 | 2004-09-23 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for judging images |
US20060050944A1 (en) * | 2004-09-03 | 2006-03-09 | Fuji Photo Film Co., Ltd. | Nipple detection apparatus and program |
CN101017575A (zh) * | 2007-02-15 | 2007-08-15 | 东华大学 | 基于人体部件模板和体形轮廓的三维虚拟人体自动生成方法 |
JP2008086400A (ja) * | 2006-09-29 | 2008-04-17 | Gifu Univ | 乳房画像診断システム |
CN101203170A (zh) * | 2005-06-02 | 2008-06-18 | 美的派特恩公司 | 计算机辅助检测系统和方法 |
CN101373479A (zh) * | 2008-09-27 | 2009-02-25 | 华中科技大学 | 一种乳腺x线摄片计算机图像检索方法及系统 |
US20110013819A1 (en) * | 2006-02-10 | 2011-01-20 | Nordic Bioscience Imaging A/S | Breast tissue density measure |
US20110077523A1 (en) * | 2009-09-28 | 2011-03-31 | Angott Paul G | Multi-modality breast cancer test system |
US20120155734A1 (en) * | 2009-08-07 | 2012-06-21 | Ucl Business Plc | Apparatus and method for registering two medical images |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4570638A (en) * | 1983-10-14 | 1986-02-18 | Somanetics Corporation | Method and apparatus for spectral transmissibility examination and analysis |
US5709206A (en) * | 1995-11-27 | 1998-01-20 | Teboul; Michel | Imaging system for breast sonography |
US6246782B1 (en) * | 1997-06-06 | 2001-06-12 | Lockheed Martin Corporation | System for automated detection of cancerous masses in mammograms |
JP3571893B2 (ja) | 1997-12-03 | 2004-09-29 | キヤノン株式会社 | 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法 |
JP3634677B2 (ja) | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
JP2002014168A (ja) | 2000-06-27 | 2002-01-18 | Canon Inc | X線撮像装置 |
JP3406965B2 (ja) | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法 |
JP2002209208A (ja) | 2001-01-11 | 2002-07-26 | Mixed Reality Systems Laboratory Inc | 画像処理装置及びその方法並びに記憶媒体 |
JP3437555B2 (ja) | 2001-03-06 | 2003-08-18 | キヤノン株式会社 | 特定点検出方法及び装置 |
JP3486613B2 (ja) | 2001-03-06 | 2004-01-13 | キヤノン株式会社 | 画像処理装置およびその方法並びにプログラム、記憶媒体 |
US6639594B2 (en) * | 2001-06-03 | 2003-10-28 | Microsoft Corporation | View-dependent image synthesis |
JP2004151085A (ja) | 2002-09-27 | 2004-05-27 | Canon Inc | 情報処理方法及び情報処理装置 |
US6947579B2 (en) * | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
JP2004234455A (ja) | 2003-01-31 | 2004-08-19 | Canon Inc | 情報処理方法および画像再生装置 |
JP4532856B2 (ja) | 2003-07-08 | 2010-08-25 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
US7412084B2 (en) * | 2003-08-13 | 2008-08-12 | Siemens Medical Solutions Usa, Inc. | Method of analysis of local patterns of curvature distributions |
US7773789B2 (en) * | 2005-08-30 | 2010-08-10 | Siemens Medical Solutions Usa, Inc. | Probabilistic minimal path for automated esophagus segmentation |
GB0602739D0 (en) * | 2006-02-10 | 2006-03-22 | Ccbr As | Breast tissue density measure |
JP5586917B2 (ja) * | 2009-10-27 | 2014-09-10 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20120014578A1 (en) * | 2010-07-19 | 2012-01-19 | Qview Medical, Inc. | Computer Aided Detection Of Abnormalities In Volumetric Breast Ultrasound Scans And User Interface |
US9824302B2 (en) * | 2011-03-09 | 2017-11-21 | Siemens Healthcare Gmbh | Method and system for model-based fusion of multi-modal volumetric images |
EP3309970B1 (en) | 2011-06-24 | 2023-06-07 | Sun Patent Trust | Image decoding method |
WO2014210430A1 (en) * | 2013-06-27 | 2014-12-31 | Tractus Corporation | Systems and methods for tissue mapping |
US10109048B2 (en) * | 2013-06-28 | 2018-10-23 | Koninklijke Philips N.V. | Linking breast lesion locations across imaging studies |
SG10201906186RA (en) * | 2014-09-16 | 2019-08-27 | Exploramed Nc7 Inc | Systems, devices and methods for assessing milk volume expressed from a breast |
-
2014
- 2014-01-10 JP JP2014003698A patent/JP6346445B2/ja active Active
- 2014-11-25 WO PCT/JP2014/005893 patent/WO2015104745A1/ja active Application Filing
- 2014-11-25 CN CN201480072631.2A patent/CN106061379B/zh active Active
- 2014-11-25 EP EP14878217.0A patent/EP3092947B1/en active Active
-
2016
- 2016-07-06 US US15/202,728 patent/US10102622B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040184646A1 (en) * | 2003-03-19 | 2004-09-23 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for judging images |
US20060050944A1 (en) * | 2004-09-03 | 2006-03-09 | Fuji Photo Film Co., Ltd. | Nipple detection apparatus and program |
CN101203170A (zh) * | 2005-06-02 | 2008-06-18 | 美的派特恩公司 | 计算机辅助检测系统和方法 |
US20110013819A1 (en) * | 2006-02-10 | 2011-01-20 | Nordic Bioscience Imaging A/S | Breast tissue density measure |
JP2008086400A (ja) * | 2006-09-29 | 2008-04-17 | Gifu Univ | 乳房画像診断システム |
CN101017575A (zh) * | 2007-02-15 | 2007-08-15 | 东华大学 | 基于人体部件模板和体形轮廓的三维虚拟人体自动生成方法 |
CN101373479A (zh) * | 2008-09-27 | 2009-02-25 | 华中科技大学 | 一种乳腺x线摄片计算机图像检索方法及系统 |
US20120155734A1 (en) * | 2009-08-07 | 2012-06-21 | Ucl Business Plc | Apparatus and method for registering two medical images |
US20110077523A1 (en) * | 2009-09-28 | 2011-03-31 | Angott Paul G | Multi-modality breast cancer test system |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090889A (zh) * | 2016-11-21 | 2018-05-29 | 医渡云(北京)技术有限公司 | 乳腺图像坐标系建立方法及装置 |
CN108090889B (zh) * | 2016-11-21 | 2020-10-13 | 医渡云(北京)技术有限公司 | 乳腺图像坐标系建立方法及装置 |
CN113349812A (zh) * | 2021-06-08 | 2021-09-07 | 梅州市人民医院(梅州市医学科学院) | 一种基于动态pet影像图像增强显示方法、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3092947B1 (en) | 2019-06-26 |
WO2015104745A1 (ja) | 2015-07-16 |
JP2015130972A (ja) | 2015-07-23 |
CN106061379B (zh) | 2019-03-08 |
EP3092947A4 (en) | 2017-08-16 |
JP6346445B2 (ja) | 2018-06-20 |
US20160314587A1 (en) | 2016-10-27 |
EP3092947A1 (en) | 2016-11-16 |
US10102622B2 (en) | 2018-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106061379B (zh) | 处理设备、处理方法及程序 | |
JP6000705B2 (ja) | データ処理装置及びデータ処理方法 | |
KR101267759B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
JP5546230B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20170367685A1 (en) | Method for processing 3d image data and 3d ultrasonic imaging method and system | |
US8908944B2 (en) | Information processing apparatus, information processing method, and program | |
US8165361B2 (en) | System and method for image based multiple-modality cardiac image alignment | |
US8676298B2 (en) | Medical image alignment apparatus, method, and program | |
JP6541334B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6741305B2 (ja) | 脊椎骨姿勢推定装置 | |
CN104112292A (zh) | 医用图像处理装置、医用图像处理方法以及医用图像处理程序 | |
US20190392552A1 (en) | Spine image registration method | |
JP6238755B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6383153B2 (ja) | 処理装置、処理方法、およびプログラム | |
Lorenz et al. | Automated abdominal plane and circumference estimation in 3D US for fetal screening | |
Chen et al. | Development of Automatic Assessment Framework for Spine Deformity using Freehand 3D Ultrasound Imaging System | |
JP5364009B2 (ja) | 画像生成装置、画像生成方法、及びそのプログラム | |
Schmidt-Richberg et al. | Offset regression networks for view plane estimation in 3D fetal ultrasound | |
EP2343687B1 (en) | Tomographic image generating apparatus, tomographic image generating method, and program for generating tomographic images | |
US11341661B2 (en) | Method and apparatus for registering live medical image with anatomical model | |
JP6660428B2 (ja) | 処理装置、処理方法、およびプログラム | |
Klinder et al. | Adaptation of an articulated fetal skeleton model to three-dimensional fetal image data | |
Chen | QUiLT (Quantitative Ultrasound in Longitudinal Tissue Tracking): Stitching 2D images into 3D Volumes for Organ Health Monitoring | |
MONTEIRO | DEEP LEARNING APPROACH FOR THE SEGMENTATION OF SPINAL STRUCTURES IN ULTRASOUND IMAGES | |
CN114267433A (zh) | 医疗影像处理方法及其医疗影像处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |