CN106373108A - 一种将实时超声图像与术前核磁图像进行融合的方法及装置 - Google Patents
一种将实时超声图像与术前核磁图像进行融合的方法及装置 Download PDFInfo
- Publication number
- CN106373108A CN106373108A CN201610766668.6A CN201610766668A CN106373108A CN 106373108 A CN106373108 A CN 106373108A CN 201610766668 A CN201610766668 A CN 201610766668A CN 106373108 A CN106373108 A CN 106373108A
- Authority
- CN
- China
- Prior art keywords
- preoperative
- image
- real
- magnetism
- nuclear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000002604 ultrasonography Methods 0.000 claims description 142
- 230000005311 nuclear magnetism Effects 0.000 claims description 115
- 238000005070 sampling Methods 0.000 claims description 57
- 238000001574 biopsy Methods 0.000 claims description 8
- 230000003902 lesion Effects 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 44
- 210000001519 tissue Anatomy 0.000 description 31
- 238000010586 diagram Methods 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 210000002307 prostate Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 206010003504 Aspiration Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 201000001514 prostate carcinoma Diseases 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种将实时超声图像与术前核磁图像进行融合的方法及装置，该方法包括：将术前核磁图像及术前基准超声图像进行分割，然后进行非刚性配准；将实时超声图像进行分割，将其与术前基准超声图像进行非刚性配准，间接的将实时超声图像与术前核磁图像融合。该装置包括：术前核磁图像单元，对术前核磁图像分割；术前基准超声图像单元，对术前超声图像单元分割；第一非刚性配准单元，对术前核磁图像与术前基准超声图像进行非刚性配准；实时超声图像单元，对实时超声图像单元分割；及第二非刚性配准单元，对实时超声图像单元与术前基准超声图像单元进行非刚性配准。本发明弥补了形变，提高了导航精度；又降低了计算时间，保证了实时性。
Description
技术领域
本发明涉及医学图像处理领域，特别涉及一种将实时超声图像与术前核磁图像进行融合的方法及装置。
背景技术
前列腺癌是男性人群中最常见的癌症之一，并且其致死率在非皮肤癌中排行第二。目前，经直肠超声(TRUS)引导的系统性穿刺活检因其实时性，成像无辐射，低成本和操作简单等性能已成为检查诊断前列腺癌的重要指标。超声成像速度快，可以在术中实时成像，但由于超声波图像的分辨率有限，图像中软组织间的区分度也不高，虽能实时追踪采样导管的位置，却无法通过图像对病变组织进行精确定位，导致单纯基于超声的采样方法，对癌症检测的灵敏度不高，只有60％至85％。具有高分辨率的核磁共振图像(MR)可以对软组织高度区分，因而可以精准定位病变的位置，但其成像速度慢，无法在术中实时成像。如果可以将术中超声与术前核磁图像进行融合，将可以为医生提供实时，精准的采样导管位置以及病变位置信息，从而使活检的准确率提高至90％以上。但是由于超声图像和核磁图像成像差异性大，实时采样中由于超声探头以及采样头插入会引起组织的形变，两种图像的融合配准难度极高。
现有技术中为了追求实时性，通常采用刚性配准算法，基于刚性配准算法的技术没有考虑手术采样过程中由于采样针头刺入前列腺而引起的形变，进而会对采样导航信息产生偏差。
针对上述缺点，有人提出采用有限元方法来配准三维经直肠超声和核磁图像，考虑了形变，具体做法为：对前列腺核磁进行有限元建模，并将利用弹性超声获得前列腺的生物力学信息代入到所建有限元模型当中，再采用主成分分析构建所述前列腺个性化统计运动模型后实现所述前列腺磁共振图像与三维经直肠超声图像数据配准。但是其存在以下缺点：其采用有限元模型，有限元每个元素的弹性性质是通过弹性超声获得的；有限元需要进行主成分分析，但是主成分分析主要是基于三维超声的探头形变的主成分分析，由于使用了主成分分析，次要成分被忽略，会导致配准精度下降；且此方法计算量大，无法做到实时性。
发明内容
本发明针对上述现有技术中存在的问题，提出一种将实时超声图像与术前核磁图像进行融合的方法及装置，既弥补了采样针头刺入引起的形变，提高了导航精度；又降低了计算时间，能够做到实时性。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种将实时超声图像与预先获取的图像进行融合的方法，其包括以下步骤：
S11：获得采样区域的术前核磁图像，对所述术前核磁图像的采样区域的边界及内部组织进行精准分割；
S12：获得采样区域的术前基准超声图像，对所述术前基准超声图像的采样区域的边界及内部组织进行精准分割；
S13：利用从所述术前核磁图像以及从所述术前基准超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述术前核磁图像与所述术前基准超声图像进行配准；
S14：获得实时超声图像；
S15：将所述实时超声图像的采样区域的边界及内部组织进行精确分割；
S16：利用从术前超声基准图像以及所述实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述实时超声图像与所述术前基准超声图像进行配准，所述实时超声图像通过所述术前基准超声间接与所述术前核磁图像融合。
较佳地，所述步骤S11中对术前核磁图像的边缘及内部组织进行精准分割后还包括：对所述术前核磁图像上发现的一个或多个可疑病灶区域进行精确分割，并对其进行标记，根据所述标记制定活检采样规划，确定目标的采样区域。
较佳地，所述步骤S12中获得采样区域的术前基准超声图像具体包括：
S121：采集二维术前基准超声图像同时追踪采样针头的位置信息；
S122：根据所述二维术前基准超声图像以及所述采样针头的位置信息重构具有位置信息的三维术前基准超声图像，对应地，
所述步骤S11中的所述术前核磁图像为三维术前核磁图像。
较佳地，所述步骤S14具体为：获得二维实时超声图像，并追踪采样针头的实时位置和朝向信息；
所述步骤S14和步骤S15之间或所述步骤S15和步骤S16之间还包括：
S17：利用所述采样针头的实时位置和朝向信息重建二维术前基准超声图像以及二维术前核磁图像，对应地，
所述步骤S16为：利用从所述重建的二维术前超声基准图像以及所述实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述实时超声图像与所述重建的二维术前基准超声图像进行配准，所述实时超声图像通过所述重建的二维术前基准超声间接与所述重建的二维术前核磁图像融合。
较佳地，所述步骤S16中的非刚性配准包括：先进行点对点非刚性配准，然后再进行像素灰度值非刚性配准。
较佳地，所述步骤S13中非刚性配准包括：首先分别获取所述术前核磁图像以及所述术前基准超声图像的强曲度关键点，根据所述强曲度关键点进行点对点仿射变换匹配；然后采用所述术前核磁图像以及所述术前基准超声图像的互信息为基础的B样线条进行非刚性配准。
较佳地，采样过程中通过提示声来提示所述采样针头与所述目标的距离，具体为：当所述采样针头越靠近所述目标时，提示声越急促。
本发明还提供一种将实时超声图像与预先获取的图像进行融合的装置，其包括：
术前核磁图像单元，用于获得采样区域的术前核磁图像，还用于对所述术前核磁图像的采样区域的边界及内部组织进行精准分割；
术前基准超声图像单元，用于获得术前基准超声图像，还用于对所述术前超声基准图像的采样区域的边界及内部组织进行精准分割；
第一非刚性配准单元，用于利用从所述术前核磁图像以及从所述术前基准超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述术前核磁图像与所述术前基准超声图像进行配准；
实时超声图像单元，用于获得实时超声图像，还用于对所述实时超声图像的采样区域的边界及内部组织进行精准分割；以及，
第二非刚性配准单元，用于利用从术前超声基准图像以及所述实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述实时超声图像与所述术前基准超声图像进行配准，所述实时超声图像通过所述术前基准超声间接与所述术前核磁图像融合；
所述术前基准超声图像单元与所述实时超声图像单元为同一超声图像单元或不同超声图像单元。
较佳地，还包括：采样规划制定单元，用于对所述术前核磁图像上发现的一个或多个可疑病灶区域进行精确分割，并对其进行标记，根据所述标记制定活检采样规划，确定目标的采样区域。
较佳地，所述术前基准超声图像单元包括：
二维术前基准超声图像单元，用于采集二维术前基准超声图像；
第一追踪单元，用于追踪采样针头的位置信息；
三维术前基准超声图像单元，用于根据所述二维术前基准超声图像以及所述位置信息重构具有位置信息的三维术前基准超声图像；以及，
分割单元，用于所述三维术前超声基准图像的采样区域的边界及内部组织进行精准分割；
对应地，所述术前核磁图像单元获得的为三维术前核磁图像。
较佳地，所述实时超声图像单元包括：
二维实时超声图像获得单元，用于获得二维实时超声图像；以及，
第二追踪单元，用于追踪采样针头的位置信息和朝向信息；
还包括：重建单元，用于根据利用所述采样针头的实时位置和朝向信息重建二维术前基准超声图像以及二维术前核磁图像；
对应地，所述第二非刚性配准单元用于利用从所述重建的二维术前超声基准图像以及所述实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述实时超声图像与所述重建的术前基准超声图像进行配准，所述实时超声图像通过所述重建的二维术前基准超声间接与所述重建的二维术前核磁图像融合；
所述二维术前超声图像获得单元与所述二维实时超声图像获得单元可以为同一超声图像获得单元或不同的超声图像获得单元。
所述第一追踪单元与所述第二追踪单元为同一追踪单元或不同追踪单元。
较佳地，所述第二非刚性配准单元包括：
第一点对点非刚性配准单元，用于对所述实时超声图像与所述术前基准超声图像进行点对点非刚性配准；以及，
像素灰度值非刚性配准单元，用于对点对点非刚性配准之后的所述实时超声图像与所述术前基准超声图像进行像素灰度值非刚性配准。
较佳地，所述第一非刚性配准单元包括：
强曲度关键点获得单元，用于获得所述术前核磁图像以及所述术前基准超声图像的强曲度关键点；
第二点对点非刚性配准单元，用于根据所述强曲度关键点进行点对点仿射变换匹配；以及
B样线条非刚性配准单元，用于对点对点配准后的所述术前核磁图像与所述术前基准超声图像进行互信息为基础的B样线条非刚性配准。
较佳地，还包括：语音提示单元，所述语音提示单元用于提示所述采样针头与目标的距离，当所述采样针头越靠近所述采样目标时，提示声越急促。
相较于现有技术，本发明具有以下优点：
(1)本发明提供的将实时超声图像与术前核磁图像进行融合的方法及装置，精确的分割结果可以捕捉到目标的形变的轮廓，结合非刚性配准，可以弥补采样针头刺入过程中引起的形变，提高导航精度；
(2)本发明采用基于分割的非刚性配准算法，通过分割可以快速准确的捕捉目标区域，使配准算法集中在目标区域，大大降低针对非目标区域的运算，节省运算时间，保证了算法的准确性和实时性；
(3)本发明的配准算法通过对图像的世界坐标系的三角化操作，把配准算法中最耗时的矩阵运算用向量运算代替，进而大大降低了运算时间，实时性更强；
(4)本发明除了视觉导航信息外，还可以包括：语音提示信息，工作原理类似汽车泊车雷达的声音提示，当采样针头靠近目标时，提示声将愈加急促，远离时提示音放缓，可以辅助帮助医生判断采样针头的位置。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1为本发明的实施例1的将实时超声图像与术前核磁图像进行融合的方法的流程图；
图2为本发明的实施例2的将实时超声图像与术前核磁图像进行融合的方法的流程图；
图3为本发明的实施例2的对术前核磁图像进行分割的原理图；
图4为本发明的实施例2的对术前超声图像进行分割的原理图；
图5为本发明的实施例2的基于实时超声的采样针头的位置信息和朝向信息重构术前核磁图像以及术前基准超声图像的原理图；
图6为本发明的较佳实施例的对术前核磁图像与术前基准超声图像进行非刚性配准的流程图；
图7为本发明的较佳实施例的对实时超声图像与术前基准超声图像进行非刚性配准的流程图；
图8为本发明的较佳实施例的将融合的术前核磁图像与实时超声图像通过分屏同步显示的示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1：
结合图1，对本发明的将实时超声图像与术前核磁图像进行融合的方法进行详细描述，其流程图如图1所示，其包括以下步骤：
S11：获得采样区域的术前核磁图像，对术前核磁图像的采样区域的边界及内部组织进行精准分割；
S12：获得采样区域的术前基准超声图像，对术前基准超声图像的采样区域的边界及内部组织进行精准分割；
S13：利用从术前核磁图像以及从术前基准超声图像提取的采样区域的边界及内部组织，运用非刚性配准对术前核磁图像与术前基准超声图像进行配准；
S14：获得实时超声图像；
S15：将实时超声图像的采样区域的边界及内部组织进行精确分割；
S16：利用从术前超声基准图像以及实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对实时超声图像与术前基准超声图像进行配准，实时超声图像通过术前基准超声间接与术前核磁图像融合。
较佳实施例中，步骤S11中对术前核磁图像的边缘及内部组织进行精准分割后还包括：对术前核磁图像上发现的一个或多个可疑病灶区域进行精确分割，并对其进行标记，根据标记制定活检采样规划，确定目标的采样区域。
较佳实施例中，还包括：通过提示声来提示所述采样针头与所述目标的距离，具体为：当所述采样针头越靠近所述目标时，提示声越急促。
实施例2：
本实施例是在实施例1的基础上做出的改进，其流程图如图2所示，其包括以下步骤：
S11：获得采样区域的三维术前核磁图像，对术前核磁图像的采样区域的边界及内部组织进行精准分割，分割图如图3所示；
S121：采集二维术前基准超声图像，同时追踪采样针头的位置信息；
S122：根据所述二维术前基准超声图像以及所述采样针头的位置信息重构具有位置信息的三维术前基准超声图像，步骤S121和步骤S122的原理图如图4所示；
S13：利用从三维术前核磁图像以及从三维术前基准超声图像提取的采样区域的边界及内部组织，运用非刚性配准对三维术前核磁图像与三维术前基准超声图像进行配准；
S14：获得二维实时超声图像，并追踪采样针头的实时位置和朝向信息；
S17：利用采样针头的实时位置和朝向信息重建二维术前基准超声图像以及二维术前核磁图像；
S15：对二维实时超声图像的采样区域的边界及内部组织进行精准分割；
S16：利用从重建的二维术前超声基准图像以及实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对实时超声图像与重建的二维术前基准超声图像进行配准，实时超声图像通过重建的二维术前基准超声间接与重建的二维术前核磁图像融合，原理图如图5所示，最后将融合后的二维实时超声图像、二维基准超声图像以及二维核磁图像进行分屏显示。
不同实施例中，步骤S17也可以位于步骤S15和步骤S16之间。
较佳实施例中，对术前基准超声图像与术前核磁图像进行非刚性配准的流程图如图6所示，包括以下步骤：
(1)分别获得术前核磁图像以及术前基准超声图像的强曲度关键点；
(2)根据两者的强曲度关键点对两者进行点对点仿射变换匹配；
(3)然后再根据互信息为基础的B样线条进行非刚性配准，得到配准后的术前核磁图像与术前基准超声图像。
较佳实施例中，对二维实时超声图像与三维术前基准超声图像进行非刚性配准其流程图如图7所示，包括以下步骤：
(1)根据实时采集到的采样针头的位置信息，将三维术前基准超声与二维实时超声进行初始化匹配；
(2)利用二维实时超声图像的分割以及三位术前基准超声的分割进行点对点非刚性配准；
(3)然后再利用像素灰度值进行非刚性配准；
(4)将三维术前核磁图像与三维术前基准超声图像的配准映射到上述配准结果上，即可将实时超声图像与术前核磁图像融合到一起。
不同实施例中，融合后的术前核磁图像以及实时超声图像可以分屏显示，如图8所示，可以将两者的目标采样区域进行叠加。不同实施例中，也可以采用同屏快速切换的方式。
不同实施例中，对术前核磁图像、术前基准超声图像以及实时超声图像进行分割时可以采用精准快速实时的分割算法，也可以采用手工分割。
本发明还提供将实时超声图像与术前核磁图像进行融合的装置，其包括：
术前核磁图像单元，用于获得采样区域的术前核磁图像，还用于对术前核磁图像的采样区域的边界及内部组织进行精准分割；
术前基准超声图像单元，用于获得术前基准超声图像，还用于对术前超声基准图像的采样区域的边界及内部组织进行精准分割；
第一非刚性配准单元，用于利用从术前核磁图像以及从术前基准超声图像提取的采样区域的边界及内部组织，运用非刚性配准对术前核磁图像与术前基准超声图像进行配准；
实时超声图像单元，用于获得实时超声图像，还用于对实时超声图像的采样区域的边界及内部组织进行精准分割；以及，
第二非刚性配准单元，用于利用从术前超声基准图像以及实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对实时超声图像与术前基准超声图像进行配准，实时超声图像通过术前基准超声间接与所述术前核磁图像融合；
术前基准超声图像单元与实时超声图像单元可以为同一超声图像单元，也可以为不同超声图像单元。
较佳实施例中，还包括：采样规划制定单元，用于对所述术前核磁图像上发现的一个或多个可疑病灶区域进行精确分割，并对其进行标记，根据所述标记制定活检采样规划，确定目标的采样区域。
较佳实施例中，术前基准超声图像单元包括：
二维术前基准超声图像单元，用于采集二维术前基准超声图像；
第一追踪单元，用于追踪采样针头的位置信息；
三维术前基准超声图像单元，用于根据二维术前基准超声图像以及位置信息重构具有位置信息的三维术前基准超声图像；以及，
分割单元，用于三维术前超声基准图像的采样区域的边界及内部组织进行精准分割；
对应地，术前核磁图像单元获得的为三维术前核磁图像。
较佳实施例中，实时超声图像单元包括：
二维实时超声图像获得单元，用于获得二维实时超声图像；以及，
第二追踪单元，用于追踪采样针头的位置信息和朝向信息；
还包括：重建单元，用于根据利用采样针头的实时位置和朝向信息重建二维术前基准超声图像以及二维术前核磁图像；
对应地，第二非刚性配准单元用于利用从重建的二维术前超声基准图像以及实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对实时超声图像与重建的术前基准超声图像进行配准，实时超声图像通过重建的二维术前基准超声间接与重建的二维术前核磁图像融合；
二维术前超声图像获得单元与二维实时超声图像获得单元可以为同一超声图像获得单元或不同的超声图像获得单元。
第一追踪单元与第二追踪单元可以为同一追踪单元，也可以为不同追踪单元。
较佳实施例中，第二非刚性配准单元包括：
第一点对点非刚性配准单元，用于对实时超声图像与术前基准超声图像进行点对点非刚性配准；以及，
像素灰度值非刚性配准单元，用于对点对点非刚性配准之后的实时超声图像与术前基准超声图像进行像素灰度值非刚性配准。
较佳实施例中，第一非刚性配准单元包括：
强曲度关键点获得单元，用于获得术前核磁图像以及术前基准超声图像的强曲度关键点；
第二点对点非刚性配准单元，用于根据强曲度关键点进行点对点仿射变换匹配；以及
B样线条非刚性配准单元，用于对点对点配准后的术前核磁图像与术前基准超声图像进行互信息为基础的B样线条非刚性配准。
较佳实施例中，还包括：语音提示单元，用于提示采样针头与目标的距离，当采样针头越靠近所述采样目标时，提示声越急促。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。
Claims (14)
1.一种将实时超声图像与术前核磁图像进行融合的方法，其特征在于，包括以下步骤：
S11：获得采样区域的术前核磁图像，对所述术前核磁图像的采样区域的边界及内部组织进行精准分割；
S12：获得采样区域的术前基准超声图像，对所述术前基准超声图像的采样区域的边界及内部组织进行精准分割；
S13：利用从所述术前核磁图像以及从所述术前基准超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述术前核磁图像与所述术前基准超声图像进行配准；
S14：获得实时超声图像；
S15：将所述实时超声图像的采样区域的边界及内部组织进行精确分割；
S16：利用从术前超声基准图像以及所述实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述实时超声图像与所述术前基准超声图像进行配准，所述实时超声图像通过所述术前基准超声间接与所述术前核磁图像融合。
2.根据权利要求1所述的将实时超声图像与术前核磁图像进行融合的方法，其特征在于，所述步骤S11中对术前核磁图像的边缘及内部组织进行精准分割后还包括：对所述术前核磁图像上发现的一个或多个可疑病灶区域进行精确分割，并对其进行标记，根据所述标记制定活检采样规划，确定目标的采样区域。
3.根据权利要求1所述的将实时超声图像与术前核磁图像进行融合的方法，其特征在于，所述步骤S12中获得采样区域的术前基准超声图像具体包括：
S121：采集二维术前基准超声图像同时追踪采样针头的位置信息；
S122：根据所述二维术前基准超声图像以及所述采样针头的位置信息重构具有位置信息的三维术前基准超声图像，对应地，
所述步骤S11中的所述术前核磁图像为三维术前核磁图像。
4.根据权利要求3所述的将实时超声图像与术前核磁图像进行融合的方法，其特征在于，所述步骤S14具体为：获得二维实时超声图像，并追踪采样针头的实时位置和朝向信息；
所述步骤S14和步骤S15之间或所述步骤S15和步骤S16之间还包括：
S17：利用所述采样针头的实时位置和朝向信息重建二维术前基准超声图像以及二维术前核磁图像，对应地，
所述步骤S16为：利用从所述重建的二维术前超声基准图像以及所述实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述实时超声图像与所述重建的二维术前基准超声图像进行配准，所述实时超声图像通过所述重建的二维术前基准超声间接与所述重建的二维术前核磁图像融合。
5.根据权利要求1或4所述的将实时超声图像与术前核磁图像进行融合的方法，其特征在于，所述步骤S16中的非刚性配准包括：先进行点对点非刚性配准，然后再进行像素灰度值非刚性配准。
6.根据权利要求1所述的将实时超声图像与术前核磁图像进行融合的方法，其特征在于，所述步骤S13中非刚性配准包括：首先分别获取所述术前核磁图像以及所述术前基准超声图像的强曲度关键点，根据所述强曲度关键点进行点对点仿射变换匹配；然后采用所述术前核磁图像以及所述术前基准超声图像的互信息为基础的B样线条进行非刚性配准。
7.根据权利要求1所述的将实时超声图像与术前核磁图像进行融合的方法，其特征在于，采样过程中通过提示声来提示所述采样针头与所述目标的距离，具体为：当所述采样针头越靠近所述目标时，提示声越急促。
8.一种将实时超声图像与术前核磁图像进行融合的装置，其特征在于，包括：
术前核磁图像单元，用于获得采样区域的术前核磁图像，还用于对所述术前核磁图像的采样区域的边界及内部组织进行精准分割；
术前基准超声图像单元，用于获得术前基准超声图像，还用于对所述术前超声基准图像的采样区域的边界及内部组织进行精准分割；
第一非刚性配准单元，用于利用从所述术前核磁图像以及从所述术前基准超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述术前核磁图像与所述术前基准超声图像进行配准；
实时超声图像单元，用于获得实时超声图像，还用于对所述实时超声图像的采样区域的边界及内部组织进行精准分割；以及，
第二非刚性配准单元，用于利用从术前超声基准图像以及所述实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述实时超声图像与所述术前基准超声图像进行配准，所述实时超声图像通过所述术前基准超声间接与所述术前核磁图像融合；
所述术前基准超声图像单元与所述实时超声图像单元为同一超声图像单元或不同超声图像单元。
9.根据权利要求8所述的将实时超声图像与术前核磁图像进行融合的装置，其特征在于，还包括：采样规划制定单元，用于对所述术前核磁图像上发现的一个或多个可疑病灶区域进行精确分割，并对其进行标记，根据所述标记制定活检采样规划，确定目标的采样区域。
10.根据权利要求8所述的将实时超声图像与术前核磁图像进行融合的装置，其特征在于，所述术前基准超声图像单元包括：
二维术前基准超声图像单元，用于采集二维术前基准超声图像；
第一追踪单元，用于追踪采样针头的位置信息；
三维术前基准超声图像单元，用于根据所述二维术前基准超声图像以及所述位置信息重构具有位置信息的三维术前基准超声图像；以及，
分割单元，用于所述三维术前超声基准图像的采样区域的边界及内部组织进行精准分割；
对应地，所述术前核磁图像单元获得的为三维术前核磁图像。
11.根据权利要求10所述的将实时超声图像与术前核磁图像进行融合的装置，其特征在于，所述实时超声图像单元包括：
二维实时超声图像获得单元，用于获得二维实时超声图像；以及，
第二追踪单元，用于追踪采样针头的位置信息和朝向信息；
还包括：重建单元，用于根据利用所述采样针头的实时位置和朝向信息重建二维术前基准超声图像以及二维术前核磁图像；
对应地，所述第二非刚性配准单元用于利用从所述重建的二维术前超声基准图像以及所述实时超声图像提取的采样区域的边界及内部组织，运用非刚性配准对所述实时超声图像与所述重建的术前基准超声图像进行配准，所述实时超声图像通过所述重建的二维术前基准超声间接与所述重建的二维术前核磁图像融合；
所述二维术前超声图像获得单元与所述二维实时超声图像获得单元可以为同一超声图像获得单元或不同的超声图像获得单元。
所述第一追踪单元与所述第二追踪单元为同一追踪单元或不同追踪单元。
12.根据权利要求8或11所述的将实时超声图像与术前核磁图像进行融合的装置，其特征在于，所述第二非刚性配准单元包括：
第一点对点非刚性配准单元，用于对所述实时超声图像与所述术前基准超声图像进行点对点非刚性配准；以及，
像素灰度值非刚性配准单元，用于对点对点非刚性配准之后的所述实时超声图像与所述术前基准超声图像进行像素灰度值非刚性配准。
13.根据权利要求8所述的将实时超声图像与术前核磁图像进行融合的装置，其特征在于，所述第一非刚性配准单元包括：
强曲度关键点获得单元，用于获得所述术前核磁图像以及所述术前基准超声图像的强曲度关键点；
第二点对点非刚性配准单元，用于根据所述强曲度关键点进行点对点仿射变换匹配；以及
B样线条非刚性配准单元，用于对点对点配准后的所述术前核磁图像与所述术前基准超声图像进行互信息为基础的B样线条非刚性配准。
14.根据权利要求8所述的将实时超声图像与术前核磁图像进行融合的装置，其特征在于，还包括：语音提示单元，所述语音提示单元用于提示所述采样针头与目标的距离，当所述采样针头越靠近所述采样目标时，提示声越急促。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610766668.6A CN106373108A (zh) | 2016-08-29 | 2016-08-29 | 一种将实时超声图像与术前核磁图像进行融合的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610766668.6A CN106373108A (zh) | 2016-08-29 | 2016-08-29 | 一种将实时超声图像与术前核磁图像进行融合的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106373108A true CN106373108A (zh) | 2017-02-01 |
Family
ID=57901364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610766668.6A Pending CN106373108A (zh) | 2016-08-29 | 2016-08-29 | 一种将实时超声图像与术前核磁图像进行融合的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106373108A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092774A (zh) * | 2017-03-10 | 2017-08-25 | 深圳华大智造科技有限公司 | 一种提供参考信息的方法及装置 |
| CN109360181A (zh) * | 2018-10-29 | 2019-02-19 | 中惠医疗科技（上海）有限公司 | 超声图像与核磁图像融合方法和系统 |
| CN111091567A (zh) * | 2020-03-23 | 2020-05-01 | 南京景三医疗科技有限公司 | 医学图像配准方法、医疗设备及存储介质 |
| CN111091589A (zh) * | 2019-11-25 | 2020-05-01 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
| CN112150419A (zh) * | 2020-09-10 | 2020-12-29 | 东软医疗系统股份有限公司 | 图像处理方法、装置及电子设备 |
| CN112348858A (zh) * | 2019-08-07 | 2021-02-09 | 通用电气公司 | 多模态图像的可变形配准 |
| CN114587590A (zh) * | 2022-03-10 | 2022-06-07 | 上海涛影医疗科技有限公司 | 术中实时跟踪方法及系统 |
| CN117152121A (zh) * | 2023-09-25 | 2023-12-01 | 上海卓昕医疗科技有限公司 | 医学影像的配准方法、装置、电子设备和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101053531A (zh) * | 2007-05-17 | 2007-10-17 | 上海交通大学 | 基于多模式增敏成像融合的早期肿瘤定位跟踪方法 |
| US20080081980A1 (en) * | 2006-09-18 | 2008-04-03 | Michael Maschke | Apparatus and process for stroke examination and treatment using a C-arch X-ray system |
| CN103426174A (zh) * | 2013-08-13 | 2013-12-04 | 中国科学院深圳先进技术研究院 | 多模态医学影像配准方法 |
| CN104574329A (zh) * | 2013-10-09 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法、超声融合成像导航系统 |
| CN104835112A (zh) * | 2015-05-07 | 2015-08-12 | 厦门大学 | 一种肝脏多相期ct图像融合方法 |
| CN105488804A (zh) * | 2015-12-14 | 2016-04-13 | 上海交通大学 | 脑部asl、spect和mri图像配准融合联合分析的方法及系统 |
-
2016
- 2016-08-29 CN CN201610766668.6A patent/CN106373108A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080081980A1 (en) * | 2006-09-18 | 2008-04-03 | Michael Maschke | Apparatus and process for stroke examination and treatment using a C-arch X-ray system |
| CN101053531A (zh) * | 2007-05-17 | 2007-10-17 | 上海交通大学 | 基于多模式增敏成像融合的早期肿瘤定位跟踪方法 |
| CN103426174A (zh) * | 2013-08-13 | 2013-12-04 | 中国科学院深圳先进技术研究院 | 多模态医学影像配准方法 |
| CN104574329A (zh) * | 2013-10-09 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法、超声融合成像导航系统 |
| CN104835112A (zh) * | 2015-05-07 | 2015-08-12 | 厦门大学 | 一种肝脏多相期ct图像融合方法 |
| CN105488804A (zh) * | 2015-12-14 | 2016-04-13 | 上海交通大学 | 脑部asl、spect和mri图像配准融合联合分析的方法及系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092774A (zh) * | 2017-03-10 | 2017-08-25 | 深圳华大智造科技有限公司 | 一种提供参考信息的方法及装置 |
| CN107092774B (zh) * | 2017-03-10 | 2020-03-13 | 昆山华大智造云影医疗科技有限公司 | 一种提供参考信息的方法及装置 |
| CN109360181A (zh) * | 2018-10-29 | 2019-02-19 | 中惠医疗科技（上海）有限公司 | 超声图像与核磁图像融合方法和系统 |
| CN112348858A (zh) * | 2019-08-07 | 2021-02-09 | 通用电气公司 | 多模态图像的可变形配准 |
| CN111091589A (zh) * | 2019-11-25 | 2020-05-01 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
| CN111091589B (zh) * | 2019-11-25 | 2023-11-17 | 北京理工大学 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
| CN111091567A (zh) * | 2020-03-23 | 2020-05-01 | 南京景三医疗科技有限公司 | 医学图像配准方法、医疗设备及存储介质 |
| CN111091567B (zh) * | 2020-03-23 | 2020-06-23 | 南京景三医疗科技有限公司 | 医学图像配准方法、医疗设备及存储介质 |
| CN112150419A (zh) * | 2020-09-10 | 2020-12-29 | 东软医疗系统股份有限公司 | 图像处理方法、装置及电子设备 |
| CN114587590A (zh) * | 2022-03-10 | 2022-06-07 | 上海涛影医疗科技有限公司 | 术中实时跟踪方法及系统 |
| CN117152121A (zh) * | 2023-09-25 | 2023-12-01 | 上海卓昕医疗科技有限公司 | 医学影像的配准方法、装置、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106373108A (zh) | 一种将实时超声图像与术前核磁图像进行融合的方法及装置 | |
| CN106063726B (zh) | 实时穿刺导航系统及其导航方法 | |
| US8303502B2 (en) | Method and apparatus for tracking points in an ultrasound image | |
| EP2291136B1 (en) | System for performing biopsies | |
| CN108577940A (zh) | 一种基于多模态医学图像信息的靶向穿刺引导系统及方法 | |
| US10492758B2 (en) | Device and method for guiding surgical tools | |
| US20050085718A1 (en) | Systems and methods for intraoperative targetting | |
| CN110279467A (zh) | 光学定位下的超声图像与穿刺活检针的术中信息融合方法 | |
| CN102811666B (zh) | 超声成像中的成像平面的自动定位 | |
| EP3013244B1 (en) | System and method for mapping ultrasound shear wave elastography measurements | |
| US9123096B2 (en) | Information processing apparatus and control method thereof | |
| CN107028626A (zh) | 一种前列腺术弹性配准方法及装置 | |
| US20070225553A1 (en) | Systems and Methods for Intraoperative Targeting | |
| US20030055335A1 (en) | Marking 3D locations from ultrasound images | |
| CN106108951B (zh) | 一种医用实时三维定位追踪系统及方法 | |
| CN107106128B (zh) | 用于分割解剖目标的超声成像装置和方法 | |
| Mwikirize et al. | Learning needle tip localization from digital subtraction in 2D ultrasound | |
| CN102764124B (zh) | 一种基于磁共振成像对穿支皮瓣血管定位与测量的方法 | |
| EP3110335B1 (en) | Zone visualization for ultrasound-guided procedures | |
| WO2018214807A1 (zh) | 一种前列腺穿刺术活检取出方法及装置 | |
| CN102429730B (zh) | 一种用于医学图像导航系统的标定模及使用方法 | |
| CN207855724U (zh) | 一种跟踪系统坐标系校准装置 | |
| CN116725673B (zh) | 基于三维重建与多模态医学图像配准的超声穿刺导航系统 | |
| CN109758213A (zh) | 一种磁共振-超声融合前列腺穿刺针定位方法及系统 | |
| CN116236280B (zh) | 一种基于多模态图像融合的介入治疗引导方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170809 Address after: 314032, building 610, R & D building, Shanghai Jiaotong University (Jiaxing) Science Park, No. 321, Chong Chong Road, Xiuzhou District, Zhejiang, Jiaxing Applicant after: Jiaxing panorama Medical Instrument Co., Ltd. Address before: 130111 Jilin province Changchun Chengxi town Luyuan District Committee 15 South fan group Applicant before: Wang Lei |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170201 |