CN117392109A - 一种乳腺病灶三维重建方法及系统 - Google Patents

一种乳腺病灶三维重建方法及系统 Download PDF

Info

Publication number
CN117392109A
CN117392109A CN202311489447.5A CN202311489447A CN117392109A CN 117392109 A CN117392109 A CN 117392109A CN 202311489447 A CN202311489447 A CN 202311489447A CN 117392109 A CN117392109 A CN 117392109A
Authority
CN
China
Prior art keywords
focus
breast
ultrasonic
dimensional
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311489447.5A
Other languages
English (en)
Inventor
杨大鹏
杨皓楠
张乐
牛宝山
姜力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202311489447.5A priority Critical patent/CN117392109A/zh
Publication of CN117392109A publication Critical patent/CN117392109A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种乳腺病灶三维重建方法，包括如下步骤：步骤S1、对乳房区域自主粗略扫查，获取乳房区域深度图像，确定乳房三维模型及空间位置；步骤S2、对病灶进行精细扫查，使用AI算法实现超声图像中病灶特征的分割提取；步骤S3、以时间、超声旋转角度或超声移动距离为间隔，有序记录精细扫查期间病灶特征的图像和位置信息；步骤S4、通过基于病灶边界点云特征的三维重建算法实现病灶的三维重建；步骤S5、根据记录的病灶特征中心位置，通过加权平均法计算病灶三维空间位置；步骤S6、通过乳房中心坐标和病灶中心坐标，确定两者基于机械臂坐标中的相对位置关系，实现乳腺病灶三维重建方法。该方法能帮助医生确定病灶形状、大小及其在乳房中的位置。

Description

一种乳腺病灶三维重建方法及系统
技术领域
本发明属于医学图像处理技术领域，具体涉及一种乳腺病灶三维重建方法及系统。
背景技术
超声成像作为一种成熟的技术，是一种无创、非放射性、成本更低的成像方式，广泛应用于临床诊断。不同于传统CT(电子计算机断层扫描)和MRI(磁共振成像)的三维成像重建，基于二维超声图像的三维重建是医学图像处理领域重要的研究方向。由于二维超声图像无法检测出组织的三维结构，超声扫查时很大程度上依赖医生的主观经验。而机器人自主进行超声扫查时，由于没有医生的直接参与，医生很难较为直观的判断出病灶的形状、大小及其与乳房的相对位置关系，给诊断带来了困难。
基于此，急需一种乳腺病灶三维重建方法，能够在没有医生参与超声扫查的情况下，自主生成乳房及内部病灶的三维结构，帮助医生实现对病灶的诊断。
发明内容
本发明为解决上述技术问题，提出一种乳腺病灶三维重建方法及系统。
本发明涉及一种乳腺病灶三维重建方法，包括如下步骤：
步骤S1、对乳房区域进行自主粗略扫查，记录超声图像中病灶出现和病灶消失两个节点之间的机械臂移动轨迹及姿态，获取乳房区域深度图像，确定乳房三维模型及空间位置；
步骤S2、根据记录的机械臂移动轨迹及姿态对病灶进行精细扫查，使用AI算法实现超声图像中病灶特征的分割提取；
步骤S3、以时间、超声旋转角度或超声移动距离为间隔，有序记录精细扫查期间病灶特征的图像和位置信息；
步骤S4、通过基于病灶边界点云特征的三维重建算法实现病灶的三维重建；
步骤S5、根据记录的病灶特征中心位置，通过加权平均法计算病灶三维空间位置；
步骤S6、通过乳房中心坐标和病灶中心坐标，确定两者基于机械臂坐标中的相对位置关系，实现乳腺病灶三维重建方法。
本发明还涉及一种乳腺病灶三维重建方法的系统，所述系统包括用于运行乳腺病灶三维重建方法的计算机模块。
有益效果
本发明的乳腺病灶三维重建方法，适用于没有医生参与的自主超声扫查过程。通过扫查自主生成乳房及内部病灶的三维结构，确定出两者的相对位置关系，帮助医生确定病灶形状、大小及其在乳房中的位置。
附图说明
图1为本发明乳腺病灶三维重建方法的流程示意图；
图2为本发明的乳房定位流程示意图；
图3为本发明乳腺病灶三维重建方法的应用平台示意图；
图4为本发明中病灶定位示意图；
图5为本发明中经病灶边界点云提取处理的特征图像示意图；
图6为本发明中病灶三维重建结构示意图；
图7为本发明中乳房与病灶三维结构及相对位置关系可视化示意图。
具体实施方式
以下结合图1至7对本实施方式进行具体说明。
本发明的乳腺病灶三维重建方法，主要包括以下步骤：
步骤S1、对乳房区域进行自主粗略扫查，记录超声图像中病灶出现和病灶消失两个节点之间的机械臂移动轨迹及姿态，获取乳房区域深度图像，确定乳房三维模型及空间位置；
本发明的应用平台如图3所示，1为机械臂，在机械臂末端的固定装置2用于固定双目相机3和超声探头夹具4，超声探头夹具4用于固定超声探头5。
在超声粗略扫查期间，当超声图像中出现病灶和病灶消失时，记录这两个时刻之间的机械臂1移动轨迹；多视角拍摄和记录深度图像，将记录的多视角深度图像转化为点云数据，通过多角度点云配准构建乳房三维结构，以乳房三维结构底部平面中心为模型中心点确定乳房三维结构的空间位置。
步骤S1具体包括：
步骤S11、使用AI算法检测超声图像中的病灶，记录超声图像出现病灶直至消失时的机械臂移动轨迹及姿态；
步骤S12、使用双目相机获取并记录乳房区域的深度图像：
将胸部置于双目相机3视觉范围内，用手术布遮盖胸部周围皮肤并露出胸部，便于提取胸部点云；通过超声对乳房粗略扫查，进行多视角拍摄和记录深度图像；通过手眼标定的方式将相机坐标系转化为机械臂坐标系，进而确定胸部点云基于机械臂坐标系的位置。
步骤S13、根据深度图像提取点云数据，通过点云去噪和多角度点云配准优化乳房点云；
将记录的多视角深度图像转化为点云数据，提取胸部区域内的点云特征，通过多角度点云配准实现乳房点云的构建。
步骤S14、根据规则排列的乳房点云，通过曲面重构建立乳房三维结构；
步骤S15、计算乳房三维模型在机械臂基坐标系中的位置；
根据乳房表面点云计算出模型底部二维平面，取此二维平面中x轴上x值最小和最大的两个点云A(xmin,yA,zA)和B(xmax,yB,zB)，其中xmin为x轴上的最小值，yA为A点y轴上的取值，zA为A点z轴上的取值，xmax为x轴上的最大值，yB为B点y轴上的取值，zB为B点z轴上的取值；取y轴上y值最小和最大的两个点云C(xC,ymin,zC)和D(xD,ymax,zD)，其中xC为C点x轴上的取值，ymin为y轴上的最小值，zC为C点z轴上的取值，xD为D点x轴上的取值，ymax为y轴上的最大值，zD为D点z轴上的取值；以此四个点云作为乳房模型底部二维平面的特征点，算出该平面的中心位置OB(X,Y,Z)；
其中，
以乳房模型底部中心OB作为整个乳房的三维模型的中心。
步骤S2、根据记录的机械臂移动轨迹及姿态对病灶进行精细扫查，使用AI算法实现超声图像中病灶特征的分割提取；
根据记录的机械臂移动轨迹及姿态，选取轨迹中间部分某一机械臂姿态为起始姿态对病灶进行精细扫查，扫查方式不限于扇形扫查和旋转扫查；在超声扫查期间使用AI算法对超声图像中病灶进行图像分割处理，提取出病灶特征。
步骤S3、以时间、超声旋转角度或超声移动距离为间隔，有序记录精细扫查期间病灶特征的图像和位置信息；
对病灶进行精细扫查，以时间、超声旋转角度或超声移动距离为间隔记录扫查时病灶的多模态信息，包括超声图像、对应的特征图像和病灶位置信息。
如图4所示，超声扫查时，超声探头采集到在超声设备界面6上显示的超声图像8，超声图像8能显示检测到病灶9，右侧标有实际超声探测深度7。
病灶位置信息确定方法如下：
精细扫查期间，通过视频采集卡实时采集超声设备界面6中的超声图像8，根据采集的图像分辨率可知超声图像的像素高度h和宽度w，以超声图像中的病灶中心10为病灶定位点，计算出此点在超声平面的像素坐标o(x,y,z)，根据选取的探测深度H和实际超声探头成像的宽度W将病灶像素坐标转换为实际空间坐标，计算出病灶在超声平面中的空间坐标为ON(XL,YL,ZL)；
其中，ZL＝0，N表示特征图数量；
计算出每张超声图中病灶特征基于超声平面坐标系中的空间坐标，将特征中心像素坐标系转换到以超声探头前端为中心的超声探头坐标系中。
步骤S4、通过基于病灶边界点云特征的三维重建算法实现病灶的三维重建；
病灶三维重建过程分为在线重建和离线重建；在线重建是指在精细扫查期间，使用已经存储的部分病灶边界点云特征，以时间、超声旋转角度或超声移动距离为间隔进行实时重建，此时的重建间隔要求大于等于2倍记录病灶特征的时间、超声旋转角度或超声移动距离间隔；离线重建是指对病灶进行完整的扫查后，使用已经存储的全部病灶边界点云特征进行三维重建；在线重建能够在精细扫查期间实时重建扫查过的病灶结构，离线重建只能在精细扫查完成后，对病灶进行整体三维重建。
如图5所示，精细扫查时记录的病灶特征图像12，提取病灶边界点云特征11；
如图6所示，在一系列规则有序的点云特征将构建三角面片实现病灶结构的三维重建。
步骤S5、根据记录的病灶特征中心位置，通过加权平均法计算病灶三维空间位置；
根据记录的一系列病灶特征中心位置O1,O2,O3,……,ON，通过加权平均法计算出病灶三维空间位置N表示特征图数量。
步骤S6、通过乳房中心坐标和病灶中心坐标，确定两者基于机械臂坐标中的相对位置关系，实现乳腺病灶三维重建方法。
通过乳房中心坐标OB和病灶中心坐标OL确定两者基于机械臂坐标中的相对位置关系，利用可视化软件进一步将乳房三维模型和病灶三维模型可视化显示，更直观的表示出两者的三维结构和位置关系，如图7所示，13为乳房三维结构，14为病灶三维结构。
本发明还涉及一种乳腺病灶三维重建方法的系统，所述系统包括用于运行乳腺病灶三维重建方法的计算机模块。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明。所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，还可以是上述各个实施方式记载的特征的合理组合，凡在本发明精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种乳腺病灶三维重建方法，其特征在于，包括如下步骤：
步骤S1、对乳房区域进行自主粗略扫查，记录超声图像中病灶出现和病灶消失两个节点之间的机械臂移动轨迹及姿态，获取乳房区域深度图像，确定乳房三维模型及空间位置；
步骤S2、根据记录的机械臂移动轨迹及姿态对病灶进行精细扫查，使用AI算法实现超声图像中病灶特征的分割提取；
步骤S3、以时间、超声旋转角度或超声移动距离为间隔，有序记录精细扫查期间病灶特征的图像和位置信息；
步骤S4、通过基于病灶边界点云特征的三维重建算法实现病灶的三维重建；
步骤S5、根据记录的病灶特征中心位置，通过加权平均法计算病灶三维空间位置；
步骤S6、通过乳房中心坐标和病灶中心坐标，确定两者基于机械臂坐标中的相对位置关系，实现乳腺病灶三维重建方法。
2.根据权利要求1所述的乳腺病灶三维重建方法，其特征在于，步骤S1具体包括：
步骤S11、使用AI算法检测超声图像中的病灶，记录超声图像出现病灶直至消失时的机械臂移动轨迹及姿态；
步骤S12、使用双目相机获取并记录乳房区域的深度图像；
步骤S13、根据深度图像提取点云数据，通过点云去噪和多角度点云配准优化乳房点云；
步骤S14、根据规则排列的乳房点云，通过曲面重构建立乳房三维结构；
步骤S15、计算乳房三维模型在机械臂基坐标系中的位置。
3.根据权利要求2所述的乳腺病灶三维重建方法，其特征在于，步骤S15中，根据乳房表面点云计算出模型底部二维平面，取此二维平面中x轴上x值最小和最大的两个点云A(xmin,yA,zA)和B(xmax,yB,zB)，其中xmin为x轴上的最小值，yA为A点y轴上的取值，zA为A点z轴上的取值，xmax为x轴上的最大值，yB为B点y轴上的取值，zB为B点z轴上的取值；取y轴上y值最小和最大的两个点云C(xC,ymin,zC)和D(xD,ymax,zD)，其中xC为C点x轴上的取值，ymin为y轴上的最小值，zC为C点z轴上的取值，xD为D点x轴上的取值，ymax为y轴上的最大值，zD为D点z轴上的取值；以此四个点云作为乳房模型底部二维平面的特征点，算出该平面的中心位置OB(X,Y,Z)；
其中，
以乳房模型底部中心OB作为整个乳房的三维模型的中心。
4.根据权利要求1所述的乳腺病灶三维重建方法，其特征在于，步骤S3中，对病灶进行精细扫查，以时间、超声旋转角度或超声移动距离为间隔记录扫查时病灶的多模态信息，包括超声图像、对应的特征图像和病灶位置信息。
5.根据权利要求4所述的乳腺病灶三维重建方法，其特征在于，所述病灶位置信息确定方法如下：精细扫查期间，通过视频采集卡实时采集超声设备界面中的超声图像，根据采集的图像分辨率可知超声图像的像素高度h和宽度w，以超声图像中的病灶中心为病灶定位点，计算出此点在超声平面的像素坐标o(x,y,z)，根据选取的探测深度H和实际超声探头成像的宽度W将病灶像素坐标转换为实际空间坐标，计算出病灶在超声平面中的空间坐标为ON(XL,YL,ZL)；
其中，ZL＝0，N表示特征图数量；
计算出每张超声图中病灶特征基于超声平面坐标系中的空间坐标，将特征中心像素坐标系转换到以超声探头前端为中心的超声探头坐标系中。
6.根据权利要求1所述的乳腺病灶三维重建方法，其特征在于，步骤S4中，病灶三维重建过程分为在线重建和离线重建；在线重建是指在精细扫查期间，使用已经存储的部分病灶边界点云特征，以时间、超声旋转角度或超声移动距离为间隔进行实时重建，重建间隔要求大于等于2倍记录病灶特征的时间、超声旋转角度或超声移动距离间隔；离线重建是指对病灶进行完整的扫查后，使用已经存储的全部病灶边界点云特征进行三维重建。
7.根据权利要求1所述的乳腺病灶三维重建方法，其特征在于，步骤S5中，根据记录的一系列病灶特征中心位置O1,O2,O3,……,ON，通过加权平均法计算出病灶三维空间位置N表示特征图数量。
8.根据权利要求1所述的乳腺病灶三维重建方法，其特征在于，步骤S6中，通过乳房中心坐标OB和病灶中心坐标OL确定两者基于机械臂坐标中的相对位置关系，利用可视化软件将乳房三维模型和病灶三维模型可视化显示，表示出两者的三维结构和位置关系。
9.一种用于实施权利要求1至8任一项所述的乳腺病灶三维重建方法的系统，其特征在于，所述系统包括用于运行乳腺病灶三维重建方法的计算机模块。
CN202311489447.5A 2023-11-10 2023-11-10 一种乳腺病灶三维重建方法及系统 Pending CN117392109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311489447.5A CN117392109A (zh) 2023-11-10 2023-11-10 一种乳腺病灶三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311489447.5A CN117392109A (zh) 2023-11-10 2023-11-10 一种乳腺病灶三维重建方法及系统

Publications (1)

Publication Number Publication Date
CN117392109A true CN117392109A (zh) 2024-01-12

Family

ID=89468253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311489447.5A Pending CN117392109A (zh) 2023-11-10 2023-11-10 一种乳腺病灶三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN117392109A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015199A (zh) * 2024-04-10 2024-05-10 南京广慈医疗科技有限公司 基于超声图像的安全靶区三维重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015199A (zh) * 2024-04-10 2024-05-10 南京广慈医疗科技有限公司 基于超声图像的安全靶区三维重建方法
CN118015199B (zh) * 2024-04-10 2024-06-11 南京广慈医疗科技有限公司 基于超声图像的安全靶区三维重建方法

Similar Documents

Publication Publication Date Title
Sato et al. Image guidance of breast cancer surgery using 3-D ultrasound images and augmented reality visualization
US9480456B2 (en) Image processing apparatus that simultaneously displays two regions of interest on a body mark, processing method thereof and storage medium
CN105025803B (zh) 从多个三维视图对大对象的分割
JP4836314B2 (ja) 心臓の腔の状態を心内膜的に検査するための装置
US10362941B2 (en) Method and apparatus for performing registration of medical images
JP5345275B2 (ja) 超音波データと事前取得イメージの重ね合わせ
KR102001219B1 (ko) 의료 영상들의 정합 방법 및 장치
CN102727258B (zh) 图像处理装置、超声波摄影系统及图像处理方法
JP5622995B2 (ja) 超音波システム用のビーム方向を用いたカテーテル先端部の表示
JP2001218765A (ja) 対象物のビジュアル化方法及びシステム
JP2006305358A (ja) 超音波輪郭再構築を用いた３次元心臓イメージング
KR20140032810A (ko) 의료 영상들의 정합 방법 및 장치
JP2006312037A (ja) 超音波を用いた電気解剖学的地図と事前取得イメージの重ね合わせ
WO2010113633A1 (en) Image processing apparatus and image processing method
WO2012154941A1 (en) Automatic real-time display system for the orientation and location of an ultrasound tomogram in a three-dimensional organ model
JPH11104072A (ja) 医療支援システム
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
CN117392109A (zh) 一种乳腺病灶三维重建方法及系统
KR102233966B1 (ko) 의료 영상 정합 방법 및 그 장치
US7376254B2 (en) Method for surface-contouring of a three-dimensional image
US20230320700A1 (en) Apparatus and method for automatic ultrasound segmentation for visualization and measurement
WO2021234907A1 (ja) 画像処理装置、制御方法及び記憶媒体
JP6982978B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5526401B2 (ja) 心室壁情報抽出装置
JP2021083479A (ja) 生体情報表示装置、生体情報表示方法及び表示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination