CN112330822A - 实时三维心脏图像自动靶目标区域追踪识别系统 - Google Patents
实时三维心脏图像自动靶目标区域追踪识别系统 Download PDFInfo
- Publication number
- CN112330822A CN112330822A CN202011214715.9A CN202011214715A CN112330822A CN 112330822 A CN112330822 A CN 112330822A CN 202011214715 A CN202011214715 A CN 202011214715A CN 112330822 A CN112330822 A CN 112330822A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- interest
- region
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013136 deep learning model Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000009432 framing Methods 0.000 claims abstract description 8
- 238000002513 implantation Methods 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000747 cardiac effect Effects 0.000 claims description 2
- 230000003902 lesion Effects 0.000 abstract description 6
- 238000004904 shortening Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 210000004115 mitral valve Anatomy 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000007675 cardiac surgery Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Surgery (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种实时三维心脏图像自动靶目标区域追踪识别系统，其特征在于，包括：显示信号获取单元；深度学习模型；模型特征预测单元；模型校正单元；感兴趣区域框选单元；手术引导信息标注单元。目前没有在实时三维超声图像上进行实时自动标记的技术和方法，本发明提供的系统适用于目前大多数三维心脏超声成像设备，本发明的实时智能标记方法所添加的实时标注信息对手术引导非常重要，可以实时处理图像追踪标记感兴趣区，辅助手术医生快速锁定病变区域，实时引导手术导管或植入器械的着陆或投放来完成手术操作，既保障了手术安全，又缩短手术时间。
Description
技术领域
本发明涉及一种对实时三维超声成像显示的运动目标进行快速分割描记及靶向引导技术的系统，可用于手术引导，属于图像处理领域。
背景技术
所有的手术都需要直接或间接的视觉信息确认来引导辅助。近几年心脏手术的微创化、经导管介入化使得实时透视影像的引导越发重要。三维超声是近几年来重要性越来越得到重视的代表性手术辅助成像技术。目前的三维超声图像时间分辨率和空间分辨率越来越高，图像质量效果越来越好。有经验的超声医生可以快速的定位及定性病变，但是手术操作医生无超声影像阅读基础，需要超声医生讲解指示病变区域。所以急需能对三维显示图像进行智能识别分割和追踪的技术来标记图像，以醒目的方式来显示病变目标区域，引导手术器械的着陆或投放。
目前三维图像分割处理技术为全容积图像的三维模型构建，一般需要采集完三维图像后，再经过在机或脱机后处理运算后进行显示。现有技术虽然可以做到三维建模，但是其处理延时、耗时，不能所见即所得地实时同步显示，不能满足心脏手术引导所需的实时导航要求。
发明内容
本发明要解决的技术问题是：目前手术引导仅依靠单独的超声图像显示，没有在实时三维超声图像上进行标记引导的辅助技术。
为了解决上述技术问题，本发明的技术方案是提供了一种实时三维心脏图像自动靶目标区域追踪识别系统，其特征在于，包括：
显示信号获取单元，用于获取医疗设备输出的二维显示信号；
深度学习模型，应用Keras框架和全卷积神经网络构建深度学习模型，利用已分割出感兴趣区域且感兴趣区域的图像特征已知的多幅训练二维图像对深度学习模型训练后，将通过显示信号获取单元实时获取二维显示信号，将二维显示信号输入训练后的深度学习模型，由深度学习模型从二维显示信号所表示的当前一帧的二维图像中分割出感兴趣区域，并识别得到当前一帧二维图像的感兴趣区域的图像特征；
模型特征预测单元，根据当前一帧二维图像的感兴趣区域的图像特征与前一帧二维图像的感兴趣区域的图像特征的差异预测得到下一帧二维图像的感兴趣区域的图像特征；
模型校正单元，将模型特征预测单元预测的当前一帧二维图像的感兴趣区域的图像特征与深度学习模型获得的当前一帧二维图像的感兴趣区域的图像特征进行匹配，根据匹配结果对深度学习模型进行校正；
感兴趣区域框选单元，依据深度学习模型获得的分割结果，将感兴趣区域在二维显示信号所表示的当前一帧的二维图像中框选出来；
手术引导信息标注单元，在已经通过深度学习模型分割得到的感兴趣区域的基础上，进行手术规划，以手动方式给出手术中输送导管理想位置的标示、手术植入装置理想位置的标示、输送导管的轴向示意图、手术植入装置的姿态示意图，手术引导信息标注单元将手动操作添加的指示与感兴趣区域框选单元所框选出的感兴趣区域绑定并联动进行显示。
优选地，所述显示信号获取单元通过医疗设备的分屏输出显示物理端口获取所述二维显示信号。
优选地，所述二维显示信号为已经完成三维渲染的二维显示图像。
目前没有在实时三维超声图像上进行实时自动标记的技术和方法，本发明提供的系统适用于目前大多数三维心脏超声成像设备，本发明的实时智能标记方法所添加的实时标注信息对手术引导非常重要，可以实时处理图像追踪标记感兴趣区，辅助手术医生快速锁定病变区域，实时引导手术导管或植入器械的着陆或投放来完成手术操作，既保障了手术安全，又缩短手术时间。
附图说明
图1为典型的二尖瓣三维超声图像。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
当前实时运动三维图像都在二维平面显示器上进行三维图像的表面渲染显示，实际上仍是以二维的方式来显示三维图像，故在渲染处理后显示的二维图像上进行图像识别分割处理就可以达到三维跟踪的效果，缩短图像处理时间，做到实时追踪显示。而这种二维显示信号在大多数设备上都有分屏输出显示物理端口。可以在分屏输出的这一路二维显示视频信号上进行图像处理。预先通过深度学习技术提取感兴趣图像特征建立识别模型，然后在二维显示图像中快速框选感兴趣区，对特征图像进行精准识别分割，并追踪显示。
具体而言，本发明提供的一种实时三维心脏图像自动靶目标区域追踪识别系统包括：
显示信号获取单元，用于通过医疗设备的分屏输出显示物理端口获取医疗设备输出的二维显示信号。
深度学习模型，应用Keras框架和全卷积神经网络构建深度学习模型，利用已分割出感兴趣区域且感兴趣区域的图像特征已知的多幅训练二维图像对深度学习模型训练后，将通过显示信号获取单元实时获取二维显示信号，将二维显示信号输入训练后的深度学习模型，由深度学习模型从二维显示信号所表示的当前一帧的二维图像中分割出感兴趣区域，并识别得到当前一帧二维图像的感兴趣区域的图像特征。
本发明通过深度学习技术提取感兴趣图像特征建立识别模型，建立当前帧的颜色灰度模型、形状模型，并记录其在当前帧的特征参数值。
模型特征预测单元，根据当前一帧二维图像的感兴趣区域的图像特征与前一帧二维图像的感兴趣区域的图像特征的差异预测得到下一帧二维图像的感兴趣区域的图像特征。
模型校正单元，将模型特征预测单元预测的当前一帧二维图像的感兴趣区域的图像特征与深度学习模型获得的当前一帧二维图像的感兴趣区域的图像特征进行匹配，根据匹配结果对深度学习模型进行校正。
本发明结合模型特征预测单元及模型校正单元，通过相邻帧特征参数值的差异来来预测跟踪目标下一帧模型特征参数值。并根据相邻帧的匹配结果进行模型校正。
感兴趣区域框选单元，依据深度学习模型获得的分割结果，将感兴趣区域在二维显示信号所表示的当前一帧的二维图像中框选出来；
手术引导信息标注单元，在已经通过深度学习模型分割得到的感兴趣区域的基础上，进行手术规划，以手动方式给出手术中输送导管理想位置的标示、手术植入装置理想位置的标示、输送导管的轴向示意图、手术植入装置的姿态示意图，手术引导信息标注单元将手动操作添加的指示与感兴趣区域框选单元所框选出的感兴趣区域绑定并联动进行显示。
本发明将图像处理模型应用于二维显示图像中，首先快速框选感兴趣区，应用已建立模型对特征图像进行识别、分割、追踪显示。随后预设手术指引信息方案，使之能够快速叠加显示于屏幕，指引信息与所锚定的靶目标进行绑定联动显示。
图1为典型的二尖瓣三维超声图像，利用本发明提供的系统在当前一帧图像中指定出二尖瓣区域(或二尖瓣区域中的局部特征区域)后，后续实时连续帧中本发明可以持续自动分割显示靶区域。计算机针对三维图像数据集进行深度学习建立识别能力后，用于智能辅助显示屏幕内图像分割标注。
在超声引导心脏手术过程中，本发明以智能形式对分屏显示输出的三维图像信号(实际为二维显示的三维表面渲染图像)进行处理，实时分割感兴趣的靶目标区域，并持续追踪显示，并对感兴趣区实时叠加显示辅助手术的预估路径指示图，指导手术操作医生来实施手术。
本发明所提出的系统对手术操作者非常重要，可以帮助操作医生快锁锚定病变区域以完成手术操作，既保障了手术安全，又缩短手术时间。
Claims (3)
1.一种实时三维心脏图像自动靶目标区域追踪识别系统，其特征在于，包括：
显示信号获取单元，用于获取医疗设备输出的二维显示信号；
深度学习模型，应用Keras框架和全卷积神经网络构建深度学习模型，利用已分割出感兴趣区域且感兴趣区域的图像特征已知的多幅训练二维图像对深度学习模型训练后，将通过显示信号获取单元实时获取二维显示信号，将二维显示信号输入训练后的深度学习模型，由深度学习模型从二维显示信号所表示的当前一帧的二维图像中分割出感兴趣区域，并识别得到当前一帧二维图像的感兴趣区域的图像特征；
模型特征预测单元，根据当前一帧二维图像的感兴趣区域的图像特征与前一帧二维图像的感兴趣区域的图像特征的差异预测得到下一帧二维图像的感兴趣区域的图像特征；
模型校正单元，将模型特征预测单元预测的当前一帧二维图像的感兴趣区域的图像特征与深度学习模型获得的当前一帧二维图像的感兴趣区域的图像特征进行匹配，根据匹配结果对深度学习模型进行校正；
感兴趣区域框选单元，依据深度学习模型获得的分割结果，将感兴趣区域在二维显示信号所表示的当前一帧的二维图像中框选出来；
手术引导信息标注单元，在已经通过深度学习模型分割得到的感兴趣区域的基础上，进行手术规划，以手动方式给出手术中输送导管理想位置的标示、手术植入装置理想位置的标示、输送导管的轴向示意图、手术植入装置的姿态示意图，手术引导信息标注单元将手动操作添加的指示与感兴趣区域框选单元所框选出的感兴趣区域绑定并联动进行显示。
2.如权利要求1所述的一种实时三维心脏图像自动靶目标区域追踪识别系统，其特征在于，所述显示信号获取单元通过医疗设备的分屏输出显示物理端口获取所述二维显示信号。
3.如权利要求2所述的一种实时三维心脏图像自动靶目标区域追踪识别系统，其特征在于，所述二维显示信号为已经完成三维渲染的二维显示图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011214715.9A CN112330822A (zh) | 2020-11-04 | 2020-11-04 | 实时三维心脏图像自动靶目标区域追踪识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011214715.9A CN112330822A (zh) | 2020-11-04 | 2020-11-04 | 实时三维心脏图像自动靶目标区域追踪识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330822A true CN112330822A (zh) | 2021-02-05 |
Family
ID=74323586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011214715.9A Pending CN112330822A (zh) | 2020-11-04 | 2020-11-04 | 实时三维心脏图像自动靶目标区域追踪识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330822A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118079256A (zh) * | 2024-04-26 | 2024-05-28 | 四川省肿瘤医院 | 磁共振引导放射治疗肿瘤靶区的自动追踪方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080146919A1 (en) * | 2006-09-29 | 2008-06-19 | Estelle Camus | Method for implanting a cardiac implant with real-time ultrasound imaging guidance |
| CN109815358A (zh) * | 2018-12-26 | 2019-05-28 | 北京博鳌纵横网络科技有限公司 | 一种商标图案近似查询系统和方法 |
| CN110675464A (zh) * | 2019-09-20 | 2020-01-10 | 和宇健康科技股份有限公司 | 一种医疗影像的处理方法、装置、服务器及存储介质 |
-
2020
- 2020-11-04 CN CN202011214715.9A patent/CN112330822A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080146919A1 (en) * | 2006-09-29 | 2008-06-19 | Estelle Camus | Method for implanting a cardiac implant with real-time ultrasound imaging guidance |
| CN109815358A (zh) * | 2018-12-26 | 2019-05-28 | 北京博鳌纵横网络科技有限公司 | 一种商标图案近似查询系统和方法 |
| CN110675464A (zh) * | 2019-09-20 | 2020-01-10 | 和宇健康科技股份有限公司 | 一种医疗影像的处理方法、装置、服务器及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118079256A (zh) * | 2024-04-26 | 2024-05-28 | 四川省肿瘤医院 | 磁共振引导放射治疗肿瘤靶区的自动追踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111227864B (zh) | 使用超声图像利用计算机视觉进行病灶检测的装置 | |
| EP3003161B1 (en) | Method for 3d acquisition of ultrasound images | |
| CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
| CN111214255B (zh) | 一种医学超声图像计算机辅助方法 | |
| CN111161290A (zh) | 一种图像分割模型的构建方法、图像分割方法及系统 | |
| CN106068451A (zh) | 手术装置及其使用方法 | |
| JP2012520096A (ja) | 心臓ｍモード像の自動分析 | |
| JP2021522931A (ja) | 機械学習を使用する手術中の自動腫瘍識別 | |
| CN108814717B (zh) | 手术机器人系统 | |
| CN103845076A (zh) | 超声系统及其检测信息的关联方法和装置 | |
| EP3110335B1 (en) | Zone visualization for ultrasound-guided procedures | |
| CN112545551A (zh) | 用于医学成像设备的方法和系统 | |
| CN112330822A (zh) | 实时三维心脏图像自动靶目标区域追踪识别系统 | |
| CN114004854B (zh) | 一种显微镜下的切片图像实时处理显示系统和方法 | |
| CN114831729A (zh) | 超声心动图和ct多模态图像融合的左心耳封堵模拟系统 | |
| CN112089438B (zh) | 基于二维超声图像的四维重建方法及装置 | |
| CN113951935A (zh) | 一种经腔道的超声自动检查系统及控制方法 | |
| CN115919461B (zh) | 一种基于slam的手术导航方法 | |
| CN117100393A (zh) | 一种用于视频辅助外科手术靶标定位的方法、系统和装置 | |
| CN112998756B (zh) | 一种基于超声图像结合深度学习的心脏血流向量成像方法 | |
| CN114283179A (zh) | 基于超声图像的骨折远近端空间位姿实时获取与配准系统 | |
| CN1994228A (zh) | 多视点冠脉造影序列影像的时间配准方法 | |
| US20240206980A1 (en) | Volumetric filter of fluoroscopic sweep video | |
| EP4062838A1 (en) | Method for use in ultrasound imaging | |
| US20230301510A1 (en) | Robotic-assisted optical coherence tomography (oct) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |