CN114663410A - 一种心脏三维模型生成方法、装置、设备及存储介质 - Google Patents

一种心脏三维模型生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114663410A
CN114663410A CN202210332317.XA CN202210332317A CN114663410A CN 114663410 A CN114663410 A CN 114663410A CN 202210332317 A CN202210332317 A CN 202210332317A CN 114663410 A CN114663410 A CN 114663410A
Authority
CN
China
Prior art keywords
dimensional
heart
cardiac
ultrasonic
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210332317.XA
Other languages
English (en)
Other versions
CN114663410B (zh
Inventor
黄高
宋士吉
蒋昊峻
乐洋
王慎执
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210332317.XA priority Critical patent/CN114663410B/zh
Publication of CN114663410A publication Critical patent/CN114663410A/zh
Application granted granted Critical
Publication of CN114663410B publication Critical patent/CN114663410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例涉及数据处理技术领域，具体涉及一种心脏三维模型生成方法、装置、设备及存储介质，旨在快速准确地采集心脏二维超声图像以及建立心脏三维模型。所述方法包括：通过机械臂夹持超声探头采集得到多组心脏二维超声影像；对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型；通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络；通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型。

Description

一种心脏三维模型生成方法、装置、设备及存储介质
技术领域
本申请实施例涉及数据处理技术领域，具体而言，涉及一种心脏三维模型生成方法、装置、设备及存储介质。
背景技术
超声心动图是通过超声波探测心脏组织并成像的一种技术，其在诊断和治疗心脏方面的疾病中给医生提供了重要的依据，在医疗领域中起到了至关重要的作用。超声心动图通常在专门的超声科室进行，由经过专业培训的医生进行采集，在采集完超声心动图后，医生通过观察二维超声心动图对心脏进行检查。
现有技术中，心脏超声图像的采集是在所有脏器图像的采集中最为困难的，培训一名专业的心脏超声采集人员需要花费数年时间，因此专业的心脏超声医生数量较少，医疗资源较为紧张。此外，对心脏的诊断流程十分复杂，医生需要从多个角度对心脏进行观察，而常见的超声心动图是二维的，一次只能检查一个平面，使得医生的诊断效率较低。
发明内容
本申请实施例提供一种心脏三维模型生成方法、装置、设备及存储介质，旨在快速准确地采集心脏二维超声图像以及建立心脏三维模型。
本申请实施例第一方面提供一种心脏三维模型生成方法，所述方法包括：
通过机械臂夹持超声探头采集得到多组心脏二维超声影像；
对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型；
通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络；
通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型。
可选地，通过机械臂夹持超声探头采集得到多组心脏二维超声影像，包括：
针对每个被采集者，通过深度相机识别所述被采集者的身体的多个关键点；
从所述多个关键点中确定初始关键点，控制所述机械臂将所述超声探头移动至所述初始关键点处；
按照预定的扫描路线依次对所述被采集者的身体进行扫描，得到多幅所述心脏二维超声影像；
分别对多个被采集者进行超声影像采集，得到所述多组心脏二维超声影像。
可选地，对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型，包括：
针对所述多组心脏二维超声影像中的每组心脏二维超声影像，记录该组心脏二维超声影像中每一幅超声影像之间的间隔；
定义三维体积晶格，根据所述每一幅超声影像之间的间隔，将该组心脏二维超声影像插入所述三维体积晶格对应的截面中；
将所述超声影像的每个像素指定给所述三维体积晶格的一个或多个体素，并对所述体素进行填充；
通过三次样条差值算法对所述三维体积晶格中未被指定像素的体素进行插值，得到所述心脏三维先验模型。
可选地，定义三维体积晶格，根据所述每一幅超声影像之间的间隔，将该组心脏二维超声影像插入所述三维体积晶格对应的截面中，包括：
确定该组心脏二维超声影像的中间超声影像；
将所述中间超声影像插入到所述三维体积晶格正中间的截面；
以所述三维体积晶格正中间的截面为基准截面，根据所述每一幅超声影像之间的间隔，将该组二维超声影像依次插入所述三维体积晶格对应的截面中。
可选地，通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络，包括：
对于所述多组心脏二维超声影像中的每组心脏二维超声影像，将该组心脏二维超声影像中的每一幅超声影像使用二维矩阵表示，得到多个二维矩阵；
将所述多个二维矩阵组合为一个三维矩阵，将所述三维矩阵输入所述深度神经网络中；
根据预先设置的优化目标，以所述多组心脏二维超声影像以及所述多个三维先验模型为监督信号，对所述深度神经网络进行迭代训练，当所述优化目标的值降到最低时，得到所述心脏三维模型生成网络。
可选地，所述优化目标包括：
所述深度神经网络根据所述心脏二维超声影像生成的心脏三维模型，与所述心脏三维先验模型之间的差值达到最小；
所述深度神经网络将所述心脏三维模型投影至二维平面，得到的新生成的心脏二维超声影像，与所述心脏二维超声影像之间的差值达到最小。
可选地，通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型，包括：
控制所述机械臂夹持超声探头扫描得到多幅二维超声影像；
对所述多幅二维超声影像进行数据处理，得到所述二维超声影像对应的三维矩阵，将所述三维矩阵输入所述三维模型生成网络中，得到所述心脏三维模型。
本申请实施例第二方面提供一种心脏三维模型生成装置，所述装置包括：
超声影像采集模块，用于通过机械臂夹持超声探头采集得到多组心脏二维超声影像；
三维重建模块，用于对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型；
心脏三维模型生成网络获得模块，用于通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络；
心脏三维模型生成模块，用于通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型。
可选地，所述超声影像采集模块包括：
关键点识别子模块，用于针对每个被采集者，通过深度相机识别所述被采集者的身体的多个关键点；
初始关键点确定子模块，用于从所述多个关键点中确定初始关键点，控制所述机械臂将所述超声探头移动至所述初始关键点处；
扫描子模块，用于按照预定的扫描路线依次对所述被采集者的身体进行扫描，得到多幅所述心脏二维超声影像；
重复采集子模块，用于别对多个被采集者进行超声影像采集，得到所述多组心脏二维超声影像。
可选地，所述三维重建模块包括：
间隔记录子模块，用于针对所述多组心脏二维超声影像中的每组心脏二维超声影像，记录该组心脏二维超声影像中每一幅超声影像之间的间隔；
超声影像插入子模块，用于定义三维体积晶格，根据所述每一幅超声影像之间的间隔，将该组心脏二维超声影像插入所述三维体积晶格对应的截面中；
体素填充子模块，用于将所述超声影像的每个像素指定给所述三维体积晶格的一个或多个体素，并对所述体素进行填充；
体素插值子模块，用于通过三次样条差值算法对所述三维体积晶格中未被指定像素的体素进行插值，得到所述心脏三维先验模型。
可选地，所述超声影像插入子模块包括：
中间超声影像确定子模块，用于确定该组心脏二维超声影像的中间超声影像；
中间超声影像插入子模块，用于将所述中间超声影像插入到所述三维体积晶格正中间的截面；
剩余超声影像插入子模块，用于以所述三维体积晶格正中间的截面为基准截面，根据所述每一幅超声影像之间的间隔，将该组二维超声影像依次插入所述三维体积晶格对应的截面中。
可选地，所述心脏三维模型生成网络获得模块包括：
二维矩阵获得子模块，用于对于所述多组心脏二维超声影像中的每组心脏二维超声影像，将该组心脏二维超声影像中的每一幅超声影像使用二维矩阵表示，得到多个二维矩阵；
三维矩阵获得子模块，用于将所述多个二维矩阵组合为一个三维矩阵，将所述三维矩阵输入所述深度神经网络中；
自监督训练子模块，用于根据预先设置的优化目标，以所述多组心脏二维超声影像以及所述多个三维先验模型为监督信号，对所述深度神经网络进行迭代训练，当所述优化目标的值降到最低时，得到所述心脏三维模型生成网络。
可选地，所述优化目标包括：
所述深度神经网络根据所述心脏二维超声影像生成的心脏三维模型，与所述心脏三维先验模型之间的差值达到最小；
所述深度神经网络将所述心脏三维模型投影至二维平面，得到的新生成的心脏二维超声影像，与所述心脏二维超声影像之间的差值达到最小。
可选地，所述心脏三维模型生成模块包括：
超声影像采集子模块，用于控制所述机械臂夹持超声探头扫描得到多幅二维超声影像；
心脏三维模型获得子模块，用于对所述多幅二维超声影像进行数据处理，得到所述二维超声影像对应的三维矩阵，将所述三维矩阵输入所述三维模型生成网络中，得到所述心脏三维模型。
本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。
采用本申请提供的心脏三维模型生成方法，通过机械臂夹持超声探头采集得到多组心脏二维超声影像；对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型；通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行训练，得到心脏三维模型生成网络；通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型。本申请提供的方法中，通过机械臂夹持超声探头来采集心脏二维超声影像，可以准确快速的采心脏二维超声影像，节省了人力物力，根据心脏二维超声影像构成心脏三维先验模型，再利用心脏二维超声影像与心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络，可以快速有效的训练出一个专用于生成心脏三维模型的网络，生成的心脏三维模型可以根据心脏二维超声影像构建出病患的心脏三维模型，便于医生快速全面的了解病患的心脏状况。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的心脏三维模型生成方法的流程图；
图2是本申请一实施例提出的心脏三维先验模型获取流程图；
图3是本申请一实施例提出的心脏三维模型生成装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例是基于二维超声影像的心脏三维重建机器人系统实现的，该系统包括了机械臂，机械臂的控制器，连接在机械臂末端的力传感器和超声探头夹持装置，超声检测探头，检查床，显示器，指令输入装置，计算机以及深度相机。显示器可以展示扫描的二维超声影像以及重建出的三维心脏结构，指令输入装置能够接收医生发出的指令，并将其输入到机械臂的控制器中，结合深度相机识别人体的关键点，控制机械臂按照设定的程序对患者的心脏进行系统地扫描，机械臂末端的力传感器也将信息反馈给控制器，超声探头采集的图像发送至计算机中，计算机生成心脏三维模型并将模型展示在显示器上，为医生的诊断提供辅助。
参考图1，图1是本申请一实施例提出的心脏三维模型生成方法的流程图。如图1所示，该方法包括以下步骤：
S11：通过机械臂夹持超声探头采集得到多组心脏二维超声影像。
本实施例中，机械臂是为了采集二维超声影像而调整设置了其位姿的机械臂，超声探头通过发出超声波来对人体内部器官进行成像，二维超声影像是由超声探头对人体发出超声波，进而根据人体对超声波的反馈得到的二维影像。
本实施例中，采集一个人体的心脏器官二维超声影像时，会从多个不同的角度采集多幅心脏二维超声影像，图像的数量不做限制，可以从多个角度清晰反映心脏结构即可，将这多幅心脏二维超声影像视为一组心脏二维超声图像，对多个人体进行采集，就得到了多组心脏二维超声影像。
本实施例中，机械臂是七个自由度的机械臂，具有七个关节，第一关节与底座相连，第一联臂和第二联臂由第二关节相连，第二联臂与第三联臂由第二关节相连，依次类推至第七关节。第一关节能够绕连臂旋转-x10°至x11°，第二关节能够绕连臂旋转-x20°至x21°，第三关节能够绕连臂旋转-x30°至x31°，第四关节能够绕连臂旋转-x40°至x41°，第五关节能够绕连臂旋转-x50°至x51°，第六关节能够绕连臂旋转-x60°至x61°，第七关节能够绕连臂旋转-x70°至x71°。该机械臂一端连接控制器，控制器接收医生发出的指令，并将指令转化为电信号驱动机械臂运动。机械臂的另一端连接力传感器，力传感器连接这超声探头夹持装置，机械臂通过夹持装置夹持超声探头进行运行，超声探头与人体的皮肤表面接触时会产生相互作用力，若该力过大则会让被采集者产生不适，因此通过力传感器探测相互作用力的大小，并反馈给控制器，控制器输出电信号调整机械臂，保证相互作用力稳定在舒适区间。
本实施例中，需要首先通过机械臂夹持超声探头采集多组心脏二维超声影像，具体的步骤为：
S11-1:通过深度相机识别被采集者的身体的多个关键点。
本实施例中，关键点是预先设置好的人身体上的关键点位，为了方便机械臂自动采集人体的心脏二维超声影像，预先设置了多个关键点，可以通过预先设置的关键点为基准对机械臂进行准确定位。
本实施例中，在进行采集时，首先通过深度相机获得被采集者的身体图像，将该身体图像发送至计算机，进而识别出被采集者身体上的关键点。
示例地，多个关键点可以根据实际情况自行设置，关键点可以是人体的两个乳头，以及两个乳头的中心点，人体的肚脐眼的中心点等。
S11-2:从所述多个关键点中确定初始关键点，控制所述机械臂将所述超声探头移动至所述初始关键点处。
本实施例中，初始关键点就是超声摄像头需要扫描的第一个关键点。
本实施例中，在进行采集时，通过计算机控制机械臂将超声探头移动到初始关键点处，准备开始采集。
示例地，初始关键点可以是两个乳头的中点。
S11-3:按照预定的扫描路线依次对所述被采集者的身体进行扫描，得到多幅所述心脏二维超声影像。
本实施例中，预定的扫描路线是预先设置好的，存储在计算机中，通过计算机发出指令，控制机械臂按照预定的扫描路线对被采集者的身体进行扫描，得到多幅心脏二维超声图像。
本实施例中，在采集过程中，机械臂将超声探头夹持移动至初始关键点，将超声探头垂直置于被采集者的体表，与被采集者的躯保持稳定接触，按照预定的扫描线路对被采集者进行扫描。
示例地，当初始关键点为两个乳头的中心点时，扫描线路可以设置为：
从初始关键点向被采集者的右侧移动(面向被采集者)，当显示屏上出现清晰的影像时，暂停移动，并将该位置标记为位置1；从位置1开始向上移动，知道清晰图像不再出现，此时为位置2；从位置2开始缓慢向下移动，当出现清晰的影像时，探头停止运动，记录一个完整的行动周期的二维超声影像Un和与移动的间隔Ln，随后继续向下移动；重复之前步骤，直到没有清晰的超声图像出现。在探头移动过程中，需要时刻保持探头垂直于被测者的体表。
S11-4：分别对多个被采集者进行超声影像采集，得到所述多组心脏二维超声影像。
本实施例中，对一个被采集者进行超声影像采集，采集完毕后得到一组心脏二维超声影像，对多个被采集者分别进行超声影像采集，就可以得到多组心脏二维超声影像。
S12：对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型。
本实施例中，心脏三维先验模型是根据采集到的心脏二维超声影像经过三维重建得到的三维模型。
本实施例中，对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型，对于多组心脏二维超声影像中的每一个心脏二维超声影像，得到心脏三维先验模型的步骤为：
S12-1：针对所述多组心脏二维超声影像中的每组心脏二维超声影像，记录该组心脏二维超声影像中每一幅超声影像之间的间隔。
本实施例中，每一幅超声影像之间的间隔是就是超声探头在探测到每一幅超声影像时超声探头的位置间隔。
本实施例中，在计算过程中，将该组心脏二维超声影表示为[U1,U2,…,Un]，将每一幅超声影像之间的间隔记为[L1,L2,…,Ln]。
S12-2：定义三维体积晶格，根据所述每一幅超声影像之间的间隔，将该组心脏二维超声影像插入所述三维体积晶格对应的截面中。
本实施例中，三维体积晶格是三维空间中具有一定体积的晶格。
本实施例中，预先定义了三维体积晶格，设置了三维体积晶格的体积大小，之后根据每一幅超声影像之间的间隔，将该组心脏二维超声影像插入该三维体积晶格对应的截面中，具体步骤包括：
S12-2-1:确定该组心脏二维超声影像的中间超声影像。
本实施例中，一组心脏二维超声影像包括了多幅心脏二维超声影像，在多幅超声影像[U1,U2,…,Un]，中间超声影像m可以通过以下公式确定：
Figure BDA0003575695100000101
S12-2-2:将所述中间超声影像插入到所述三维体积晶格正中间的截面。
本实施例中，确定中间超声影像之后，将其插入到三维体积晶格正中间的截面上。在插入之前，需要对每一幅超声影像的大小和三维体积晶格的大小计算缩放参数，对心脏二维超声影像进行缩放变换，将其大小变换至与三维体积晶格的大小相同时，插入到三维体积晶格对应的截面中。
S12-2-3:以所述三维体积晶格正中间的截面为基准截面，根据所述每一幅超声影像之间的间隔，将该组二维超声影像依次插入所述三维体积晶格对应的截面中。
本实施例中，在将中间超声影像插入三维体积晶格正中间的截面后，可以根据每一幅超声影像之间的间隔，将该组二维超声影像从中间向两边依次插入三维体积晶格对应的截面中。
本实施例中，在插入剩余的超声影像之前，首先需要将心脏二维超声影像的间隔Ln映射到三维体积晶格中，得到二维超声影像在三维体积晶格对应的截面的间隔Ln′，在三维体积晶格中每间隔L‘依次向两边插入其余的心脏二维超声影像[U1,U2,…Um-1,Um+1,…,Un]。
S12-3：将所述超声影像的每个像素指定给所述三维体积晶格的一个或多个体素，并对所述体素进行填充。
本实施例中，像素是数字数据于二维空间分割上的最小单位，体素是数字数据于三维空间分割上的最小单位，体素填充指将像素值赋予体素。
本实施例中，将超声影像的每个像素指定给三维体积晶格的一个或多个体素，并对体素进行填充。将将超声影像插入对应界面时，又可以像素与体素没有对齐，因此需要将像素指定对应的体素。
示例地，若像素pi距离最近的体素只有vi，则将pi指定给vi；若像素pi距离最近的体素包括vi1,vi2,…,vik，则将pi同时指定给vi1,vi2,…,vik。
填充体素时，遍历三维体积晶格中的所有体素，对于任意的体素vi，若只被指定若只被指定了一个像素pi，则vi＝pi；若vi被指定了多个像素pi1,pi2,…,pik，则
Figure BDA0003575695100000111
S12-4：通过三次样条差值算法对所述三维体积晶格中未被指定像素的体素进行插值，得到所述心脏三维先验模型。
本实施例中，未被指定像素的体素，即未被分配像素值的体素。
本实施例中，将二维超声影像按照间隔插入了三维体积晶格中，中间的间隔部分的体素未被分配像素值，因此需要对这些体素进行插值。
具体的计算过程为：将每个体素vi表示为(xi,yi)，其中xi为体素的位置，yi为体素的值。建立如下的矩阵方程：
Figure BDA0003575695100000112
Figure BDA0003575695100000113
其中hi＝xi+1-xi。由上述矩阵方程可以解出m0,m1,…,mn。
然后确定样条曲线的系数：
ai＝yi
Figure BDA0003575695100000114
Figure BDA0003575695100000121
Figure BDA0003575695100000122
对于
Figure BDA0003575695100000123
xi与xi+k为位置为x的体素最近的两被赋值体素的位置。设位置为x的体素的值为v，则v计算如下：
v＝ai+bi(x-xi)+ci(x-xi)2+di(x-xi)3
经过上述计算步骤，可以为三维体积晶格中的每一个体素分配一个像素值，进而可以得到由心脏二维超声影像构成的心脏三维先验模型。
参考图2，图2是本申请一实施例提出的心脏三维先验模型获取流程图，如图2所示，首先需要控制机械臂按照轨迹采集二维超声图像，再建立三维晶格，接着将二维超声影像对应到三维晶格的截面，将每个像素指定给相邻的一个或多个体素，之后对体素进行遍历，当遍历到没有分配像素值的体素时，通过三次样条插值法插值得到体素的值，当遍历到指定了一个像素的体素时，将该像素值分配给该体素，当遍历到指定了多个像素的体素时，将该体素的值确定为多个像素的平均，当所有体素都被分配了值之后，得到心脏三维先验模型。
S13：通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络。
本实施例中，心脏三维模型生成网络是使用自监督的方式对编码器-生成器结构的残差神经网络进行优化得到的。将采集到的多组心脏二维超声影像输入神经网络中，以与其对应的多组心脏三维先验模型和二维超声影像本身作为监督信号，对神经网络进行自监督训练，得到心脏三维模型生成网络。
首先需要构建编码器网络与生成器网络：
构建编码器网络时，编码过程使用34层的ResNet残差网络结构，ResNet34有5个卷积段和1个全连接层，第一个卷积段只有一个卷积层，后面接入最大池化层和ReLu激活层，输入的图像通过步长为2的卷积层和最大池化层两次缩小，得到的特征图的高和宽都变成了原来的1/4，图像缩小之后，可以在不影响处理结果的情况下减小后续的计算量。后边四个卷积段，每个卷积段分别有3，4，6，3个残差块。每个残差块由两个卷积层组成，并由支路对第一个卷积层的输入和第二个卷积层的输出进行残差连接。并在卷积层和激活层中间加入了正则化层，对上一层输入的数据进行批归一化，提升训练速度和网络性能，提高网络泛化能力，最后一个卷积段是输出层，先构建自适应平均池化层，再通过全连接层输出一个200维的向量z。通过编码器网络可以将输入的心脏二维超声图像进行编码。
构建生成器网络时，使用全连接层和五层的三维反卷积结构。在输入层，全连接层的大小为200×32768。对全连接层的输出采用矩阵重新排列技术，获得512个通道的4×4×4的多通道三维特征。后面的五层三维反卷积层的通道数分别为512，256，128，64，1三维卷积核的大小均为4×4×4，步长全部为2。最后一个卷积层输出通道数为1的64×64×64的体素图G作为目标三维模型。
本实施例中，当深度神经网络构建完成之后，后续的步骤为：
S13-1：对于所述多组心脏二维超声影像中的每组心脏二维超声影像，将该组心脏二维超声影像中的每一幅超声影像使用二维矩阵表示，得到多个二维矩阵。
S13-2：将所述多个二维矩阵组合为一个三维矩阵，将所述三维矩阵输入所述深度神经网络中。
本实施例中，需要对数据进行预处理，再输入神经网络中。在获得一系列超声影像[U1,U2,…,Un]之后，每一个影像使用H×W的二维矩阵表示，将n个二维矩阵合为一个维度为n×H×W的三维矩阵U，作为残差神经网络的输入。
U[i,j,k]＝Ui[j,k]
其中1≤i≤n,1≤j≤H,1≤k≤W。
S13-3：根据预先设置的优化目标，以所述多组心脏二维超声影像以及所述多个三维先验模型为监督信号，对所述深度神经网络进行迭代训练，当所述优化目标的值降到最低时，得到所述心脏三维模型生成网络。
本实施例中，预先设置的优化目标包括：
S13-3-1：所述深度神经网络根据所述心脏二维超声影像生成的心脏三维模型，与所述心脏三维先验模型之间的差值达到最小。
本实施例中，第一个优化目标是让深度神经网络的生成器生成的心脏三维模型的数值尽量接近心脏三维先验模型，心脏三维模型与心脏三维先验模型之间的差值越小，代表两个模型的数值越接近，深度神经网络生成的心脏三维模型越准确。可以将这一目标表示为：
L3d＝‖x3d-M‖2 2
其中M是S12得到的三维先验模型，x3d是生成器生成的目标三维心脏模型。
S13-3-2：所述深度神经网络将所述心脏三维模型投影至二维平面，得到的新生成的心脏二维超声影像，与所述心脏二维超声影像之间的差值达到最小。
本实施例中，第二个优化目标是让由神经网络生成的三维模型投影到二维平面后，和输入神经网络中的心脏二维超声影像匹配。可以将这一目标表示为：
Figure BDA0003575695100000141
其中x3d是生成器生成的目标三维心脏模型，Ui是第i个二维超声影像。θi是记录Ui时超声探头在三维立体空间的角度。π是投影操作。
本实施例中，在通过机械臂夹持超声探头采集得到超声影像的同时，计算机会记录超声探头在三维立体空间的角度θ，在获取多幅心脏二维超声影像的同时，得到对应的多个角度[θ1,θ2,…,θn]。
本实施例中，总体优化目标为：
L＝L3d+αL2d
其中α为固定系数。
本实施例中，总体的优化目标就是第一个优化目标L3d与第二个优化目标L2d之间的加权和达到最小，即L达到最小。当该神经网络的优化目标完成后，就得到心脏三维模型生成网络。
S14：通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型。
本实施例中，在得到心脏三维模型生成网络后，就可以通过该网络生成三维心脏模型，具体步骤为：
S14-1：控制所述机械臂夹持超声探头扫描得到多幅二维超声影像。
S14-2：对所述多幅二维超声影像进行数据处理，得到所述多幅二维超声影像对应的三维矩阵，将所述三维矩阵输入所述三维模型生成网络中，得到所述心脏三维模型。
本实施例中，按照S11中的步骤扫描得到多幅二维超声影像，进而得到多幅二维超声影像对应的三维矩阵，将三维矩阵输入三维模型生成网络中，得到对应的心脏三维模型。
本申请实施例中，通过机械臂夹持超声探头采集超声影像，设计了专门的位姿，有利于更精确的采集超声影像，并设计了一种自动扫描轨迹，能够对心脏进行多视角的信息采集，并根据机械臂的姿态提供了精确的视角信息。另外设计了基于三维先验的自监督重建框架，通过体素重建算法得到心脏三维先验结构，将其作为先验信息，驱动深度神经网络学习三维结构，根据三维到二维转换的先验关系，设计了自监督学习框架来利用无标注的二维数据，辅助三维模型的构建，本申请实施例可以自动执行数据采集、数据与数理、心脏模型生成等工作，极大的提高了医生的工作效率。
基于同一发明构思，本申请一实施例提供一种心脏三维模型生成装置。参考图3，图3是本申请一实施例提出的心脏三维模型生成装置300的示意图。如图3所示，该装置包括：
超声影像采集模块301，用于通过机械臂夹持超声探头采集得到多组心脏二维超声影像；
三维重建模块302，用于对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型；
心脏三维模型生成网络获得模块303，用于通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络；
心脏三维模型生成模块304，用于通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型。
可选地，所述超声影像采集模块包括：
关键点识别子模块，用于针对每个被采集者，通过深度相机识别所述被采集者的身体的多个关键点；
初始关键点确定子模块，用于从所述多个关键点中确定初始关键点，控制所述机械臂将所述超声探头移动至所述初始关键点处；
扫描子模块，用于按照预定的扫描路线依次对所述被采集者的身体进行扫描，得到多幅所述心脏二维超声影像；
重复采集子模块，用于分别对多个被采集者进行超声影像采集，得到所述多组心脏二维超声影像。
可选地，所述三维重建模块包括：
间隔记录子模块，用于针对所述多组心脏二维超声影像中的每组心脏二维超声影像，记录该组心脏二维超声影像中每一幅超声影像之间的间隔；
超声影像插入子模块，用于定义三维体积晶格，根据所述每一幅超声影像之间的间隔，将该组心脏二维超声影像插入所述三维体积晶格对应的截面中；
体素填充子模块，用于将所述超声影像的每个像素指定给所述三维体积晶格的一个或多个体素，并对所述体素进行填充；
体素插值子模块，用于通过三次样条差值算法对所述三维体积晶格中未被指定像素的体素进行插值，得到所述心脏三维先验模型。
可选地，所述超声影像插入子模块包括：
中间超声影像确定子模块，用于确定该组心脏二维超声影像的中间超声影像；
中间超声影像插入子模块，用于将所述中间超声影像插入到所述三维体积晶格正中间的截面；
剩余超声影像插入子模块，用于以所述三维体积晶格正中间的截面为基准截面，根据所述每一幅超声影像之间的间隔，将该组二维超声影像依次插入所述三维体积晶格对应的截面中。
可选地，所述心脏三维模型生成网络获得模块包括：
二维矩阵获得子模块，用于对于所述多组心脏二维超声影像中的每组心脏二维超声影像，将该组心脏二维超声影像中的每一幅超声影像使用二维矩阵表示，得到多个二维矩阵；
三维矩阵获得子模块，用于将所述多个二维矩阵组合为一个三维矩阵，将所述三维矩阵输入所述深度神经网络中；
自监督训练子模块，用于根据预先设置的优化目标，以所述多组心脏二维超声影像以及所述多个三维先验模型为监督信号，对所述深度神经网络进行迭代训练，当所述优化目标的值降到最低时，得到所述心脏三维模型生成网络。
可选地，所述优化目标包括：
所述深度神经网络根据所述心脏二维超声影像生成的心脏三维模型，与所述心脏三维先验模型之间的差值达到最小；
所述深度神经网络将所述心脏三维模型投影至二维平面，得到的新生成的心脏二维超声影像，与所述心脏二维超声影像之间的差值达到最小。
可选地，所述心脏三维模型生成模块包括：
超声影像采集子模块，用于控制所述机械臂夹持超声探头扫描得到多幅二维超声影像；
心脏三维模型获得子模块，用于对所述多幅二维超声影像进行数据处理，得到所述二维超声影像对应的三维矩阵，将所述三维矩阵输入所述三维模型生成网络中，得到所述心脏三维模型。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的心脏三维模型生成方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的心脏三维模型生成方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的心脏三维模型生成方法、装置、设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种心脏三维模型生成方法，其特征在于，所述方法包括：
通过机械臂夹持超声探头采集得到多组心脏二维超声影像；
对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型；
通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络；
通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型。
2.根据权利要求1所述的方法，其特征在于，通过机械臂夹持超声探头采集得到多组心脏二维超声影像，包括：
针对每个被采集者，通过深度相机识别所述被采集者的身体的多个关键点；
从所述多个关键点中确定初始关键点，控制所述机械臂将所述超声探头移动至所述初始关键点处；
按照预定的扫描路线依次对所述被采集者的身体进行扫描，得到多幅所述心脏二维超声影像；
分别对多个被采集者进行超声影像采集，得到所述多组心脏二维超声影像。
3.根据权利要求1所述的方法，其特征在于，对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型，包括：
针对所述多组心脏二维超声影像中的每组心脏二维超声影像，记录该组心脏二维超声影像中每一幅超声影像之间的间隔；
定义三维体积晶格，根据所述每一幅超声影像之间的间隔，将该组心脏二维超声影像插入所述三维体积晶格对应的截面中；
将所述超声影像的每个像素指定给所述三维体积晶格的一个或多个体素，并对所述体素进行填充；
通过三次样条差值算法对所述三维体积晶格中未被指定像素的体素进行插值，得到所述心脏三维先验模型。
4.根据权利要求3所述的方法，其特征在于，定义三维体积晶格，根据所述每一幅超声影像之间的间隔，将该组心脏二维超声影像插入所述三维体积晶格对应的截面中，包括：
确定该组心脏二维超声影像的中间超声影像；
将所述中间超声影像插入到所述三维体积晶格正中间的截面；
以所述三维体积晶格正中间的截面为基准截面，根据所述每一幅超声影像之间的间隔，将该组二维超声影像依次插入所述三维体积晶格对应的截面中。
5.根据权利要求1所述的方法，其特征在于，通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络，包括：
对于所述多组心脏二维超声影像中的每组心脏二维超声影像，将该组心脏二维超声影像中的每一幅超声影像使用二维矩阵表示，得到多个二维矩阵；
将所述多个二维矩阵组合为一个三维矩阵，将所述三维矩阵输入所述深度神经网络中；
根据预先设置的优化目标，以所述多组心脏二维超声影像以及所述多个三维先验模型为监督信号，对所述深度神经网络进行迭代训练，当所述优化目标的值降到最低时，得到所述心脏三维模型生成网络。
6.根据权利要求5所述的方法，其特征在于，所述优化目标包括：
所述深度神经网络根据所述心脏二维超声影像生成的心脏三维模型，与所述心脏三维先验模型之间的差值达到最小；
所述深度神经网络将所述心脏三维模型投影至二维平面，得到的新生成的心脏二维超声影像，与所述心脏二维超声影像之间的差值达到最小。
7.根据权利要求1所述的方法，其特征在于，通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型，包括：
控制所述机械臂夹持超声探头扫描得到多幅二维超声影像；
对所述多幅二维超声影像进行数据处理，得到所述二维超声影像对应的三维矩阵，将所述三维矩阵输入所述心脏三维模型生成网络中，得到所述心脏三维模型。
8.一种心脏三维模型生成装置，其特征在于，所述装置包括：
超声影像采集模块，用于通过机械臂夹持超声探头采集得到多组心脏二维超声影像；
三维重建模块，用于对所述多组心脏二维超声影像进行三维重建，得到多个心脏三维先验模型；
心脏三维模型生成网络获得模块，用于通过所述多组心脏二维超声影像与所述多个心脏三维先验模型对深度神经网络进行自监督训练，得到心脏三维模型生成网络；
心脏三维模型生成模块，用于通过所述心脏三维模型生成网络执行心脏三维模型生成任务，得到心脏三维模型。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至7任一所述的方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至7任一所述的方法的步骤。
CN202210332317.XA 2022-03-31 2022-03-31 一种心脏三维模型生成方法、装置、设备及存储介质 Active CN114663410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210332317.XA CN114663410B (zh) 2022-03-31 2022-03-31 一种心脏三维模型生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210332317.XA CN114663410B (zh) 2022-03-31 2022-03-31 一种心脏三维模型生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114663410A true CN114663410A (zh) 2022-06-24
CN114663410B CN114663410B (zh) 2023-04-07

Family

ID=82033881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210332317.XA Active CN114663410B (zh) 2022-03-31 2022-03-31 一种心脏三维模型生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114663410B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511703A (zh) * 2022-10-31 2022-12-23 北京安德医智科技有限公司 二维心脏超声切面图像的生成方法及装置、设备、介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955961A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 基于统计学的超声序列图像三维重建方法和系统
CN110251231A (zh) * 2019-06-13 2019-09-20 艾瑞迈迪科技石家庄有限公司 超声三维重建的方法及装置
CN110335344A (zh) * 2019-06-20 2019-10-15 中国科学院自动化研究所 基于2d-3d注意机制神经网络模型的三维重建方法
CN110807829A (zh) * 2019-11-05 2020-02-18 张东海 一种基于超声成像构建三维心脏模型的方法
CN110974305A (zh) * 2019-12-13 2020-04-10 山东大学齐鲁医院 基于深度学习的远程心脏超声三维成像系统及方法
CN111739000A (zh) * 2020-06-16 2020-10-02 山东大学 一种提高多个心脏视图左心室分割精确度的系统及装置
CN113870420A (zh) * 2021-10-11 2021-12-31 Oppo广东移动通信有限公司 三维人脸模型重建方法、装置、存储介质及计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955961A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 基于统计学的超声序列图像三维重建方法和系统
CN110251231A (zh) * 2019-06-13 2019-09-20 艾瑞迈迪科技石家庄有限公司 超声三维重建的方法及装置
CN110335344A (zh) * 2019-06-20 2019-10-15 中国科学院自动化研究所 基于2d-3d注意机制神经网络模型的三维重建方法
CN110807829A (zh) * 2019-11-05 2020-02-18 张东海 一种基于超声成像构建三维心脏模型的方法
CN110974305A (zh) * 2019-12-13 2020-04-10 山东大学齐鲁医院 基于深度学习的远程心脏超声三维成像系统及方法
CN111739000A (zh) * 2020-06-16 2020-10-02 山东大学 一种提高多个心脏视图左心室分割精确度的系统及装置
CN113870420A (zh) * 2021-10-11 2021-12-31 Oppo广东移动通信有限公司 三维人脸模型重建方法、装置、存储介质及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王文赛: "高频超声三维成像系统的研究与实现", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511703A (zh) * 2022-10-31 2022-12-23 北京安德医智科技有限公司 二维心脏超声切面图像的生成方法及装置、设备、介质

Also Published As

Publication number Publication date
CN114663410B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
JP7289026B2 (ja) ハイブリッドメッシュセグメンテーションのための方法及び装置
EP3444777B1 (en) Automatic change detection in medical images
US10049457B2 (en) Automated cephalometric analysis using machine learning
EP3729370B1 (en) Non-invasive electrophysiology mapping based on affordable electrocardiogram hardware and imaging
JP6971544B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN111968222B (zh) 一种人体组织非静止状态下三维超声重建方法
EP3804624A2 (en) Synthetic parameterized computed tomography from surface data in medical imaging
KR20130018896A (ko) 방사선 촬상 장치 및 동장치에 이용하는 팬텀
JP2001218765A (ja) 対象物のビジュアル化方法及びシステム
CN110755110A (zh) 一种基于机械臂单元的三维超声扫查装置及方法
CN101170948B (zh) 超声波诊断装置及其图像处理方法
TW201243322A (en) Automated ultrasonic scanning system and scanning method thereof
CA2298282A1 (en) Semi-automated segmentation method for 3-dimensional ultrasound
CN114663410B (zh) 一种心脏三维模型生成方法、装置、设备及存储介质
US20220008041A1 (en) Method and system for generating a three-dimensional ultrasound image of a tissue volume
CN111260748A (zh) 基于神经网络的数字合成x射线层析成像方法
JP5177606B1 (ja) ３次元超音波画像作成方法およびプログラム
CN107204045A (zh) 基于ct图像的虚拟内窥镜系统
US7668370B2 (en) Segmenting a series of 2D or 3D images
CN111179373B (zh) 医学图像去骨模型构建方法与骨信息去除方法
KR20190114229A (ko) 영상 처리 장치 및 방법
US11786212B1 (en) Echocardiogram classification with machine learning
CN113658332B (zh) 一种基于超声影像的腹直肌智能分割重建方法及装置
CN114469169B (zh) 一种超声三维重建方法及系统
CN115761134A (zh) 孪生模型的生成方法、系统、核磁共振装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant