CN113539444B - 医学图像重建方法、装置、电子设备和存储介质 - Google Patents

医学图像重建方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113539444B
CN113539444B CN202111006199.5A CN202111006199A CN113539444B CN 113539444 B CN113539444 B CN 113539444B CN 202111006199 A CN202111006199 A CN 202111006199A CN 113539444 B CN113539444 B CN 113539444B
Authority
CN
China
Prior art keywords
point cloud
data
cloud data
medical
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111006199.5A
Other languages
English (en)
Other versions
CN113539444A (zh
Inventor
马润霞
吉子军
陈涛
王海
姜玉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202111006199.5A priority Critical patent/CN113539444B/zh
Publication of CN113539444A publication Critical patent/CN113539444A/zh
Application granted granted Critical
Publication of CN113539444B publication Critical patent/CN113539444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及一种医学图像重建方法、装置、电子设备和存储介质，其中，该方法包括：获取扫描对象表面的数据信息和医学扫描数据；根据所述数据信息获取点云数据，所述点云数据包括参考点云数据和实时点云数据；将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵；基于所述医学扫描数据和所述配准矩阵进行医学图像重建。通过本申请，使得图像重建的结果更准确、精度更高，提高了图像重建质量。

Description

医学图像重建方法、装置、电子设备和存储介质
技术领域
本申请涉及医疗成像技术领域，特别是涉及一种医学图像重建方法、装置、电子设备和存储介质。
背景技术
医用成像系统是目前医院中的常规系统，对于这样的成像系统例如超声波系统、X射线计算机断层造影(CT)系统、正电子发射断层造影(PET)系统、单光子发射断层造影(SPECT)系统或者磁共振成像(MRI)系统等。利用医学成像系统对被扫描对象进行医学检查是临床诊断的重要方法。随着计算机技术、数字图像处理技术及其他相关技术的发展，医学成像系统也获得更大的发展，医学成像系统如今在患者检查中占据着重要的地位。由成像系统所生成的患者内部器官和结构的图像用于诊断疾病原因、用于规划手术、在实施手术时使用或者也用于准备治疗措施。
在利用医用成像系统进行数据采集成像过程中，扫描对象很难保持一动不动，无论是病人躯体的运动，还是内部脏器的生理性运动，都会影响图像的重建质量。特别地，病人的头部运动是一个不可避免的问题，特别是脖颈肌肉的放松会引起头部位移。头部运动会导致分辨率下降同时图像质量退化，尤其在脑部的小脑区域分析时会出现错误。目前常用的处理方式是在扫描过程中使用合适的头托或面罩等方式物理方式固定头部，但是一方面对加重病人的不适感，另一方面也无可完全避免头部的运动。
发明内容
本申请实施例提供了一种医学图像重建方法、装置、电子设备和存储介质，以至少解决相关技术中数据采集成像过程中的扫描对象运动影响成像质量的问题。
第一方面，本申请实施例提供了一种医学图像重建方法，包括：
获取扫描对象表面的数据信息和医学扫描数据；
根据所述数据信息获取点云数据，所述点云数据包括参考点云数据和实时点云数据；
将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵；
基于所述医学扫描数据和所述配准矩阵进行医学图像重建。
在其中一些实施例中，获取扫描对象表面的数据信息和医学扫描数据之前，还包括：
获取多组扫描对象的点云数据以及点云数据对应的先验配准矩阵；
将所述点云数据作为深度学习模型的输入，将所述先验配准矩阵作为深度学习模型的输出进行训练，得到经训练的深度学习模型。
在其中一些实施例中，获取所述点云数据对应的先验配准矩阵包括：
获取世界坐标系与医学图像坐标系之间的映射关系；
根据所述参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵。
在其中一些实施例中，根据所述参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵包括：
获取所述参考点云数据对应世界坐标系下的第一坐标以及所述实时点云数据对应世界坐标系下的第二坐标；
根据世界坐标系与图像坐标系之间的映射关系获取参考点云数据对应的图像坐标系下的第三坐标以及实时点云数据对应的图像坐标系下的第四坐标；
根据所述第三坐标以及所述第四坐标，计算得到点云数据对应的先验配准矩阵。
在其中一些实施例中，基于所述医学扫描数据和所述配准矩阵进行图像重建包括：
基于所述配准矩阵对所述医学扫描数据进行校正；
根据校正后的医学扫描数据进行医学图像重建。
在其中一些实施例中，还包括：
将所述点云数据实时发送至人机交互界面进行显示。
第二方面，本申请实施例提供了一种医学图像重建方法，包括：
获取重建单元内存储的医学扫描数据和医学扫描数据对应的配准矩阵；其中，所述配准矩阵通过将点云数据输入经训练的深度学习模型得到，所述点云数据基于扫描对象表面的数据信息获取，包括参考点云数据和实时点云数据；
基于所述医学扫描数据和所述配准矩阵进行医学图像重建。
第二方面，本申请实施例提供了一种医学图像重建装置，包括：
第一数据获取单元，用于获取扫描对象表面的数据信息和医学扫描数据；
第二数据获取单元，用于根据所述数据信息获取点云数据，所述点云数据包括参考点云数据和实时点云数据；
配准矩阵获取单元，用于将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵；
第一图像重建单元，用于基于所述医学扫描数据和所述配准矩阵进行医学图像重建。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一/第二方面所述的医学图像重建方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一/第二方面所述的医学图像重建方法。
相比于相关技术，本申请实施例提供的医学图像重建方法，获取扫描对象表面的数据信息和医学扫描数据，根据所述数据信息获取点云数据，将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵，基于所述医学扫描数据和所述配准矩阵进行医学图像重建。通过在数据采集成像时，考虑在扫描对象运动时获取的扫描数据精度下降对图像重建质量的影响，基于扫描对象表面的数据信息对医学扫描数据进行配准，使得图像重建的结果更准确、精度更高，提高了图像重建质量。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请其中一个实施例中医学图像重建方法的流程示意图；
图2是本申请其中一个实施例中深度学习模型的训练流程示意图；
图3是本申请一个优选实施例中医学图像重建方法的流程框图；
图4是本申请另一个实施例中医学图像重建方法的流程示意图；
图5是本申请其中一个实施例中医学图像重建装置的结构框图；
图6是本申请另一个实施例中医学图像重建装置的结构框图；
图7是本申请其中一个实施例中电子设备的结构示意图。
附图说明：301、第一数据获取单元；302、第二数据获取单元；303、配准矩阵获取单元；304、第一图像重建单元；401、离线数据获取单元；402、第二图像重建单元；50、总线；51、处理器；52、存储器；53、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请所涉及的医学图像重建方法、装置、设备或者计算机可读存储介质可用于医学领域中的X射线计算机断层造影系统(CT系统)、磁共振成像系统(MRI系统)、正电子发射型断层显像系统(PET系统)、正电子发射计算机断层显像-X射线计算机断层造影多模态混合系统(PET-CT系统)、正电子发射计算机断层显像-磁共振多模态混合系统(PET-MR系统)等医学成像系统中。本申请所涉及的方法、装置、设备或者计算机可读存储介质既可以与上述系统集成在一起，也可以是相对独立的。
通过医学成像系统进行扫描成像时，受检者难免会不自觉地运动，导致重建图像产生运动伪影。目前已有多种方法用于扫描对象运动信息的描述，例如控制理论、曲线拟合、时间序列分析、计算机视觉等。利用测量得到的扫描对象运动信息可以重建出没有伪影的图像，在医学成像中具有不可估量的应用前景。
本实施例提供了一种医学图像重建方法，可由医学成像系统来执行，医学成像系统包括X射线计算机断层造影系统(CT系统)、磁共振成像系统(MRI系统)、正电子发射型断层显像系统(PET系统)、正电子发射计算机断层显像-X射线计算机断层造影多模态混合系统(PET-CT系统)、正电子发射计算机断层显像-磁共振多模态混合系统(PET-MR系统)等，具体可由该系统内的一个或多个处理器来执行。医学图像包括CT图像、MR图像或PET图像。图1是根据本申请实施例的医学图像重建方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取扫描对象表面的数据信息和医学扫描数据。
根据不同的临床需要，所述扫描对象可以是人体、动物或实验模体等，所述扫描对象也可以是指定区域，如身体的特定部分，例如头部、胸部、腹部等，或其组合，本申请不做具体限定。通过医学成像系统进行扫描成像时，扫描范围至少覆盖所述扫描对象。通常，所述扫描范围可以基于扫描对象确定，也可以为默认的扫描范围。
在本实施例中，扫描对象表面的数据信息与医学扫描数据同步采集，可以基于数据采集设备获取扫描对象表面的数据信息。所述数据采集设备可以安装于扫描孔径上方，当扫描对象进入数据采集设备的FOV(field of view，视场)时，通过获取扫描对象表面的数据信息，可以得到扫描对象的运动信息进行后续医学扫描数据的校正。其中，所述数据信息可以是通过数据采集设备捕捉的扫描对象表面的图像数据。所述数据采集设备可以是双目相机、结构光相机等三维成像设备，也可以是激光探测器、雷达探测器等，本申请不做具体限定。
步骤S102，根据所述数据信息获取点云数据，所述点云数据包括参考点云数据和实时点云数据。
在本实施例中，所述点云数据包括扫描对象表面采样点在世界坐标系中的三维位置坐标，还可以包括采样点的RGB颜色、灰度值、深度、分割结果等。基于所述数据信息可以生成扫描对象的点云数据。其中，所述实时点云数据基于扫描过程中实时采集的扫描对象表面的数据信息处理得到，所述参考点云数据基于扫描初始时刻采集的扫描对象表面的数据信息处理得到。
在一些具体的实施方式中，可以通过双目相机分别从不同的角度捕捉扫描对象，经过处理后能够得到扫描对象的三维图像。然后根据所得到的两个图像的相对姿态参数，使用通用的双目立体视觉算法计算出扫描对象的各采样点的X、Y、Z坐标值及各采样点的坐标朝向，进而生成扫描对象的点云数据。
在另一些具体的实施方式中，可以利用结构光相机采集扫描对象的深度图像数据，然后转换深度图像数据得到点云数据。例如，可使用标定好的深度相机的内参，通过2D至3D的转换公式将深度图像数据转换成点云数据。
步骤S103，将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵。
在本实施例中，深度学习模型可以基于图像重建场景下采集得到的扫描对象表面的样本数据训练得到。当得到深度学习模型后，将所述点云数据输入经训练的深度学习模型，可以得到对应的配准矩阵。其中，所述配准矩阵为点云数据中实时点云数据与参考点云数据之间的运动补偿矩阵，可以反映扫描对象实时的运动情况。
步骤S104，基于所述医学扫描数据和所述配准矩阵进行医学图像重建。
具体的，首先基于所述配准矩阵对所述医学扫描数据进行校正。基于所述配准矩阵可以得到医学扫描数据校准前后的转换算法，通过采集扫描对象表面的医学扫描数据，并与所述配准矩阵进行关系换算，可以得到对误差校准后的医学扫描数据，然后根据校正后的医学扫描数据进行医学图像重建。利用计算得到的配准矩阵，对对应图像坐标系下的医学扫描数据进行实时校正，从而利用扫描对象运动过程中参考点云数据和实时点云数据之间的位置变换关系，剔除了扫描对象运动对医学扫描数据采集造成的负面影响，提升了重建算法的精度。
综上，本申请实施例提供的医学图像重建方法，通过获取扫描对象表面的数据信息和医学扫描数据，根据所述数据信息获取点云数据，将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵，基于所述医学扫描数据和所述配准矩阵进行医学图像重建。通过在数据采集成像时，考虑扫描对象运动时获取的扫描数据精度下降对图像重建质量的影响，基于扫描对象表面的数据信息对医学扫描数据进行配准，使得图像重建的结果更准确、精度更高，提高了图像重建质量。
下面通过优选实施例对本申请实施例进行描述和说明。
如图2所示，在上述实施例的基础上，在其中一些实施例中，获取扫描对象表面的数据信息和医学扫描数据之前，还包括：
步骤S001，获取多组扫描对象的点云数据以及点云数据对应的先验配准矩阵；
步骤S002，将所述点云数据作为深度学习模型的输入，将所述先验配准矩阵作为深度学习模型的输出进行训练，得到经训练的深度学习模型。
在本实施例中，扫描对象表面可以采集得到大量的点云样本数据。点云数据样本包括扫描初始时刻采集的参考点云数据和扫描过程中实时采集的实时点云数据。
在本实施例中，先验配准矩阵为点云数据样本中参考点云数据和实时点云数据之间的位置变换关系，可以基于扫描对象的点云数据计算得到。获取扫描对象表面的数据信息后，根据所述数据信息获取点云数据，并将点云数据所在坐标系定义为世界坐标系。获取所述点云数据对应的先验配准矩阵包括：获取世界坐标系与医学图像坐标系之间的映射关系，然后根据所述参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵。
在一些实施方式中，根据所述参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵包括：当获取多组扫描对象的点云数据后，根据世界坐标系与医学图像坐标系之间的映射关系，将世界坐标系下的点云数据坐标值转换为医学图像坐标系下的对应的坐标值。然后根据医学图像坐标系下参考点云数据和实时点云数据的坐标值计算得到对应的先验配准矩阵。示例性地：获取所述参考点云数据对应世界坐标系下的第一坐标(X0,0,0)以及所述实时点云数据对应世界坐标系下的第二坐标(X1,1,1)；根据世界坐标系与图像坐标系之间的映射关系获取参考点云数据对应的图像坐标系下的第三坐标(X0 ′,0 ′,0 ′)以及实时点云数据对应的图像坐标系下的第四坐标(X1 ′,1 ′,1 ′)；根据多组所述第三坐标(X0 ′,0 ′,0 ′)以及所述第四坐标(X1 ′,1 ′,1 ′)，计算得到点云数据对应的先验配准矩阵。
当然，在其他实施方式中，当获取多组扫描对象的点云数据后，还可以根据世界坐标系下参考点云数据和实时点云数据的坐标值计算得到对应的待转换先验配准矩阵，然后根据世界坐标系与医学图像坐标系之间的映射关系，将所述世界坐标系下的待转换先验配准矩阵转换至医学图像坐标系下，得到对应的先验配准矩阵。
在本实施例中，基于多组扫描对象的点云数据以及对应的先验配准矩阵，以点云数据中参考点云数据和实时点云数据的坐标值为输入值，以对应的先验配准矩阵为输出值，对深度学习模型进行训练，可以得到训练完备的深度学习模型。
在上述实施例的基础上，在其中一些实施例中，还包括：将所述点云数据实时发送至人机交互界面进行显示。
在本实施例中，人机交互界面可用于显示由用户输入的信息、数据处理状态以及各种菜单，实现对数据采集和图像重建过程的实时监控。在其中一些实施例中，若扫描对象表面的数据信息或图像重建结果不能满足临床要求，则可以根据人机交互界面的显示信息及时调整扫描操作，提高图像重建效率。
如图3所示，在上述实施例的基础上，在其中一些实施例中，医学图像重建方法包括以下步骤：
首先获取扫描对象表面的数据信息和医学扫描数据，然后根据所述数据信息获取点云数据，对所述点云数据和医学扫描数据进行保存并实时传输至人机交互界面进行监控。
在启动图像重建时，判断扫描对象是否运动。当扫描对象没有产生运动时，可以直接基于采集得到的医学扫描数据进行医学图像重建并将图像重建过程实时传输至人机交互界面，实现重建图像重建过程的实时监控。当扫描对象产生运动时，将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵，基于所述配准矩阵对所述医学扫描数据进行校正，以根据校正后的医学扫描数据进行医学图像重建，并将图像重建过程实时传输至人机交互界面，实现重建图像重建过程的实时监控。
本实施例还提供了一种医学图像重建方法。其实现技术原理与上述实施例相同，本申请在此不做赘述。本实施例未提及的部分，可参考上述实施例的相应内容。
图4是根据本申请实施例的另一种本实施例还提供了一种医学图像重建方法。图4是根据本申请实施例的另一种医学图像重建方法的流程图，如图4所示，该流程包括如下步骤：
步骤S201，获取重建单元内存储的医学扫描数据和医学扫描数据对应的配准矩阵；其中，所述配准矩阵通过将点云数据输入经训练的深度学习模型得到，所述点云数据基于扫描对象表面的数据信息获取，包括参考点云数据和实时点云数据；
步骤S202，基于所述医学扫描数据和所述配准矩阵进行医学图像重建。
在本实施例中，可以在数据采集过程中对医学扫描数据和对应的配准矩阵进行保存，从而在后续医学图像重建时，不直接基于实时采集的扫描对象表面的数据信息和医学扫描数据进行医学图像重建，而是基于医学成像系统的重建单元中存储的既有数据进行离线重建。通过上述步骤，实现了数据采集和图像重建过程的异步进行，使相关人员可以根据临床需求灵活操作，拓宽了实际应用场景。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种医学图像重建装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的医学图像重建装置的结构框图，如图5所示，该装置包括：第一数据获取单元301、第二数据获取单元302、配准矩阵获取单元303和第一图像重建单元304。
第一数据获取单元301，用于获取扫描对象表面的数据信息和医学扫描数据；
第二数据获取单元302，用于根据所述数据信息获取点云数据，所述点云数据包括参考点云数据和实时点云数据；
配准矩阵获取单元303，用于将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵；
第一图像重建单元304，用于基于所述医学扫描数据和所述配准矩阵进行医学图像重建。
在其中一些实施例中，医学图像重建装置还包括：先验配准矩阵获取单元和模型训练单元。
先验配准矩阵获取单元，用于获取多组扫描对象的点云数据以及点云数据对应的先验配准矩阵；
模型训练单元，用于将所述点云数据作为深度学习模型的输入，将所述先验配准矩阵作为深度学习模型的输出进行训练，得到经训练的深度学习模型。
在其中一些实施例中，先验配准矩阵获取单元包括：映射关系获取模块和计算模块。
映射关系获取模块，用于获取世界坐标系与医学图像坐标系之间的映射关系；
计算模块，用于根据所述参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵。
在其中一些实施例中，计算模块包括：第一坐标获取模块、第二坐标获取模块和矩阵计算模块。
第一坐标获取模块，用于获取所述参考点云数据对应世界坐标系下的第一坐标以及所述实时点云数据对应世界坐标系下的第二坐标；
第二坐标获取模块，用于根据世界坐标系与图像坐标系之间的映射关系获取参考点云数据对应的图像坐标系下的第三坐标以及实时点云数据对应的图像坐标系下的第四坐标；
矩阵计算模块，用于根据所述第三坐标以及所述第四坐标，计算得到点云数据对应的先验配准矩阵。
在其中一些实施例中，第一图像重建单元304包括：
基于所述配准矩阵对所述医学扫描数据进行校正；
根据校正后的医学扫描数据进行医学图像重建。
在其中一些实施例中，医学图像重建装置还包括：显示单元。
显示单元，用于将所述点云数据实时发送至人机交互界面进行显示。
如图6所示，本实施例还提供了一种医学图像重建装置，包括：离线数据获取单元401和第二图像重建单元402。
离线数据获取单元401，用于获取重建单元内存储的医学扫描数据和医学扫描数据对应的配准矩阵；其中，所述配准矩阵通过将点云数据输入经训练的深度学习模型得到，所述点云数据基于扫描对象表面的数据信息获取，包括参考点云数据和实时点云数据；
第二图像重建单元402，用于基于所述医学扫描数据和所述配准矩阵进行医学图像重建。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例医学图像重建方法可以由电子设备来实现。图7为根据本申请实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器51以及存储有计算机程序指令的存储器52。
具体地，上述处理器51可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器52可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器52可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器52可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器52可在数据处理装置的内部或外部。在特定实施例中，存储器52是非易失性(Non-Volatile)存储器。在特定实施例中，存储器52包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器52可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器51所执行的可能的计算机程序指令。
处理器51通过读取并执行存储器52中存储的计算机程序指令，以实现上述实施例中的任意一种医学图像重建方法。
在其中一些实施例中，电子设备还可包括通信接口53和总线50。其中，如图7所示，处理器51、存储器52、通信接口53通过总线50连接并完成相互间的通信。
通信接口53用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口53还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线50包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线50包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线50可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线50可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到的程序指令，执行本申请实施例中的医学图像重建方法，从而实现结合图1描述的医学图像重建方法。
另外，结合上述实施例中的医学图像重建方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种医学图像重建方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种医学图像重建方法，其特征在于，包括：
获取多组扫描对象的点云数据，以及获取世界坐标系与医学图像坐标系之间的映射关系；所述点云数据包括参考点云数据和实时点云数据；
根据参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵；
将所述点云数据作为深度学习模型的输入，将所述先验配准矩阵作为深度学习模型的输出进行训练，得到经训练的深度学习模型；
获取扫描对象表面的数据信息和医学扫描数据；其中，所述数据信息与所述医学扫描数据同步采集；
根据所述数据信息获取点云数据；
将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵，所述配准矩阵为反映扫描对象实时运动情况的运动补偿矩阵；
基于所述医学扫描数据和所述配准矩阵进行医学图像重建，其中，基于所述配准矩阵对所述医学扫描数据进行校正，根据校正后的医学扫描数据进行医学图像重建。
2.根据权利要求1所述的医学图像重建方法，其特征在于，根据所述参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵包括：
获取所述参考点云数据对应世界坐标系下的第一坐标以及所述实时点云数据对应世界坐标系下的第二坐标；
根据世界坐标系与图像坐标系之间的映射关系获取参考点云数据对应的图像坐标系下的第三坐标以及实时点云数据对应的图像坐标系下的第四坐标；
根据所述第三坐标以及所述第四坐标，计算得到点云数据对应的先验配准矩阵。
3.根据权利要求1所述的医学图像重建方法，其特征在于，还包括：
将所述点云数据实时发送至人机交互界面进行显示。
4.一种医学图像重建方法，其特征在于，包括：
获取多组扫描对象的点云数据，以及获取世界坐标系与医学图像坐标系之间的映射关系；所述点云数据包括参考点云数据和实时点云数据；
根据参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵；
将所述点云数据作为深度学习模型的输入，将所述先验配准矩阵作为深度学习模型的输出进行训练，得到经训练的深度学习模型；
获取重建单元内存储的医学扫描数据和医学扫描数据对应的配准矩阵；其中，所述配准矩阵通过将点云数据输入经训练的深度学习模型得到，所述点云数据基于扫描对象表面的数据信息获取，所述配准矩阵为反映扫描对象实时运动情况的运动补偿矩阵，所述数据信息与所述医学扫描数据同步采集；
基于所述医学扫描数据和所述配准矩阵进行医学图像重建，其中，基于所述配准矩阵对所述医学扫描数据进行校正，根据校正后的医学扫描数据进行医学图像重建。
5.一种医学图像重建装置，其特征在于，包括：
先验配准矩阵获取单元，用于获取多组扫描对象的点云数据以及点云数据对应的先验配准矩阵；所述点云数据包括参考点云数据和实时点云数据；
映射关系获取模块，用于获取世界坐标系与医学图像坐标系之间的映射关系；
计算模块，用于根据所述参考点云数据、实时点云数据以及所述世界坐标系与医学图像坐标系之间的映射关系，计算得到点云数据对应的先验配准矩阵；
模型训练单元，用于将所述点云数据作为深度学习模型的输入，将所述先验配准矩阵作为深度学习模型的输出进行训练，得到经训练的深度学习模型；
第一数据获取单元，用于获取扫描对象表面的数据信息和医学扫描数据；其中，所述数据信息与所述医学扫描数据同步采集；
第二数据获取单元，用于根据所述数据信息获取点云数据；
配准矩阵获取单元，用于将所述点云数据输入经训练的深度学习模型，得到所述扫描对象的医学扫描数据对应的配准矩阵，所述配准矩阵为反映扫描对象实时运动情况的运动补偿矩阵；
第一图像重建单元，用于基于所述医学扫描数据和所述配准矩阵进行医学图像重建，其中，基于所述配准矩阵对所述医学扫描数据进行校正，根据校正后的医学扫描数据进行医学图像重建。
6.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至4中任一项所述的医学图像重建方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的医学图像重建方法的步骤。
CN202111006199.5A 2021-08-30 2021-08-30 医学图像重建方法、装置、电子设备和存储介质 Active CN113539444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111006199.5A CN113539444B (zh) 2021-08-30 2021-08-30 医学图像重建方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111006199.5A CN113539444B (zh) 2021-08-30 2021-08-30 医学图像重建方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113539444A CN113539444A (zh) 2021-10-22
CN113539444B true CN113539444B (zh) 2024-04-19

Family

ID=78092289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111006199.5A Active CN113539444B (zh) 2021-08-30 2021-08-30 医学图像重建方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113539444B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107456236A (zh) * 2017-07-11 2017-12-12 沈阳东软医疗系统有限公司 一种数据处理方法及医疗扫描系统
CN109146935A (zh) * 2018-07-13 2019-01-04 中国科学院深圳先进技术研究院 一种点云配准方法、装置、电子设备及可读存储介质
CN110070598A (zh) * 2018-01-22 2019-07-30 宁波盈芯信息科技有限公司 用于3d扫描重建的移动终端及其进行3d扫描重建方法
CN111462168A (zh) * 2020-04-22 2020-07-28 上海联影医疗科技有限公司 运动参数估计方法和运动伪影校正方法
CN111754553A (zh) * 2020-06-24 2020-10-09 上海联影医疗科技有限公司 多模态扫描图像配准方法、装置、计算机设备和存储介质
CN112155734A (zh) * 2020-09-29 2021-01-01 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112155732A (zh) * 2020-09-29 2021-01-01 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112862772A (zh) * 2021-01-29 2021-05-28 上海联影医疗科技股份有限公司 图像质量评估方法、pet-mr系统、电子装置和存储介质
CN112991464A (zh) * 2021-03-19 2021-06-18 山东大学 基于立体视觉的三维重建的点云误差补偿方法及系统
CN113052890A (zh) * 2021-03-31 2021-06-29 奥比中光科技集团股份有限公司 一种深度真值获取方法、装置、系统及深度相机

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107456236A (zh) * 2017-07-11 2017-12-12 沈阳东软医疗系统有限公司 一种数据处理方法及医疗扫描系统
CN110070598A (zh) * 2018-01-22 2019-07-30 宁波盈芯信息科技有限公司 用于3d扫描重建的移动终端及其进行3d扫描重建方法
CN109146935A (zh) * 2018-07-13 2019-01-04 中国科学院深圳先进技术研究院 一种点云配准方法、装置、电子设备及可读存储介质
CN111462168A (zh) * 2020-04-22 2020-07-28 上海联影医疗科技有限公司 运动参数估计方法和运动伪影校正方法
CN111754553A (zh) * 2020-06-24 2020-10-09 上海联影医疗科技有限公司 多模态扫描图像配准方法、装置、计算机设备和存储介质
CN112155734A (zh) * 2020-09-29 2021-01-01 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112155732A (zh) * 2020-09-29 2021-01-01 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112862772A (zh) * 2021-01-29 2021-05-28 上海联影医疗科技股份有限公司 图像质量评估方法、pet-mr系统、电子装置和存储介质
CN112991464A (zh) * 2021-03-19 2021-06-18 山东大学 基于立体视觉的三维重建的点云误差补偿方法及系统
CN113052890A (zh) * 2021-03-31 2021-06-29 奥比中光科技集团股份有限公司 一种深度真值获取方法、装置、系统及深度相机

Also Published As

Publication number Publication date
CN113539444A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US10803354B2 (en) Cross-modality image synthesis
CN107133996A (zh) 产生用于pet数据重建的衰减图的方法及pet/ct系统
EP2245592B1 (en) Image registration alignment metric
CN111904379B (zh) 多模态医学设备的扫描方法和装置
CN111462168B (zh) 运动参数估计方法和运动伪影校正方法
CN111612689B (zh) 医学图像处理方法、装置、计算机设备和可读存储介质
US10013778B2 (en) Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus
CN112529919B (zh) 用于生成受试者的心脏的牛眼图生成的系统和方法
CN107016661A (zh) 一种医学成像方法及装置
CN111445550B (zh) Pet图像的迭代重建方法、装置和计算机可读存储介质
CN114596225A (zh) 一种运动伪影模拟方法和系统
CN112150419A (zh) 图像处理方法、装置及电子设备
CN112001979A (zh) 运动伪影处理方法、系统、可读存储介质和设备
JP4997575B2 (ja) 減弱係数マップ作成装置、減弱係数マップ作成方法およびプログラム
KR102084138B1 (ko) 영상 처리 장치 및 방법
US11495346B2 (en) External device-enabled imaging support
CN111612867B (zh) 运动伪影校正方法、装置、计算机设备和可读存储介质
CN113539444B (zh) 医学图像重建方法、装置、电子设备和存储介质
CN114159085B (zh) 一种pet图像衰减校正方法、装置、电子设备及存储介质
CN115908610A (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
CN112669405B (zh) 图像重建方法、系统、可读存储介质和设备
CN114565623A (zh) 肺血管分割方法、装置、存储介质及电子设备
CN114299096A (zh) 一种轮廓勾画方法、装置、设备及存储介质
CN107799166B (zh) 医学成像系统
EP3138495B1 (en) Individualized imaging method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant