CN115063456A - 超声立体图像重建方法、设备及计算机存储介质 - Google Patents

超声立体图像重建方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN115063456A
CN115063456A CN202210752660.XA CN202210752660A CN115063456A CN 115063456 A CN115063456 A CN 115063456A CN 202210752660 A CN202210752660 A CN 202210752660A CN 115063456 A CN115063456 A CN 115063456A
Authority
CN
China
Prior art keywords
image
depth
parameter
image set
fixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210752660.XA
Other languages
English (en)
Inventor
刘畅
鲁莉
薛丽娜
邢志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Feiyinuo Technology Co ltd
Original Assignee
Feiyinuo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Feiyinuo Technology Co ltd filed Critical Feiyinuo Technology Co ltd
Priority to CN202210752660.XA priority Critical patent/CN115063456A/zh
Publication of CN115063456A publication Critical patent/CN115063456A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示了一种超声立体图像重建方法、设备及计算机存储介质，所述方法包括：接收两组采样图像集合；其中，所述采样图像集合所表征的部位相互对应；以所述两组采样图像集合其中之一作为固定图像集合，以所述两组采样图像集合其中另一作为活动图像集合，对所述活动图像集合执行平移变换配准，迭代并依次修改平移配准矩阵中的深度参数和平面参数，得到对应所述活动图像集合的最终校准图像集合；根据所述最终校准图像集合和所述固定图像集合执行匹配融合，得到融合立体图像。本发明提供的超声立体图像重建方法，能够简化操作逻辑，加快配准速度和效率。

Description

超声立体图像重建方法、设备及计算机存储介质
技术领域
本发明涉及超声成像技术领域，尤其涉及一种超声立体图像重建方法、设备及计算机存储介质。
背景技术
超声成像基于其操作方便、价格便宜、成像速度快且对人体不易造成辐射等优势，被广泛地应用于工业探测甚至医疗等技术领域中。以医疗领域为例，超声成像可以被应用于对诸如甲状腺等人体器官的情况进行检测，医护工作者可以手持超声探头，以大约垂直于患者颈部表面的方向进行扫查，从而得到用于诊断、观察或学习的中间数据。当上述过程对医护工作者的人体解剖结构经验要求较高，超声探头每经过一个解剖位置获得一帧图像，医护工作者需要实时观察并确定呈现病变的部位，无法判断呈现病变部位的全局位置状态。
现有技术中提供一种超声成像方案，通过体重建方式构建三维数据之后，再进行局部调整和优化，但此种技术方案容易造成数据量的堆积和冗余，由于采用了先全局后局部的配置思路，容易导致最终生成的处理后的图像出现较大误差和偏移，原始数据的准确性受到损害，因而无法处理得到更为准确的超声图像。
发明内容
本发明的目的之一在于提供一种超声立体图像重建方法，以解决现有技术中超声成像方案无法兼顾全局的直观性和数据的准确性，处理步骤复杂效率低下等技术问题。
本发明的目的之一在于提供一种超声立体图像重建设备。
本发明的目的之一在于提供一种计算机存储介质。
为实现上述发明目的之一，本发明一实施方式提供一种超声立体图像重建方法，包括：接收两组采样图像集合；其中，所述采样图像集合所表征的部位相互对应；以所述两组采样图像集合其中之一作为固定图像集合，以所述两组采样图像集合其中另一作为活动图像集合，对所述活动图像集合执行平移变换配准，迭代并依次修改平移配准矩阵中的深度参数和平面参数，得到对应所述活动图像集合的最终校准图像集合；根据所述最终校准图像集合和所述固定图像集合执行匹配融合，得到融合立体图像。
作为本发明一实施方式的进一步改进，所述方法具体包括：对所述活动图像集合执行平移变换配准，迭代并修改所述平移配准矩阵中的深度参数，迭代至所述活动图像集合满足第一预设条件，得到对应所述活动图像集合的深度校准图像集合；对所述深度校准图像集合中每组深度校准图像执行平移变换配准，迭代并修改所述平移配准矩阵中的平面参数，迭代至所述深度校准图像满足第二预设条件，得到对应所述深度校准图像的最终校准图像，形成所述最终校准图像集合。
作为本发明一实施方式的进一步改进，所述方法具体包括：计算配准后的活动图像集合与所述固定图像集合的第一相似度参数，根据所述第一相似度参数修改所述深度参数，迭代至所述第一相似度参数满足预设的第一误差条件，得到对应所述活动图像集合的深度校准图像集合；计算配准后的深度校准图像以及与其对应的固定图像集合中的固定图像之间的第二相似度参数，根据所述第二相似度参数修改所述平面参数，迭代至所述第二相似度参数满足预设的第二误差条件，得到对应所述深度校准图像的所述最终校准图像。
作为本发明一实施方式的进一步改进，所述方法具体包括：以所述固定图像集合为基准，对所述活动图像集合执行深度平移变换，得到深度变换矩阵；根据所述深度变换矩阵配准所述活动图像集合，生成深度配准图像集合，并对所述深度配准图像集合执行重采样插值，得到深度插值图像集合；根据所述深度插值图像集合和所述固定图像集合，计算所述第一相似度参数；根据所述第一相似度参数对所述深度参数进行迭代优化，直至所述第一相似度参数收敛于第一误差区间，得到对应所述平移配准矩阵的深度配准矩阵；根据所述深度配准矩阵校准所述活动图像集合，得到所述深度校准图像集合。
作为本发明一实施方式的进一步改进，所述第一相似度参数为归一化互相关系数，所述重采样插值包括线性插值。
作为本发明一实施方式的进一步改进，所述固定图像集合和所述深度插值图像集合分别包括相互对应的第一固定像素和第一深度像素，以及第二固定像素和第二深度像素；所述方法具体包括：遍历并计算所述固定图像集合的固定平均灰度值，以及所述深度插值图像集合的深度平均灰度值；计算所述第一固定像素的灰度值和所述固定平均灰度值的差值，与所述第一深度像素的灰度值和所述深度平均灰度值的差值的第一乘积值，以及所述第二固定像素的灰度值和所述固定平均灰度值的差值，与所述第二深度像素的灰度值和所述深度平均灰度值的差值的第二乘积值，并根据所述第一乘积值和所述第二乘积值之和，计算所述第一相似度参数的第一相似度参量；计算所述第一固定像素的灰度值和所述固定平均灰度值的差值的平方，与所述第二固定像素的灰度值和所述固定平均灰度值的差值的平方的第一总和值，以及所述第一深度像素的灰度值和所述深度平均灰度值的差值的平方，与所述第二深度像素的灰度值和所述深度平均灰度值的差值的平方的第二总和值，并根据所述第一总和值的算术平方根和所述第二总和值的算术平方根之积，计算所述第一相似度参数的第二相似度参量；根据所述第一相似度参量与所述第二相似度参量的商，计算所述第一相似度参数。
作为本发明一实施方式的进一步改进，所述方法具体包括：利用梯度下降法和牛顿梯度法至少其中之一，根据所述第一相似度参数对所述深度参数进行迭代优化。
作为本发明一实施方式的进一步改进，所述方法具体包括：以所述固定图像集合中的固定图像为基准，对所述深度校准图像集合中对应的深度校准图像执行平面平移变换，得到平面变换矩阵；根据所述平面变换矩阵配准所述深度校准图像，生成平面配准图像，并对所述平面配准图像执行重采样插值，得到平面插值图像；根据所述平面插值图像和所述固定图像，计算所述第二相似度参数；根据所述第二相似度参数对所述平面参数进行迭代优化，直至所述第二相似度参数收敛于第二误差区间，得到对应所述平移配准矩阵的平面配准矩阵；根据所述平面配准矩阵校准所述深度校准图像集合中的每组深度校准图像，得到所述最终校准图像并形成所述最终校准图像集合。
作为本发明一实施方式的进一步改进，所述第二相似度参数为灰度梯度差值系数，所述重采样插值包括线性插值。
作为本发明一实施方式的进一步改进，所述方法具体包括：计算所述平面插值图像和所述固定图像分别在第一方向和第二方向上的梯度差异，得到梯度差异图像数据；其中，所述梯度差异图像数据包括对应于所述第一方向的第一梯度差灰度值，以及对应于所述第二方向的第二梯度差灰度值；根据所述第一梯度差灰度值和所述第二梯度差灰度值，计算所述第二相似度参数。
作为本发明一实施方式的进一步改进，所述固定图像和所述平面插值图像分别包括第一固定像素和第一插值像素，所述第一固定像素和所述第一插值像素相互对应，且对应于所述梯度差异图像数据中的第一梯度像素；所述方法具体包括：计算并根据所述第一固定像素的灰度值在所述第一方向上的偏微分参数，与所述第一插值像素的灰度值在所述第一方向上的偏微分参数，作差运算得到所述第一梯度差灰度值；计算并根据所述第一固定像素的灰度值在所述第二方向上的偏微分参数，与所述第一插值像素的灰度值在所述第二方向上的偏微分参数，作差运算得到所述第二梯度差灰度值；遍历梯度差异图像数据中所有第一梯度差灰度值以及所有第二梯度差灰度值，分别求取方差后对应得到第一梯度方差和第二梯度方差；以所述第一梯度方差为被除数，并以所述第一梯度方差和所述第一梯度差灰度值的平方之和为除数，计算得到对应于所述第一梯度像素的第一梯度参量；以所述第二梯度方差为被除数，并以所述第二梯度方差和所述第二梯度差灰度值的平方之和为除数，计算得到对应于所述第一梯度像素的第二梯度参量；遍历所述梯度差异图像数据中所有梯度像素，计算得到所有第一梯度参量和所有第二梯度参量，并根据所有第一梯度参量之和以及所有第二梯度参量之和，计算得到所述第二相似度参数。
作为本发明一实施方式的进一步改进，所述方法具体包括：对待测部位执行超声对称扫描，得到两组原始图像集合；对所述原始图像集合进行重采样处理，对应得到两组采样图像集合。
作为本发明一实施方式的进一步改进，所述方法具体包括：根据所述原始图像集合中的原始平面图像的尺寸参数，对所述原始图像集合进行重采样，对应得到两组采样图像集合。
作为本发明一实施方式的进一步改进，所述方法具体包括：根据所述原始平面图像中单个像素的像素高度值的倒数，以及在深度方向上的超声扫描距离，计算得到目标总帧数；根据所述原始平面图像的实际总帧数以及所述目标总帧数，调用预设的取整运算函数，计算图像插入次序数据；根据所述超声扫描距离和所述目标总帧数，计算对应于所述图像插入次序数据的重采样深度坐标值；根据所述重采样深度坐标值和所述图像插入次序数据，计算得到上行权重参数和下行权重参数，并结合所述原始平面图像中像素的原始灰度值，计算得到对应于每个像素的重采样灰度值，形成重采样平面图像；根据所述重采样深度坐标值，将对应的重采样平面图像重新排列，形成所述采样图像集合。
作为本发明一实施方式的进一步改进，所述图像插入次序数据包括第一插入索引值和第二插入索引值，其中，所述第二插入索引值与所述第一插入索引值之差等于1；所述方法具体包括：将所述原始平面图像的实际总帧数和1的差值与所述目标总帧数和1的差值的商，与预设的次序索引值的乘积值作为所述取整运算函数的自变量，计算得到所述第一插入索引值。
作为本发明一实施方式的进一步改进，所述原始灰度值包括分别对应于所述第一插入索引值的第一原始灰度值，以及对应于所述第二插入索引值的第二原始灰度值；所述方法具体包括：根据所述次序索引值和所述重采样深度坐标值，计算图像重采样位置数据；根据所述图像重采样位置数据，与所述第一插入索引值与超声扫描距离和实际总帧数减1的商的乘积之差，计算所述上行权重参数；根据超声扫描距离和实际总帧数减1的商与所述第二插入索引值的乘积，与所述图像重采样位置数据之差，计算所述下行权重参数；将所述下行权重参数和所述第一原始灰度值的乘积，与所述上行权重参数和所述第二原始灰度值的乘积之和，作为第一重采样参量，将所述上行权重参数和所述下行权重参数之和作为第二重采样参量，并根据所述第一重采样参量和所述第二重采样参量的商，计算得到所述重采样灰度值，形成所述重采样平面图像。
作为本发明一实施方式的进一步改进，所述平移配准矩阵分别对应于所述固定图像和所述活动图像的固定配准矩阵和活动配准矩阵，所述固定配准矩阵包括固定深度参数和固定平面参数，所述活动配准矩阵包括活动深度参数和活动平面参数，所述固定深度参数与所述活动深度参数之和等于1，所述固定平面参数与所述活动平面参数之和等于1；所述方法具体包括：对所述固定图像集合和所述活动图像集合执行相互对应的平移变换配准，迭代并依次修改所述固定配准矩阵中的所述固定深度参数和所述固定平面参数，以及所述活动配准矩阵中的所述活动深度参数和所述活动平面参数，得到对应所述固定图像集合的最终匹配图像集合，以及对应所述活动图像集合的最终校准图像集合；根据所述最终校准图像集合和所述最终匹配图像集合执行匹配融合，得到所述融合立体图像。
为实现上述发明目的之一，本发明一实施方式提供一种超声立体图像重建设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于在执行所述存储器上所存放的程序时，实现上述任一种技术方案所述的超声立体图像重建方法的步骤。
为实现上述发明目的之一，本发明一实施方式提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上述人一种技术方案所述的超声立体图像重建方法的步骤。
与现有技术相比，本发明提供的超声立体图像重建方法，通过两组采样图像相互对照地处理，并对其中至少一组采样图像集合执行平移变换配准，从深度和平面两个维度依次进行两种采样图像集合之间的配准操作，从而能够得到匹配度更高的图像集合对，并且由于进行了平移变换配准操作，能够简化操作逻辑，加快计算速度和效率，极大程度地保留了采样图像集合中原始数据的内容，并在最后执行匹配融合后，能够重建得到立体图像，辅助医护工作者或其他领域工作人员知悉感兴趣区域具体的位置情况。
附图说明
图1是本发明一实施方式中超声立体图像重建设备的结构示意图。
图2是本发明一实施方式中超声立体图像重建方法的步骤示意图。
图3是本发明一实施方式中执行超声立体图像重建方法过程中的固定图像集合、活动图像集合和融合立体图像的示意图。
图4是本发明另一实施方式中超声立体图像重建方法的步骤示意图。
图5是本发明另一实施方式中超声立体图像重建方法的第一实施例的部分步骤示意图。
图6是本发明另一实施方式中超声立体图像重建方法的第一实施例的一具体示例的部分步骤示意图。
图7是本发明另一实施方式中执行超声立体图像重建方法过程中的采样图像集合及其方位的示意图。
图8是本发明本发明另一实施方式中超声立体图像重建方法的第二实施例的部分步骤示意图。
图9是本发明另一实施方式中超声立体图像重建方法的第二实施例的一具体示例的部分步骤示意图。
图10是本发明另一实施方式中执行超声立体图像重建方法过程中的固定图像和活动图像的示意图。
图11是本发明再一实施方式中超声立体图像重建方法的步骤示意图。
图12是本发明再一实施方式中超声立体图像重建方法的一实施例的部分步骤示意图。
图13是本发明再一实施方式中超声立体图像重建方法的一实施例的一具体示例的部分步骤示意图。
图14是本发明又一实施方式中超声立体图像重建方法的步骤示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者还包括为这种过程、方法、物品或者设备所固有的要素。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明一实施方式为解决现有技术中的超声成像方案无法兼顾全局的直观性和数据的准确性，处理步骤复杂且效率低下的问题，以及该问题衍生的其他技术问题，提供一种计算机存储介质。所述计算机存储介质可以设置于计算机中，并存储有计算机程序，所述计算机存储介质可以是计算机能够存取的任何可用介质，或可以是包含一个或多个可用介质集成的服务器、数据中心等存储设备。所述可用介质可以是例如软盘、硬盘、磁带等的磁性介质，或例如DVD(Digital Video Disc，高密度数字视频光盘)等的光介质，或例如SSD(Solid State Disk，固态硬盘)等的半导体介质。所述计算机程序被计算机中任一处理器执行时，实施一种超声立体图像重建方法，执行采样图像集合的接收、平移配准矩阵中深度参数和平面参数的修改、最终校准图像集合的生成，以及融合立体图像的生成。从而，解决上述技术问题。
本发明一实施方式进一步提供一种超声立体图像重建设备100，如图1所示。超声立体图像重建设备100包括处理器11、通信接口12、存储器13以及通信总线14。处理器11、通信接口12、存储器13通过通信总线14完成相互间的通信。
其中，存储器13用于存放计算机程序；处理器11用于执行存储器上存放的程序，所述程序可以是前文所述的、存储于计算机可读存储介质上的计算机程序。在执行该程序时，处理器11可以实现一种超声立体图像重建方法的步骤，执行采样图像集合的接收、平移配准矩阵中深度参数和平面参数的修改、最终校准图像集合的生成，以及融合立体图像的生成。从而，解决上述技术问题。
继续如图2所示，本发明一实施方式提供一种超声立体图像重建方法，该方法对应的程序或指令，可以搭载于上述计算机存储介质和/或超声立体图像重建设备100中，以实现超声立体图像重建的技术效果。在该实施方式中，所述方法具体包括下述步骤。
步骤21，接收两组采样图像集合。
步骤22，以两组采样图像集合其中之一作为固定图像集合，以两组采样图像集合其中另一作为活动图像集合，对活动图像集合执行平移变换配准，迭代并依次修改平移配准矩阵中的深度参数和平面参数，得到对应活动图像集合的最终校准图像集合。
步骤23，根据最终校准图像集合和固定图像集合执行匹配融合，得到融合立体图像。
其中，所述采样图像集合所表征的部位相互对应。如此，能够使两组采样图像集合相互对应并形成参考，将其中之一与其中另一配准，从而形成该“所表征的部位”处的融合立体图像，辅助医疗工作者了解该部位整体的组织结构情况，并基于此观察感兴趣区域在对应组织结构内的位置和形态，在所述感兴趣区域是诸如肿瘤等病灶时，能够准确定位其相对位置。由于上述技术方案依次完成对深度参数和平面参数的校准修改，能够快速确定相互匹配的采样图像，从而调整对应采样图像之间的配准关系，并提高配准成功率，防止构建的融合立体图像出现锯齿、错位等显示错误，影响感兴趣区域的位置和形态判断的准确性。
每组采样图像集合中包含多幅采样图像，每幅采样图像可以是记载对应部位组织结构横断面情况的二维图像数据，采样图像组合形成所述采样图像集合，也即构成了对应部位组织结构的三维体数据。将采样图像集合进行深度参数层面的配准后，能够建立活动图像集合和固定图像集合中，不同活动图像和不同固定图像之间的次序匹配关系；将采样图像集合进行平面参数层面的配准后，能够建立活动图像集合和固定图像集合中，每幅活动图像和每幅固定图像之间的显示匹配关系。在完成对两组体数据的校准后，进行匹配融合，能够最终生成记载有对应部位完整的组织结构特征的融合立体图像。本实施方式所提供的技术方案，可以被具体应用于对人体甲状腺部位的检测，以人体甲状腺部位或其内部病灶作为上述感兴趣区域的话，在经过上述步骤的操作后，能够最终生成一个完整的甲状腺及其周边组织的三维模型。
具体地，如图3所示，将两组采样图像集合的其中之一定义为固定图像集合61，将其中另一定义为活动图像集合62，则两者分别形成了两组表征对应部位不同方向、角度或观察侧的体数据，经过本实施方式提供的上述技术方案，能够将两者配准，最终形成融合立体图像63，表征该部位完整的组织结构情况。
本发明在另一实施方式中，提供基于上述实施方式的一种超声立体图像重建方法，如图4所示。在该另一实施方式中，所述方法具体可以包括下述步骤。
步骤21，接收两组采样图像集合。
步骤22，以两组采样图像集合其中之一作为固定图像集合，以两组采样图像集合其中另一作为活动图像集合，对活动图像集合执行平移变换配准，迭代并依次修改平移配准矩阵中的深度参数和平面参数，得到对应活动图像集合的最终校准图像集合。所述步骤22具体包括：
步骤221，对活动图像集合执行平移变换配准，迭代并修改平移配准矩阵中的深度参数，迭代至活动图像集合满足第一预设条件，得到对应活动图像集合的深度校准图像集合；
步骤222，对深度校准图像集合中每组深度校准图像执行平移变换配准，迭代并修改平移配准矩阵中的平面参数，迭代至深度校准图像满足第二预设条件，得到对应深度校准图像的最终校准图像，形成最终校准图像集合。
步骤23，根据最终校准图像集合和固定图像集合执行匹配融合，得到融合立体图像。
如此，减少对外部训练数据输入的依赖，也无需人为介入进行调整，单纯依靠采样图像集合即可完成配准的全过程；每次迭代均只对平移配准矩阵中至多一个参数进行修改，能够减少运算量和耗时，辅助迭代过程快速进行；配准过程以固定图像集合作为基准，防止两侧逼近等算法导致的计算量增大，以及随之产生的误差增大等问题。
平移配准矩阵中的其他参数可以根据实际需要进行设定，从而满足图像平移变换的需求，在一种实施方式中，平移配准矩阵的主对角线上的元素可以均设置为1，平移配准矩阵的最后一列元素由上到下可以排列有平面参数、深度参数等方向性参数，平移配准矩阵除此之外的其他元素可以均设置为0，从而简化运算过程。具体地，定义平面参数为tx，程度参数为ty，深度参数为tz，则平移配准矩阵M可以至少满足：
Figure BDA0003718835310000111
值得说明地，一方面，虽然上述表达式给出了4×4的矩阵形式，但是本发明并不局限与这一种矩阵形式，平移配准矩阵还可以配置为更高阶的矩阵或更低阶的矩阵；另一方面，对于平面参数tx、程度参数ty和深度参数tz的定义，可以进一步参照图7所示。
采样图像集合表征对应部位至少部分的体数据情况，以采样图像集合中一个顶点作为坐标原点O建立空间直角坐标系(或称笛卡尔坐标系)。在本实施方式提供的技术方案应用于甲状腺检测的环境下，对应地，第三坐标轴Z可以表征脖颈部位的延伸方向，也即从头部向肩部延伸或与其相反的方向，第一坐标轴X可以表征脖颈部位上前后延伸方向，也即从项韧带至甲状软骨延伸或与其相反的方向，第二坐标Y则可以表征脖颈部位内外侧的延伸方向，也即从颈外静脉至甲状软骨延伸或与其相反的方向。可以理解地，第一坐标轴X、第二坐标轴Y和第三坐标轴Z相互垂直地设置。
基于此，平面参数tx表征活动图像(集合)与固定图像(集合)之间在第一坐标轴X方向的配准偏差，也即表征活动图像所指向的位置与固定图像所指向的位置，是否在脖颈部位的前后方向错开及错开的程度；程度参数ty表征活动图像(集合)与固定图像(集合)在第二坐标轴Y方向的配准偏差，也即表征医疗工作者操作按压脖颈部位或其他待测部位的程度，可以默认对应活动图像和固定图像的按压程度是相等的，此时无需对程度参数ty进行配准，可以令程度参数ty＝0；深度参数tz表征活动图像(集合)与固定图像(集合)之间在第三坐标轴Z方向的配准偏差，也即表征活动图像所指向的位置与固定图像所指向的位置，是否在脖颈部位的长度延伸方向错开及错开的程度。
对于所述第一预设条件和所述第二预设条件，在一种优选的实施方式中，可以具体通过判断平移变换配准后的活动图像与固定图像之间的相似度情况，直至该相似度情况落在预设的误差允许范围内，迭代并最终形成深度校准图像集合和最终校准图像集合。
具体地，对于步骤221提供的深度参数迭代修改，可以具体包括步骤：计算配准后的活动图像集合与所述固定图像集合的第一相似度参数，根据所述第一相似度参数修改所述深度参数，迭代至所述第一相似度参数满足预设的第一误差条件，得到对应所述活动图像集合的深度校准图像集合。
对于步骤222提供的平面参数的迭代修改，可以具体包括步骤：计算配准后的深度校准图像以及与其对应的固定图像集合中的固定图像之间的第二相似度参数，根据所述第二相似度参数修改所述平面参数，迭代至所述第二相似度参数满足预设的第二误差条件，得到对应所述深度校准图像的所述最终校准图像。
本发明基于上述实施方式的第一实施例，提供了一种超声立体图像重建方法，细化了迭代修改平移配准矩阵中的深度参数的过程，也即提供了一种配准活动图像(集合)与固定图像(集合)在脖颈部位长度延伸方向上偏差的技术方案。该第一实施例包括图4中的步骤21、步骤22、步骤23，且步骤22中具体包括步骤221和步骤222，此处不再赘述。对于第一实施例中的步骤221，可以具体包括图5中的下述步骤。
步骤2211，以固定图像集合为基准，对活动图像集合执行深度平移变换，得到深度变换矩阵。
步骤2212，根据深度变换矩阵配准活动图像集合，生成深度配准图像集合，并对深度配准图像集合执行重采样插值，得到深度插值图像集合。
步骤2213，根据深度插值图像集合和固定图像集合，计算第一相似度参数。
步骤2214，根据第一相似度参数对深度参数进行迭代优化，直至第一相似度参数收敛于第一误差区间，得到对应平移配准矩阵的深度配准矩阵。
步骤2215，根据深度配准矩阵校准活动图像集合，得到深度校准图像集合。
如此，能够通过刚性配准，以两组表征对应部位体数据的图像集合作为输入，初步求解得到合适的深度参数。由于采用重采样插值与相似度参数计算相配合的运算路径，能够更好地适应图像数据离散的性质，并将配准情况用数据进行量化，从而方便地进行评估和循环迭代过程的跳出。
具体地，所述深度变换矩阵可以是将平移变换矩阵的平面参数tx、程度参数ty和深度参数tz中，除了深度参数tz的另外两个参数均赋值为零，从而隔离深度参数tz进行迭代计算，也可以是计算得到上述三种参数之后，只保留其中的深度参数tz的数据，而舍弃再次过程中产生的平面参数tx和程度参数ty的数据。对于所述深度插值图像集合的计算过程，除了需要根据活动图像集合进行配准和重采样插值等步骤以外，在活动图像集合和固定图像集合分别是从脖颈部位的两个不同侧边检测得到的实施方式中，还可以利用脖颈部位的组织近似对称设置这一特点，对活动图像集合进行镜像翻转处理后，使其大体轮廓走向与固定图像一致，从而处理得到对应的深度插值图像集合。
基于此，经过迭代可以得到符合第一误差区间要求的深度参数tz，也即确定了所述深度变换矩阵中的深度参数tz，得到对应的深度配准矩阵，并据此对活动图像集合进行校准。当然，如若在前置步骤中采用了镜像翻转处理，提升相似度判断效率的技术方案，则在步骤2215处，同样可以对校准后的活动图像集合再次执行镜像翻转处理，从而得到所述深度校准图像集合。当然，对于深度参数tz而言，在校准活动图像集合之前进行镜像翻转处理也是可行的。
在一种优选的实施方式中，所述第一相似度参数为归一化互相关系数，从而能够更好地判断深度插值图像集合和固定图像集合之间的相似性。所述重采样插值可以优选包括线性插值，这是考虑到图像中的像素本身是离散的，初始状态下活动图像的像素灰度值是已知的，配准操作执行过程中，活动图像需要每次按照一定步长进行变换时，被移动到非整数坐标(基于前文所述的空间直角坐标系或笛卡尔坐标系)的像素点均要进行插值运算，而利用简单的线性插值，可以极大程度地加快运算速度、简化运算步骤。
优选地，所述第一误差区间并不一定是预先设定好的，因此所述步骤2214提供的循环跳出条件，可以被解释为第一相似度参数收敛。但在一种具体的场景下，所述第一误差区间可以是0.01。
在基于上述第一实施例的一个具体示例中，图5中进行相似度测度计算的步骤2213，可以被具体细化为遍历深度插值图像集合和固定图像集合中每个坐标处像素点的灰度值，与深度插值图像集合和固定图像集合整体的像素灰度值，并根据两者形成第一相似度参数的参量进行计算。举例而言，所述固定图像集合和所述深度插值图像集合分别包括相互对应的第一固定像素和第一深度像素，以及第二固定像素和第二深度像素，则本发明提供的该具体示例，可以具体包括图6所示的下述步骤。
步骤31，遍历并计算固定图像集合的固定平均灰度值，以及第一深度图像集合的深度平均灰度值。
步骤32，计算第一固定像素的灰度值和固定平均灰度值的差值，与第一深度像素的灰度值和深度平均灰度值的差值的第一乘积值，以及第二固定像素的灰度值和固定平均灰度值的差值，与第二深度像素的灰度值和深度平均灰度值的差值的第二乘积值，并根据第一乘积值和第二乘积值之和，计算第一相似度参数的第一相似度参量。
步骤33，计算第一固定像素的灰度值和固定平均灰度值的差值的平方，与第二固定像素的灰度值和固定平均灰度值的差值的平方的第一总和值，以及第一深度像素的灰度值和深度平均灰度值的差值的平方，与第二深度像素的灰度值和深度平均灰度值的差值的平方的第二总和值，并根据第一总和值的算术平方根和第二总和值的算术平方根之积，计算第一相似度参数的第二相似度参量。
步骤34，根据第一相似度参量与第二相似度参量的商，计算第一相似度参数。
在上述空间直角坐标系下，定义深度插值图像集合上坐标位置为(i,j,k)的第一深度像素的灰度值为IM1(i,j,k)，固定图像集合上对应坐标位置为(i,j,k)的第一固定像素的灰度值为IF1(i,j,k)，其中，(i,j,k)中三个元素依次对应第一坐标轴X、第二坐标轴Y和第三坐标轴Z。深度插值图像集合的深度平均灰度值为
Figure BDA0003718835310000151
固定图像集合上的固定平均灰度值为
Figure BDA0003718835310000152
则所述第一相似度参量SNNC(1)可以至少配置为满足：
Figure BDA0003718835310000153
所述第二相似度参量SNNC(2)可以至少配置为满足：
Figure BDA0003718835310000154
基于此，所述第一相似度参数可以至少配置为满足：
Figure BDA0003718835310000161
如此，可以根据(i,j,k)坐标值作为像素索引，遍历深度插值图像集合中所有深度像素，以及固定图像集合中所有固定像素，最终计算得到第一相似度参数，以此评价当前深度变换矩阵的配准性能，直至第一相似度参数满足预设条件。
优选地，上述任一种技术方案中步骤2214中的迭代优化过程，可以被具体为梯度下降法和牛顿梯度法至少其中之一，也即，所述步骤2214优选包括：利用梯度下降法和牛顿梯度法至少其中之一，根据所述第一相似度参数对所述深度参数进行迭代优化。
本发明基于上述实施方式的第二实施例，提供了一种超声立体图像重建方法，细化了迭代修改平移配准矩阵中的平面参数的过程，也即提供了一种配准在脖颈部位前后延伸方向上偏差的技术方案，在本发明中，优选地，以图4中步骤221生成的深度校准图像集合，配合固定图像集合作为输入，从而提升配准的精确度，当然在其他实施方式中，可能存在着以活动图像集合或深度插值图像，配合固定图像集合作为输入的技术方案。该第二实施例包括图4中的步骤21、步骤22、步骤23，且步骤22中具体包括步骤221和步骤222，此处不再赘述。对于第二实施例中的步骤222，可以具体包括图8中的下述步骤。
步骤2221，以固定图像集合中的固定图像为基准，对深度校准图像集合中对应的深度校准图像执行平面平移变换，得到平面变换矩阵。
步骤2222，根据平面变换矩阵配准深度校准图像，生成平面配准图像，并对平面配准图像执行重采样插值，得到平面插值图像。
步骤2223，根据平面插值图像和固定图像，计算第二相似度参数。
步骤2224，根据第二相似度参数对平面参数进行迭代优化，直至第二相似度参数收敛于第二误差区间，得到对应平移配准矩阵的平面配准矩阵。
步骤2225，根据平面配准矩阵校准深度校准图像集合中的每组深度校准图像，得到最终校准图像并形成最终校准图像集合。
如此，能够通过刚性配准，以进行深度参数修正后的深度校准图像集合和与之配合的固定图像集合作为输入，初步求解得到合适的平面参数。由于采用重采样插值与相似度参数计算相配合的运算路径，能够更好地适应图像自身特性，方便地进行参数评估和循环过程的跳出。
具体地，所述平面变换矩阵，优选为包含有前置步骤计算得到的深度参数tz，但基于默认按压程度相等，因此可以将程度参数ty赋值为零，从而迭代计算平面参数tx，也可以同时计算程度参数ty和平面参数tx，但最后生成平面配准矩阵时舍弃程度参数ty的数据。对于所述最终校准图像集合的计算过程，除了需要根据深度校准图像集合进行配准和重采样插值等步骤以外，在深度校准图像集合对应的活动图像集合，与固定图像集合分别是从脖颈部位的两个不同侧边检测得到的实施方式中，还可以利用脖颈部位的组织近似对称设置这一特点，对深度校准图像集合进行镜像翻转处理后，使其大体轮廓走向与固定图像一致，从而处理得到对应的最终校准图像集合。
基于此，经过迭代可以得到符合第二误差区间要求的平面参数tx，也即确定了所述平面变换矩阵中的平面参数tx，得到对应的平面配准矩阵，并据此对深度校准图像(集合)进行校准。当然，如若在前置步骤中采用了镜像翻转处理，提升相似度判断效率的技术方案，则在步骤2225处，同样可以对校准后的深度校准图像再次执行镜像翻转处理，从而得到所述深度校准图像集合。当然，存在一种技术方案是，在校准深度校准图像(集合)之前进行镜像翻转，此时则需要对应调整平面参数tx的数值(可能是正负号)，从而防止配准移动方向出错，由此可见，本发明允许步骤之间先后顺序的调整。
在一种优选的实施方式中，所述第二相似度参数为灰度梯度差值系数，从而能够更好地判断平面插值图像(集合)和固定图像(集合)之间的相似性。所述重采样插值可以优选包括线性插值，以适应图像中像素离散的场景，以及步长变换所带来的坐标偏离整数的问题，极大程度地加快运算速度、简化运算步骤。
优选地，所述第二误差区间并不一定是预先设定好的，因此所述步骤2224提供的循环跳出条件，可以被解释为第二相似度参数收敛。但在一种具体的场景下，所述第二误差区间可以是0.1。
在基于上述第一实施例的一个具体示例中，图8中进行相似度测度计算的步骤2223，可以被具体细化为根据平面插值图像和固定图像生成表征梯度差异的梯度差异图像数据，而后对梯度差异图像数据进行分析，从而计算得到第二相似度参数。从而，本发明提供的该具体示例，可以具体包括图9所示的下述步骤。
步骤41，计算平面插值图像和固定图像分别在第一方向和第二方向上的梯度差异，得到梯度差异图像数据。
步骤42，根据第一梯度差灰度值和第二梯度差灰度值，计算第二相似度参数。
其中，所述梯度差异图像数据包括对应于所述第一方向的第一梯度差灰度值，以及对应于所述第二方向的第二梯度差灰度值。如此，可以利用至少两个方向的梯度差异，复合体现平面插值图像和固定图像之间的相似度，由于此时处理的对象并非表征对应部位的体数据，而是指向横断面的二维数据，因此采用上述技术方案，能够更为精确快速的确定第二相似度参数，优化运算过程。
进一步地，举例而言，所述固定图像和所述平面插值图像分别包括第一固定像素和第一插值像素，所述第一固定像素和所述第一插值像素相互对应，且对应于所述梯度差异图像数据中的第一梯度像素。则基于上述第二实施方式的具体示例，可以具体提供下述步骤，形成优选的技术方案，如图9所示。
所述步骤41可以具体包括：
步骤411，计算并根据第一固定像素的灰度值在第一方向上的偏微分参数，与第一插值像素的灰度值在第一方向上的偏微分参数，作差运算得到第一梯度差灰度值；
步骤412，计算并根据第一固定像素的灰度值在第二方向上的偏微分参数，与第一插值像素的灰度值在第二方向上的偏微分参数，作差运算得到第二梯度差灰度值。
以固定图像和平面插值图像上对应相同的一个端点为原点建立平面直角坐标系(优选为图像的左上角)，定义固定图像上坐标位置为(u,v)的第一固定像素的灰度值为IF1(u,v)，平面插值图像上对应坐标位置为(u,v)的第一插值像素的灰度值为IM1(u,v)。需要解释地，上述第一插值像素仅指代平面插值图像上的像素，并不必然指代插值得到的像素。定义像素行排布所对应方向u为所述第一方向，定义像素列排布所对应的方向v为所述第二方向。则所述第一梯度差灰度值IDiffV(u,v)可以至少满足：
Figure BDA0003718835310000191
所述第二梯度差灰度值IDiffH(u,v)可以至少满足：
Figure BDA0003718835310000192
如此，可以构建所述梯度差异图像数据，或至少计算得到所述第一梯度差灰度值和第二梯度差灰度值。其中，V表示垂直方向，H表示水平方向，也即做第一方向u上的偏微分，能够得到垂直方向V上的梯度变化，做第二方向v上的偏微分，能够得到水平方向H上的梯度变化。其中，a指代一种梯度变化的系数因子，初始值为0，每经过一次迭代都增加一个预设的步长，直至第二相似度参数达到最大值或收敛于所述第二误差区间，则停止增加。
此外，所述步骤42可以具体包括：
步骤421，遍历梯度差异图像数据中所有第一梯度差灰度值以及所有第二梯度差灰度值，分别求取方差后对应得到第一梯度方差和第二梯度方差；
步骤422，以第一梯度方差为被除数，并以第一梯度方差和第一梯度差灰度值的平方之和为除数，计算得到对应于第一梯度像素的第一梯度参量；
步骤423，以第二梯度方差为被除数，并以第二梯度方差和第二梯度差灰度值的平方之和为除数，计算得到对应于第一梯度像素的第二梯度参量；
步骤424，遍历梯度差异图像数据中所有梯度像素，计算得到所有第一梯度参量和所有第二梯度参量，并根据所有第一梯度参量之和以及所有第二梯度参量之和，计算得到第二相似度参数。
在上述空间直角坐标系所对应的XOY平面直角坐标系下，沿用上述对第一固定像素的灰度值IF1(u,v)的定义，上述对第一插值像素的灰度值IM1(u,v)的定义，上述对第一梯度差灰度值IDiffH(u,v)的定义，以及上述对第二梯度差灰度值IDiffV(u,v)的定义，并进一步定义第一梯度方差为Ah，定义第二梯度方差为Av，则所述第一梯度参量SGDiff(1)可以至少满足：
Figure BDA0003718835310000201
所述第二梯度参量SGDiff(2)可以至少满足：
Figure BDA0003718835310000202
从而可以遍历梯度差异图像(数据)中所有梯度像素，分别计算其对应的第一梯度参量和第二梯度参量。进一步地，结合两者之和，能够计算得到第二相似度参数SGDiff，其中，所述第二相似度参数SGDiff至少可以满足：
Figure BDA0003718835310000203
优选地，上述任一种技术方案中步骤2224中的迭代优化过程，可以被具体为梯度下降法和牛顿梯度法至少其中之一，也即，所述步骤2224优选包括：利用梯度下降法和牛顿梯度法至少其中之一，根据所述第二相似度参数对所述平面参数进行迭代优化。
在执行上述步骤的过程中，反映到对应图像一侧，则可以如图10所示。深度插值图像610来源于所述活动图像集合，边缘分别沿第一坐标轴X和第二坐标轴Y延伸，经过镜像翻转处理、重采样插值处理后形成平面插值图像610’，进而平面插值图像可以与所述固定图像集合中的固定图像620’进行配准、相似度参数运算，而后平面插值图像610’对应形成的最终校准图像与固定图像620’匹配融合，从而形成所述融合立体图像中的部分，也即图中示出的平面融合图像630。
本发明在再一实施方式中，提供一种超声立体图像重建方法，如图11所示。在该再一实施方式中，所述方法可以具体包括下述步骤。
步骤51，对待测部位执行超声对称扫描，得到两组原始图像集合。
步骤52，对原始图像集合进行重采样处理，对应得到两组采样图像集合。
如此，可以利用脖颈部位组织结构近似对称的特征，从两侧分别采集超声图像，从而得到原始图像集合。考虑到原始图像集合的显示效果依赖于检测环境等不确定因素，因此对其进行重采样处理，能够一定程度上提升图像的素质，从而生成采样图像集合进行后续的配准处理。
执行超声对称扫描得到的原始图像集合，其中的每幅原始图像均表征了对应部位横断面组织情况，本身具有物理坐标信息，如此，可以利用该物理坐标信息完成后续的重采样步骤。其中，所述物理坐标信息可以包括相邻像素的间隔、图像整体的物理宽度和物理高度(由超声探头决定)，并优选地，还可以包括图像的像素尺寸，也即表征图像在宽度方向和高度方向上的像素数量，单位是像素。
在一种优选的实施方式中，所述步骤52可以进一步配置为包括：根据所述原始图像集合中的原始平面图像的尺寸参数，对所述原始图像集合进行重采样，对应得到两组采样图像集合。所述尺寸参数可以包含于上述物理坐标信息或与上述物理坐标信息做等同解释。
基于上述再一实施方式，本发明提供一实施例，以具体并更优地实现上述采样图像集合的生成过程，如图11和图12所示，该实施例可以包括图11中步骤51至步骤23的全部步骤，此处不再赘述。
在该实施方式中，所述步骤52可以具体包括下述步骤：
步骤521，根据所述原始平面图像中单个像素的像素高度值的倒数，以及在深度方向上的超声扫描距离，计算得到目标总帧数。
步骤522，根据所述原始平面图像的实际总帧数以及所述目标总帧数，调用预设的取整运算函数，计算图像插入次序数据。
步骤523，根据所述超声扫描距离和所述目标总帧数，计算对应于所述图像插入次序数据的重采样深度坐标值。
步骤524，根据所述重采样深度坐标值和所述图像插入次序数据，计算得到上行权重参数和下行权重参数，并结合所述原始平面图像中像素的原始灰度值，计算得到对应于每个像素的重采样灰度值，形成重采样平面图像。
步骤525，根据所述重采样深度坐标值，将对应的重采样平面图像重新排列，形成所述采样图像集合。
对于步骤521，所述目标总帧数可以被定义为等于所述像素高度值和所述深度方向(可以是所述第三坐标轴Z方向)上的超声扫描距离的乘积，所述像素高度值的倒数可以根据所述物理坐标信息进行计算，可以具体是原始平面图像的高度像素尺寸与原始平面图像的物理高度值的商。基于此，定义所述高度像素尺寸为height，定义所述物理高度值为H(单位为毫米)，定义所述超声扫描距离为scanDist，则所述目标总帧数dstImageNum可以至少满足：
Figure BDA0003718835310000221
对于步骤521，所述图像插入次序数据表征重采样后生成的图像所需要插入的位置在所述原始平面图像集合中的相对次序。在一种优选的实施方式中，所述图像插入次序数据包括第一插入索引值和第二插入索引值，其中，所述第二插入索引值与所述第一插入索引值之差等于1。基于此，步骤522还可以进一步具体包括步骤：将所述原始平面图像的实际总帧数和1的差值与所述目标总帧数和1的差值的商，与预设的次序索引值的乘积值作为所述取整运算函数的自变量，计算得到所述第一插入索引值。所述第一插入索引值和所述第二插入索引值表征即将插入的重采样平面图像两侧相邻的图像帧的位置次序情况。
详细地，定义所述第一插入索引值为m1，定义所述第二插入索引值为m2，定义所述实际总帧数为srcImageNum，定义所述预设的次序索引值为z，定义所述取整运算函数为floor()，则所述第一插入索引值m1和所述第二插入索引值m2至少可以满足：
Figure BDA0003718835310000231
其中，所述次序索引值z为递增整数，取值范围在[0,dstImage-2]之间，在循环迭代过程中(优选为for循环)，每经过一次循环，所述次序索引值z在数值上增加1，对应更新所述第一插入索引值m1和所述第二插入索引值m2。从而，第一插入索引值m1具有取值范围[0,srcImageNum-2]，第二插入索引值m2具有取值范围[0,srcImageNum-1]。优选地，所述取整运算函数floor()为向下取整算子。
对于步骤523，所述物理坐标信息可以包括在前文定义的空间立体坐标系中，分别依据第一坐标轴X、第二坐标轴Y和第三坐标轴Z定义的平面坐标值spacingX和spacingY，以及重采样深度坐标值spacingZ(单位为毫米/像素)，所述平面坐标值可以从原始平面图像中直接读取或分析得到，而所述重采样深度坐标值spacingZ则可以根据所述超声扫描距离和所述目标总帧数计算得到，也即在沿用上述定义，所述重采样深度坐标值spacingZ可以至少满足：
Figure BDA0003718835310000232
基于此，即可执行步骤525，将计算好的重采样平面图像进行插入或重新排列操作，以形成重采样后的三维体数据。而上述重采样平面图像，也即对应于步骤524，在该再一实施方式一实施例的一个具体示例中，可以具体包括如图11至图13所示的步骤。其中，该具体示例中如图11所示的步骤51至步骤23，以及如图12所示的步骤521至步骤525，此处不再赘述。所述步骤524可以进一步包括如图13所示的下述步骤。
步骤5241，根据次序索引值和重采样深度坐标值，计算图像重采样位置数据。
步骤5242，根据图像重采样位置数据，与第一插入索引值与超声扫描距离和实际总帧数减1的商的乘积之差，计算上行权重参数。
步骤5243，根据超声扫描距离和实际总帧数减1的商与第二插入索引值的乘积，与图像重采样位置数据之差，计算下行权重参数。
步骤5244，将下行权重参数和第一原始灰度值的乘积，与上行权重参数和第二原始灰度值的乘积之和，作为第一重采样参量，将上行权重参数和下行权重参数之和作为第二重采样参量，并根据第一重采样参量和第二重采样参量的商，计算得到重采样灰度值，形成重采样平面图像。
其中，所述原始灰度值包括分别对应于所述第一插入索引值的第一原始灰度值，以及对应于所述第二插入索引值的第二原始灰度值。
沿用上述对次序索引值z和重采样深度坐标值spacingZ的定义，则所述图像重采样位置数据currentDist，表征插入的第z帧新的重采样平面图像所处位置相对于扫查起始点的物理距离，可以至少满足：
currentDist＝spacingZ*z。
基于此，沿用上述对第一插入索引值m1的定义，所述上行权重参数d1，表征与该第z帧新的重采样平面图像相邻，且更靠近扫查起始点的第m1帧图像与所述扫查起始点在深度方向上的物理距离，相较于该重采样平面图像与所述扫查起始点在深度方向上的物理距离的差值，也即第m1帧图像和第z帧新的重采样平面图像的间距，至少可以满足：
Figure BDA0003718835310000241
沿用上述对第二插入索引值m2的定义，所述下行权重参数d2，表征与该第z帧新的重采样平面图像相邻，且更远离扫查起始点的第m2帧图像与所述扫查起始点在深度方向上的物理距离，相较于该重采样平面图像与所述扫查起始点在深度方向上的物理距离的差值，也即第m2帧图像和第z帧新的重采样平面图像的间距，至少可以满足：
Figure BDA0003718835310000251
从而，可以表征间距情况的上下行权重参数作为灰度的权重，融合相邻的第m1帧图像和第m2帧图像，计算重采样灰度值，并形成重采样平面图像。沿用上述对上行权重参数d1和下行权重参数d2的定义，并定义第m1帧图像和第m2帧图像上位置相互对应的像素的灰度值，也即第一原始灰度值和第二原始灰度值分别为grayValueM1和grayValueM2，遍历第m1帧图像和第m2帧图像上所有像素灰度值进行运算，从而得到所有重采样灰度值。基于此，所述重采样灰度值dstGrayValue至少可以满足：
Figure BDA0003718835310000252
本发明在又一实施方式中，提供一种超声立体图像重建方法，如图14所示。在该又一实施方式中，所述方法可以具体包括下述步骤。
步骤21，接收两组采样图像集合。
步骤22’，对固定图像集合和活动图像集合执行相互对应的平移变换配准，迭代并依次修改固定配准矩阵中的固定深度参数和固定平面参数，以及活动配准矩阵中的活动深度参数和活动平面参数，得到对应固定图像集合的最终匹配图像集合，以及对应活动图像集合的最终校准图像集合。
步骤23’，根据最终校准图像集合和最终匹配图像集合执行匹配融合，得到融合立体图像。
其中，所述平移配准矩阵分别对应于所述固定图像和所述活动图像的固定配准矩阵和活动配准矩阵，所述固定配准矩阵包括固定深度参数和固定平面参数，所述活动配准矩阵包括活动深度参数和活动平面参数，所述固定深度参数与所述活动深度参数之和等于1，所述固定平面参数与所述活动平面参数之和等于1。
如此，可以进一步提升表征三维体数据的图像集合之间的融合效果，将第一坐标轴X方向上的平移量(对应于平面参数)和/或第三坐标轴Z上的平移量(对应于深度参数)，分摊给活动图像集合(及其衍生的图像集合)和固定图像集合，使两者均进行重采样，也能够提升融合立体图像的质量和显示素质。
以分摊第一坐标轴X方向上的平移量为例，定义上述固定配准矩阵为M1，定义上述活动配准矩阵为M2，定义上述活动平面参数为αtx，定义上述活动深度参数为αtz，则所述固定深度参数为0，所述固定平面参数为(1-α)tx，从而所述固定配准矩阵M1和所述活动配准矩阵M2至少可以满足：
Figure BDA0003718835310000261
Figure BDA0003718835310000262
其中，α是一个常数权重因子。优选地，当tx<0时，可以令α＝0.7，从而提高活动图像集合及其衍生的其他图像集合配准过程中的平移量占比，当tx>0时，可以令α＝0.3，从而提高固定图像集合配准过程中的平移量占比。
综上，本发明提供的超声立体图像重建方法，通过两组采样图像相互对照地处理，并对其中至少一组采样图像集合执行平移变换配准，从深度和平面两个维度依次进行两种采样图像集合之间的配准操作，从而能够得到匹配度更高的图像集合对，并且由于进行了平移变换配准操作，能够简化操作逻辑，加快计算速度和效率，极大程度地保留了采样图像集合中原始数据的内容，并在最后执行匹配融合后，能够重建得到立体图像，辅助医护工作者或其他领域工作人员知悉感兴趣区域具体的位置情况。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (19)

1.一种超声立体图像重建方法，其特征在于，包括：
接收两组采样图像集合；其中，所述采样图像集合所表征的部位相互对应；
以所述两组采样图像集合其中之一作为固定图像集合，以所述两组采样图像集合其中另一作为活动图像集合，对所述活动图像集合执行平移变换配准，迭代并依次修改平移配准矩阵中的深度参数和平面参数，得到对应所述活动图像集合的最终校准图像集合；
根据所述最终校准图像集合和所述固定图像集合执行匹配融合，得到融合立体图像。
2.根据权利要求1所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
对所述活动图像集合执行平移变换配准，迭代并修改所述平移配准矩阵中的深度参数，迭代至所述活动图像集合满足第一预设条件，得到对应所述活动图像集合的深度校准图像集合；
对所述深度校准图像集合中每组深度校准图像执行平移变换配准，迭代并修改所述平移配准矩阵中的平面参数，迭代至所述深度校准图像满足第二预设条件，得到对应所述深度校准图像的最终校准图像，形成所述最终校准图像集合。
3.根据权利要求2所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
计算配准后的活动图像集合与所述固定图像集合的第一相似度参数，根据所述第一相似度参数修改所述深度参数，迭代至所述第一相似度参数满足预设的第一误差条件，得到对应所述活动图像集合的深度校准图像集合；
计算配准后的深度校准图像以及与其对应的固定图像集合中的固定图像之间的第二相似度参数，根据所述第二相似度参数修改所述平面参数，迭代至所述第二相似度参数满足预设的第二误差条件，得到对应所述深度校准图像的所述最终校准图像。
4.根据权利要求3所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
以所述固定图像集合为基准，对所述活动图像集合执行深度平移变换，得到深度变换矩阵；
根据所述深度变换矩阵配准所述活动图像集合，生成深度配准图像集合，并对所述深度配准图像集合执行重采样插值，得到深度插值图像集合；
根据所述深度插值图像集合和所述固定图像合，计算所述第一相似度参数；
根据所述第一相似度参数对所述深度参数进行迭代优化，直至所述第一相似度参数收敛于第一误差区间，得到对应所述平移配准矩阵的深度配准矩阵；
根据所述深度配准矩阵校准所述活动图像集合，得到所述深度校准图像集合。
5.根据权利要求4所述的超声立体图像重建方法，其特征在于，所述第一相似度参数为归一化互相关系数，所述重采样插值包括线性插值。
6.根据权利要求5所述的超声立体图像重建方法，其特征在于，所述固定图像集合和所述深度插值图像集合分别包括相互对应的第一固定像素和第一深度像素，以及第二固定像素和第二深度像素；所述方法具体包括：
遍历并计算所述固定图像集合的固定平均灰度值，以及所述深度插值图像集合的深度平均灰度值；
计算所述第一固定像素的灰度值和所述固定平均灰度值的差值，与所述第一深度像素的灰度值和所述深度平均灰度值的差值的第一乘积值，以及所述第二固定像素的灰度值和所述固定平均灰度值的差值，与所述第二深度像素的灰度值和所述深度平均灰度值的差值的第二乘积值，并根据所述第一乘积值和所述第二乘积值之和，计算所述第一相似度参数的第一相似度参量；
计算所述第一固定像素的灰度值和所述固定平均灰度值的差值的平方，与所述第二固定像素的灰度值和所述固定平均灰度值的差值的平方的第一总和值，以及所述第一深度像素的灰度值和所述深度平均灰度值的差值的平方，与所述第二深度像素的灰度值和所述深度平均灰度值的差值的平方的第二总和值，并根据所述第一总和值的算术平方根和所述第二总和值的算术平方根之积，计算所述第一相似度参数的第二相似度参量；
根据所述第一相似度参量与所述第二相似度参量的商，计算所述第一相似度参数。
7.根据权利要求4所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
利用梯度下降法和牛顿梯度法至少其中之一，根据所述第一相似度参数对所述深度参数进行迭代优化。
8.根据权利要求3所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
以所述固定图像集合中的固定图像为基准，对所述深度校准图像集合中对应的深度校准图像执行平面平移变换，得到平面变换矩阵；
根据所述平面变换矩阵配准所述深度校准图像，生成平面配准图像，并对所述平面配准图像执行重采样插值，得到平面插值图像；
根据所述平面插值图像和所述固定图像，计算所述第二相似度参数；
根据所述第二相似度参数对所述平面参数进行迭代优化，直至所述第二相似度参数收敛于第二误差区间，得到对应所述平移配准矩阵的平面配准矩阵；
根据所述平面配准矩阵校准所述深度校准图像集合中的每组深度校准图像，得到所述最终校准图像并形成所述最终校准图像集合。
9.根据权利要求8所述的超声立体图像重建方法，其特征在于，所述第二相似度参数为灰度梯度差值系数，所述重采样插值包括线性插值。
10.根据权利要求9所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
计算所述平面插值图像和所述固定图像分别在第一方向和第二方向上的梯度差异，得到梯度差异图像数据；其中，所述梯度差异图像数据包括对应于所述第一方向的第一梯度差灰度值，以及对应于所述第二方向的第二梯度差灰度值；
根据所述第一梯度差灰度值和所述第二梯度差灰度值，计算所述第二相似度参数。
11.根据权利要求10所述的超声立体图像重建方法，其特征在于，所述固定图像和所述平面插值图像分别包括第一固定像素和第一插值像素，所述第一固定像素和所述第一插值像素相互对应，且对应于所述梯度差异图像数据中的第一梯度像素；所述方法具体包括：
计算并根据所述第一固定像素的灰度值在所述第一方向上的偏微分参数，与所述第一插值像素的灰度值在所述第一方向上的偏微分参数，作差运算得到所述第一梯度差灰度值；
计算并根据所述第一固定像素的灰度值在所述第二方向上的偏微分参数，与所述第一插值像素的灰度值在所述第二方向上的偏微分参数，作差运算得到所述第二梯度差灰度值；
遍历梯度差异图像数据中所有第一梯度差灰度值以及所有第二梯度差灰度值，分别求取方差后对应得到第一梯度方差和第二梯度方差；
以所述第一梯度方差为被除数，并以所述第一梯度方差和所述第一梯度差灰度值的平方之和为除数，计算得到对应于所述第一梯度像素的第一梯度参量；
以所述第二梯度方差为被除数，并以所述第二梯度方差和所述第二梯度差灰度值的平方之和为除数，计算得到对应于所述第一梯度像素的第二梯度参量；
遍历所述梯度差异图像数据中所有梯度像素，计算得到所有第一梯度参量和所有第二梯度参量，并根据所有第一梯度参量之和以及所有第二梯度参量之和，计算得到所述第二相似度参数。
12.根据权利要求1所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
对待测部位执行超声对称扫描，得到两组原始图像集合；
对所述原始图像集合进行重采样处理，对应得到两组采样图像集合。
13.根据权利要求12所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
根据所述原始图像集合中的原始平面图像的尺寸参数，对所述原始图像集合进行重采样，对应得到两组采样图像集合。
14.根据权利要求13所述的超声立体图像重建方法，其特征在于，所述方法具体包括：
根据所述原始平面图像中单个像素的像素高度值的倒数，以及在深度方向上的超声扫描距离，计算得到目标总帧数；
根据所述原始平面图像的实际总帧数以及所述目标总帧数，调用预设的取整运算函数，计算图像插入次序数据；
根据所述超声扫描距离和所述目标总帧数，计算对应于所述图像插入次序数据的重采样深度坐标值；
根据所述重采样深度坐标值和所述图像插入次序数据，计算得到上行权重参数和下行权重参数，并结合所述原始平面图像中像素的原始灰度值，计算得到对应于每个像素的重采样灰度值，形成重采样平面图像；
根据所述重采样深度坐标值，将对应的重采样平面图像重新排列，形成所述采样图像集合。
15.根据权利要求14所述的超声立体图像重建方法，其特征在于，所述图像插入次序数据包括第一插入索引值和第二插入索引值，其中，所述第二插入索引值与所述第一插入索引值之差等于1；所述方法具体包括：
将所述原始平面图像的实际总帧数和1的差值与所述目标总帧数和1的差值的商，与预设的次序索引值的乘积值作为所述取整运算函数的自变量，计算得到所述第一插入索引值。
16.根据权利要求15所述的超声立体图像重建方法，其特征在于，所述原始灰度值包括分别对应于所述第一插入索引值的第一原始灰度值，以及对应于所述第二插入索引值的第二原始灰度值；所述方法具体包括：
根据所述次序索引值和所述重采样深度坐标值，计算图像重采样位置数据；
根据所述图像重采样位置数据，与所述第一插入索引值与超声扫描距离和实际总帧数减1的商的乘积之差，计算所述上行权重参数；
根据超声扫描距离和实际总帧数减1的商与所述第二插入索引值的乘积，与所述图像重采样位置数据之差，计算所述下行权重参数；
将所述下行权重参数和所述第一原始灰度值的乘积，与所述上行权重参数和所述第二原始灰度值的乘积之和，作为第一重采样参量，将所述上行权重参数和所述下行权重参数之和作为第二重采样参量，并根据所述第一重采样参量和所述第二重采样参量的商，计算得到所述重采样灰度值，形成所述重采样平面图像。
17.根据权利要求1所述的超声立体图像重建方法，其特征在于，所述平移配准矩阵分别对应于所述固定图像和所述活动图像的固定配准矩阵和活动配准矩阵，所述固定配准矩阵包括固定深度参数和固定平面参数，所述活动配准矩阵包括活动深度参数和活动平面参数，所述固定深度参数与所述活动深度参数之和等于1，所述固定平面参数与所述活动平面参数之和等于1；所述方法具体包括：
对所述固定图像集合和所述活动图像集合执行相互对应的平移变换配准，迭代并依次修改所述固定配准矩阵中的所述固定深度参数和所述固定平面参数，以及所述活动配准矩阵中的所述活动深度参数和所述活动平面参数，得到对应所述固定图像集合的最终匹配图像集合，以及对应所述活动图像集合的最终校准图像集合；
根据所述最终校准图像集合和所述最终匹配图像集合执行匹配融合，得到所述融合立体图像。
18.一种超声立体图像重建设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于在执行所述存储器上所存放的程序时，实现权利要求1-17任一项所述的超声立体图像重建方法的步骤。
19.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如权利要求1-17任一项所述的超声立体图像重建方法的步骤。
CN202210752660.XA 2022-06-28 2022-06-28 超声立体图像重建方法、设备及计算机存储介质 Pending CN115063456A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210752660.XA CN115063456A (zh) 2022-06-28 2022-06-28 超声立体图像重建方法、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210752660.XA CN115063456A (zh) 2022-06-28 2022-06-28 超声立体图像重建方法、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115063456A true CN115063456A (zh) 2022-09-16

Family

ID=83203900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210752660.XA Pending CN115063456A (zh) 2022-06-28 2022-06-28 超声立体图像重建方法、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115063456A (zh)

Similar Documents

Publication Publication Date Title
JP4917733B2 (ja) 尤度最大化を利用した画像位置合わせシステム及び方法
CN102727258B (zh) 图像处理装置、超声波摄影系统及图像处理方法
US9700284B2 (en) Three-dimensional ultrasound reconstruction with confidence information
US9035941B2 (en) Image processing apparatus and image processing method
US7945117B2 (en) Methods and systems for registration of images
US6545678B1 (en) Methods, systems, and computer program products for generating tissue surfaces from volumetric data thereof using boundary traces
CN112967236B (zh) 图像的配准方法、装置、计算机设备和存储介质
JP6283672B2 (ja) 画像誘導処置中の変形のためにデータを修正する向上された方法
JP5384779B2 (ja) クロス・エントロピー最適化による画像位置合わせシステム及び方法
US7639895B2 (en) Registering ultrasound image data and second image data of an object
Moura et al. Fast 3D reconstruction of the spine from biplanar radiographs using a deformable articulated model
WO2001001859A1 (en) Method and system of measuring characteristics of an organ
US10617381B2 (en) Method and system for measuring an X-ray image of an area undergoing medical examination
CN113397704A (zh) 机器人定位方法、装置、系统及计算机设备
CN111462018B (zh) 图像中的影像摆正方法、计算机设备和存储介质
US20110081055A1 (en) Medical image analysis system using n-way belief propagation for anatomical images subject to deformation and related methods
US20110081061A1 (en) Medical image analysis system for anatomical images subject to deformation and related methods
JP4887491B2 (ja) 医用画像処理方法及びその装置、プログラム
CN115063456A (zh) 超声立体图像重建方法、设备及计算机存储介质
CN115670508A (zh) 一种基于大数据的超声三维模型的数据处理系统及方法
CN110009666B (zh) 一种机器人空间配准中建立匹配模型的方法及装置
CN114930390A (zh) 用于将活体医学图像与解剖模型配准的方法和装置
CN110969694A (zh) 无约束式扫描和基于体素的三维实时骨骼成像方法
CN111000580A (zh) 椎间盘扫描方法、装置、控制台设备及ct系统
CN112862947B (zh) 一种基于三维超声探头的图像扫描方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination