CN116580068A - 一种基于点云配准的多模态医学配准方法 - Google Patents

一种基于点云配准的多模态医学配准方法 Download PDF

Info

Publication number
CN116580068A
CN116580068A CN202310755362.0A CN202310755362A CN116580068A CN 116580068 A CN116580068 A CN 116580068A CN 202310755362 A CN202310755362 A CN 202310755362A CN 116580068 A CN116580068 A CN 116580068A
Authority
CN
China
Prior art keywords
data
dicom
pixel
image
resampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310755362.0A
Other languages
English (en)
Other versions
CN116580068B (zh
Inventor
姜冠群
王宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhuoye Medical Technology Co ltd
Original Assignee
Shandong Zhuoye Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhuoye Medical Technology Co ltd filed Critical Shandong Zhuoye Medical Technology Co ltd
Priority to CN202310755362.0A priority Critical patent/CN116580068B/zh
Publication of CN116580068A publication Critical patent/CN116580068A/zh
Application granted granted Critical
Publication of CN116580068B publication Critical patent/CN116580068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及数据处理技术领域，尤其涉及一种基于点云配准的多模态医学配准方法。该方法包括以下步骤：对DICOM图像进行DICOM图像预处理，获取DICOM图像预处理数据；根据DICOM图像预处理数据进行三维重建，获取点云图像数据；对点云图像数据进行优化三角面片模型构建，构建优化三角面片模型；根据优化三角面片模型进行点云粗匹配，获取初级变换矩阵矩阵数据，并进行点云精配准，获得次级变换矩阵矩阵数据；获取待配准DICOM图像数据，对待配准DICOM图像数据进行坐标计算，获得配准DICOM图像数据。本发明通过图像预处理和三维重建的步骤，可以对原始DICOM图像进行优化和重建，改善图像质量。

Description

一种基于点云配准的多模态医学配准方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于点云配准的多模态医学配准方法。
背景技术
现在医学影像技术得到了广泛地应用，处于临床诊断的需求，常常将同一个病人的同一个位置采用不同的模态成像技术综合分析，也可能将同一病人不同时间的成像结合分析，CT成像技术能够较清晰的观察骨骼组织，而MRI图像能够观察到软组织信息，为了临床中有更加精准的判断，需要将CT与MRI数据，CT与PET数据等进行严格的配准，以为医生提供更为全面直观的解剖及病理信息。
目前生物医学图像配准算法可分为两大类：传统配准算法和基于深度学习的算法。传统的方法，如Elastix、ANTs等，通过迭代地优化每对图像预定义的目标函数，同时促进配准映射的平滑性，能够达到很好的配准效果，但是传统配准方法由于图像的数据量及复杂度，需要较大的迭代次数才能达到设定的目标优化参数，从而耗时较长，另外基于深度学习的生物医学图像配准算法的研究成为一个热门，但是目前深度学习配准算法也存在一些问题：首先，医学图像的标注通常需要医学图像分析专家来完成，因此其标注成本太高，导致有监督的训练方法受限，目前主流的研究都集中在无监督方法上；更重要的是，深度图像配准尽管处理速度快，但是在精度上很难达到传统算法的水平。
发明内容
本发明为解决上述技术问题，提出了一种基于点云配准的多模态医学配准方法，以解决至少一个上述技术问题。
本申请提供了一种基于点云配准的多模态医学配准方法，包括以下步骤：
步骤S1：获取DICOM图像数据，对DICOM图像数据进行DICOM图像预处理，从而获取DICOM图像预处理数据；
步骤S2：根据DICOM图像预处理数据进行三维重建，从而获取点云图像数据；
步骤S3：对点云图像数据进行优化三角面片模型构建，从而构建优化三角面片模型；
步骤S4：根据优化三角面片模型进行点云粗匹配，从而获取初级变换矩阵矩阵数据，并根据优化三角面片模型以及初级变换矩阵数据进行点云精配准，从而获得次级变换矩阵矩阵数据；
步骤S5：获取待配准DICOM图像数据，利用次级变换矩阵数据对待配准DICOM图像数据进行坐标计算，从而获得配准DICOM图像数据。
本发明通过DICOM图像预处理和三维重建步骤，可以对原始DICOM图像进行优化和重建，从而改善图像质量。这有助于减少图像噪声、增强图像对比度，并提供更清晰的医学图像信息，能够处理多种医学图像模态，例如CT、MRI等。通过将不同模态的图像进行融合，可以综合利用它们各自的优势，提供更全面、更准确的医学信息。这有助于医生做出更准确的诊断和治疗决策，通过优化三角面片模型的构建和点云精配准步骤，可以提高点云模型的准确性和稳定性。这有助于更精确地捕捉医学图像中的结构和形状信息，为后续的配准和分析提供可靠的基础，通过次级变换矩阵数据的应用，可以对待配准DICOM图像进行精确的坐标计算，实现图像间的配准。这有助于将不同时间点、不同模态或不同患者的图像进行对齐，从而实现更准确的比较和分析。
优选地，步骤S1具体为：
步骤S11：通过DICOM图像获取设备或医疗信息系统获取DICOM图像数据；
步骤S12：对DICOM图像数据进行图像解析并提取，从而获取DICOM像素数据；
步骤S13：对DICOM像素数据进行优化HU值调整，从而获取优化DICOM像素数据；
步骤S14：对优化DICOM像素数据进行图像重采样，从而获取DICOM像素重采样数据；
步骤S15：根据DICOM像素去噪数据进行像素检测，从而获取DICOM像素检测数据，并根据DICOM像素检测数据对DICOM像素去噪数据进行图像增强，从而获取DICOM图像预处理数据。
本发明通过DICOM图像获取设备或医疗信息系统获取DICOM图像数据，并进行图像解析和提取，确保了原始数据的获取和准确性。这有助于后续处理步骤的进行，对DICOM像素数据进行优化HU值调整，通过校准参数计算出相应的HU值。HU值是衡量组织密度和成分的标准，常用于医学影像分析。优化HU值调整能够提高图像的质量和准确性，为后续处理步骤提供更可靠的数据基础，对优化DICOM像素数据进行图像重采样，可以调整图像的空间分辨率和尺寸，使得图像在不同的分辨率要求下得到合适的展示。这对于医学图像分析和可视化具有重要意义，能够提供更准确的结构信息和细节展示，通过对DICOM像素去噪数据进行像素检测和图像增强，能够去除图像中的噪声和干扰，同时增强感兴趣结构的对比度和显示范围。这有助于医生更清晰地观察和分析图像，提高诊断的准确性和可靠性。
优选地，其中S13具体为：
步骤S131：对DICOM像素数据进行灰度校正，从而获取DICOM像素灰度校正数据；
步骤S132：对DICOM像素灰度校正数据进行去噪处理，从而获取DICOM像素去噪数据；
步骤S133：对DICOM像素去噪数据进行优化HU值计算，从而获取DICOM像素HU值数据；
步骤S134：根据DICOM图像数据中的图像内容种类数据对DICOM像素HU值数据进行窗宽窗位调整，从而获取优化DICOM像素数据。
本发明对DICOM像素数据进行灰度校正，以确保图像的灰度值符合标准化要求。灰度校正可以消除图像中的偏差和不均匀性，提高图像的准确性和可比性。对DICOM像素灰度校正数据进行去噪处理，通过去除图像中的噪声和干扰，提高图像的质量和清晰度。去噪处理可以使图像更易于观察和分析，减少误诊和漏诊的可能性。对DICOM像素去噪数据进行优化HU值计算，根据DICOM像素值和相关的校准参数，计算出相应的HU(Hounsfield Unit)值。HU值是衡量组织密度和成分的标准，对医学影像分析具有重要意义。优化HU值计算能够提供更准确和可靠的组织密度信息，为后续的分析和诊断提供更可靠的依据。根据DICOM图像数据中的图像内容种类数据对DICOM像素HU值数据进行窗宽窗位调整。窗宽窗位调整可以根据感兴趣结构的密度范围和对比度需求，调整图像的显示范围和对比度，以便医生更清晰地观察和分析图像。这有助于凸显重要结构、提高诊断的准确性。
优选地，DICOM像素重采样数据包括DICOM像素高频重采样数据、DICOM像素低频重采样数据以及DICOM像素混合重采样数据，步骤S14具体为：
步骤S141：利用预设的标准DICOM像素数据对优化DICOM像素数据进行重采样参数提取，从而获取重采样参数数据；
步骤S142：确定重采样参数数据为高频参数数据时，根据重采样参数数据优化DICOM像素数据进行高频重采样，从而获取DICOM像素高频重采样数据；
步骤S143：确定重采样参数数据为低频参数数据时，根据重采样参数数据优化DICOM像素数据进行低频重采样，从而获取DICOM像素低频重采样数据；
步骤S144：确定重采样参数数据为混合参数数据时，根据重采样参数数据优化DICOM像素数据进行混合重采样，从而获取DICOM像素混合重采样数据。
本发明中利用预设的标准DICOM像素数据对优化DICOM像素数据进行重采样参数提取。这些参数包含了对优化DICOM像素数据进行重采样所需的信息，如重采样方法、重采样比例等。当确定重采样参数数据为高频参数数据时，根据提取的重采样参数数据对优化DICOM像素数据进行高频重采样。高频重采样可以在保留图像细节的同时，对图像进行尺寸或分辨率的调整。这有助于提取图像中的高频信息，如边缘、纹理等，从而增强图像的细节和清晰度。当确定重采样参数数据为低频参数数据时，根据提取的重采样参数数据对优化DICOM像素数据进行低频重采样。低频重采样可以在减少图像数据量的同时，保留图像的主要特征和结构。这有助于降低图像的复杂性和存储需求，同时保持图像的可识别性和可分析性。根据提取的重采样参数数据对优化DICOM像素数据进行混合重采样。混合重采样可以根据不同频率范围内的重采样需求，对图像进行适度的调整和优化。这有助于在保留图像细节和主要特征的同时，控制图像的数据量和复杂性。
优选地，步骤S132中去噪处理通过DICOM像素降噪计算公式进行去噪处理，其中DICOM像素降噪计算公式具体为：
D(x,y)为DICOM像素去噪数据，α为注入历史像素项的调整系数，β为DICOM像素种类项的调整系数，γ为调整项，为DICOM像素灰度校正数据的二阶空间导数，τ为误差项的权重系数，w为常数项，θ为校正项，x为像素点空间横坐标，δ为DICOM像素相位角项，ρ为DICOM像素降噪效果参数项，ω为DICOM像素调整降噪结果权重项。
本发明构造了一种DICOM像素降噪计算公式，该计算公式通过对DICOM像素灰度校正数据的二阶空间导数进行处理，结合多个调整项和参数，实现对DICOM像素数据的去噪处理。去噪处理有助于降低图像中的噪声干扰，提升图像质量和可视化效果。计算公式中的各个参数起到调节作用，影响着去噪处理的效果和结果。这些参数包括注入历史像素项的调整系数α、DICOM像素种类项的调整系数β、调整项γ、误差项的权重系数τ、常数项w、校正项θ、像素点空间横坐标x、DICOM像素相位角项δ、DICOM像素降噪效果参数项ρ和DICOM像素调整降噪结果权重项ω。通过调节这些参数的取值，可以控制去噪处理的强度、灵敏度和适应性，以获得满足特定需求的优化结果。在计算公式中，各个数学符号通过运算、组合和调节等方式相互作用。例如，乘法αβγ和除法表示了参数之间的相乘和相除关系，/>表示DICOM像素灰度校正数据的二阶空间导数，logw(θ+x)表示对θ+x进行以w为底的对数运算，sinρ表示对δ的正弦函数运算。这些数学符号的相互作用在公式中描述了去噪处理的数学模型和计算过程。可以对DICOM像素数据进行有效的去噪处理。通过对DICOM像素灰度校正数据的二阶空间导数进行处理，可以提取出图像的高频细节特征，进而减少噪声对图像的影响。公式中的其他调整项和参数能够进一步调节去噪处理的强度和效果，使得去噪结果更加准确和可控。
优选地，步骤S15具体为：
获取临床需求数据；
根据获取临床需求数据对DICOM像素去噪数据进行像素检测，从而获取DICOM像素检测数据，其中DICOM像素检测数据包括DICOM像素增强种类数据以及DICOM像素增强区域数据；
根据DICOM像素检测数据对DICOM像素去噪数据进行图像增强，从而获取DICOM图像预处理数据。
本发明中通过对DICOM像素去噪数据进行像素检测，可以识别出不同类型的像素增强，例如边缘、纹理、斑点。这有助于理解图像中的结构和特征，并提供有关图像内容的重要信息。通过像素检测，可以确定DICOM图像中哪些区域受到了增强。这对于后续的图像处理和分析非常重要，因为可以针对这些区域采取特定的处理方法或算法。基于DICOM像素检测数据，可以对DICOM像素去噪数据进行图像增强。这意味着可以应用各种图像处理技术，如对比度增强、边缘增强、滤波等，以改善图像的质量、清晰度和可视化效果。通过对DICOM图像进行预处理和增强，可以减少图像中的噪声、伪影和其他干扰因素，从而提高后续分析的准确性和可靠性。例如，在医学图像领域，清晰且准确的图像可以帮助医生更好地诊断和治疗患者。
优选地，步骤S2具体为：
对DICOM图像预处理数据进行多模态融合，从而获得DICOM图像融合数据；
根据DICOM图像融合数据进行三维重建，从而获取点云图像数据。
本发明通过对DICOM图像预处理数据进行多模态融合，将来自不同模态的图像信息有效地结合起来。这样可以综合利用不同模态的优势，提供更全面、更准确的图像信息。多模态融合可以增强医学图像的对比度、细节和特征，使得医生和专业人员能够更准确地观察和分析图像。根据经过多模态融合的DICOM图像融合数据，进行三维重建操作，生成点云图像数据。三维重建可以将医学图像从二维平面映射到三维空间，恢复出物体的立体形态和空间结构。这有助于医生和专业人员更全面地理解和评估病灶、器官或组织的形态特征，提供更准确的诊断和治疗规划。多模态融合和三维重建步骤相结合，可以综合获取来自不同模态和不同视角的图像信息。这样可以提供更全面、更立体的视角，丰富了医学图像的信息内容。医生和专业人员可以通过综合信息获取更全面地了解患者的病情，准确判断病变的性质和范围。通过多模态融合和三维重建，可以提供更准确、更完整的医学图像数据。这有助于医生和专业人员在诊断过程中获得更可靠的信息，减少误诊和漏诊的风险。同时，三维重建可以提供更直观的立体视觉效果，帮助医生更好地理解病灶的形态和位置，进一步提高诊断准确性。
优选地，步骤S3具体为：
步骤S31：对点云图像数据进行三角面片模型构建，从而构建初步三角面片模型；
步骤S32：对初步三角面片模型进行平滑处理，从而获得平滑三角面片模型；
步骤S33：对平滑三角面片模型进行细分处理，从而获取细分三角面片模型，其中细分处理为将三角形细分为四个子三角形并对每个顶点进行加权平均处理，并连接起来生成细分后的三角面片模型；
步骤S34：将细分三角面片模型中的不平滑或不联系的三角面片剔除，从而获取初步优化三角面片模型；
步骤S35：对初步优化三角面片模型通过面片拓扑分析进行不连续的三角面片剔除，从而获取次级优化三角面片模型；
步骤S36：根据点云图像数据中的关注位置区域对次级优化三角面片模型进行连接情况检测并删除不连续的三角面片，从而获取优化三角面片模型。
本发明通过对点云图像数据进行三角面片模型构建，将离散的点云数据转化为连续的三角面片模型。这样可以更好地表示物体的形状和几何结构，提供更直观的可视化效果。对初步构建的三角面片模型进行平滑处理，消除模型中的噪声和不规则形状，获得平滑的三角面片模型。平滑处理可以提高模型的表面质量和视觉效果，使得物体的形状更加真实和连续。对平滑的三角面片模型进行细分处理，将三角形细分为更小的子三角形，并对每个顶点进行加权平均处理。这样可以增加模型的细节和精度，使得模型更加精细和准确。对细分后的三角面片模型进行优化，剔除不平滑或不联系的三角面片，获得初步优化的三角面片模型。然后进行面片拓扑分析，进一步剔除不连续的三角面片，得到次级优化的三角面片模型。这样可以提高模型的完整性和连续性，减少无关信息的干扰。根据点云图像数据中的关注位置区域，对次级优化的三角面片模型进行连接情况检测，并删除不连续的三角面片。这样可以使模型更加贴合关注区域的形状和特征，提高模型在关注区域的准确性和可视化效果。
优选地，步骤S4具体为：
步骤S41：根据优化三角面片模型进行点云粗匹配，从而获取初级变换矩阵矩阵数据；
步骤S42：根据优化三角面片模型以及初级变换矩阵数据通过相似度计算公式进行点云精配准，从而获得次级变换矩阵矩阵数据。
本发明通过对优化三角面片模型进行点云粗匹配，可以将不同点云之间的对应关系进行初步建立。这有助于将不同来源的点云数据进行对齐和匹配，为后续的精确配准提供初步的参考和初始变换矩阵数据，根据优化三角面片模型以及初级变换矩阵数据，通过相似度计算公式进行点云的精确配准。通过优化匹配的过程，可以进一步提高点云数据之间的对齐精度和准确性，使得不同来源的点云能够更好地重叠和匹配，消除可能的偏差和误差，通过点云的粗匹配和精配准过程，可以获得初级变换矩阵数据和次级变换矩阵数据。这些变换矩阵描述了点云数据之间的空间变换关系，包括平移、旋转和缩放等变换。这些变换矩阵数据对于后续的点云融合、配准和分析的任务非常重要。
优选地，步骤S42中相似度计算公式具体为：
S为相似度计算数据，a为积分下限项，b为积分上限项，n为控制收敛稳定项，Est为相似度误差项，r为极限项，Hst为历史种类相似性项，Ist为特定需求调整项，m为误差修正项。
本发明构造了一种相似度计算公式，该计算公式用于计算点云数据之间的相似度，表示它们在几个关键方面的相似程度。通过计算相似度，可以量化不同点云之间的相似性，判断它们是否具有相似的几何结构、形状特征。该计算公式通过综合考虑多个因素，并利用数学符号和参数之间的相互作用，实现了对点云数据之间的相似度计算。这有助于量化点云数据的相似性，帮助判断和比较不同点云之间的相似程度。基于相似度计算结果，可以进行点云配准、分类、识别等应用，从而实现更精确和有效的点云数据处理和分析。积分下限项a以及积分上限项b控制积分范围，影响相似度计算的数值范围。控制收敛稳定项n，通过调整n的值可以改变相似度计算的收敛速度和稳定性。相似度误差项Est反映点云之间的误差或差异程度，较大的误差值会降低相似度。极限项r，控制相似度计算在无穷大时的极限情况。历史种类相似性项Hst表示与历史数据或种类相关的相似性，可以根据具体应用场景进行调整。特定需求调整项Ist用于根据特定需求或优化目标对相似度进行调整。误差修正项m用于修正相似度计算中的误差或偏差，影响相似度计算结果的准确性。
本发明的有益效果在于：通过DICOM图像预处理，可以对原始DICOM图像数据进行预处理，包括去噪、灰度校正、窗宽窗位调整等。这样的预处理可以提升图像质量、增强图像细节，并为后续的图像分析和处理提供更好的数据基础。通过对DICOM图像预处理数据进行三维重建，可以将二维图像数据转换为三维点云图像数据。这种转换使得医学图像从原始的切片数据转变为具有空间信息的三维结构，有助于更全面、准确地分析和处理医学图像。对点云图像数据进行优化三角面片模型构建，通过对点云进行三角化处理，生成具有平滑性和连续性的三维模型。这种模型可以更好地表达点云的几何形状和结构，提供更准确的形态信息，为后续的配准和分析提供更好的基础。通过点云的粗匹配和精配准过程，利用优化三角面片模型和变换矩阵，实现点云之间的对应和配准。这样可以将不同视角或不同模态下的点云数据对齐，消除位姿差异和形状变化，使得它们具有一致的坐标系统和几何关系。点云匹配和配准的结果为后续的图像融合和分析提供了准确的对应关系。通过应用次级变换矩阵数据对待配准DICOM图像数据进行坐标计算，实现与优化三角面片模型的对齐，并获得配准DICOM图像数据。这个步骤将不同模态的医学图像数据融合在一起，使得它们共享相同的坐标空间和几何结构，从而提供了更全面、丰富的信息，有助于医学影像的分析、诊断和手术规划的应用。
附图说明
通过阅读参照以下附图所作的对非限制性实施所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了一实施例的基于深度学习的多模态医学图像融合方法的步骤流程图；
图2示出了一实施例的步骤S1的步骤流程图；
图3示出了一实施例的步骤S13的步骤流程图；
图4示出了一实施例的步骤S14的步骤流程图；
图5示出了一实施例的步骤S3的步骤流程图。
具体实施方式
下面结合附图对本发明专利的技术方法进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域所属的技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器方法和/或微控制器方法中实现这些功能实体。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
请参阅图1至图5，本申请提供了一种基于点云配准的多模态医学配准方法，包括以下步骤：
步骤S1：获取DICOM图像数据，对DICOM图像数据进行DICOM图像预处理，从而获取DICOM图像预处理数据；
具体地，例如使用医学影像设备(如CT扫描仪、MRI仪器)获取患者的DICOM图像数据，对这些DICOM图像数据进行预处理，包括去噪、灰度校正、窗宽窗位调整的操作，以获取经过预处理的DICOM图像数据。
步骤S2：根据DICOM图像预处理数据进行三维重建，从而获取点云图像数据；
具体地，例如使用计算机视觉技术和三维重建算法，对经过预处理的DICOM图像数据进行处理，将其转换为三维点云数据。这可以通过体素化方法、表面重建算法或其他三维重建技术实现，最终得到表示患者解剖结构的点云图像数据。
步骤S3：对点云图像数据进行优化三角面片模型构建，从而构建优化三角面片模型；
具体地，例如基于点云数据，使用三角化算法对点云进行处理，将其转换为具有平滑性和连续性的三角面片模型。这可以通过利用Delaunay三角剖分方法或其他表面重建算法来实现。最终得到优化的三角面片模型，能够更好地表达点云的几何形状和结构。
步骤S4：根据优化三角面片模型进行点云粗匹配，从而获取初级变换矩阵矩阵数据，并根据优化三角面片模型以及初级变换矩阵数据进行点云精配准，从而获得次级变换矩阵矩阵数据；
具体地，例如基于优化的三角面片模型，使用点云匹配算法对不同点云数据进行粗匹配，找到它们之间的初级变换关系，通过迭代优化或其他精配准算法，进一步提高点云的配准准确性，获得次级变换矩阵数据，用于更精确的配准操作。
步骤S5：获取待配准DICOM图像数据，利用次级变换矩阵数据对待配准DICOM图像数据进行坐标计算，从而获得配准DICOM图像数据。
具体地，例如获取需要进行配准的新的DICOM图像数据。利用先前计算得到的次级变换矩阵数据，对这些待配准的DICOM图像数据进行坐标计算和变换操作，将其对齐到参考坐标系或之前处理的DICOM图像数据。最终获得配准后的DICOM图像数据，可以用于后续的医学图像分析、手术规划的应用。
具体地，例如预处理dicom影像，根据dicom信息组合成点云信息，完成三角面片重建，根据相连面片特性，保留最大点云数据集模型，通过点云粗配准、精配准得到变换矩阵，待配准dicom影像通过变换矩阵，统一坐标系，根据常规医学配准方式进行配准。
1、预处理dicom影像，基于hu值筛选掉病床、枕头等无关信息；
2、根据dicom pixelspacing及层厚、ImagePositionPatient组合成3D点云模型；
3、3D点云网格面片处理，根据面片连通性去掉杂乱区域，保留病人拍照位置区域；
4、通过4PCS粗配准及GICP精配准，完成3D点云配准，得到变换矩阵；
4pcs粗配准过程：
①候选子集生成阶段：对输入的两个点云进行预处理，建立它们的四叉树或几何哈希结构。然后，对两个点云中的每个点，找到所有与它距离小于阈值的共性点，并将它们组成四元组。最终，得到一个候选子集的集合。
②匹配和变换估计阶段：对候选子集中的每个四元组进行匹配和变换估计。具体来说，对四元组中的每个点，在另一个点云中查找最近邻点，并计算变换矩阵。然后，将两个点云变换到同一坐标系中，并计算它们的误差。最终，选取误差最小的匹配作为最终结果。
GICP精配准：
初始化：首先，根据4PCS粗配准得到的初级变换矩阵，将源点云和目标点云进行初步对齐。选取最近邻点：对于源点云中的每个点，通过最近邻搜索方法在目标点云中找到其最近邻点。计算点对应关系：根据最近邻点对，建立源点云和目标点云之间的点对应关系。计算误差度量：通过计算点对应关系的误差度量，例如点之间的欧氏距离，来评估当前配准的质量。优化变换矩阵：利用误差度量，通过最小化点对应关系的误差来优化变换矩阵。这可以使用迭代优化方法，例如高斯牛顿法或Levenberg-Marquardt算法。判断收敛性：检查优化后的变换矩阵是否满足收敛条件。如果未达到收敛条件，则返回步骤选取最近邻点，继续迭代计算。输出结果：当配准达到收敛状态时，得到最终的变换矩阵，该矩阵可以用于将源点云精确地对齐到目标点云。
5、定义优化器类型及设置优化参数，采用梯度下降法，设置初始振幅为4、最小步长为0.01、松弛因子为0.5、最大迭代次数为100；
6、以fixed_dicom作为参考，trans_dicom进行配准，相似性测度模块采用互信息的准则；
7、定义配准方法类型并实例化已经定义的相关类型；
8、初始化配准类型的参数，并将参数传递给配准过程；
9、相似度函数输入到优化模块中进行最优化计算得到最终变换参数，这个过程一般通过迭代来实现，即重复5～7步直到取得最大值；
10、得到最优化后的各项参数并输出；
11、最终得到的参数重采样待配准图像，得到配准结果。
本发明通过DICOM图像预处理和三维重建步骤，可以对原始DICOM图像进行优化和重建，从而改善图像质量。这有助于减少图像噪声、增强图像对比度，并提供更清晰的医学图像信息，能够处理多种医学图像模态，例如CT、MRI等。通过将不同模态的图像进行融合，可以综合利用它们各自的优势，提供更全面、更准确的医学信息。这有助于医生做出更准确的诊断和治疗决策，通过优化三角面片模型的构建和点云精配准步骤，可以提高点云模型的准确性和稳定性。这有助于更精确地捕捉医学图像中的结构和形状信息，为后续的配准和分析提供可靠的基础，通过次级变换矩阵数据的应用，可以对待配准DICOM图像进行精确的坐标计算，实现图像间的配准。这有助于将不同时间点、不同模态或不同患者的图像进行对齐，从而实现更准确的比较和分析。
优选地，步骤S1具体为：
步骤S11：通过DICOM图像获取设备或医疗信息系统获取DICOM图像数据；
具体地，例如使用医疗设备(如CT扫描仪、MRI仪器等)生成DICOM图像数据，并将其存储在医疗信息系统中。
步骤S12：对DICOM图像数据进行图像解析并提取，从而获取DICOM像素数据；
具体地，例如使用DICOM解析器读取DICOM图像文件，提取图像像素数据、元数据和图像特征。
步骤S13：对DICOM像素数据进行优化HU值调整，从而获取优化DICOM像素数据；
具体地，例如根据CT扫描中不同组织的特性，对DICOM像素值进行校准和调整，以提高图像质量和准确性。
步骤S14：对优化DICOM像素数据进行图像重采样，从而获取DICOM像素重采样数据；
具体地，例如根据需要调整图像的分辨率、大小或采样间隔，对优化后的DICOM像素进行插值或剪切的处理。
步骤S15：根据DICOM像素去噪数据进行像素检测，从而获取DICOM像素检测数据，并根据DICOM像素检测数据对DICOM像素去噪数据进行图像增强，从而获取DICOM图像预处理数据。
具体地，例如使用图像处理技术，如图像增强方法(如滤波、对比度增强等)对DICOM图像进行预处理，以改善图像质量和准确性。
本发明通过DICOM图像获取设备或医疗信息系统获取DICOM图像数据，并进行图像解析和提取，确保了原始数据的获取和准确性。这有助于后续处理步骤的进行，对DICOM像素数据进行优化HU值调整，通过校准参数计算出相应的HU值。HU值是衡量组织密度和成分的标准，常用于医学影像分析。优化HU值调整能够提高图像的质量和准确性，为后续处理步骤提供更可靠的数据基础，对优化DICOM像素数据进行图像重采样，可以调整图像的空间分辨率和尺寸，使得图像在不同的分辨率要求下得到合适的展示。这对于医学图像分析和可视化具有重要意义，能够提供更准确的结构信息和细节展示，通过对DICOM像素去噪数据进行像素检测和图像增强，能够去除图像中的噪声和干扰，同时增强感兴趣结构的对比度和显示范围。这有助于医生更清晰地观察和分析图像，提高诊断的准确性和可靠性。
优选地，其中S13具体为：
步骤S131：对DICOM像素数据进行灰度校正，从而获取DICOM像素灰度校正数据；
具体地，例如使用灰度校正算法，如直方图均衡化或亮度标准化，对DICOM图像的像素值进行调整，以提高图像的对比度和视觉效果。
步骤S132：对DICOM像素灰度校正数据进行去噪处理，从而获取DICOM像素去噪数据；
具体地，例如应用去噪滤波器(如中值滤波器、高斯滤波器)，以减少图像中的噪声并保持重要的结构信息。
步骤S133：对DICOM像素去噪数据进行优化HU值计算，从而获取DICOM像素HU值数据；
具体地，例如根据DICOM图像中的各种组织和材料的特性，通过计算或推断的方式估算像素的HU值，以反映其相对组织密度或放射吸收特性。
步骤S134：根据DICOM图像数据中的图像内容种类数据对DICOM像素HU值数据进行窗宽窗位调整，从而获取优化DICOM像素数据。
具体地，例如根据不同的临床需求和图像内容，设置适当的窗宽和窗位值，以突出显示感兴趣的组织结构或病变，并提高图像的可视化效果。
本发明对DICOM像素数据进行灰度校正，以确保图像的灰度值符合标准化要求。灰度校正可以消除图像中的偏差和不均匀性，提高图像的准确性和可比性。对DICOM像素灰度校正数据进行去噪处理，通过去除图像中的噪声和干扰，提高图像的质量和清晰度。去噪处理可以使图像更易于观察和分析，减少误诊和漏诊的可能性。对DICOM像素去噪数据进行优化HU值计算，根据DICOM像素值和相关的校准参数，计算出相应的HU(Hounsfield Unit)值。HU值是衡量组织密度和成分的标准，对医学影像分析具有重要意义。优化HU值计算能够提供更准确和可靠的组织密度信息，为后续的分析和诊断提供更可靠的依据。根据DICOM图像数据中的图像内容种类数据对DICOM像素HU值数据进行窗宽窗位调整。窗宽窗位调整可以根据感兴趣结构的密度范围和对比度需求，调整图像的显示范围和对比度，以便医生更清晰地观察和分析图像。这有助于凸显重要结构、提高诊断的准确性。
优选地，DICOM像素重采样数据包括DICOM像素高频重采样数据、DICOM像素低频重采样数据以及DICOM像素混合重采样数据，步骤S14具体为：
步骤S141：利用预设的标准DICOM像素数据对优化DICOM像素数据进行重采样参数提取，从而获取重采样参数数据；
具体地，例如根据预设的标准DICOM像素数据和目标重采样分辨率，计算出适当的重采样参数，如采样率、插值方法。
步骤S142：确定重采样参数数据为高频参数数据时，根据重采样参数数据优化DICOM像素数据进行高频重采样，从而获取DICOM像素高频重采样数据；
具体地，例如使用高频重采样算法，如图像锐化或细节增强算法，以增强图像的高频细节和边缘信息。
步骤S143：确定重采样参数数据为低频参数数据时，根据重采样参数数据优化DICOM像素数据进行低频重采样，从而获取DICOM像素低频重采样数据；
具体地，例如使用低频重采样算法，如平滑或降噪算法，以减少图像中的噪声或平滑细节，从而产生更加平滑的图像。
步骤S144：确定重采样参数数据为混合参数数据时，根据重采样参数数据优化DICOM像素数据进行混合重采样，从而获取DICOM像素混合重采样数据。
具体地，例如结合高频和低频重采样算法，根据参数数据的权重或比例，对图像进行综合处理，以在保留细节的同时减少噪声和平滑图像。
具体地，例如获取DICOM像素数据对应的医学场景数据，以生成混合重采用数据，从而调整参数数据的权重或比例，例如心脏图像处理，医学场景数据：心脏图像中心腔的大小、血液流速等数据。预设的算法或规则：根据心脏的尺寸和血液流速，确定参数权重或比例。生成混合重采样数据：根据高频重采样和低频重采样算法，将心脏图像进行综合处理。高频重采样：保留心脏图像中细节和血管结构的高频信息。低频重采样：平滑心脏图像中的噪声和伪影，以增强心脏的整体形态。调整参数数据的权重或比例：根据心脏图像的特征和临床需求，优化高频和低频重采样的参数权重或比例，以获得最佳的图像质量和解剖结构可视化效果。脑部图像处理，医学场景数据：脑部图像中的病变区域大小、病变类型的数据。预设的算法或规则：基于不同病变类型对高频和低频重采样参数进行加权或调整。生成混合重采样数据：根据高频和低频重采样算法，针对不同的病变类型采取不同的处理策略。高频重采样：突出病变区域的边缘和细节，有利于病变的定位和分析。低频重采样：对平均灰度值进行平滑处理，减少噪声和伪影的影响，有助于整体脑部结构的观察和评估。调整参数数据的权重或比例：根据不同病变类型的临床需求，调整高频和低频重采样的参数权重或比例，以达到最佳的病变检测和结构展示效果。
本发明中利用预设的标准DICOM像素数据对优化DICOM像素数据进行重采样参数提取。这些参数包含了对优化DICOM像素数据进行重采样所需的信息，如重采样方法、重采样比例等。当确定重采样参数数据为高频参数数据时，根据提取的重采样参数数据对优化DICOM像素数据进行高频重采样。高频重采样可以在保留图像细节的同时，对图像进行尺寸或分辨率的调整。这有助于提取图像中的高频信息，如边缘、纹理等，从而增强图像的细节和清晰度。当确定重采样参数数据为低频参数数据时，根据提取的重采样参数数据对优化DICOM像素数据进行低频重采样。低频重采样可以在减少图像数据量的同时，保留图像的主要特征和结构。这有助于降低图像的复杂性和存储需求，同时保持图像的可识别性和可分析性。根据提取的重采样参数数据对优化DICOM像素数据进行混合重采样。混合重采样可以根据不同频率范围内的重采样需求，对图像进行适度的调整和优化。这有助于在保留图像细节和主要特征的同时，控制图像的数据量和复杂性。
优选地，步骤S132中去噪处理通过DICOM像素降噪计算公式进行去噪处理，其中DICOM像素降噪计算公式具体为：
D(x,y)为DICOM像素去噪数据，α为注入历史像素项的调整系数，β为DICOM像素种类项的调整系数，γ为调整项，为DICOM像素灰度校正数据的二阶空间导数，τ为误差项的权重系数，w为常数项，θ为校正项，x为像素点空间横坐标，δ为DICOM像素相位角项，ρ为DICOM像素降噪效果参数项，ω为DICOM像素调整降噪结果权重项。/>
本发明构造了一种DICOM像素降噪计算公式，该计算公式通过对DICOM像素灰度校正数据的二阶空间导数进行处理，结合多个调整项和参数，实现对DICOM像素数据的去噪处理。去噪处理有助于降低图像中的噪声干扰，提升图像质量和可视化效果。计算公式中的各个参数起到调节作用，影响着去噪处理的效果和结果。这些参数包括注入历史像素项的调整系数α、DICOM像素种类项的调整系数β、调整项γ、误差项的权重系数τ、常数项w、校正项θ、像素点空间横坐标x、DICOM像素相位角项δ、DICOM像素降噪效果参数项ρ和DICOM像素调整降噪结果权重项ω。通过调节这些参数的取值，可以控制去噪处理的强度、灵敏度和适应性，以获得满足特定需求的优化结果。在计算公式中，各个数学符号通过运算、组合和调节等方式相互作用。例如，乘法αβγ和除法表示了参数之间的相乘和相除关系，/>表示DICOM像素灰度校正数据的二阶空间导数，logw(θ+x)表示对θ+x进行以w为底的对数运算，sinδ表示对δ的正弦函数运算。这些数学符号的相互作用在公式中描述了去噪处理的数学模型和计算过程。可以对DICOM像素数据进行有效的去噪处理。通过对DICOM像素灰度校正数据的二阶空间导数进行处理，可以提取出图像的高频细节特征，进而减少噪声对图像的影响。公式中的其他调整项和参数能够进一步调节去噪处理的强度和效果，使得去噪结果更加准确和可控。
优选地，步骤S15具体为：
获取临床需求数据；
具体地，例如获取临床需求数据：实施例：从医生、临床研究人员或患者那里收集关于图像处理的特定需求和要求，如噪声去除、边缘增强。
根据获取临床需求数据对DICOM像素去噪数据进行像素检测，从而获取DICOM像素检测数据，其中DICOM像素检测数据包括DICOM像素增强种类数据以及DICOM像素增强区域数据；
具体地，例如利用图像处理算法进行像素检测，如阈值分割、边缘检测等，确定噪声或感兴趣区域，生成DICOM像素检测数据。如应用基于统计学的噪声检测方法，如均值方差法、小波变换，根据阈值确定噪声区域并分类噪声类型。
根据DICOM像素检测数据对DICOM像素去噪数据进行图像增强，从而获取DICOM图像预处理数据。
具体地，例如基于图像增强算法对DICOM像素去噪数据进行处理，以改善图像质量、增强特定结构或减少噪声。具体示例：应用滤波算法，如均值滤波、中值滤波、高斯滤波，对噪声区域进行平滑处理，减少噪声的影响。
本发明中通过对DICOM像素去噪数据进行像素检测，可以识别出不同类型的像素增强，例如边缘、纹理、斑点。这有助于理解图像中的结构和特征，并提供有关图像内容的重要信息。通过像素检测，可以确定DICOM图像中哪些区域受到了增强。这对于后续的图像处理和分析非常重要，因为可以针对这些区域采取特定的处理方法或算法。基于DICOM像素检测数据，可以对DICOM像素去噪数据进行图像增强。这意味着可以应用各种图像处理技术，如对比度增强、边缘增强、滤波等，以改善图像的质量、清晰度和可视化效果。通过对DICOM图像进行预处理和增强，可以减少图像中的噪声、伪影和其他干扰因素，从而提高后续分析的准确性和可靠性。例如，在医学图像领域，清晰且准确的图像可以帮助医生更好地诊断和治疗患者。
优选地，步骤S2具体为：
对DICOM图像预处理数据进行多模态融合，从而获得DICOM图像融合数据；
具体地，例如将来自不同模态的DICOM图像进行融合，以综合多种信息并提高图像质量和准确性。使用图像融合算法，如加权平均、主成分分析、小波变换，将来自不同模态的DICOM图像进行像素级别或特征级别的融合，生成DICOM图像融合数据。
根据DICOM图像融合数据进行三维重建，从而获取点云图像数据。
具体地，例如将DICOM图像融合数据转换为三维点云形式，以表示物体的形状和几何特征。应用三维重建算法，如体素填充、表面重建，从DICOM图像融合数据中提取物体的空间位置和形状信息，并生成对应的点云图像数据。
本发明通过对DICOM图像预处理数据进行多模态融合，将来自不同模态的图像信息有效地结合起来。这样可以综合利用不同模态的优势，提供更全面、更准确的图像信息。多模态融合可以增强医学图像的对比度、细节和特征，使得医生和专业人员能够更准确地观察和分析图像。根据经过多模态融合的DICOM图像融合数据，进行三维重建操作，生成点云图像数据。三维重建可以将医学图像从二维平面映射到三维空间，恢复出物体的立体形态和空间结构。这有助于医生和专业人员更全面地理解和评估病灶、器官或组织的形态特征，提供更准确的诊断和治疗规划。多模态融合和三维重建步骤相结合，可以综合获取来自不同模态和不同视角的图像信息。这样可以提供更全面、更立体的视角，丰富了医学图像的信息内容。医生和专业人员可以通过综合信息获取更全面地了解患者的病情，准确判断病变的性质和范围。通过多模态融合和三维重建，可以提供更准确、更完整的医学图像数据。这有助于医生和专业人员在诊断过程中获得更可靠的信息，减少误诊和漏诊的风险。同时，三维重建可以提供更直观的立体视觉效果，帮助医生更好地理解病灶的形态和位置，进一步提高诊断准确性。
优选地，步骤S3具体为：
步骤S31：对点云图像数据进行三角面片模型构建，从而构建初步三角面片模型；
具体地，例如使用曲面重建算法，如Poisson重建、Marching Cubes，将点云数据转换为初步的三角面片模型。应用Poisson重建算法，通过点云的法向估计和网格生成，构建出初步的三角面片模型。
步骤S32：对初步三角面片模型进行平滑处理，从而获得平滑三角面片模型；
具体地，例如使用平滑算法，如Laplacian平滑、高斯平滑，对初步三角面片模型进行表面平滑处理，减少噪声和不规则性。应用Laplacian平滑算法，通过迭代更新顶点位置，使相邻顶点的位置趋于一致，从而得到平滑的三角面片模型。
步骤S33：对平滑三角面片模型进行细分处理，从而获取细分三角面片模型，其中细分处理为将三角形细分为四个子三角形并对每个顶点进行加权平均处理，并连接起来生成细分后的三角面片模型；
具体地，例如使用细分算法，如Catmull-Clark细分、Loop细分，对平滑的三角面片模型进行细分，增加面片数量和细节。应用Catmull-Clark细分算法，将每个三角形细分为四个子三角形，并根据顶点的加权平均位置连接起来，得到细分后的三角面片模型。
步骤S34：将细分三角面片模型中的不平滑或不联系的三角面片剔除，从而获取初步优化三角面片模型；
具体地，例如通过面片质量评估指标，如法向量一致性、边长比例等，剔除质量较差的面片，保留平滑且连续的三角面片。根据法向量一致性检查和边长比例阈值，对细分后的三角面片模型进行面片质量的筛选和剔除。
步骤S35：对初步优化三角面片模型通过面片拓扑分析进行不连续的三角面片剔除，从而获取次级优化三角面片模型；
具体地，例如通过面片拓扑分析，检测并剔除不连续的面片，保持三角面片模型的连续性。利用拓扑关系算法，如边邻接关系、面邻接关系，检测并删除不满足连续性要求的三角面片。
步骤S36：根据点云图像数据中的关注位置区域对次级优化三角面片模型进行连接情况检测并删除不连续的三角面片，从而获取优化三角面片模型。
具体地，例如根据关注位置区域的约束，检测并删除与关注位置不相连的面片，进一步优化三角面片模型。根据关注位置区域的边界或限制条件，使用边界检测或空间连接算法，对三角面片模型进行处理，确保只保留与关注位置相连的面片。
本发明通过对点云图像数据进行三角面片模型构建，将离散的点云数据转化为连续的三角面片模型。这样可以更好地表示物体的形状和几何结构，提供更直观的可视化效果。对初步构建的三角面片模型进行平滑处理，消除模型中的噪声和不规则形状，获得平滑的三角面片模型。平滑处理可以提高模型的表面质量和视觉效果，使得物体的形状更加真实和连续。对平滑的三角面片模型进行细分处理，将三角形细分为更小的子三角形，并对每个顶点进行加权平均处理。这样可以增加模型的细节和精度，使得模型更加精细和准确。对细分后的三角面片模型进行优化，剔除不平滑或不联系的三角面片，获得初步优化的三角面片模型。然后进行面片拓扑分析，进一步剔除不连续的三角面片，得到次级优化的三角面片模型。这样可以提高模型的完整性和连续性，减少无关信息的干扰。根据点云图像数据中的关注位置区域，对次级优化的三角面片模型进行连接情况检测，并删除不连续的三角面片。这样可以使模型更加贴合关注区域的形状和特征，提高模型在关注区域的准确性和可视化效果。
优选地，步骤S4具体为：
步骤S41：根据优化三角面片模型进行点云粗匹配，从而获取初级变换矩阵矩阵数据；
具体地，例如使用点云配准算法，如ICP(Iterative Closest Point)算法、特征匹配算法等，对待配准的点云数据与优化三角面片模型进行粗略的配准。应用ICP算法，通过迭代最小化点云间的距离误差，计算出初级变换矩阵，实现点云的初步配准。
步骤S42：根据优化三角面片模型以及初级变换矩阵数据通过相似度计算公式进行点云精配准，从而获得次级变换矩阵矩阵数据。
具体地，例如使用点云配准算法，如ICP变体算法、基于特征的配准算法等，结合优化三角面片模型和初级变换矩阵，进行精确的点云配准。应用ICP变体算法，通过考虑点云的特征信息(如法向量、描述子等)，利用相似度计算公式进行迭代优化，得到次级变换矩阵，实现点云的精确配准。
本发明通过对优化三角面片模型进行点云粗匹配，可以将不同点云之间的对应关系进行初步建立。这有助于将不同来源的点云数据进行对齐和匹配，为后续的精确配准提供初步的参考和初始变换矩阵数据，根据优化三角面片模型以及初级变换矩阵数据，通过相似度计算公式进行点云的精确配准。通过优化匹配的过程，可以进一步提高点云数据之间的对齐精度和准确性，使得不同来源的点云能够更好地重叠和匹配，消除可能的偏差和误差，通过点云的粗匹配和精配准过程，可以获得初级变换矩阵数据和次级变换矩阵数据。这些变换矩阵描述了点云数据之间的空间变换关系，包括平移、旋转和缩放等变换。这些变换矩阵数据对于后续的点云融合、配准和分析的任务非常重要。
优选地，步骤S42中相似度计算公式具体为：
S为相似度计算数据，a为积分下限项，b为积分上限项，n为控制收敛稳定项，Est为相似度误差项，r为极限项，Hst为历史种类相似性项，Ist为特定需求调整项，m为误差修正项。
本发明构造了一种相似度计算公式，该计算公式用于计算点云数据之间的相似度，表示它们在几个关键方面的相似程度。通过计算相似度，可以量化不同点云之间的相似性，判断它们是否具有相似的几何结构、形状特征。该计算公式通过综合考虑多个因素，并利用数学符号和参数之间的相互作用，实现了对点云数据之间的相似度计算。这有助于量化点云数据的相似性，帮助判断和比较不同点云之间的相似程度。基于相似度计算结果，可以进行点云配准、分类、识别等应用，从而实现更精确和有效的点云数据处理和分析。积分下限项a以及积分上限项b控制积分范围，影响相似度计算的数值范围。控制收敛稳定项n，通过调整n的值可以改变相似度计算的收敛速度和稳定性。相似度误差项Est反映点云之间的误差或差异程度，较大的误差值会降低相似度。极限项r，控制相似度计算在无穷大时的极限情况。历史种类相似性项Hst表示与历史数据或种类相关的相似性，可以根据具体应用场景进行调整。特定需求调整项Ist用于根据特定需求或优化目标对相似度进行调整。误差修正项m用于修正相似度计算中的误差或偏差，影响相似度计算结果的准确性。
本发明的有益效果在于：通过DICOM图像预处理，可以对原始DICOM图像数据进行预处理，包括去噪、灰度校正、窗宽窗位调整等。这样的预处理可以提升图像质量、增强图像细节，并为后续的图像分析和处理提供更好的数据基础。通过对DICOM图像预处理数据进行三维重建，可以将二维图像数据转换为三维点云图像数据。这种转换使得医学图像从原始的切片数据转变为具有空间信息的三维结构，有助于更全面、准确地分析和处理医学图像。对点云图像数据进行优化三角面片模型构建，通过对点云进行三角化处理，生成具有平滑性和连续性的三维模型。这种模型可以更好地表达点云的几何形状和结构，提供更准确的形态信息，为后续的配准和分析提供更好的基础。通过点云的粗匹配和精配准过程，利用优化三角面片模型和变换矩阵，实现点云之间的对应和配准。这样可以将不同视角或不同模态下的点云数据对齐，消除位姿差异和形状变化，使得它们具有一致的坐标系统和几何关系。点云匹配和配准的结果为后续的图像融合和分析提供了准确的对应关系。通过应用次级变换矩阵数据对待配准DICOM图像数据进行坐标计算，实现与优化三角面片模型的对齐，并获得配准DICOM图像数据。这个步骤将不同模态的医学图像数据融合在一起，使得它们共享相同的坐标空间和几何结构，从而提供了更全面、丰富的信息，有助于医学影像的分析、诊断和手术规划的应用。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附申请文件而不是上述说明限定，因此旨在将落在申请文件的等同要件的含义和范围内的所有变化涵括在本发明内。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于点云配准的多模态医学配准方法，其特征在于，包括以下步骤：
步骤S1：获取DICOM图像数据，对DICOM图像数据进行DICOM图像预处理，从而获取DICOM图像预处理数据；
步骤S2：根据DICOM图像预处理数据进行三维重建，从而获取点云图像数据；
步骤S3：对点云图像数据进行优化三角面片模型构建，从而构建优化三角面片模型；
步骤S4：根据优化三角面片模型进行点云粗匹配，从而获取初级变换矩阵矩阵数据，并根据优化三角面片模型以及初级变换矩阵数据进行点云精配准，从而获得次级变换矩阵矩阵数据；
步骤S5：获取待配准DICOM图像数据，利用次级变换矩阵数据对待配准DICOM图像数据进行坐标计算，从而获得配准DICOM图像数据。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：
步骤S11：通过DICOM图像获取设备或医疗信息系统获取DICOM图像数据；
步骤S12：对DICOM图像数据进行图像解析并提取，从而获取DICOM像素数据；
步骤S13：对DICOM像素数据进行优化HU值调整，从而获取优化DICOM像素数据；
步骤S14：对优化DICOM像素数据进行图像重采样，从而获取DICOM像素重采样数据；
步骤S15：根据DICOM像素去噪数据进行像素检测，从而获取DICOM像素检测数据，并根据DICOM像素检测数据对DICOM像素去噪数据进行图像增强，从而获取DICOM图像预处理数据。
3.根据权利要求2所述的方法，其特征在于，其中S13具体为：
步骤S131：对DICOM像素数据进行灰度校正，从而获取DICOM像素灰度校正数据；
步骤S132：对DICOM像素灰度校正数据进行去噪处理，从而获取DICOM像素去噪数据；
步骤S133：对DICOM像素去噪数据进行优化HU值计算，从而获取DICOM像素HU值数据；
步骤S134：根据DICOM图像数据中的图像内容种类数据对DICOM像素HU值数据进行窗宽窗位调整，从而获取优化DICOM像素数据。
4.根据权利要求2所述的方法，其特征在于，DICOM像素重采样数据包括DICOM像素高频重采样数据、DICOM像素低频重采样数据以及DICOM像素混合重采样数据，步骤S14具体为：
利用预设的标准DICOM像素数据对优化DICOM像素数据进行重采样参数提取，从而获取重采样参数数据；
确定重采样参数数据为高频参数数据时，根据重采样参数数据优化DICOM像素数据进行高频重采样，从而获取DICOM像素高频重采样数据；
确定重采样参数数据为低频参数数据时，根据重采样参数数据优化DICOM像素数据进行低频重采样，从而获取DICOM像素低频重采样数据；
确定重采样参数数据为混合参数数据时，根据重采样参数数据优化DICOM像素数据进行混合重采样，从而获取DICOM像素混合重采样数据。
5.根据权利要求3所述的方法，其特征在于，步骤S132中去噪处理通过DICOM像素降噪计算公式进行去噪处理，其中DICOM像素降噪计算公式具体为：
D(x,y)为DICOM像素去噪数据，α为注入历史像素项的调整系数，β为DICOM像素种类项的调整系数，γ为调整项，为DICOM像素灰度校正数据的二阶空间导数，τ为误差项的权重系数，w为常数项，θ为校正项，x为像素点空间横坐标，δ为DICOM像素相位角项，ρ为DICOM像素降噪效果参数项，ω为DICOM像素调整降噪结果权重项。
6.根据权利要求2所述的方法，其特征在于，步骤S15具体为：
获取临床需求数据；
根据获取临床需求数据对DICOM像素去噪数据进行像素检测，从而获取DICOM像素检测数据，其中DICOM像素检测数据包括DICOM像素增强种类数据以及DICOM像素增强区域数据；
根据DICOM像素检测数据对DICOM像素去噪数据进行图像增强，从而获取DICOM图像预处理数据。
7.根据权利要求1所述的方法，其特征在于，步骤S2具体为：
对DICOM图像预处理数据进行多模态融合，从而获得DICOM图像融合数据；
根据DICOM图像融合数据进行三维重建，从而获取点云图像数据。
8.根据权利要求1所述的方法，其特征在于，步骤S3具体为：
对点云图像数据进行三角面片模型构建，从而构建初步三角面片模型；
对初步三角面片模型进行平滑处理，从而获得平滑三角面片模型；
对平滑三角面片模型进行细分处理，从而获取细分三角面片模型，其中细分处理为将三角形细分为四个子三角形并对每个顶点进行加权平均处理，并连接起来生成细分后的三角面片模型；
将细分三角面片模型中的不平滑或不联系的三角面片剔除，从而获取初步优化三角面片模型；
对初步优化三角面片模型通过面片拓扑分析进行不连续的三角面片剔除，从而获取次级优化三角面片模型；
根据点云图像数据中的关注位置区域对次级优化三角面片模型进行连接情况检测并删除不连续的三角面片，从而获取优化三角面片模型。
9.根据权利要求1所述的方法，其特征在于，步骤S4具体为：
步骤S41：根据优化三角面片模型进行点云粗匹配，从而获取初级变换矩阵矩阵数据；
步骤S42：根据优化三角面片模型以及初级变换矩阵数据通过相似度计算公式进行点云精配准，从而获得次级变换矩阵矩阵数据。
10.根据权利要求1所述的方法，其特征在于，步骤S42中相似度计算公式具体为：
S为相似度计算数据，a为积分下限项，b为积分上限项，n为控制收敛稳定项，Est为相似度误差项，r为极限项，Hst为历史种类相似性项，Ist为特定需求调整项，m为误差修正项。
CN202310755362.0A 2023-06-25 2023-06-25 一种基于点云配准的多模态医学配准方法 Active CN116580068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310755362.0A CN116580068B (zh) 2023-06-25 2023-06-25 一种基于点云配准的多模态医学配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310755362.0A CN116580068B (zh) 2023-06-25 2023-06-25 一种基于点云配准的多模态医学配准方法

Publications (2)

Publication Number Publication Date
CN116580068A true CN116580068A (zh) 2023-08-11
CN116580068B CN116580068B (zh) 2023-11-07

Family

ID=87541559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310755362.0A Active CN116580068B (zh) 2023-06-25 2023-06-25 一种基于点云配准的多模态医学配准方法

Country Status (1)

Country Link
CN (1) CN116580068B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116869652A (zh) * 2023-08-25 2023-10-13 山东卓业医疗科技有限公司 基于超声图像和电子皮肤的手术机器人及其定位方法
CN117218041A (zh) * 2023-11-08 2023-12-12 深圳长盛高精密五金有限公司 一种基于线扫描的金属轴表面图像采集方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751179A (zh) * 2019-09-18 2020-02-04 无锡祥生医疗科技股份有限公司 病灶信息获取方法、病灶预测模型的训练方法及超声设备
US20200202501A1 (en) * 2018-12-20 2020-06-25 Siemens Healthcare Gmbh Image-processing of image datasets of patients
CN113255537A (zh) * 2021-06-01 2021-08-13 贵州财经大学 一种用于航行船舶识别的图像增强去噪方法
CN114119549A (zh) * 2021-11-26 2022-03-01 卡本(深圳)医疗器械有限公司 一种多模态医学图像三维点云配准优化方法
CN115080843A (zh) * 2021-12-14 2022-09-20 深圳市广电信义科技有限公司 一种监控场景视频推荐方法、系统、装置及存储介质
CN116052831A (zh) * 2023-03-30 2023-05-02 山东颐养健康集团淄博医院 骨科脊柱用数据信息处理方法及其装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200202501A1 (en) * 2018-12-20 2020-06-25 Siemens Healthcare Gmbh Image-processing of image datasets of patients
CN110751179A (zh) * 2019-09-18 2020-02-04 无锡祥生医疗科技股份有限公司 病灶信息获取方法、病灶预测模型的训练方法及超声设备
CN113255537A (zh) * 2021-06-01 2021-08-13 贵州财经大学 一种用于航行船舶识别的图像增强去噪方法
CN114119549A (zh) * 2021-11-26 2022-03-01 卡本(深圳)医疗器械有限公司 一种多模态医学图像三维点云配准优化方法
CN115080843A (zh) * 2021-12-14 2022-09-20 深圳市广电信义科技有限公司 一种监控场景视频推荐方法、系统、装置及存储介质
CN116052831A (zh) * 2023-03-30 2023-05-02 山东颐养健康集团淄博医院 骨科脊柱用数据信息处理方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李智攀: "股骨头坏死治疗手术中的导航技术研究与软件开发", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 9 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116869652A (zh) * 2023-08-25 2023-10-13 山东卓业医疗科技有限公司 基于超声图像和电子皮肤的手术机器人及其定位方法
CN116869652B (zh) * 2023-08-25 2024-02-02 山东卓业医疗科技有限公司 基于超声图像和电子皮肤的手术机器人及其定位方法
CN117218041A (zh) * 2023-11-08 2023-12-12 深圳长盛高精密五金有限公司 一种基于线扫描的金属轴表面图像采集方法
CN117218041B (zh) * 2023-11-08 2024-03-12 深圳长盛高精密五金有限公司 一种基于线扫描的金属轴表面图像采集方法

Also Published As

Publication number Publication date
CN116580068B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
EP2916738B1 (en) Lung, lobe, and fissure imaging systems and methods
Lamecker et al. Segmentation of the liver using a 3D statistical shape model
CN116580068B (zh) 一种基于点云配准的多模态医学配准方法
Sun et al. Automated 3-D segmentation of lungs with lung cancer in CT data using a novel robust active shape model approach
Campadelli et al. A segmentation framework for abdominal organs from CT scans
CN109300113B (zh) 一种基于改进凸包方法的肺结节辅助检测系统及方法
Pulagam et al. Automated lung segmentation from HRCT scans with diffuse parenchymal lung diseases
US10405834B2 (en) Surface modeling of a segmented echogenic structure for detection and measurement of anatomical anomalies
US20030099389A1 (en) Pleural nodule detection from CT thoracic images
JP2012512672A (ja) 医用画像内病変自動検出方法およびシステム
CN115830016B (zh) 医学图像配准模型训练方法及设备
Chen et al. Three-dimensional reconstruction and fusion for multi-modality spinal images
WO2017086433A1 (ja) 医用画像処理方法及び装置及びシステム及びプログラム
Hacihaliloglu et al. Statistical shape model to 3D ultrasound registration for spine interventions using enhanced local phase features
CN115861656A (zh) 用于自动处理医学图像以输出警报的方法、设备和系统
Zhang et al. Computer-aided knee joint magnetic resonance image segmentation-a survey
KR101251822B1 (ko) 동적조영증강 폐 전산화단층촬영 영상에서 관류 분석 시스템 및 방법
Ramana Alzheimer disease detection and classification on magnetic resonance imaging (MRI) brain images using improved expectation maximization (IEM) and convolutional neural network (CNN)
Edwin et al. Liver and tumour segmentation from abdominal CT images using adaptive threshold method
US11551371B2 (en) Analyzing symmetry in image data
CN109816665B (zh) 一种光学相干断层扫描图像的快速分割方法及装置
Dong et al. Hole-filling based on content loss indexed 3D partial convolution network for freehand ultrasound reconstruction
CN116342444A (zh) 一种双通道多模态图像融合方法及融合成像终端机
CN115841472A (zh) 大脑中动脉高密度征识别方法、装置、设备及存储介质
Suganya et al. Intensity based image registration by maximization of mutual information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant